Entropie
Description de l'événement d'entropie, unité est un peu bit. Si un événement a n résultat, la probabilité de chaque résultat est PN. Après cela, l'entropie H (p) de cet événement est la suivante:
.
Il existe des questions de choix uniques et de nombreuses options à la fin du groupe d'âge. Pour un étudiant qui n'a pas appris, faites deux types de sujets.
Supposons qu'une seule question, 4 options constituent la probabilité de l'option exacte de 1/4. La réponse de l'entropie d'une seule question est -0,25 * Log0.25-0,25 * log 0.25-0,25 * log 0.25-0,25 * log 025 = 2bit.
Supposons que la mise en œuvre de certaines options, il y a 15 réponses. La réponse de l'entropie à la réponse de nombreuses questions sélectionnées est, -15 * (1/15) * journal (1/15) = 3.91Bit.
On peut voir que l'arrière est supérieur à l'entropie précédente et la quantité d'informations contient plus grandes. C'est aussiNotre match intuitif: certains sont plus puissants que l'incertitude des questions à choix unique et plus difficiles.
Condition d'entropie
L'entropie est une mesure d'incertitude pour les résultats des événements, mais lorsque certaines conditions sont connues, l'incertitude deviendra plus petite. Par exemple, une personne qui est une personne positive du sida et l'incertitude de ce problème réduira les résultats des tests médicaux.
Les conditions d'entropie sont mesurées dans une certaine condition X et l'incertitude de l'événement médical enregistré comme h (y | x). Il est défini comme
Comprendre l'entropie du résultat de chaque capacité de chaque capacité à multiplier le résultat de la probabilité.
relatives aux conditions d'entropie, un exemple donné dans une seule question. Il y a une seule triche avec une seule question à Juekin: trois fois plus longtemps les plus courts, trois longs choix de longue durée sont les plus longs. Tante, consciente de la triche de l'écran LCD est généralement correcte.
S'il y a 10% un seul article dans un certain test, 10% des thèmes sont trois courts. Calculez les conditions des documents à long terme pour les tests:
H (trois courts longs courts) = 0bit
H (trois courts) = 0bit
H (tout La même longueur) = 2bit
Résultats, les conditions d'entropie sont 0,1 * 0 + 0,1 * 0 + 0,8 * 2 = 1.6bit.
On peut constater que le secret de l'École utilise et les informations d'entropie réduisent 2 bits à 1,6 bits, la diminution de 20%.
Atteindre des informations
Les avantages de l'information sont de connaître l'incertitude des dysfonctionnements après une certaine condition. Écrire g (x, y). Son mode de calcul est une entropie à l'exception d'entropie, comme dans
, il indiquera qu'après une certaine condition, l'événement d'incertitude a été initialement réduit.
Dans l'exemple ci-dessus, les informations d'entropie peuvent être réduites à 1,6 bits en comprenant la longueur de chaque test. Parmi eux, l'augmentation de pinsImprimer est 0,4 bits.
Si une certaine condition est extrêmement stricte, comme les camarades de classe connaissent les réponses à toutes les questions, le numéro de série de la série est utilisé comme des conditions, il n'y a pas de incertitude, peut obtenir des informations maximales. Mais cette situation n'a pas de sens, en supposant que les enseignants ont été désactivés pour un test.
Le taux d'augmentation de l'information accrue sur le niveau d'information et de sanctions est la valeur intrinsèque des caractéristiques, qui consiste à éviter la situation susmentionnée.
Écrivez gr (x, y). Il est défini comme la valeur interne divisée par l'augmentation des informations, comme suit
Continuez à l'aide d'une question Sélectionnez une sélection, après taule la longue charge de sélection, informations Gain g (x, y) est 2 bits, termine fin H (Y) = - 0,1 * log 0.1-0.1 * log 0.1-0.8 * log 0.8 = 0,92
Le taux de Les augmentations d'informations sont de 0,4 / 0,92 = 43%, dans lesquelles le taux d'augmentation de l'information est de 43%.
Nombre NIKI
Comme l'entropie, le coefficient de Niki est également incertitude de l'événement et "-LogPI" dans l'entropie défini comme 1-pi est le coefficient Niki.
La déformation obtenue