L'entropie de Shannon

Thèmes abordés

Entropie de Claude Shannon, théorie de l'information, information, communication, Norbert Wiener, Warren Weaver

Résumé du document

Claude Elwood Shannon
Né le 30 avril 1916
À Petoskey, Michigan, États-Unis
Profession-Ingénieur, chercheur
Fondateur de théorie de l'information

Un ingénieur en génie électrique et mathématicien.
- Père fondateur de la théorie de l'information.
- Travaux dans les télécommunications.

Extraits

[...] Travaux dans les télécommunications N Texte écrit dans une langue donnée Signal électrique Fichier informatique P Numériser une source Quantifier le nombre d'éléments sur lequel on peut coder un fichier Utilisée en imagerie médicale ou spatiale Recale deux images l'une sur l'autre en minimisant l'entropie de deux images Repère sur un chromosome le nombre d'ADN contenant le plus d'information V C'est l'émetteur ; celui qui émet un message codé. C C'est le récepteur du message codé envoyé par l'émetteur. Il est le décodeur du message et la personne qui l'interprète. W Techniques : Difficultés dans l'exactitude du transfert entre l'émetteur et le destinataire. Sémantiques : comment le destinataire va-t-il identifier l'émetteur du message ? Possibilité d'incompréhension dans l'échange entre les deux interlocuteurs. [...]

[...] D'efficacité : directement liées aux problèmes sémantiques. Il s'agit là de la pertinence du message passé par l'émetteur. G Bruit 0 Source 9 & Emetteur (codage) . Message \ Signal 8 Canal ) Récepteur (décodage) \ Signal 0 Destinataire . Message G Bruit 0 Source 9 & Emetteur (codage) . Message 8 Canal \ Signal Schéma simpliste Ne peut s'appliquer à toutes les situations Ne peut pas mesurer les réactions du récepteur Impossible de mesurer l'efficacité du message ) Récepteur (décodage) 0 Destinataire . [...]

[...] Alphabet = code chiffré Questions Booléennes 0 Source: Siège d'évènements aléatoires qui constituent le message émis Entropie 8 Canal: transmet et dégrade le message Capacité Deux théorèmes fondamentaux : Codage de source / Codage de canal Source discrète sans mémoire Source discrète à mémoire Source stationnaire Source à débit contrôlable Source à débit non contrôlable Source discrète à contraintes fixes Source de Markov L'efficacité de l'information dépend du contexte d'émission et de son environnement. Plus une source émet d'informations différentes, plus l'entropie (l'incertitude) est grande. De nos jours l'entropie de Shanon est utilisée . [...]