Théorie de l’information et du codage

Thèmes abordés

Information, codage, théoreme de Shannon, capacité d'un canal, canal discret, transmission

Résumé du document

Pour tout canal de transmission, nous définirons une grandeur caractéristique appelée capacité qui s'interprète comme la quantite maximale d'information pouvant transiter à travers le canal.
Entree - Bruit - Sortie
Pour definir un canal de transmission, il est necessaire de d´écrire:
L'ensemble des entrées possibles du canal
L'ensemble des sorties possibles du canal
Le bruit qui perturbera la transmission
L'ensemble des entrées comme celui des sorties seront des
ensembles finis X et Y et le bruit se modelisera par la donnée
d'une loi de probabilité conditionnelle de Y sachant X.

Extraits

[...] On a alors H(X ) = 0.1414 Sh/symbole et ds H(X ) = 84840Bits/s. Soit un canal binaire symetrique avec p = 0.001 de debit 450 Kbits/s. On C = 1 + p log2 p + log2 = 0.9886 Sh/Symbole et dc C = 444870 Bits/s. La condition est donc verifiee. TIC (GRT4) M. [...]

[...] Theorie de l'information et du codage Mohamed BOULOUIRD ` Filiere Genie Reseaux & Telecommunications Ecole Nationale des Sciences Appliquees Universite Cadi Ayyad Marrakech Courriel: TIC (GRT4) M. Boulouird - ENSAM - UCAM 2011/ / 14 Chapitre Codage de canaux discrets sans memoire 1 Definition du canal discret Capacite d'un canal Capacite d'un canal discret sans memoire ` ` Deuxieme theoreme de Shannon TIC (GRT4) M. Boulouird - ENSAM - UCAM 2011/ / 14 Chapitre Codage de canaux discrets sans memoire 1 Definition du canal discret Capacite d'un canal Capacite d'un canal discret sans memoire ` ` Deuxieme theoreme de Shannon TIC (GRT4) M. [...]

[...] j Πk log2 Πk,j est independant TIC (GRT4) M. Boulouird - ENSAM - UCAM 2011/ / 14 Capacite d'un CDSM Alors: H(Y ) = k Pk H(Π) H(Π) k = = Pk H(Π) Pour maximiser I(X , Y il suffira de maximiser H(Y Proposition ` La capacite d'un canal symetrique est egale C = log2 J H(Π) Exemple 2 Considerons le canal binaire symetrique de l'exemple donc H(Π) = log2 p log2 = H2 ` La capacite de ce canal est egale a C = 1 + p log2 p + log2 = 1 H2 TIC (GRT4) M. [...]

[...] Boulouird - ENSAM - UCAM 2011/ / 14 Capacite d'un canal Chapitre Codage de canaux discrets sans memoire 1 Definition du canal discret Capacite d'un canal Capacite d'un canal discret sans memoire ` ` Deuxieme theoreme de Shannon TIC (GRT4) M. Boulouird - ENSAM - UCAM 2011/ / 14 Capacite d'un canal Soit un canal dont l'ensemble des entrees est X et l'ensemble des sorties Y. La ` donnee du canal nous fourni egalement la loi de transition, c'est-a-dire la loi de probabilite conditionnelle de Y sachant X. Cette loi sera notee pour tout x dans X et tout y dans nous connaissons P(y/x). [...]

[...] TIC (GRT4) M. Boulouird - ENSAM - UCAM 2011/ / 14 Definition du canal discret Definition Un canal discret sans memoire est defini par la donnee de: Un alphabet d'entree X = , aK Un alphabet de sortie Y = , bJ Une loi de transition definie par les probabilites conditionnelles P(bj /ak La matrice K J suivante: P(b1 /a1 ) . . P(bJ /a1 ) . . P(b1 /aK ) P(bJ /aK ) est appelee matrice stochastique du canal. [...]