L’immense majorité des données (texte, son, image, vidéo, etc.) sont stockées et manipulées sous forme numérique, c’est-à-dire à l’aide de nombres entiers qui sont convertis en une succession de bits (des 0 et des 1). La conversion depuis le monde analogique continu vers ces représentations numériques discrètes est décrite par la théorie élaborée par Claude Shannon (30 avril 1916 - 24 février 2001), le père fondateur de la théorie de l’information. L’impact de cette théorie sur notre société est absolument colossal. Sur le plan théorique, Shannon a montré que si l’on modélise le message à coder comme étant généré par une sources aléatoire, alors le nombre de bits par symbole minimum pour coder ce message est égal à l’entropie de la source. J’expliquerais la signification et les implications pratiques de ce théorème, et je le démontrerais. J’expliquerais aussi comment on peut calculer efficacement des codes atteignant la borne minimum de l’entropie à l’aide des arbres de Huffman. Un texte grand public (sans les preuves mathématiques) est disponible sur le site "Images des mathématiques" et les programmes informatiques correspondants sont disponibles en ligne.
23 окт 2024
