Teoría de la información.

Origen.

Claude Elwood Shannon publica en el Bell System Technical Journal en 1948 un artículo titulado
"A mathematical theory of communication".

En este trabajo se demostró que todas las fuentes de información
(telégrafo eléctrico, teléfono, radio, la gente que habla, las cámaras de televisión, etc, )
se pueden medir y que los canales de comunicación tienen una unidad de medida
similar. Mostró también que la información se puede transmitir sobre un canal si, y solamente si, la magnitud de la fuente no excede la capacidad de transmisión del canal que la conduce, y sentó las bases para la corrección de errores, supresión de ruidos y redundancia.

Información.

El concepto de información supone dos objetos:

• La fuente de información (Tx) y
• El destinatario de la información (Rx)

Fuente de información.

Una fuente de información emite secuencias de símbolo pertenecientes a un conjunto completo denominado alfabeto Fuente S={S1,S2, ..., Sq} siendo q el número de símbolos de la fuente.
La fuente de información está caracterizado por el alfabeto fuente y por la probabilidad con que se emite cada símbolo.

Fuente de información de memoria nula. Los símbolos son estadísticamente independientes.

Entropía.

De una manera informal podemos definir la entropía como la cantidad de información contenida en un mensaje, también es la medida de la cantidad de "ruido" que contiene y por tanto nos indica el límite teórico para la compresión de datos.

Definición formal. Sea E un suceso, y P(E) la probabilidad de que se presente el suceso. Cuando E ocurre, se dice que hemos recibido I(E)=log [1/P(E)] unidades de información.