Práctica 1: Transmisión de información (Teoría de las Comunicaciones)
Ejercicio 01
¿Qué cantidad de información se obtiene de la observación de los siguientes experimentos u objetos?
a. La tirada de una moneda equilibrada.
b. La tirada de un dado equilibrado.
c. Un codón (triplete de bases de ADN) en un genoma, donde cada base puede tomar 4 valores: A,T,C,G.
d. Una letra en un libro de Borges.
Rta:
Información de un evento: I(s) = -log2(P(s)) con P(s) la probabilidad del evento s
a. I(1/2) = -log2(1/2) = 1 bit
b. I(1/6) = -log2(1/6) = 2,58 bits
c. I( (1/4)^3 ) = -log2( (1/4)^3 ) = -log2(1/64) = 6 bits
d. I(#Cantidad Aparicion de letra "?"/ #Cantidad total de letras del libro)
Ejercicio 02
Una fuente de información binaria con memoria nula produce el símbolo s0 con probabilidad p0 y el símbolo s1 con probabilidad p1 = 1 - p0.
a. Formular la entropía de la fuente como función de p0.
b. Graficar H(p0).
c. Dar una interpretación de los puntos de la gráfica que considere interesantes.
Rta:
Entropía de una fuente: H(S) = SUMATORIAseS P(s) I(s)
a. H(S) = p0 * I(s0) + (1 - p0) * I(s1) = p0 * -log2(p0) + (1 - p0) * -log2(1 - p0)
b.Archivo:Https://upccommunications.files.wordpress.com/2011/01/entropia-grafica.jpg