La foto de la portada es una imagen de libre uso de Pixabay y editada por
con GIMP, los emoji son creados con Bitmoji
La Teoría de la Información responde a dos preguntas fundamentales en la teoría de la comunicación.
La primera es: ¿Cuál es la compresión de datos definitiva? cuya respuesta es la entropía H ).
Ls Segunda es: ¿Cuál es la máxima tasa de transmisión de la comunicación? en ese caso la respuesta es: la capacidad del canal C.
Por esta razón, algunos consideran que la Teoría de la Información es un subconjunto de la Teoría de la Comunicación.
Pero en realidad es mucho más que eso.
De hecho, está tiene contribuciones fundamentales en diversas áreas, como en la física estadística, por ejemplo la termodinámica; en la ciencia computacional, por ejemplo, la complejidad de Kolmogorov o complejidad algorítmica; en la inferencia estadística, por ejemplo, la navaja de Occam: La explicación más simple es la mejor; en la probabilidad y la estadística, por ejemplo en exponentes de error para la prueba de hipótesis y la estimación óptima.
Imagen de Pixabay y editada por
con GIMP.Ingeniería Eléctrica (Teoría de la Comunicación)
Shannon sorprendió a la comunidad de la teoría de la comunicación al demostrar que la probabilidad de error podía hacerse casi nula para todas las tasas de comunicación inferiores a la capacidad del canal.
La capacidad puede calcularse simplemente a partir de las características del ruido del canal.
A esto lo denominó entropía, en deferencia al uso paralelo de esta palabra en termodinámica, y argumentó que si la entropía de la fuente es menor que la capacidad del canal, se puede lograr una comunicación asintóticamente libre de errores.
El mínimo de la compresión de los datos se encuentra en un extremo del conjunto de ideas de comunicación.
Todos los esquemas de compresión de datos requieren tasas de descripción al menos iguales a este mínimo. En el otro extremo se encuentra el máximo de transmisión de datos, conocido como la capacidad del canal. Así, todos los esquemas de modulación y compresión de datos se sitúan entre estos límites.
Sin embargo, estos esquemas de comunicación teóricamente óptimos, por muy bonitos que sean, pueden resultar poco prácticos desde el punto de vista computacional.
Sólo por la viabilidad computacional de los esquemas simples de modulación y demodulación los utilizamos en lugar de la codificación aleatoria y la regla de decodificación del vecino más cercano sugeridas por la prueba de Shannon del teorema de capacidad del canal.
La practicidad computacional se logró finalmente con la llegada de los códigos turbo. Un buen ejemplo de aplicación de las ideas de la teoría de la información es el uso de códigos de corrección de errores en discos compactos y DVD.
Algunas de las compensaciones de tasas entre emisores y receptores son inesperadas, y todas tienen una cierta simplicidad matemática. Sin embargo, queda por encontrar una teoría unificadora.
Imagen de Pixabay y editada por
con GIMP.Ciencias de la Computación (Complejidad de Kolmogorov)
Así, la complejidad es la longitud mínima de la descripción.
Esta definición de complejidad resulta ser universal, es decir, independiente del ordenador, y tiene una importancia fundamental.
Así, la complejidad de Kolmogorov sienta las bases de la teoría de la complejidad descriptiva.
Resulta gratificante que la complejidad de Kolmogorov K sea aproximadamente igual a la entropía de Shannon H si la secuencia se extrae al azar de una distribución que tiene entropía H.
Por tanto, la relación entre la teoría de la información y la complejidad de Kolmogorov es perfecta.
Existe una agradable relación complementaria entre la complejidad algorítmica y la complejidad computacional. Se puede pensar en la complejidad computacional (complejidad temporal) y en la complejidad de Kolmogorov (longitud del programa o complejidad descriptiva) como dos ejes correspondientes al tiempo de ejecución del programa y a la longitud del programa.
La complejidad de Kolmogorov se centra en minimizar a lo largo del segundo eje, y la complejidad computacional se centra en minimizar a lo largo del primer eje. Se han realizado pocos trabajos sobre la minimización simultánea de ambas.
Física (Termodinámica)
La mecánica estadística es la cuna de la entropía y de la segunda ley de la termodinámica.
La entropía siempre aumenta.
Entre otras cosas, la segunda ley permite descartar cualquier afirmación sobre las máquinas de movimiento perpetuo.
Matemáticas (teoría de la probabilidad y estadística)
Las magnitudes fundamentales de la teoría de la información --entropía, entropía relativa e información mutua--se definen como funcionales de las distribuciones de probabilidad.
A su vez, caracterizan el comportamiento de largas secuencias de variables aleatorias y nos permiten estimar las probabilidades de eventos raros (teoría de la gran desviación) y encontrar el mejor exponente de error en las pruebas de hipótesis.
Economía (Inversión)
La inversión repetida en un mercado de valores estacionario da lugar a un crecimiento exponencial de la riqueza.
La tasa de crecimiento de la riqueza es un dual de la tasa de entropía del mercado de valores.
Los paralelismos entre la teoría de la inversión óptima en el mercado de valores y la teoría de la información son sorprendentes. Desarrollamos la teoría de la inversión para explorar esta dualidad.
Imagen de Pixabay y editada por
con GIMP.Filosofía de la Ciencia (La Navaja de Occam)
Guillermo de Occam dijo: Las causas no deben multiplicarse más allá de lo necesario, o parafraseándolo, La explicación más sencilla es la mejor.
Solomonoff y Chaitin argumentaron de forma persuasiva que se obtiene un procedimiento de predicción universalmente bueno si se toma una combinación ponderada de todos los programas que explican los datos y se observa lo que imprimen a continuación.
Cuando se aplica al mercado de valores, el procedimiento debería encontrar esencialmente todas las leyes del mercado de valores y extrapolarlas de forma óptima.
En principio, este procedimiento habría encontrado las leyes físicas de Newton. Por supuesto, esta inferencia es muy poco práctica, porque eliminar todos los programas informáticos que no generan datos existentes llevaría un tiempo imposible. Predeciríamos lo que ocurre mañana dentro de cien años.
Computación vs. Comunicación
A medida que construimos computadores más grandes a partir de componentes más pequeños, nos encontramos con un límite de cálculo y un límite de comunicación.
La computación está limitada por la comunicación y la comunicación está limitada por la computación.
Estos límites se entrelazan y, por tanto, todos los desarrollos de la teoría de la comunicación a través de la teoría de la información deberían tener un impacto directo en la teoría de la computación.
Imagen de Pixabay y editada por
con GIMP, e Inkscape.Espero que les haya gustado este interesante tema acerca de la Teoría de la Información, no te pierdas las próximas publicaciones donde abordaré otros temas interesantes. Si deseas ampliar más te invito a leer las siguientes referencias:
- N. M. Abramson. Information Theory and Coding. McGraw-Hill, New York, 1963.
- Y. S. Abu-Mostafa. Information theory. Complexity, pages 25–28, Nov. 1989.
- D. E. Knuth. Art of Computer Programming.
- A. N. Kolmogorov. On the Shannon theory of information transmission in the case of continuous signals. IRE Trans. Inf. Theory, IT-2:102–108, Sept. 1956.
- A. N. Kolmogorov. Logical basis for information theory and probability theory. IEEE Trans. Inf. Theory, IT-14:662–664, 1968.
- R. J. Solomonoff. A formal theory of inductive inference. Inf. Control, 7:1–22,224–254, 1964.
