Barrapunto

Si, la entropía es el nivel de desorden en un sistema, y por eso una alta entropía es buena.

Si la entropía de un lenguaje es baja, significa que el lenguaje está muy ordenado, o lo que es lo mismo, que ciertas estructuras de datos está ordenada con otra estructura.

Por lo tanto, si la entropía de un lenguaje es alta, significa que ese mismo programa se podría haber hecho en otro lenguaje con una cantidad de código menor, por lo tanto, la posibilidad de cometer fallos en el programa (que mas o menos es proporcional al número de lineas de código) disminuye.

Es justo al revés. Pon todo tu disco duro lleno de ceros, (Entropía nula) y verás cuánta información tienes. Formalmente se define entropía como el valor esperado de la información, que es el logaritmo de la probabilidad de un suceso. H=E[I(X)] Para una variable aleatoria de bernoulli ( binaria, 1 o 0) la entropía es -P(1)*log2(P(1))-P(0)*log2(P(0))

Si la cantidad de información es nula; o sea (P(1) = 1 y P(0) = 0) o viceversa, la entropía es cero también.