エントロピー（平均情報量）とは？えんとろぴー
エントロピー（平均情報量）とは、事象の起こりにくさを情報量 −log2 P で測り、その期待値 H＝−ΣP log2 P を平均情報量（エントロピー）と呼ぶ。応用情報では、1記号あたり最低何ビット必要かという圧縮の理論限界を示す指標として問われる。
最終更新：2026-10-06
応用情報を最短で暗記・合格する →具体例
4種類の記号が等確率ならH＝2ビットで、固定長2ビット符号が最適になる。確率が1/2,1/4,1/8,1/8ならH＝1.75ビットとなり、ハフマン符号の平均符号長も1.75ビットでこの下限に一致する。
試験での引っ掛け
エントロピーは全事象が等確率のとき最大で、偏るほど小さくなる。「情報量が多い＝価値が高い」ではなく「予測しにくい」という意味であり、単位のbitも記憶容量のビットとは別概念である。
関連用語
出典・参考
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。