情報理論とエントロピーとは？じょうほうりろんとえんとろぴー
情報理論とエントロピーとは、事象の起こりにくさを情報量として定量化する理論。確率pの事象の情報量は−log2 pビットで、その期待値が平均情報量（エントロピー）である。エントロピーはデータを可逆圧縮したときの理論的な下限を与え、符号化効率を評価する尺度になる。
最終更新：2026-10-06
応用情報を最短で暗記・合格する →具体例
4種類の記号が等確率なら平均情報量は2ビットで、固定長2ビットの符号が最適になる。一方、出現確率が偏っていれば平均情報量は2ビットを下回り、ハフマン符号のような可変長符号で平均符号長を縮められる。
試験での引っ掛け
エントロピーは出現確率だけで決まり、記号の種類数だけでは決まらない。また圧縮率はエントロピーの下限を超えられないので、「どんなデータでも半分になる可逆圧縮」は原理的に存在しない。
関連用語
出典・参考
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。