情報量とエントロピーとは？じょうほうりょう
情報量とエントロピーとは、生起確率pの事象が起きたと知ったときに得られる情報量は −log2 p ビット。全事象の情報量を確率で重み付けした平均が平均情報量（エントロピー）で、符号化の理論的下限を与える。
最終更新：2026-10-07
高度試験の午前Iを最短で暗記する →具体例
確率1/2の事象は1ビット、1/8の事象は3ビットの情報量を持つ。めったに起きないことほど、起きたと知ったときの情報量が大きい。
試験での引っ掛け
「起こりやすい事象ほど情報量が大きい」は逆。情報量は −log2 p なので確率が小さいほど大きい。マイナス符号を落として log2 p とすると負の値になる。またエントロピーが最大になるのは全事象が等確率のときで、偏りが大きいほど小さくなる。
関連用語
出典・参考
解説は資格暗記が独自に作成しています。過去問の出典は各問題に記載のとおりです。