シャノン・エントロピーは、マイナスにならない

【シャノン・エントロピーはマイナスにはならない】

ここでは、シャノン・エントロピーのいくつかの基本的性質についてみておきましょう。

まず、どんな確率分布に対しても、シャノン・エントロピーは、0か正の値を取ります。エントロピーがマイナスの値をとることはないのです。

ただ、H(X) = −Σpi log pi というエントロピーの定義式の先頭に、マイナス符号がついているので、エントロピーはマイナスにならないと言われて戸惑う人もいるかもしれません。

次のように考えます。

先頭のマイナス符号を、Σの内側に入れます。

　　H(X) = −Σpi log pi = Σpi (−log pi)
= Σpi (log pi^{-1}) = Σpi log(1/pi)

Σの前のマイナス符号は、Σの内側に入って −log pi になって、それは log(1/pi) になります。

pi は確率なので、0 <= pi <= 1 です。この時、 1/pi >= 1 になります。
log の性質から、もう一つ、わかることがあります。それは、log の底の選択によらず、

　　0 < x < 1 の時、 log x < 0
　　 x = 1 の時、 log x = 0
　　　 x > 1 の時、 log x > 0

だということです。

1/pi >= 1 がわかっているので、 log(1/pi ) >= 0 がわかります。
これと、0 <= pi <= 1 より、pi log(1/pi ) >= 0 となります。
よって、H(X) = −Σpi log pi = Σpi log(1/pi ) >= 0 であることがわかります。

ショートムービーでは、エントロピーがゼロになる場合を分析しています。
こちらは、ご自分でお考えください。

けっして難しくはありません。

5/28 マルゼミ「エントロピー論の現在」のまとめページを作りました。ほぼ毎日更新されると思います。ご利用ください。https://www.marulabo.net/docs/info-entropy5/

5/28 マルゼミの申し込みページも作成しました。
https://entropy-theory.peatix.com/
お申し込みお待ちしています。　

過去・現在・未来