9/28 マルレク講演概要

9/28 マルレク「IT技術者の為の情報理論入門」の一般のお申し込みは、今週中に、次のサイトから可能になります。http://peatix.com/event/297295/

講演概要です。

------
概要
------

講演では、次の4つの話をします。

　　1. 　ボルツマンのエントロピー 　
　　2. 　シャノンの情報量
　　3. 　ディープ・ラーニングとエントロピー
　　4. 　エネルギーと情報 -- 21世紀の科学の展望

2時間の講演ですので、情報という概念が、21世紀の科学で中心的な役割を果たそうとしている大きな流れを、エピソードを中心に、わかりやすく説明できればと思っています。

以下、それぞれの内容です。

1. 　ボルツマンのエントロピー

19世紀、ボルツマンは、産業革命を牽引した蒸気機関の効率化を目指す中で経験的に発見された「エントロピー」という量に、原子論の立場から、明確な理論的な説明を与えました。彼がマックスウェルと共に、その成立に大きく貢献した統計力学の手法は、現代の技術の基礎である、20世紀の物理学に大きな影響を与えることになります。

2. 　シャノンの情報量

20世紀、シャノンは、ボルツマンと全く異なる情報の分野で、全く異なるアプローチをとりながら、ボルツマンらと同じ定式を満たす量を発見します。その量もエントロピーと呼ばれることになります。シャノンの理論は、20世紀の情報・通信の世界の発展に、中心的な役割を果たすことになります。

3. 　ディープ・ラーニングとエントロピー

21世紀初めにAI技術の一部として普及したディープラーニング技術では、エントロピーに起源を持つコンセプトが利用されています。Cost関数として使われるcross entropy関数や、分類器として利用されるSoftMax関数がその例です。それらの背景と意味を理解することは、ディープ・ラーニング技術を深く理解する上で、重要なことです。

4. 　エネルギーと情報 -- 21世紀の科学の展望

21世紀の物理学の変化を変化を牽引している主役の一人は、情報理論です。ブラックホールやエンタングルメントといった奇妙な物理現象の謎を解き明かすのに、量子情報理論と複雑さの理論は、欠かせない武器の一つになりつつあります。ここでは、いくつかの興味ふかいトピックを紹介したいと思います。