2010年度 情報理論 講義概要

文字を電気信号の有無（例えば1と0との2種類の記号）に置き換えることは目新しいことではありません。イギリスの哲学者Francis Baconは1605年にすべてのアルファベット24文字を2種類の記号5個に置き換えることに成功しています（初期の英語のアルファベットにはJとVの文字が存在しなかったようです）。しかし、英語の辞書を開くと、Eで始まる単語は多く、Qで始まる単語は少ないことに気がつくことでしょう。頻繁に現れる Eを少ない記号数の列で表し、あまり現れないQを多い記号数の列で表せば、平均的にに少ない記号数で情報を伝送できそうです。さらに、Qで始まる単語の次の文字はUである可能性が高いので、さらに効率の良い情報伝送法が見出せるかもしれません。しかし、情報源の性質を知ったところで、どのようにして記号に置き換えれば（符号化といいます）よいのでしょうか。ところで、情報の大きさはどのように測定するのでしょうか。人が犬にかまれたことよりも、「人が犬をかんでしまった」ことの方が大きな情報であるは明らかです。情報を他の人に提供したら、その情報量は少なくなるのでしょうか。いや、情報なんて人にあげたとしてもなくなるものではない、と考える人もいるかも知れません。そもそも情報とは一体何でしょうか。これらの疑問に対する答えは情報理論の中にあります。美しい理論体系を持つ情報理論の歴史は実に浅く、1948年に発表されたC. E. Shanonのアイディアに由来します。この講義では、課題の整理に始まり、情報量の定量化法、情報源符号化や通信路符号化の限界、実現可能な情報圧縮手法、通信路に生じた誤りの検出手法やその誤りの訂正手法まで考えられることを目指しましょう。簡単な確率の計算ができること、論理回路や論理計算の基礎を習得していること、行列計算のできることを前提にして、講義を進めます。

1. 毎回の講義に遅刻・早退することなく出席する意思を持ち、講義中に提示される課題のすべてをやりとげる意志のあること
2. すべてのレポート課題を期限内に提出する意思のあること
3. 他の受講生に迷惑をかけないこと、

細かな項目をここで挙げることはしませんが、この講義を大学生としての普通の勤勉さで学んだ学生は以下のことのすべてができるようになるはずで、またそのように学習することを望みます。

1. 情報源に関する重要な概念、語句、およびモデルを説明することができる
2. 情報源符号化の理論限界を論ずることができ、情報を短い記号数で表現する代表的方法を説明できる
3. 現実の物理現象に対して情報量を定量的に表現することができる
4. 誤りのある通信路における容量を計算することができ、符号化の理論限界や冗長性付加による信頼性向上を論ずることができる
5. 通信路に生じる誤りを検出し、また誤りを訂正する代表的な方法を説明できる

この講義において、指定教科書に基づき講義を行い、またその演習問題を利用しますので、この科目の履修者は指定教科書を入手する必要があります。

期末試験により評価します。評価基準は学生便覧に記されているとおりです。期末試験を欠席した学生や、受講要件を満たさない、または満たさなくなった学生に対しては不合格評価を行います。いかなる理由があろうとも、不正行為を認めません。また、他の学生の学習を妨げる行為に対しては断固とした態度で臨み、講義室からの退出を願い不合格評価とする場合があります。