情報理論

年度	2010
科目名	情報理論
教員名	柴山　秀雄
授業概要	情報理論は情報関連の学問における常識とも言えるほどの基礎理論でもある。 ITというキーワードが普遍化して情報技術の重要性が広く認識された結果、今や現代社会は情報化社会であると言っても過言ではない。 それでは情報とはどんなもののことを指すのか？ 例えば就職面接のときに「ホウ、あなたは情報学部ですか？ それじゃあ情報とは何ですか？」と質問されたら、あなたはどう答えるのだろうか？ また、情報の量が多いか少ないかを測るにはどうすれば良いのか？ 本講義では、そのような情報の理論的な取扱いを学ぶ事が目的である。 現代の情報理論はC.E.Shannon の論文 ”A Mathematical Theory of Communication”がそのもとになっている。これは高度の数学的理論であり、数学的な厳密さを要求すると難しい理論である。 しかし本講義は数学の勉強ではない。 情報の理論的な取扱いは情報に携わる人にとっての基礎的な学問である故、数学的厳密さを犠牲にしても出来るだけ身近な例を通して、その意味する所をわかりやすく理解できるように学習を進めたい。 時間の制約もあり一般の工科大学における講義内容のレベルには達しないのは承知だが、何もわからないよりは良いだろうし、興味を持ってもらえる事が重要と考える。
授業計画	講義ガイダンス、および「情報」の定義検討 情報量の定義と計算方法 情報理論における数学基礎、および確率による情報量の算出 情報量の計算演習と、エントロピーの概念導入 エントロピーの定義と計算方法 確率変化時のエントロピー、およびエントロピーの意味と、その応用 復習としての演習、および、情報の表現と伝達モデル 遷移確率（条件付確率）、同時確率、事前確率、事後確率、ベイズの定理 拡張情報量と拡張エントロピー、言語の情報量、および冗長度と情報伝達速度 「誤り」がある場合のエントロピー 通信路容量 シャノンの第1定理 シャノンの第2定理 アナログとディジタル情報源の符号化（ハミングの距離、および誤り検出と訂正符号） 暗号理論とその応用、および、量子暗号、ゼロ知識証明等の先端技術
評価方法	評価は、学期末のテストと、随時に行う授業中の小テスト、宿題の提出状況、等に基づく普段の授業態度点、および、出席点の3項目を総合評価して行う。
教科書
参考書
メッセージ	参考書は専門書籍を扱う書店や図書館に行けば情報理論の本があるが、通常は数式が多く難解と思われるので、教科書としては指定しない。 また本講義では高度な数学的証明などは省略する。 受講者は、最低限、普通のコミュニケーションができる人、すなわち、普通の会話ができる人だけが受講して欲しい。 楽して単位数だけを取ろうという人は時間の無駄になる可能性があるので履修登録をしない方が良いと思う。