Information Theory
情報理論

科目紹介

科目内容

情報理論は，情報の発信を確率過程としてとらえることで情報を定義し，情報の持つ 性質を明らかにする学問である．情報理論の存在なくしては現在のディジタル機器の出 現，普及は不可能だったと言われており，通信ネットワーク工学分野における最も 重要な基礎学問の一つである．講義では 情報源と符号化の定義，平均符号長， 一意に復号可能な符号と瞬時に復号可能な符号，Kraft の不等式， 平均符号長の最小値とエントロピー，コンパクト符号について学び， 通信路と相互情報量について学ぶ． 理解には確率過程に関する数学の知識が必要なため， 適宜事象と確率条件付き確率と独立， などの確率に関する知識を学習する．

履修のポイント：将来，ディジタル信号・画像の処理・伝送・記憶システム， さらにデータ圧縮理論を学びたいと希望する学生は情報理論を是非履修して欲しい． 確率・統計，および情報理論を単なる理論的操作と見るのではなく， それらが現代の科学技術，特に情報通信技術の中でどのように重要な位置を 占めているかを理解することが大切である．

時限，教室，対象クラス

2024年度，火曜 2 限（10:55-12:35），遠隔授業，（履修者 名）

教科書

山本宙，「情報量　ー情報理論への招待ー」，コロナ社， ISBN978-4-339-02890-4

教科書のリンク先に正誤表があるので確認しておくこと．

成績判定

成績判定は定期試験を受験した学生を対象にその点数により行う．

授業計画

受講方法

履修時に履修登録を行い，Open LMS のこの授業のアナウンスメントに記載されている チームコードを使って授業用チーム「2024春情報理論」に参加せよ． このチームの会議によりライブ授業を行うので毎回の授業時間に接続せよ．

授業時間中にPC，スマートフォンなどでOpen LMS による出席登録を行え． ただし，定期試験の回は出席登録は無い．

授業スケジュール

• 第 1 回(2024 年 4 月 9 日) ガイダンス
• 第 2 回(4 月 16 日) 準備，符号化の定義と符号語長（1章まで，付録A.1,A.2,A.3）
• 第 3 回(4 月 23 日) 符号の非特異性，一意に復号可能な符号， （2.2節p18 まで，付録A.4）
• 第 4 回(5 月 7 日) 必要条件，十分条件，証明についての復習， 一意に復号可能であるための必要十分条件，瞬時に復号可能 （2.3節p.23まで）
• 第 5 回(5 月 14 日) 語頭条件，Kraftの不等式（p.29，13行目まで）
• 第 6 回(5 月 21 日) Kraft の不等式が瞬時に復号可能な符号が存在するための十分条件である証明（3.2節 p.34，16行目まで）
• 第 7 回(5 月 28 日) Kraft の不等式が一意に復号可能が存在するための必要条件である証明前半（3.3節 p.39 8行目まで）
• 第 8 回(6 月 4 日) Kraft の不等式が一意に復号可能が存在するための必要条件である証明後半（4.1節 p.45，17行目まで）
• 第 9 回(6 月 11 日) コンパクト符号，ハフマンの符号化-符号木（p.51，3行目まで）
• 第 10 回(6 月 18 日) ハフマンの符号化-コンパクト符号であることの証明（4.3節 p.60，13行まで）
• 第 11 回(6 月 25 日) 平均符号語長の下界-補題5.2（p.68，5.1 節まで，付録A.5）
• 第 12 回(7 月 2 日) エントロピーと平均符号語長の下界（p.73，14行まで）
• 第 13 回(7 月 9 日) 情報源の拡大と拡大情報源の平均符号語長の下界（5.3, 5.4節）
• 第 14 回(7 月 16 日) 情報源符号化定理（5.5, 5.6, 5.7節）
• 定期試験，

過去の試験

定期試験

2023 年度定期試験問題 , 定期試験解答例 , 定期試験結果

参考資料

• log 関連公式の参考資料(pdf)
• 情報量の関数が対数関数に限られる理由
• 情報系学生のための関数電卓ガイド