| 授業の目標と概要 |
| 情報理論は，現代の高度情報化社会を支える基礎理論である。本科目では，情報理論で重要な役割を果たす基礎知 |
| 識，およびシャノンの情報源符号化定理について理解することを目的としている。また，実際の符号化アルゴリズム |
| や最新の研究動向についても学習し，最先端の研究のエッセンスを肌で感じられることを目指す。 |
|
| カリキュラムにおける位置づけ |
| 確率・統計で学んだ知識を駆使するので，良く復習しておくこと。 |
| また，情報数学で学んだ集合や写像の概念などについても復習しておくことが望ましい。 |
| 授業の中で応用として触れる部分は，情報通信工学と非常に深い関連がある。 |
|
|
|
| １．ガイダンス |
2 |
| ・情報理論と関連分野 ・確率論の復習 |
|
| ２．情報量とその性質 |
12 |
| ２．１ エントロピー |
|
| ・エントロピー ・同時エントロピーと条件付エントロピー ・エントロピーのチェイン則 |
|
| ２．２ ダイバージェンス |
|
| ・ダイバージェンスの定義と性質 ・ダイバージェンスの凸性とその応用 |
|
| ２．３ 相互情報量 |
|
| ・相互情報量とその性質 ・相互情報量の凸性とその応用 |
|
|
|
|
| ３．情報源符号化 |
12 |
| ３．１ さまざまな符号 |
|
| ・正則な符号 ・分節可能符号 ・語頭符号 |
|
| ３．２ 符号木とKraftの不等式 |
|
| ・符号木 ・Kraftの不等式 ・数直線による符号の表現 |
|
| ３．３ 最適な符号と情報源符号化定理 |
|
| ・ＦＶ符号のデータ圧縮限界 ・i.i.d.系列に対するデータ圧縮限界 |
|
| ・ＦＦ符号に関する情報源符号化定理とその意味 |
|
| ３．４ さまざまな符号化アルゴリズム |
|
| ・Shannon-Fano符号 ・Shannon-Fano-Elias符号 ・Huffman符号 ・その他の符号化法 |
|
| ４．まとめ |
2 |
| ・情報理論を取り巻く状況 ・情報理論に関するホットトピックス |
|
|
|
|
|
|
| 教科書 |
|
| 補助教科書 |
|
| 履修上の注意 |
|
原則として授業の最後に演習問題を行なう。
演習の解答は提出を求めるので，毎回Ａ４のレポート用紙および電卓を用意すること。
|
|
| 評価基準 |
|
さまざまな情報量の定義および意味を理解し，その計算ができるようになる。また，情報源符号化とその方法について理解し，簡単な符号を構成できるようになる。
|
|
| 評価法 |
|
| 学習・教育目標 |
東京高専 |
|
JABEE |
|
