| 授業の目標と概要 |
| 情報理論は，現代の高度情報化社会を支える基礎理論である。本科目では，情報理論で重要な役割を果たす基礎知 |
| 識，およびシャノンの情報源符号化定理について理解することを目的としている。また，実際の符号化アルゴリズム |
| や最新の研究動向についても学習し，最先端の研究のエッセンスを肌で感じられることを目指す。 |
|
| カリキュラムにおける位置づけ |
| 確率・統計で学んだ知識を駆使するので，良く復習しておくこと。 |
| また，情報数学で学んだ集合や写像の概念などについても復習しておくことが望ましい。 |
| 授業の中で応用として触れる部分は，情報通信工学と非常に深い関連がある。 |
|
|
|
| １．ガイダンスと確率論の復習 |
2 |
| ２．エントロピー |
2 |
| ３．エントロピーのチェイン則 |
2 |
| ４．ダイバージェンス |
2 |
| ５．ダイバージェンスの応用 |
2 |
| ６．符号の定義と正則性 |
2 |
| ７．分節可能符号と語頭符号 |
2 |
|
|
|
|
|
|
|
| ８．符号の表現とクラフトの不等式 |
2 |
| ９．最適な符号 |
2 |
| １０．符号化アルゴリズム |
2 |
| １１．相互情報量 |
2 |
| １２．相互情報量の応用 |
2 |
| １３．情報処理不等式とファノの不等式 |
2 |
| １４．情報理論の応用 |
2 |
|
|
|
|
|
|
|
| 教科書 |
|
| 補助教科書 |
|
| 履修上の注意 |
|
原則として授業の最後に演習問題を行なう。
演習の解答は提出を求めるので，毎回Ａ４のレポート用紙および電卓を用意すること。
|
|
| 評価基準 |
|
さまざまな情報量の定義および意味を理解し，その計算ができるようになる。また，情報源符号化とその方法について理解し，簡単な符号を構成できるようになる。
|
|
| 評価法 |
|
| 学習・教育目標 |
東京高専 |
|
JABEE |
|
