【 2024 年度 授業概要】

科　　　目			情報理論 ( Information Theory )
担当教員			原口 俊樹 非常勤講師 【実務経験者担当科目】
対象学年等			電子工学科・5年・通年・必修・2単位【講義】 ( 学修単位III )
学習・教育 目標			A3(100%)
授業の概要 と方針			情報理論は情報通信に関わる重要な基礎理論であり，その理解は難しい数学についての知識が要求される．本授業では，理論部分を分かりやすく解説することに努め，学生が情報理論の本質を理解できることを目標とする．
到 達 目 標		1	【A3】 予備知識としての情報理論に関係する確率の計算ができる．
		2	【A3】 情報，情報源を理解した上で，情報の大きさが計算できる．
		3	【A3】 情報源符号化の意味を理解した上で，基本的な符号化の方法とその効果を評価できる．
		4	【A3】 与えられた情報源に対して結合エントロピー，条件付きエントロピー，相互情報量が計算できる．
		5	【A3】 通信路モデルに対して通信路容量，復号誤り率が計算できる．
		6	【A3】 通信路符号化の意味を理解した上で，与えられた符号の符号化及び復号が行える．
		7
		8
		9
		10
評 価 方 法 と 基 準	到 達 目 標 毎	1	簡単な通信路モデルに対して，条件付き確率とベイズの定理などを適用して確率の計算ができるか，演習課題で評価する．
		2	1つの情報がもつ情報量，及び情報源がもつ情報量であるエントロピーの意味と計算方法が理解できているか，前期中間試験で評価する．
		3	情報源符号化の意味を理解した上で，与えられた情報源に対して符号を構成し，その符号の効率を評価できるか，前期定期試験で評価する.
		4	簡単な情報源に対して結合エントロピー，条件付きエントロピー，相互情報量の計算ができるか，演習課題で評価する．
		5	簡単な通信路モデルに対して通信路容量と復号誤り率の計算ができるか，後期中間試験で評価する．
		6	通信路符号化の意味を理解した上で，与えられた符号における符号化・復号化が行えるか，後期定期試験で評価する．
		7
		8
		9
		10
	総 合 評 価		成績は，試験85%　演習課題15%　として評価する．100点満点で60点以上を合格とする．なお，試験成績は中間試験と定期試験の平均点とする．
テキスト			「情報理論」：三木成彦，吉川英機著（コロナ社）
参考書			「情報理論」：白木善尚編，村松純，岩田賢一，有村光晴，渋谷智治著（オーム社） 「情報と符号の理論」：宮川洋，原島博，今井秀樹著（岩波書店）
関連科目			D1：情報基礎，D4：確率統計，D4：通信方式，D5：情報通信ネットワーク
履修上の 注意事項

【授業計画（ 情報理論 ）】

週	上段：テーマ／下段：内容（目標、準備など）
1	情報理論とは
	情報通信ネットワークにおける基礎技術として情報理論が果たす役割について概説する．
2	通信システムのモデル
	情報の発信，通信，受信からなる基本的な通信システム，及び符号化と復号を中心として，情報理論が目指すところを概説する．
3	確率論の基礎
	確率変数と確率分布，条件付き確率， マルコフ過程，ベイズの定理など，情報理論に関係の深い確率論の基礎を理解する．
4	情報源のモデル
	情報源の表現，情報の定量的な表現である情報量，特に確率との関連性について理解する．
5	エントロピー
	情報源全体がもっている情報量を表すエントロピー（平均情報量）の意味と計算方法を理解する．
6	冗長度
	情報源から発生する情報の生起確率の偏りによる冗長性について理解する．
7	演習
	1週目から6週目までの授業内容に関して，演習問題を使って理解を深める．
8	中間試験
	1週目から7週目の授業内容に関して試験を行う．
9	中間試験の解答・解説，平均符号長
	中間試験の答案を返却し解答および解説を行う．情報源符号の良否を評価するための1つの尺度である平均符号長について理解する．
10	一意復号可能符号，瞬時符号
	情報源符号の良否を評価するための尺度である一意復号可能性・瞬時性について理解する．
11	情報源符号化定理
	情報源符号化に求められる要件を理解し，情報源符号化の限界について学ぶ．
12	情報源符号
	情報源符号化を実現する方法について，その原理や特徴を理解する．
13	ハフマン符号
	具体的な情報源符号化の方法としてハフマン符号を学び，平均符号長を計算する．
14	ランレングス符号
	ある特定の情報が連続して生起しやすい情報源では，生起する情報を1つずつ符号化するより，情報の連続数（ランレングス）を符号化した方が効率は良い．この符号化方法であるランレングス符号とその性質について理解する．
15	演習
	9週目から14週目までの授業内容に関して，演習問題を使って理解を深める．
16	ZL符号
	符号化の前に情報源の確率分布を知らなくとも，その情報源に対して最適な符号化・復号が行える符号をユニバーサル符号という．ユニバーサル符号の代表的な例であるZL符号について符号化・復号を理解する．
17	結合エントロピーと条件付きエントロピー
	2つ，あるいはそれ以上の情報源に注目したとき，情報源間に関係が存在することがある．各情報源の結合事象をもつ情報源を新たな情報源とする結合エントロピーを理解する．また，各情報源の条件付き事象をもつ情報源を新たな情報源とする条件付きエントロピーを理解する．
18	相互情報量
	2つ，あるいはそれ以上の情報源があるとき，一方の情報源について他方の情報源から一部の情報量が間接的に得られることがある．他方の情報源から得られる平均的な情報量である相互情報量を理解する．
19	マルコフ情報源のエントロピー
	相互情報量の発展形で，過去に生起した情報に影響させる情報源がマルコフ情報源である．このマルコフ情報源におけるエントロピーについて理解する．
20	通信路のモデルと通信路容量
	情報がどのように伝送されるかについて，誤りの生じる確率を用いて統計的に扱われる通信路のモデルを理解する．また，通信路が与えられたとき，送信側から受信側に伝送される情報量の上限である通信路容量の意味と計算方法を理解する．
21	復号誤り率
	通信路符号の良否は，その符号を用いることによって受信側で復号結果を誤る確率をどれだけ小さくできるかで評価できる．受信側で平均として復号結果を誤る確率である復号誤り確率の計算方法を理解する．
22	演習
	16週目から21週目までの授業内容に関して，演習問題を使って理解を深める．
23	中間試験
	16週目から22週目の授業内容に関して試験を行う．
24	中間試験の解答・解説，通信路符号化定理
	中間試験の答案を返却し解答および解説を行う．通信路符号化によって信頼できる情報伝送を行うための伝送速度の限界を学ぶ．
25	誤り検出と訂正の理論
	誤り訂正，検出符号の概念を理解し，符号を構成するための要件について理解する．
26	パリティ検査符号
	誤り検出符号の基本となるパリティ検査符号について理解する．
27	線形符号
	符号化及び誤り検出，訂正の操作が数学的規則によって行うことができる線形符号について理解する．
28	各種の通信路符号化の方法とその性質
	これまでに学んできた各種の通信路符号化の方法とその性質について再確認する．
29	演習
	24週目から28週目までの授業内容に関して，演習問題を使って理解を深める．
30	総復習
	年間を通じた授業内容に関して，演習問題を使って理解を深める．
備 考	前期，後期ともに中間試験および定期試験を実施する． 本科目の修得には，60 時間の授業の受講と 30 時間の事前・事後の自己学習が必要である．