デジタル情報と符合の理論

放送大学

第3回　確率論の基礎

確率変数　試行の結果によって、値が確率的に決まる変数

確率分布　確率変数と確率の対応関係

確率分布関数　離散的な値をとる確率変数xに対する確率を与える関数f(x)

サイコロを1回投げるときの出る目x、このxがとる値は確率的に決まる、

なのでxは確率変数といえる

サイコロを1回投げる試行における出る目の確率はどの目も6分の1なので

この確率分布は一様分布

サイコロを2回投げるときの出る目の和xの場合は、2や12は少なくて、7がもっとも多い、なのでこの確率分布は三角分布

確率分布関数　離散的な値をとる確率変数xに対する確率を与える関数f(x)

確率密度関数　連続的な値をとる確率変数xに対する確率を与える関数f(x)

　確率変数がある値をとる確率を導く

二項分布

1回の試行で事象Aの起こる確率がp

この試行をn回繰り返す

このときの、事象Aが起こる回数x

例）サイコロを10回投げて1の目が出る回数x

p=1/6 n=10

x=3（1の目が3回出る）の確率 0.155

x=0の確率は0.162

もっとも確率が高いのはx=1(0.323)次いでx=2(0.291)

x>=6となる確率はほぼない

二項分布の平均値μ=np 分散σ^2=np(1-p)

二項分布B(10,1/6)の平均値μ=5/3 分散σ^2=25/18

二項分布B(n,p)は、nの値が大きいとき、正規分布N(np,np(1-p))で近似可能

第4回　情報量

informationの語源

inform = in（思考・精神に） + form（形を与える）

情報　もともとは軍事用語で「敵と敵国に関する知識」という意味

informationの訳語として定着したのは1950年代後半から学術語として定着

対数　指数関数y=a^xのxとyを交換する、すなわち一次関数y=axの線対称

x=a^y　つまりy=logax

第5回　エントロピー

エントロピー　得られる情報量の期待値

不確定さ・あいまいさの指標

第6回　ベイズの定理

理由不十分の原則

情報が与えられていなければ、確率は同等、とみなす

ベイズ更新　1回目の事後確率を、2回目の計算の新たな事前確率として利用する

第7回　通信のモデル

通信路容量　伝送情報量の最大値（誤りビットも含む）をとる、つまり通信路の情報伝送能力のこと

伝送情報量　1記号あたりの平均情報量　ビット/記号

伝送情報速度　単位時間あたりの伝送情報量　ビット/秒

第8回　情報の圧縮

第9回　線形符合

第10回　巡回符合と畳み込み符合

第11回　テキストの符合化

第12回　音の符合化

第13回　画像の符合化

第14回　動画の符合化

第15回　数列の利用