情報源モデル

情報源

情報源 とは，ある確率分布に従い記号を発生させる情報の源をいう． 情報源においては，一定の時間間隔で記号が発生し続ける． 以下に情報源の例を示す．

例: じゃんけん好きの主婦（毎週日曜夜）．

7日間という時間間隔にて，

という3種類の記号のいずれかを発生させる情報源とみなすことができる．

例１ 例２

例: 伊都キャンパスにおける正午の天気．

24時間という時間間隔にて，

という4種類の記号のいずれかを発生させる情報源とみなすことができる．

例１ 例２ 例３

定常無記憶情報源

情報源が 定常 であるとは，記号の生起確率が時刻によらず一定であるときをいう． また，情報源が 無記憶 であるとは，記号の生起確率がその前後の記号に よらず一定であるときをいう． 本書では，定常かつ無記憶な情報源のみを扱う．