情報理論とサンプリングの基礎
Basics of Information Theory and Sampling
–“as your mother would tell you”神谷
幸宏
Yukihiro Kamiya
東京農工大学大学院共生科学技術研究院
Institute of Symbiotic Science and Technology, Tokyo University of Agriculture & Technology
Koganei, Tokyo 184-8588, Japan
Tel. / Fax: +81-42-388-7061, [email protected]
Abstract
This session aims to provide an overview of Shannon’s information theory as well as
the sampling theory through comprehensive explanations “as your mother would tell you”.
Information theory is beautiful, but an abstractive theory that is not easy to catch its
essence. In this session, images of the abstractive theories will be explained as
comprehensive as possible to understand the essence.
1
はじめに
1946 年 , ク ロ ー ド ・ シ ャ ノ ン に よ る
“Mathematical theory of communications”[1]の出
版から始まる情報理論は,近年のデジタル通信
の急速な発展に伴い,ますます重要性を増して
いる.情報理論以前の通信技術の興味の対象は,
受信信号波形の忠実な再生にあった.しかしシ
ャノンの情報理論は,通信とは信号波形のやり
とりではなく,情報の伝送であることを明確に
したといえる.その理論は大変美しいものであ
る.まず“情報量”によって情報を定量化した
後,情報源の性質を“情報エントロピー”で表
す.これらを用いて通信路容量を導出している.
その結果はよく知られている通り,次式で表さ
れる.
イバージティと様々な技術がある中,結局,得
られる伝送速度の最大値は帯域幅と SN 比によ
ってこのように規定されてしまうことは大変興
味深い.また,このような上限を理論的に明ら
かにしていることにシャノンの情報理論の偉大
さがある.
しかしその内容は非常に抽象的であり,その
概念の体得は簡単ではない.その一方で,(1)の
導出過程を理解することは情報伝送の本質を理
解する上で重要である.本基礎講座ではその導
出をゴールとして情報理論を平易に,本質を理
解することを目的として詳述する.併せて,情
報理論を通して標本化定理の導出にも触れ,近
年のソフトウェア無線技術[2]等で改めて重要性
を増している A/D 変換についても述べる.

P
C = BW log2 1 + S
N 0 BW




(1)
ここで,C は通信路容量[bit/sec], BW は信号帯
域幅 [Hz],PS 及び N0 はそれぞれ信号電力及び
2
情報理論の基礎
2.1 情報量と平均情報量(情報エント
ロピー)
情報理論は,情報を定量化することから始ま
単位帯域幅における雑音電力である.変調方式,
る[3].電気通信に限定せず,一般的に情報とい
誤り訂正符号技術,フィルタ技術,アンテナダ
うものを考えると,その定量化はどのように考
えればよいのだろうか.情報とは,人間がその
量を定量化する方法はこれで明らかとなった.
価値を見出すものであり,自然現象ではない.
今,ある情報源を考え,そこからは様々なシン
このため,電圧や電流と言った物理量と異なり,
ボルが次々と出力されてくる.
“情報源”とは情
定量化は難しい.しかし定量化しなければ理論
報の発生源であり,あらゆるものが考えられる
的に取り扱うことができないため,情報量を次
が,任意の記号や文字などを出力するものとす
のように定義する.
る.例えば,英字新聞を情報源であるとすると,
1
= − log2 P (E ) [bit] (2)
P (E )
英語の文字 A~Z,数字,コンマ等がシンボルと
ここで P(E)は事象 E が発生する確率であり,I(E)
されるシンボルが A から Z までの 26 文字に限
はその事象の情報量である.情報量の単位は bit
定されるとする.この時,それぞれの文字を“情
である.その意味するところを考える.まず,
報源シンボル”と呼び,その集合 A~Z の 26 文
対数の中身を見ると,E の発生確率の逆数とな
字を“情報源アルファベット”と呼ぶ(“情報源
っている.このことは,
“珍しい出来事ほど情報
アルファベット”は情報源シンボルの集合を意
量が大きくなる”ことがわかる.例えば,サッ
味しているのであって,英語の“アルファベッ
カーで対戦するチームに圧倒的な実力の差があ
ト”を例に使用しているからではないことに注
り,A チームはプロ,B チームは小学生チーム
意を要する.).この情報源が持つ情報量はどの
であったとする.試合を真剣勝負で行うと,プ
ように考えればよいだろうか.A~Z に含まれる
ロである A が勝つことが誰にも予想され,そう
各文字が英文に登場する確率は均等に 1/26 と
なる確率が圧倒的に高い.試合後,
「A が勝った」
はなっていないので,文字毎に情報量も異なる.
という結果を聞かされたとき,別に驚かない.
このため,それぞれの情報源シンボルの生起確
わざわざ教えてくれなくてもいいとさえ思える.
率を調べて情報量を求め,その期待値を情報源
しかし,もし B が勝ち,それを知らされた時,
の平均情報量とするのである.ある情報源 S の
非常に驚く.後者のニュースバリューが高いこ
平均情報量は次式で表される.
I (E ) = log2
とは,日常感覚として理解できる.このニュー
スバリューは,出来事の珍しさに比例し,それ
は生起確率に反比例する,ということがわかる.
して出力される.簡単のため,情報源から出力
r
H (S ) = ∑ P (si ) log2
i =1
1
P (si )
[bit/symbol]
(3)
ここで, s1 , s2 ,L, sr は情報源シンボルであり,
では,生起確率の逆数に 2 を底とする対数を
P (si ) は i 番目情報源シンボルの生起確率であ
とるのはなぜだろうか.これは,
“生起確率の逆
る.すべての情報源シンボルの情報量から 1 シ
数”として得られた量を 0 と 1 の羅列で表現し
ンボル当りの情報量の期待値を求めているため,
た時,必要なビット数を得るためである.次の
単位は[bit/symbol]である.
ような簡単な例がある.0 と 1 のみからなる 5
5
ビットの組み合わせは,2 =32 種類ある.今,
これら 32 種の 5 ビット系列のうちから一つを無
今,情報源シンボルが s1 と s2 しかなく,生起
確率はそれぞれ p,q であるものとすると,平均
情報量は P (s1 ) = p ,P (s2 ) = q = 1 − p となるの
作為に選ぶとすると,その確率は 1/32 となる.
で, H (S ) は p のみの関数となり,次式で表さ
この 1/32 という確率は,0 と 1 の 2 つのシンボ
れる.
ルで表現すると,必要なビット数は-log2(1/32)
となって,確かに 5 ビットとなり,元の系列の
ビット長と一致するのである.
一つの事象について,その事象が持つ情報の
H ( p ) = p log2
1
1
+ (1 − p ) log2
p
1− p
(4)
これをエントロピー関数と呼ぶ.この式で,確
率 p を 0 から 1 まで変化させたと, H ( p ) の値
この時,通信路は確率を用いて図 2 に示すよ
をプロットすると,図 1 のようになり, H ( p )
うにモデル化できる.ここで, puv は u 番目の
が最大となるのは p = q = 0.5 となる時である
送信シンボル au が通信路に送出された際,受信
ことがわかる.
側で v 番目受信シンボル bv が受信される確率で
ある.実際の通信システムのほとんどでは
1
U = V が成り立っているが,ここでは一般的な
0.9
議論をするため,U と V は必ずしも等しい必要
0.8
H(p)
0.7
はない.
0.6
このようなモデルにおいて,条件付確率
0.5
0.2
P (au | bv ) を事後確率と呼ぶ.「受信シンボル bv
が受信されたとき,送信シンボル au が送信され
0.1
ていた確率」ということができる.その意味を
0.4
0.3
0
0
0.2
0.4
0.6
0.8
1
p
考えるとき,自然に過去形で表現したくなる.
通信という事象が完了した後で議論される確率
図 1 エントロピー関数
であるため事後確率の名があるのが理解できる.
反対に P (bv | au ) は事前確率と呼ばれる.
つまり,シンボル s1 と s2 が等確率で発生し,
次のシンボルが何であるかまったく予想ができ
事後確率は通信工学において重要な意味を持
つ.そのイメージを図 3 (a), (b)に示す.
ないとき,出てくるシンボルの情報量の期待値
は最大になる.このことは,情報量の説明で述
a2
平均情報量が大きい”と言え,平均情報量は情
M
報源の無秩序さを表す指標としても使える.こ
au
のことから,平均情報量は情報エントロピーと
M
も呼ばれる.
P(a2|b2)=1
P(au|bv)=1
b1
b2
M
bv
M
(a) 完璧な通信における事後確率
事後確率とあいまい度
2.2
P(a1|b1)=1
受 信側
ことは言い方を変えると,
“無秩序な情報源ほど
送 信側
べたサッカーの例を考えても理解できる.この
a1
a1
送 信側
p22
a2
M
aU
p2V
b1
p12
b2
p1V
M
bV
図 2 通信路の確率モデル.
受 信側
p11
p21
a1
P(a2|b1)=0.2
a2
M
b1 , b2 ,L, bV があるものとする.
b1
b2
P(au|b1)=0.1
受 信側
があり,受信側には V 個の受信シンボル
送 信側
送信側には U 個の送信シンボル a1 , a2 ,L, aU
P(a1|b1)=0.3
M
au
bv
M
M
(b) 通信の不確定性と事後確率
図 3 事後確率のイメージ.
雑音がまったくなく,完璧な通信が行われる
通信路における事後確率のイメージは,同図(a)
のようである.即ち,ある受信シンボル b1 が受
そのイメージを図 4 に示す.今,同図(a)に示
信されたとき,送信されたのは絶対に送信シン
す完璧な通信が行われた後,神様から「送られ
ボル a1 である.したがって, P (a1 | b1 ) = 1 とな
た送信シンボルは実は a1 であった」と教えられ
り,送信シンボルと受信シンボルは同図のよう
たとする.実はこれには何の情報もない.それ
に 1 対 1 で対応付けられることになる.ここで,
は,完璧な通信が行える通信路では
図中の矢印が受信側から送信側に向けられてい
P (a1 | b1 ) = 1 であり,神に教えられなくても受
るのは,
“受信シンボルを見て送信シンボルを推
信シンボルが b1 であったのなら絶対に送信シ
定する”という事後確率の考え方をイメージし
ンボルは a1 であるからである.一方,同図(b)
ている.一方,雑音などによって誤りが生じ,
に示す,雑音によって乱され不確定性がある通
不確定性のある通信路では同図(b)のようにな
信路で通信が行われた後,再び神様から「送ら
る.即ち,ある受信シンボルの事後確率が特定
れた送信シンボルは実は a1 であった」と教えら
の送信シンボルに対して 1 とならず,複数の送
れたらどうであろうか.これには一定の情報が
信シンボルに確率が分散するのである.但し,
ある.なぜならば,受信シンボル b1 の事後確率
P (au | b1 ) = 1
u =1
∑
U
(5)
が分散し,複数の送信シンボルに対して 0 でな
い値を持つため,完全な自信を持って,送出さ
が成り立っている.事後確率はこのように,通
れた送信シンボルを特定できないからである.
信の不確定性と関わりがある.
このような時,神様から送信シンボルは a1 であ
今,事後確率 P (bv | au ) を元に情報量を考えて
ったという正解を教えられれば,そこには一定
の情報を見出すのである.実際,数値的にも,
みる.即ち,
I = log2
1
(6)
P (au | bv )
事後確率が 1 のとき事後情報量は 0 となり,そ
うでないとき,0 より大きい値を持つことがわ
これは事後情報量と言われ,“受信シンボル bv
かる.見方を変えると,事後情報量は通信路の
を見た後で送信シンボル au を知ったときの情
不確定性を定量化している,と言える.
報量”と考えられる.
しかし,事後情報量はあくまで一つの受信シ
ンボルと一つの送信シンボルとの関係での議論
送信シンボルは a1
神
との間の関係で議論するためには,すべての送
b1
a1
である.現在想定している U 個の送信シンボル
信シンボルに対して事後情報量の期待値をとる
P(a1|b1)=1
(a) 完璧な通信における事後情報量
必要がある.これを事後エントロピーと呼び,
次式で表す.
神
a1
送信シンボルは a1
P(a1|b1)=0.3
M
b2
P(au|b1)=0.1
受 信側
送 信側
a2
U
u =1
b1
P(a2|b1)=0.2
H (A bv ) = ∑ P (au bv )log2
1
(7)
P (au bv )
事後エントロピーは上式が示すようにある一つ
の受信シンボルに対して定義されたものである
M
ので,すべての受信シンボルに対して,その生
au
bv
起確率で期待値を次式のように計算する.
M
M
(b) 通信の不確定性と事後情報量
図 4 事後情報量のイメージ
H (A B ) = ∑ P (bv )H (A bv )
V
(8)
v =1
これを“あいまい度”と呼ぶ.これは,通信
路の不確定性を,事後情報量を基に全ての送
ルと関係なく受信シンボルが生起している状態
信・受信シンボル間で期待値をとったものと解
であり,通信が成立しない.実際にはそのよう
釈でき,文字通り,通信路の“あいまいさ”を
な両極端の中間の同図(b)のような状況となり,
定量化したものであると言うことができる.
「神
二つの円の共有部分が相互情報量,送信側から
様から後で正解を教えられたら得られる情報
受信側へ送られ,送受両側で共有する情報であ
量」の期待値とも解釈できる.
る.この相互情報量を I ( A; B ) と表記する.そ
れでは, H ( A) のうち,受信側に伝わらなかっ
2.3
相互情報量と通信路容量
た部分は何だろうか.それは通信路の不確定性
通信とは,送信側から受信側へ情報を送るこ
であるあいまい度 H ( A | B ) である.この様子を
とである.より詳細に見れば,送信側にある情
図 6 に示す.あいまい度は事後情報量の期待値
報が通信路を介して受信側に送られることであ
であり,
「神様から後で正解を教えられたら得ら
り,送信側の情報は,受信器が受信シンボルか
れる情報量」の期待値であると言える.
ら送信シンボルを推定することによって届く.
H(B)
H(A)
受信側に届いた情報は,送信側と受信側で共有
できた情報の量,ということができ,この意味
から“相互情報量”の言葉がある.送信シンボ
ルの平均情報量は計算でき,それは H ( A) であ
H(A|B)
I(A;B)
H(B|A)
る.一方,通信路から出力される受信シンボル
についても,各シンボルの生起確率がわかれば
平均情報量を計算でき,それは H (B ) である.
この関係を模式的に表現したのが 図 5 である.
H(A)
H(B)
図 6 相互情報量,あいまい度と H ( A) , H (B )
の関係
相互情報量は次のように表現できる.
I ( A; B ) = H ( A) − H ( A | B )
(a) 完璧な通信
(b) 不確定性があ
る通信
(c)通信がまったく
成立しない状態
(9)
また,この関係から次の関係も容易に導き出せ
る.
図 5 送信シンボルと受信シンボルの平均情報
量の関係.
I ( A; B ) = H (B ) − H (B | A)
(10)
この式において,H (B | A) は散布度と呼ばれる.
これは送信側から見た受信シンボルの不確定性
同図(a)では H ( A) と H (B ) は完全に重なる.即
ち, H ( A) の情報は完全に H (B ) で表現されて
いる状態であり,雑音の無い完全な通信はその
と解釈でき,次式で与えられる.
H (B A) = ∑∑ P (au )P (bv au )log2
U
V
u =1 v =1
1
(11)
P (bv au )
共有部分である相互情報量は最大となる.一方
通信路容量は,通信路がどれだけの情報を伝
同図(c)では送信シンボルと受信シンボル間に
送できるかを定量化する.その指標として
共有部分がまったくない.例えば仏語を日本人
I ( A; B ) を用いるが,一点注意が必要である.
が日本語として聞いた場合,送信シンボルと受
それは,I ( A; B ) はその定義に H ( A) を含んでい
信シンボルにはまったく関係がないため,情報
るため,通信路の性質のみならず送信シンボル
を共有できないような状況である.送信シンボ
によっても値が異なる点である.このため,通
信路容量は次式のように表現される.
C = max I ( A; B )
∑ P ( au )=1
呼ぶ.その出力信号を x とし,それが通信路を
(12)
u
つまり,いかなる送信アルファベットを用いて
もよいという条件で, I ( A; B ) の最大値を通信
路容量としたのである.このイメージを図 7 に
介して受信側に伝送される.受信側で観測する
信号は送信信号 x に雑音 z が加算されたもので
あり,これを y とする.このイメージを図 8 に
示す.このような通信路の通信路容量を求めて
みる.
示す.通信路を水を流すパイプであると考える
通信路
と,通信路容量は流せる水の量でパイプの能力
を測ろうとする考え方であると言える.その際,
同図(a)に示すように,いくら太いパイプであっ
y
x
送信信号
ても,水を流し込むポンプが非常に小さいもの
受信信号
z
であった場合,流れた水の量をパイプの能力で
雑音
あるとするのは誤りである.
図 8 連続系の通信路モデル.
ポンプ
(情報源)
パイプ
(通信路)
通信路容量は(9)または(10)と(12)から求めら
れるのであった.しかし今,送信アルファベッ
ト A と受信アルファベット B は送信信号 x と受
(a) いくら通信路が太くても,そもそも水を送り
出す情報源が小さかったら,通信路の能力測
定はうまくいかない.
信信号 y に置き換えられている.連続系の平均
情報量及びあいまい度はどのように定義される
だろうか.x を出力する連続的情報源の情報エ
ントロピーは次式で与えられる.
∞
H ( x ) = ∫ P (x ) log2
−∞
1
dx
P(x )
(13)
ここで, P ( x ) は x の確率密度関数である.(3)
(b) ポンプ(情報源)は「最大の出力のもの」を
使う必要がある.
図 7 通信路容量のイメージ.
と比較すると,単に総和が積分に変化しただけ
であることがわかり,その意味するところは同
じである.
同様に,連続的通信路のあいまい度は次式で
流れた水の量を持ってパイプの能力とするため
には,同図(b)のように,最大量の水を流せるポ
ンプ,つまり情報源を用意する必要がある.
2.4
連続信号への拡張
定義される.
H (x y ) = ∫∫ P ( y )H (x y )dxdy
= ∫∫ P ( y )P (x y )log2
(14)
1
dxdy
P (x y )
これまで,情報源はシンボルを出力するもの
これで相互情報量は求められるのだが,通信
として議論を進めてきた.このような情報源を
路容量とは,離散的情報源の場合には,あらゆ
離散的情報源と呼ぶ.一方,次に,情報源が出
る送信アルファベットを使えるものとして得ら
力するのは時間的に連続的な波形であるものと
れる相互情報量の最大値を通信路容量としてい
想定する.このような情報源を連続的情報源と
た.連続的情報源の場合,どのような情報源が
最大の相互情報量をもたらすのだろうか.
2.1 節で説明したように,離散的情報源の場合
には,出力シンボルの出現確率がすべて等確率
である場合に最大であった.次に何が出るかま
ったく予想できないからである.同じ考え方か
[3]
ら,次の定理が成立する .


x2
H ( x ) = ∫ P ( x )log 2 2πσ x2 +
log 2 e dx (17)
2
2σ x


となる.これを, P ( x )x dx = σ x となること
∫
2
2
に注意して計算すると,最終的に次のような結
果が得られる.
定理 1: 確率密度関数 P ( x ) の範囲が x 軸上で
H ( x ) = log2 2πeσ x2
制限されているとき,平均情報量を最大にする
P (x ) は,その範囲における一様分布である.
このことは素直に理解できる.しかし一般に
単位は[bit/sample]である.この結果に基づいて,
離散的情報源の場合の(10)に沿って,
I ( x; y ) = H ( y ) − H ( y x ) (19)
雑音のある連続的通信路において,出現する値
が必ず一定区間に入ってくる,という想定は現
実的ではない.そこで,次の定理に拡張が可能
(18)
の計算を行う.
まず, H ( y ) を求める.入力 x が分散 σ x の正
2
である[3].
定理 2: 確率密度関数 P ( x ) の分散が σ x に制限
規分布に従い,雑音 z が分散 σ y の正規分布に従
は,その分散を持つ正規分布である.
σ y2 = σ x2 + σ z2 を持つ正規分布に従う.したがっ
2
されているとき,平均情報量を最大にする P ( x )
2
うものとすると,受信信号 y は,分散
て, H ( y ) は(17)の結果を用いれば,
ここから,連続的通信路の通信路容量を考える
H ( y ) = log2 2πe(σ x2 + σ z2 )
に当り,送信側にある情報源は,正規分布に従
(20)
( )
う信号 x を出力する情報源であるものとする.
と計算できる.一方,散布度 H y x は,雑音
2.5 連続的通信路の通信路容量の導出
のように導出できる.まず,x と z が独立であ
以上から,連続的通信路の通信路容量を考える
に当り,送信側にある情報源は,正規分布に従
う波形 x を出力する情報源であるものとする.
分散が σ の正規分布に従う信号 x が持つ情
2
報量について検討する.今,この信号を無限の
細かさでサンプル化したときを考える.このと
き, P ( x ) は次式で与えられる.
P(x ) =
2πσ
2
x
e
x2
2σ x2
(15)
その平均情報量は,(15)を(13)に適用すると,
1
x2
2
log2
= log2 2πσ x +
log2 e
P(x )
2σ x2
を用いて,
ることから,
P( y, x ) P(x + z, x )
=
P(x )
P(x )
P ( x )P (z )
=
= P (z )
P(x )
P( y | x ) =
(16)
(21)
となる.次に,これを散布度の定義に代入する.
H ( y | x ) = ∫∫ P (x )P ( y | x ) log2
−
1
の情報エントロピー H (z ) に等しい.これは次
= ∫∫ P (x )P (z ) log2
= ∫ P (z ) log2
1
dxdy
P( y | x )
1
dxdy
P (z )
1
dz = H (z )
P (z )
したがって相互情報量は,
(22)
I ( x; y ) = H ( y ) − H ( y x )
で表され,単位は[bit/sec]となる.ここで,N 0 は
単位帯域幅当りの雑音電力である.尚,この表
= log 2 2πe(σ x2 + σ z2 ) − log 2 2πeσ z2
= log 2
2πe(σ x2 + σ z2 )
2πeσ z2

σ 2 +σ 2 1
P
1
= log 2 x 2 z = log 2 1 + S
σz
2
2
 PN
現では帯域を最高周波数 f m で表現しているが,
(23)



帯域幅 BW [Hz]として

P
C = BW log2 1 + S
N 0 BW




(25)
ここで, PS 及び PN はそれぞれ信号電力及び雑
と表現する.この結果から,通信路容量は帯域
音電力であり,その比 PS PN を信号対雑音電力
幅と SN 比のみによって決定されることが明ら
比(SN 比)と呼ぶ.また,求めた相互情報量
かとなった.
I ( x; y ) の単位は[bit/sample]であり,上述のよう
にここでは無限に細かいサンプリングを行った
ことを想定している.更に,I ( x; y ) を求める際,
この結果から得られる 2 つの重要な値がある.
一つはまず,(25)において PS と N 0 を一定にし
たまま BW を増大したとき,C はどのような値
通信路の送信側に接続されている情報源は最大
となるかを考える. PS N 0 = 1 と固定した場合
の平均情報量を持つものを選択したため,この
の C の変化を図 9 に示す.ある一定の値に収束
相互情報量は通信路容量である.
することがわかる.
2.6
帯域制限された連続的通信路の
通信路容量
前節では,無限に細かいサンプリング,つま
り無限に短いサンプリング周期を想定していた.
これは,信号の帯域が周波数軸上で無限の広が
りを持つためであるが,このようなサンプリン
グは実現不可能である.このため,ここでは 0
∼ f m [Hz]の区間で帯域制限された信号が伝送
される連続的通信路について,その通信路容量
図 9 帯域を無限に増大した場合の通信路容量.
を導出する.
今,送信信号 x が 0∼ f m [Hz]の区間で帯域制
限されているとき,サンプリング定理によれば,
ナイキスト周波数である 2 f m [Hz]でサンプリ
ングを行えば,そのサンプルから元の連続波形
を完全に再生可能である.このようなサンプリ
これを数式で表現すると,次式のようになる.

P
C = lim BW log2 1 + S
BW → ∞
N 0 BW

P
P
= S log2 e ≈ 1.44 S
N0
N0



ングを行ったとき,1 秒間に得られるサンプル
(26)
数は 2 f m 個となる.1 サンプルが運ぶ情報量[bit]
したがって,帯域幅をいくら増大しても,
は(23)により与えられているから,この通信路
PS N 0 の約 1.44 倍の通信路容量しか得られな
で 1 秒間に伝送できる情報量は,
いのである.現実にはそのようなことは不可能


P 
P 
C = f m log2 1 + S  = f m log2 1 + S  (24)
PN 
N0 fm 


であるが,もし無限の帯域を利用することが許
されて,どのような誤り訂正符号を使おうとも,
その効果は通信路容量を 1.44 倍改善させるまで
にとどまるのである.
ったバイナリデータを復号すると,記録されて
また,(25)のもう一つの解釈として次のよう
いる音声のサンプル列を得ることができる.こ
な値がある.今,1 [bit/sec]の通信を考える.こ
の離散的なサンプル列の間をどのような線で繋
の時,無限の帯域を利用できるものとすると
いだら,元の音声波形と同じ波形を得ることが
PS N 0 = 1 1.44 となり,これはデシベル表示で
できるのだろうか.この,サンプル列の間を繋
約-1.6 [dB]となる.このことは,無限の帯域を
ぐのが低域通過フィルタである.低域通過フィ
利用していかなる誤り訂正符号を用いても,
ルタとして理想フィルタを考える. 図 11 に理
1[bit/sec]の通信を実現するためには絶対に-1.6
想フィルタの周波数特性を示す[4].ある一定の
[dB]以上の PS N 0 が必要とされる.これをシャ
通過帯域で均一の振幅を持ち,ある周波数で不
ノン限界と呼ぶ.
連続に振幅が 0 になるのが特徴であり,次式で
通信路容量を超える伝送速度で情報の伝送
表される.
を行った場合,ビット誤り率を 0 にできる誤り
e − j 2πft0 ,
G( f ) = 
 0
訂正符号は存在しないことがシャノンの通信路
符号化定理として知られている.その原理はこ
れまでの議論と併せて考えると興味深い[3].
f ≤ BW 2
f > BW 2
|G(f)|
3
サンプリング定理
連続的通信路の通信路容量を求めるに当り,
− BW 2
帯域制限された信号を用い,ナイキスト周波数
によるサンプリングを行った時の相互情報量か
(27)
0
BW 2
f
図 11 理想フィルタの周波数特性.
ら通信路容量を明らかにした.
ここではサンプリング定理の考え方について
明らかにする.サンプリング定理の動機とはそ
もそも何か.
このようなフィルタに,一つのサンプルをイ
ンパルスとして入力すると,次のような波形が
得られる.
復号化
D/A変換器
(LPF)
g (t ) =
BW 2
∫ G ( f )e
j 2πft
df = BW
− BW 2
sin[BW π (t − t0 )] (28)
BW π (t − t0 )
するとこのように Sinc 関数となり,因果律を満
Pick up
たさないので現実にはこのようなフィルタは存
CD
在しない.しかしこのようなフィルタを用いた
とき,フィルタ出力に元信号が現れるようなサ
ンプリングを考える.
図 10 サンプリング定理への動機付け.
サンプリングは,ハードウェアの実現として
はスイッチのイメージであるが,数学的には,
図 10 に,サンプリング定理への動機付けと
してコンパクトディスク(CD)からの音声の再
生を模式図として示す.CD には,音声がサン
プリング,量子化,符号化の過程を経てバイナ
リデータとなって記録されている.同図は CD
プレーヤーのイメージである.CD から読み取
元信号と周期 TS のインパルス列の畳込みであ
ると表現できる.このイメージを図 12 に示す.
標本化関数は,周波数軸上でもそのスペクト
ルが間隔 1 TS [Hz]のインパルス列となってい
る[4].このような標本化関数を介してサンプル
化された信号のスペクトルは,
“元信号のスペク
トルが標本化関数のスペクトルの位置に繰り返
心は f S = 1 TS [Hz]にあり,またスペクトルは
し現れる”状態となる.これを図 13 に示す.
左右対称であることを考えると,元信号のスペ
クトルとその隣接スペクトルが接しても重なら
TS
0.6
×
0.4
t
0.2
0
-0.2
ないのは f S ≥ 2 f m が成り立つ時であることが
t
“標本化関数”
-0.4
わかる.これが周波数軸上でのサンプリング定
理の解釈である.
-0.6
-0.8
サンプル化
された信号
t
サンプリン
グは波形と
インパルス
列の畳込み
として考え
られる.
fs = 2 fm
…
…
−1
Ts
図 12 サンプリングのイメージ.
1
Ts
0
fm
元信号のスペクトルの
コピー
元信号の
スペクトル
…
−2
Ts
−1
Ts
0
1
Ts
2
Ts
3
Ts
f
図 14
かなかったのに,サンプル化された結果,この
ようにスペクトルが同じ間隔で並んでしまう.
このことから,“サンプル列からの元信号の復
元”は,時間軸上で見れば“サンプルとサンプ
ルの間を適切につなぐ”という処理であるが,
周波数軸上で見れば,
“理想フィルタを用いて元
信号のスペクトルだけを残して他のスペクトル
を切る”という処理であることがわかる.
これを行うには,元信号のスペクトルとその
0Hz 周辺部の拡大.
4
まとめ
本稿では,シャノンの情報理論について,情
図 13 サンプル化された信号のスペクトル.
元信号には元々,0 [Hz]周辺のスペクトルし

1
 f s = 
Ts 

サンプル値を、このような通過帯域を
持つ理想フィルタに通せば、元の信号
を復元できる。
…
−3
Ts
fm
f
報量の定義から始まって通信路容量の導出まで
の流れをシナリオの理解を重点にまとめた.ま
た最後に,サンプリング定理の考え方を周波数
軸において説明した.しかし同時に時間軸上で
の現象があり,これとの対比によって理解する
と興味深い[5].また,オーバーサンプリング,
アンダーサンプリング等の技術やサンプリング
解像度とダイナミクスの関係等については紙面
の都合上本稿で触れていないが,講義において
詳述する.
両隣のスペクトルのコピーに重なりが生じると,
最早いかなるフィルタを用いても両隣のスペク
トルを取り除くことができないので,
“接してい
るが重なりはない”ところが限界であることが
わかる.
参考文献
[1]
[2]
今,図 13 の横軸で 0 [Hz]周辺のみを拡大し
[3]
[4]
た 図 を 図 14 に 示 す . 元 信 号 は 最 高 周 波 数
[5]
f m [Hz]で帯域制限されているものとする.サン
プリングにより右隣に発生したスペクトルの中
C.E. Shannon and W. Weaver, “Mathematical theory of
communications,” University of Illinois Press, 1965.
荒木純道,鈴木康夫,原田博司,
“ソフトウェア無
線の基礎と応用,”サイペック(株),2002 年.
宮川 洋,
“情報理論,”コロナ社,1979 年.
S.スタイン,J.J.ジョーンズ,“現代の通信回線理
論,”森北出版 1995 年.
Bernard
Sklar,
“Digital
Communications:
Fundamentals and Applications,” Prentice Hall, 2001.
ダウンロード

情報理論とサンプリングの基礎 Basics of Information Theory and