音色空間の音高依存性を考慮し
た
楽器音の音源同定
北原 鉄朗
京都大学大学院情報学研究科知能情報学専攻
27 July 2002
1.音源同定とは




楽器音の同定(入力された音は,piano? flute? …)
パターン認識の一分野
自動採譜・メディア検索などで有用
研究対象として,広く扱われるようになったのは最近
(1990年代に入ってから)
特徴抽出
piano
x1:パワー包絡線の傾きの中央値
x2:周波数重心
など
piano
flute
実際には
特徴変動
flute
 楽器音における特徴変動の要因:
音高・音の強さ・楽器の個体差・奏法など
 これらの特徴変動をどのように扱うかは,
あまり議論されていない
たとえば,楽器の個体差に着目した
「適応型混合テンプレート法」(柏野他,信学
論,’98)
 上記の特徴変動の要因のうち,
音高は物理量(基本周波数)として抽出可能
特徴の音高依存性を基本周波数の関数として表現
2.音色空間の音高依存性を考慮する
音源同定手法
音色空間の音高依存性をどう扱うか.
 「音高ごとに学習すればよいのでは?」
たとえば,入力信号の音高がC4なら
C4のデータだけを用いて学習する
 この方法では,より多くの学習データが必要
88鍵のピアノであれば,
学習データが1/88に減ったのと同じ
すべてのデータで学習するため,以下を仮定
平 均:音高によって連続的に変化
共分散:音高に非依存
・代表値関数(音高によって変化する分布の平均)
⇒ 3次関数で近似
・F0正規化共分散行列
代表値関数からのちらばりの程度を表す
⇒音高以外の要因による音色変化を表す
音色空間を代表値関数で正規化してから,
共分散行列を求める 音高による音色変化を除去
・ベイズ決定規則により識別
(事後確率が最大になる楽器名をみつける)
gi ( x; f )  log p( x | i ; f )  log p(i ; f )
3.処理の流れ
1. 特徴抽出(129個)
2. 主成分分析で次元圧縮
(累積寄与率99%で79次元に圧縮)
3. 線形判別分析でさらに次元圧縮
(19楽器なので18次元に圧縮)
4. F0依存多次元正規分布のパラメータ推定
5. ベイズ決定規則に基づいて楽器名を同定
•
特徴抽出:
(1) スペクトルに関する定常的特徴(40個)
周波数重心,etc
(2) パワーの時間変化に関する特徴(35個)
パワー包絡線の線形最小二乗法による
近似直線の傾き,etc
(3) 各種変調の振幅/振動数(32個)
振幅変調,周波数変調,
周波数重心の時間変化,MFCCの時間変化
(4) 発音開始直後のピーク尖度に関する特徴(22
個)
パワー包絡線の線形最小二乗法による近似直線
ピアノ
フルート
発音開始直後のピーク尖度に関する特徴
各周波数成分のピークの
尖度(とんがり度)を
4次モーメントから算出
⇒非調波成分が多いと
ピーク尖度低
4.実 験 方 法
使用データベース:RWC-MDB-I-2001
 実楽器の単独発音を半音ごとに収録
 今回は19種類の楽器を使用
 各楽器に,3楽器個体,3種類の音の強さ
 今回は,通常の奏法のみ使用
 使用したデータ総数: 6247個
 上記のデータを無作為に10等分し,
クロスバリデーション.
 カテゴリーレベルの認識率も算出
楽器名
ピアノ(PF),クラシックギター(CG),
ウクレレ(UK),アコースティックギター(AG),
バイオリン(VN),ビオラ(VL),チェロ(VC),
トランペット(TR),トロンボーン(TB),
ソプラノサックス(SS),アルトサックス(AS),
テナーサックス(TS),バリトンサックス(BS),
オーボエ(OB),ファゴット(FG),
クラリネット(CL),ピッコロ(PC),
フルート(FL),リコーダ(RC)
楽器個体 3種類(TR, OBのみ2種類)
音の強さ 1楽器,強・中・弱の3種類ずつ
奏法
通常の奏法のみ
データ数
1楽器153~696個(総数:6,247個)
ピアノ
ギター
弦楽器
金管楽器
サックス
複簧楽器
クラリネット
無簧楽器
ピアノ(PF)
クラシックギター(CG)
ウクレレ(UK)
バイオリン(VN)
ビオラ(VL)
トランペット(TR)
ソプラノサックス(SS)
アルトサックス(AS)
オーボエ(OB)
クラリネット(CL)
ピッコロ(PC)
フルート(FL)
アコースティック
ギター(AG)
チェロ(VC)
トロンボーン(TB)
テナーサックス(TS)
バリトンサックス(BS)
ファゴット(FG)
リコーダー(RC)
5.実 験 結 果
100
認識率[%]
80
60
40
20
0
音高非依存
提案手法
個々の楽器レベルで約80%,
カテゴリーレベルで約90%の
認識率を実現
音高非依存に比べて,
個々の楽器レベルで4.00%,
カテゴリーレベルで2.45%,
認識率向上
誤り削減率は,
個々の楽器レベルで
16.48%,
カテゴリーレベルで20.67%
個々の楽器レベル カテゴリーレベル
(19クラス)
(8クラス)
(個々の楽器レベル)
認識率
ピアノ(PF)
7%以上向上 トランペット(TR)
トロンボーン(TB)
認識率
バイオリン(VN)
3%以上向上 チェロ(VC)
アルトサックス(AS)
ソプラノサックス(SS)
バリトンサックス(BS)
ファゴット(FG)
ピッコロ(PC)
フルート(FL)
認識率向上
アコースティックギター(AG) オーボエ(OB)
変化なし
ビオラ(VL)
テナーサックス(TS)
クラシックギター(CG)
認識率低下
リコーダー(RC)
クラリネット(CL)
ウクレレ(UK)
認識率[%]
認識率が7%以上改善された楽器(個々の楽器レベル)
音高非依存
提案手法
100
80
60
40
20
0
PF
TR
TB
SS
BS
FG
・ピアノ:最も性能改善
(認識率9.06%改善,誤り削減35.13%)
∵ 音域が広く,音高による音色変化が顕著
・PF, TR, TBで約33~35%の認識誤りを削減
・SS, BS, FGでも20%以上の認識誤りを削減
カテゴリーレベルの認識率
認識率[%]
100
音高非依存
提案手法
80
60
40
20
0
ピア
ギタ
弦楽
金管
サッ
複簧
クラ
無簧
誤り削減 35% 8% 23% 33% 20% 13% 15% 8%
・すべてのカテゴリーで認識率改善
・ギター,弦楽器の認識率(提案手法):96.7%
・最も低いカテゴリーでも72%の認識率(提案手法)
k-NN法との比較
提案手法
ベイズ(LDA併用)
ベイズ(PCAで18次元)
ベイズ(PCAで79次元)
k-NN(LDA併用)
k-NN(PCAで18次元)
k-NN(PCAで79次元)
0
20
・提案手法が最も認識率が高い
40
60
80
・79次元のベイズ決定規則が最も認識率が低い
∵ データ数に対して次元が高すぎる
・LDA(線形判別分析)併用により認識率向上
∵ LDAはクラス間分離を考慮した次元圧縮法
100
6.ま と め
 音高による音色変化を考慮するため,
F0に依存する多次元正規分布を提案
 F0に依存する多次元正規分布のための
識別関数をベイズ決定規則から定式化
⇒音源同定の性能向上に貢献
(個々の楽器で16.48%,
カテゴリーレベルで20.67%認識誤りを削減)
 今後の課題
 ベイズ決定規則以外への応用
 より大規模な実験,混合音への適用など
参考文献 北原 他:“楽器音を対象とした音源同定:音高による音色変化を
考慮する識別関数の検討”,情処研報,2002-MUS-46, pp.1-8, 2002.
ダウンロード

音色空間の音高依存性を考慮した楽器音の音源同定