「相関性のある音のポーションの分離」による理解

2021年9月20日 9月21日 11月5日




表題はチョット難しそうだが、いろいろな音の中から音が認識できる理由を考えてみた。

発生源の強弱に応じて、位相が揃った周波数の違った波形たちが散発的に発生したり、
音響的な効果によって、共鳴の周波数が変動したりノイズが重畳されたり、
などの理屈を利用することにより、音声信号から相関性のある音のポーションを取り出し、
その音の種類を理解する。

DNNによる音源分離はあるが、背後(発生源と効果)もからめて(兄弟のような)相関性のあるポーションを観測された音の中から分離する方法である。
位相が揃った周波数の違った散発的波形の検出、共鳴の周波数が同期して変動する軌跡のトラキング、ノイズ重畳(乱流音)の発生時期などの 特徴抽出をDNNが自然と身に着けるとは期待できないので、
あらかじめ、特徴抽出に特化したセンサーのようなものを準備しておいて、それらを入力としてDNNを学習させることになる。

電気回路の例として、
電源のバースト状の変化によって、DDRメモリーの通信信号が崩れて問題になることがあるが、
この場合は、電源が発生源で、たまに起きる観測されるのがDDRの信号ラインの異常である。
電源ラインと信号ラインの相関をとって対策のため原因追及の手法もあるらしい。


(追記)  構造化DNN学習のアイデア
①個々のパーツ(部品)と構成(結線結合)に分けて記述する。理解しやすいよう(分かりやすいように)に幾つかの層に分けて記述する。
②使うネットワーク(DNN)は基本は同じであり、①の個々も別々に評価しながら学習する。(今までのいっぺに全部を学習するところと違う。)




index