機械の音で、故障の診断 Sound Sensor Transformer.
CNN-Transformer ハイブリッドモデル で、動画のクラス分類をする。
かって、CNNとLSTMを組み合わせたモデルの「LRCN (Long-term Recurrent Convolutional Networks)」の、 LSTM 部分を、
Transformer に置き換えたモデル。第2段。
今回は、上記をベースに、
教師なし Transformer (Temporal AutoEncoder) を使います。
よく、わからん。Google AI の口車に乗せられて、とりあえず、作ってみました。
要は、正常の音(今回は、動画の Sound 部分) のデータばかり、学習させて、
取り込んだ音から model に再現させて、同じになるように、weight を学習させる。
その、オリジナルの音と、model が再現させた 音の違いを、
比較して、どれくらい、違いがあるかによって、正常、異常を判定する。とのことじゃ。
最終的に、オリジナルと再現の違いの算出方法と、どの程度の threshold をするかに、良し悪しが、出るみたいじゃ。
故障の音が入った場合は、再現された音と大きく異なる事で、異常を判定する。との事。
1. 最初は、何を学習させるか、と言うところから、決めないといかん。
当初、洗濯機の脱水機の音にしようと思ったが、
Youtube だと、洗濯機の動画は、商品の紹介ばかりみたい。
バイクの排気音だけの、動画は、よく見かけるので、こちらが、簡単か。
とりあえず、 Train 用の jupyter notebook は、もうできているので、あとは、動画を集めるだけじゃ。