ESP-EYE tensorflow lite microcontrollers examples/micro_speech

2. Generate the examples を行います。
上の MSYS2 ターミナルの状態 (/e/local/tensorflow) で、
$ make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_micro_speech_esp_project

3. tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/micro_speech/esp-idf ディレクトリを、もっと浅い場所にコピーします。

オリジナルの場所で、build をやっていると、 ファイルパスの文字数が、260 を超えて、ファイルが見つかりませんのエラーになります。

今回は、 e:\local\esp-2\micro_speech へコピーします。
esp-idf のディレクトリーは、邪魔なので、取ります。

4. idf.py でビルドします。
idf.py の Winddows ターミナルで、ビルドします。

注) もし build ディレクトリーを作ってしまっていたら、削除します。

>e:
>cd \local\esp-2\micro_speech
>idf.py build

5. コンパイルのワーニング
　いくつかワーニングが出るので、修正します。

5.1 12 bytes lost due to alignment. To avoid this loss, please make sure the tensor_arena is 16 bytes aligned.
↓
https://github.com/tensorflow/tensorflow/issues/40837
Please try to Insert "alignas(16)" in the line that defines tensor_arena in main_functions.cc like below:
alignas(16) uint8_t tensor_arena[kTensorArenaSize];
との事なので、

main/main_function.cc の修正
line 44
//uint8_t tensor_arena[kTensorArenaSize];
// changed by nishi
alignas(16) uint8_t tensor_arena[kTensorArenaSize];

5.2 warning: 'I2S_COMM_FORMAT_I2S' is deprecated
[1026/1045] Building CXX object esp-idf/main/CMakeFiles/__idf_main.dir/esp/audio_provider.cc.obj ../main/esp/audio_provider.cc: In function 'void i2s_init()': ../main/esp/audio_provider.cc:69:31: warning: 'I2S_COMM_FORMAT_I2S' is deprecated [-Wdeprecated-declarations] .communication_format = I2S_COMM_FORMAT_I2S, ^~~~~~~~~~~~~~~~~~~ In file included from E:/local/esp-2/esp-idf/components/soc/src/esp32/include/hal/i2s_ll.h:30, from E:/local/esp-2/esp-idf/components/soc/include/hal/i2s_hal.h:28, from E:/local/esp-2/esp-idf/components/driver/include/driver/i2s.h:24, from ../main/esp/audio_provider.cc:27: E:/local/esp-2/esp-idf/components/soc/include/hal/i2s_types.h:70:5: note: declared here I2S_COMM_FORMAT_I2S __attribute__((deprecated)) = 0x01, /*!< I2S communication format I2S, correspond to `I2S_COMM_FORMAT_STAND_I2S`*/
main/esp/audio_provider.cc の修正
line 62 static void i2s_init(void) { // Start listening for audio: MONO @ 16KHz i2s_config_t i2s_config = { .mode = (i2s_mode_t)(I2S_MODE_MASTER | I2S_MODE_RX | I2S_MODE_TX), .sample_rate = 16000, .bits_per_sample = (i2s_bits_per_sample_t)16, .channel_format = I2S_CHANNEL_FMT_ONLY_LEFT, // I2S_COMM_FORMAT_I2S not use by nishi for deprecated warning //.communication_format = I2S_COMM_FORMAT_I2S, .communication_format = I2S_COMM_FORMAT_STAND_I2S, .intr_alloc_flags = 0, .dma_buf_count = 3, .dma_buf_len = 300, .use_apll = false, .tx_desc_auto_clear = false, .fixed_mclk = -1, };

6. 実行時のトラブル。

6.1  Core Dump の発生
Bad input tensor parameters in model Guru Meditation Error: Core 1 panic'ed (LoadProhibited). Exception was unhandled. Core 1 register dump: PC : 0x400d5613 PS : 0x00060b30 A0 : 0x800d5347 A1 : 0x3ffbb4e0 A2 : 0x00000000 A3 : 0x3ffb1300 A4 : 0x00000000 A5 : 0x00000000 A6 : 0x3ffbb524 A7 : 0x0000000c A8 : 0x800f262c A9 : 0x3ffbb380 A10 : 0x00000000 A11 : 0x3f403754 A12 : 0x3ffbb4e0 A13 : 0x3ffbb4c0 A14 : 0x00000008 A15 : 0x3ffb5948 SAR : 0x00000018 EXCCAUSE: 0x0000001c EXCVADDR: 0x00000000 LBEG : 0x400014fd LEND : 0x4000150d LCOUNT : 0xffffffff Backtrace:0x400d5610:0x3ffbb4e0 0x400d5344:0x3ffbb520 0x400d4d56:0x3ffbb550 ELF file SHA256: 000edd8a69f4c3c8 Rebooting...

main/main_functions.cc の修正
line 104 辺り // Get information about the memory area to use for the model's input. model_input = interpreter->input(0); if ((model_input->dims->size != 2) || (model_input->dims->data[0] != 1) || (model_input->dims->data[1] != (kFeatureSliceCount * kFeatureSliceSize)) || (model_input->type != kTfLiteInt8)) { TF_LITE_REPORT_ERROR(error_reporter, "Bad input tensor parameters in model"); // test nishi while(1); return; }

6.2 Bad input tensor parameters in model の問題

下記ページを参照しました。
https://github.com/tensorflow/tensorflow/issues/41182
 ↓
https://github.com/tensorflow/tensorflow/commit/fbf407383c93774d10bd7c45cd66788a070b0e07

Reduce the size of TfLiteTensor for the TF Micro runtime.
All TFLM internal targets can be built with this flag by adding '--copt=-DTF_LITE_STATIC_MEMORY'.
This change reduces the sizeof(TfLiteTensor) to 64 bytes (64bit systems) down from 112 bytes (64 bit systems).

どうやら、TF Micro on r2.3 から、コンパイルオプションが変わったみいたい。
ここは、TF Micro on r2.2 のコンパイルオプションを使うことにします。

6.2.1 components/tfmicro/CMakeLists.txt から -DTF_LITE_STATIC_MEMORY を削除します。

components/tfmicro/CMakeLists.txt
line 35 #target_compile_options(${COMPONENT_LIB} PRIVATE -DTF_LITE_STATIC_MEMORY -DNDEBUG -O3 -Wno-nonnull) target_compile_options(${COMPONENT_LIB} PRIVATE -DNDEBUG -O3 -Wno-nonnull) #target_compile_options(${COMPONENT_LIB} PRIVATE $<$<COMPILE_LANGUAGE:CXX>: -std=c++11 -Wstrict-aliasing -DTF_LITE_STATIC_MEMORY -Werror -Wsign-compare -Wdouble-promotion -Wshadow -Wunused-variable -Wmissing-field-initializers -Wunused-function -DNDEBUG -O3 -Wno-return-type -Wno-strict-aliasing -Wno-ignored-qualifiers >) target_compile_options(${COMPONENT_LIB} PRIVATE $<$<COMPILE_LANGUAGE:CXX>: -std=c++11 -Wstrict-aliasing -Werror -Wsign-compare -Wdouble-promotion -Wshadow -Wunused-variable -Wmissing-field-initializers -Wunused-function -DNDEBUG -O3 -Wno-return-type -Wno-strict-aliasing -Wno-ignored-qualifiers >) target_link_libraries(${COMPONENT_LIB} PRIVATE -lm)

6.2.2 再構築

1) build ディレクトリーを削除します。
>rmdir build

2) idf.py build を行います。
>idf.py build

7. 実行時の調整。
score >= 200 みたいなので、ほとんど検出できません。
ここは、 score >= 100 にしてみます。

main/recognize_commands.h
line 135
uint8_t detection_threshold = 100, // changed by nishi

これで、以上です。
ちょっと使ってみましたが、
やはり、これからの改善を待ちたいです。