TensorFlow 2の最近のブログ記事

TensorFlow 2.10.0 RNN - LSTM による、Speech Recognition #2

TensorFlow 2.10.0 RNN - LSTM による、Speech Recognition の続きです。

Introduction to speech recognition with TensorFlow が、性能が良かったので
今回は、これをベースに、日本語で試してみます。

日本語の為のデータの準備は、下記を参考にさせて貰いました。
TensorFlow の transformer を使った音声認識(ASR)のプログラムを改修して日本語学習させてみました。

環境:
Windows11
Python 3.10.6
tensorflow-gpu 2.10.0
GTX-1070
cuda toolkit 11.2
cuDNN SDK 8.1.0

Orange pi 5 Armbian で NPU を使って、yolo を試す。

Orange Pi5のNPUを使用してyolo（高速？）を動かしてみる(rknn-toolkit2) と言うのがあったので、これを参考に、NPU yolo を試してみた。

大元のクイックスタートの方が参考になるみたい。
github.com/rockchip-linux/rknn-toolkit2
Rockchip_Quick_Start_RKNN_Toolkit2_EN-1.5.0.pdf

1. 環境の構築。
Armbian 上に構築します。
 Python 3.10.6
 tensorflow 2.8.0 (最新は、2.12.0 )

1) python3 をインストール。
$ sudo apt install python3 python3-dev python3-pip

2) 必要、ライブラリーのインストール。
$ sudo apt-get install libxslt1-dev zlib1g zlib1g-dev libglib2.0-0 libsm6 \
libgl1-mesa-glx libprotobuf-dev gcc

3) virtualenv を用いて、Tensorflow2 環境を、Armibian 上に作ってみます。
$ pip3 install virtualenv ---user

4) kivy_env と言う仮想環境(名称は、なんでもOK) を作ります。
$ python3 -m virtualenv kivy_env
仮想環境を有効化
$ source ~/kivy_env/bin/activate

5) 仮想環境に、tensorflow をインストール。
(kivy_env) :$ python -m pip installl tensorflow==2.8.0

チェック。
(kivy_env) :$ python
>>> import tensorflow as tf
>>> print(tf.reduce_sum(tf.random.normal([1000,1000])))
tf.Tensor(-390.70236, shape=(), dtype=float32)
>>> exit()

TensorFlow 2.10.0 RNN - LSTM による、Speech Recognition

RNN - LSTM による、Speech Recognition 例が有ったので、Windows11 TensorFlow-GPU 2.10.0 で試してみた。
Introduction to speech recognition with TensorFlow

GPU (GTX-1070) が入っているのが、Windows11 だったので、TensorFlow2 をバージョンアップして、 TensoFlow2-GPU 2.10.0 で試してみました。
当初、TensoFlow 2.12.0 の GPU 版を使うとしていましたが、Windows11 TensorFlow2 GPU 版は、2.10.0 が最後みたいな記述があったので、
こちらにしました。

環境:
Windows11
Python 3.10.6
tensorflow-gpu 2.10.0
GTX-1070
cuda toolkit 11.2
cuDNN SDK 8.1.0

Windows11で、最新の tensorflow gpu版は、どうやら仮想環境(wsl)下で、ubuntu 等を使って、gpu版を使うのが前提のようです。
最初から、ubuntu 等にすれば良いみたいだ。

train.py で、21 epoch 程学習させて、inferencModel.py で、テストしてみました。
下記が、inferencModel.py を、少しいじって、入力 文章(speach) と、それの、判定結果を出してみました。

>text:mas ginastics compulsory after work meeting usually political information meeting >>>>>:mass gymnastics compulsory afterwork meeting usually political information meeting >text:the poor sol than joined the dor ind prayer and never did eywitness more contrition at any condemned sermone than he then evinsed >>>>>:the poor soul then joined the doctor in prayer and never did i witness more contrition at any condemned sermon than he then evinced >text:but apparently was not able to spendas much time with them as he would have liked because of the ahe gaps of five and seven years >>>>>:but apparently was not able to spend as much time with them as he would have liked because of the age gaps of five and seven years >text:from which he rose to be assistant registrar with the special duties of transfering shares >>>>>:from which he rose to be assistant registrar with the special duties of transferring shares >text:but he escated through a back door on to the river and road off in aboat to a hiding place in the wods >>>>>:but he escaped through a back door on to the river and rowed off in a boat to a hidingplace in the woods >text:there were nine wards in all on the female side one of them in the attic >>>>>:there were nine wards in all on the female side one of them in the attic >text:she boarded the marsalis bus at ste pal and elm streets to return home she testified further quote >>>>>:she boarded the marsalis bus at st paul and elm streets to return home she testified further quote

>text: が、入力音の文章
>>>>>: が、それに対する、判定結果

結構、すごい。
でも、これは、日本語には、対応していないだろうね。