TensorFlow 2.10.0 RNN - LSTM による、Speech Recognition #2

1. 日本語音声データの準備。
1) download Mozilla Common Voice Japanese 11 dataset
(cv-corpus-11.0-2022-09-21-ja.tar.gz)

2) unzip cv-corpus-11.0-2022-09-21-ja.tar.gz
xxx/commonvoice/cv-corpus-11.0-2022-09-21/ja
> mkdir xxx/commonvoice/cv-corpus-11.0-2022-09-21/ja/wavs

3) mp3 から、wav ファアイルへの変換と、metadata.csv を作成します。

data_proc.py
''' Data procedure for speech to text on Japanese 1) data convert from mp3 to wav 2) make kanji vocab from label lstm_sound_text_jp data_proc.py deta sets Mozila Common Voice Japanese 11 very thanks!! https://pylessons.com/speech-recognition https://qiita.com/toshiouchi/items/8be95bb8d6ef3336e116 https://www.delftstack.com/ja/howto/python/convert-mp3-to-wav-in-python/ https://qiita.com/Since1967/items/71ec8ecbd7a41ed86f14 howto 1. download Mozila Common Voice Japanese 11 dataset (cv-corpus-11.0-2022-09-21-ja.tar.gz) 2. unzip cv-corpus-11.0-2022-09-21-ja.tar.gz xxx/commonvoice/cv-corpus-11.0-2022-09-21/ja mkdir xxx/commonvoice/cv-corpus-11.0-2022-09-21/ja/wavs 3. data_proc.py set actual path to dataset_path dataset_path="E:/tmp/commonvoice/cv-corpus-11.0-2022-09-21/ja" > python data_proc.py ''' import os import sys import tarfile import pandas as pd from tqdm import tqdm import numpy as np import tensorflow as tf from pydub import AudioSegment from mltu.preprocessors import WavReader import librosa import librosa.display import pyaudio import json import matplotlib.pyplot as plt def plot_spectrogram(spectrogram: np.ndarray, title:str = "", transpose: bool = True, invert: bool = True) -> None: """Plot the spectrogram of a WAV file Args: spectrogram (np.ndarray): Spectrogram of the WAV file. title (str, optional): Title of the plot. Defaults to None. transpose (bool, optional): Transpose the spectrogram. Defaults to True. invert (bool, optional): Invert the spectrogram. Defaults to True. """ if transpose: spectrogram = spectrogram.T if invert: spectrogram = spectrogram[::-1] plt.figure(figsize=(15, 5)) plt.imshow(spectrogram, aspect="auto", origin="lower") plt.title(f"Spectrogram: {title}") plt.xlabel("Time") plt.ylabel("Frequency") #plt.colorbar() plt.tight_layout() plt.show() fft_length=384 frame_length=256 frame_step=160 class VectorizeChar2:# token_list に blank 0, < 1, > 2 を加えている。 def __init__(self, max_len = 50 ,blank = 0, target_start_token_idx = 1,target_end_token_idx = 2): self.max_len = max_len self.char_index = {' ':blank,'<':target_start_token_idx,'>':target_end_token_idx} self.index_char = {blank:' ',target_start_token_idx:'<',target_end_token_idx:'>'} def __call__(self, text): self.make_dict( text ) text = text[: self.max_len - 2] text = "<" + text + ">" pad_len = self.max_len - len(text) return [self.char_index.get(ch, 1 ) for ch in text] + [0] * pad_len def make_dict(self, texts): for text in texts: for data in text: #print( "data:{}".format( data )) if data not in self.char_index: if str(data) != ' ' and str(data) != '<' and str(data) !='>': tmp_idx = len( self.char_index ) self.char_index[str(data)] = tmp_idx self.index_char[tmp_idx] = str(data) json_file = open('char_index.json', mode="w", encoding="utf-8") json.dump(self.char_index, json_file, indent=2, ensure_ascii=False) json_file.close() json_file = open('index_char.json', mode="w", encoding="utf-8") json.dump(self.index_char, json_file, indent=2, ensure_ascii=False) json_file.close() def get_vocabulary(self): result = [ self.index_char[i] for i in range( len( self.char_index ) ) ] return result def restore(self): with open('char_index.json', mode="r", encoding="utf-8") as json_file: self.char_index = json.load(json_file) with open('index_char.json', mode="r", encoding="utf-8") as json_file: self.index_char = json.load(json_file) #テキストデータを作る。 def create_text_ds(data,vectorizer): #print( "text data:{}".format( data )) texts = [_["text"] for _ in data] #print( "texts:{}".format( texts )) text_ds = [vectorizer(t) for t in texts] #print( "text_ds:{}".format( text_ds )) text_ds = tf.data.Dataset.from_tensor_slices(text_ds) #print( "text_ds:{}".format( text_ds )) return text_ds def mp3_to_wavs(dataset_path="E:/tmp/commonvoice/cv-corpus-11.0-2022-09-21/ja",max_lng=100): metadata_path = dataset_path + "/validated.tsv" mp3_path = dataset_path + "/clips/" wavs_path = dataset_path + "/wavs/" new_metadata_path = dataset_path + "/metadata.csv" # Read metadata file and parse it #metadata_df = pd.read_csv(metadata_path, sep="\t", header=None, quoting=3) #metadata_df = pd.read_csv(metadata_path, sep="\t",header=None) metadata_df = pd.read_csv(metadata_path, sep="\t") #metadata_df.columns = ['client_id', 'path', 'sentence', 'up_votes', 'down_votes', 'age','gender', 'accents', 'locale', 'segment'] metadata_df = metadata_df[["path", "sentence"]] #print(metadata_df.columns) #print(metadata_df.head(3)) i=0 dt_l=[] pth=[] print(metadata_df.columns) #for index, row in metadata_df.iterrows(): for index, row in tqdm(metadata_df.iterrows(),total=len(metadata_df)): i +=1 file=row['path'] label=row['sentence'] if file != 'path': mp3=mp3_path+file #print(mp3) dirname = os.path.dirname(mp3) baseName = os.path.splitext(os.path.basename(mp3))[0] wav = os.path.join(wavs_path, f"{baseName}.wav") is_file = os.path.isfile(wav) if is_file == False: #print(f"OUT:{wav}") audio = AudioSegment.from_mp3(mp3) audio.export(wav, format='wav') pth.append(f"{baseName}.wav") if i < 3: dt_l.append([wav,label]) if i > max_lng: break for l in pth[:3]: print(l) #metadata_df['wav'] = pth metadata_df_new=metadata_df[:len(pth)] metadata_df_new['wav'] = pth print('--- put metadata.csv ----') metadata_df_new.to_csv(new_metadata_path,sep="|",index=False) return dt_l def kanj_to_vocab(metadata_df): #日本語の一文字用。 blank = 0 target_start_token_idx = 1 target_end_token_idx = 2 max_target_len = 200 # all transcripts in out data are < 200 characters max_source_len = 3000 # 30 seconds. sr = 16000 Hz, window shift 160 frame, 1 window shift 0.01 seconds, 30 seconds / 0.01 seconds = 3000 個 #data = get_data(wavs, id_to_text, max_target_len) # --- > data[] = {'audio': 'file path', 'text': 'label'} #print( " data:{}".format( data )) #texts = [_["text"] for _ in data] # texts =[['label'],['label'],....] texts=[] i=0 for index, row in tqdm(metadata_df.iterrows(),total=len(metadata_df)): i +=1 file=row['wav'] label=row['sentence'] #texts.append([label]) texts.append(label) #for s in texts[:3]: # print(s) #print( " texts:{}".format( texts )) vectorizer = VectorizeChar2(max_len=max_target_len,blank = blank, target_start_token_idx = target_start_token_idx,target_end_token_idx = target_end_token_idx) vectorizer.make_dict(texts) print("vocab size", len(vectorizer.get_vocabulary())) #print("vocab", vectorizer.get_vocabulary()) if False: f = open('out2.txt', 'w') data = vectorizer.get_vocabulary() f.writelines(data) f.close() import csv f = open('out.csv', 'w') data = vectorizer.get_vocabulary() writer = csv.writer(f) writer.writerow(data) f.close() return vectorizer #----------------- # main start #----------------- if __name__ == "__main__": #CHUNK=1024 CHUNK=2**11 #RATE=44100 RATE=22050 #RATE=16000 p=pyaudio.PyAudio() stream=p.open(format = pyaudio.paInt16, channels = 1, rate = RATE, frames_per_buffer = CHUNK, input = False, output = True) # inputとoutputを同時にTrueにする DT_CONV_F=True VOCB_F=False VECT_CHR=False if DT_CONV_F==True: # covert mp3 to wav dt_l = mp3_to_wavs(max_lng=13000) print('-----') if False: for wav_path,label in dt_l[:4]: print(wav_path) print(label) dx, sr = librosa.load(wav_path) print('sr=',sr) # orig_sr= 22050 #j=dx*256.0*25.0 j=dx*2**15 j=j.astype('int16') #print(j.shape) output = stream.write(j,j.shape[0]) spectrogram = WavReader.get_spectrogram(wav_path, frame_length=frame_length, frame_step=frame_step, fft_length=fft_length) plot_spectrogram(spectrogram, label) if VOCB_F==True: # make kanji vocab print('-- kanji vocab ---') dataset_path="E:/tmp/commonvoice/cv-corpus-11.0-2022-09-21/ja" metadata_path = dataset_path + "/metadata.csv" metadata_df = pd.read_csv(metadata_path, sep="|") vectorizer=kanj_to_vocab(metadata_df) if False: # check kanji vocab for index, row in metadata_df[:].iterrows(): file=row['wav'] label=row['sentence'] print(label) vec=[] for data in label: vec.append(vectorizer.char_index[str(data)]) #print(data) print(vec) s='' for v in vec: s += vectorizer.index_char[v] print(s) if label != s: print('---- bad -----') sys.exit() if VECT_CHR==True: vectorizer=VectorizeChar2() vectorizer.restore() #print(vectorizer.char_index) # check CERMetric(tf.keras.metrics.Metric) --> OK # check WERMetric(tf.keras.metrics.Metric) --> #print(list(vectorizer.char_index)) vocabulary = tf.constant(list(vectorizer.char_index)) print(vocabulary)

試しに、13000 レコード作成しました。

4) configs.py の修正。
import os from datetime import datetime from mltu.configs import BaseModelConfigs class ModelConfigs(BaseModelConfigs): def __init__(self): super().__init__() self.model_path = os.path.join("Models/05_sound_to_text", datetime.strftime(datetime.now(), "%Y%m%d%H%M")) self.frame_length = 256 self.frame_step = 160 self.fft_length = 384 self.vocab = "abcdefghijklmnopqrstuvwxyz'?! " # VectorizeChar2.char_index chnged by nishi 2023.8.14 self.index_char = {} # VectorizeChar2.index_char add by nishi 2023.8.14 self.input_shape = None self.max_text_length = None self.max_spectrogram_length = None self.batch_size = 8 self.learning_rate = 0.0005 self.train_epochs = 1000 self.train_workers = 20

2. 学習。

train_jp.py
''' lstm_sound_to_text_jp train_jp.py 1) prepare data set > python data_proc_py 2) training > python train_jp.py deta sets Mozila Common Voice Japanese 11 very thanks!! https://pylessons.com/speech-recognition https://qiita.com/toshiouchi/items/8be95bb8d6ef3336e116 ''' import tensorflow as tf try: [tf.config.experimental.set_memory_growth(gpu, True) for gpu in tf.config.experimental.list_physical_devices("GPU")] except: pass import os import sys import tarfile import pandas as pd from tqdm import tqdm from urllib.request import urlopen from io import BytesIO from keras.callbacks import EarlyStopping, ModelCheckpoint, ReduceLROnPlateau, TensorBoard,LearningRateScheduler from mltu.preprocessors import WavReader from mltu.tensorflow.dataProvider import DataProvider from mltu.transformers import LabelIndexer, LabelPadding, SpectrogramPadding from mltu.tensorflow.losses import CTCloss from mltu.tensorflow.callbacks import Model2onnx, TrainLogger from mltu.tensorflow.metrics import CERMetric, WERMetric from model import train_model from configs import ModelConfigs from keras.models import load_model import matplotlib.pyplot as plt import numpy as np import keras from data_proc import kanj_to_vocab, plot_spectrogram def download_and_unzip(url, extract_to="Datasets", chunk_size=1024*1024): http_response = urlopen(url) data = b"" iterations = http_response.length // chunk_size + 1 for _ in tqdm(range(iterations)): data += http_response.read(chunk_size) tarFile = tarfile.open(fileobj=BytesIO(data), mode="r|bz2") tarFile.extractall(path=extract_to) tarFile.close() # https://analytics-note.xyz/machine-learning/keras-learningratescheduler/ def lr_schedul(epoch): if epoch < 9: x = 0.0005 elif epoch < 15: x = 0.00025 else: x = 0.00015 return x lr_decay = LearningRateScheduler( lr_schedul, # verbose=1で、更新メッセージ表示。0の場合は表示しない verbose=1, ) import typing from mltu.transformers import Transformer class LabelIndexer_jp(Transformer): """Convert label to index by vocab Attributes: vocab (typing.List[str]): List of characters in vocab vocab : vectorizer.char_index """ def __init__( self, vocab: typing.List[str] ) -> None: #self.vocab = vocab self.char_index = vocab def __call__(self, data: np.ndarray, label: np.ndarray): ss=[] for l in label: if l in self.char_index: n = self.char_index[l] ss.append(n) return data, np.array(ss) #return data, np.array([self.vocab.index(l) for l in label if l in self.vocab]) if __name__ == "__main__": from mltu.configs import BaseModelConfigs CONT_F=False test_date="202308141918" initial_epoch=0 # start 0 checkpoint_latest_dir = os.path.join("training_2") # Include the epoch in the file name (uses `str.format`) checkpoint_path = "training_2/cp-{epoch:04d}.ckpt" #checkpoint_path = os.path.join("Models/05_sound_to_text", datetime.strftime(datetime.now(), "%Y%m%d%H%M")) checkpoint_dir = os.path.dirname(checkpoint_path) #dataset_path = os.path.join("E:","tmp","commonvoice","cv-corpus-11.0-2022-09-21","ja") dataset_path = "E:/tmp/commonvoice/cv-corpus-11.0-2022-09-21/ja" metadata_path = dataset_path + "/metadata.csv" wavs_path = dataset_path + "/wavs/" if CONT_F==False: #dataset_path = os.path.join("E:","tmp","commonvoice","cv-corpus-11.0-2022-09-21","ja") #if not os.path.exists(dataset_path): # download_and_unzip("https://data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2", extract_to="Datasets") # Read metadata file and parse it #metadata_df = pd.read_csv(metadata_path, sep="|", header=None, quoting=3) metadata_df = pd.read_csv(metadata_path, sep="|") print('len(metadata_df):',len(metadata_df)) # get kanji vocaab vectorizer=kanj_to_vocab(metadata_df) #print(metadata_df.columns) # Index(['path', 'sentence', 'wav'], dtype='object') metadata_df = metadata_df[["wav", "sentence"]] #print(metadata_df.columns) # structure the dataset where each row is a list of [wav_file_path, sound transcription] dataset = [[wavs_path+f"{file}", label] for file, label in metadata_df.values.tolist()] #print(dataset[0:2]) print('len(dataset):',len(dataset)) #sys.exit() # set label index # Create a ModelConfigs object to store model configurations configs = ModelConfigs() max_text_length, max_spectrogram_length = 0, 0 configs.vocab=vectorizer.char_index # set kanji vocab dic configs.index_char=vectorizer.index_char print('len(configs.vocab):',len(configs.vocab)) #sys.exit() # original #max_spectrogram_length: 1392 #max_text_length: 186 # kanji #max_spectrogram_length: 1403 #max_text_length: 55 for file_path, label in tqdm(dataset): spectrogram = WavReader.get_spectrogram(file_path, frame_length=configs.frame_length, frame_step=configs.frame_step, fft_length=configs.fft_length) #valid_label = [c for c in label if c in configs.vocab] valid_label=[] for data in label: valid_label.append(vectorizer.char_index[str(data)]) max_text_length = max(max_text_length, len(valid_label)) max_spectrogram_length = max(max_spectrogram_length, spectrogram.shape[0]) configs.input_shape = [max_spectrogram_length, spectrogram.shape[1]] configs.max_spectrogram_length = max_spectrogram_length configs.max_text_length = max_text_length configs.save() # Create a data provider for the dataset data_provider = DataProvider( dataset=dataset, skip_validation=True, batch_size=configs.batch_size, data_preprocessors=[ WavReader(frame_length=configs.frame_length, frame_step=configs.frame_step, fft_length=configs.fft_length), ], transformers=[ SpectrogramPadding(max_spectrogram_length=configs.max_spectrogram_length, padding_value=0), #LabelIndexer(configs.vocab), LabelIndexer_jp(configs.vocab), LabelPadding(max_word_length=configs.max_text_length, padding_value=len(configs.vocab)), ], ) # Split the dataset into training and validation sets train_data_provider, val_data_provider = data_provider.split(split = 0.9) print('train_data_provider.__len__():',train_data_provider.__len__()) #sys.exit() # Save training and validation datasets as csv files train_data_provider.to_csv(os.path.join(configs.model_path, "train.csv")) val_data_provider.to_csv(os.path.join(configs.model_path, "val.csv")) else: #metadata_df = pd.read_csv(metadata_path, sep="|") # get kanji vocaab #vectorizer=kanj_to_vocab(metadata_df) configs = BaseModelConfigs.load("Models/05_sound_to_text/"+test_date+"/configs.yaml") dataset_train = pd.read_csv("Models/05_sound_to_text/"+test_date+"/train.csv").values.tolist() dataset_val = pd.read_csv("Models/05_sound_to_text/"+test_date+"/val.csv").values.tolist() train_data_provider = DataProvider( dataset=dataset_train, skip_validation=True, batch_size=configs.batch_size, data_preprocessors=[ WavReader(frame_length=configs.frame_length, frame_step=configs.frame_step, fft_length=configs.fft_length), ], transformers=[ SpectrogramPadding(max_spectrogram_length=configs.max_spectrogram_length, padding_value=0), #LabelIndexer(configs.vocab), LabelIndexer_jp(configs.vocab), LabelPadding(max_word_length=configs.max_text_length, padding_value=len(configs.vocab)), ], ) val_data_provider = DataProvider( dataset=dataset_val, skip_validation=True, batch_size=configs.batch_size, data_preprocessors=[ WavReader(frame_length=configs.frame_length, frame_step=configs.frame_step, fft_length=configs.fft_length), ], transformers=[ SpectrogramPadding(max_spectrogram_length=configs.max_spectrogram_length, padding_value=0), #LabelIndexer(configs.vocab), LabelIndexer_jp(configs.vocab), LabelPadding(max_word_length=configs.max_text_length, padding_value=len(configs.vocab)), ], ) latest = tf.train.latest_checkpoint(checkpoint_latest_dir) basename_without_ext = os.path.splitext(os.path.basename(latest))[0] initial_epoch=int(basename_without_ext.split('-')[1]) print('initial_epoch:',initial_epoch) initial_lr=lr_schedul(initial_epoch) # Creating TensorFlow model architecture model = train_model( input_dim = configs.input_shape, output_dim = len(configs.vocab), dropout=0.5 ) # Compile the model and print summary model.compile( optimizer=tf.keras.optimizers.Adam(learning_rate=initial_lr), loss=CTCloss(), metrics=[ CERMetric(vocabulary=configs.vocab), WERMetric(vocabulary=configs.vocab) ], run_eagerly=False ) if CONT_F: latest = tf.train.latest_checkpoint(checkpoint_latest_dir) #Model_dir=os.path.join('Models','05_sound_to_text','202306180353','model.h5') print(latest) # training_2\cp-0002.ckpt model.load_weights(latest) #model.summary(line_length=110) if False: ddt,lv=train_data_provider.__getitem__(1) print(ddt.shape) # (8, 1392, 193) #print(ddt[0,:]) print('--') print(lv.shape) # (8, 186) #print(lv[0,:]) #from IPython.display import Audio #wave_audio = np.sin(np.linspace(0, 3000, 20000)) #print(wave_audio.shape) # (20000,) #Audio(wave_audio, rate=20000) #av_dd=np.ravel(ddt[1]) #print(av_dd.shape) #print(av_dd) #Audio(av_dd, rate=44100) plot_spectrogram(ddt[0]) sys.exit() if False: def label_to_str(lable): ss='' for i in label: #print('i:',i) if i in configs.index_char: c=configs.index_char[i] ss += c else: ss += '.' return ss dt,l=train_data_provider.__getitem__(1) print('type(dt):',type(dt)) for i in range(3): #spectrogram = batch[0][0].numpy() spectrogram = dt[i] spectrogram = np.array([np.trim_zeros(x) for x in np.transpose(spectrogram)]) print('spectrogram.shape:',spectrogram.shape) height,lng = spectrogram.shape #label = batch[1][0] label = l[i] print('type(label)',type(label)) #print(label) label = label_to_str(label) print('label:',label) # Spectrogram #label = tf.strings.reduce_join(num_to_char(label)).numpy().decode("utf-8") # Visualize the data fig = plt.figure(figsize=(8, 5)) ax = plt.subplot(2, 1, 1) ax.imshow(spectrogram, vmax=1) ax.set_title(label) # ax.set_xlim(最小値, 最大値) ax.set_xlim(0,lng) ax.set_ylim(0,193) #ax.axis("off") # Wav #file = tf.io.read_file(wavs_path + list(df_train["file_name"])[0] + ".wav") #audio, _ = tf.audio.decode_wav(file) #audio = audio.numpy() #ax = plt.subplot(2, 1, 2) #plt.plot(audio) #ax.set_title("Signal Wave") #ax.set_xlim(0, len(audio)) #display.display(display.Audio(np.transpose(audio), rate=16000)) plt.show() sys.exit() # Define callbacks #earlystopper = EarlyStopping(monitor="val_CER", patience=20, verbose=1, mode="min") earlystopper = EarlyStopping(monitor="val_CER", patience=3, verbose=1, mode="min") checkpoint = ModelCheckpoint(f"{configs.model_path}/model.h5", monitor="val_CER", verbose=1, save_best_only=True, mode="min") trainLogger = TrainLogger(configs.model_path) tb_callback = TensorBoard(f"{configs.model_path}/logs", update_freq=1) reduceLROnPlat = ReduceLROnPlateau(monitor="val_CER", factor=0.8, min_delta=1e-10, patience=5, verbose=1, mode="auto") model2onnx = Model2onnx(f"{configs.model_path}/model.h5") #batch_size = 32 batch_size = configs.batch_size # Create a callback that saves the model's weights every 5 epochs cp_callback = ModelCheckpoint( filepath=checkpoint_path, #monitor="loss", #monitor="CER", monitor="val_CER", verbose=1, save_best_only=True, save_weights_only=True, #save_freq=20*batch_size, mode="min") epoch_num=100 # Train the model model.fit( train_data_provider, validation_data=val_data_provider, epochs=epoch_num+initial_epoch, initial_epoch=initial_epoch, callbacks=[earlystopper, checkpoint, trainLogger, reduceLROnPlat, tb_callback, model2onnx, cp_callback,lr_decay], workers=configs.train_workers )

vocab size: 2081
model の、最後の一つ前の層が、256 なので、どうなるか?
# Dense layer
x = layers.Dense(256)(x)
x = activation_layer(x, activation="leaky_relu")
x = layers.Dropout(dropout)(x)

オリジナルの儘だと、loss,val_loss が、40 程度なので、ここは、増やしてみます。
# Dense layer
#x = layers.Dense(256)(x)
x = layers.Dense(1024)(x) # changed by nishi 20223.8.14
x = activation_layer(x, activation="leaky_relu")
x = layers.Dropout(dropout)(x)

これで、19 epoch で、loss=22.43、 val_loss=28.61

もう少し、下げたいのですが、取り敢えず、
inferencModel.py を日本語対応に改造して、inferencModel_jp.py で、チェックしてみます。

E:\local\keras\lstm_sound_to_text_jp>python inferencModel_jp.py >>>>true:山田さんは教室の中にいます。 >predict:山田さんは教はかにいます。 >>>>true:電話で親からいろいろ教えてもらった >predict:電馬でをげからいろ教えてもだった >>>>true:生への意志でなければならない。 >predict:生がしでなければならない >>>>true:創造ということは、ベルグソンのいうように、単に一瞬の過去にも還ることのできない尖端的進行ということではない。 >predict:創造ということはベルグソの故よに単に一瞬の過去にも還えることのできない瞬団的進行ということではない。 >>>>true:大衆を扇動すれば、軍隊の介入を招くだけだ。 >predict:大衆を選動すれば、空体の会入をまくだけだ >>>>true:めんどうくさいけどやらないとね >predict:な動くついてびやらないとね >>>>true:このチーズ、においが強すぎる >predict:このちず二が強をすぎる >>>>true:来月から新しい生徒が来るそうです。 >predict:来月から新し生プがけさです。 >>>>true:これは日本で売っていない食べ物です。 >predict:これは日本で売ってないたいものです。 >>>>true:きいてみましたが、やはり「枕草子」には >predict:気然ましたがにりらの操しには >>>>true:俺が裏声で歌うたび、微妙な顔すんなよ >predict:俺れが裏をれたたび、妙な顔すま >>>>true:大洋漁業オーナーの中部謙吉の命を受けてプロ野球球団の大洋ホエールズに関わる >predict:最洋業業オなの中べ研実の明をけてブロ球急ザの態陽ホエるずにかかわる。 >>>>true:ごはんを食べて、たばこを一本吸います。 >predict:ごはを食べて卵こ一プです。 >>>>true:いち >predict:いち >>>>true:ジグザグに進んで戻ってくるタイムを競います >predict:自ザぶにす進んで、も戻ってくる体を競います。 >>>>true:決してご遠慮はありませんというのはその意味だ >predict:決して公慮はありませんというのはそば味だ。 >>>>true:世界はいつも絶対矛盾的自己同一として、かかる自己否定を契機として行くのである。 >predict:世界はいつも絶対矛盾的自己同一として、かかる自己否定を契機として行くのである。 >>>>true:ソーセージは茹でるより焼くほうが好き >predict:そ接ジを入れるよ理はが好き >>>>true:じゃんけんで係を決めることになった。 >predict:ジャ金でかかりを切めることになった >>>>true:おいしいというより味付けが甘いんだよ >predict:おいしいていうやげづけがないんだよ Average CER: 0.37125381623833636, Average WER: 0.9

やっぱりもう少しか、
loss=10、val_loss=20 程度に、なればもっとよくるかも?

2.1 学習データセットの、spectrogram が、後ろ詰になっているのが発覚。
短いspectrogram データが、前詰めでなく、後ろ詰めになっているみたい。
mltu/transformer.py Class SpectrogramPadding にバグがあるみたい。

急遽、前詰め になる様に、Class SpectrogramPadding を修正して、再度学習させます。
25 epoch: loss=9.633 val_loss=25.26
val_loss が、もう少し良ければ、....
これで、再度、inferencModel_jp.py を実行じゃ。

E:\local\keras\lstm_sound_to_text_jp>python inferencModel_jp.py >>>>true:この花は赤くて、きれいです。 >predict:この花をかくて、きれいです。 >>>>true:さん >predict:さん >>>>true:広告減らした分を安くして売上アップ >predict:ここらしゃぶも安くして売り上りアップ >>>>true:し >predict:し >>>>true:たばこを吸うと、体に悪いです。 >predict:たばこを吸と体に悪いです。 >>>>true:しかしながら、科学も常に全体を目指しているといわれるかも知れない。 >predict:しかしながら科学もつねに全体を目指しているといわれるかもしない。 >>>>true:年末になるとやたら高くなる >predict:目つになるとたが高かくなる >>>>true:不安で夜中にふと目をさましてしまう >predict:不安での中にふと目を覚ましてしまう >>>>true:分厚い雲で日の光が遮られただけだろうと思った。一瞬のことだと。 >predict:留厚いく雲で、火のが遮ええられただけだろうと思った。一瞬のことだと >>>>true:機内食の見た目はいまいちだったけど、味は本格的で満足 >predict:帰内すの見たみ合ないちだったけど、パズボ本楽的で満足 >>>>true:自然に対する技術があるばかりでなく、社会に対する技術がある。 >predict:種然に対する技術があるばかりでなく、社会に対する技術がある。 >>>>true:これは、漁民たちの日常経験である。 >predict:こは現民価の道を経験である。 >>>>true:絶対矛盾的自己同一の世界は、過去と未来とが相互否定的に現在において結合し、 >predict:絶対矛盾的自己同一の世界は、過去と未来とが相互否定的に現在において結合し、 >>>>true:手の内を見せた方が信用され良い結果になる >predict:手直うちを見せた方が信用されおいて果になる >>>>true:あのかばんはだれのですか。 >predict:あのかばんはだれのですか。 >>>>true:そしてその点の認識が哲学にとって肝要なのである。 >predict:しきそのけの認識がう哲のて会話がる >>>>true:ろく >predict:ろく >>>>true:それに僕はそれなりの年齢だった。夏休みが空白であることを納得できるほどの年齢。 >predict:それに僕はそれないの年齢だった。夏休みが空白なることを納得くできることの年で >>>>true:そこに個人の主観的な自由は否定されて、 >predict:そこに個人の主観的な自由は否定されている。 >>>>true:冷蔵庫の中に卵が七個あります。 >predict:冷蔵この中いたが長くあります。 Average CER: 0.20298452608512033, Average WER: 0.75

2.2 さらに、spectrogram を、mel spectrogram にしてみます。

mel spectrogram にすると、
train_model の imput_dim=[-,1474,193] が [-,1474,118] に小さくなるので、
train_model の CNN部分の kernel_size を小さくした方が良いかも。

kernel_size=[11, 41], strides=[2, 2] -> kernel_size=[11, 21], strides=[2, 2]
kernel_size=[11, 21], strides=[1, 2] -> kernel_size=[11, 11], strides=[1, 2]

更なる改善は、
1) 学習データの中に、文章と一致しない音声が結構あるので、１件ずつ音をだして、文章と突き合わせて、
学習データとして使える音だけ、使うようにしないといけない。
音の質もノイズ交じりなどがあるので、手作業でトリムしないと使えない。

今回、Python GUI TKinter で、選別ツールを作ってみました。
Windows 上で、validated.tsv のレコードの文章の表示と、録音を、スピーカから確認して内容をチェックすると同時に、
音にトリムが必要であれば、wavesurfer.exe を起動して、トリムできるようにしました。

文章の読み間違い、漢字の読み間違い、不明瞭、あ余りの早口は、モデルの学習に悪影響を及ぼすので、使わない様にします。
結構多いので、オリジナルの儘では、学習に不向きです。
それでも、30,000 件 となると大変です。

これは、github に公開しました。
voice_checker

この後は、マイクから自分の声を取り込んで、試してみたいぞね。

3. 余談。
mltu.tensorflow.dataProvider の DataProvider を使うと、データをメモリーに全て読み込まなくても便利です。
このデータセットの出力形式は、'tuple' 形式になっています。

for val in train_data_provider: print(type(val)) # <class 'tuple'> ...

これを、dict 形式に変えたい場合は、

for val in train_data_provider: print(type(val)) # <class 'dict'> print(val.keys()) # dict_keys(['source', 'target']) ...

mltu.tensorflow.dataProvider の DataProvider クラスを継承して、__getitem__() をオーバーライドして、
dict 出力にすれば、OK でした。

from mltu.tensorflow.dataProvider import DataProvider # DataProvider for asr class DataProviderAsr(DataProvider): def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) def __getitem__(self, index: int): """ Returns a batch of data by batch index""" dataset_batch = self.get_batch_annotations(index) # First read and preprocess the batch data batch_data, batch_annotations = [], [] for index, batch in enumerate(dataset_batch): data, annotation = self.process_data(batch) if data is None or annotation is None: self.logger.warning("Data or annotation is None, skipping.") continue batch_data.append(data) batch_annotations.append(annotation) #return np.array(batch_data), np.array(batch_annotations) return {'source':np.array(batch_data), 'target':np.array(batch_annotations)}

4. github
lstm_sound_to_text_jp

Mozilla Common Voice Japanese 11 dataset 日本語スピーチ 加工、修正ツール
voice_checker