CNTK_106A_LSTM_Timeseries_with_Simulated_Data の改造

改造の大雑把な手順。

1.プログラムを、学習＆モデルの保存 と モデルのロード＆評価 の２つに分割します。

2.学習部分の変更は、 下記点だけ
N=5 -> 25,M=5 ->18
#X, Y = generate_data(np.sin, np.linspace(0, 100, 10000, dtype=np.float32), N, M)
X, Y = generate_data(np.sin, np.linspace(0, 100, 1200, dtype=np.float32), N, M)
10000 -> 1200 に変更
注) M >= 1 です。M: 予測未来ステップ

3. 後者の評価部分は、
1) 入力の波形の最初の N+M ステップ を取り出し、
2) その中からNステップを用いてモデルの入力形式に (N,1) 変換して、モデルの判定を行います。
3) 出てきた判定値を、1)の N+M ステップ の後ろに追加して、さらに、N+M ステップ の先頭を1ステップ削除して。再度 2)モデルの判定 を繰り返します。

それでは、前半の学習＆モデルの保存のコードは、こちらです。

''' CNTK 106: Part A - Time series prediction with LSTM (Basics) CNTK_106A_LSTM_Timeseries_with_Simulated_Data.py Created on 2018/06/06 @author: nishi ''' import math from matplotlib import pyplot as plt import numpy as np import os import pandas as pd import time import cntk as C import cntk.tests.test_utils cntk.tests.test_utils.set_device_from_pytest_env() # (only needed for our build system) #%matplotlib inline #In[4]: print('In[4]:') #isFast = True isFast = False #In[5]: print('In[5]:') def split_data(data, val_size=0.1, test_size=0.1): """ splits np.array into training, validation and test """ pos_test = int(len(data) * (1 - test_size)) pos_val = int(len(data[:pos_test]) * (1 - val_size)) train, val, test = data[:pos_val], data[pos_val:pos_test], data[pos_test:] return {"train": train, "val": val, "test": test} #In[6]: print('In[6]:') def generate_data(fct, x, time_steps, time_shift): """ generate sequences to feed to rnn for fct(x) """ data = fct(x) if not isinstance(data, pd.DataFrame): data = pd.DataFrame(dict(a = data[0:len(data) - time_shift], b = data[time_shift:])) rnn_x = [] for i in range(len(data) - time_steps + 1): rnn_x.append(data['a'].iloc[i: i + time_steps].as_matrix()) rnn_x = np.array(rnn_x) # Reshape or rearrange the data from row to columns # to be compatible with the input needed by the LSTM model # which expects 1 float per time point in a given batch rnn_x = rnn_x.reshape(rnn_x.shape + (1,)) rnn_y = data['b'].values rnn_y = rnn_y[time_steps - 1 :] # Reshape or rearrange the data from row to columns # to match the input shape rnn_y = rnn_y.reshape(rnn_y.shape + (1,)) return split_data(rnn_x), split_data(rnn_y) ''' Let us generate and visualize the generated data ''' #In[7]: print('In[7]:') ''' 2018.6.10 旨くできた組み合わせは、 N = 25 # input: N subsequent values --> サンプリングデータ数 M = 18 # output: predict 1 value M steps ahead ---> 未来予測(時間) X, Y = generate_data(np.sin, np.linspace(0, 100, 1200, dtype=np.float32), N, M) ''' N = 25 # input: N subsequent values --> サンプリングデータ数 M = 1 # output: predict 1 value M steps ahead ---> 未来予測(時間) #X, Y = generate_data(np.sin, np.linspace(0, 100, 10000, dtype=np.float32), N, M) X, Y = generate_data(np.sin, np.linspace(0, 100, 1200, dtype=np.float32), N, M) #X, Y = generate_data(np.sin, np.linspace(0, 100, 1000, dtype=np.float32), N, M) print(X.keys()) print('X["val"].shape',X['val'].shape) if False: f, a = plt.subplots(3, 1, figsize=(12, 8)) for j, ds in enumerate(["train", "val", "test"]): a[j].plot(Y[ds], label=ds + ' raw'); [i.legend() for i in a]; plt.show() if False: plt.rc('font',family='serif') plt.figure() #plt.plot(Y['train'],color='black') #plt.plot(Y['val'],color='black') plt.plot(Y['test'],color='black') plt.show() ''' Network modeling ''' #In[8]: print('In[8]:') def create_model(x): """Create the model for time series prediction""" with C.layers.default_options(initial_state = 0.1): m = C.layers.Recurrence(C.layers.LSTM(N))(x) m = C.sequence.last(m) m = C.layers.Dropout(0.2, seed=1)(m) m = C.layers.Dense(1)(m) return m ''' Training the network ''' #In[9]: print('In[9]:') def next_batch(x, y, ds): """get the next batch to process""" def as_batch(data, start, count): part = [] for i in range(start, start + count): part.append(data[i]) return np.array(part) for i in range(0, len(x[ds])-BATCH_SIZE, BATCH_SIZE): yield as_batch(x[ds], i, BATCH_SIZE), as_batch(y[ds], i, BATCH_SIZE) #In[10]: print('In[10]:') # Training parameters TRAINING_STEPS = 10000 BATCH_SIZE = 100 EPOCHS = 10 if isFast else 100 #EPOCHS = 10 if isFast else 70 #In[11]: print('In[11]:') # input sequences x = C.sequence.input_variable(1) # create the model z = create_model(x) # expected output (label), also the dynamic axes of the model output # is specified as the model of the label input l = C.input_variable(1, dynamic_axes=z.dynamic_axes, name="y") # the learning rate learning_rate = 0.02 lr_schedule = C.learning_parameter_schedule(learning_rate) # loss function loss = C.squared_error(z, l) # use squared error to determine error for now error = C.squared_error(z, l) # use fsadagrad optimizer momentum_schedule = C.momentum_schedule(0.9, minibatch_size=BATCH_SIZE) learner = C.fsadagrad(z.parameters, lr = lr_schedule, momentum = momentum_schedule, unit_gain = True) trainer = C.Trainer(z, (loss, error), [learner]) #In[12]: print('In[12]:') if False: data_sin={'x':[],'y':[]} i=0 #見ずらいので、ラベルを1個先に、ずらす #for i in range(1): # data_sin['y'].append(None) for x1, y1 in next_batch(X, Y, "train"): print('x1.shape',x1.shape) print('y1.shape',y1.shape) print('x1[0,:]=',x1[0,:]) print('y1[0]=',y1[0]) print('x1[1,:]=',x1[1,:]) print('y1[1]=',y1[1]) print('x1[2,:]=',x1[2,:]) print('y1[2]=',y1[2]) print('x1[3,:]=',x1[3,:]) print('y1[3]=',y1[3]) print('x1[4,:]=',x1[4,:]) print('y1[4]=',y1[4]) print('x1[5,:]=',x1[5,:]) print('y1[5]=',y1[5]) print('x1[6,:]=',x1[6,:]) print('y1[6]=',y1[6]) data_sin['x'].append(x1[0,0]) data_sin['y'].append(y1[0]) i+=1 if i > 3: break fig = plt.figure() ax_acc = fig.add_subplot(111) ax_acc.plot(data_sin['x'],color='red') ax_loss = ax_acc.twinx() ax_loss.plot(data_sin['y']) plt.show() exit() ''' 学習の実行 ''' loss_summary = [] start = time.time() for epoch in range(0, EPOCHS): for x1, y1 in next_batch(X, Y, "train"): trainer.train_minibatch({x: x1, l: y1}) if epoch % 10 == 0: training_loss = trainer.previous_minibatch_loss_average loss_summary.append(training_loss) print("epoch: {}, loss: {:.5f}".format(epoch, training_loss)) print("training took {0:.1f} sec".format(time.time() - start)) #In[13]: print('In[13]:') # A look how the loss function shows how well the model is converging plt.plot(loss_summary, label='training loss'); plt.show() #In[14]: print('In[14]:') # validate def get_mse(X,Y,labeltxt): result = 0.0 for x1, y1 in next_batch(X, Y, labeltxt): eval_error = trainer.test_minibatch({x:x1, l:y1}) result += eval_error return result/len(X[labeltxt]) #In[15]: print('In[15]:') # Print the train and validation errors for labeltxt in ["train", "val"]: print("mse for {}: {:.6f}".format(labeltxt, get_mse(X, Y, labeltxt))) #In[16]: print('In[16]:') # Print validate and test error labeltxt = "test" print("mse for {}: {:.6f}".format(labeltxt, get_mse(X, Y, labeltxt))) #In[17]: print('In[17]:') # predict f, a = plt.subplots(3, 1, figsize = (12, 8)) for j, ds in enumerate(["train", "val", "test"]): results = [] for x1, y1 in next_batch(X, Y, ds): pred = z.eval({x: x1}) results.extend(pred[:, 0]) a[j].plot(Y[ds], label = ds + ' raw'); a[j].plot(results, label = ds + ' predicted'); [i.legend() for i in a]; plt.show() ''' 学習済モデルのセーブ ''' print('save pred_basic_model_bn -> temp/temp/Output/CNTK_106A_LSTM_Timeseries_with_Simulated_Data.cmf') z.save('temp/Output/CNTK_106A_LSTM_Timeseries_with_Simulated_Data.cmf')

後半のモデルのロード＆評価確認のコードは、こちらです。

''' CNTK 106: Part A - Time series prediction with LSTM (Basics) CNTK_106A_LSTM_Timeseries_with_Simulated_Data_eval.py Created on 2018/06/06 @author: nishi ''' import math from matplotlib import pyplot as plt import numpy as np import os import pandas as pd import time import cntk as C import cntk.tests.test_utils from cntk import load_model, placeholder, Constant cntk.tests.test_utils.set_device_from_pytest_env() # (only needed for our build system) #%matplotlib inline #In[4]: print('In[4]:') isFast = True #isFast = False #In[5]: print('In[5]:') def split_data(data, val_size=0.1, test_size=0.1): """ splits np.array into training, validation and test """ pos_test = int(len(data) * (1 - test_size)) pos_val = int(len(data[:pos_test]) * (1 - val_size)) train, val, test = data[:pos_val], data[pos_val:pos_test], data[pos_test:] return {"train": train, "val": val, "test": test} #In[6]: print('In[6]:') def generate_data(fct, x, time_steps, time_shift): """ generate sequences to feed to rnn for fct(x) """ data = fct(x) if not isinstance(data, pd.DataFrame): data = pd.DataFrame(dict(a = data[0:len(data) - time_shift], b = data[time_shift:])) rnn_x = [] for i in range(len(data) - time_steps + 1): rnn_x.append(data['a'].iloc[i: i + time_steps].as_matrix()) rnn_x = np.array(rnn_x) # Reshape or rearrange the data from row to columns # to be compatible with the input needed by the LSTM model # which expects 1 float per time point in a given batch rnn_x = rnn_x.reshape(rnn_x.shape + (1,)) rnn_y = data['b'].values rnn_y = rnn_y[time_steps - 1 :] # Reshape or rearrange the data from row to columns # to match the input shape rnn_y = rnn_y.reshape(rnn_y.shape + (1,)) return split_data(rnn_x), split_data(rnn_y) ''' Let us generate and visualize the generated data ''' #In[7]: print('In[7]:') ''' 2018.6.10 旨くできた組み合わせは、 N = 25 # input: N subsequent values --> サンプリングデータ数 M = 18 # output: predict 1 value M steps ahead ---> 未来予測(時間) X, Y = generate_data(np.sin, np.linspace(0, 100, 1200, dtype=np.float32), N, M) ''' N = 25 # input: N subsequent values --> サンプリングデータ数 M = 1 # output: predict 1 value M steps ahead ---> 未来予測(時間) #X, Y = generate_data(np.sin, np.linspace(0, 100, 10000, dtype=np.float32), N, M) X, Y = generate_data(np.sin, np.linspace(0, 100, 1200, dtype=np.float32), N, M) #X, Y = generate_data(np.sin, np.linspace(0, 100, 1000, dtype=np.float32), N, M) print(X.keys()) print('X["train"].shape',X['train'].shape) print('Y["train"].shape',Y['train'].shape) ''' X,Y train をダンプします ''' if False: x_=X["train"] y_=Y["train"] X_steps=len(x_[0]) #print('X_steps=',X_steps) for i in range(N+M+2): print('X[{}]'.format(i)) print(x_[i]) print('Y[{},0]='.format(i),y_[i,0]) exit() if False: f, a = plt.subplots(3, 1, figsize=(12, 8)) for j, ds in enumerate(["train", "val", "test"]): a[j].plot(Y[ds], label=ds + ' raw'); [i.legend() for i in a]; plt.show() if False: plt.rc('font',family='serif') plt.figure() #plt.plot(Y['train'],color='black') #plt.plot(Y['val'],color='black') plt.plot(Y['test'],color='black') plt.show() #In[18]: print('In[18]:') ''' 学習済モデルのロード ''' base_folder = os.path.dirname(os.path.abspath(__file__)) tl_model_file = os.path.join('temp','Output','CNTK_106A_LSTM_Timeseries_with_Simulated_Data.cmf') print('tl_model_file',tl_model_file) print("Loading existing model from %s" % tl_model_file) trained_model = load_model(tl_model_file) #In[19]: print('In[19]:') print('X.keys()=',X.keys()) if True: ''' (新) 最初だけ、元データを使って、途中からは、 予測データのみで、サイン波を復元しています。 ''' #きれいなサイン波の作成 #f0=toy_problem(T, ampl=0) #print('X["train"].shape',X['train'].shape) f0=[] X0_=X["train"] for i in range(len(X0_)): f0=np.append(f0,X0_[i,0,0]) T=len(f0) /2 #先頭の N+M-1 を抽出 f_cur = f0[:N+M-1] f_cur=f_cur.astype(np.float32) print('len(f_cur)=',len(f_cur)) #print('f_cur',f_cur) result={ 'x':[], 'y':[] } ''' 途中から、予測データのみによる、波形を作成します。 元の波形 1レコード を読み込ませる度に、 N+M ステップ先に、予測値を追加して行き、 判定と読み込ませるレコードのデータを 1 ステップずつずらしていきます。 N+M ステップ目からは、完全に予測値からの波形の復元になります。 ''' #for i in range(M*2-1): for i in range(N+M-1): result['y'].append(None) test_len=400 if test_len > T*2-N-M-3: test_len = T*2-N-M-3 for i in range(test_len): #print('X_base[0,0,0]=',X_base[0,0,0]) #result['x'].append(X_base[0,0,0]) #こちらは、予測結果を取り込で作った入力データ if i < N+M-1: result['x'].append(f0[i]) #こちらが、オリジナルのサイン波データ else: result['x'].append(None) #こちらが、オリジナルのサイン波データ X_base=f_cur[:N] X_base=np.reshape(X_base,(N,1)) #print('X_base=',X_base) arguments = {trained_model.arguments[0]:X_base} pred = trained_model.eval(arguments) result['y'].append(pred[0,0]) ''' f_cur の最後に、判定値を追加します。 その後、f_cur の先頭を削除して、Step位置を1個ずらします。 ''' f_cur=np.append(f_cur,pred[0,0]) f_cur=np.delete(f_cur,0,0) #print('f_cur=',f_cur) plt.rc('font',family='serif') plt.figure() plt.plot(f0[:test_len],linestyle='dotted',color='#aaaaaa') plt.plot(result['x'],linestyle='dotted',color='red') plt.plot(result['y'],color='blue') plt.show() if False: # 元データの最初の1件のみ抽出 x1=X['train'] print('x1.shape=',x1.shape) result={ 'x':[], 'y':[] } ''' こちらは、テストデータから表示です。 ''' X_base=x1 # 元のデータの 全件を取り出し print('X_base.shape=',X_base.shape) for i in range(80): #print('X_base[0,0]=',X_base[0,0]) result['x'].append(X_base[i,0]) #print(result['x']) arguments = {trained_model.arguments[0]:X_base[i,:]} pred = trained_model.eval(arguments) print('X_base[i,0]=',X_base[i,0],',pred[0]=',pred[0]) #print('pred[0,0]=',pred[0,0]) result['y'].append(pred[0]) #x_ = X_base[-1:] #print('x_.shape=',x_.shape) #pred = z.eval({x:x_}) #print('pred[0,0]=',pred[0,0]) fig = plt.figure() ax_acc = fig.add_subplot(111) ax_acc.plot(result['x']) ax_loss = ax_acc.twinx() ax_loss.plot(result['y'],color='red') plt.show()