戻る
■TensorFlow+Keras(ディープラーニング)で手書き数字の判定
■MNISTデータの利用 MNISTのデータは、白黒画像の手書き数字のデータセット 学習用の画像に6万枚、テスト用の画像に1万枚もの画像が用意されている sklearnのデータセットに比べると、質も量も大きなデータセット $ sudo pip3 install keras
#import keras #from keras.datasets import mnist from tensorflow.keras.datasets import mnist from matplotlib import pyplot # MNISTのデータを読み込む (x_train, y_train), (x_test, y_test) = mnist.load_data() # データを 4x8 に出力 for i in range(0, 32): pyplot.subplot(4, 8, i + 1) pyplot.imshow(x_train[i], cmap='gray') # 画像に保存する pyplot.savefig("output.png")
初回実行時は、以下からMNISTデータのダウンロードが行われる メモリ不足になるとダウンロードに失敗することがあるらしいので注意する https://s3.amazonaws.com/img-datasets/mnist.npz ■多層パーセプトロン(Multilayer perceptron)で画像認識
# MLPでMNISTの分類問題に挑戦 #import keras #from keras.models import Sequential #from keras.layers import Dense, Dropout #from keras.optimizers import RMSprop #from keras.datasets import mnist import tensorflow.keras as keras from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.optimizers import RMSprop from tensorflow.keras.datasets import mnist import matplotlib.pyplot as plt # 入力と出力を指定 in_size = 28 * 28 out_size = 10 # MNISTのデータを読み込み (X_train, y_train), (X_test, y_test) = mnist.load_data() X_train = X_train[0:in_size * 20] y_train = y_train[0:in_size * 20] X_test = X_test[0:in_size * 20] y_test = y_test[0:in_size * 20] # データを28*28=784の一次元配列に変換 X_train = X_train.reshape(-1, 784).astype('float32') / 255 X_test = X_test.reshape(-1, 784).astype('float32') / 255 # ラベルデータをone-hotベクトルに直す #y_train = keras.utils.np_utils.to_categorical(y_train.astype('int32'),10) #y_test = keras.utils.np_utils.to_categorical(y_test.astype('int32'),10) y_train = keras.utils.to_categorical(y_train.astype('int32'),10) y_test = keras.utils.to_categorical(y_test.astype('int32'),10) # MLPモデル構造を定義 model = Sequential() model.add(Dense(512, activation='relu', input_shape=(in_size,))) model.add(Dropout(0.2)) model.add(Dense(512, activation='relu')) model.add(Dropout(0.2)) model.add(Dense(out_size, activation='softmax')) # モデルをコンパイル model.compile( loss='categorical_crossentropy', optimizer=RMSprop(), metrics=['accuracy']) # 学習を実行 hist = model.fit(X_train, y_train, batch_size=64, epochs=30, verbose=1, validation_data=(X_test, y_test)) # モデルを評価 score = model.evaluate(X_test, y_test, verbose=1) print('正解率=', score[1], 'loss=', score[0]) # # 学習の様子をグラフへ描画 # # 正解率の推移をプロット # plt.plot(hist.history['acc']) # plt.plot(hist.history['val_acc']) # plt.title('Accuracy') # plt.legend(['train', 'test'], loc='upper left') # plt.show() # # # ロスの推移をプロット # plt.plot(hist.history['loss']) # plt.plot(hist.history['val_loss']) # plt.title('Loss') # plt.legend(['train', 'test'], loc='upper left') # plt.show()
Raspberry Pi 3 Model b+ 環境では15分以上かかった Raspberry Pi 4 4B-32GB 環境では10分程度かかった また X_train = X_train[0:in_size * 20] y_train = y_train[0:in_size * 20] X_test = X_test[0:in_size * 20] y_test = y_test[0:in_size * 20] の処理を入れないと X_train = X_train.reshape(-1, 784).astype('float32') / 255 部分で MemoryError のエラーになって処理が止まった ■学習結果の保存と読み込み 「学習を実行」の直後に以下の処理を記述すると、学習結果をファイルに保存できる
# 学習結果を保存 model.save_weights('mnist-mlp.h5')
またその後、「学習を実行」の処理の代わりに以下を記述すると、学習結果を読み込んで使用できる 学習には非常に時間がかかることがあるので、これにより処理時間を大幅に短縮できる
# 学習結果を読み込み model.load_weights('mnist-mlp.h5')
ただし、Raspberry Pi 4 4B-32GB 環境では以下のエラーになった AttributeError: 'str' object has no attribute 'decode' 【Keras】エラー 'str' object has no attribute 'decode'について - Qiita https://qiita.com/Hiroki-Fujimoto/items/b078bfb680fb710c38c1 Python 3.x - 【機械学習】学習済みkerasモデルのロードが出来ない|teratail https://teratail.com/questions/306240 以下でh5pyをバージョン指定でインストールしてみる なお sudo でroot権限で実行しようとすると、「sudo: pip3.7: コマンドが見つかりません」のエラーになった $ pip3.7 install h5py==2.10.0 $ pip3.7 show h5py Name: h5py Version: 2.10.0 Summary: Read and write HDF5 files from Python Home-page: http://www.h5py.org Author: Andrew Collette Author-email: andrew.collette@gmail.com License: BSD Location: /home/pi/.local/lib/python3.7/site-packages Requires: six, numpy Required-by: Keras, Keras-Applications これで、以下で実行できるようになった $ python3.7 keras-perceptron.py 2021-02-20 13:07:23.519644: E tensorflow/core/platform/hadoop/hadoop_file_system.cc:132] HadoopFileSystem load error: libhdfs.so: cannot open shared object file: No such file or directory Unable to init server: Could not connect: Connection refused Unable to init server: Could not connect: Connection refused (keras-perceptron.py:17547): Gdk-CRITICAL **: 13:07:28.524: gdk_cursor_new_for_display: assertion 'GDK_IS_DISPLAY (display)' failed (keras-perceptron.py:17547): Gdk-CRITICAL **: 13:07:28.527: gdk_cursor_new_for_display: assertion 'GDK_IS_DISPLAY (display)' failed WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version. Instructions for updating: If using Keras pass *_constraint arguments to layers. 10000/10000 [==============================] - 4s 438us/sample - loss: 0.4175 - acc: 0.9662 正解率= 0.9662 loss= 0.4175194102861721 最初以下でインストールしようとしたが、pip3.7 には影響しなかった(pip3 にのみ影響した) 一つの環境に複数のPythonのバージョンを同居させているための問題だと思われる $ sudo pip3 install h5py==2.10.0 $ pip3 show h5py ■畳み込みニューラルネットワーク(Convolutional Neural Network)で画像認識 深層学習(ディープラーニング)の原理、CNN、RNN、LSTM,GANを図解で解説 | TickTack World http://gagbot.net/machine-learning/ml4 Convolutional Neural Network(CNN)は画像認識で実績のあるニューラルネットワーク
# CNNでMNISTの分類問題に挑戦 #import keras #from keras.models import Sequential #from keras.layers import Dense, Dropout, Flatten #from keras.layers import Conv2D, MaxPooling2D #from keras.optimizers import RMSprop #from keras.datasets import mnist import tensorflow.keras as keras from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten from tensorflow.keras.layers import Conv2D, MaxPooling2D from tensorflow.keras.optimizers import RMSprop from tensorflow.keras.datasets import mnist import matplotlib.pyplot as plt # 入力と出力を指定 im_rows = 28 # 画像の縦ピクセルサイズ im_cols = 28 # 画像の横ピクセルサイズ im_color = 1 # 画像の色空間/グレイスケール in_shape = (im_rows, im_cols, im_color) in_size = 28 * 28 out_size = 10 # MNISTのデータを読み込み (X_train, y_train), (X_test, y_test) = mnist.load_data() X_train = X_train[0:in_size * 2] y_train = y_train[0:in_size * 2] X_test = X_test[0:in_size * 2] y_test = y_test[0:in_size * 2] # 読み込んだデータをの三次元配列に変換 X_train = X_train.reshape(-1, im_rows, im_cols, im_color) X_train = X_train.astype('float32') / 255 X_test = X_test.reshape(-1, im_rows, im_cols, im_color) X_test = X_test.astype('float32') / 255 # ラベルデータをone-hotベクトルに直す #y_train = keras.utils.np_utils.to_categorical(y_train.astype('int32'),10) #y_test = keras.utils.np_utils.to_categorical(y_test.astype('int32'),10) y_train = keras.utils.to_categorical(y_train.astype('int32'),10) y_test = keras.utils.to_categorical(y_test.astype('int32'),10) # CNNモデル構造を定義 model = Sequential() model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=in_shape)) model.add(Conv2D(64, (3, 3), activation='relu')) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.25)) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(out_size, activation='softmax')) # モデルをコンパイル model.compile( loss='categorical_crossentropy', optimizer=RMSprop(), metrics=['accuracy']) # 学習を実行 hist = model.fit(X_train, y_train, batch_size=128, epochs=12, verbose=1, validation_data=(X_test, y_test)) # 学習結果を保存 #model.save_weights('mnist-cnn.h5') # 学習結果を読み込み #model.load_weights('mnist-cnn.h5') # モデルを評価 score = model.evaluate(X_test, y_test, verbose=1) print('正解率=', score[1], 'loss=', score[0])
$ python3.7 keras-cnn.py 2021-02-20 13:17:35.353177: E tensorflow/core/platform/hadoop/hadoop_file_system.cc:132] HadoopFileSystem load error: libhdfs.so: cannot open shared object file: No such file or directory Unable to init server: Could not connect: Connection refused Unable to init server: Could not connect: Connection refused (keras-cnn.py:17621): Gdk-CRITICAL **: 13:17:40.334: gdk_cursor_new_for_display: assertion 'GDK_IS_DISPLAY (display)' failed (keras-cnn.py:17621): Gdk-CRITICAL **: 13:17:40.337: gdk_cursor_new_for_display: assertion 'GDK_IS_DISPLAY (display)' failed WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version. Instructions for updating: If using Keras pass *_constraint arguments to layers. Train on 1568 samples, validate on 1568 samples Epoch 1/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 1.5820 - acc: 0.4847 - val_loss: 1.0910 - val_acc: 0.6429 Epoch 2/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.6963 - acc: 0.7953 - val_loss: 0.5761 - val_acc: 0.8240 Epoch 3/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.4347 - acc: 0.8731 - val_loss: 0.4242 - val_acc: 0.8788 Epoch 4/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.3382 - acc: 0.9062 - val_loss: 0.3544 - val_acc: 0.8992 Epoch 5/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.2708 - acc: 0.9311 - val_loss: 0.3081 - val_acc: 0.9062 Epoch 6/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.2152 - acc: 0.9362 - val_loss: 0.2688 - val_acc: 0.9216 Epoch 7/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.1852 - acc: 0.9420 - val_loss: 0.2591 - val_acc: 0.9196 Epoch 8/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.1411 - acc: 0.9547 - val_loss: 0.2451 - val_acc: 0.9203 Epoch 9/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.1150 - acc: 0.9656 - val_loss: 0.2703 - val_acc: 0.9235 Epoch 10/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.0993 - acc: 0.9739 - val_loss: 0.2994 - val_acc: 0.9082 Epoch 11/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.0870 - acc: 0.9732 - val_loss: 0.2334 - val_acc: 0.9369 Epoch 12/12 1568/1568 [==============================] - 17s 11ms/sample - loss: 0.0682 - acc: 0.9777 - val_loss: 0.2361 - val_acc: 0.9324 1568/1568 [==============================] - 3s 2ms/sample - loss: 0.2361 - acc: 0.9324 正解率= 0.93239796 loss= 0.23608304721740436 Python - Kerasのto_categoricalを使おうとすると、no attributeのエラーが出てしまう。|teratail https://teratail.com/questions/277434 「学習結果を保存」の処理を有効にして学習結果を保存したあと、 「学習を実行」を「学習を実行」に変更すると、以下のように学習結果から処理を実行できる $ python3.7 keras-cnn.py 2021-02-20 13:38:18.336257: E tensorflow/core/platform/hadoop/hadoop_file_system.cc:132] HadoopFileSystem load error: libhdfs.so: cannot open shared object file: No such file or directory Unable to init server: Could not connect: Connection refused Unable to init server: Could not connect: Connection refused (keras-cnn.py:17756): Gdk-CRITICAL **: 13:38:23.309: gdk_cursor_new_for_display: assertion 'GDK_IS_DISPLAY (display)' failed (keras-cnn.py:17756): Gdk-CRITICAL **: 13:38:23.312: gdk_cursor_new_for_display: assertion 'GDK_IS_DISPLAY (display)' failed WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version. Instructions for updating: If using Keras pass *_constraint arguments to layers. 1568/1568 [==============================] - 4s 2ms/sample - loss: 0.2332 - acc: 0.9381 正解率= 0.93813777 loss= 0.23319860234172368 ★2021年2月にここまで再検証した