TensorFlow實現Softmax Regression(回歸)識別手寫數字。MNIST(Mixed National Institute of Standards and Technology database)，簡單機器視覺數據集，28X28像素手寫數字，只有灰度值信息，空白部分為0,筆跡根 ...
TensorFlow實現Softmax Regression(回歸)識別手寫數字。MNIST(Mixed National Institute of Standards and Technology database)，簡單機器視覺數據集，28X28像素手寫數字，只有灰度值信息，空白部分為0,筆跡根據顏色深淺取[0, 1], 784維，丟棄二維空間信息，目標分0~9共10類。數據載入，data.read_data_sets, 55000個樣本，測試集10000樣本，驗證集5000樣本。樣本標註信息，label，10維向量，10種類one-hot編碼。訓練集訓練模型，驗證集檢驗效果，測試集評測模型(準確率、召回率、F1-score)。
演算法設計，Softmax Regression訓練手寫數字識別分類模型，估算類別概率，取概率最大數字作模型輸出結果。類特征相加，判定類概率。模型學習訓練調整權值。softmax，各類特征計算exp函數，標準化(所有類別輸出概率值為1)。y = softmax(Wx+b)。
NumPy使用C、fortran，調用openblas、mkl矩陣運算庫。TensorFlow密集複雜運算在Python外執行。定義計算圖，運算操作不需要每次把運算完的數據傳回Python，全部在Python外面運行。
import tensor flow as tf，載入TensorFlow庫。less = tf.InteractiveSession()，創建InteractiveSession，註冊為預設session。不同session的數據、運算，相互獨立。x = tf.placeholder(tf.float32, [None,784])，創建Placeholder 接收輸入數據，第一參數數據類型，第二參數代表tensor shape 數據尺寸。None不限條數輸入，每條輸入為784維向量。
tensor存儲數據，一旦使用掉就會消失。Variable在模型訓練迭代中持久化，長期存在，每輪迭代更新。Softmax Regression模型的Variable對象weights、biases 初始化為0。模型訓練自動學習合適值。複雜網路，初始化方法重要。w = tf.Variable(tf.zeros([784, 10]))，784特征維數，10類。Label，one-hot編碼後10維向量。
Softmax Regression演算法，y = tf.nn.softmax(tf.matmul(x, W) + b)。tf.nn包含大量神經網路組件。tf.matmul，矩陣乘法函數。TensorFlow將forward、backward內容自動實現，只要定義好loss，訓練自動求導梯度下降，完成Softmax Regression模型參數自動學習。
定義loss function描述問題模型分類精度。Loss越小，模型分類結果與真實值越小，越精確。模型初始參數全零，產生初始loss。訓練目標是減小loss，找到全局最優或局部最優解。cross-entropy，分類問題常用loss function。y預測概率分佈，y'真實概率分佈(Label one-hot編碼)，判斷模型對真實概率分佈預測準確度。cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))。定義placeholder，輸入真實label。tf.reduce_sum求和，tf.reduce_mean每個batch數據結果求均值。
定義優化演算法，隨機梯度下降SGD(Stochastic Gradient Descent)。根據計算圖自動求導，根據反向傳播(Back Propagation)演算法訓練，每輪迭代更新參數減小loss。提供封裝優化器，每輪迭代feed數據，TensorFlow在後臺自動補充運算操作(Operation)實現反向傳播和梯度下降。train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)。調用tf.train.GradientDescentOptimizer，設置學習速度0.5,設定優化目標cross-entropy，得到訓練操作train_step。
tf.global_variables_initializer().run()。TensorFlow全局參數初始化器tf.golbal_variables_initializer。
batch_xs,batch_ys = mnist.train.next_batch(100)。訓練操作train_step。每次隨機從訓練集抽取100條樣本構成mini-batch，feed給 placeholder，調用train_step訓練樣本。使用小部分樣本訓練，隨機梯度下降，收斂速度更快。每次訓練全部樣本，計算量大，不容易跳出局部最優。
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmzx(y_,1))，驗證模型準確率。tf.argmax從tensor尋找最大值序號，tf.argmax(y,1)求預測數字概率最大，tf.argmax(y_,1)找樣本真實數字類別。tf.equal判斷預測數字類別是否正確，返回計算分類操作是否正確。
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))，統計全部樣本預測正確度。tf.cast轉化correct_prediction輸出值類型。
print(accuracy.eval({x: mnist.test.images,y_: mnist.test.labels}))。測試數據特征、Label輸入評測流程，計算模型測試集準確率。Softmax Regression MNIST數據分類識別，測試集平均準確率92%左右。
TensorFlow 實現簡單機器演算法步驟：
1､定義演算法公式，神經網路forward計算。
2､定義loss，選定優化器，指定優化器優化loss。
3､迭代訓練數據。
4､測試集、驗證集評測準確率。
定義公式只是Computation Graph，只有調用run方法，feed數據，計算才執行。
from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) print(mnist.train.images.shape, mnist.train.labels.shape) print(mnist.test.images.shape, mnist.test.labels.shape) print(mnist.validation.images.shape, mnist.validation.labels.shape) import tensorflow as tf sess = tf.InteractiveSession() x = tf.placeholder(tf.float32, [None, 784]) W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) y_ = tf.placeholder(tf.float32, [None, 10]) cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])) train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) tf.global_variables_initializer().run() for i in range(1000): batch_xs, batch_ys = mnist.train.next_batch(100) train_step.run({x: batch_xs, y_: batch_ys}) correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) print(accuracy.eval({x: mnist.test.images, y_: mnist.test.labels}))
參考資料：
《TensorFlow實踐》
歡迎付費咨詢(150元每小時)，我的微信：qingxingfengzi
