演算法很簡單,對待分類樣本實施近鄰投票。其中的k個最相鄰的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。 在《白話大數據與機器學習》里使用了sklearn里的KNeighborsClassifier來處理數據: 訓練模型 clf = KNeighborsClassifier().fit(x, ...
演算法很簡單,對待分類樣本實施近鄰投票。其中的k個最相鄰的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。
在《白話大數據與機器學習》里使用了sklearn里的KNeighborsClassifier來處理數據:
訓練模型 clf = KNeighborsClassifier().fit(x, y)
預測數據 clf.predict(x)
這裡我們來實現一下k-近鄰演算法,看看該演算法具體是如果實現的。
1 準備數據
首先我們需要一些訓練數據 這裡使用鳶尾花數據 https://en.wikipedia.org/wiki/Iris_flower_data_set。
這裡x是一個(150, 4)2維數組,總共150條數據,列印其中的5條數據看一下:
[[5.1, 3.5, 1.4, 0.2],
[4.9, 3.0, 1.4, 0.2],
[4.7, 3.2, 1.3, 0.2],
[4.6, 3.1, 1.5, 0.2],
[5.0, 3.6, 1.4, 0.2],
... ...]
可以看到每條數據都有4個特征項分別是: 萼片的長度,萼片的寬度,花瓣的長度,花瓣的寬度
y是x里每條數據對應的分類:
[0, 0, 1, 1, 2, ...]
可以看到x里對應的分類總共有3種[0,1,2]。
2 訓練模型
不用訓練
3. 預測數據
計算待預測數據與訓練樣本中每條數據之間的距離:
[0.538, 0.509, 0.3, 0.648, 0.141, 0.616, ...]
對計算出來的結果排序:
[0.0, 0.3, 0.141, 0.538, 0.616, ...]
對距離最小的K條數據所屬分類進行投票,這裡假設K=3:
[{0: 3, 1: 0, 2: 0}]
可以看到屬於分類0的有3條,屬於分類1和2的有0條
完整代碼可以訪問github進行下載 https://github.com/azheng333/Ml_Algorithm.git。
(完)
關註大數據尖端技術發展,關註奇點大數據