10分钟学会简易的感知机算法线性得分计算公式( 二 ) _线性

直线初始化
# X加上偏置项 X = np.hstack((np.ones((X.shape[0],1)), X)) # 权重初始化 w = np.random.randn(3,1) 1 2 3 4 显示初始化直线位置：
# 直线第一个坐标（x1，y1） x1 = -2 y1 = -1 / w[2] * (w[0] * 1 + w[1] * x1) # 直线第二个坐标（x2，y2） x2 = 2 y2 = -1 / w[2] * (w[0] * 1 + w[1] * x2) # 作图 plt.scatter(X[:50, 1], X[:50, 2], color='blue', marker='o', label='Positive') plt.scatter(X[50:, 1], X[50:, 2], color='red', marker='x', label='Negative') plt.plot([x1,x2], [y1,y2],'r') plt.xlabel('Feature 1') plt.ylabel('Feature 2') plt.legend(loc = 'upper left') plt.show() 1 2 3 4 5 6 7 8 9 10 11 12 13 14

文章插图
由上图可见，一般随机生成的分类线，错误率很高。
计算scores，更新权重
接下来，计算scores，得分函数与阈值0做比较，大于零则y
^
=1
y^=1，小于零则y
^
=?1
y^=?1
s = np.dot(X, w) y_pred = np.ones_like(y) # 预测输出初始化 loc_n = np.where(s < 0)[0] # 大于零索引下标 y_pred[loc_n] = -1 1 2 3 4 接着，从分类错误的样本中选择一个，使用PLA更新权重系数w
w 。
# 第一个分类错误的点 t = np.where(y != y_pred)[0][0] # 更新权重w w += y[t] * X[t, :].reshape((3,1)) 1 2 3 4 迭代更新训练
更新权重w
w是个迭代过程，只要存在分类错误的样本，就不断进行更新，直至所有的样本都分类正确。（注意，前提是正负样本完全可分）
for i in range(100): s = np.dot(X, w) y_pred = np.ones_like(y) loc_n = np.where(s < 0)[0] y_pred[loc_n] = -1 num_fault = len(np.where(y != y_pred)[0]) print('第%2d次更新，分类错误的点个数：%2d' % (i, num_fault)) if num_fault == 0: break else: t = np.where(y != y_pred)[0][0] w += y[t] * X[t, :].reshape((3,1)) 1 2 3 4 5 6 7 8 9 10 11 12 迭代完毕后，得到更新后的权重系数w
w，绘制此时的分类直线是什么样子。
# 直线第一个坐标（x1，y1） x1 = -2 y1 = -1 / w[2] * (w[0] * 1 + w[1] * x1) # 直线第二个坐标（x2，y2） x2 = 2 y2 = -1 / w[2] * (w[0] * 1 + w[1] * x2) # 作图 plt.scatter(X[:50, 1], X[:50, 2], color='blue', marker='o', label='Positive') plt.scatter(X[50:, 1], X[50:, 2], color='red', marker='x', label='Negative') plt.plot([x1,x2], [y1,y2],'r') plt.xlabel('Feature 1') plt.ylabel('Feature 2') plt.legend(loc = 'upper left') plt.show() 1 2 3 4 5 6 7 8 9 10 11 12 13 14

文章插图
其实，PLA算法的效率还算不错，只需要数次更新就能找到一条能将所有样本完全分类正确的分类线。所以得出结论，对于正负样本线性可分的情况，PLA能够在有限次迭代后得到正确的分类直线。
总结与疑问
这里导入的数据本身就是线性可分的，可以使用PCA来得到分类直线。但是，如果数据不是线性可分，即找不到一条直线能够将所有的正负样本完全分类正确，这种情况下，似乎PCA会永远更新迭代下去，却找不到正确的分类线。

10分钟学会简易的感知机算法 线性得分计算公式( 二 )

10分钟学会简易的感知机算法线性得分计算公式( 二 )