欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

机器学习实战------k-近邻算法

程序员文章站 2022-07-14 21:05:19
...

使用了pycharm,和jupyter,均为python3版本。

一、首先根据章节内容创建KNN模块

在pycharm中编写模块:

from numpy import *
import operator


def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels
二、保存并导入模块

在jupyter中导入模块,导入过程如下:

import sys
sys.path.append("D:\xx\xxxxxx")

import KNN
在导入模块后,输入指令:

group,labels = KNN.createDataSet()
出现错误: only 2 non-keyword arguments accepted 

查阅网上回答,并没有找到原因,有位老哥说可能是KNN.py修改后,python没有来得及加载,将jupyter文件关掉,并在Home界面勾选文件,shutdown

机器学习实战------k-近邻算法

再次打开文件,运行,没有出错。


三、python中k-近邻算法的具体实现

k-近邻算法的伪代码为:

机器学习实战------k-近邻算法
接下来贴上代码:

def classify0(inx,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inx,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances **0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(),
                              key = operator.itemgetter(1),reverse = True)
    return sortedClassCount[0][0]

需要十分注意的是

sortedClassCount = sorted(classCount.items()

一句中,原书为

sortedClassCount = sorted(classCount.iteritems()

注意python3与2之间的区别,否则这段会报错。

四、测试

在jupyter中键入:

import KNN
group,labels = KNN.createDataSet()
KNN.classify0([0,0],group,labels,3)
获得结果:

机器学习实战------k-近邻算法
再试一条:

import KNN
group,labels = KNN.createDataSet()
KNN.classify0([0.9,1],group,labels,3)
结果:

机器学习实战------k-近邻算法

看起来还不错。

代码是固定的,但是其中的一些具体代码之前都没接触过,以后会注重原始代码的来历以及应用。


2018.1.15更新


def classify0(inx,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inx,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances **0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(),
                              key = operator.itemgetter(1),reverse = True)
    return sortedClassCount[0][0]
解释下这段代码中的几个函数:

1.numpy.tile(a,b)函数,是在列方向上重复N次,在这是重复dataSetSize次

具体用法为(这段代码是另一位老哥的,我就懒得写了,侵删):

>>> import numpy  
>>> numpy.tile([0,0],5)#在列方向上重复[0,0]5次,默认行1次  
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0])  
>>> numpy.tile([0,0],(1,1))#在列方向上重复[0,0]1次,行1次  
array([[0, 0]])  
>>> numpy.tile([0,0],(2,1))#在列方向上重复[0,0]1次,行2次  
array([[0, 0],  
       [0, 0]])  
>>> numpy.tile([0,0],(3,1))  
array([[0, 0],  
       [0, 0],  
       [0, 0]])  
>>> numpy.tile([0,0],(1,3))#在列方向上重复[0,0]3次,行1次  
array([[0, 0, 0, 0, 0, 0]])  
>>> numpy.tile([0,0],(2,3))<span style="font-family: Arial, Helvetica, sans-serif;">#在列方向上重复[0,0]3次,行2次</span>  
array([[0, 0, 0, 0, 0, 0],  
       [0, 0, 0, 0, 0, 0]]) 
2.argsort函数返回的是数组值从小到大的索引值

突然发现一篇博客,写的十分详细,这里贴一下地址,传送门:http://blog.csdn.net/niuwei22007


四、4.1示例:使用k-近邻算法改进约会网站的配对效果

4.1.1准备数据

将文本记录转换为NumPy的解析程序:

def file2matrix(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())
    returnMat = zeros((numberOfLines,3))
    classLabeVector = []
    fr = open(filename)
    index = 0
    for line in fr.readlines():
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]
        classLabeVector.append(int(listFromLine[3]))
        index += 1
    return returnMat,classLabeVector
之后在jupyter输入命令:(原书中的reload在python3中需要from imp import reload

import sys
sys.path.append("D:\xx\xxxx")
import KNN
之后导入数据文件,文件在https://www.manning.com/books/machine-learning-in-action中的source code 有下载

import os
os.chdir('D:\\xx\\machinelearning\\MLiA_SourceCode')
datingDataMat,datingLabels = KNN.file2matrix('datingTestSet2.txt')
简单检查数据内容:

机器学习实战------k-近邻算法
4.1.2分析数据:使用Matplotlib创建散点图

书中之前的两个散点图的具体创建不表,最终清晰标示不同样本分类区域的散点图用到了datingDataMat矩阵的第二和第三列属性。具体代码如下:

import matplotlib
import matplotlib.pyplot as plt
from numpy import array
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,0],datingDataMat[:,1],15.0 * array(datingLabels),15.0 * array(datingLabels))
plt.show()
最终效果如下:

机器学习实战------k-近邻算法
4.2.3准备数据:归一化数值

在计算不同样本数据的距离时,我们会发现飞行常客里程数由于自身数字较大,会远远大于其他两项对计算结果的影响,所以在处理不同取值范围的特征值时,通常采用将数值归一化。

在KNN.py模块中增加新函数autoNorm(),使用该函数可以自动将数字特征转化为0-1之间。

代码如下:

def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    normDataSet = normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges.minVals
在jupyter中输入指令:

from imp import reload
reload(KNN)
normMat,ranges,minVals = KNN.autoNorm(datingDataMat)

得到结果:

机器学习实战------k-近邻算法
4.2.4测试算法,完整程序验证分类器

分类器针对约会网站的测试代码:

def dataingClassTest():
    hoRatio = 0.10
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print('the classifier came back with:%d,the real answer is : %d'%(classifierResult,datingLabels[i]))
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print('the total error rate is: %f'%(errorCount/float(numTestVecs)))
继续在jupyter中测试:

reload(KNN)
KNN.dataingClassTest()
结果:

机器学习实战------k-近邻算法
这个结果就要比书中的结果差一些,可能是数据有所改变?这个不太清楚。

4.2.5 使用算法构建完整可用的系统

约会网站预测函数:

def classifyPerson():
    resultList = ['not at all','in small doses','in large doses']
    percentTats = float(input('percentage of time spent playing video games?'))
    ffMiles = float(input('frequent flier miles earned per year?'))
    iceCream = float(input('liters of ice cream consumed per year?'))
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles,percentTats,iceCream])
    classifierResult = classify0((inArr - minVals)/ranges,normMat,datingLabels,3)
    print('You will probably like this person:',resultList[classifierResult -1])
依然在jupyter中测试:(记得reload)

机器学习实战------k-近邻算法

简单的约会网站匹配代码完成,所有的代码都可以在机器语言实战书中找到。代码看似简单实际深究还有很多需要细思的地方,我这里写的比较乱,而且细节理解不够,墙裂推荐@Tig_Free 大佬的文章,传送门:点我去参观代码,讲解清晰,适合入门菜鸡仔细品读。

2018.1.16修改

使用k-近邻算法识别手写数字

在KNN.py中加入函数,代码:

from os import listdir
def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3)
        print('the classifier came back with: %d, the real answer is: %d'\
              %(classifierResult,classNumStr))
        if (classifierResult != classNumStr):errorCount += 1.0
    print('\nthe total number of errors is: %d '%errorCount)
    print('\nthe total error rate is: %f '%(errorCount/float(mTest)))
jupyter中敲入代码测试:(记得reloadKNN模块)

KNN.handwritingClassTest()
机器学习实战------k-近邻算法
错误率比书上的结果还低一些。










相关标签: ml_in_action