失眠网 > 【Spark机器学习速成宝典】模型篇01支持向量机【SVM】（Python版）

【Spark机器学习速成宝典】模型篇01支持向量机【SVM】（Python版）

时间：2024-05-16 12:57:23

# -*-coding=utf-8 -*- from pyspark import SparkConf, SparkContextsc = SparkContext('local')from pyspark.mllib.classification import SVMWithSGD, SVMModelfrom pyspark.mllib.regression import LabeledPoint# Load and parse the data 加载和解析数据，将每一个数转化为浮点数。每一行第一个数作为标记，后面的作为特征def parsePoint(line):values = [float(x) for x in line.split(' ')]return LabeledPoint(values[0], values[1:])data = sc.textFile("data/mllib/sample_svm_data.txt")print data.collect()[0] #1 0 2.5207844748 0 0 0 2.004684436494304 2.00034729926846.....parsedData = data.map(parsePoint) print parsedData.collect()[0] #(1.0,[0.0,2.52078447202,0.0,0.0,0.0,2.00468....# Build the model 建立模型model = SVMWithSGD.train(parsedData, iterations=100)# Evaluating the model on training data 评估模型在训练集上的误差labelsAndPreds = parsedData.map(lambda p: (p.label, model.predict(p.features)))trainErr = labelsAndPreds.filter(lambda lp: lp[0] != lp[1]).count() / float(parsedData.count())print("Training Error = " + str(trainErr))# Save and load model 保存模型和加载模型model.save(sc, "pythonSVMWithSGDModel")sameModel = SVMModel.load(sc, "pythonSVMWithSGDModel")print sameModel.predict(parsedData.collect()[0].features) #1

返回目录

如果觉得《【Spark机器学习速成宝典】模型篇01支持向量机【SVM】（Python版）》对你有帮助，请点赞、收藏，并留下你的观点哦！

本内容不代表本网观点和政治立场，如有侵犯你的权益请联系我们处理。

网友评论

网友评论仅供其表达个人看法，并不表明网站立场。