我们知道『物以类聚，人以群分』，这里并不是分类问题，而是聚类问题。
两者主要区别在于，分类是将一组数据根据不同的类区分，已经知道有哪些类，也就是数据已经有了类的标签。而聚类是一种事先不知道有多少类，通过算法学习，分出来了一些类别。
分类跟聚类也分别是有监督学习和无监督学习的范畴。
k-means算法
k-means是聚类算法中最简单的，也是最常用的一种方法。
这里的
指的是初始规定要将数据集分成的类别，means是各类别数据的均值作为中心点。
算法步骤：
1.初始设置要分成的类别
，及随机选取数据集中
个点作为初始点
2.根据相似性度量函数将其他点与初始点做比较，离哪个值近就分到哪一个类
3.将分出来的
类求取平均值，作为新的中心点
4.重复步骤，直到中心点不变或者变化不大(即收敛)或者达到规定的迭代次数则停止
相似性度量有多种函数，一般使用欧式距离。相似性度量函数
补充：为什么会使用均值作为中心点的选择呢？
这主要是因为目标函数的设置决定的。我们使用误差平方和作为聚类的目标函数，即
。
这里的
表示
个类，
表示第
个中心，
，
是欧几里得距离。
对第
个中心
求解，最小化上述公式。对上述公式求导并令导数等于0，得到如下公式：
可以看到，每个簇中能够让目标函数达到最小的中心点就是这个簇的均值。
举例说明
下面以一个具体例子来说明k-means算法步骤。数据集如下。
因为是二维的，可以画下散点图看下。
直观来看，这个数据集是有两类的，也就是两个簇，一个是在右上角，一个是在左下角。可以使用算法看下是否符合预判。
Step1:
那我们可以设置
为2，初始中心值就选
。
Step2:
下面就是计算剩下的点到中心点的距离，使用欧氏距离。
比较之后，发现剩下的点到
距离更近，那现在有了两类：
Step3:
然后重新选择中心点，第一类只有一个值，则仍然为
。第二类按照5个点的均值作为中心点
： ((1+3+8+9+10)/5, (2+1+8+10+7)/5) = (6.2，5.6)。重新计算距离。
现在分成的两类为
Step4:
Step2和Step3中心点相差较大，重新选择中心点。
这次就是两个类中数据的均值作为新的中心点了。分别为
。
现在仍然是两类
继续下去，中心点不变，也就是达到收敛了。分成的两类就是上面两组，与散点图观察到的一致。
R语言实现
使用R语言自带的函数及可视化包。
数据及包的准备
# 载入数据
data("USArrests")
# 数据标准化
data
head(data)
# 可视化包
library(factoextra)
确定最佳聚类数，选择坡度不明显的点作为聚类数。
# 确定聚类数
fviz_nbclust(data, kmeans, method = "wss") + geom_vline(xintercept = 4, linetype = 2)
# 另一种方法
wss
for (i in 2:15)
wss[i]
plot(1:15, wss, type="b", xlab="Number of Clusters",ylab="Within groups sum of squares")
可以选择4个类别。下面进行聚类。
#利用k-mean是进行聚类
km
# 查看结果
print(km)
查看结果并分析数据：print(km)
K-means clustering with 4 clusters of sizes 13, 16, 8, 13
Cluster means:
Murder Assault UrbanPop Rape
1 0.6950701 1.0394414 0.7226370 1.27693964
2 -0.4894375 -0.3826001 0.5758298 -0.26165379
3 1.4118898 0.8743346 -0.8145211 0.01927104
4 -0.9615407 -1.1066010 -0.9301069 -0.96676331
Clustering vector:
Alabama Alaska Arizona Arkansas
3 1 1 3
California Colorado Connecticut Delaware
1 1 2 2
Florida Georgia Hawaii Idaho
1 3 2 4
Illinois Indiana Iowa Kansas
1 2 4 2
Kentucky Louisiana Maine Maryland
4 3 4 1
Massachusetts Michigan Minnesota Mississippi
2 1 4 3
Missouri Montana Nebraska Nevada
1 4 4 1
New Hampshire New Jersey New Mexico New York
4 2 1 1
North Carolina North Dakota Ohio Oklahoma
3 4 2 2
Oregon Pennsylvania Rhode Island South Carolina
2 2 2 3
South Dakota Tennessee Texas Utah
4 3 1 2
Vermont Virginia Washington West Virginia
4 2 2 4
Wisconsin Wyoming
4 2
Within cluster sum of squares by cluster:
[1] 19.922437 16.212213 8.316061 11.952463
(between_SS / total_SS = 71.2 %)
Available components:
[1] "cluster" "centers" "totss" "withinss"
[5] "tot.withinss" "betweenss" "size" "iter"
[9] "ifault"
第一行结果是4类，每个类别的数据个数。
下面是聚类的中心点。
然后是每个值所属哪个类别。
Within cluster sum of squares by cluster:是组间距离平方和。
聚类的目的是组内距离小，组间距离大。between_SS / total_SS就是组间距离占总距离的占比，越接近1越好。
聚类可视化
fviz_cluster(km, data = data,
palette = c("#2E9FDF", "#00AFBB", "#E7B800", "#FC4E07"),
ellipse.type = "euclid",
star.plot = TRUE,
repel = TRUE,
ggtheme = theme_minimal()
)
k-means不足
①需要确定分类数
，一般根据经验或者已经有预判，其次是根据上面的方法确定分类数量。
②初始值的选取会影响最终聚类效果，并且目标函数
可能会达到局部最优解。这个有相应的改进方法，包括k-means++和二分k-means。
③对于类似下面圆形的数据集，聚类效果很差，主要是算法原因。所以还有其他的聚类算法，比如基于密度的方法等。
不过k-means实现简单，易于理解，应用很广泛。
如果觉得《r语言kmodes_聚类分析——k-means算法及R语言实现》对你有帮助，请点赞、收藏，并留下你的观点哦！
