Every morning, your toaster makes perfectly toasted bread adjusted to your preferences. But machines don't have to rely on previous data to make interesting insights. Although one could hardly call such

前面几篇文章介绍了无监督学习的聚类算法，无监督学习还有一个重要的作用就是给数据降维。 之前学习的好多方法，比如最近邻居法，K-聚类等都无法处理高纬度的数据。想象一下要对图片进行人脸识别，一张分辨率不高100x100像素的图片就有10000个维度, 一般的的机器学习方法是非常不好处理的。但是如果能将特征提取出来，比如眼镜，鼻子，嘴巴这些特征量找到，那将大大降低学习的难度。

上一篇文章介绍了无监督学习中最容易理解的经典算法K聚类。这个算法虽然简单但是有几个明显的缺点 1、首先要知道K的数值，也就是要确定有多少类 2、有时候可能只会得到局部最优(Local minimum)而得不到全局最优比如下图这种情况。 3、与K临近算法一样处理多维度问题的时候比较困难 4、缺少数学解释。

上一篇文章介绍了无监督学习中的几个重要的术语，后面的文章继续介绍无监督学习中的几个经典算法。 K聚类（K-Means） K聚类跟之前介绍的最近邻居法（K nearest Neighbours (KNN))非常相似。区别是最近邻居法的数据是已经标记过的并且K是指选择邻居的数量，而K聚类的数据是没有标记过的，K是指类的数量（就是有多少个类）。 算法也很简单，直接上动图 如上图，当K=3

前面用四篇文章介绍了机器学习中监督学习的几个经典算法。这篇文章将机器学习中的另一个大类无监督学习。 无监督学习实际上就是对没有标记的数据进行学习，从而能够找到一个函数，来描述数据的位置分布。也就是让机器自己“标记”数据。 密度估计（Density Estimation） 就是找到数据在任意位置的分布密度函数。而聚类(Clustering)和降维(Dimension Reduction)都是密度估计的两种方法。