基于聚类算法总结

基于聚类算法总结 第一篇

层次聚类是一种常用的聚类方法，它通过构建数据点之间的层次结构来进行聚类。层次聚类不需要预先指定簇的数量，并且结果可以表示为树状图（称为树状图或层次树），提供了数据点之间关系的丰富视图。

类型

算法步骤（以凝聚型为例）

距离公式

层次聚类中，簇之间的相似性通常用距离来衡量，常用的距离度量有：

其中 和 是不同的簇， 是簇内点 和 之间的距离。

Python 实现

接下来，使用 Python 的 scipy 库来实现层次聚类，并使用 matplotlib 库绘制树状图。我们将使用相同的模拟数据来展示层次聚类的结果。

上图展示了层次聚类的树状图，也称为树状图。在这个图中：

通过这个树状图，我们可以观察数据的层次聚类结构，并根据需要选择适当的截断点来确定簇的数量。例如，通过在不同的高度水平切割树状图，可以得到不同数量的簇。

层次聚类特别适用于那些簇的数量不明确或数据具有自然层次结构的场景。与 K-means 等算法相比，它不需要预先指定簇的数量，但计算复杂度通常更高。

基于聚类算法总结 第二篇

Mean Shift 算法是一种基于密度的非参数聚类算法。其核心思想是通过迭代过程寻找数据点密度的峰值。这个算法不需要预先指定簇的数量，它通过数据本身的分布特性来确定簇的数量。

算法概述

相关公式

假设 是数据点，核函数 通常是一个高斯核，带宽为 ，则 mean shift 向量为：

其中， 是在 点周围带宽内的邻近点集合。

Python 实现

以下是 Mean Shift 算法的一个基本 Python 实现，使用了 scikit-learn 库：

这段代码首先生成一些样本数据，然后应用 Mean Shift 算法对数据进行聚类，并将结果可视化。每个聚类的中心用红色的 'x' 标记。

基于聚类算法总结 第三篇

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法，特别适用于具有噪声的数据集和能够发现任意形状簇的情况。它不需要事先指定簇的数量，能有效处理异常点。

核心概念

算法步骤

DBSCAN 的参数

Python 实现

下面，使用 Python 的 sklearn 库中的 DBSCAN 类来实现 DBSCAN 算法。

上图展示了使用 DBSCAN 算法对模拟数据进行的聚类结果。在这个图中，不同颜色的点表示不同的簇，而相同颜色的点属于同一个簇。

在 DBSCAN 算法中，我设置了邻域大小（eps=）和最小点数（min_samples=五）。算法能够识别出密度不同的簇，并且有效地区分出噪声点（通常用特殊颜色或标记表示，但在此图中未显示）。

DBSCAN 的优势在于它不需要事先指定簇的数量，可以识别任意形状的簇，并且对噪声数据具有良好的鲁棒性。然而，选择合适的 eps 和 min_samples 参数对于获得好的聚类结果至关重要。

基于聚类算法总结 第四篇

K-means 是一种广泛使用的聚类算法，它的目标是将数据点分组到 K 个簇中，以使簇内的点尽可能相似，而簇间的点尽可能不同。它的核心思想是通过迭代优化簇中心的位置，以最小化簇内的平方误差总和。

算法步骤

目标函数

K-means 试图最小化簇内误差平方和，其公式为：

其中， 是簇 的中心， 是簇 内的点， 是点 到簇中心 的欧几里得距离。

Python 实现

接下来，使用 Python 的 sklearn 库来实现 K-means 算法。

首先，生成一些随机数据进行演示，然后应用 K-means 算法，并展示结果。

上图展示了使用 K-means 算法对模拟数据进行聚类的结果。图中的彩色点表示数据点，它们根据所属的簇被着色。红色的大点表示每个簇的中心。

在这个示例中，我们设定了四个簇（n_clusters=四），K-means 算法成功地将数据点分配到了这四个簇中，并计算出了每个簇的中心。

K-means 算法简单高效，广泛应用于各种场景，特别是在需要快速、初步的数据分组时。然而，它也有局限性，比如对初始簇中心的选择敏感，可能会陷入局部最优，且假设簇是凸形的，对于复杂形状的数据可能不适用。

基于聚类算法总结 第五篇

谱聚类是一种基于图论的聚类方法，特别适用于发现复杂形状的簇和非球形簇。与传统的聚类算法（如K-means）不同，谱聚类依赖于数据的相似性矩阵，并利用数据的谱（即特征向量）来进行降维，进而在低维空间中应用如K-means的聚类方法。

算法步骤

相关公式

Python 实现

下面，使用 Python 的 sklearn 库中的 SpectralClustering 类来实现谱聚类。

上图展示了使用谱聚类算法对模拟数据进行的聚类结果。在这个图中，不同颜色的点表示不同的簇，而相同颜色的点属于同一个簇。

在这个示例中，谱聚类被设置为将数据分成四个簇（n_clusters=四），并使用最近邻方法（affinity='nearest_neighbors'）来构建相似性矩阵。然而，警告信息表明，生成的图可能不是完全连接的，这可能影响聚类结果。

谱聚类的一个关键优势是能够发现任意形状的簇，这使得它特别适用于那些传统聚类算法（如K-means）难以处理的数据集。不过，选择合适的相似性度量和参数对于获得好的聚类结果至关重要。此外，谱聚类的计算复杂度比一些其他聚类算法高，特别是在处理大型数据集时。

深夜努力写PythonPython、机器学习算法公众号

基于聚类算法总结 第六篇

BIRCH（平衡迭代式规约和聚类使用层次方法）是一种用于大数据集的聚类算法，特别适用于具有噪声的大规模数据集。BIRCH算法的核心思想是通过构建一个名为CF Tree（聚类特征树）的内存中的数据结构来压缩数据，该数据结构以一种方式保存数据，使得聚类可以高效地进行。

关键概念

算法步骤

相关公式

聚类特征（CF）的计算公式：

Python代码

接下来，使用Python演示BIRCH算法的基本使用，并生成相关的图形。我们将使用scikit-learn库中的BIRCH实现。

上图展示了使用BIRCH算法对模拟数据进行聚类的结果。在这个例子中，我们生成了一零零零个数据点，分布在四个中心点周围。使用BIRCH算法，我们能够有效地将这些点分成四个不同的聚类，如不同颜色所示。

在实际应用中，BIRCH算法特别适合于处理大规模数据集，并且当数据集中存在噪声时，它通常也能表现良好。通过调整算法参数，例如树的深度和分支因子，可以优化聚类的性能和准确性。

基于聚类算法总结 第七篇

OPTICS（Ordering Points To Identify the Clustering Structure）算法是一种用于数据聚类的算法，与DBSCAN算法类似，但在处理可变密度的数据集时更为有效。其核心思想是通过分析数据点的密度-可达性来识别聚类结构。

简单关于

相关公式

Python代码

下面的Python代码示例使用sklearn库中的OPTICS类来实现OPTICS算法，并展示结果：

在这个代码中，我们首先生成了一些随机数据点，然后使用OPTICS算法对其进行聚类，并使用matplotlib库来可视化结果。这个示例生成了一个可达性图，其中每个点的可达性距离都被绘制出来，以揭示数据中的聚类结构。

基于聚类算法总结 第八篇

(n_clusters=八)

参数:n_clusters:开始的聚类中心数量整型，缺省值=八，生成的聚类数，即产生的质心（centroids）数。

方法:(x)

        (x)

        (x)  把训练和预测合并到一起

计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)

基本聚类算法：

基于聚类算法总结 第九篇

kmeans++目的，让选择的质心尽可能的分散

如下图中，如果第一个质心选择在圆心，那么最优可能选择到的下一个点在P(A)这个区域（根据颜色进行划分）

一.所有点作为一个簇

二.将该簇一分为二

三.选择能最大限度降低聚类代价函数（也就是误差平方和）的簇划分为两个簇。

四.以此进行下去，直到簇的数目等于用户给定的数目k为止。

K-medoids和K-means是有区别的，不一样的地方在于中心点的选取

K-means中，将中心点取为当前cluster中所有数据点的平均值，对异常点很敏感!

K-medoids中，将从当前cluster 中选取到其他所有（当前cluster中的）点的距离之和最小的点作为中心点。 

算法流程：

( 一 )总体n个样本点中任意选取k个点作为medoids

( 二 )按照与medoids最近的原则，将剩余的n-k个点分配到当前最佳的medoids代表的类中

( 三 )对于第i个类中除对应medoids点外的所有其他点，按顺序计算当其为新的medoids时，代价函数的值，遍历所有可能，选取代价函数最小时对应的点作为新的medoids

( 四 )重复二-三的过程，直到所有的medoids点不再发生变化或已达到设定的最大迭代次数

( 五 )产出最终确定的k个类

基于聚类算法总结 第一零篇

K-medoids 用于将数据集中的数据点分成多个簇。这种算法与著名的 K-means 算法相似，但主要区别在于 K-medoids 选择数据点中的实际点作为簇的中心，而 K-means 则使用簇内数据点的均值。

算法简介

算法公式

K-medoids 算法的目标是最小化簇内点到其簇中心的距离之和。对于给定的簇 ，其中心 由以下公式确定：

其中 表示点 和 之间的距离。

Python 代码

随机生成一些数据点，然后应用一个简单的 K-medoids 算法来聚类这些点，并展示结果。

我已经应用了一个简化版的 K-medoids 算法来进行聚类，并生成了一个可视化图像。在这个图中，不同颜色的点代表不同的簇，而红色的“X”标记表示每个簇的中心点（即medoids）。这个图形展示了如何将数据点根据它们与中心点的距离分配到不同的簇中。

基于聚类算法总结 第一一篇

模糊 C-means（FCM）算法允许一个数据点属于多个聚类中心。与传统的K-means聚类算法不同，模糊C-means通过为每个数据点分配一个属于各个聚类中心的隶属度，来表示其属于不同聚类的程度。这种方法特别适用于那些不清晰或重叠的数据集。

基本步骤

算法公式

Python代码

以下是使用Python实现模糊C-means算法的一个简单示例：

这段代码首先生成一些模拟数据，然后使用模糊C-means算法进行聚类，并最后显示聚类结果。在实际应用中，可能需要根据具体的数据集调整参数，如聚类的数目、模糊