kmeans mapreduce 代码_MapReduce统计样例代码

基于MapReduce的Kmeans聚类算法实现，通过分布式计算框架处理大规模数据集。代码示例展示了如何使用MapReduce进行数据分片、并行计算和结果汇总，以优化Kmeans算法的执行效率和扩展性。

Kmeans算法是一种常用的聚类分析方法，它可以将数据集划分为K个簇，在MapReduce框架下实现Kmeans算法，可以将计算过程分为两个阶段：Map阶段和Reduce阶段。

Map阶段

Map阶段的输入是原始数据点，输出是每个数据点到各个质心的距离以及对应的质心索引，具体步骤如下：

1、读取数据点，假设数据点为(x, y)，其中x和y分别表示点的横纵坐标。

2、对于每个数据点，计算其到所有质心的距离，得到一个距离列表。

3、找到距离最小的质心，记录该质心的索引。

4、输出数据点及其对应的最小距离质心索引。

def map_function(data_point):
    min_distance = float('inf')
    closest_centroid_index = 1
    for i, centroid in enumerate(centroids):
        distance = calculate_distance(data_point, centroid)
        if distance < min_distance:
            min_distance = distance
            closest_centroid_index = i
    emit(closest_centroid_index, data_point)

Reduce阶段

Reduce阶段的输入是Map阶段的输出，即每个质心索引及其对应的数据点集合，输出是更新后的质心位置，具体步骤如下：

1、对于每个质心索引，收集所有对应的数据点。

2、计算这些数据点的均值，作为新的质心位置。

3、输出质心索引及其对应的新质心位置。

def reduce_function(centroid_index, data_points):
    new_centroid = calculate_new_centroid(data_points)
    emit(centroid_index, new_centroid)

完整代码示例

from mrjob.job import MRJob
from mrjob.step import MRStep
import math
class KMeansMRJob(MRJob):
    def steps(self):
        return [
            MRStep(mapper=self.map_cluster,
                   reducer=self.reduce_centroid),
            MRStep(mapper=self.map_cluster,
                   reducer=self.reduce_centroid)
        ]
    def map_cluster(self, _, line):
        # 假设输入数据格式为 "x,y"
        x, y = map(float, line.split(','))
        point = (x, y)
        min_distance = float('inf')
        closest_centroid_index = 1
        for i, centroid in enumerate(centroids):
            distance = self.calculate_distance(point, centroid)
            if distance < min_distance:
                min_distance = distance
                closest_centroid_index = i
        yield closest_centroid_index, point
    def reduce_centroid(self, centroid_index, points):
        new_centroid = self.calculate_new_centroid(points)
        yield centroid_index, new_centroid
    def calculate_distance(self, point1, point2):
        return math.sqrt((point1[0] point2[0])2 + (point1[1] point2[1])2)
    def calculate_new_centroid(self, points):
        sum_x = sum(p[0] for p in points)
        sum_y = sum(p[1] for p in points)
        count = len(points)
        return (sum_x / count, sum_y / count)
if __name__ == '__main__':
    KMeansMRJob.run()

注意：在实际运行中，需要提前定义好质心列表centroids，并在每次迭代后更新这个列表，为了简化示例，这里没有考虑收敛条件和迭代次数的限制。