按给定的 keyfunc 排序此 RDD - Python

在大规模数据处理中，排序往往是必不可少的操作。在 PySpark 中，可以使用 sortBy 方法来对 RDD 进行排序操作。

语法

RDD.sortBy(keyfunc, ascending=True, numPartitions=None, keyfunc2=None)

参数说明：

• keyfunc：排序用的键函数，可以是任何可调用对象。如果 RDD 中的每个元素都是 Python 元组，则可以直接使用元组索引作为键函数。例如，对于元组 (a, b)，可以使用 lambda x: x[0] 或 lambda x: x[1] 作为键函数来按照 a 或 b 排序。
• ascending：是否为升序排序，默认为 True。
• numPartitions：指定分区数，默认为 None，表示使用当前 RDD 的分区数。
• keyfunc2：仅在 keyfunc 返回多个键时使用。可以用于对第二个键进行排序。

示例

假设有一个包含成绩的 RDD，格式如下：

grades = sc.parallelize([('Alice', 87), ('Bob', 72), ('Charlie', 93), ('Dave', 69)])

现在我们要按照成绩进行排序，可以使用以下代码：

sorted_grades = grades.sortBy(lambda x: x[1], ascending=False)

这里的键函数 lambda x: x[1] 返回每个元素的第二个元素，即成绩。ascending=False 表示按照降序排序。最终得到的 sorted_grades 如下：

[('Charlie', 93), ('Alice', 87), ('Bob', 72), ('Dave', 69)]

总结

sortBy 方法是一个非常方便、强大的排序工具。通过指定键函数，我们可以排序任意类型的数据，并可以控制排序的方向、分区数等参数。