Spark初步-從wordcount開始

spark中自帶的example，有一個wordcount例子，我們逐步分析wordcount代碼，開始我們的spark之旅。

準備工作

把README.md文件複製到當前的文件目錄，啟動jupyter，編寫我們的代碼。

README.md文件在Spark的根目錄下。

from pyspark.sql import SparkSession
from operator import add

# 初始化spark實例，並把應用命名為wordcount
spark = SparkSession.builder.appName("WordCount").getOrCreate()

# 從文件讀取內容
# 此時data為dataframe格式，每一行為文件中的一行
data = spark.read.text("README.md")

# 查看第一行數據
f = data.first()
f

Row(value='# Apache Spark')

# 查看前5行數據
data.take(5)

[Row(value='# Apache Spark'),
 Row(value=''),
 Row(value='Spark is a fast and general cluster computing system for Big Data. It provides'),
 Row(value='high-level APIs in Scala, Java, Python, and R, and an optimized engine that'),
 Row(value='supports general computation graphs for data analysis. It also supports a')]

# 把數據轉換為rdd格式，並取出值
data2 = data.rdd.map(lambda x: x[0])
# 查看第一行數據，可以看到數據為string格式
data2.first()

'# Apache Spark'

# 對於每行按照空格來分割，並把結果拉平
data3 = data2.flatMap(lambda x: x.split(' '))
# 查看前5個數據，可以看到已經分割為單個詞了
data3.take(5)

['#', 'Apache', 'Spark', '', 'Spark']

# 為每個單詞標記次數1
data4 = data3.map(lambda x: (x,1))
# 結果為turple類型，前面是key，後面的數字為單詞的次數
data4.take(5)

[('#', 1), ('Apache', 1), ('Spark', 1), ('', 1), ('Spark', 1)]

# 彙總統計每個單詞出現的次數
data5 = data4.reduceByKey(add)
# 結果為turple類型，數字為單詞的出現次數
data5.take(10)

[('#', 1),
 ('Apache', 1),
 ('Spark', 16),
 ('', 71),
 ('is', 6),
 ('a', 8),
 ('fast', 1),
 ('and', 9),
 ('general', 3),
 ('cluster', 2)]

# 按照出現次數多少來排序
res = data5.sortBy(lambda x: x[1], ascending=False).collect()
res[:5]

[('', 71), ('the', 24), ('to', 17), ('Spark', 16), ('for', 12)]

完整代碼

from pyspark.sql import SparkSession
from operator import add

spark = SparkSession.builder.appName("WordCount").getOrCreate()
data = spark.read.text("README.md")

data1 = data.rdd.map(lambda x: x[0])

data2 = data1.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)).reduceByKey(add)

res = data2.sortBy(lambda x: x[1], ascending=False).collect()

print(res[:10])

[('', 71), ('the', 24), ('to', 17), ('Spark', 16), ('for', 12), ('and', 9), ('##', 9), ('a', 8), ('can', 7), ('on', 7)]