• 概要
• Spark 單機環境配置
  • JDK 環境配置
  • Spark 環境配置
  • python 環境配置
• Spark 使用示例
  • 示例代碼 (order_stat.py)
  • 測試用的 csv 文件內容 (orders.csv)
  • 運行結果

概要

大數據和人工智慧已經宣傳了好多年, Hadoop 和 Spark 也已經發佈了很長時間, 一直想試試, 但是工作也遇不到使用的場景, 就一直拖著. 這次在極客時間上選了蔡元楠老師的《大規模數據處理實戰》的課. 其中介紹了很多 Spark 的內容, 就此機會, 也在虛擬機中配置了 Spark 的單機環境.

一方面, 熟悉熟悉 Spark 的用法; 另一方面, 雖然還沒有接觸到大數據分析的場景, 但是即使是瞭解瞭解 Spark 中處理大數據的機制, API 的設計, 也可以開拓平時編程的思路.

Spark 單機環境配置

我是 Debian10 上配置的.

JDK 環境配置

JDK 使用的是 Oracle 的標準 JDK1.8 版本, 國內從 Oracle 官網上下載 JDK 非常慢, 推薦使用華為的 mirror: https://mirrors.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz

下載後, 我是將其解壓到 /usr/local 文件夾

$ wget https://mirrors.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz 
$ sudo tar zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local 

然後配置環境變數, 如果是 bash, 則配置 ~/.bashrc; 如果是 zsh, 則配置 ~/.zshenv

# java
export JAVA_HOME=/usr/local/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

配置好之後, 通過如下命令檢查是否安裝配置成功:

$ java -version
java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

Spark 環境配置

Spark 安裝也非常簡單, 從官網上下載最新的 packagea, 我下載的最新版本如下:

$ wget http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz
$ sudo tar zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /usr/local

下載後同樣, 也解壓到 /usr/local 文件夾

Spark 也需要配置相應的環境變數: (同配置 JDK 一樣, 根據你使用的是 bash 還是 zsh, 配置環境變數到不同的文件中)

# spark
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

配置完成後, 在命令行輸入如下命令看看是否能成功運行:

$ pyspark
Python 2.7.16 (default, Oct 10 2019, 22:02:15)
[GCC 8.3.0] on linux2
Type "help", "copyright", "credits" or "license" for more information.
20/03/02 15:21:23 WARN Utils: Your hostname, debian-wyb resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3)
20/03/02 15:21:23 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
20/03/02 15:21:23 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
/usr/local/spark/python/pyspark/context.py:219: DeprecationWarning: Support for Python 2 and Python 3 prior to version 3.6 is deprecated as of Spark 3.0. See also the plan for dropping Python 2 support at https://spark.apache.org/news/plan-for-dropping-python-2-support.html.
  DeprecationWarning)
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.0.0-preview2
      /_/

Using Python version 2.7.16 (default, Oct 10 2019 22:02:15)
SparkSession available as 'spark'.

註 這裡的 pyspark 使用的 2.x 版本的 python, 後續我們配置了 python 環境之後, 會在 python3 下開發

python 環境配置

Debian10 系統中自帶了 python2 和 python3 的環境, 為了不影響現有系統的預設環境, 我們安裝 virtualenv 來使用 spark

首先, 安裝 virtualenv, 並生成一個獨立的 python3 環境

$ pip3 install virtualenv
$ virtualenv py3-vm

啟動 py3-vm, 併在其中安裝 pyspark, 開發 spark 的示例

$ source ./py3-vm/bin/activate
$ pip install pyspark
$ pip install findspark

退出上面的 py3-vm, 使用如下命令:

$ deactive

Spark 使用示例

上述環境都配置之後, 下麵用一個簡單的例子來嘗試 spark 的 API 強大之處. 我們構造一個訂單統計的例子:

1. 數據源: csv 格式的訂單文件, 每行 3 個信息, 訂單號(不重覆), 店鋪名稱, 訂單金額
2. 訂單數統計: 按照店鋪統計訂單數
3. 訂單金額統計: 按照店鋪統計訂單金額

示例代碼 (order_stat.py)

 1  import findspark
 2  
 3  findspark.init()
 4  
 5  if __name__ == "__main__":
 6      from pyspark.sql import SparkSession
 7      from pyspark.sql.functions import *
 8  
 9      spark = SparkSession\
10          .builder\
11          .appName('order stat')\
12          .getOrCreate()
13  
14      lines = spark.read.csv("./orders.csv",
15                             sep=",",
16                             schema="order INT, shop STRING, price DOUBLE")
17  
18      # 統計各個店鋪的訂單數
19      orderCounts = lines.groupBy('shop').count()
20      orderCounts.show()
21  
22      # 統計各個店鋪的訂單金額
23      shopPrices = lines.groupBy('shop').sum('price')
24      shopPrices.show()
25  
26      spark.stop()

測試用的 csv 文件內容 (orders.csv)

1,京東,10.0
2,京東,20.0
3,天貓,21.0
4,京東,22.0
5,天貓,11.0
6,京東,22.0
7,天貓,23.0
8,天貓,24.0
9,天貓,40.0
10,天貓,70.0
11,天貓,10.0
12,天貓,20.0

運行結果

$ python order_stat.py
20/03/02 17:40:50 WARN Utils: Your hostname, debian-wyb resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3)
20/03/02 17:40:50 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
20/03/02 17:40:50 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
+----|-----+
|shop|count|
+----|-----+
|京東|    4|
|天貓|    8|
+----|-----+

+----|----------+
|shop|sum(price)|
+----|----------+
|京東|      74.0|
|天貓|     219.0|
+----|----------+