val rdd3 = sc.parallelize(List("12","23","345","4567"),2) rdd3.aggregate("")((x,y) => math.max(x.length, y.length).toString, (x,y) => x + y) 兩個分區先計算出字 ...
val rdd3 = sc.parallelize(List("12","23","345","4567"),2)
rdd3.aggregate("")((x,y) => math.max(x.length, y.length).toString, (x,y) => x + y)
兩個分區先計算出字元串的最大長度,然後合成字元串
結果可能是:”24”,也可能是:”42”,體現了並行化特點。
val rdd4 = sc.parallelize(List("12","23","345",""),2)
rdd4.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)
結果是:”10”,也可能是”01”,
原因:註意有個初始值””,其長度0,然後0.toString變成字元串。值"0".toString的長度為0,"0".toString.length的長度為1 。分區可能為(“12”,“23”)和(“345”,“”);初始值為"",然後初始值和“12”,“34”比較,或者是""和“345”比較,然後和“”比較。
math.min("".length, "12".length ) 的結果是:0 , math.min("0".length, "23".length ) 的結果是1
math.min("".length, "345".length) 的結果是:0 , math.min("0".length, "".length) 的結果是:0
val rdd5 = sc.parallelize(List("12","23","","345"),2)
rdd5.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)
結果是:”11”,原因如下:
math.min("".length, "12".length ) 的結果是:0 , math.min("0".length, "23".length ) 的結果是:1
math.min("".length, "".length) 的結果是:0 , math.min("0".length, "345".length) 的結果是:1
註意:值"0".toString的長度為0,"0".toString.length的長度為1