MapReduce實現基於物品的協同過濾： 實現過程中需要執行多個mapreduce任務。 初始數據： job1: 生成用戶對物品喜愛度矩陣 數據：初始數據 map: key=userid value=item:grade reduce: key=userid value=item:grade,it ...
MapReduce實現基於物品的協同過濾：
實現過程中需要執行多個mapreduce任務。
初始數據：
u1,i101,5.0 u1,i102,3.0 u1,i103,2.5 u2,i101,2.0 u2,i102,2.5 u2,i103,5.0 u2,i104,2.0 u3,i101,2.0 u3,i104,4.0 u3,i105,4.5 u3,i107,5.0 u4,i101,5.0 u4,i103,3.0 u4,i104,4.5 u4,i106,4.0 u5,i101,4.0 u5,i102,3.0 u5,i103,2.0 u5,i104,4.0 u5,i105,3.5 u5,i106,4.0
job1: 生成用戶對物品喜愛度矩陣
數據：初始數據
map:
key=userid
value=item:grade
reduce:
key=userid
value=item:grade,item:grade
結果:
u1 i101:5.0,i102:3.0,i103:2.5 u2 i101:2.0,i102:2.5,i103:5.0,i104:2.0 u3 i107:5.0,i105:4.5,i104:4.0,i101:2.0 u4 i106:4.0,i103:3.0,i101:5.0,i104:4.5 u5 i104:4.0,i105:3.5,i106:4.0,i101:4.0,i102:3.0,i103:2.0
job2: 生成物品與物品的同現矩陣
數據：job1的結果數據
map:
例，將i101 ,i102 ,i103 迴圈組合
key=item:item
value=1
reduce:
key=item:item
value=n
結果:
i101:i104 4 i101:i105 2 i101:i106 2 i101:i107 1 i102:i101 3 i102:i102 3 i102:i103 3 i102:i104 2 i102:i105 1 i102:i106 1 i103:i101 4 i103:i102 3 i103:i103 4 i103:i104 3 i103:i105 1 i103:i106 2 i104:i101 4 i104:i102 2 i104:i103 3 i104:i104 4 i104:i105 2 i104:i106 2 i104:i107 1 i105:i101 2 i105:i102 1 i105:i103 1 i105:i104 2 i105:i105 2 i105:i106 1 i105:i107 1 i106:i101 2 i106:i102 1 i106:i103 2 i106:i104 2 i106:i105 1 i106:i106 2 i107:i101 1 i107:i104 1 i107:i105 1 i107:i107 1
job3：將同現矩陣和用戶喜愛度矩陣進行相乘
數據：job1和job2的輸出數據
map:
區分不同的數據進行處理，根據文件目錄進行區分
FileSplit split = (FileSplit)context.getInputSplit();
dirName = split.getPath().getParent().getName();
job1的數據經過map處理：
i101 B:u1,5.0
i102 B:u1,3.0
i103 B:u1,2.5
job2的數據經過map處理：
i101 A:i101,5
key=item
value=B:u1,5.0或A:i101,5
reduce:
針對同一個item的數據，A的數據，分別和B的數據進行相乘
key=user
value=item,score
u2 i105,4.0
結果：
u2 i105,4.0
u1 i105,10.0
u4 i105,10.0
u3 i105,4.0
u5 i105,8.0
u2 i104,8.0
u1 i104,20.0
u4 i104,20.0
u3 i104,8.0
u5 i104,16.0
u2 i107,2.0
u1 i107,5.0
u4 i107,5.0
u3 i107,2.0
u5 i107,4.0
u2 i106,4.0
u1 i106,10.0
u4 i106,10.0
u3 i106,4.0
u5 i106,8.0
u2 i101,10.0
u1 i101,25.0
u4 i101,25.0
u3 i101,10.0
u5 i101,20.0
u2 i103,8.0
u1 i103,20.0
u4 i103,20.0
u3 i103,8.0
u5 i103,16.0
u2 i102,6.0
u1 i102,15.0
u4 i102,15.0
u3 i102,6.0
u5 i102,12.0
u2 i105,2.5
u1 i105,3.0
u5 i105,3.0
u2 i104,5.0
u1 i104,6.0
u5 i104,6.0
u2 i106,2.5
u1 i106,3.0
u5 i106,3.0
u2 i101,7.5
u1 i101,9.0
u5 i101,9.0
u2 i103,7.5
u1 i103,9.0
u5 i103,9.0
u2 i102,7.5
u1 i102,9.0
u5 i102,9.0
u2 i105,5.0
u1 i105,2.5
u4 i105,3.0
u5 i105,2.0
u2 i104,15.0
u1 i104,7.5
u4 i104,9.0
u5 i104,6.0
u2 i106,10.0
u1 i106,5.0
u4 i106,6.0
u5 i106,4.0
u2 i101,20.0
u1 i101,10.0
u4 i101,12.0
u5 i101,8.0
u2 i103,20.0
u1 i103,10.0
u4 i103,12.0
u5 i103,8.0
u2 i102,15.0
u1 i102,7.5
u4 i102,9.0
u5 i102,6.0
u2 i105,4.0
u4 i105,9.0
u3 i105,8.0
u5 i105,8.0
u2 i104,8.0
u4 i104,18.0
u3 i104,16.0
u5 i104,16.0
u2 i107,2.0
u4 i107,4.5
u3 i107,4.0
u5 i107,4.0
u2 i106,4.0
u4 i106,9.0
u3 i106,8.0
u5 i106,8.0
u2 i101,8.0
u4 i101,18.0
u3 i101,16.0
u5 i101,16.0
u2 i103,6.0
u4 i103,13.5
u3 i103,12.0
u5 i103,12.0
u2 i102,4.0
u4 i102,9.0
u3 i102,8.0
u5 i102,8.0
u3 i105,9.0
u5 i105,7.0
u3 i104,9.0
u5 i104,7.0
u3 i107,4.5
u5 i107,3.5
u3 i106,4.5
u5 i106,3.5
u3 i101,9.0
u5 i101,7.0
u3 i103,4.5
u5 i103,3.5
u3 i102,4.5
u5 i102,3.5
u4 i105,4.0
u5 i105,4.0
u4 i104,8.0
u5 i104,8.0
u4 i106,8.0
u5 i106,8.0
u4 i101,8.0
u5 i101,8.0
u4 i103,8.0
u5 i103,8.0
u4 i102,4.0
u5 i102,4.0
u3 i105,5.0
u3 i104,5.0
u3 i107,5.0
u3 i101,5.0
Job4: 矩陣乘法求和
map:
不做特殊處理
key:user
value:item,score
reduce:
將相同的user及item的score的值進行相加。
key:user
value:item,score
結果:
u1 i105:15.5 u1 i104:33.5 u1 i107:5.0 u1 i106:18.0 u1 i101:44.0 u1 i103:39.0 u1 i102:31.5 u2 i105:15.5 u2 i104:36.0 u2 i107:4.0 u2 i106:20.5 u2 i101:45.5 u2 i103:41.5 u2 i102:32.5 u3 i105:26.0 u3 i104:38.0 u3 i107:15.5 u3 i106:16.5 u3 i101:40.0 u3 i103:24.5 u3 i102:18.5 u4 i105:26.0 u4 i104:55.0 u4 i107:9.5 u4 i106:33.0 u4 i101:63.0 u4 i103:53.5 u4 i102:37.0 u5 i105:32.0 u5 i104:59.0 u5 i107:11.5 u5 i106:34.5 u5 i101:68.0 u5 i103:56.5 u5 i102:42.5
此結果為用戶對各個物品的喜愛度。
