MapReduce的輸入文件是兩個

来源:https://www.cnblogs.com/haima1949/archive/2019/09/02/11448100.html
-Advertisement-
Play Games

[學習筆記] 1.對於MapReduce程式,如何輸入文件是兩個文件? 這一小節,我們將繼續第一章大數據入門的HelloWorld例子做進一步的研究。這裡,我們研究如何輸入文件是兩個文件。package com;import java.io.IOException;import java.util. ...


[學習筆記]

1.對於MapReduce程式,如何輸入文件是兩個文件? 
這一小節,我們將繼續第一章大數據入門的HelloWorld例子做進一步的研究。這裡,我們研究如何輸入文件是兩個文件。
package com;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCountMark_to_win {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            System.out.println("key is 馬克-to-win @ 馬克java社區:防盜版實名手機尾號:73203"+key.toString()+" value is "+value.toString());
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

 文章轉載自原文:https://blog.csdn.net/qq_44594249/article/details/96112498


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Vim 常用的命令 游標定位; hjkl 上下左右移動 0 $ 跳到行首或行尾 gg shift+G 跳到整個文件的開頭行或者結尾行 1G ,2G,3G........NG ,跳到第1.2.3 N 行開頭 /String(n N 可以迴圈的 上一個下一個切換) 快速定位到某個有String 的 行, ...
  • 1. 操作資料庫 C(Create 創建) R(Retrieve 查詢) U(Update 更新) D(Delete 刪除) (1) 查詢資料庫 1) 查詢所有資料庫名稱 這裡有一個註意的東西,一個Database對應數據目錄中的一個實體文件夾,但是 information_schema 這個資料庫 ...
  • Rewrite基本概述 什麼是rewrite Rewrite主要實現url地址重寫,以及重定向,就是把傳入 的請求重定向到其他 的過程。 rewrite使用場景 1、地址跳轉,用戶訪問www.drz.com這個URL是,將其定向至一個新的功能變數名稱mobile.drz.com 2、協議跳轉,用戶通過htt ...
  • Redis簡介 Redis安裝 Redis配置文件 Redis常用命令 ...
  • 分散式文件系統 系統是構建在普通的、廉價的機器上,因此故障是常態而不是意外 系統希望存儲的是大量的大型文件(單個文件size很大) 系統支持兩種類型讀操作:大量的順序讀取以及小規模的隨機讀取(large streaming reads and small random reads.) 系統的寫操作主 ...
  • nginx——keepalived 1.keepalived高可用基本概述 什麼是高可用 一般是指2台機器啟動著完全相同的業務系統,當有一臺機器down機了,另外一臺伺服器就能快速的接管,對於訪問的用戶是無感知的。 高可用通常使用什麼軟體 硬體使用F5 軟體使用keepalived keepalil ...
  • 一、ssh免密登錄 1.命令ssh-keygen、 overwrite輸入y一路回車 2.將生成的密鑰發送到本機 ssh-copy-id localhost中間會詢問是否繼續輸入“yes” 3.測試免密登錄是否成功 ssh localhost 二、Java配置 新建一個文件夾存放java和hadoo ...
  • 後補 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...