hadoop wordcout測試

来源:https://www.cnblogs.com/tuozizhang/archive/2019/01/13/10261735.html
-Advertisement-
Play Games

hadoop wordcout測試 安裝好hadoop 環境後,啟動HDFS等服務;輸密碼 1004 start-all.sh 查看啟動情況 1006 jps 1007 cd ~ 切換到用戶預設目錄 創建數據文件data.txt,輸送值 hello beijing hello China 1028 ...


hadoop wordcout測試

安裝好hadoop 環境後,啟動HDFS等服務;輸密碼
1004 start-all.sh
查看啟動情況
1006 jps

1007 cd ~ 切換到用戶預設目錄 

創建數據文件data.txt,輸送值 hello beijing hello China 
1028 vi data.txt

切到hadoop-2.4.1
1032 cd /usr/local/bin/hadoop-2.4.1/

在hdfs文件系統中新建data文件夾,用來放輸入及輸出的文件;

hdfs dfs -p /data/

將data.txt文件上傳到/data中為輸入文件
1039 hdfs dfs -put ~/data.txt /data

查看上傳到hdfs文件系統中的data.txt文件
1040 hdfs dfs -ls /
1041 hdfs dfs -ls /data

 

cd /usr/local/bin/hadoop-2.4.1/share/...hadoop-mapreduce-examples-2.4.1.jar文件所在目錄。

執行WORDCOUT命令,以下 /data/data.txt  為hdfs系統的輸入文件,/data/ouput為計算結果文件。
1071 hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /data/data.txt /data/ouput
當map 及preduce都100%計算完成時,查看計算結果
1082 hdfs dfs -ls /data/ouput
1083 hdfs dfs -cat /data/ouput/part-r-00000


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 內容來自:https://codereview.stackexchange.com/questions/20871/single-instance-wpf-application 第一步:添加System.RunTime.Remoting引用 第二步:新建一個類class1.cs(按自己想法命名) ...
  • 我們經常花費大量的時間來進行使用瀏覽器搜索網頁,如何進行高效的搜索,需要掌握一些快捷鍵: 使用這些快捷鍵可以,讓游標快速定位到地址欄進行使用預設引擎搜索! 資源來源自網路,保持更新,轉載請註明出處。 ...
  • 今天維護系統時發現一個非常詭異的問題:AAA用戶和BBB用戶同屬AAA組,但用AAA用戶創建的文件,許可權設置為777後,還是不能用BBB用戶刪除。詭異! 幾經周轉,發現AAA用戶創建文件位置的上層目錄的許可權是drwxrwxrwt,做開發這麼多年了,還沒見過所謂"t"的許可權,於是找了一位公司的linu ...
  • cobbler網路裝機 原理分析 cobbler簡介 Cobbler通過將設置和管理一個安裝伺服器所涉及的任務集中在一起,從而簡化了系統配置。相當於Cobbler封裝了DHCP、TFTP、XINTED等服務,結合了PXE、kickstart等安裝方法,可以實現自動化安裝操作系統,並且可以同時提供多種 ...
  • 有時我們在安裝系統後,發現沒有安裝當前系統的內核源碼在/usr/src/kernels目錄下,其實我們是少安裝了一個rpm包; 當你配置好yum源後: 更多源碼網址:https://mirrors.tuna.tsinghua.edu.cn/kernel/ 保持更新,轉載請註明出處。 ...
  • FUSE 倉庫 Wiki FUSE 性能評測 關於Fuse文件系統: FUSE (Filesystem in Userspace) is an interface for userspace programs to export a filesystem to the Linux kernel. T ...
  • 一 kubectl介紹 1.1 kubectl概要 kubectl控制Kubernetes集群管理器,使用Kubernetes命令行工具kubectl在Kubernetes上部署和管理應用程式。使用kubectl,您可以檢查群集資源; 創建,刪除和更新組件; 看看你的新集群; 並提出示例應用程式。 ...
  • 在日常運維中,GTID帶來的最方便的作用就是搭建和維護主從複製。GTID的主從模式代替了MySQL早期版本中利用二進位日誌文件的名稱和日誌位置的做法,使用GTID使操作和維護都變得更加簡潔和可高。 1.GTID的優點 (1)基於GTID搭建主從複製根據簡單。 (2)可以確保每個事務只會被執行一次。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...