《hadoop學習》關於hdfs中的core-site.xml,hdfs-site.xml,mapred-site.xml文件配置詳解

来源:http://www.cnblogs.com/forget-me-not/archive/2016/07/27/5710122.html
-Advertisement-
Play Games

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，預設下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法: 1.選 ...


  配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，預設下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法: 1.選擇相應版本的hadoop,下載解壓後，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是預設配置,可以參考這些配置的說明和key，配置hadoop集群。 2.瀏覽apache官網,三個配置文件鏈接如下:    http://hadoop.apache.org/common/docs/current/core-default.html    http://hadoop.apache.org/common/docs/current/hdfs-default.html    http://hadoop.apache.org/common/docs/current/mapred-default.html    這裡是瀏覽hadoop當前版本號的預設配置文件，其他版本號，要另外去官網找。其中第一個方法找到預設的配置是最好的，因為每個屬性都有說明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。     2       常用的埠配置2.1  HDFS埠
參數 描述 預設 配置文件 例子值
fs.default.name namenode namenode RPC交互埠 8020 core-site.xml hdfs://master:8020/
dfs.http.address NameNode web管理埠 50070 hdfs- site.xml 0.0.0.0:50070
dfs.datanode.address datanode　控制埠 50010 hdfs -site.xml 0.0.0.0:50010
dfs.datanode.ipc.address datanode的RPC伺服器地址和埠 50020 hdfs-site.xml 0.0.0.0:50020
dfs.datanode.http.address datanode的HTTP伺服器和埠 50075 hdfs-site.xml 0.0.0.0:50075

2.2  MR埠
參數 描述 預設 配置文件 例子值
mapred.job.tracker job-tracker交互埠 8021 mapred-site.xml hdfs://master:8021/
job tracker的web管理埠 50030 mapred-site.xml 0.0.0.0:50030
mapred.task.tracker.http.address task-tracker的HTTP埠 50060 mapred-site.xml 0.0.0.0:50060


2.3  其它埠
參數 描述 預設 配置文件 例子值
dfs.secondary.http.address secondary NameNode web管理埠 50090 hdfs-site.xml 0.0.0.0:50090
         
         

3       三個預設配置參考文件說明3.1  core-default.html
序號 參數名 參數值 參數說明
1 hadoop.tmp.dir                      /tmp/hadoop-${user.name}                              臨時目錄設定
2 hadoop.native.lib                   true                                                 使用本地hadoop庫標識。
3 hadoop.http.filter.initializers      http伺服器過濾鏈設置                        
4 hadoop.security.group.mapping       org.apache.hadoop.security.ShellBasedUnixGroupsMapping 組內用戶的列表的類設定
5 hadoop.security.authorization       false                                                 服務端認證開啟
6 hadoop.security.authentication      simple                                                 無認證或認證設置
7 hadoop.security.token.service.use_ip true                                                 是否開啟使用IP地址作為連接的開關
8 hadoop.logfile.size                10000000                                              日誌文件最大為10M
9 hadoop.logfile.count 10                                                    日誌文件數量為10個
10 io.file.buffer.size 4096 流文件的緩衝區為4K
11 io.bytes.per.checksum 512 校驗位數為512位元組
12 io.skip.checksum.errors false 校驗出錯後是拋出異常還是略過標識。True則略過。
13 io.compression.codecs org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec 壓縮和解壓的方式設置
14 io.serializations org.apache.hadoop.io.serializer.WritableSerialization 序例化和反序列化的類設定
15 fs.default.name file:///                                             預設的文件URI標識設定。
16 fs.trash.interval 0                                                    文件廢棄標識設定，0為禁止此功能
17 fs.file.impl org.apache.hadoop.fs.LocalFileSystem                本地文件操作類設置
18 fs.hdfs.impl org.apache.hadoop.hdfs.DistributedFileSystem         HDFS文件操作類設置
19 fs.s3.impl org.apache.hadoop.fs.s3.S3FileSystem                S3文件操作類設置
20 fs.s3n.impl             org.apache.hadoop.fs.s3native.NativeS3FileSystem S3文件本地操作類設置
21 fs.kfs.impl             org.apache.hadoop.fs.kfs.KosmosFileSystem KFS文件操作類設置.
22 fs.hftp.impl             org.apache.hadoop.hdfs.HftpFileSystem HTTP方式操作文件設置
23 fs.hsftp.impl            org.apache.hadoop.hdfs.HsftpFileSystem HTTPS方式操作文件設置
24 fs.webhdfs.impl          org.apache.hadoop.hdfs.web.WebHdfsFileSystem WEB方式操作文件類設置
25 fs.ftp.impl             org.apache.hadoop.fs.ftp.FTPFileSystem FTP文件操作類設置
26 fs.ramfs.impl            org.apache.hadoop.fs.InMemoryFileSystem 記憶體文件操作類設置
27 fs.har.impl             org.apache.hadoop.fs.HarFileSystem 壓縮文件操作類設置.
28 fs.har.impl.disable.cache true 是否緩存har文件的標識設定
29 fs.checkpoint.dir       ${hadoop.tmp.dir}/dfs/namesecondary 備份名稱節點的存放目前錄設置
30 fs.checkpoint.edits.dir      ${fs.checkpoint.dir} 備份名稱節點日誌文件的存放目前錄設置
31 fs.checkpoint.period         3600 動態檢查的間隔時間設置
32 fs.checkpoint.size          67108864 日誌文件大小為64M
33 fs.s3.block.size             67108864 寫S3文件系統的塊的大小為64M
34 fs.s3.buffer.dir             ${hadoop.tmp.dir}/s3 S3文件數據的本地存放目錄
35 fs.s3.maxRetries             4 S3文件數據的償試讀寫次數
36 fs.s3.sleepTimeSeconds       10 S3文件償試的間隔
37 local.cache.size             10737418240 緩存大小設置為10GB
38 io.seqfile.compress.blocksize 1000000 壓縮流式文件中的最小塊數為100萬
39 io.seqfile.lazydecompress    true 塊是否需要壓縮標識設定
40 io.seqfile.sorter.recordlimit 1000000 記憶體中排序記錄塊類最小為100萬
41 io.mapfile.bloom.size 1048576 BloomMapFiler過濾量為1M
42 io.mapfile.bloom.error.rate 0.005  
43 hadoop.util.hash.type murmur 缺少hash方法為murmur
44 ipc.client.idlethreshold 4000 連接數據最小閥值為4000
45 ipc.client.kill.max 10 一個客戶端連接數最大值為10
46 ipc.client.connection.maxidletime 10000 斷開與伺服器連接的時間最大為10秒
47 ipc.client.connect.max.retries 10 建立與伺服器連接的重試次數為10次
48 ipc.server.listen.queue.size 128 接收客戶連接的監聽隊例的長度為128
49 ipc.server.tcpnodelay false 開啟或關閉伺服器端TCP連接演算法
50 ipc.client.tcpnodelay false 開啟或關閉客戶端TCP連接演算法
51 webinterface.private.actions false Web交互的行為設定
52 hadoop.rpc.socket.factory.class.default       org.apache.hadoop.net.StandardSocketFactory 預設的socket工廠類設置
53 hadoop.rpc.socket.factory.class.ClientProtocol   與dfs連接時的預設socket工廠類
54 hadoop.socks.server                             服務端的工廠類預設設置為SocksSocketFactory.
55 topology.node.switch.mapping.impl             org.apache.hadoop.net.ScriptBasedMapping  
56 topology.script.file.name                        
57 topology.script.number.args                   100 參數數量最多為100
58 hadoop.security.uid.cache.secs                14400  






3.2  hdfs-default.html
序號 參數名 參數值 參數說明
1 dfs.namenode.logging.level       info          輸出日誌類型
2 dfs.secondary.http.address       0.0.0.0:50090 備份名稱節點的http協議訪問地址與埠                                                                                    
3 dfs.datanode.address             0.0.0.0:50010 數據節點的TCP管理服務地址和埠
4 dfs.datanode.http.address         0.0.0.0:50075 數據節點的HTTP協議訪問地址和埠
5 dfs.datanode.ipc.address          0.0.0.0:50020 數據節點的IPC服務訪問地址和埠
6 dfs.datanode.handler.count       3             數據節點的服務連接處理線程數
7 dfs.http.address                  0.0.0.0:50070 名稱節點的http協議訪問地址與埠
8 dfs.https.enable                  false         支持https訪問方式標識
9 dfs.https.need.client.auth       false         客戶端指定https訪問標識
10 dfs.https.server.keystore.resource ssl-server.xml Ssl密鑰服務端的配置文件
11 dfs.https.client.keystore.resource ssl-client.xml Ssl密鑰客戶端的配置文件
12 dfs.datanode.https.address       0.0.0.0:50475 數據節點的HTTPS協議訪問地址和埠
13 dfs.https.address                0.0.0.0:50470 名稱節點的HTTPS協議訪問地址和埠
14 dfs.datanode.dns.interface       default       數據節點採用IP地址標識
15 dfs.datanode.dns.nameserver       default       指定DNS的IP地址
16 dfs.replication.considerLoad      true          載入目標或不載入的標識
17 dfs.default.chunk.view.size       32768          瀏覽時的文件塊大小設置為32K
18 dfs.datanode.du.reserved          0             每個捲預留的空閑空間數量
19 dfs.name.dir                      ${hadoop.tmp.dir}/dfs/name 存貯在本地的名位元組點數據鏡象的目錄,作為名位元組點的冗餘備份
20 dfs.name.edits.dir                ${dfs.name.dir}          存貯文件操作過程信息的存貯目錄
21 dfs.web.ugi                      webuser,webgroup          Web介面訪問的用戶名和組的帳戶設定
22 dfs.permissions                   true                      文件操作時的許可權檢查標識。
23 dfs.permissions.supergroup       supergroup                超級用戶的組名定義
24 dfs.block.access.token.enable    false                     數據節點訪問令牌標識
25 dfs.block.access.key.update.interval 600                      升級訪問鑰時的間隔時間
26 dfs.block.access.token.lifetime    600                      訪問令牌的有效時間
27 dfs.data.dir                         ${hadoop.tmp.dir}/dfs/data 數據節點的塊本地存放目錄
28 dfs.datanode.data.dir.perm          755                      數據節點的存貯塊的目錄訪問許可權設置
29 dfs.replication                     3                         預設的塊複製數量
30 dfs.replication.max                  512                      塊複製的最大數量
31 dfs.replication.min                1                         塊複製的最小數量
32 dfs.block.size                      67108864                  預設的文件塊大小為64M
33 dfs.df.interval                     60000                      磁碟空間統計間隔為6秒
34 dfs.client.block.write.retries      3                         塊寫入出錯時的重試次數
35 dfs.blockreport.intervalMsec       3600000                   塊的報告間隔時為1小時
36 dfs.blockreport.initialDelay       0                         塊順序報告的間隔時間
37 dfs.heartbeat.interval             3                         數據節點的心跳檢測間隔時間
38 dfs.namenode.handler.count          10                        名稱節點的連接處理的線程數量
39 dfs.safemode.threshold.pct          0.999f                   啟動安全模式的閥值設定
40 dfs.safemode.extension             30000                     當閥值達到量值後擴展的時限
41 dfs.balance.bandwidthPerSec         1048576                   啟動負載均衡的數據節點可利用帶寬最大值為1M
42 dfs.hosts                             可與名稱節點連接的主機地址文件指定。
43 dfs.hosts.exclude                     不充計與名稱節點連接的主機地址文件設定
44 dfs.max.objects                     0 文件數、目錄數、塊數的最大數量
45 dfs.namenode.decommission.interval 30 名稱節點解除命令執行時的監測時間周期
46 dfs.namenode.decommission.nodes.per.interval 5       名稱節點解除命令執行是否完檢測次數
47 dfs.replication.interval                   3       名稱節點計算數據節點的複製工作的周期數.
48 dfs.access.time.precision                   3600000 充許訪問文件的時間精確到1小時
49 dfs.support.append                         false    是否充許鏈接文件指定
50 dfs.namenode.delegation.key.update-interval 86400000 名稱節點上的代理令牌的主key的更新間隔時間為24小時
51 dfs.namenode.delegation.token.max-lifetime 604800000 代理令牌的有效時間最大值為7天
52 dfs.namenode.delegation.token.renew-interval 86400000 代理令牌的更新時間為24小時
53 dfs.datanode.failed.volumes.tolerated       0       決定停止數據節點提供服務充許捲的出錯次數。0次則任何捲出錯都要停止數據節點



3.3  mapred-default.html
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • SQL Server 存儲過程遇到“表 '#TT' 沒有標識屬性。無法執行 SET 操作”錯誤
    創建臨時表，往臨時表插入數據的時候報的錯誤。 一開始提示沒有打開主鍵，後來打開主鍵就提示上述錯誤異常。 從網上查找資料沒有找到，然後又到群里問各位大牛，一位大牛告訴我是沒有設置主鍵。 我又仔細看看提示，恍然大悟，我就給臨時設置了主鍵。 沒有主鍵之前的代碼： 執行的話就會報“表 '#TT' 沒有標識屬 ...
  • 什麼是ODBO---OLE DB for OLAP
    我怎麼一步一步追到ODBO了？ mondrian核心api—>olap4j—>jedox也在用olap4j—>ODBO? ODBO是什麼呢？ OLE DB for OLAP (Object Linking and Embedding Database for Online Analytical Pr... ...
  • 三分鐘部署Laxcus大數據管理系統
    Laxcus是Laxcus大數據實驗室歷時五年，全體系自主設計研發的國內首套大數據管理系統。能夠支撐百萬台級電腦節點，提供EB量級存儲和計算能力，相容SQL和關係資料庫。最新的2.x版本已經完整覆蓋和集成大數據主流技術和功能，並投入到國內多個超算項目中使用。部署laxcus集群很簡單，一個普通用戶... ...
  • 優雲漫談redis在運維數據分析中的去重統計方式
    今天，我和大家分享下redis在運維數據分析中的去重統計方式。 為了避免混淆，本文中對於redis的數據結構做如下約定： SET：saddkey member ZSET：zaddkeyscoremember HYPERLOGLOG:pfaddkeyelement STRING:setbitkeyof ...
  • 0. 跟蹤標記 (Trace Flag) 簡介
    一. 什麼是跟蹤標記 SQL Server 跟蹤標記(Trace Flag)，像是一個開關，可用來自定義SQL Server的某種行為或特性，在性能診斷，系統調試等方面較為常用。比如：開啟1204或1222跟蹤標記，可在errorlog里記錄死鎖信息的明細。 跟蹤標記有會話級和實例級兩種。 二. 如 ...
  • mysql顛覆實戰筆記(一)--設計一個項目需求，灌入一萬數據先
    版權聲明：筆記整理者亡命小卒熱愛自由，崇尚分享。但是本筆記源自www.jtthink.com（程式員在囧途）沈逸老師的《web級mysql顛覆實戰課程 》。如需轉載請尊重老師勞動，保留沈逸老師署名以及課程來源地址。 一、MYSQL安裝設置簡述。 1、本課程基於MYSQL 5.7.9教學。 2、課程使 ...
  • ORACLE 11g 導出數據
    ORACLE 11g 導出 表的時候 不會導出空表 導出空表操作步驟 ：（使用PLSQL） 1、打開SQL window 執行下麵的 SQL Select 'alter table '||table_name||' allocate extent;' from user_tables where s ...
  • SqlServer中Merge的使用
    引用自：http://www.cnblogs.com/CareySon/archive/2012/03/07/2383690.html 感謝CareySon的分享，我把使用到的SQL腳本貼上來。 --創建源表 CREATE TABLE SourceTable(ID INT,[DESC] VARCHA ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類
序號 參數名 參數值 參數說明
1 hadoop.job.history.location   作業跟蹤管理器的靜態歷史文件的存放目錄。
2 hadoop.job.history.user.location   可以指定具體某個作業的跟蹤管理器的歷史文件存放目錄
3 mapred.job.tracker.history.completed.location   已完成作業的歷史文件的存放目錄
4 io.sort.factor 10          排完序的文件的合併時的打開文件句柄數
5 io.sort.mb 100         排序文件的記憶體緩存大小為100M
6 io.sort.record.percent 0.05       排序線程阻塞的記憶體緩存剩餘比率
7 io.sort.spill.percent 0.80       當緩衝占用量為該值時，線程需要將內容先備份到磁碟中。
8 io.map.index.skip 0          索引條目的間隔設定
9 mapred.job.tracker local       作業跟蹤管理器是否和MR任務在一個進程中
10 mapred.job.tracker.http.address 0.0.0.0:50030 作業跟蹤管理器的HTTP伺服器訪問埠和地址
11 mapred.job.tracker.handler.count          10         作業跟蹤管理器的管理線程數,線程數比例是任務管理跟蹤器數量的0.04
12 mapred.task.tracker.report.address         127.0.0.1:0 任務管理跟蹤器的主機地址和埠地址
13 mapred.local.dir                           ${hadoop.tmp.dir}/mapred/local MR的中介數據文件存放目錄
14 mapred.system.dir                         ${hadoop.tmp.dir}/mapred/system MR的控制文件存放目錄
15 mapreduce.jobtracker.staging.root.dir      ${hadoop.tmp.dir}/mapred/staging 每個正在運行作業文件的存放區
16 mapred.temp.dir                            ${hadoop.tmp.dir}/mapred/temp   MR臨時共用文件存放區   
17 mapred.local.dir.minspacestart             0                               MR本地中介文件刪除時，不充許有任務執行的數量值。
18 mapred.local.dir.minspacekill             0                               MR本地中介文件刪除時，除非所有任務都已完成的數量值。
19 mapred.tasktracker.expiry.interval         600000                         任務管理跟蹤器不發送心跳的累計時間間隔超過600秒，則任務管理跟蹤器失效
20 mapred.tasktracker.resourcecalculatorplugin   指定的一個用戶訪問資源信息的類實例
21 mapred.tasktracker.taskmemorymanager.monitoring-interval 5000    監控任務管理跟蹤器任務記憶體使用率的時間間隔
22 mapred.tasktracker.tasks.sleeptime-before-sigkill       5000    發出進程終止後，間隔5秒後發出進程消亡信號
23 mapred.map.tasks                                        2       每個作業預設的map任務數為2
24 mapred.reduce.tasks                                     1       每個作業預設的reduce任務數為1
25 mapreduce.tasktracker.outofband.heartbeat               false   讓在任務結束後發出一個額外的心跳信號
26 mapreduce.tasktracker.outofband.heartbeat.damper       1000000 當額外心跳信號發出量太多時，則適當阻止
27 mapred.jobtracker.restart.recover                      false   充許任務管理器恢復時採用的方式
28 mapred.jobtracker.job.history.block.size                3145728 作業歷史文件塊的大小為3M
29 mapreduce.job.split.metainfo.maxsize                   10000000 分隔元信息文件的最大值是10M以下
30 mapred.jobtracker.taskScheduler                      org.apache.hadoop.mapred.JobQueueTaskScheduler 設定任務的執行計劃實現類
31 mapred.jobtracker.taskScheduler.maxRunningTasksPerJob   作業同時運行的任務數的最大值
32 mapred.map.max.attempts                              4    Map任務的重試次數
33 mapred.reduce.max.attempts                           4    Reduce任務的重試次數
34 mapred.reduce.parallel.copies                         5    在複製階段時reduce並行傳送的值。
35 mapreduce.reduce.shuffle.maxfetchfailures            10    取map輸出的最大重試次數
36 mapreduce.reduce.shuffle.connect.timeout             180000 REDUCE任務連接任務管理器獲得map輸出時的總耗時是3分鐘         
37 mapreduce.reduce.shuffle.read.timeout                180000 REDUCE任務等待map輸出數據的總耗時是3分鐘
38 mapred.task.timeout                                  600000 如果任務無讀無寫時的時間耗時為10分鐘，將被終止
39 mapred.tasktracker.map.tasks.maximum                2    任管管理器可同時運行map任務數為2
40 mapred.tasktracker.reduce.tasks.maximum             2    任管管理器可同時運行reduce任務數為2
41 mapred.jobtracker.completeuserjobs.maximum 100    當用戶的完成作業數達100個後，將其放入作業歷史文件中
42 mapreduce.reduce.input.limit                -1      Reduce輸入量的限制。
43 mapred.job.tracker.retiredjobs.cache.size   1000    作業狀態為已不在執行的保留在記憶體中的量為1000
44 mapred.job.tracker.jobhistory.lru.cache.size 5       作業歷史文件裝載到記憶體的數量
45 mapred.child.java.opts                      -Xmx200m 啟動task管理的子進程時的記憶體設置
46 mapred.child.env                              子進程的參數設置
47 mapred.child.ulimit                           虛擬機所需記憶體的設定。
48 mapred.cluster.map.memory.mb                -1       
49 mapred.cluster.reduce.memory.mb             -1       
50 mapred.cluster.max.map.memory.mb            -1       
51 mapred.cluster.max.reduce.memory.mb         -1       
52 mapred.job.map.memory.mb                   -1       
53 mapred.job.reduce.memory.mb                -1       
54 mapred.child.tmp                            /tmp    Mr任務信息的存放目錄
55 mapred.inmem.merge.threshold                1000    記憶體中的合併文件數設置
56 mapred.job.shuffle.merge.percent            0.66     
57 mapred.job.shuffle.input.buffer.percent    0.70     
58 mapred.job.reduce.input.buffer.percent      0.0     
59 mapred.map.tasks.speculative.execution      true    Map任務的多實例並行運行標識
60 mapred.reduce.tasks.speculative.execution   true    Reduce任務的多實例並行運行標識
61 mapred.job.reuse.jvm.num.tasks 1            每虛擬機運行的任務數
62 mapred.min.split.size 0            Map的輸入數據被分解的塊數設置
63 mapred.jobtracker.maxtasks.per.job -1          一個單獨作業的任務數設置
64 mapred.submit.replication 10          提交作業文件的複製級別
65 mapred.tasktracker.dns.interface default      任務管理跟蹤器是否報告IP地址名的開關
66 mapred.tasktracker.dns.nameserver default      作業和任務管理跟蹤器之間通訊方式採用的DNS服務的主機名或IP地址
67 tasktracker.http.threads 40          http伺服器的工作線程數量
68 mapred.task.tracker.http.address 0.0.0.0:50060 任務管理跟蹤器的http伺服器的地址和埠
69 keep.failed.task.files false