Hadoop系列006-HDFS概念及命令行操作

来源:https://www.cnblogs.com/intflag/archive/2018/12/10/10097448.html
-Advertisement-
Play Games

本人微信公眾號,歡迎掃碼關註! HDFS概念及命令行操作 一、HDFS概念 1.1 概念 HDFS,它是一個文件系統,用於存儲文件,通過目錄樹來定位文件;其次,它是分散式的,由很多伺服器聯合起來實現其功能,集群中的伺服器有各自的角色。 HDFS的設計適合一次寫入,多次讀出的場景,且不支持文件的修改。 ...


本人微信公眾號,歡迎掃碼關註!

HDFS概念及命令行操作

一、HDFS概念

1.1 概念

HDFS,它是一個文件系統,用於存儲文件,通過目錄樹來定位文件;其次,它是分散式的,由很多伺服器聯合起來實現其功能,集群中的伺服器有各自的角色。

HDFS的設計適合一次寫入,多次讀出的場景,且不支持文件的修改。適合用來做數據分析,並不適合用來做網盤應用。

1.2 組成

1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。

2)NameNode負責管理整個文件系統的元數據,以及每一個路徑(文件)所對應的數據塊信息。

3)DataNode 負責管理用戶的文件數據塊,每一個數據塊都可以在多個datanode上存儲多個副本。

4)Secondary NameNode用來監控HDFS狀態的輔助後臺程式,每隔一段時間獲取HDFS元數據的快照。

1.3 HDFS 文件塊大小

  • HDFS中的文件在物理上是分塊存儲(block),塊的大小可以通過配置參數( dfs.blocksize)來規定,預設大小在hadoop2.x版本中是128M,老版本中是64M
  • HDFS的塊比磁碟的塊大,其目的是為了最小化定址開銷。如果塊設置得足夠大,從磁碟傳輸數據的時間會明顯大於定位這個塊開始位置所需的時間。因而,傳輸一個由多個塊組成的文件的時間取決於磁碟傳輸速率。
  • 如果定址時間約為10ms,而傳輸速率為100MB/s,為了使定址時間僅占傳輸時間的1%,我們要將塊大小設置約為100MB。預設的塊大小實際為64MB,但是很多情況下HDFS使用128MB的塊設置。
  • 塊的大小:10ms x 100 x 100M/s = 100M

計算規則

二、HFDS命令行操作

2.1 基本語法

bin/hadoop fs 具體命令

2.2 參數大全

bin/hadoop fs
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] <path> ...]
        [-cp [-f] [-p] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]

3.3 常用命令實操

(1)-help:輸出這個命令參數
bin/hdfs dfs -help rm
(2)-ls: 顯示目錄信息
hadoop fs -ls /
(3)-mkdir:在hdfs上創建目錄
hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd
(4)-moveFromLocal從本地剪切粘貼到hdfs
hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd
(5)-moveToLocal:從hdfs剪切粘貼到本地
hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt
(6)-appendToFile :追加一個文件到已經存在的文件末尾
hadoop  fs  -appendToFile  ./hello.txt  /hello.txt
(7)-cat :顯示文件內容
hadoop fs -cat /user/intflag/input/liugx.txt
(8)-tail:顯示一個文件的末尾
hadoop  fs  -tail  /weblog/access_log.1
(9)-text:以字元形式列印一個文件的內容
hadoop  fs  -text  /weblog/access_log.1
(10)-chgrp 、-chmod、-chown:linux文件系統中的用法一樣,修改文件所屬許可權
hadoop  fs  -chmod  666  /hello.txt
hadoop  fs  -chown  someuser:somegrp   /hello.txt
(11)-copyFromLocal:從本地文件系統中拷貝文件到hdfs路徑去
hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/
(12)-copyToLocal:從hdfs拷貝到本地
hadoop fs -copyToLocal /aaa/jdk.tar.gz
(13)-cp :從hdfs的一個路徑拷貝到hdfs的另一個路徑
hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
(14)-mv:在hdfs目錄中移動文件
hadoop  fs  -mv  /aaa/jdk.tar.gz  /
(15)-get:等同於copyToLocal,就是從hdfs下載文件到本地
(15)-get:等同於copyToLocal,就是從hdfs下載文件到本地
(16)-getmerge :合併下載多個文件,比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
(17)-put:等同於copyFromLocal
hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
(18)-rm:刪除文件或文件夾
hadoop fs -rm -r /aaa/bbb/
(19)-rmdir:刪除空目錄
hadoop  fs  -rmdir   /aaa/bbb/ccc
(20)-df :統計文件系統的可用空間信息
hadoop  fs  -df  -h  /
(21)-du統計文件夾的大小信息
hadoop  fs  -du  -s  -h /aaa/*
(22)-count:統計一個指定目錄下的文件節點數量
hadoop fs -count /aaa/
(23)-setrep:設置hdfs中文件的副本數量

註意:這裡設置的副本數只是記錄在namenode的元數據中,是否真的會有這麼多副本,還得看datanode的數量。因為目前只有3台設備,最多也就3個副本,只有節點數的增加到10台時,副本數才能達到10。

hadoop fs -setrep 3 /aaa/jdk.tar.gz

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • centos7 服務部署jar包 centos7 服務介紹 CentOS7的服務systemctl腳本存放在:/usr/lib/systemd/,有系統(system)和用戶(user)之分, 每一個服務以.service結尾,一般會分為3部分:[Unit]、[Service]和[Install], ...
  • 上一篇, Linux 進程狀態的含義,以及不可中斷進程和僵屍進程產生的原因。 使用 ps 或者 top 可以查看進程的狀態,這些狀態包括運行、空閑、不可中斷睡眠、可中斷睡 眠、僵屍以及暫停等。 其中,重點是不可中斷狀態和僵屍進程: 不可中斷狀態,一般表示進程正在跟硬體交互,為了保護進程數據與硬體一致 ...
  • FTP其他配置 在配置文件中,還有一些關於vsftpd的其他設置,這裡列出來 # Example config file /etc/vsftpd/vsftpd.conf # Allow anonymous FTP? (Beware - allowed by default if you commen ...
  • iptables埠轉髮指令:iptables -t nat -A PREROUTING -p tcp --dport 443 -j REDIRECT --to-port 8443 iptables配置文件位置 :cat /etc/sysctl.conf vim /etc/sysctl.conf ( ...
  • lsof(list open files)是一個列出當前系統打開文件的工具。在linux環境下,任何事物都以文件的形式存在,通過文件不僅僅可以訪問常規數據,還可以訪問網路連接和硬體。所以如傳輸控制協議 (TCP) 和用戶數據報協議 (UDP) 套接字等,系統在後臺都為該應用程式分配了一個文件描述符, ...
  • 1、官網下載mysql資料庫:https://dev.mysql.com/downloads/mysql/ 2、linux 下可直接下載:wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_ ...
  • 參考: http://www.cnblogs.com/yxwkf/p/5092589.html 1. 安裝包下載 下載地址:https://github.com/claudemamo/kafka-web-console/releases 目前最新是2.0.0版本 2.編譯安裝包 kafka web ...
  • 事務提交讀註意事項 語法:set transaction isolation level read committed。 資料庫預設的是兩個會話事務之間是提交讀。 READ COMMITTED指定語句不能讀取已由其他事務修改但尚未提交的數據。 這樣可以避免臟讀。 其他事務可以在當前事務的各個語句之間 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...