hive on spark

来源:http://www.cnblogs.com/nolonely/archive/2016/04/09/5371195.html
-Advertisement-
Play Games

在我學習hive的時候,按照官網上的demo, // sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) sqlContext.sql("CREATE TABLE ...


在我學習hive的時候,按照官網上的demo,

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)


根據此,在最後select 的時候一直都是NULL ,NULL(/在kv1.txt文件中我使用的是製表符隔開)後來發現是hive中預設的分隔符是/u0001(Ctrl+A),而後改成如下
sqlContext.sql("CREATE TABLE IF NOT EXISTS src1 (key INT, value STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'")
設置hive中的分隔符為tab鍵,則最後得到相應的結果。
ps:load數據的時候使用的是LOAD DATA LOCAL INPUT則指的是從本地中讀入文件,如果把LOCAL去掉則表示從hdfs文件系統中載入數據。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • https://segmentfault.com/a/1190000002621562 ...
  • 在對選擇欄進行的學習後,下麵我們深入的對水平菜單進行一下瞭解。 我們來看看效果圖。 接下來,我們最這樣的效果進行一下思路分析, 這與選擇欄有些相似的地方: 都利用了滑鼠進入事件,內容隱藏。 在這些基礎上,再利用浮動與定位和css的佈局就可以完成了。 首先,我們註意對三個列表標題進行左浮動,就可以讓它 ...
  • 重新整理了下自己星級評價的Demo,可以展示星級評價,可以動態修改星級。 github的地址:https://github.com/hunterCold/HYBStarEvaluationView a simple tool of star evaluation 一個簡單的星級評價的工具 歡迎各位提 ...
  • Android 4.4版本加入了沉浸式者這項功能,相信大家手中的安卓機也早已是Android 4.4甚至更高版本。越來越多的應用實現了沉浸式狀態欄這一個效果。 我們先看一個Demo,來熟悉一下沉浸式。 在圖中可以清晰地看到,我們項目的頂部和手機的狀態欄是融合在一起。這樣表現得非常美觀,自然。 其實, ...
  • 手機防盜頁面部分 點擊手機防盜,進行判斷,如果沒有設置密碼,顯示一個設置密碼的對話框,如果已經設置密碼了,彈出輸入密碼對話框 密碼保存在SharedPreferences中,數據取出進行判斷 自定義一個佈局文件,dialog_setup_password.xml 根佈局寬度不要充滿屏幕 內部控制項,寬 ...
  • UICollectionView @interface UICollectionView : UIScrollView UICollectionView 和UICollectionViewController類是iOS6新引進的API,用於展示集合視圖,佈局更加靈活,可實現多列佈局,用法類似UITa ...
  • IOS 圖片輪播實現原理的一種 圖片輪播所要實現的是在一個顯示區域內通過滑動來展示不同的圖片。 當圖片較少時我們可以採用在滾動視圖上添加很多張圖片來實現。 但是如果圖片數量較多時,一次性載入過多圖片會浪費記憶體,影響性能。 因此我們要採取適當地方法來實現圖片的輪播。 下麵我們只是簡單的介紹很多方法中的 ...
  • 1. Objc是一門編譯型語言,JAVA是解析型語言 編譯型語言:把做好的源程式全部編譯成二進位代碼的可運行程式。然後,可直接運行這個程式。 編譯型語言,執行速度快、效率高;依賴編譯器、跨平臺性差些。 解析型語言:解釋性語言在運行程式的時候才翻譯,每個語句都是執行的時候才翻譯。這樣解釋性語言每執行一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...