Flume的一些報錯問題解決(持續更新中)

来源:https://www.cnblogs.com/wang-jia-hong/archive/2018/12/12/10109382.html
-Advertisement-
Play Games

嚴謹轉載--否則追究法律責任 作者 王加鴻 bug 1 解決方案 將這兩個路徑下的文件清空即可 ↑ 解決方案: 暫無(如無法連接,會自動創建連接,但可能長久後會造成連接過多) bug 3 解決方案:初步分析,是埋點數據產生的json格式解析出問題了 後來查看源代碼在org.apache.flume. ...


嚴謹轉載--否則追究法律責任 作者----王加鴻

              

                                                  ----------bug 1----------

解決方案

將這兩個路徑下的文件清空即可  ↑

  1.                                  ----------bug 2----------

 

 

解決方案: 暫無(如無法連接,會自動創建連接,但可能長久後會造成連接過多)

            ----------bug 3----------

 

 解決方案:初步分析,是埋點數據產生的json格式解析出問題了

後來查看源代碼在org.apache.flume.source.http.HTTPSource類中看到有這樣一段說明,告訴我們使用json必鬚根據他的封裝格式進行封裝,否則會報400,503錯誤

---總結原因:

             ----------bug 4----------

Java堆記憶體溢出

解決方案:修改下的

可修改為數值 -Xms512m -Xmx1024 (網上建議,未嘗試)

並且(關鍵)

修改---里的

預設是-Xmx20m   改為了   -Xmx100m

 

大圖因修改了但是無效,所以無法驗證

 

 

-----持續更新中

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • mysql是使用最廣泛的開源關係資料庫之一,大多數開發人員只會簡單的用sql語句操作數據,而不理解服務端架構和sql查詢語句在服務端的執行過程,本文會從sql語句執行路徑來介紹mysql服務端架構,包括連接器,查詢緩存,分析器,優化器等。 ...
  • 1.排序概述 2.排序分類 3.WritableComparable案例 這個文件,是大數據-Hadoop生態(12)-Hadoop序列化和源碼追蹤的輸出文件,可以看到,文件根據key,也就是手機號進行了字典排序 欄位含義分別為手機號,上行流量,下行流量,總流量 需求是根據總流量進行排序 Bean對 ...
  • 登錄之後使用如下命令: 還有不知是不是因為mysql版本問題,一開始設置的密碼,使用navicat進行連接測試的時候,報錯: 解決辦法,就是使用如下語句再進行一次密碼修改: ...
  • 遷移主要是通過Navicat工具來實現的。遷移工具的選定在此不討論。 遷移前準備 1.提前通知DBA\SA\BI等,並確認發佈計劃及資料庫遷移方案。 2.梳理出SQL Server DB 中影響業務的Job(遷移的過程中要關閉)、DB LinkServer、相關賬號。 3.模擬數據遷移,評估出相關精 ...
  • 今天自學完了大數據方面生態系統的一些核心技術,在這裡整理一下學過的知識算是複習,也方便初學者參考 ...
  • 一. 複製環境準備 1.1 主庫環境(172.168.18.201) 環境 說明 1.2 從庫環境(172.168.18.203) 環境 說明 二. 複製配置 2.1 主庫環境密碼設置 在201主庫上,找到redis目錄下的redis.conf文件,打開文件找到requirepass,在500行,下 ...
  • 一、TOKEN Token的特點: Token原理: TOKEN的實現: Token用在:登錄校驗。 TOKEN與session對比有更高的安全性,無狀態可擴展性和多平臺跨越的優點。 TOKEN可以完美解決跨站請求偽造,負載均衡,無狀態可擴展性等問題。 二、敏捷開發 敏捷開發是以人為核心,迭代循序漸 ...
  • redis資料庫 redis有以下三個特點 redis支持數據的持久化,可以將記憶體中的數據保存在磁碟中,重啟的時候可以再次載入進行使用 redis不僅僅支持簡單的key-value類型的數據,同時還提供list,set,zset,hash等數據結構的存儲 redis支持數據的備份,即master-s ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...