身處數字經濟時代，隨著大數據應用越來越廣泛，越來越多的企業和組織開始關註大數據基礎平臺的建設和運營。在認識到其的重要性之後，如何具體著手搭建或採購大數據基礎平臺成為下一步需要解決的問題。 在大數據基礎平臺中，大數據組件是非常重要的一部分，包括數據存儲、數據處理、數據分析、數據可視化等。在選擇大數據組 ...
身處數字經濟時代，隨著大數據應用越來越廣泛，越來越多的企業和組織開始關註大數據基礎平臺的建設和運營。在認識到其的重要性之後，如何具體著手搭建或採購大數據基礎平臺成為下一步需要解決的問題。
在大數據基礎平臺中，大數據組件是非常重要的一部分，包括數據存儲、數據處理、數據分析、數據可視化等。在選擇大數據組件時，我們常常在閉源組件和開源組件選擇中反覆糾結。
本文將從優勢、劣勢兩個維度分析開源組件、閉源組件對大數據基礎平臺建設的影響，並結合袋鼠雲自研的大數據計算引擎 EasyMR 的實踐經歷進行分享。
開源組件
在大數據領域，開源組件已經成為了構建大數據平臺的重要基石。例如 Hadoop、Spark、Hive、HBase、Kafka、Storm、Flink 等開源軟體已經成為了大數據處理和分析的主要工具。
這些開源組件不僅提供了高效、可擴展、可靠的大數據處理和存儲能力，而且還促進了生態系統的發展，形成了龐大的開發社區和豐富的第三方工具及應用程式。
優勢
● 免費
開源組件一般都是免費的，其源代碼是公開的，任何人都可以下載、使用、修改和分發，這將極大降低企業的開發和建設成本。
● 靈活性
由於源代碼是公開的，企業可以對其進行自定義修改，以適應自身業務需求，增強了靈活性。
● 可擴展性
開源組件通常具有良好的擴展性，可以很容易地集成和升級到其他開源組件。
● 社區支持
開源組件一般擁有龐大的社區，社區成員均可以貢獻代碼，提供解決方案和支持。這意味著在使用過程中遇到問題，可以得到快速的幫助和解決方案。
開源軟體的開發和維護通常由廣泛的社區貢獻提供，從而形成共同的技術標準和最佳實踐，這有助於提高軟體質量和安全性，併為企業提供更好的互操作性和可移植性。
劣勢
● 依賴社區
開源組件的發展取決於社區的貢獻，如果社區貢獻較少或者停滯不前，開源組件可能會面臨更新緩慢或停止維護的問題。
● 安全性
開源組件的源代碼是公開的，這使得黑客和惡意用戶可以更輕鬆地發現和利用其中的漏洞，企業在使用開源組件時，需要進行必要的安全檢查和漏洞修複。
商業閉源組件
例如 MapR 公司的 MapR-DB、MapR-ES，IBM 公司的 IBM Streams，Cloudera 公司的 Cloudera Manager、Cloudera Navigator、Cloudera Data Science Workbench 等都是比較主流的大數據閉源組件。
優勢
● 技術支持
閉源組件通常由廠商提供技術支持，可以為企業提供更為專業、快速的支持，保障企業的業務穩定性。
● 安全性
商業閉源組件的源代碼不公開，使得黑客和惡意用戶難以發現和利用其中的漏洞，企業在使用閉源組件時，可以減少安全方面的擔憂。
● 定製性
商業閉源組件可以提供定製化的服務，以滿足企業的個性化需求。
劣勢
● 依賴廠商
商業閉源組件的維護和發展需要依賴廠商的支持，其更新迭代速度比較依賴企業的研發投入，如果廠商出現問題或者停止支持，企業可能需要更換整個組件。
● 價格高昂
商業閉源組件通常需要購買許可證或者按使用量收費，這會極大增加企業的成本。
● 數據生產效率低
商業閉源組件通常會對使用者的自由度和可控性產生限制，如禁止對源代碼進行修改等要求。
開源 or 閉源？
開源組件 or 閉源組件，企業究竟應該如何選擇？
對比來看，對於需要靈活性和可定製性較高的企業來說，開源組件更為適合；而對於更為註重技術支持和安全性的企業來說，商業閉源組件則更具有優勢。
開源組件和商業閉源組件各有優缺點，註定了它們擁有各自的市場需求。但基於 DB-Engines 全球數據管理系統排名來看，開源流行度正在逐年上升，2021年1月開源產品首次超過商業資料庫。
開源軟體可以降低企業的成本，提高軟體產品的通用性，同時促進技術創新和生態系統的發展。
開源軟體相比閉源軟體的優勢主要有兩點，一是眾人拾材火焰高，通過開源社區的溝通交流，能夠更快提高代碼質量；二是開源大大提高了軟體的推廣效率。
可以說，大數據基礎平臺組件開源，是當前和未來發展的趨勢。
EasyMR 的實踐之路
袋鼠雲大數據計算引擎 EasyMR，作為袋鼠雲自研的大數據基礎平臺，其大數據組件100%基於開源 Hadoop，完全相容Apache開源生態，與開源社區同步迭代，時刻保持技術的領先性。
在 CDH、HDP 社區版不再更新，國產化信創政策大背景下，袋鼠雲支持 CDH/HDP 平滑遷移 EasyMR，助力企業快速實現國產化大數據基礎平臺的搭建與遷移，真正實現對業務側不造成任何影響。
袋鼠雲作為國內領先的數字化基礎軟體與應用服務商，十分重視強化產品的基礎能力和技術能力，在開源技術的基礎上，EasyMR 對 Spark、Flink、Trino、Iceberg 等多個大數據核心組件進行了功能及性能增強。具體優化見下圖：
僅在2022年袋鼠雲技術同學就完成了上百次的 commit，為 Hadoop 生態的技術發展貢獻了屬於袋鼠雲的力量。
贈人玫瑰手有餘香，回饋社區的同時袋鼠雲實現了對整個 Hadoop 體系核心代碼的完全自主掌握，對於 EasyMR 大數據平臺遷移、大數據組件維保、客戶培訓做到了100%自主可控。
國際環境嚴峻複雜，袋鼠雲深知只有實現關鍵技術的自主化、國產化，才能真正實現技術創新，攻剋“卡脖子”難題。
擁抱開源不止於此
ChunJun 作為袋鼠雲重磅打造的批流一體的數據集成大數據開源項目，在袋鼠雲及眾多開源技術愛好者的協作努力下，目前已進行了5200+commit，擁有3600+star，逐步成為主流的數據集成框架。
今年，EasyMR 將集成 ChunJun 項目，為用戶帶來更加穩定、高效、易用的批流一體的數據集成解決方案。
基於 EasyMR 的運維管理平臺 EasyManager，袋鼠雲成功開源一站式全自動化全生命周期運維管家 ChengYing。從開放式統一監控，到定義標準化部署能力，而後引入 Prometheus/Grafana/ 自研 dt-alert 組件，完成統一監控2.0的功能優化，再到多集群管理，幫助企業快速搭建自己的運維管理平臺。
EasyMR 的最新版運維管理平臺 EasyManager 中的前端組件及樣式是基於袋鼠雲開源項目 ant-design 的 React UI 組件庫、樣式庫進行打造。袋鼠雲 dt- React 組件為使用者提供更豐富的組件庫，可以更好的管理組件，減少代碼冗餘提高前端開發。具體內容將在之後的文章中進行詳解。
袋鼠雲秉承著開源共用的理念，受益開源的同時積極擁抱世界、擁抱開源，期待與更多開源愛好者一起共建優秀開源產品。
同時，袋鼠雲始終堅持自主研發和國產化路線，在技術創新上不遺餘力，為企業IT高效、平穩運行保駕護航。
《數據治理行業實踐白皮書》下載地址：https://fs80.cn/380a4b
想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky
同時，歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」，交流最新開源技術信息，qun號碼：30537511，項目地址：https://github.com/DTStack
