數字化轉型提速中！傳統農牧食品行業也尋求搭上數字化轉型的快車，通過物聯網、大數據、人工智慧等現代信息技術，實現生產、加工、流通等環節的智能化和自動化，提高生產效率、優化資源配置、提升產品質量，並滿足消費者對食品安全和可追溯性的需求。 在數字化浪潮的推動下，鐵騎力士集團作為一家歷史悠久的農牧食品企業， ...
數字化轉型提速中！傳統農牧食品行業也尋求搭上數字化轉型的快車，通過物聯網、大數據、人工智慧等現代信息技術，實現生產、加工、流通等環節的智能化和自動化，提高生產效率、優化資源配置、提升產品質量，並滿足消費者對食品安全和可追溯性的需求。
在數字化浪潮的推動下，鐵騎力士集團作為一家歷史悠久的農牧食品企業，正通過引入先進的調度平臺——Apache DolphinScheduler，實現其數字化轉型的巨集偉藍圖。
本期嘉賓介紹
李賢利，鐵騎力士集團的IT架構師，擁有電子與通信工程專業背景，自2014年畢業以來，積累了豐富的行業經驗。在廣電和軍工行業深耕7年後，他將專業視野拓展至農牧養殖食品領域，至今已在鐵騎力士集團服務3年。李賢利在分散式系統建設方面尤為擅長，並積極投身於大數據應用、電腦視覺以及大模型落地探索等前沿技術研究。
鐵騎力士集團概覽
鐵騎力士集團自1992年成立以來，已發展成為一個擁有150家分子公司的產業集群，涵蓋飼料、牧業、食品和生物工程四大領域。集團以全程可控溯源的產業鏈，確保食品安全，推動現代農業的健康發展。
DolphinScheduler的引入
在鐵騎力士集團的數字化轉型過程中，近萬人的集團業務，30多套業務系統需要依靠數字化中心的技術人員作為IT信息支撐，我所在的技術開發部門感到壓力巨大。Apache DolphinScheduler的引入是一個關鍵的里程碑，它不僅支持了集團在飼料事業部、生豬事業部等多個部門，還促進了數字化中心與大數據部的協同工作。
數字化轉型中的調度平臺
2020年，鐵騎力士集團啟動了數字化轉型變革項目，投入1億+資金，設立了研發、營銷、供應鏈、財務、人力資源等五大領域，圍繞著這五大領域共建設了30多套IT系統。通過建設30多套IT系統，集團實現了業務流程的自動化和智能化。這些系統包括但不限於PLM、QMS、TDB、TBI、ECI等業務，涉及到的調度包括Quartz、Elastic-Job、Xxl-job、Oozie，使用的開發語言包括Delphi、C++、C#、Java和Python等。
這讓我思考，是否可以做一個統一的大數據調度平臺，統一調度與語言？恰好這時大數據部門的領導推薦了Apache DolphinScheduler。
底座規劃中的調度平臺
響應四川省數字化轉型的號召，集團的數字化轉型已進行一年多，為傳統企業數字化轉型“打樣板”，做支撐。為此，集團進行了數字化平臺底座規劃。
在底座規劃中，集團計劃將Apache DolphinScheduler作為統一的調度平臺。
應用案例
2023年，集團正式使用Apache DolphinScheduler，我的使用感受是界面清爽，一目瞭然，數據源與集團採購系統較為匹配，組件也比較豐富。
IOT設備數據採集與應用
在IOT設備數據採集方面，鐵騎力士集團期望利用Apache DolphinScheduler實現了對豬（雞）舍和屠宰車間環境的實時監控與數據採集，包括溫度、濕度、光照度、製冷度、氨氣與硫化氫濃度等關鍵指標，上傳到數據資產管理平臺，經過對數據的調度，最終在禽畜養殖管理平臺展現出來。
通過調度事件，我們希望實現定時喂養、自動投料與喂水等自動化操作，並利用豬臉識別技術監控生豬動態，屠宰車間製冷控制，提高養殖效率。
在我們的構想中，我們希望建成一個禽畜養殖調度管理平臺，由總調度平臺採集集團所有養殖基地的數據，並形成溫度、濕度、光照度、製冷度等的可視化調度管理。
主數據歸一化管理
在主數據管理方面，鐵騎力士集團通過Apache DolphinScheduler的SQL組件，實現了經銷商、供應商、產品物料和人員組織等數據的歸一化管理。這一舉措不僅提高了數據的一致性和可用性，也為數據驅動的決策提供了堅實的基礎。
大數據部門主要使用了Apache DolphinScheduler的DataX和Sqoop組件。
由於系統比較多，數據同步過來之後需要及時進行數據校驗，比如唯一單據的校驗。
電商情報數據應用
電商情報數據的應用是鐵騎力士集團數字化轉型的另一亮點。通過Python和Java組件，集團能夠高效處理來自不同商超平臺的數據，實現數據的快速分析和應用。
級聯組件的創新應用
在業務流程自動化方面，鐵騎力士集團希望通過Apache DolphinScheduler的級聯組件，實現業務場景的創新應用。例如，通過調度平臺整合EAA系統與集團的各系統數據，實現從發票/完稅證明到報銷/收付款的全流程自動化。
有了上面的構想，我們提出了三個方案：
方案1：SQL+PYTHON+HTTP組件，這個方案的優點是可以實現解耦，但SQL組件的列表數據無法傳輸到下一個組件；
；
方案2：JAVA/PYTHON組件，這個方式實現起來簡單，但每個介面都需要寫代碼；
方案3： HTTP組件，這個方案需要統一調度平臺，可以寫一個http介面去驅動源系統向目標系統發出請求，但僅僅是換了調度平臺。
在實踐過程中，我們發現在使用Apache DolphinSchedulers時遇到了一些技術挑戰。
遇到的挑戰與解決方案
例如SQL組件的列表數據無法傳輸到下一個組件的問題。官方文檔顯示Apache DolphinScheduler支持SQL和Python參數傳遞，但在實際應用中，我們發現LIST數據類型是不可傳遞的。為瞭解決這個問題，團隊只能使用http的方式開發介面，把源數據同步到數據管理平臺。
對開源社區的展望
雖然由於時間緊急，我曾擱淺了改造源碼已實現對LIST數據類型的支持，但考慮到Apache DolphinScheduler未來在集團數字化轉型戰略中的重要作用，我還是提倡積极參与到Apache DolphinScheduler開源社區中，並且有一些建議給到社區。
據我觀察，在農牧行業中，組件之間進行數據傳輸的應用場景廣泛，像鐵騎力士這樣的大型傳統農牧企業，其實技術人員數量不多，大部分系統為外部採購二開，開發能力相對較弱，希望可以有像白鯨開源這樣的企業能夠提供專業的服務。
另外，從開發層面，希望開源社區能夠補齊數據傳輸管道的場景，有一個過濾器可以過濾掉所需的數據，存儲到具體的業務系統中。
當然，我鼓勵更多的開發者加入Apache DolphinScheduler社區，共同推動調度平臺的發展和創新。
結語
隨著數字化轉型的不斷深入，鐵騎力士集團將繼續探索和實踐新技術，以實現更高效、更智能的企業運營。Apache DolphinScheduler作為集團數字化轉型的重要工具，將繼續在這一過程中發揮關鍵作用。
本文由 白鯨開源 提供發佈支持！
