近年來，政府將數據要素納入了經濟發展的重要指示性文件當中，希望利用數據驅動。《全國數據資源調查報告（2023年）》顯示，2024年以來不少地方紛紛成立“數據集團”，加快盤活數據資產。作為數字經濟時代的首要生產要素，數據將有望成為政府和企業財務報表以及財政收入的重要支持。 一、數據資產定義 數據資產是 ...
Percona Toolkit 神器全攻略（複製類） Percona Toolkit 神器全攻略系列共八篇，前文回顧： 前文回顧 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略（實用類） Percona Toolkit 神器全攻略（配置類） Percona T ...
原表結構如下，我們可以發現，“日運輸量”和“車次”是在同一張表中相互獨立的兩個欄位，即獨立的兩列數據，下麵，我將系統中的測試數據以及代碼全部放出來，以解釋列轉行的操作方法 原表資料庫查詢代碼： 1 SELECT 2 yzrq AS 運作日期, 3 DATE_FORMAT( yzrq, '%Y-%m' ...
Redis使用場景 目錄 緩存 緩存穿透 緩存擊穿 緩存雪崩 雙寫一致性 持久化 數據過期策略 數據淘汰策略 分散式鎖 實現原理（setnx、redission） 其他 哨兵模式、集群腦裂 分片集群、數據讀取規則 redis是單線程的卻很快 緩存 一、緩存穿透 定義：查詢一個不存在的數據，Mysql ...
摘要：本文主要介紹基於源碼部署 Datavines 和執行檢查作業，內容主要分為以下幾個部分： 平臺介紹 快速部署 運行數據質量檢查作業 Datavines 的目標是成為更好的數據可觀測性領域的開源項目，為更多的用戶去解決元數據管理和數據質量管理中遇到的問題。在此我們真誠歡迎更多的貢獻者參與到社區建 ...
本系列文章是 DolphinScheduler 由淺入深的教程，涵蓋搭建、二開迭代、核心原理解讀、運維和管理等一系列內容。適用於想對 DolphinScheduler瞭解或想要加深理解的讀者。 推薦閱讀： 海豚調度監控：使用圖關係解決核心鏈路告警問題，減輕任務運維負擔，用戶五星好評！ 海豚調度 ...
寫在前面 今天學習hadoop部分的知識。 Hadoop 概述 Hadoop 是一個適合海量數據的分散式存儲和分散式計算的平臺。Hadoop 的處理思想是“分而治之”。它起源於 Google 的三篇文章：Google FS（GFS），MapReduce，BigTable。Hadoop 主要包含三個核 ...
在用鍵值對RDD進行操作時，經常會遇到不知道如何篩選出想要數據的情況，這裡提供了一些解決方法 目錄1、對固定的Key數據進行查詢2、對不固定的Key數據進行模糊查詢 1、對固定的Key數據進行查詢 代碼說明: SparkConf：配置 Spark 應用程式的一些基本信息。 SparkContext： ...
時空人工智慧 時空人工智慧是AI領域的新型創新應用技術，定義為以時空為‘索引’對多源異構數據進行時空化治理和融合，並借力知識工程和AI演算法進行智能化分析，從而挖掘知識和輔助決策。時空AI是地理空間智能、城市空間智能和時空大數據智能等的統一表示，包括從時空感知、認知到決策預知的多項核心技術。其應用生態 ...
介紹： MyBatis-Plus 是基於 MyBatis 框架的一個增強工具，主要目的是簡化 MyBatis 的開發過程，提供更加簡潔、方便的 CRUD 操作。它是在保留 MyBatis 強大功能的基礎上，通過封裝和優化一些常見操作來提高開發效率。 MyBatis-Plus 提供了許多開箱即用的功能 ...
《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書，全書共分10章，第1章主要讓讀者認識數據資產，瞭解數據資產相關的基礎概念，以及數據資產的發展情況。第2～8章主要介紹大數據時代數據資產管理所涉及的核心技術，內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據許可權 ...
導讀：數據同步方式的重要性對於數據集成領域的興從業者不言而喻，選擇正確的數據同步方式能讓數據同步工作的成果事半功倍。目市面上的數據同步工具很多，提供的數據同步方式也有多種，不同的數據同步方式有什麼區別？如何選擇適合自己業務需求的數據同步方式呢？本文將對此進行深入分析，並深入剖析WhaleTunnel ...
tcp mem 相關 net.ipv4.tcp_rmem = 4096 131072 6291456 讀取緩衝區，單位位元組 net.ipv4.tcp_wmem = 4096 16384 4194304 發送緩衝區，單位位元組 net.ipv4.tcp_mem = 760707 1014278 1521 ...
文 / 興業證券股份有限公司 劉洋 石良生 柳君 李致琪 本文來源於網路，如有侵權，請聯繫刪除 任務調度平臺，扮演著自動執行預設任務的重要角色，是業務開展過程中不可或缺的一環。隨著業務規模的不斷擴展，興業證券每日需要進行數以萬計的任務調度，因此，優化和提升任務調度平臺的性能與穩定性至關重要。本文通過 ...
寫在前面 今天我們來學習一下 Redis 。Redis 是一個高性能的開源記憶體數據存儲系統，支持多種數據結構，如字元串、列表、集合、有序集合和哈希表。 NoSQL 概述 隨著大數據的興起，數據量的暴增，數據類型的豐富，傳統的關係資料庫在應付動態網站，特別是超大規模和高併發的純動態網站時已經顯得力不從 ...
最近在看Apache DolphineScheduler，發現DolphinScheduler在處理任務時，通過先將任務快速的存儲在資料庫中，然後基於對應的Task，將Task放入隊列中，然後將Task進行快速消費的思路。 這種模型在很多框架中，都有體現。 我們知道在Master模塊時處理任務的核心 ...
近年來，政府將數據要素納入了經濟發展的重要指示性文件當中，數據作為一種新型生產要素，已經成為第五大生產要素。 要實現數據要素的市場效能，真正發揮數據生產要素的作用，離不開數據資產化，而數據資產化自然也離不開數據資產管理這一基礎工作。數據資產管理是釋放數據要素價值、推動數據要素市場發展的重要前提。 全 ...
通過 T-SQL 語句來添加、刪除或修改鏈接伺服器配置 進行跨資料庫、跨實例或甚至跨資料庫系統的數據集成和查詢 SELECT * FROM sysservers 可以查出當前 SQL Server 實例上配置的所有鏈接伺服器的列表及其相關信息 示例使用 Transact-SQL 創建與其他 SQL ...