DataX 離線跨網場景的實施配置

来源:https://www.cnblogs.com/leeolevis/archive/2020/03/10/DataX-Offline-Sync.html
-Advertisement-
Play Games

配置僅限於跨不同網情況,網路互通情況方案和配置會更簡單一點 內網A:MySql數據轉換成Csv { "job": { "setting": { "speed": { "channel":1 } }, "content": [ { "reader": { "name": "mysqlreader", ...


配置僅限於跨不同網情況,網路互通情況方案和配置會更簡單一點

內網A:MySql數據轉換成Csv

{
  "job": {
      "setting": {
          "speed": {
               "channel":1
          }
      },
      "content": [
          {
              "reader": {
                  "name": "mysqlreader",
                  "parameter": {
                      "username": "root",
                      "password": "",
                      "connection": [
                          {
                              "querySql": [
                                  "select id,name from table;"
                              ],
                              "jdbcUrl": [
                                  "jdbc:mysql://127.0.0.1/database"
                              ]
                          }
                      ]
                  }
              },
              "writer": {
                  "name": "txtfilewriter",
                  "parameter": {
                      "print": true,
                      "encoding": "UTF-8",
                      "path": "/result",
                      "fileName": "result.csv",
                      "writeMode": "truncate",
                      "dateFormat": "YYYY-MM-dd hh:mm:ss",
                      "header":["id", "name"]
                  }
              }
          }
      ]
  }
}

  

內網B:CSV導入到內網B配置:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path":["D:/result/result.csv"],
                        "encoding": "UTF-8",
                        "column": [
                            {
                                "index": 0,
                                "name":"id",
                                "type": "long"
                            },
                            {
                                "index": 1,
                                "name":"name",
                                "type": "string"
                            }
                        ],
                        "skipHeader": "true"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "",
                        "column": [
                            "id", "name"
                        ],
                        "preSql": [
                            "truncate table table;"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/table?characterEncoding=utf-8",
                                "table": [
                                    "table"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

  

 註意編碼和欄位支持的類型,詳細可查看DataX官方文檔。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 存儲引擎: 早期的時候,存在如何選擇MyISAM和Innodb? 現在,Innodb不斷地發展完善,成為了主流的存儲引擎。 因此5.5之後的mysql,無腦選擇Innodb即可。 MYSQL中的數據,索引以及其他的對象,是如何存儲的,是一套文件系統的實現。 MYSQL支持很多的存儲引擎,使用 SHO ...
  • mysql調優 1.選擇合適的存儲引擎 + 經常用來讀的表使用myisam引擎 + 其餘的表都使用innodb引擎 2.SQL語句調優(儘量避免全表掃描) + 在select where order by常涉及到的欄位上建立索引 + where語句中不使用 !=,否則將放棄使用索引進行全表掃描 + ...
  • 一、Mysql常見筆試題 1、Mysql 中有哪幾種鎖? (1)表級鎖:開銷小,加鎖快。不會出現死鎖,鎖定粒度大,發生鎖衝突的概率高,併發度低。 (2)行級鎖:開銷大,加鎖慢。會出現死鎖,鎖定粒度小,發生鎖衝突的概率低,併發度高。 (3)頁面鎖:開銷時間、加鎖時間、鎖定粒度在 表級鎖 與 行級鎖 之 ...
  • 索引的概念 不使用索引,要操作某些行時,需要遍歷遍歷整張表來找到匹配的行,很花時間,且有點耗資源。 書:目錄=>快速定位到指定章節,不用一頁一頁地找 資料庫:索引=>快速定位到指定記錄,不用遍曆數據表去找,索引相當於數據表的目錄 索引的優缺點 提高查詢效率,尤其是記錄數超級多的時候,查詢速度提升極大 ...
  • Web項目中,當Java或者Go等語言速度提升到瓶頸的時候,我們需要關心MySQL的優化 可以優化的方面有很多:設計表、負載均衡、讀寫分離、SQL語句優化等 (1)IP地址設計 例如我們需要存儲IP地址:192.168.1.1 第一反應是選用VARCHAR(15);但是更好的方式是INT UNSIG ...
  • 原因:mysql server使用的是8.0的版本,密碼加密方式發生了變化,使用的Navicat版本較低,不能適配8.0的mysql的加密方式。 3種解決方式: 1、下載安裝最新版的Navicat 2、打開mysql自帶的命令行客戶端,輸入密碼 ALTER USER 'root'@'localhos ...
  • 下麵講解常見 Navicat Premium中創建用戶與資料庫的命令。 #用root登錄資料庫 #創建庫 create database XXX;#創建用戶 create user 'XXX' identified by 'XXX';#給用戶賦許可權 grant all on XXX.* to 'XX ...
  • mysql5.X和mysql8.X的驅動類、jdbc連接地址、引用Jar包等都是不一樣的。 下麵對照表以mysql5.7/8.0.11為例: 類型 驅動程式(JAR) maven配置 驅動類(jdbc.driver) jbdc連接地址(jdbc.url) 備註 mysql5.7 mysql-conn ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...