DataX同步mysql數據報錯 無法連接mysql

来源:https://www.cnblogs.com/aluna/archive/2023/02/13/17115485.html
-Advertisement-
Play Games

前文回顧 實現一個簡單的Database系列 譯註：cstack在github維護了一個簡單的、類似sqlite的資料庫實現，通過這個簡單的項目，可以很好的理解資料庫是如何運行的。本文是第八篇，主要是對B-tree的葉子節點格式的實現 Part 8 B-Tree葉子節點格式 我們準備把表的格式從非排 ...


DataX同步Mysql數據報錯

錯誤信息

2023-02-13 09:58:20.735 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2023-02-13 09:58:20.738 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2023-02-13 09:58:20.738 [main] INFO  JobContainer - DataX jobContainer starts job.
2023-02-13 09:58:20.739 [main] INFO  JobContainer - Set jobId = 0
2023-02-13 09:58:21.033 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[連接資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(註意網路環境).].  -  具體錯誤信息為：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2023-02-13 09:58:21.037 [job-0] ERROR RetryUtil - Exception when calling callable, 異常Msg:DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。
java.lang.Exception: DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。
	at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:71) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:51) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.common.util.RetryUtil.executeWithRetry(RetryUtil.java:30) [datax-common-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.rdbms.util.DBUtil.chooseJdbcUrl(DBUtil.java:51) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.dealJdbcAndTable(OriginalConfPretreatmentUtil.java:92) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.simplifyConf(OriginalConfPretreatmentUtil.java:59) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:33) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Job.init(CommonRdbmsReader.java:55) [plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.plugin.reader.mysqlreader.MysqlReader$Job.init(MysqlReader.java:37) [mysqlreader-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673) [datax-core-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303) [datax-core-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113) [datax-core-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.core.Engine.start(Engine.java:92) [datax-core-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.core.Engine.entry(Engine.java:171) [datax-core-0.0.1-SNAPSHOT.jar:na]
	at com.alibaba.datax.core.Engine.main(Engine.java:204) [datax-core-0.0.1-SNAPSHOT.jar:na]
2023-02-13 09:58:22.038 [job-0] ERROR RetryUtil - Exception when calling callable, 即將嘗試執行第1次重試.本次重試計劃等待[1000]ms,實際等待[1001]ms, 異常Msg:[DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。]
2023-02-13 09:58:22.042 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[連接資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(註意網路環境).].  -  具體錯誤信息為：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2023-02-13 09:58:24.042 [job-0] ERROR RetryUtil - Exception when calling callable, 即將嘗試執行第2次重試.本次重試計劃等待[2000]ms,實際等待[2000]ms, 異常Msg:[DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。]
2023-02-13 09:58:24.048 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[連接資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(註意網路環境).].  -  具體錯誤信息為：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2023-02-13 09:58:28.049 [job-0] ERROR RetryUtil - Exception when calling callable, 即將嘗試執行第3次重試.本次重試計劃等待[4000]ms,實際等待[4001]ms, 異常Msg:[DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。]
2023-02-13 09:58:28.054 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[連接資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(註意網路環境).].  -  具體錯誤信息為：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2023-02-13 09:58:36.055 [job-0] ERROR RetryUtil - Exception when calling callable, 即將嘗試執行第4次重試.本次重試計劃等待[8000]ms,實際等待[8000]ms, 異常Msg:[DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。]
2023-02-13 09:58:36.064 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[連接資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(註意網路環境).].  -  具體錯誤信息為：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2023-02-13 09:58:52.066 [job-0] ERROR RetryUtil - Exception when calling callable, 即將嘗試執行第5次重試.本次重試計劃等待[16000]ms,實際等待[16001]ms, 異常Msg:[DataX無法連接對應的資料庫，可能原因是：1) 配置的ip/port/database/jdbc錯誤，無法連接。2) 配置的username/password錯誤，鑒權失敗。請和DBA確認該資料庫的連接信息是否正確。]
2023-02-13 09:58:52.069 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://hadoop102:3306/gmall] failed, for Code:[DBUtilErrorCode-10], Description:[連接資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(註意網路環境).].  -  具體錯誤信息為：com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
^C[Error] DataX receive unexpected signal 2, starts to suicide.
2023-02-13 09:59:22
Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.212-b10 mixed mode):

"SIGINT handler" #10 daemon prio=9 os_prio=0 tid=0x00007fc7cc001000 nid=0x62f4 runnable [0x00007fc7d5634000]
   java.lang.Thread.State: RUNNABLE
	at java.lang.Thread.run(Thread.java:747)

"Abandoned connection cleanup thread" #8 daemon prio=5 os_prio=0 tid=0x00007fc7f4585800 nid=0x62e9 in Object.wait() [0x00007fc7d5da9000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
	at java.lang.Object.wait(Native Method)
	at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:144)
	- locked <0x00000000ec4eb448> (a java.lang.ref.ReferenceQueue$Lock)
	at com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43)

"Service Thread" #7 daemon prio=9 os_prio=0 tid=0x00007fc7f40d5800 nid=0x62e7 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread1" #6 daemon prio=9 os_prio=0 tid=0x00007fc7f40b8800 nid=0x62e6 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread0" #5 daemon prio=9 os_prio=0 tid=0x00007fc7f40b5800 nid=0x62e5 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Signal Dispatcher" #4 daemon prio=9 os_prio=0 tid=0x00007fc7f40b4000 nid=0x62e4 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007fc7f4081000 nid=0x62e3 in Object.wait() [0x00007fc7d7efd000]
   java.lang.Thread.State: WAITING (on object monitor)
	at java.lang.Object.wait(Native Method)
	- waiting on <0x00000000eab08ed0> (a java.lang.ref.ReferenceQueue$Lock)
	at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:144)
	- locked <0x00000000eab08ed0> (a java.lang.ref.ReferenceQueue$Lock)
	at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:165)
	at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:216)

"Reference Handler" #2 daemon prio=10 os_prio=0 tid=0x00007fc7f407e000 nid=0x62e2 in Object.wait() [0x00007fc7d7ffe000]
   java.lang.Thread.State: WAITING (on object monitor)
	at java.lang.Object.wait(Native Method)
	- waiting on <0x00000000eab06bf8> (a java.lang.ref.Reference$Lock)
	at java.lang.Object.wait(Object.java:502)
	at java.lang.ref.Reference.tryHandlePending(Reference.java:191)
	- locked <0x00000000eab06bf8> (a java.lang.ref.Reference$Lock)
	at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:153)

"job-0" #1 prio=5 os_prio=0 tid=0x00007fc7f400a800 nid=0x62de waiting on condition [0x00007fc7fda2d000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
	at java.lang.Thread.sleep(Native Method)
	at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:148)
	at com.alibaba.datax.common.util.RetryUtil.executeWithRetry(RetryUtil.java:30)
	at com.alibaba.datax.plugin.rdbms.util.DBUtil.chooseJdbcUrl(DBUtil.java:51)
	at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.dealJdbcAndTable(OriginalConfPretreatmentUtil.java:92)
	at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.simplifyConf(OriginalConfPretreatmentUtil.java:59)
	at com.alibaba.datax.plugin.rdbms.reader.util.OriginalConfPretreatmentUtil.doPretreatment(OriginalConfPretreatmentUtil.java:33)
	at com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader$Job.init(CommonRdbmsReader.java:55)
	at com.alibaba.datax.plugin.reader.mysqlreader.MysqlReader$Job.init(MysqlReader.java:37)
	at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673)
	at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303)
	at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)
	at com.alibaba.datax.core.Engine.start(Engine.java:92)
	at com.alibaba.datax.core.Engine.entry(Engine.java:171)
	at com.alibaba.datax.core.Engine.main(Engine.java:204)

解決方案： 排查了配置的ip/port/database/jdbc/username/password後，發現都沒有問題，最後是在datax/plugin/reader/mysqlreader/libs/ 中發現Java連接mysql的驅動包太老了，我的資料庫版本為8.0.31，datax的lib下驅動包為mysql-connector-java-5.1.34.jar，把對應資料庫版本的驅動包移過來以後就成功解決了

[aluna@hadoop102 datax]$ cd plugin/
[aluna@hadoop102 plugin]$ ll
總用量 8
drwxr-xr-x. 20 aluna aluna 4096 10月 12 2019 reader
drwxr-xr-x. 22 aluna aluna 4096 10月 12 2019 writer

[aluna@hadoop102 plugin]$ cd reader/
[aluna@hadoop102 reader]$ ll
總用量 0
drwxr-xr-x. 3 aluna aluna 111 10月 12 2019 cassandrareader
drwxr-xr-x. 3 aluna aluna 106 10月 12 2019 drdsreader
drwxr-xr-x. 3 aluna aluna 105 10月 12 2019 ftpreader
drwxr-xr-x. 3 aluna aluna 111 10月 12 2019 hbase094xreader
drwxr-xr-x. 3 aluna aluna 110 10月 12 2019 hbase11xreader
drwxr-xr-x. 3 aluna aluna 106 10月 12 2019 hdfsreader
drwxr-xr-x. 3 aluna aluna 109 10月 12 2019 mongodbreader
drwxr-xr-x. 3 aluna aluna 107 10月 12 2019 mysqlreader
drwxr-xr-x. 3 aluna aluna 106 10月 12 2019 odpsreader
drwxr-xr-x. 3 aluna aluna 108 10月 12 2019 oraclereader
drwxr-xr-x. 3 aluna aluna 105 10月 12 2019 ossreader
drwxr-xr-x. 3 aluna aluna 105 10月 12 2019 otsreader
drwxr-xr-x. 3 aluna aluna  79 10月 12 2019 otsstreamreader
drwxr-xr-x. 3 aluna aluna 112 10月 12 2019 postgresqlreader
drwxr-xr-x. 3 aluna aluna 107 10月 12 2019 rdbmsreader
drwxr-xr-x. 3 aluna aluna 111 10月 12 2019 sqlserverreader
drwxr-xr-x. 3 aluna aluna 108 10月 12 2019 streamreader
drwxr-xr-x. 3 aluna aluna 109 10月 12 2019 txtfilereader

[aluna@hadoop102 reader]$ cd mysqlreader/
[aluna@hadoop102 mysqlreader]$ ll
總用量 20
drwxr-xr-x. 2 aluna aluna 4096 10月 12 2019 libs
-rw-r--r--. 1 aluna aluna 7322 11月 24 2017 mysqlreader-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna  259 11月 24 2017 plugin_job_template.json
-rwxr-xr-x. 1 aluna aluna  345 11月 24 2017 plugin.json

[aluna@hadoop102 mysqlreader]$ cd libs/
[aluna@hadoop102 libs]$ ll
總用量 7732
-rw-r--r--. 1 aluna aluna  518641 11月 24 2017 commons-collections-3.0.jar
-rw-r--r--. 1 aluna aluna  185140 11月 24 2017 commons-io-2.4.jar
-rw-r--r--. 1 aluna aluna  412739 11月 24 2017 commons-lang3-3.3.2.jar
-rw-r--r--. 1 aluna aluna 1599627 11月 24 2017 commons-math3-3.1.1.jar
-rw-r--r--. 1 aluna aluna   95053 11月 24 2017 datax-common-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna 1952759 11月 24 2017 druid-1.0.15.jar
-rw-r--r--. 1 aluna aluna  372746 11月 24 2017 fastjson-1.1.46.sec01.jar
-rw-r--r--. 1 aluna aluna  934783 11月 24 2017 guava-r05.jar
-rw-r--r--. 1 aluna aluna   45024 11月 24 2017 hamcrest-core-1.3.jar
-rw-r--r--. 1 aluna aluna  264600 11月 24 2017 logback-classic-1.0.13.jar
-rw-r--r--. 1 aluna aluna  418870 11月 24 2017 logback-core-1.0.13.jar
-rw-r--r--. 1 aluna aluna  960372 11月 24 2017 mysql-connector-java-5.1.34.jar
-rw-r--r--. 1 aluna aluna   95960 11月 24 2017 plugin-rdbms-util-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna   32119 11月 24 2017 slf4j-api-1.7.10.jar

[aluna@hadoop102 libs]$ rm -rf mysql-connector-java-5.1.34.jar 
[aluna@hadoop102 libs]$ ll
總用量 6792
-rw-r--r--. 1 aluna aluna  518641 11月 24 2017 commons-collections-3.0.jar
-rw-r--r--. 1 aluna aluna  185140 11月 24 2017 commons-io-2.4.jar
-rw-r--r--. 1 aluna aluna  412739 11月 24 2017 commons-lang3-3.3.2.jar
-rw-r--r--. 1 aluna aluna 1599627 11月 24 2017 commons-math3-3.1.1.jar
-rw-r--r--. 1 aluna aluna   95053 11月 24 2017 datax-common-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna 1952759 11月 24 2017 druid-1.0.15.jar
-rw-r--r--. 1 aluna aluna  372746 11月 24 2017 fastjson-1.1.46.sec01.jar
-rw-r--r--. 1 aluna aluna  934783 11月 24 2017 guava-r05.jar
-rw-r--r--. 1 aluna aluna   45024 11月 24 2017 hamcrest-core-1.3.jar
-rw-r--r--. 1 aluna aluna  264600 11月 24 2017 logback-classic-1.0.13.jar
-rw-r--r--. 1 aluna aluna  418870 11月 24 2017 logback-core-1.0.13.jar
-rw-r--r--. 1 aluna aluna   95960 11月 24 2017 plugin-rdbms-util-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna   32119 11月 24 2017 slf4j-api-1.7.10.jar

[aluna@hadoop102 libs]$ rz -E
rz waiting to receive.

[aluna@hadoop102 libs]$ ll
總用量 9252
-rw-r--r--. 1 aluna aluna  518641 11月 24 2017 commons-collections-3.0.jar
-rw-r--r--. 1 aluna aluna  185140 11月 24 2017 commons-io-2.4.jar
-rw-r--r--. 1 aluna aluna  412739 11月 24 2017 commons-lang3-3.3.2.jar
-rw-r--r--. 1 aluna aluna 1599627 11月 24 2017 commons-math3-3.1.1.jar
-rw-r--r--. 1 aluna aluna   95053 11月 24 2017 datax-common-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna 1952759 11月 24 2017 druid-1.0.15.jar
-rw-r--r--. 1 aluna aluna  372746 11月 24 2017 fastjson-1.1.46.sec01.jar
-rw-r--r--. 1 aluna aluna  934783 11月 24 2017 guava-r05.jar
-rw-r--r--. 1 aluna aluna   45024 11月 24 2017 hamcrest-core-1.3.jar
-rw-r--r--. 1 aluna aluna  264600 11月 24 2017 logback-classic-1.0.13.jar
-rw-r--r--. 1 aluna aluna  418870 11月 24 2017 logback-core-1.0.13.jar
-rw-r--r--. 1 aluna aluna 2515519 9月   4 05:54 mysql-connector-j-8.0.31.jar
-rw-r--r--. 1 aluna aluna   95960 11月 24 2017 plugin-rdbms-util-0.0.1-SNAPSHOT.jar
-rw-r--r--. 1 aluna aluna   32119 11月 24 2017 slf4j-api-1.7.10.jar

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 學習ASP.NET Core Blazor編程系列二十五——登錄（4）
    1前言 爬蟲一般都是用Python來寫，生態豐富，動態語言開發速度快，調試也很方便 但是 我要說但是，動態語言也有其局限性，筆者作為老爬蟲帶師，幾乎各種語言都搞過，現在這個任務並不複雜，用我最喜歡的C#做小菜一碟~ 2開始 之前做 OneCat 項目的時候，最開始的數據採集模塊，就是用 C# 做的， ...
  • 修改Windows遠程桌面3389埠
    修改Windows遠程桌面3389埠 Windows版本：windows10、Windows server 2016、2019（其他版本沒有測過，應該也適用） 1、Windows桌面上，點擊“開始-運行”或鍵盤按下“WIN+R”打開運行視窗，輸入“regedit”，點擊確定打開註冊表編輯器。 2、 ...
  • 修改Linux內核版本信息的方法
    自己編譯的內核進行修改後為後續方便查詢是那個版本的系統。 所以每次更改內核後都需要修改一下版本信息， 又因為內核一般是不變的為了區分所以增加到擴展版本上。 操作環境： 硬體是全志 V3S Linux內核是3.4 修改的方法： 方法一： 一個在menuconfig中進行增加 打開menuconfig ...
  • SQL執行慢的原因分析以及調優手段
    1、大多數情況下很正常，偶爾很慢，則有如下原因 (1)、資料庫在刷新臟頁，例如 redo log 寫滿了需要同步到磁碟。 (2)、執行的時候，遇到鎖，如表鎖、行鎖。 (3)、sql寫的爛 2、這條 SQL 語句一直執行的很慢，則有如下原因 (1)、沒有用上索引或索引失效：例如該欄位沒有索引；或則由於 ...
  • GaussDB(DWS)遷移：一種執行高效的TereData的marco遷移方案
    摘要：提供一種執行高效的TereData的marco遷移方案。 本文分享自華為雲社區《GaussDB(DWS)遷移 - teredata相容 -- macro相容 # 【玩轉PB級數倉GaussDB(DWS)】》，作者： 譡里個檔 。 Teradata的巨集是一組可以接受參數的SQL語句，通過調用巨集名 ...
  • Hive 在工作中的調優總結
    總結了一下在以往工作中，對於`Hive SQL`調優的一些實際應用，是日常積累的一些優化技巧，如有出入，歡迎在評論區留言探討~ ...
  • HiveSQL 工作實戰總結
    記錄一些工作中有意思的統計指標，做過一些簡化方便大家閱讀，記錄如有錯誤，歡迎在評論區提問討論~ 問題類型 連續問題 兩種思路 第一種：日期減去一列數字得出日期相同，主要是通過row_number視窗函數 第二種：後一個日期減去前一個日期差值相等，用的較少，可以用lag/lead視窗函數解決 分組問題 ...
  • DataX二次開發——HdfsReader和HdfsWriter插件增加parquet文件讀寫
    一、研發背景 DataX官方開源的版本支持HDFS文件的讀寫，但是截止目前，並沒有支持Parquet文件的讀寫，得益於DataX出色的數據同步性能，去年公司的項目大部分採用了DataX作為數據同步工具，但是從CDH集群同步Parquet或者將其他數據源的數據以Parquet格式寫入HDFS，這兩個常 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類