大數據Hadoop之——基於記憶體型SQL查詢引擎Presto（Presto-Trino環境部署）

来源:https://www.cnblogs.com/liugp/archive/2022/05/17/16282596.html
-Advertisement-
Play Games

一、概述 Presto是Facebook開源的MPP（Massively Parallel Processing：大規模並行處理）架構的OLAP（on-line transaction processing：聯機事務處理），完全基於記憶體的並⾏計算，可針對不同數據源，執行大容量數據集的一款分散式SQL ...


目錄

一、概述

Presto是Facebook開源的MPP（Massively Parallel Processing：大規模並行處理）架構的OLAP（on-line transaction processing：聯機事務處理），完全基於記憶體的並⾏計算，可針對不同數據源，執行大容量數據集的一款分散式SQL互動式查詢引擎。 它是為瞭解決Hive的MapReduce模型太慢以及不能通過BI或Dashboards直接展現HDFS數據等問題。

但是Presto目前有兩大分支：PrestoDB（背靠Facebook）和PrestoSQL現在改名為Trino（Presto的創始團隊），雖然PrestoDB背靠Facebook，但是社區活躍度和使用群體還是遠不如Trino。所以這裡以Trino為主展開講解。

PrestoDB官方文檔：https://prestodb.io/docs/current/

Trino官方文檔：https://trino.io/docs/current/

二、Trino特點

Trino是基於java開發的，對於大部分開發者和使用者而言，Trino容易學習並對特定的場景進行二次開發和性能優化等。多數據源、支持SQL、擴展性強、高性能，流水線模式。

  • 多數據源：目前版本支持20多種數據源，幾乎能覆蓋所有常見情況，Elasticsearch 、Hive 、JMX 、Kafka Kudu 、Local File、Memory 、MongoDB 、MySQL 、Redis等等

  • 支持SQL：完成支持ANSI SQL，提供SQL shell

  • 擴展性：支持開發自己的特定數據源的connector

  • 高性能：Trino基於記憶體計算，在絕大多數情況下，Trino的查詢性能是hive的10倍以上，完全能實現互動式，實時查詢

  • 流水線：Trino是基於PipeLine設計的，在進行大量設計處理過程中，終端不需要等待所有的數據計算完畢之後才能看到結果，計算一部分就可以看部分結果

三、Trino架構

1）架構和服務節點

  • Trino查詢引擎是一個Master-Slave的架構，有兩種進程Coordinator服務進程和worker服務進程組成。細分的話還有一個Discovery Server節點，Discovery Server通常內嵌於Coordinator節點中。
  • Coordinator主要作用是接收查詢請求，解析查詢語句，生成查詢執行計劃，任務調度和worker管理。
  • Worker服務進程執行被分解的查詢執行任務：task
  • Worker節點啟動後向Discovery Server服務註冊，Coordinator從Discovery Server獲得可以正常工作的Worker節點。
  • 如果配置了Hive Connector，需要配置一個Hive MetaStore服務為Trino提供Hive元信息，Worker節點與HDFS交互讀取數據。

2）Trino數據模型

Trino就是通過Connector來訪問不同的數據源的，相當於訪問不同數據源的驅動程式，每種connector都實現了Trino的標準SPI介面，因此只要實現了標準SPI介面就可以制定特殊的Connector來訪問數據源。

Trino採取三層表結構：

  • Catalog

Trino中Catalog類似於mysql中的一個資料庫實例，Schema類似於mysql當中的一個database。如用Trino去連接一個hive中的一個庫
trino --server ip:port --catalog hive --schema xxx 這樣就可以訪問hive的中的xxx庫。

  • Schema

Trino中的schema就相當於mysql中的一個具體的database。

  • Table

Trino中的table和mysql中table含義一樣

四、Trino安裝部署

官方安裝文檔：https://trino.io/docs/current/installation/deployment.html

1）單機版（Coordinator和Worker同進程）

1、安裝JDK11

【溫馨提示】JDK最低要求版本為11.0.11



$ cd /opt/bigdata/hadoop/software/
$ wget https://cdn.azul.com/zulu/bin/zulu11.54.25-ca-jdk11.0.14.1-linux_x64.zip
$ unzip zulu11.54.25-ca-jdk11.0.14.1-linux_x64.zip -d /opt/bigdata/hadoop/server/

配置環境變數，在/etc/profile添加如下內容：

export JAVA_HOME=/opt/bigdata/hadoop/server/zulu11.54.25-ca-jdk11.0.14.1-linux_x64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

載入生效

$ source /etc/profile
$ java -version

2、安裝python

一般linux機器自帶了python，所以自帶了就可以不用再裝了，沒python環境，就得安裝下麵步驟安裝python環境

$ yum -y install python3
$ python3 --version
$ ln -s /usr/bin/python3 /usr/bin/python

當然也可以離線安裝，各個版本下載地址：https://www.python.org/ftp/python/

3、下載Trino安裝包

$ cd /opt/bigdata/hadoop/software
$ wget https://repo1.maven.org/maven2/io/trino/trino-server/375/trino-server-375.tar.gz
$ tar -xvf trino-server-375.tar.gz -C /opt/bigdata/hadoop/server/
$ cd /opt/bigdata/hadoop/server
$ mv trino-server-375 presto375

4、配置

首先創建etc和data目錄，後面配置文件需要用到

$ cd /opt/bigdata/hadoop/server/presto375
$ mkdir etc data
  • Node properties
$ cat << EOF > etc/node.properties
# 環境的名字。集群中所有的Trino節點必須具有相同的環境名稱。
node.environment=presto
# 此Trino安裝的唯一標識符。這對於每個節點都必須是唯一的。
node.id=presto-worker
# 數據目錄的位置(文件系統路徑)。Trino在這裡存儲日誌和其他數據。
node.data-dir=/opt/bigdata/hadoop/server/presto375/data
EOF
  • JVM config

【溫馨提示】 -Xmx最大堆記憶體大小，根據機器配置來定，但是一般jvm堆記憶體分配<32G。

$ cat << EOF > etc/jvm.config
-server
-Xmx2G
-XX:-UseBiasedLocking
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow
-XX:ReservedCodeCacheSize=512M
-XX:PerMethodRecompilationCutoff=10000
-XX:PerBytecodeRecompilationCutoff=10000
-Djdk.attach.allowAttachSelf=true
-Djdk.nio.maxCachedBufferSize=2000000
EOF
  • Config properties
$ cat << EOF > etc/config.properties
# 設置該節點為coordinator節點
coordinator=true
# 允許在協調器上調度工作，也就是coordinator節點又充當worker節點用
node-scheduler.include-coordinator=true
# 指定HTTP伺服器的埠。Trino使用HTTP進行內部和外部web的所有通信。
http-server.http.port=9000
# 查詢可以使用的最大分散式記憶體。【註意】不能配置超過jvm配置的最大堆棧記憶體大小
query.max-memory=1GB
# 查詢可以在任何一臺機器上使用的最大用戶記憶體。【註意】也是不能配置超過jvm配置的最大堆棧記憶體大小
query.max-memory-per-node=1GB
# hadoop-node1也可以是IP
discovery.uri=http://hadoop-node1:9000
EOF
  • Log levels
$ cat << EOF > etc/log.properties
# 設置日誌級別，有四個級別：DEBUG, INFO, WARN and ERROR
io.trino=INFO
EOF

5、配置jmx連接器

Java管理擴展（JMX）提供有關JVM中運行的Java虛擬機和軟體的信息。JMX連接器用於在Trino伺服器中查詢JMX信息。

配置

$ cd /opt/bigdata/hadoop/server/presto375
# 先創建catalog目錄
$ mkdir etc/catalog/ -p
$ echo "connector.name=jmx" > etc/catalog/jmx.properties

6、啟動服務

$ cd /opt/bigdata/hadoop/server/presto375
$ bin/launcher start
$ netstat -tnlp|grep :9000

7、測試驗證

web訪問驗證：http://hadoop-node1:9000


8、下載客戶端

$ cd /opt/bigdata/hadoop/server/presto375/bin/
$ wget https://repo1.maven.org/maven2/io/trino/trino-cli/375/trino-cli-375-executable.jar
# 改名，加執行許可權
$ mv trino-cli-375-executable.jar trino
$ chmod +x trino

### 連接測試
$ cd /opt/bigdata/hadoop/server/presto375
$ ./bin/trino --server hadoop-node1:9000
# 命令不區分大小寫
show catalogs;
# 查庫
show schemas from system;
# 查表
show tables from system.runtime;
# 查具體記錄，查看當前node節點記錄
select * from system.runtime.nodes;

2）單機版（Coordinator和Worker不同進程）

其實上面的部署方式，是Coordinator和Worker在同一個進程中，現在需要分開。

  • 先停掉服務
$ cd /opt/bigdata/hadoop/server/presto375
$ ./bin/launcher stop
  • 創建coordinator和worker目錄
$ cd mkdir coordinator worker
# copy to coordinator
$ cp -r bin data etc lib NOTICE plugin README.txt coordinator/
# copy to worker
$ cp -r bin data etc lib NOTICE plugin README.txt worker/
  • 修改coordinator配置
$ cd /opt/bigdata/hadoop/server/presto375/coordinator

### etc/node.properties
$ cat << EOF > etc/node.properties
node.environment=presto
node.id=presto-coordinator
node.data-dir=/opt/bigdata/hadoop/server/presto375/coordinator/data
EOF

### etc/jvm.config
$ cat << EOF > etc/config.properties
# 設置該節點為coordinator節點
coordinator=true
# 允許在協調器上調度工作，也就是coordinator節點又充當worker節點用
node-scheduler.include-coordinator=false
# 指定HTTP伺服器的埠。Trino使用HTTP進行內部和外部web的所有通信。
http-server.http.port=9000
# 查詢可以使用的最大分散式記憶體。【註意】不能配置超過jvm配置的最大堆棧記憶體大小
query.max-memory=1GB
# 查詢可以在任何一臺機器上使用的最大用戶記憶體。【註意】也是不能配置超過jvm配置的最大堆棧記憶體大小
query.max-memory-per-node=1GB
# hadoop-node1也可以是IP
discovery.uri=http://hadoop-node1:9000
EOF
  • 啟動coordinator
$ ./bin/launcher start

  • 修改worker配置
$ cd /opt/bigdata/hadoop/server/presto375/worker

### etc/node.properties
$ cat << EOF > etc/node.properties
node.environment=presto
node.id=presto-worker
node.data-dir=/opt/bigdata/hadoop/server/presto375/worker/data
EOF

$ cat << EOF > etc/config.properties
# 設置該節點為worker節點
coordinator=false
# 指定HTTP伺服器的埠。Trino使用HTTP進行內部和外部web的所有通信。這裡埠得改，要不然會存在埠衝突
http-server.http.port=8080
# 查詢可以使用的最大分散式記憶體。【註意】不能配置超過jvm配置的最大堆棧記憶體大小
query.max-memory=1GB
# 查詢可以在任何一臺機器上使用的最大用戶記憶體。【註意】也是不能配置超過jvm配置的最大堆棧記憶體大小
query.max-memory-per-node=1GB
# hadoop-node1也可以是IP
discovery.uri=http://hadoop-node1:9000
EOF
  • 啟動worker
$ ./bin/launcher start
$ netstat -tnlp|grep 8080
$ jps

3）集群模式（多worker節點）

把worker目錄全部copy到另外的機器（hadoop-node2）啟動即可，修改配置，啟動即可以。操作如下：

1、安裝JDK11

$ cd /opt/bigdata/hadoop/software/
$ wget https://cdn.azul.com/zulu/bin/zulu11.54.25-ca-jdk11.0.14.1-linux_x64.zip
$ unzip zulu11.54.25-ca-jdk11.0.14.1-linux_x64.zip -d /opt/bigdata/hadoop/server/

配置環境變數，在/etc/profile添加如下內容：

export JAVA_HOME=/opt/bigdata/hadoop/server/zulu11.54.25-ca-jdk11.0.14.1-linux_x64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

載入生效

$ source /etc/profile
$ java -version

2、安裝python

一般linux機器自帶了python，所以自帶了就可以不用再裝了，沒python環境，就得安裝下麵步驟安裝python環境

$ yum -y install python3
$ python3 --version
$ ln -s /usr/bin/python3 /usr/bin/python

3、copy worker目錄到其它節點

# hadoop-node2上創建目錄
$ mkdir -p /opt/bigdata/hadoop/server/presto375
# 在hadoop-node1上執行下麵操作
$ cd /opt/bigdata/hadoop/server/presto375
$ scp -r worker hadoop-node2:/opt/bigdata/hadoop/server/presto375/

4、修改配置

$ /opt/bigdata/hadoop/server/presto375/worker
# 只需要修改etc/node.properties
$ cat << EOF > etc/node.properties
# node.environment所有節點都是一樣的
node.environment=presto
# node.id唯一性
node.id=presto-worker02
node.data-dir=/opt/bigdata/hadoop/server/presto375/worker/data
EOF

5、啟動worker節點服務

$ cd /opt/bigdata/hadoop/server/presto375/worker
$ ./bin/launcher start
$  netstat -tnlp|grep 8080


查表驗證

$ cd /opt/bigdata/hadoop/server/presto375/coordinator
# 非互動式，以TSV_HEADER格式展示
$ ./bin/trino --server hadoop-node1:9000 --execute "select * from system.runtime.nodes;" --output-format=TSV_HEADER
# 下麵這句跟上面等價
$ ./bin/trino --server hadoop-node1:9000 --catalog system --schema runtime --execute "select * from nodes;" --output-format=TSV_HEADER

五、配置HTTPS（coordinator）

1）生成證書

$ cd /opt/bigdata/hadoop/server/presto375/coordinator
$ mkdir certificate
$ cd certificate
# 生成 CA 證書私鑰
$ openssl genrsa -out clustercoord.key 4096
# 生成 CA 證書
$ openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=mypresto.com" \
 -key clustercoord.key \
 -out clustercoord.cert

# 合併
$ cat clustercoord.key clustercoord.cert > clustercoord.pem

2、配置

$ cd /opt/bigdata/hadoop/server/presto375/coordinator

在etc/config.properties添加如下配置：

http-server.https.enabled=true
http-server.https.port=8443
http-server.https.keystore.path=/opt/bigdata/hadoop/server/presto375/coordinator/certificate/clustercoord.pem

3、重啟服務並驗證

$ ./bin/launcher restart
$ jps
$ netstat -tnlp|grep 9000
$ netstat -tnlp|grep 8443

web UI：https://hadoop-node1:8443/

【溫馨提示】之前的http也還是可以訪問的：http://hadoop-node1:9000/

4、配置賬號密碼訪問

# etc/config.properties增加如下配置：
http-server.authentication.type=PASSWORD

創建配置etc/password-authenticator.properties，此處可以配置使用LDAP或密碼文件認證，這裡測試採用密碼文件認證。配置內容如下：

password-authenticator.name=file
file.password-file=/opt/bigdata/hadoop/server/presto375/coordinator/etc/password.db

創建密碼文件etc/password.db，配置賬號和密碼，密碼是bcrypt格式密文密碼，這裡賬號密碼自定義就好，這裡使用，admin/123456

這裡提供一個線上bcrypt加密地址：http://www.ab126.com/goju/10822.html

etc/password.db內容如下：

admin:$2y$10$9O.FnPn27br2ebxzns3QkOj22OTQAaTvIBPjZd1dAjS5MOXaOJFxK

【溫馨提示】生成出來的密文密碼，開頭必須是$2y$，所以把上面的a換成了y了，要不然登錄不了。

重啟服務驗證

$ cd /opt/bigdata/hadoop/server/presto375/coordinator
$ ./bin/launcher restart


到這裡就配置完成了。還有其它認證方式，可以查看官方文檔。

六、連接器

連接器其實就是指定某種數據源，上面已經配置過了jmx，這裡就不再重覆，這裡主要講mysql和hive這兩個連接器，mysql和hive的安裝可以參考我之前的文章：大數據Hadoop之——數據倉庫Hive。其它的連接器，可以自行查看官方文檔。

1）MySQL連機器

MySQL連接器允許在外部MySQL實例中查詢和創建表。

在etc/catalog目錄下，增加mysql配置，配置文件為mysql.properties，具體配置如下：

# 所有節點都得添加
$ cat << EOF > etc/catalog/mysql.properties
connector.name=mysql
connection-url=jdbc:mysql:/hadoop-node1:3306
connection-user=root
connection-password=123456
EOF

重啟Trino服務

$ ./bin/launcher restart
# 註意下麵連接方式會報錯，因為是使用https方式，而我們上面生成的證書是不可信的，所以需要加--insecure，去跳過證書驗證。
$ ./bin/trino --server https://hadoop-node1:8443 --user=admin --password
# 互動式登錄
$ ./bin/trino --server https://hadoop-node1:8443 --user=admin --password --insecure
show catalogs;
show schemas from mysql;
show tables from mysql.azkaban;

非交互登錄

# 非交互登錄設置一個TRINO_PASSWORD 環境變數
$ export TRINO_PASSWORD="123456"
$ ./bin/trino --server https://hadoop-node1:8443 --user=admin --password --insecure
show catalogs;

非互動式執行SQL，加上這個參數--execute="sql語句"和TRINO_PASSWORD 環境變數

$ export TRINO_PASSWORD="123456"
## --execute=
$ ./bin/trino --server https://hadoop-node1:8443 --user=admin --password --insecure --execute="show catalogs;"
# 以不同的格式輸出，--output-format
$ ./bin/trino --server https://hadoop-node1:8443 --user=admin --password --insecure --execute="show catalogs;" --output-format=JSON
# 如果覺得這條命令太長，可以設置別名
$ alias trino='./bin/trino --server https://hadoop-node1:8443 --user=admin --password --insecure'
$ trino --execute="show catalogs;" --output-format=JSON


到這步就可以開始愉快的寫sql了。

2）Hive連接器

Hive依賴於hadoop的基礎服務，可以參考我之前的文章：大數據Hadoop原理介紹+安裝+實戰操作（HDFS+YARN+MapReduce）
Hive的安裝部署可以參考我之前的文章：：大數據Hadoop之——數據倉庫Hive

啟動hdfs、yarn、hive服務

# 啟動hdfs、yarn服務，hdfs webui埠：9870，yarn webui埠：8088
$ start-all.sh
# 啟動hive metastore服務，埠：9083
$ nohup hive --service metastore &

準備好基礎服務後，就可以開始配置Trino了。

$ cat << EOF > etc/catalog/hive.properties
connector.name=hive
hive.metastore.uri=thrift://hadoop-node1:9083
EOF

重啟服務

$ ./bin/launcher restart

驗證

$ ./bin/trino --server https://hadoop-node1:8443 --user=admin --password --insecure
show catalogs;
show schemas from hive;
show tables from hive.default;

【溫馨提示】雖然是連hive，但是計算不會再走MR了，直接在記憶體中計算輸出結果，insert添加數據也是直接在記憶體完成，把數據推到HDFS，元數據還是存在mysql，非常快，這也是Trino的優勢。示例如下：

insert into person_1 values (1,'p1',21);
insert into person_1 values (2,'p2',22);


更多連接器，請查閱官方文檔：https://trino.io/docs/current/connector.html

七、Trino JDBC driver

Trino JDBC驅動程式允許用戶使用基於java的應用程式和運行在JVM中的其他非java應用程式訪問Trino。其實就是java大數據開發。

環境搭建可以參考我之前的文章：大數據Hadoop之——搭建本地flink開發環境詳解（window10）

1）Maven配置

在pom.xml添加如下內容：

<dependencies>
    <dependency>
        <groupId>io.trino</groupId>
        <artifactId>trino-jdbc</artifactId>
        <version>375</version>
    </dependency>
</dependencies>

2）示例演示

package com.bigdata;

import java.sql.*;
import java.util.Properties;

public class TrinoTest001 {
    public static void main(String[] args) throws SQLException {
        // URL parameters
        String url = "jdbc:trino://hadoop-node1:8443/hive/default";
        Properties properties = new Properties();
        properties.setProperty("user", "admin");
        properties.setProperty("password", "123456");
        properties.setProperty("SSL", "true");
        // 證書不可信，必須這下麵這行
        properties.setProperty("SSLVerification", "NONE");
        Connection connection = DriverManager.getConnection(url, properties);
        Statement stmt = connection.createStatement();
        ResultSet rs = stmt.executeQuery("show tables");
        while (rs.next()) {
            // 獲取第一列數據
            System.out.println(rs.getString(1));
        }
        rs.close();
        connection.close();
        // properties
        /**
         * 另一種寫法
         * String url = "jdbc:trino://hadoop-node1:8443/hive/default?user=admin&password=123456&SSL=true&SSLVerification=NONE";
         *Connection connection = DriverManager.getConnection(url);
         * Statement stmt = connection.createStatement();
         * ResultSet rs = stmt.executeQuery("show tables");
         * while (rs.next()) {
         *   // 獲取第一列數據
         *
         *   System.out.println(rs.getString(1));
         * }
         * rs.close();
         * connection.close();
        *
        */

    }
}

Trino的基礎部分就到這結束了，如果疑問歡迎給我留言，關於更Trino的知識可以參考官方文檔：https://trino.io/docs/current/index.html，關於更多大數據相關知識，請耐心等待~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 基於SqlSugar的開發框架循序漸進介紹（1）--框架基礎類的設計和使用
    在實際項目開發中，我們可能會碰到各種各樣的項目環境，有些項目需要一個大而全的整體框架來支撐開發，有些中小項目這需要一些簡單便捷的系統框架靈活開發。本系列隨筆介紹底層利用SqlSugar來做ORM數據訪問模塊，設計一個簡單便捷一點的框架，本篇從基礎開始介紹一些框架內容。 ...
  • 解決centos8系統下防火牆報錯的問題
    解決centos8下啟動防火牆報錯 錯誤總結： centos8系統和其他的centos有了非常大的改變，網上的帖子有很多修複centos7下的版本，可以通過安裝python-goject或者python3-gi或者是pip install gi的方式修複模塊的缺失 但是centos8系統下的這些方式 ...
  • linux命令_find
    find命令 find命令的功能是根據給定的路徑和條件查找相關文件或目錄，可以使用的參數很多，並且支持正則表達式，結合管道符後能夠實現更加複雜的功能，是系統管理員和普通用戶日常工作必須掌握的命令之一。 find命令通常進行的是從根目錄（/）開始的全盤搜索，有別於whereis、which、locat ...
  • centos8.0配置靜態IP詳解及永久關閉防火牆
    1. 查看自己的網關地址 點擊虛擬機中編輯按鈕，選中虛擬網路編輯器 2.選擇點擊VMnet8，再點擊NAT設置 3.記住此時頁面的網關IP 4.進入虛擬機終端操作界面，切換到管理員用戶 5.找到CentOS8網路配置文件 cd /etc/sysconfig/network-scripts/ 找到自己 ...
  • 解決Ubuntu報錯 E: Unable to locate package yum
    鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 開門見山，Ubuntu的包管理工具是apt-get，所以不必再安裝yum。如果要安裝其他包需要使用apt-get命令。 # 這裡以locate命令為例 sudo apt-get install mlocate 下文就是問題解決的全過程了。 1. ...
  • macOS Monterey 12.4 (21F79) 正式版 ISO、IPSW、PKG 下載
    鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 1.下載WSL Ubuntu 打開微軟商店，搜索linux，找到Ubuntu並下載 2.安裝WSL Ubuntu 下載完成以後先不要安裝，因為預設安裝位置是在c盤，此時在其他盤新建一個文件夾，打開C:\Program Files\WindowsA ...
  • VMware 虛擬機圖文安裝和配置 AlmaLinux OS 8.6 教程
    前言： 這是《VMware 虛擬機圖文安裝和配置 Rocky Linux 8.5 教程》一文的姐妹篇教程，如果你需要閱讀它，請點擊這裡。 2020 年，CentOS 宣佈：計劃未來將重心從 CentOS Linux 轉移到 CentOS Stream。CentOS 8 的生命周期已於 2021 年 ...
  • mysql掃描全表更新狀態部分失敗
    1. mysql排序問題 一直以為mysql是按照主鍵排序的，實則排序和主鍵沒有關係(不使用 order by 子句)。 然後從 stackoverflow 上查了一下，找到了以下的回答： 沒有預設的排序順序。即使表具有聚集索引，也不能保證按該順序獲得結果。如果需要特定的順序，則必須使用ORDER ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類