使用PostgreSQL保存二進位的Protobuf

来源:https://www.cnblogs.com/dk168/archive/2023/02/12/17113830.html
-Advertisement-
Play Games

Ribbon 是Netflix公司提供的負載均衡客戶端,一般應用於服務的消費方法;Ribbon 可以解決基於負載均衡策略進行服務調用, 所有策略都會實現IRule介面;Ribbon 內置的負載策略有8種,可以通過查看IRule介面的實現類進行分析;@LoadBalanced的作用是描述RestTem... ...


前言

PostgreSQL 可以直接存儲二進位欄位,而上周我學習了通過Protobuf來做grpc通信格式,當然也是可以序列化為二進位存入資料庫的,需要的時候從資料庫查詢出來,通過protobuf來轉成對應的Java對象,本文就是來嘗試一下這個思路。

PostgreSQL 安裝

使用docker來安裝PostgreSQL, 參照網站https://hub.docker.com/_/postgres
命令如下
docker run --name my-postgres -p 5432:5432 -e POSTGRES_PASSWORD=kentest123$# -d postgres

以上命令會去下載postgresql的image,並運行起來, 如果需要我們程式訪問,-p一定要加上,把埠打開,不然程式不能連過去。
docker啟動後,可以使用如下命令,同時sh來查看資料庫資源
docker exec -it my-postgres sh

再執行psql可以輸入select語句
psql -U postgres

\l 是顯示所有資料庫
\c 資料庫名; 切換到某個資料庫,我們使用用戶postgres,預設會進入名為postgre的資料庫
\d 是查看資料庫中所有表
\d 表名是查看表的定義。
查看表的大小
select pg_size_pretty(pg_relation_size('customer')) as size;

代碼編寫

這裡直接用JPA來完成數據對資料庫的訪問

定義一個實體

@Entity
@Table(name = "market_price_byte")
@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class MarketPriceByte implements Serializable {
    @Id
    private String id;

    @Column(name = "values", nullable = false)
    private byte[] values;

}

MarketPriceByte 對應資料庫market_price_byte, 兩個欄位一個是id, 一個是byte數組,後面用來存我們的protobuf。

定義protobuf文件

定義一個proto文件pricevalue.proto

syntax = "proto3";

option java_multiple_files = true;
option java_package = "ken.postgresql.proto";
option java_outer_classname = "PriceValueProto";
option objc_class_prefix = "HLW";

package proto;



message PriceValue {
  sint32 date = 1;
  double open = 2;
  double high = 3;
  double low = 4;
  double close = 5;
}

message PriceValues {
  repeated PriceValue price_value = 1;
}

PriceValue表示一天的股票價格, PriceValues是歷史價格,我們就是把它序列化後存入到ProgresSQL裡面。

使用上篇用到的maven插件生成對應的Java類

編寫代碼

首先我們定義一個JpaRepository用來存取資料庫記錄
public interface MarketPriceByteRepository extends JpaRepository<MarketPriceByte, String> {
}

在配置文件中設置資料庫配置

spring.datasource.url=jdbc:postgresql://localhost:5432/postgres
spring.datasource.username=postgres
spring.datasource.password=kentest123$#
spring.jpa.hibernate.ddl-auto=update
spring.jpa.properties.hibernate.show_sql=true
spring.jpa.properties.hibernate.format_sql=true

spring.jpa.hibernate.ddl-auto 設置成 update,是代碼有更新的時候,同步更新資料庫表

編寫一個Service用來存數據到資料庫和從資料庫取數據


@Service
@Slf4j
public class MarketPriceService {
    @Autowired
    private MarketPriceByteRepository repository;
    public void createMarketPrice() {
        MarketPriceByte newMarketPrice = new MarketPriceByte();
        newMarketPrice.setId("0000000001");

        PriceValue priceValue = PriceValue.newBuilder()
                .setDate(100)
                .setOpen(1.01)
                .setHigh(1.12)
                .setLow(1.00)
                .setClose(1.11).build();

        PriceValue priceValue2 = PriceValue.newBuilder()
                .setDate(101)
                .setOpen(2.01)
                .setHigh(2.12)
                .setLow(2.00)
                .setClose(2.11).build();

        PriceValues priceValues = PriceValues.newBuilder()
                .addPriceValue(priceValue)
                .addPriceValue(priceValue2)
                .build();

        newMarketPrice.setValues(priceValues.toByteArray());
        log.info("Saving new MarketPrice...");
        this.repository.save(newMarketPrice);
    }

    public void queryAllMarketPrices() {
        List<MarketPriceByte> allMarketPrices = this.repository.findAll();
        log.info("Number of MarketPrices: " + allMarketPrices.size());
        if(allMarketPrices.size() > 0)
        {
            MarketPriceByte marketPriceByte = allMarketPrices.get(0);
            log.info(marketPriceByte.getId());
            byte[] values = marketPriceByte.getValues();
            try {
                PriceValues priceValues =  PriceValues.parseFrom(values);
                PriceValue priceValue1 = priceValues.getPriceValue(0);
                PriceValue priceValue2 = priceValues.getPriceValue(1);
                log.info(priceValue1.toString());
                log.info(priceValue2.toString());
            } catch (InvalidProtocolBufferException e) {
                throw new RuntimeException(e);
            }

        }
    }
}

createMarketPrice 我們hardcode了一個MarketPriceByte對象,Java對象序列化為protobuf
priceValues.toByteArray()
然後通過MarketPriceByteRepository存入資料庫
queryAllMarketPrices 將我們存入的數據查詢出來,完成從byte[] 轉成 Java對象 “PriceValues.parseFrom(values)”

調用代碼:
marketPriceService.createMarketPrice();
marketPriceService.queryAllMarketPrices();

調用後,我們到資料庫查詢,可以看到我們hardcode的那條記錄

image

這樣就完成了把protobuf對象存入到progresql資料庫。

總結

上面的代碼比較簡單,但對於第一次接觸的同學還是有些工作在這裡面, 比如docker裡面運行postgresql, JPA是否支持postgresql定義的二進位欄位, Protobuf生成的對象怎麼轉成byte[]
這些東西雖然簡單,但是也只有自己動手寫一寫,才印象比較深刻,才更好的理解。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • SpringMVC底層機制簡單實現-03 https://github.com/liyuelian/springmvc-demo.git 7.任務6-完成控制器方法獲取參數-@RequestParam 功能說明:自定義 @RequestParam 註解和方法參數名獲取參數。 當瀏覽器訪問 Handl ...
  • 最近項目 需要用到 sybase(sql anywhere)、mysql 資料庫 兩邊數據交互 。由於之前對sybase 資料庫一點不懂 踩了許多坑 特意記下: 連接 sybase 客戶端需要用到 SQL Central 17.0 (64-bit) 這個工具; 接下來我會一步一步詳細介紹: 1.連接 ...
  • 雪花演算法的原理 第一位符號位固定為0,41位時間戳,10位workld,12位序列號,位數可以有不同實現優點: 每個毫秒值包含的ID值很多,不夠可以變動位數來增加,性能佳 (依賴workld的實現)。.時間戳值在高位,中間是固定的機器碼,自增的序列在低位,整個ID是趨勢遞增的。0能夠根據業務場景數據 ...
  • 作者:翁智華 出處:https://www.cnblogs.com/wzh2010/ 背景 一天晚上10點半,下班後愉快的坐在在回家的地鐵上,心裡想著周末的生活怎麼安排。 突然電話響了起來,一看是我們的一個開發同學,頓時緊張了起來,本周的版本已經發佈過了,這時候打電話一般來說是線上出問題了。 果然, ...
  • Python類型註解僅在語法展示層面支持,對代碼的運行沒有任何影響,Python 解釋器在運行代碼的時候會忽略類型提示,Python的類型註解極大的提升了代碼可讀性,一定程度上緩解"動態語言一時爽,代碼重構火葬場"的尷尬。 ...
  • Maven Maven是專門用於管理和構建Java項目的工具,它的主要功能有: 提供了一套標準化的項目結構 提供了一套標準化的構建流程(編譯,測試,打包,發佈……) 提供了一套依賴管理機制 依賴管理 依賴管理其實就是管理你項目所依賴的第三方資源 (jar包、插件…) Apache Maven 是一個 ...
  • 一文看懂C++右值引用和移動語義 目錄 背景 什麼是右值引用 為什麼需要右值引用 移動構造 move的原理 move的應用場景 右值引用註意事項 總結 背景 C++11引入了右值引用,它也是C++11最重要的新特性之一。原因在於它解決了C++的一大歷史遺留問題,即消除了很多場景下的不必要的額外開銷。 ...
  • 有限狀態機 寫RTL的時候,實現一個功能的時候有很多種方法 將系統劃分為多個狀態,狀態之間有狀態的轉移,第一步,第二步,,,,形成有限狀態機 流水線技術設計,從輸入到輸出有多個步驟 有限狀態機,狀態是有限的,比如8個狀態,16個狀態等,在進行設計的時候,狀態機的狀態不要太多,狀態超過10個,就會造成 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...