實時標簽開發——從零開始搭建實時用戶畫像(五)

来源:https://www.cnblogs.com/tree1123/archive/2020/06/11/13091036.html
-Advertisement-
Play Games

​ 數據接入 數據的接入可以通過將數據實時寫入Kafka進行接入，不管是直接的寫入還是通過oracle和mysql的實時接入方式，比如oracle的ogg，mysql的binlog ogg Golden Gate（簡稱OGG）提供異構環境下交易數據的實時捕捉、變換、投遞。 通過OGG可以實時的將or ...


​

數據接入

數據的接入可以通過將數據實時寫入Kafka進行接入，不管是直接的寫入還是通過oracle和mysql的實時接入方式，比如oracle的ogg，mysql的binlog

ogg

Golden Gate（簡稱OGG）提供異構環境下交易數據的實時捕捉、變換、投遞。

通過OGG可以實時的將oracle中的數據寫入Kafka中。

對生產系統影響小：實時讀取交易日誌，以低資源占用實現大交易量數據實時複製

以交易為單位複製，保證交易一致性：只同步已提交的數據

高性能

  • 智能的交易重組和操作合併
  • 使用資料庫本地介面訪問
  • 並行處理體系

binlog

MySQL 的二進位日誌 binlog 可以說是 MySQL 最重要的日誌，它記錄了所有的 DDL 和 DML 語句（除了數據查詢語句select、show等），以事件形式記錄，還包含語句所執行的消耗的時間，MySQL的二進位日誌是事務安全型的。binlog 的主要目的是複製和恢復。

通過這些手段，可以將數據同步到kafka也就是我們的實時系統中來。

Flink接入Kafka數據

Apache Kafka Connector可以方便對kafka數據的接入。

依賴

<dependency>  <groupId>org.apache.flink</groupId>  <artifactId>flink-connector-kafka_2.11</artifactId>  <version>1.9.0</version></dependency>
構建FlinkKafkaConsumer

必須有的：

1.topic名稱

2.用於反序列化Kafka數據的DeserializationSchema / KafkaDeserializationSchema

3.配置參數：“bootstrap.servers” “group.id” （kafka0.8還需要 “zookeeper.connect”）

val properties = new Properties()properties.setProperty("bootstrap.servers", "localhost:9092")// only required for Kafka 0.8properties.setProperty("zookeeper.connect", "localhost:2181")properties.setProperty("group.id", "test")stream = env    .addSource(new FlinkKafkaConsumer[String]("topic", new SimpleStringSchema(), properties))    .print()
時間戳和水印

在許多情況下，記錄的時間戳（顯式或隱式）嵌入記錄本身。另外，用戶可能想要周期性地或以不規則的方式發出水印。

我們可以定義好Timestamp Extractors / Watermark Emitters，通過以下方式將其傳遞給消費者

val env = StreamExecutionEnvironment.getExecutionEnvironment()val myConsumer = new FlinkKafkaConsumer[String](...)myConsumer.setStartFromEarliest()      // start from the earliest record possiblemyConsumer.setStartFromLatest()        // start from the latest recordmyConsumer.setStartFromTimestamp(...)  // start from specified epoch timestamp (milliseconds)myConsumer.setStartFromGroupOffsets()  // the default behaviour//指定位置//val specificStartOffsets = new java.util.HashMap[KafkaTopicPartition, java.lang.Long]()//specificStartOffsets.put(new KafkaTopicPartition("myTopic", 0), 23L)//myConsumer.setStartFromSpecificOffsets(specificStartOffsets)val stream = env.addSource(myConsumer)
檢查點

啟用Flink的檢查點後，Flink Kafka Consumer將使用主題中的記錄，並以一致的方式定期檢查其所有Kafka偏移以及其他操作的狀態。如果作業失敗，Flink會將流式程式恢復到最新檢查點的狀態，並從存儲在檢查點中的偏移量開始重新使用Kafka的記錄。

如果禁用了檢查點，則Flink Kafka Consumer依賴於內部使用的Kafka客戶端的自動定期偏移提交功能。

如果啟用了檢查點，則Flink Kafka Consumer將在檢查點完成時提交存儲在檢查點狀態中的偏移量。

val env = StreamExecutionEnvironment.getExecutionEnvironment()env.enableCheckpointing(5000) // checkpoint every 5000 msecs

Flink消費Kafka完整代碼：

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;import java.util.Properties;public class KafkaConsumer {    public static void main(String[] args) throws Exception {        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();        Properties properties = new Properties();        properties.setProperty("bootstrap.servers", "localhost:9092");        properties.setProperty("group.id", "test");        //構建FlinkKafkaConsumer        FlinkKafkaConsumer<String> myConsumer = new FlinkKafkaConsumer<>("topic", new SimpleStringSchema(), properties);        //指定偏移量        myConsumer.setStartFromEarliest();        DataStream<String> stream = env                .addSource(myConsumer);        env.enableCheckpointing(5000);        stream.print();        env.execute("Flink Streaming Java API Skeleton");    }

這樣數據已經實時的接入我們系統中，可以在Flink中對數據進行處理了，那麼如何對標簽進行計算呢？ 標簽的計算過程極大的依賴於數據倉庫的能力，所以擁有了一個好的數據倉庫，標簽也就很容易計算出來了。

數據倉庫基礎知識

數據倉庫是指一個面向主題的、集成的、穩定的、隨時間變化的數據的集合，以用於支持管理決策的過程。

（1）面向主題
業務資料庫中的數據主要針對事物處理任務，各個業務系統之間是各自分離的。而數據倉庫中的數據是按照一定的主題進行組織的

（2）集成
數據倉庫中存儲的數據是從業務資料庫中提取出來的，但並不是原有數據的簡單複製，而是經過了抽取、清理、轉換（ETL）等工作。
業務資料庫記錄的是每一項業務處理的流水賬，這些數據不適合於分析處理，進入數據倉庫之前需要經過系列計算，同時拋棄一些分析處理不需要的數據。

（3）穩定
操作型資料庫系統中一般只存儲短期數據，因此其數據是不穩定的，記錄的是系統中數據變化的瞬態。
數據倉庫中的數據大多表示過去某一時刻的數據，主要用於查詢、分析，不像業務系統中資料庫一樣經常修改。一般數據倉庫構建完成，主要用於訪問

OLTP 聯機事務處理
OLTP是傳統關係型資料庫的主要應用，主要用於日常事物、交易系統的處理
1、數據量存儲相對來說不大
2、實時性要求高，需要支持事物
3、數據一般存儲在關係型資料庫(oracle或mysql中)

OLAP 聯機分析處理
OLAP是數據倉庫的主要應用，支持複雜的分析查詢，側重決策支持
1、實時性要求不是很高，ETL一般都是T+1的數據；
2、數據量很大；
3、主要用於分析決策；

星形模型是最常用的數據倉庫設計結構。由一個事實表和一組維表組成，每個維表都有一個維主鍵。
該模式核心是事實表，通過事實表將各種不同的維表連接起來，各個維表中的對象通過事實表與另一個維表中的對象相關聯，這樣建立各個維表對象之間的聯繫
維表：用於存放維度信息，包括維的屬性和層次結構；
事實表：是用來記錄業務事實並做相應指標統計的表。同維表相比，事實表記錄數量很多

雪花模型是對星形模型的擴展，每一個維表都可以向外連接多個詳細類別表。除了具有星形模式中維表的功能外，還連接對事實表進行詳細描述的維度，可進一步細化查看數據的粒度
例如：地點維表包含屬性集{location_id，街道，城市，省，國家}。這種模式通過地點維度表的city_id與城市維度表的city_id相關聯，得到如{101，“解放大道10號”，“武漢”，“湖北省”，“中國”}、{255，“解放大道85號”，“武漢”，“湖北省”，“中國”}這樣的記錄。
星形模型是最基本的模式，一個星形模型有多個維表，只存在一個事實表。在星形模式的基礎上，用多個表來描述一個複雜維，構造維表的多層結構，就得到雪花模型

清晰數據結構：每一個數據分層都有它的作用域，這樣我們在使用表的時候能更方便地定位和理解
臟數據清洗：屏蔽原始數據的異常
屏蔽業務影響：不必改一次業務就需要重新接入數據
數據血緣追蹤：簡單來講可以這樣理解，我們最終給業務呈現的是能直接使用的一張業務表，但是它的來源有很多，如果有一張來源表出問題了，我們希望能夠快速準確地定位到問題，並清楚它的危害範圍。
減少重覆開發：規範數據分層，開發一些通用的中間層數據，能夠減少極大的重覆計算。
把複雜問題簡單化。將一個複雜的任務分解成多個步驟來完成，每一層只處理單一的步驟，比較簡單和容易理解。便於維護數據的準確性，當數據出現問題之後，可以不用修複所有的數據，只需要從有問題的步驟開始修複。

數據倉庫的數據直接對接OLAP或日誌類數據，
用戶畫像只是站在用戶的角度，對數據倉庫數據做進一步的建模加工。因此每天畫像標簽相關數據的調度依賴上游數據倉庫相關任務執行完成。

在瞭解了數據倉庫以後，我們就可以進行標簽的計算了。在開發好標簽的邏輯以後，將數據寫入hive和druid中，完成實時與離線的標簽開發工作。

Flink Hive Druid

flink hive

Flink從1.9開始支持集成Hive，不過1.9版本為beta版，不推薦在生產環境中使用。在最新版Flink1.10版本，標志著對 Blink的整合宣告完成，隨著對 Hive 的生產級別集成，Hive作為數據倉庫系統的絕對核心，承擔著絕大多數的離線數據ETL計算和數據管理，期待Flink未來對Hive的完美支持。

而 HiveCatalog 會與一個 Hive Metastore 的實例連接，提供元數據持久化的能力。要使用 Flink 與 Hive 進行交互，用戶需要配置一個 HiveCatalog，並通過 HiveCatalog 訪問 Hive 中的元數據。

添加依賴

要與Hive集成，需要在Flink的lib目錄下添加額外的依賴jar包，以使集成在Table API程式或SQL Client中的SQL中起作用。或者，可以將這些依賴項放在文件夾中，並分別使用Table API程式或SQL Client 的-C 或-l選項將它們添加到classpath中。本文使用第一種方式，即將jar包直接複製到$FLINK_HOME/lib目錄下。本文使用的Hive版本為2.3.4(對於不同版本的Hive，可以參照官網選擇不同的jar包依賴)，總共需要3個jar包，如下：

  • flink-connector-hive_2.11-1.10.0.jar
  • flink-shaded-hadoop-2-uber-2.7.5-8.0.jar
  • hive-exec-2.3.4.jar

添加Maven依賴

<!-- Flink Dependency -->
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hive_2.11</artifactId>
  <version>1.10.0</version>
  <scope>provided</scope>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-java-bridge_2.11</artifactId>
  <version>1.10.0</version>
  <scope>provided</scope>
</dependency>

<!-- Hive Dependency -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>${hive.version}</version>
    <scope>provided</scope>
</dependency>

實例代碼

package com.flink.sql.hiveintegration;

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.catalog.hive.HiveCatalog;


public class FlinkHiveIntegration {

    public static void main(String[] args) throws Exception {

        EnvironmentSettings settings = EnvironmentSettings
                .newInstance()
                .useBlinkPlanner() // 使用BlinkPlanner
                .inBatchMode() // Batch模式，預設為StreamingMode
                .build();

        //使用StreamingMode
       /* EnvironmentSettings settings = EnvironmentSettings
                .newInstance()
                .useBlinkPlanner() // 使用BlinkPlanner
                .inStreamingMode() // StreamingMode
                .build();*/

        TableEnvironment tableEnv = TableEnvironment.create(settings);

        String name = "myhive";      // Catalog名稱，定義一個唯一的名稱表示
        String defaultDatabase = "qfbap_ods";  // 預設資料庫名稱
        String hiveConfDir = "/opt/modules/apache-hive-2.3.4-bin/conf";  // hive-site.xml路徑
        String version = "2.3.4";       // Hive版本號

        HiveCatalog hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version);

        tableEnv.registerCatalog("myhive", hive);
        tableEnv.useCatalog("myhive");
        // 創建資料庫，目前不支持創建hive表
        String createDbSql = "CREATE DATABASE IF NOT EXISTS myhive.test123";

        tableEnv.sqlUpdate(createDbSql);  

    }
}

Flink Druid

可以將Flink分析好的數據寫回kafka，然後在druid中接入數據，也可以將數據直接寫入druid，以下為示例代碼：

依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.8.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.flinkdruid</groupId>
    <artifactId>FlinkDruid</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>FlinkDruid</name>
    <description>Flink Druid Connection</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>1.9.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.9.0</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

示例代碼

@SpringBootApplication
public class FlinkDruidApp {


    private static String url = "http://localhost:8200/v1/post/wikipedia";

    private static RestTemplate template;

    private static HttpHeaders headers;


    FlinkDruidApp() {

        template = new RestTemplate();
        headers = new HttpHeaders();
        headers.setAccept(Arrays.asList(MediaType.APPLICATION_JSON));
        headers.setContentType(MediaType.APPLICATION_JSON);

    }

    public static void main(String[] args) throws Exception {

        SpringApplication.run(FlinkDruidApp.class, args);

        // Creating Flink Execution Environment
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        //Define data source
        DataSet<String> data = env.readTextFile("/wikiticker-2015-09-12-sampled.json");

        // Trasformation on the data 
        data.map(x -> {

            return httpsPost(x).toString();
        }).print();


    }

    // http post method to post data in Druid
    private static ResponseEntity<String> httpsPost(String json) {

        HttpEntity<String> requestEntity =
                new HttpEntity<>(json, headers);
        ResponseEntity<String> response =
                template.exchange("http://localhost:8200/v1/post/wikipedia", HttpMethod.POST, requestEntity,
                        String.class);

        return response;
    }

    @Bean
    public RestTemplate restTemplate() {
        return new RestTemplate();
    } 

}

標簽的開發工作繁瑣，需要不斷的開發並且優化，但是如何將做好的標簽提供出去產生真正的價值呢？ 下一章，我們將介紹用戶畫像產品化,未完待續~

參考文獻

《用戶畫像：方法論與工程化解決方案》

更多實時數據分析相關博文與科技資訊，歡迎關註 “實時流式計算”


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • [windows][技巧]百度網盤提示您的電腦已安裝百度網盤，是否覆蓋，解決方法
    故障描述 解決方法 win+r，輸入regedit，進入註冊表 依次打開HKEY_CURRENT_USER->Software->Baidu->BaiDuYunGuanJia 右鍵BaiDuYunGuanJia，刪除 ...
  • Redis學習筆記（十九） 發佈訂閱（上）
    Redis 發佈訂閱(pub/sub)是一種消息通信模式：發送者(pub)發送消息，訂閱者(sub)接收消息，它的發佈與訂閱功能由PUBLISH、SUBSCRIBE、PSUBSCRIBE等命令組成。 通過執行SUBSCRIBE命令，客戶端可以訂閱一個或多個頻道，從而成為這些頻道的訂閱者：每當有其他客 ...
  • mysql查詢優化
    select * from a where id in (select id from b) 等價於: for select id from b for select 8 from a where a.id = b.id 當b表數據必須小於a表數據時,in優於exists select * from ...
  • 【MySQL】主從複製
    紙上得來終覺淺，絕知此事要躬行。 概述 複製是指將主資料庫的DDL 和 DML 操作通過二進位日誌傳到從庫伺服器中，然後在從庫上對這些日誌重新執行（也叫重做），從而使得從庫和主庫的數據保持同步。 MySQL支持一臺主庫同時向多台從庫進行複製， 從庫同時也可以作為其他從伺服器的主庫，實現鏈狀複製。 優 ...
  • Mysql大數據量分頁優化
    參考文章： MySQL百萬級數據量分頁查詢方法及其優化 MySQL分頁查詢優化 重點提一下： 在優化分頁語句過程中，一定註意查詢的語句添加排序欄位，一定自己建表實踐，有的可能不一定有效果哦 比如下麵這兩個語句，返回的結果就不是一樣的。具體什麼原因可以看看我另一篇博客 MySQL 預設排序是什麼 SE ...
  • 【MySQL】鎖之InnoDB
    紙上得來終覺淺，絕知此事要躬行。 InnoDB行鎖 開銷大，加鎖慢；會出現死鎖；鎖定粒度最小，發生鎖衝突的概率最低,併發度也最高。 InnoDB 實現了以下兩種類型的行鎖。 共用鎖（S）：又稱為讀鎖，簡稱S鎖，共用鎖就是多個事務對於同一數據可以共用一把鎖，都能訪問到數據，但是只能讀不能修改。 排他鎖 ...
  • 【MySQL】鎖之MyISAM
    紙上得來終覺淺，絕知此事要躬行。 鎖的分類 從對數據操作的粒度分 ： 表鎖：操作時，會鎖定整個表。 行鎖：操作時，會鎖定當前操作行。 從對數據操作的類型分： 讀鎖（共用鎖）：針對同一份數據，多個讀操作可以同時進行而不會互相影響。 寫鎖（排它鎖）：當前操作沒有完成之前，它會阻斷其他寫鎖和讀鎖。 MyS ...
  • Telegraf和Grafana監控多平臺上的SQL Server-自定義監控數據收集
    問題 在上一篇文章中，我們使用Telegraf自帶的Plugin配置好了的監控，但是自帶的Plugin並不能完全覆蓋我們想要的監控指標，就需要收集額外的自定義的監控數據，實現的方法有： 開發自己的Telegraf Plugin 使用可以執行自定義腳本的inputs plugin 此處收集的監控項不多 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類