簡析XDP的重定向機制

来源:https://www.cnblogs.com/greatsql/archive/2022/09/03/16653235.html
-Advertisement-
Play Games

GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 一. XDP Socket示例解析 源碼參見:https://github.com/xdp-project/xdp-tutorial/tree/mast ...


  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。
  • GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。

一. XDP Socket示例解析

源碼參見:https://github.com/xdp-project/xdp-tutorial/tree/master/advanced03-AF_XDP
該示例演示瞭如何通過BPF將網路數據包從XDP Hook點旁路到用戶態的XDP Socket,解析過程中為突出重點,將只關註重點代碼段,一些函數會被精簡,比如:錯誤處理等

二. BPF 程式 af_xdp_kern.c

BPF程式是運行在內核態的一段代碼,如下:

struct bpf_map_def SEC("maps") xsks_map = {
    .type = BPF_MAP_TYPE_XSKMAP,
    .key_size = sizeof(int),
    .value_size = sizeof(int),
    .max_entries = 64,  /* Assume netdev has no more than 64 queues */
};

SEC("xdp_sock")
int xdp_sock_prog(struct xdp_md *ctx)
{
    int index = ctx->rx_queue_index;

    if (bpf_map_lookup_elem(&xsks_map, &index))
        return bpf_redirect_map(&xsks_map, index, 0);
    
    return XDP_PASS;
}
  1. struct bpf_map_def SEC("maps") xsks_map: 定義了一個BPF_MAP_TYPE_XSKMAP類型的映射表,當採用SEC("maps")方式來顯示定義時,將在生成的bpf目標文件的ELF格式中看到相關描述,當BPF程式被載入到內核時,會自動創建名為“xsks_map”的描述符, 用戶態可通過查找“xsks_map”來獲取該map的描述符,這樣用戶態和內核BPF程式就可以共同訪問該map

  2. type = BPF_MAP_TYPE_XSKMAP:指定該map的類型,它與bpf_redirect_map() 結合使用以將收到的幀傳遞到指定套接字

  3. key_size = sizeof(int),value_size = sizeof(int):指定key,value長度

  4. 針對以上key,value需要說明一下:對於BPF_MAP_TYPE_XSKMAP類型的map,value必須是XDP socket描述符,key必須是int類型,原因在於bpf_redirect_map()的第二個參數,參見下麵2.10

  5. max_entries = 64:指定map最多存儲64個元素

  6. SEC("xdp_sock"):指定prog函數符號,應用層可通過查找"xdp_sock"載入該prog,並綁定到指定網卡

  7. int xdp_sock_prog(struct xdp_md *ctx):當網卡收到數據包時,會在xdp hook點調用該函數

  8. int index = ctx->rx_queue_index: 獲取該數據包來自網卡到哪個rx隊列ID,ctx有許多成員,比如:網卡ID,數據幀等等

  9. if (bpf_map_lookup_elem(&xsks_map, &index)): 判斷xsks_map是否存在key為index(即rx隊列號)的數據,註意,這裡實際上就是判斷該網卡是否綁定了xdp Socket

    • bpf_redirect_map(&xsks_map, index, 0)bpf_redirect_map函數作用就是重定向,比如:將數據重定向到某個網卡,CPU, Socket等等;當bpf_redirect_map函數的第一個參數的map類型為BPF_MAP_TYPE_XSKMAP時,則表示將數據重定向到XDP Scoket
    • bpf_redirect_map()會查找參數1即xsks_map 中 key為index 的 value 是否存在,若存在,則檢查value是否是一個XDP Scoket,並且是否綁定到了該網卡(可以綁定到任意有效隊列)

綜合以上,該bpf程式實現的功能就是:將收到的數據包重定向到xsks_map中指定的XDP Socket

三. 用戶態程式 af_xdp_user.c

該程式實現bpf載入到網卡,創建XDP Scoket並綁定到網卡的指定隊列,並通過XDP Scoket收發數據,這裡僅分析xXDP Scoket相關部分

int main(int argc, char **argv)
{
    ...
    bpf_obj = load_bpf_and_xdp_attach(&cfg);
    map = bpf_object__find_map_by_name(bpf_obj, "xsks_map");
    ...
    xsks_map_fd = bpf_map__fd(map);
    ...
    umem = configure_xsk_umem(packet_buffer, packet_buffer_size);
    ...
    xsk_socket = xsk_configure_socket(&cfg, umem);
    ...
    rx_and_process(&cfg, xsk_socket);
    ...
}

static struct xsk_socket_info *xsk_configure_socket(struct config *cfg,
                            struct xsk_umem_info *umem)
{
    ...
    ret = xsk_socket__create(&xsk_info->xsk, cfg->ifname,
                 cfg->xsk_if_queue, umem->umem, &xsk_info->rx,
                 &xsk_info->tx, &xsk_cfg);
    ...
}
  • bpf_obj = load_bpf_and_xdp_attach(&cfg): 載入bpf程式,並綁定到網卡
  • map = bpf_object__find_map_by_name(bpf_obj, "xsks_map"): 查找bpf程式內定義的xsks_map
  • umem = configure_xsk_umem(packet_buffer, packet_buffer_size): 為XDP Scoket準備UMEM
  • xsk_configure_socket()通過調用bpf helper函數xsk_socket__create()創建XDP Scoket並綁定到cfg->ifname網卡的cfg->xsk_if_queue隊列,預設情況下將該【cfg->xsk_if_queue, xsk_info->xsk fd】添加到xsks_map, 這樣bpf程式就可以重定向到該XDP Scoket(參見2.9, 2.10), 除非指定XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD標誌
static void rx_and_process(struct config *cfg,
               struct xsk_socket_info *xsk_socket)
{
    struct pollfd fds[2];
    int ret, nfds = 1;

    memset(fds, 0, sizeof(fds));
    fds[0].fd = xsk_socket__fd(xsk_socket->xsk);
    fds[0].events = POLLIN;
    
    while(!global_exit) {
        if (cfg->xsk_poll_mode) {
            ret = poll(fds, nfds, -1);
            if (ret <= 0 || ret > 1)
                continue;
        }
        handle_receive_packets(xsk_socket);
    }
}
  • XDP Scoket也是一個文件描述符,因此可以通過poll/epoll/select來等待IO事件,需要說明的是:收/發的數據包是原始的乙太網幀,因此在包處理上要麻煩一些

四. 總結

  • 以上簡略分析了bpf程式如何將數據重定向到用戶態程式,通過xsks_map來實現bpf與用戶態程式的交互;
  • 需要說明的是,這些分析僅是梳理了淺層次的代碼,實際上BPF是如何將數據讀寫到XDP Scoket收發緩衝區的呢?其實是通過創建共用記憶體並關聯XDP Scoket的rx_ring,tx_ring,以及umem來實現的,後續繼續分析
  • bpf程式通常都非常簡單,複雜的是用戶態程式,此外,BPF有非常多的技術細節,限於篇幅及主題不在此展開。

Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文所指的 .NET 程式為 .NET6 的程式。因為 .NET 的版本更新很快,所以方式、方法也有變化,所以網上搜到的方法有些也過時了。以下是最近我實踐下來的一點心得(坑)。 上一篇說到 不安裝運行時運行 .NET 程式 後我們的程式已經只有一個 dll/exe 了,但是在 windows 上運行 ...
  • 【突然想多瞭解一點】可以用 Task.Run() 將同步方法包裝為非同步方法嗎? 本文翻譯自《Should I expose asynchronous wrappers for synchronous methods? - Stephen Toub》,原文地址:Should I expose asyn ...
  • 此篇文章演示基本的基於docker部署.netcore服務,linux系統騰訊雲ubuntu,.net core版本3.1。 1.安裝docker apt install docker.io 2.拉取.net core依賴鏡像 docker pull mcr.microsoft.com/dotnet ...
  • 目錄 HC32L110(一) HC32L110晶元介紹和Win10下的燒錄 HC32L110(二) HC32L110在Ubuntu下的燒錄 HC32L110(三) HC32L110的GCC工具鏈和VSCode開發環境 HC32L110(四) HC32L110的startup啟動文件和ld連接腳本 H ...
  • 首先先來瞭解一下TMC5160的3種工作模式 TMC5160通過兩個引腳來控制它的工作模式:SD_MODE和SPI_MODE。 1、當SD_MODE接地,SPI_MODE拉高,TMC5160即工作在模式1(SPI控制模式)。在該模式下,用戶通過SPI介面來設置TMC5160的寄存器。 TMC5160 ...
  • 觀前提示 此處假定你已經安裝好Windows,並且能夠看懂英語。 下載Ubuntu 這裡 不同於一般推薦於英文官網下載,此處建議在中文官網下載。這樣可以利用Ubuntu在國內架設的鏡像,也方便日後使用apt-get等工具安裝軟體。(實際作者並不清楚安裝時是否會自動測試鏡像列表) 即使使用國內官方鏡像 ...
  • 以下介紹項目中的startup和ld文件, 以及HC32L110的啟動機制, 因為是面向 GCC Arm Embedded 工具鏈的版本, 所以 startup 代碼和 ld 連接描述腳本都依據 GCC Arm 工具鏈的格式. ...
  • ClickHouse屬於分析型資料庫,ClickHouse提供了許多數據類型,它們可以劃分為基礎類型、複合類型和特殊類型。其中基礎類型使ClickHouse具備了描述數據的基本能力,而另外兩種類型則使ClickHouse的數據表達能力更加豐富立體。 基礎類型 基礎類型只有數值、字元串和時間三種類型, ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...