how-to-write-rust-in-wasm

来源:https://www.cnblogs.com/yunwei37/archive/2023/03/13/17209960.html
-Advertisement-
Play Games

在 WebAssembly 中使用 Rust 編寫 eBPF 程式併發布 OCI 鏡像 作者：於桐，鄭昱笙 eBPF（extended Berkeley Packet Filter）是一種高性能的內核虛擬機，可以運行在內核空間中，以收集系統和網路信息。隨著電腦技術的不斷發展，eBPF 的功能日益強 ...


在 WebAssembly 中使用 Rust 編寫 eBPF 程式併發布 OCI 鏡像

作者：於桐，鄭昱笙

eBPF（extended Berkeley Packet Filter）是一種高性能的內核虛擬機，可以運行在內核空間中，以收集系統和網路信息。隨著電腦技術的不斷發展，eBPF 的功能日益強大，並且已經成為各種效率高效的線上診斷和跟蹤系統，以及構建安全的網路、服務網格的重要組成部分。

WebAssembly（Wasm）最初是以瀏覽器安全沙盒為目的開發的，發展到目前為止，WebAssembly 已經成為一個用於雲原生軟體組件的高性能、跨平臺和多語言軟體沙箱環境，Wasm 輕量級容器也非常適合作為下一代無伺服器平臺運行時，或在邊緣計算等資源受限的場景高效執行。

現在，藉助 Wasm-bpf 編譯工具鏈和運行時，我們可以使用 Wasm 將 eBPF 程式編寫為跨平臺的模塊，使用 C/C++ 和 Rust 編寫程式。通過在 WebAssembly 中使用 eBPF 程式，我們不僅讓 Wasm 應用獲得 eBPF 的高性能、對系統介面的訪問能力，還可以讓 eBPF 程式享受到 Wasm 的沙箱、靈活性、跨平臺性、和動態載入的能力，並且使用 Wasm 的 OCI 鏡像來方便、快捷地分發和管理 eBPF 程式。例如，可以類似 docker 一樣，從雲端一行命令獲取 Wasm 輕量級容器鏡像，並運行任意 eBPF 程式。通過結合這兩種技術，我們將會給 eBPF 和 Wasm 生態來一個全新的開發體驗！

使用 Wasm-bpf 工具鏈在 Wasm 中編寫、動態載入、分發運行 eBPF 程式

在前兩篇短文中，我們已經介紹了 Wasm-bpf 的設計思路，以及如何使用 C/C++ 在 Wasm 中編寫 eBPF 程式:

基於 Wasm，我們可以使用多種語言構建 eBPF 應用，並以統一、輕量級的方式管理和發佈。以我們構建的示例應用 bootstrap.wasm 為例，使用 C/C++ 構建的鏡像大小最小僅為 ~90K，很容易通過網路分發，並可以在不到 100ms 的時間內在另一臺機器上動態部署、載入和運行，並且保留輕量級容器的隔離特性。運行時不需要內核特定版本頭文件、LLVM、clang 等依賴，也不需要做任何消耗資源的重量級的編譯工作。對於 Rust 而言，編譯產物會稍大一點，大約在 2M 左右。

本文將以 Rust 語言為例，討論：

  • 使用 Rust 編寫 eBPF 程式並編譯為 Wasm 模塊
  • 使用 OCI 鏡像發佈、部署、管理 eBPF 程式，獲得類似 Docker 的體驗

我們在倉庫中提供了幾個示常式序，分別對應於可觀測、網路、安全等多種場景。

編寫 eBPF 程式並編譯為 Wasm 的大致流程

一般說來，在非 Wasm 沙箱的用戶態空間，使用 libbpf-bootstrap 腳手架，可以快速、輕鬆地使用 C/C++構建 BPF 應用程式。編譯、構建和運行 eBPF 程式（無論是採用什麼語言），通常包含以下幾個步驟：

  • 編寫內核態 eBPF 程式的代碼，一般使用 C/C++ 或 Rust 語言
  • 使用 clang 編譯器或者相關工具鏈編譯 eBPF 程式（要實現跨內核版本移植的話，需要包含 BTF 信息）。
  • 在用戶態的開發程式中，編寫對應的載入、控制、掛載、數據處理邏輯；
  • 在實際運行的階段，從用戶態將 eBPF 程式載入進入內核，並實際執行。

使用 Rust 編寫 eBPF 程式並編譯為 Wasm

Rust 可能是 WebAssembly 生態系統中支持最好的語言。Rust 不僅支持幾個 WebAssembly 編譯目標，而且 wasmtime、Spin、Wagi 和其他許多 WebAssembly 工具都是用 Rust 編寫的。因此，我們也提供了 Rust 的開發示例：

  • Wasm 和 WASI 的 Rust 生態系統非常棒
  • 許多 Wasm 工具都是用 Rust 編寫的，這意味著有大量的代碼可以復用。
  • Spin 通常在對其他語言的支持之前就有Rust的功能支持
  • Wasmtime 是用 Rust編寫的，通常在其他運行時之前就有最先進的功能。
  • 可以在 WebAssembly 中使用許多現成的 Rust 庫。
  • 由於 Cargo 的靈活構建系統，一些 Crates 甚至有特殊的功能標誌來啟用Wasm的功能（例如Chrono）。
  • 由於 Rust 的記憶體管理技術，與同類語言相比，Rust 的二進位大小很小。

我們同樣提供了一個 Rust 的 eBPF SDK，可以使用 Rust 編寫 eBPF 的用戶態程式並編譯為 Wasm。藉助 aya-rs 提供的相關工具鏈支持，內核態的 eBPF 程式也可以用 Rust 進行編寫，不過在這裡，我們還是復用之前使用 C 語言編寫的內核態程式。

首先，我們需要使用 rust 提供的 wasi 工具鏈，創建一個新的項目：

rustup target add wasm32-wasi
cargo new rust-helloworld

之後，可以使用 Makefile 運行 make 完成整個編譯流程，並生成 bootstrap.bpf.o eBPF 位元組碼文件。

使用 wit-bindgen 生成類型信息，用於內核態和 Wasm 模塊之間通信

wit-bindgen 項目是一套著眼於 WebAssembly，並使用組件模型的語言的綁定生成器。綁定是用 *.wit 文件描述的，文件中描述了 Wasm 模塊導入、導出的函數和介面。我們可以 wit-bindgen 它來生成多種語言的類型定義，以便在內核態的 eBPF 和用戶態的 Wasm 模塊之間傳遞數據。

我們首先需要在 Cargo.toml 配置文件中加入 wasm-bpf-binding 和 wit-bindgen-guest-rust 依賴：

wasm-bpf-binding = { path = "wasm-bpf-binding" }

這個包提供了 wasm-bpf 由運行時提供給 Wasm 模塊，用於載入和控制 eBPF 程式的函數的綁定。

  • wasm-bpf-binding 在 wasm-bpf 倉庫中有提供。
[dependencies]
wit-bindgen-guest-rust = { git = "https://github.com/bytecodealliance/wit-bindgen", version = "0.3.0" }

[patch.crates-io]
wit-component = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}
wit-parser = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}

這個包支持用 wit 文件為 rust 客戶程式生成綁定。使用這個包的情況下，我們不需要再手動運行 wit-bindgen。

接下來，我們使用 btf2wit 工具，從 BTF 信息生成 wit 文件。可以使用 cargo install btf2wit 安裝我們提供的 btf2wit 工具，並編譯生成 wit 信息：

cd btf
clang -target bpf -g event-def.c -c -o event.def.o
btf2wit event.def.o -o event-def.wit
cp *.wit ../wit/
  • 其中 event-def.c 是包含了我們需要的結構體信息的的 C 程式文件。只有在導出符號中用到的結構體才會被記錄在 BTF 中。

對於 C 結構體生成的 wit 信息，大致如下：

default world host {
    record event {
         pid: s32,
        ppid: s32,
        exit-code: u32,
        --pad0: list<s8>,
        duration-ns: u64,
        comm: list<s8>,
        filename: list<s8>,
        exit-event: s8,
    }
}

wit-bindgen-guest-rust 會為 wit 文件夾中的所有類型信息，自動生成 rust 的類型，例如：

#[repr(C, packed)]
#[derive(Debug, Copy, Clone)]
struct Event {
    pid: i32,
    ppid: i32,
    exit_code: u32,
    __pad0: [u8; 4],
    duration_ns: u64,
    comm: [u8; 16],
    filename: [u8; 127],
    exit_event: u8,
}

編寫用戶態載入和處理代碼

為了在 WASI 上運行，需要為 main.rs 添加 #![no_main] 屬性，並且 main 函數需要採用類似如下的形態：

#[export_name = "__main_argc_argv"]
fn main(_env_json: u32, _str_len: i32) -> i32 {

    return 0;
}

用戶態載入和掛載代碼，和 C/C++ 中類似：

    let obj_ptr =
        binding::wasm_load_bpf_object(bpf_object.as_ptr() as u32, bpf_object.len() as i32);
    if obj_ptr == 0 {
        println!("Failed to load bpf object");
        return 1;
    }
    let attach_result = binding::wasm_attach_bpf_program(
        obj_ptr,
        "handle_exec\0".as_ptr() as u32,
        "\0".as_ptr() as u32,
    );
    ...

polling ring buffer：

    let map_fd = binding::wasm_bpf_map_fd_by_name(obj_ptr, "rb\0".as_ptr() as u32);
    if map_fd < 0 {
        println!("Failed to get map fd: {}", map_fd);
        return 1;
    }
    // binding::wasm
    let buffer = [0u8; 256];
    loop {
        // polling the buffer
        binding::wasm_bpf_buffer_poll(
            obj_ptr,
            map_fd,
            handle_event as i32,
            0,
            buffer.as_ptr() as u32,
            buffer.len() as i32,
            100,
        );
    }

使用 handler 接收返回值：


extern "C" fn handle_event(_ctx: u32, data: u32, _data_sz: u32) {
    let event_slice = unsafe { slice::from_raw_parts(data as *const Event, 1) };
    let event = &event_slice[0];
    let pid = event.pid;
    let ppid = event.ppid;
    let exit_code = event.exit_code;
    if event.exit_event == 1 {
        print!(
            "{:<8} {:<5} {:<16} {:<7} {:<7} [{}]",
            "TIME",
            "EXIT",
            unsafe { CStr::from_ptr(event.comm.as_ptr() as *const i8) }
                .to_str()
                .unwrap(),
            pid,
            ppid,
            exit_code
        );
        ...
}

接下來即可使用 cargo 編譯運行：

$ cargo build --target wasi32-wasm
$ sudo wasm-bpf ./target/wasm32-wasi/debug/rust-helloworld.wasm
TIME     EXEC  sh               180245  33666   /bin/sh
TIME     EXEC  which            180246  180245  /usr/bin/which
TIME     EXIT  which            180246  180245  [0] (1ms)
TIME     EXIT  sh               180245  33666   [0] (3ms)
TIME     EXEC  sh               180247  33666   /bin/sh
TIME     EXEC  ps               180248  180247  /usr/bin/ps
TIME     EXIT  ps               180248  180247  [0] (23ms)
TIME     EXIT  sh               180247  33666   [0] (25ms)
TIME     EXEC  sh               180249  33666   /bin/sh
TIME     EXEC  cpuUsage.sh      180250  180249  /root/.vscode-server-insiders/bin/a7d49b0f35f50e460835a55d20a00a735d1665a3/out/vs/base/node/cpuUsage.sh

使用 OCI 鏡像發佈和管理 eBPF 程式

開放容器協議 (OCI) 是一個輕量級，開放的治理結構，為容器技術定義了規範和標準。在 Linux 基金會的支持下成立，由各大軟體企業構成，致力於圍繞容器格式和運行時創建開放的行業標準。其中包括了使用 Container Registries 進行工作的 API，正式名稱為 OCI 分發規範 (又名“distribution-spec”)。

Docker 也宣佈推出與 WebAssembly 集成 (Docker+Wasm) 的首個技術預覽版，並表示公司已加入位元組碼聯盟 (Bytecode Alliance)，成為投票成員。Docker+Wasm 讓開發者能夠更容易地快速構建面向 Wasm 運行時的應用程式。

藉助於 Wasm 的相關生態，可以非常方便地發佈、下載和管理 eBPF 程式，例如，使用 wasm-to-oci 工具，可以將 Wasm 程式打包為 OCI 鏡像，獲取類似 docker 的體驗：

wasm-to-oci push testdata/hello.wasm <oci-registry>.azurecr.io/wasm-to-oci:v1
wasm-to-oci pull <oci-registry>.azurecr.io/wasm-to-oci:v1 --out test.wasm

我們也將其集成到了 eunomia-bpf 的 ecli 工具中，可以一行命令從雲端的 Github Packages 中下載並運行 eBPF 程式，或通過 Github Packages 發佈：

# push to Github Packages
ecli push https://ghcr.io/eunomia-bpf/sigsnoop:latest
# pull from Github Packages
ecli pull https://ghcr.io/eunomia-bpf/sigsnoop:latest
# run eBPF program
ecli run https://ghcr.io/eunomia-bpf/sigsnoop:latest

我們已經在 LMP 項目的 eBPF Hub 中，有一些創建符合 OCI 標準的 Wasm-eBPF 應用程式，並利用 ORAS 簡化擴展 eBPF 應用開發，分發、載入、運行能力的嘗試[11]，以及基於 Wasm 同時使用多種不同語言開發 eBPF 的用戶態數據處理插件的實踐。基於最新的 Wasm-bpf 框架，有更多的探索性工作可以繼續展開，我們希望嘗試構建一個完整的針對 eBPF 和 Wasm 程式的包管理系統，以及更多的可以探索的應用場景。

總結

本文以 Rust 語言為例，討論了使用 Rust 編寫 eBPF 程式並編譯為 Wasm 模塊以及使用 OCI 鏡像發佈、部署、管理 eBPF 程式，獲得類似 Docker 的體驗。更完整的代碼，請參考我們的 Github 倉庫：https://github.com/eunomia-bpf/wasm-bpf.

接下來，我們會繼續完善在 Wasm 中使用多種語言開發和運行 eBPF 程式的體驗，提供更完善的示例和用戶態開發庫/工具鏈，以及更具體的應用場景。

參考資料


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 微軟的148座墳墓
    深夜檔分享，給大家介紹一個黑白的、“驚悚”的網站！ 從名字來看（killed by microsoft），是不是猜到點端倪了？ 這個神奇的網站居然收錄了微軟壽終正寢的那些軟體。這是一個免費的開放源碼列表，其中列出了已停產的微軟服務、產品、設備和應用程式。網站的目標是成為有關微軟已死項目歷史的真實信息 ...
  • odoo ORM API學習總結兼orm學習教程
    環境 odoo-14.0.post20221212.tar ORM API學習總結/學習教程 模型(Model) Model欄位被定義為model自身的屬性 from odoo import models, fields class AModel(models.Model): _name = 'a. ...
  • token解決cookie的弊端
    token解決cookie的弊端 cookie的弊端 **弊端一：**瀏覽器請求過伺服器後，下一次訪問時伺服器就會通過瀏覽器cookie中攜帶的sessionID去尋找對應session，但是如果伺服器做了負載均衡，用戶下一次請求可能會被定向到其他伺服器節點，那台伺服器上沒有用戶session信息， ...
  • 01-C語言概述
    C語言概述 1.什麼是C語言 C語言就是人和電腦交流的一種語言 語言是用來交流溝通的。有一方說，有另一方聽，必須有兩方參與，這是語言最重要的功能： 說的一方傳遞信息，聽的一方接收信息； 說的一方下達指令，聽的一方遵循命令做事情。 語言是人和人交流，C語言是人和機器交流。只是，人可以不聽另外一個人， ...
  • 讀Java性能權威指南（第2版）筆記13_堆記憶體下
    1. 對象重用 1.1. 原因 1.1.1. 許多對象的初始化成本很高，權衡了增加的GC時間之後，還是重用對象的效率更高 1.2. 只適用於初始化成本很高且數量較少的一組對象 1.2.1. 被重用的對象會在堆中停留很長時間。如果堆中有大量對象，創建新對象的空間就更少了，因此GC操作會更頻繁。 1.3 ...
  • 【ASP.NET Core】修改Blazor.Server的Hub地址後引發的問題
    Blazor Server，即運行在伺服器上的 Blazor 應用程式，它的優點是應用程式在首次運行時，客戶端不需要下載運行時。但它的代碼是在伺服器上執行的，然後通過 SignalR 通信來更新客戶端的 UI，所以它要求必須建立 Web Socket 連接。 用於 Blazor 應用的 Signal ...
  • VUE+.NET應用系統的國際化-多語言詞條服務
    上篇文章我們介紹了 VUE+.NET應用系統的國際化-整體設計思路 系統國際化改造整體設計思路如下： 提供一個工具，識別前後端代碼中的中文，形成多語言詞條，按語言、界面、模塊統一管理多有的多語言詞條 提供一個翻譯服務，批量翻譯多語言詞條 提供一個詞條服務，支持後端代碼在運行時根據用戶登錄的語言，動態 ...
  • C#實現右下角托盤程式，預設不顯示窗體，關閉窗體時隱藏而不退出
    前言 之前寫過一篇基於ML.NET的手部關鍵點分類的博客，可以根據圖片進行手部的提取分類，於是我就將手勢分類和攝像頭數據結合，集成到了我開發的電子腦殼軟體里。 電子腦殼是一個為稚暉君開源的桌面機器人ElectronBot提供一些軟體功能的桌面程式項目。它是由綠蔭阿廣也就是我開發的，使用了微軟的WAS ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類