使用funcgraph-retval和bpftrace/kprobe快速定位並解決cpu控制器無法使能的問題

来源:https://www.cnblogs.com/pengdonglin137/archive/2023/12/06/17880808.html
-Advertisement-
Play Games

版本 Linux 6.5 背景 在學習cgroupv2的時候，想給子cgroup開啟cpu控制器結果失敗了： # 查看可以開啟哪些控制器 root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.controllers cpuset cpu io memory hugetl ...


版本

Linux 6.5

背景

在學習cgroupv2的時候，想給子cgroup開啟cpu控制器結果失敗了：

# 查看可以開啟哪些控制器
root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc

# 上面看到，是支持cpu控制器的，通過下麵命令查看目前子cgroup開啟了哪些控制器
root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.subtree_control
memory pids

# 通過下麵的命令給子cgroup開啟cpu控制器
root@ubuntu-vm:/sys/fs/cgroup# echo +cpu > cgroup.subtree_control
-bash: echo: write error: Invalid argument

在給子cgroup開啟cpu控制器時提示參數無效，即-EINVAL，錯誤碼是-22.

定位

之前給linux內核的function graph增加了顯示函數返回值的功能，正好可以派上用場。

  • 使用下麵的命令配置ftrace
echo 0 > /sys/kernel/debug/tracing/tracing_on
echo 14080 > /sys/kernel/debug/tracing/buffer_size_kb
echo ksys_write > /sys/kernel/debug/tracing/set_graph_function
echo $$ > /sys/kernel/debug/tracing/set_ftrace_pid
echo 1 > /sys/kernel/debug/tracing/options/funcgraph-retval
echo 1 > /sys/kernel/debug/tracing/options/funcgraph-retval-trim
echo function_graph > /sys/kernel/debug/tracing/current_tracer

目前社區版本還不支持funcgraph-retval-trim，這個是為了對返回值進行裁剪

然後使用下麵的方法抓取log：

> /sys/kernel/debug/tracing/trace;echo 1 > /sys/kernel/debug/tracing/tracing_on; echo +cpu > cgroup.subtree_control;echo 0 > /sys/kernel/debug/tracing/tracing_on

收集到trace日誌後，從上往下搜索-22錯誤碼，看到下麵的內容：

 4)               |                cgroup_migrate_execute() {
 4)               |                  cpu_cgroup_can_attach() {
 4)               |                    cgroup_taskset_first() {
 4)   0.190 us    |                      cgroup_taskset_next(); /* = 0xffff8881003b0000 */
 4)   0.551 us    |                    } /* cgroup_taskset_first = 0xffff8881003b0000 */
 4)   0.170 us    |                    sched_rt_can_attach(); /* = 0x1 */
 4)   0.180 us    |                    cgroup_taskset_next(); /* = 0xffff888100994e00 */
 4)   0.171 us    |                    sched_rt_can_attach(); /* = 0x1 */
 4)   0.180 us    |                    cgroup_taskset_next(); /* = 0xffff88810bed4e00 */
 4)   0.170 us    |                    sched_rt_can_attach(); /* = 0x1 */
 4)   0.191 us    |                    cgroup_taskset_next(); /* = 0xffff8881083d1a00 */
 4)   0.170 us    |                    sched_rt_can_attach(); /* = 0x1 */
 4)   0.170 us    |                    cgroup_taskset_next(); /* = 0xffff888108e20000 */
 4)   0.181 us    |                    sched_rt_can_attach(); /* = 0x0 */
 4)   4.248 us    |                  } /* cpu_cgroup_can_attach = -22 */

可以看到，cpu_cgroup_can_attach先返回了-22錯誤碼，具體分析源碼：

#ifdef CONFIG_RT_GROUP_SCHED
static int cpu_cgroup_can_attach(struct cgroup_taskset *tset)
{
	struct task_struct *task;
	struct cgroup_subsys_state *css;

	cgroup_taskset_for_each(task, css, tset) {
		if (!sched_rt_can_attach(css_tg(css), task))
			return -EINVAL;
	}
	return 0;
}
#endif

結合日誌和源碼，是由於sched_rt_can_attach返回了0，才會返回-EINVAL。

繼續查看sched_rt_can_attach：

int sched_rt_can_attach(struct task_group *tg, struct task_struct *tsk)
{
	/* Don't accept realtime tasks when there is no way for them to run */
	if (rt_task(tsk) && tg->rt_bandwidth.rt_runtime == 0)
		return 0;

	return 1;
}

返回0的條件：進程是實時進程，但是目的task group沒有給實時任務設置時間份額。

在內核文檔中有下麵的描述：

WARNING: cgroup2 doesn't yet support control of realtime processes and the cpu controller can only be enabled when all RT processes are in the root cgroup. Be aware that system management software may already have placed RT processes into nonroot cgroups during the system boot process, and these processes may need to be moved to the root cgroup before the cpu controller can be enabled.

上面的意思是說，在開啟CPU控制器之前，需要首先將實時任務移動到根cgroup下。

那這裡是哪個實時進程導致的呢？sched_rt_can_attach函數的第二個參數就是task_struct地址，可以藉助bpftrace查看這個對應的哪個進程：

# cat trace.bt
#!/usr/bin/env bpftrace

kprobe:sched_rt_can_attach
{
        printf("task: %lx, comm: %s\n", arg1, ((struct task_struct *)arg1)->comm);
}

運行上面的腳本，然後再次執行開啟CPU控制器的操作，可以看到下麵的日誌：

root@ubuntu-vm:~# ./trace.bt
Attaching 1 probe...
task: ffff8881003b0000, comm: systemd
task: ffff888107e38000, comm: agetty
task: ffff888107f3ce00, comm: agetty
task: ffff888107e39a00, comm: systemd-journal
task: ffff88810862b400, comm: multipathd

可以看到，最後一個進程是multipathd，這個進程是否為實時進程呢？

# ps -eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm | grep -E 'PID|multipathd'
    PID     TID CLS RTPRIO  NI PRI PSR %CPU STAT WCHAN          COMMAND
    153     153 RR      99   - 139   6  0.0 SLsl futex_wait_que multipathd

可以看到確實是實時進程。

下麵手動將這個進程加到根cgroup下：

root@ubuntu-vm:/sys/fs/cgroup# cat /proc/153/cgroup
0::/system.slice/multipathd.service

root@ubuntu-vm:/sys/fs/cgroup# echo 153 > cgroup.procs

root@ubuntu-vm:/sys/fs/cgroup# cat /proc/153/cgroup
0::/

然後再次開啟CPU控制器：

root@ubuntu-vm:/sys/fs/cgroup# echo +cpu > cgroup.subtree_control

root@ubuntu-vm:/sys/fs/cgroup# cat cgroup.subtree_control
cpu memory pids

到這裡，這個問題就解決了。

如果bpftrace不能用的話，可以使用kprobe_event，下麵是comm在task_struct中的偏移：

(gdb) p &((struct task_struct *)0)->comm
$1 = (char (*)[16]) 0x840

或者：

crash> *task_struct.comm -ox
struct task_struct {
   [0x840] char comm[16];
}

用下麵的命令添加kprobe_event，同時對ftrace進一步配置：

echo 'p sched_rt_can_attach $arg* +0x840($arg2):string' > dynamic_events
echo kprobe_ftrace_handler > /sys/kernel/debug/tracing/set_graph_notrace
echo 1 > events/kprobes/p_sched_rt_can_attach_0/enable

上面$arg*的用法是新版本的內核才有的，藉助BTF來獲取函數的入參，比之前方便多了，可以用來輸出函數的全部入參

這個方法跟funcgraph-retval結合起來，既實現了輸出內核函數的入參，同時也輸出了內核函數的返回值

再次按照之前的方法復現一次，可以抓到下麵的log：

2)               |                cgroup_migrate_execute() {
 2)               |                  cpu_cgroup_can_attach() {
 2)               |                    cgroup_taskset_first() {
 2)   0.190 us    |                      cgroup_taskset_next(); /* = 0xffff8881003b0000 */
 2)   0.581 us    |                    } /* cgroup_taskset_first = 0xffff8881003b0000 */
 2)               |                    sched_rt_can_attach() {
 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1c00 tsk=0xffff8881003b0000 arg3="systemd" */
 2)   4.529 us    |                    } /* sched_rt_can_attach = 0x1 */
 2)   0.291 us    |                    cgroup_taskset_next(); /* = 0xffff888107e38000 */
 2)               |                    sched_rt_can_attach() {
 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff888107e38000 arg3="agetty" */
 2)   1.603 us    |                    } /* sched_rt_can_attach = 0x1 */
 2)   0.251 us    |                    cgroup_taskset_next(); /* = 0xffff888107f3ce00 */
 2)               |                    sched_rt_can_attach() {
 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff888107f3ce00 arg3="agetty" */
 2)   1.413 us    |                    } /* sched_rt_can_attach = 0x1 */
 2)   0.241 us    |                    cgroup_taskset_next(); /* = 0xffff888107e39a00 */
 2)               |                    sched_rt_can_attach() {
 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff888107e39a00 arg3="systemd-journal" */
 2)   2.324 us    |                    } /* sched_rt_can_attach = 0x1 */
 2)   0.250 us    |                    cgroup_taskset_next(); /* = 0xffff88810862b400 */
 2)               |                    sched_rt_can_attach() {
 2)               |                      /* p_sched_rt_can_attach_0: (sched_rt_can_attach+0x4/0x30) tg=0xffff88810a1b1880 tsk=0xffff88810862b400 arg3="multipathd" */
 2)   2.014 us    |                    } /* sched_rt_can_attach = 0x0 */
 2) + 15.820 us   |                  } /* cpu_cgroup_can_attach = -22 */

kprobe_event的好處是，可以跟function_graph的日誌一塊結合起來看，也比較方便。上面的日誌顯示調用sched_rt_can_attach時，當進程是multipathd時，返回了0，進而導致cpu_cgroup_can_attach返回了-22.

本文來自博客園，作者：摩斯電碼，未經同意，禁止轉載


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Prism使用Options選項
    Options是微軟提供的選項模塊，該模塊依賴於容器使用。除了微軟的IServiceCollection，當然也可以使用其它的依賴註入容器。本文演示如何在prism中使用Options。 創建應用項目 創建一個Avalonia應用（或其它類型應用），然後使用NuGet包管理器添加Prism.DryI ...
  • 不要用第三方日誌包了Microsoft.Extensions.Logging功能就很強大
    在.NET中，Microsoft.Extensions.Logging是一個廣泛使用的日誌庫，用於記錄應用程式的日誌信息。它提供了豐富的功能和靈活性，使開發人員能夠輕鬆地記錄各種類型的日誌，並將其輸出到不同的目標，包括日誌文件。本文將詳細介紹Microsoft.Extensions.Logging的 ...
  • WPF DataGrid開箱即用支持全部勾選的DataGridCheckBoxColumn
    上篇文章講述了C#多線程知識點，本文將介紹C#處理文件的知識點。在.NET開發領域，文件系統I/O是一個至關重要的主題，尤其是在處理文件、目錄和數據存儲方面。C#作為.NET平臺的主要編程語言，提供了豐富而強大的文件系統I/O功能，為開發人員提供了靈活的工具，使其能夠高效地處理文件操作。本文將介紹C ...
  • 在CPF里使用OpenGL做跨平臺桌面應用開發
    CPF 是開源的C#跨平臺UI框架，支持使用OpenGL來渲染，可以用來硬體加速播放視頻或者顯示3D模型 實現原理其實就是Skia用OpenGL後端，Skia里綁定GLView的OpenGL紋理，將紋理作為Skia的圖像混合繪製。 在CPF里使用OpenGL，不能選擇NetCore3.0和Net4， ...
  • .net平臺使用SDK快速對接各大語言模型
    .net平臺使用SDK快速對接各大語言模型 1.項目介紹 最近，在做GPT項目時，發現各個平臺的介面規範和參數不同，需要根據不同平臺和模型寫多種介面，比較麻煩，不想Python那樣有豐富和方便的AI環境， 如果c#有一個SDK可以方便調用各種平臺模型就好了，這是AllInAI.Sharp.API萌芽 ...
  • 在WPF應用中使用GongSolutions.WPF.DragDrop實現列表集合控制項的拖動處理
    WPF應用中，控制項本身也可以通過實現事件代碼實現拖動的處理，不過如果我們使用GongSolutions.WPF.DragDrop來處理，事情會變得更加簡單輕鬆，它支持很多控制項的拖動處理，如ListBox, ListView, TreeView, DataGrid等源自ItemsControl的控制項，... ...
  • Power BI Report Server自定義Form登錄
    一、條件 1、windows server主機一臺，我是windows server 2019（當然windows10或者10月份5日更新的windows11也是可以行的）。 2、SQL Sever，我用的是SQL Server2019。 3、Power BI Report Server預設位置安裝 ...
  • C#中的並行處理、並行查詢的方法你用對了嗎？
    Parallel.ForEach Parallel.ForEach 是一個用於在集合上並行執行迭代操作的強大工具。它通過有效地利用多核處理器的能力來提高性能。Parallel.ForEach 不僅能夠簡化並行編程，而且它在執行簡單迴圈時可以提供比傳統迭代更好的性能。 下麵是一個簡單的示例，演示瞭如何 ...
一周排行
    -Advertisement-
    Play Games
  • 實用接地氣的 .NET 微服務框架
    前言 微服務架構已經成為搭建高效、可擴展系統的關鍵技術之一，然而，現有許多微服務框架往往過於複雜，使得我們普通開發者難以快速上手並體驗到微服務帶了的便利。為瞭解決這一問題，於是作者精心打造了一款最接地氣的 .NET 微服務框架，幫助我們輕鬆構建和管理微服務應用。 本框架不僅支持 Consul 服務註 ...
  • 基於surging的木舟IOT平臺如何添加網路組件
    先看一下效果吧: 如果不會寫動畫或者懶得寫動畫，就直接交給Blend來做吧; 其實Blend操作起來很簡單，有點類似於在操作PS，我們只需要設置關鍵幀，滑鼠點來點去就可以了，Blend會自動幫我們生成我們想要的動畫效果. 第一步：要創建一個空的WPF項目 第二步：右鍵我們的項目，在最下方有一個，在B ...
  • Prism:框架介紹與安裝
    Prism:框架介紹與安裝 什麼是Prism? Prism是一個用於在 WPF、Xamarin Form、Uno 平臺和 WinUI 中構建鬆散耦合、可維護和可測試的 XAML 應用程式框架 Github https://github.com/PrismLibrary/Prism NuGet htt ...
  • 不可不知的WPF畫筆（Brush）
    在WPF中，屏幕上的所有內容，都是通過畫筆（Brush）畫上去的。如按鈕的背景色，邊框，文本框的前景和形狀填充。藉助畫筆，可以繪製頁面上的所有UI對象。不同畫筆具有不同類型的輸出（ 如：某些畫筆使用純色繪製區域，其他畫筆使用漸變、圖案、圖像或繪圖）。 ...
  • .NET 8 高併發微服務電商系統實戰
    前言 嗨，大家好！推薦一個基於 .NET 8 的高併發微服務電商系統，涵蓋了商品、訂單、會員、服務、財務等50多種實用功能。 項目不僅使用了 .NET 8 的最新特性，還集成了AutoFac、DotLiquid、HangFire、Nlog、Jwt、LayUIAdmin、SqlSugar、MySQL、 ...
  • 基於surging 如何利用peerjs進行語音視頻通話
    本文主要介紹攝像頭（相機）如何採集數據，用於類似攝像頭本地顯示軟體，以及流媒體數據傳輸場景如傳屏、視訊會議等。 攝像頭採集有多種方案，如AForge.NET、WPFMediaKit、OpenCvSharp、EmguCv、DirectShow.NET、MediaCaptre（UWP），網上一些文章以及 ...
  • [WPF]數據綁定時為何會出現StringFormat失效
    前言 Seal-Report 是一款.NET 開源報表工具，擁有 1.4K Star。它提供了一個完整的框架，使用 C# 編寫，最新的版本採用的是 .NET 8.0 。 它能夠高效地從各種資料庫或 NoSQL 數據源生成日常報表，並支持執行複雜的報表任務。 其簡單易用的安裝過程和直觀的設計界面，我們 ...
  • NET Core 多身份校驗與策略模式
    背景需求： 系統需要對接到XXX官方的API，但因此官方對接以及管理都十分嚴格。而本人部門的系統中包含諸多子系統，系統間為了穩定，程式間多數固定Token+特殊驗證進行調用，且後期還要提供給其他兄弟部門系統共同調用。 原則上：每套系統都必須單獨接入到官方，但官方的接入複雜，還要官方指定機構認證的證書 ...
  • C#自定義控制項—轉換開關
    本文介紹下電腦設備關機的情況下如何通過網路喚醒設備，之前電源S狀態 電腦Power電源狀態- 唐宋元明清2188 - 博客園 (cnblogs.com) 有介紹過遠程喚醒設備，後面這倆天瞭解多了點所以單獨加個隨筆 設備關機的情況下，使用網路喚醒的前提條件： 1. 被喚醒設備需要支持這WakeOnL ...
  • .NET 8.0 前後分離快速開發框架
    前言 大家好，推薦一個.NET 8.0 為核心，結合前端 Vue 框架，實現了前後端完全分離的設計理念。它不僅提供了強大的基礎功能支持，如許可權管理、代碼生成器等，還通過採用主流技術和最佳實踐，顯著降低了開發難度，加快了項目交付速度。 如果你需要一個高效的開發解決方案，本框架能幫助大家輕鬆應對挑戰，實 ...
所有分類