讓你的Nginx支持分散式追蹤opentracing

来源:https://www.cnblogs.com/Cylon/archive/2022/07/04/16441422.html
-Advertisement-
Play Games

Background NGINX 是一個通用且流行的應用程式。也是最流行的 Web 伺服器，它可用於提供靜態文件內容，但也通常與其他服務一起用作分散式系統中的組件，在其中它用作反向代理、負載均衡 或 API 網關。 分散式追蹤 distributed tracing 是一種可用於分析與監控應用程式的 ...


Background

NGINX 是一個通用且流行的應用程式。也是最流行的 Web 伺服器，它可用於提供靜態文件內容，但也通常與其他服務一起用作分散式系統中的組件，在其中它用作反向代理、負載均衡 或 API 網關。

分散式追蹤 distributed tracing 是一種可用於分析與監控應用程式的機制，將追蹤在從源到目的的整個過程中的單個請求，這與僅通過單個應用程式域來追蹤請求的形式不同。

換句話說，我們可以說分散式追蹤是對跨多個系統的多個請求的拼接。拼接通常由一個或多個相關 ID 完成，並且跟蹤通常是一組記錄的、跨所有系統的結構化日誌事件，存儲在一個中心位置。

在這種背景的情況下， OpenTracing 應運而生。OpenTracing 是一個與應用供應商無關的 API，它可幫助開發人員輕鬆地跟蹤單一請求的域。目前有多種開源產品都支持 OpenTracing（例如，Jaeger, skywalking 等），並將其作為一種檢測分散式追蹤的標準化方法。

本文將圍繞，從0到1實現在nginx配置分散式追蹤的架構的簡單實例說明。本文實例使用的組件為

  • nginx-1.22
  • jaeger-all-in-on v1.38
  • nginx-opentracing v1.22
  • jaeger-client-cpp v0.9

源碼構建nginx-opentracing

準備nginx-opentracing

nginx-opentracing 倉庫中可以看到，官方為每個nginx版本都提供了一個編譯好的動態庫（Nginx1.19.13+），我們可以直接拿來使用這個動態庫，如果你想將這個利用Nginx 提供的編譯參數 --add-module=/path/to/module 構建為nginx的內置功能的話，可能會出現一些問題，例如下麵的一些錯誤：

ngx_http_opentracing_module.so/config was found

	/root/nginx-opentracing-0.25.0/opentracing//src/ngx_http_opentracing_module.cpp
In file included from /root/nginx-opentracing-0.25.0/opentracing//src/ngx_http_opentracing_module.cpp:1:0:
/root/nginx-opentracing-0.25.0/opentracing//src/load_tracer.h:3:38: fatal error: opentracing/dynamic_load.h: No such file or directory

根據 issue 中查詢得知 nginx-opentracing 需要嵌入到nginx中，是需要一些 opentracing-cpp 因為對c++不熟，嘗試調試很久還是上面的錯誤，故直接使用了官方提供的動態庫。

準備jaeger-client-cpp

根據 nginx-opentracing 中提到的，還需要一個 jaeger-client-cpp 的 tracer 才可以正常運行（這也是作為jaeger架構中的角色）

來到 jaeger-client-cpp 看到Release提供的編譯好的動態庫已經很久了，而最新版都沒有提供相應編譯的版本，需要我們自己編譯

說明： 編譯依賴CMake 3.3+，gcc 4.9.2+

我們的編譯環境使用CentOS 7 預設gcc與CMake都符合要求需要自行編譯兩個的版本。

編譯gcc

gcc下載地址：https://ftp.gnu.org/gnu/gcc/

cd gcc-5.4.0
./contrib/download_prerequisites

mkdir gcc-build-5.4.0
cd gcc-build-5.4.0

/usr/local/src/gcc-5.4.0/configure \
	--enable-checking=release \
	--enable-languages=c,c++ \
	--disable-multilib
	
make && make install

引用處理 refer 1

cd /usr/bin/
mv gcc gcc_back
mv g++ g++_back
ln -s /usr/local/bin/gcc gcc
ln -s /usr/local/bin/g++ g++

編譯時遇到幾個問題

/lib64/libstdc++.so.6: version GLIBCXX_3.4.20' not found

gcc 編譯，libgcc動態庫有改動，恢複原狀即可

configure: error: C++ compiler missing or inoperational

make[2]: \*** [configure-stage1-libcpp] Error 1    
make[2]: Leaving directory `/home/clay/programming/C++/gcc-4.8.1'    
make[1]: \*** [stage1-bubble] Error 2    
make[1]: Leaving directory `/home/clay/programming/C++/gcc-4.8.1'    
make: \*** [all] Error 2

編譯cmake

./configure --prefix=/path/to/app

make
make install

這裡遇到一個小問題 編譯過程中遇到 [libstdc++.so.6: version GLIBCXX_3.4.20 not found

因為這裡使用了自己編譯的gcc版本，需要指定下動態庫的路徑 refer 2

LD_LIBRARY_PATH=/usr/local/lib64 ./configure --prefix=/usr/local/cmake

編譯jaeger-client-cpp

這裡根據官方提供的步驟操作即可

cd jaeger-client-cpp-0.9.0/
mkdir build
cd build
# 這裡建議使用下強國特色上網，編譯過程中會使用Hunter自動下載所需的依賴項
ALL_PROXY=http://x.0.0.x:10811 /usr/local/cmake/bin/cmake .. 
make

註：依賴項挺大的，下載時間可能很長，會hang主，只需等待結束即可

​ 編譯完成後 libjaegertracing.so.0.9.0 則是我們需要的

編譯nginx

./configure \
	--user=web_www \
	--group=web_www \
	--with-pcre \
	--with-compat \
	--with-http_ssl_module  \
	--with-http_gzip_static_module \
	--prefix=/root/nginx  \
	--with-http_stub_status_module

--with-compat 必須加上，錶面允許使用動態庫，否則編譯完在啟動時會報下麵的錯誤

nginx: [emerg] module "/root/nginx/conf/ngx_http_opentracing_module.so" is not binary compatible in /root/nginx/conf/nginx.conf:1

遇到的問題，cc nou found，這裡只需將 gcc 軟連接一份為 cc 即可

配置nginx

準備jaeger-client的配置

jaeger.json

{
  "service_name": "nginx", // 服務名
  "sampler": {
    "type": "const",
    "param": 1
  },
  "reporter": {
    "localAgentHostPort": "jaeger:6831" // jaeger agent的地址
  },
  "headers": { // jaeger的預設的jaeger Baggage頭設置
    "jaegerDebugHeader": "jaeger-debug-id",
    "jaegerBaggageHeader": "jaeger-baggage",
    "traceBaggageHeaderPrefix": "uberctx-"
  },
  "baggage_restrictions": {
    "denyBaggageOnInitializationFailure": false,
    "hostPort": ""
  }
}

在nginx中開啟opentracing

# 載入 OpenTracing 動態模塊。
load_module conf/ngx_http_opentracing_module.so;
worker_processes  1;
user root root;

events {
    worker_connections  1024;
}
http {
    log_format opentracing '{"timestamp":"$time_iso8601",'
                       '"source":"$server_addr",'
                       '"hostname":"$hostname",'
                       '"ip":"$http_x_forwarded_for",'
                       '"traceID":"$opentracing_context_uber_trace_id",'
                       '"client":"$remote_addr",'
                       '"request_method":"$request_method",'
                       '"scheme":"$scheme",'
                       '"domain":"$server_name",'
                       '"referer":"$http_referer",'
                       '"request":"$request_uri",'
                       '"args":"$args",'
                       '"size":$body_bytes_sent,'
                       '"status": $status,'
                       '"responsetime":$request_time,'
                       '"upstreamtime":"$upstream_response_time",'
                       '"upstreamaddr":"$upstream_addr",'
                       '"http_user_agent":"$http_user_agent",'
                       '"https":"$https"'
                       '}';
	# 載入 tracer，這裡使用的jaeger，需要傳遞配置文件
    opentracing_load_tracer conf/libjaegertracing.so conf/jaeger.json;
    # 啟用 tracing 
    opentracing on; 
    # 設置tag，可選參數
    opentracing_tag http_user_agent $http_user_agent;
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        server_name  localhost;
        location / {
            opentracing_operation_name $uri;
	    opentracing_propagate_context;
            root   html;
            index  index.html index.htm;
        }
	access_log logs/access.log opentracing;
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

註：這裡使用的 opentracing-nginx 的動態庫為 ot16 ，linux-amd64-nginx-1.22.0-ot16-ngx_http_module.so.tgz ，另外一個版本不相容，-t 檢查語法時會提示

此時我們可以在jaeger上查看，可以看到 NGINX 的 span（因為這裡只配置了NGINX，沒有配置更多的後端）。

image

image

Reference

1 CentOS7 升級 GCC 到 5.4.0 版本

2 libstdc++.so.6: version GLIBCXX_3.4.20 not found

3 nginx load_module

作者：鋼閘門
出處：http://lc161616.cnblogs.com/ 本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利。 阿裡雲優惠：點擊力享低價 墨墨學英語：幫忙點一下
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 拼夕夕二面：說說布隆過濾器與布穀鳥過濾器？應用場景？我懵了。。
    來源：www.cnblogs.com/Courage129/p/14337466.html 大家都知道,在電腦中,IO一直是一個瓶頸,很多框架以及技術甚至硬體都是為了降低IO操作而生,今天聊一聊過濾器,先說一個場景: 我們業務後端涉及資料庫,當請求消息查詢某些信息時,可能先檢查緩存中是否有相關信息 ...
  • 利用MySQL實現分散式鎖，涉及到樂觀鎖和悲觀鎖的思想
    對於一些併發量不是很高的場景，使用MySQL來實現會比較精簡且巧妙。 下麵就一個小例子，針對不加鎖、樂觀鎖以及悲觀鎖這三種方式來實現。 主要是一個用戶表，它有一個年齡的欄位，然後併發地對其加一，看看結果是否正確。 ...
  • 聊聊Netty那些事兒之從內核角度看IO模型
    從內核角度介紹了經常容易混淆的阻塞與非阻塞，同步與非同步的概念。以這個作為鋪墊，我們通過一個C10K的問題，引出了五種IO模型，隨後在IO多路復用中以技術演進的形式介紹了select,poll,epoll的原理和它們綜合的對比。最後我們介紹了兩種IO線程模型以及netty中的Reactor模型。 ...
  • 三菱M70巨集變數讀取三菱M80公共變數採集三菱CNC變數讀取採集三菱CNC遠程刀補三菱機床線上刀補三菱數控線上測量
    本章將和大家分享在ASP.NET Core中如何使用UseMiddleware擴展方法註冊自定義中間件及其實現原理。 ...
  • ps 2022 mac最新
    Photoshop 2022中文Mac版是一款高效、專業、實用的圖像處理軟體，Photoshop是以其強悍的編輯和調整、繪圖等功能，從而受到了廣泛的應用，不管是在各種圖片的調整和圖畫繪製以及圖像的修複、調色等工具都是數不勝數的，用戶可以從自己照片修飾到海報、包裝、橫幅的製作以及照片的處理，只要是你想 ...
  • VMware Tools和open-vm-tools的安裝與使用：解決虛擬機不全屏和無法傳輸文件的問題
    鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 在VMware Workstation上新建了一個虛擬機，安裝了Ubuntu 10.04版本的iso，創建好後發現了兩個問題： (1) 虛擬機界面並不能填充滿整個屏幕，使用起來十分反人類。 (2) 主機和虛擬機不能隨意相互複製粘貼，無論是文件還是 ...
  • docker-registry 私有倉庫鏡像 之 查看與刪除
    鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 查看私有倉庫有哪些鏡像 如果私有倉庫帶有認證，在使用 curl 命令的時候需要帶上 -u 參數 使用方法： curl -XGET -u <倉庫用戶名>:<用戶名密碼> http://<倉庫ip地址>:<倉庫埠>/v2/_catalog curl ...
  • Linux通配符與正則表達式
    一、通配符 匹配參數，匹配文件/目錄名字 ： *.txt *.sh lidao{1,4}.txt | * | 所有 | | | | | {} | 生成序列 | | [] | 【a-z】匹配小寫字母，一個中括弧相當於一個字元 | | [^] | 取反排除 | | ? | 任何一個字元 | 1. 通配符 ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類