libcurl 中使用curl_multi_perform()函數執行訂閱類型url的問題

来源:http://www.cnblogs.com/anwcq/archive/2016/08/19/curl_multi.html
-Advertisement-
Play Games

前提概要 當需要同時處理多個url時,可採用curl_multi_perform方式執行,如下代碼1: 問題概要 現在我的url為訂閱方式,每個curl都會一直收數據(即使沒數據也會每10s收到一幀心跳消息),永遠不會退出,即上面的迴圈永遠在執行,這樣我無法運行到"解析數據"那一步。所以我需要在迴圈 ...


前提概要

當需要同時處理多個url時,可採用curl_multi_perform方式執行,如下代碼1: 

 1     //初始化一個multi curl 對象
 2     CURLM * curl_m = curl_multi_init();
 3     CURL * my_curl[CURL_NUM];
 4     char rcvbuf[CURL_NUM][MAXHEADLEN] = { 0 };
 5     //其他初始化代碼略過...
 6     
 7     //執行多個url
 8     while(running_handles)
 9     {
10         if (-1 == curl_multi_select(curl_m))
11         {
12             printf("curl_multi_select error !\n");
13             break;
14         }
15         else {
16             // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
17             while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));    
18         }
19     }
20     
21     //解析數據
22     int  msgs_left;
23     CURLMsg *  curl_msg;
24     while((curl_msg = curl_multi_info_read(curl_m, &msgs_left)))
25     {
26         if (CURLMSG_DONE == curl_msg->msg)
27         {
28             int idx;
29             for (idx = 0; idx < CURL_NUM; ++idx)
30             {
31                 if (curl_msg->easy_handle == my_curl[idx]) break;
32             }
33 
34             if (idx == CURL_NUM)
35             {
36                 printf("curl not found !\n" );
37             }
38             else
39             {
40                 printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]);
41                 //數據處理...
42             }
43         }
44     }

問題概要

現在我的url為訂閱方式,每個curl都會一直收數據(即使沒數據也會每10s收到一幀心跳消息),永遠不會退出,即上面的迴圈永遠在執行,這樣我無法運行到"解析數據"那一步。所以我需要在迴圈內判斷某個curl是否有新數據到來

方法1(不行)

首先想到的方法是直接將curl_multi_info_read()函數直接移到迴圈內,看是否能受到數據,如下代碼2:

 1     //執行多個url,並解析數據
 2     while(running_handles)
 3     {
 4         if (-1 == curl_multi_select(curl_m))
 5         {
 6             printf("curl_multi_select error !\n");
 7             break;
 8         }
 9         else {
10             // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
11             while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));    
12             //檢測哪一個curl[idx]來的數據
13             while ((curl_msg = curl_multi_info_read(curl_m, &msgs_left)))
14             {
15                 if (CURLMSG_DONE == curl_msg->msg)
16                 {
17                     int idx;
18                     for (idx = 0; idx < CURL_NUM; ++idx)
19                     {
20                         if (curl_msg->easy_handle == my_curl[idx]) break;
21                     }
22                     if (idx == CURL_NUM)
23                     {
24                         printf("curl not found !\n" );
25                     }
26                     else
27                     {
28                         printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]);
29                         //數據處理...
30                         memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));//清空buf下輪迴圈還要用
31                     }
32                 }
33             }
34         }
35     }

     顯然是我想多了,這樣處理之後唯一的不同就是,哪個curl執行完了就列印哪個的數據(代碼1的是只能等到所有的curl都執行完畢退出迴圈後依次列印rcvbuf[idx]),但我的curl是訂閱的,根本執行不完,這樣也沒法列印,除非rcvbuf[idx]溢出...

 

方法2(暫時不行)

  rcvbuf[idx]溢出?這樣肯定不可能,但是讓我想起了curl_easy_setopt()函數,這貨可以配置curl的各種功能,或許總有一個能滿足我吧:

CURLOPT_TIMEOUT_MS 配置超時時間?
    不對,這個是要超時了curl直接掛了;
CURLOPT_RANGE 配置斷點續傳?
    貌似可以;通過測試發現收指定XX個位元組滿了後該curl就退出了,即使後面還有數據他也不要了,這不是我們想看到的。
還有一個接收超時時間的配置?
    同上,超過多少s後即使還有數據他也不要了,也不行。
...

相信通過配置curl_easy_setopt()函數應該是最官方的做法,但小弟不才沒有找到相關文章,自己研究也沒搞出來,有待高人指點。

 

方法3(可行,有缺陷)

萬般無奈之下,突然想到既然curl[idx]收到的數據在rcvbuf[idx]中,為何不直接檢查rcvbuf[idx]中有沒有數據,如下代碼3:

 1     //執行多個url,並解析數據
 2     while(running_handles)
 3     {
 4         if (-1 == curl_multi_select(curl_m))
 5         {
 6             printf("curl_multi_select error !\n");
 7             break;
 8         }
 9         else {
10             // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
11             while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));    
12             //檢測哪一個curl[idx]來的數據
13             int idx = 0;
14             for (idx = 0; idx < CURL_NUM; ++idx)
15             {
16                 if (rcvbuf[idx][0] == NULL) //curl[idx]沒有收到數據。
17                     continue;
18                 printf("curl[%d] rcvbuf:\n%s\n", idx, rcvbuf[idx]);
19                 //數據處理...
20                 memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));
21             }    
22         }
23     }

通過上面的處理確實能滿足要求,但是方法有些笨,存在2個明顯的缺陷:
  1. 每次都要檢測所有的curl一遍,效率低;
  2. 一旦某個curl因某種原因死掉了,我該如何判斷是哪一個curl掛了?


所以處理這個問題是否有官方的方法?還有待高人解答,保持關註更新。

 





您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、單元測試是什麼 單元測試(unit testing),是指對軟體中的最小可測試單元進行檢查和驗證。對於單元測試中單元的含義,一般來說,要根據實際情況去判定其具體含義,如C語言中單元指一個函數,C#里單元指一個類,圖形化的軟體中可以指一個視窗或一個菜單等。總的來說,單元就是人為規定的最小的被測功能 ...
  • 第一步,建立一個類庫,並且安裝好EntityFramework框架還有CodingFirstUsingFluentApi安裝包 第二步 : 第三步:配置好你的資料庫連接信息,還有你需要操作的資料庫,在確定之前,要先測試連接一下 最後會依據資料庫中的表生成各個類以及Context的操作入口,避免了你依 ...
  • 在ASP.NET MVC中,儘管我們可以直接在頁面中編寫HTML控制項,並綁定控制項的屬性,但更方便的辦法還是使用HtmlHelper中的輔助方法。在View中,包含一個類型為HtmlHelper的屬性Html,它為我們呈現控制項提供了捷徑。 我們今天主要來討論Html.DropDownList的用法,首 ...
  • 最前面的話:Smobiler是一個在VS環境中使用.Net語言來開發APP的開發平臺,也許比Xamarin更方便 ...
  • 在項目中載入這個dll 之後引用 使用方法具體如下圖: 在這裡需要註意到是項目中對interactivity的引用 : ...
  • 決策樹是一種非常經典的分類器,它的作用原理有點類似於我們玩的猜謎游戲。比如猜一個動物: 問:這個動物是陸生動物嗎? 答:是的。 問:這個動物有鰓嗎? 答:沒有。 這樣的兩個問題順序就有些顛倒,因為一般來說陸生動物是沒有鰓的(記得應該是這樣的,如有錯誤歡迎指正)。所以玩這種游戲,提問的順序很重要,爭取 ...
  • 物聯網涉及到各種設備、各種感測器、各種數據源、各種協議,並且很難統一,那麼就要有一個結構性的框架解決這些問題。SSIO就是根據時代發展的階段和現實實際情況的結合產物。 各種數據信息,如下圖: 解決方案,配合SIO使用: 一、SSIO特點 輕型高性能通信框架,適用於多種應用場,輪詢模式、自控模式、併發 ...
  • 遞歸演算法這個是非常常見的一個演算法,也是大多數人都會用的,因為它足夠簡單,通俗易懂!在遍歷城市,樹等大腦里反應出來的第一方法大多就屬於這個了 遞歸容易使用,但是也容易用壞,我想"記憶體溢出"這個估計是每個人用遞歸都會碰到的bug,我為什麼還是要寫這方面的知識呢,那是因為文章的最後我有一個問題要問 首先我 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...