Nginx反向代理服務流式輸出設置

1.問題場景

提問：為什麼我部署的服務沒有流式響應

最近在重構原有的GPT項目時，遇到gpt回答速度很慢的現象。在使用流式輸出的介面時，介面響應速度居然還是達到了30s以上。

2.現象分析

分析現象我發現，雖然前端還是流式列印的結果，但是，好像是介面處理完了，再以流式返回到的前端。

3.解決過程記錄

起初

因為新的重構項目中用MASA 的minimalAPI代替了傳統的MVC。所以在介面實現上跟之前有所不同，在對Stream流的處理方式上也有不同。我以為是我處理的方式不對，為此，我的代碼做過多次改進。最終的介面如下：

/// <summary>
/// 聊天介面（gpt-4）返迴流
/// </summary>
/// <param name="req"></param>
/// <returns></returns>
[Authorize]
[Produces("application/octet-stream")]
public async Task ChatCompletionStream(ChatReq req, CancellationToken cancellationToken = default)
{
    if (_httpContextAccessor.HttpContext?.Items["key"] != null)
    {
        req.Key = _httpContextAccessor.HttpContext?.Items["key"]?.ToString();
    }
    _logger.Information($"ChatStream1開始時間：{DateTime.Now}，key【{req.Key}】");
    var userId = long.Parse(_httpContextAccessor.HttpContext.User.FindFirstValue(ClaimTypes.UserData));
    req.UserId = userId;
    req.IP = _httpContextAccessor.HttpContext?.Connection.RemoteIpAddress?.MapToIPv4().ToString();
    var response = _httpContextAccessor.HttpContext.Response;
    response.ContentType = "application/octet-stream";
    var enumerable = _chatService.ChatCompletionStream(req);
    await foreach (var item in enumerable)
    {
        var bytes = Encoding.UTF8.GetBytes(JsonSerializer.Serialize(item, new JsonSerializerOptions()
        {
            Encoder = JavaScriptEncoder.Create(UnicodeRanges.All)
        }) + "\n");
        await response.BodyWriter.WriteAsync(bytes);
    }
    _logger.Information($"ChatStream1結束時間：{DateTime.Now}");
}

後來

在優化代碼後，本地速度提升明顯。但是在伺服器上速度任然不理想。讓我懷疑，是不是代碼問題?難道是別的問題。

與此同時，昨天，我的搭檔同樣向我拋出了這個問題：“聊天的介面好慢”

我說出了兩種可能：1.代碼，是minimalAPI的鍋。2.網路，我們的服務部署在自己的伺服器上，然後通過內網映射，又通過反向代理調用的OpenAI的介面，網路複雜，造成了速度慢。

最後發現問題

今天，我想到問題所在，我們的反向代理服務，是通過nginx做了反向代理的，之前我們解決過後端服務的nginx反向代理設置流式傳輸的問題。問題就在這裡。對應的yarn服務的nginx配置同樣需要設置流式傳輸。

2.解決問題的方法

如果你使用 ngnix 反向代理，需要在配置文件中增加下列代碼：

\# 不緩存，支持流式輸出

proxy_cache off;  # 關閉緩存

proxy_buffering off;  # 關閉代理緩衝

chunked_transfer_encoding on;  # 開啟分塊傳輸編碼

tcp_nopush on;  # 開啟TCP NOPUSH選項，禁止Nagle演算法

tcp_nodelay on;  # 開啟TCP NODELAY選項，禁止延遲ACK演算法

keepalive_timeout 300;  # 設定keep-alive超時時間為65秒

3 什麼是代理，如何使用？

由於 OpenAI 的 IP 限制，中國和其他一些國家/地區無法直接連接 OpenAI API，需要通過代理。你可以使用代理伺服器（正向代理），或者已經設置好的 OpenAI API 反向代理。

- 正向代理例子：梯子。docker 部署的情況下，設置環境變數 HTTP_PROXY 為你的代理地址（例如：10.10.10.10:8002）。

- 反向代理例子：可以用別人搭建的代理地址，或者通過 Cloudflare 免費設置。設置項目環境變數 BASE_URL 為你的代理地址。

4.搭建反向代理服務

yarn 服務反向代理GPT部署方案：yarn 反向代理

閱讀如遇樣式問題，請前往個人博客瀏覽： https://www.raokun.top

擁抱ChatGPT：https://chat111.terramours.site

開源項目地址:https://github.com/raokun/YarpProject