長連接:chatgpt流式響應背後的邏輯

来源:https://www.cnblogs.com/jingdongkeji/archive/2023/07/27/17584200.html
-Advertisement-
Play Games

提起長連接,我們並不陌生,最常見的長連接非websocket莫屬了。即使沒有在項目中實際用過,至少也應該有所接觸。長連接指在一次網路通信中,客戶端與伺服器之間建立一條持久的連接,可以在多次請求和響應中重覆使用該連接。 ...


一、前言:

提起長連接,我們並不陌生,最常見的長連接非websocket莫屬了。即使沒有在項目中實際用過,至少也應該有所接觸。長連接指在一次網路通信中,客戶端與伺服器之間建立一條持久的連接,可以在多次請求和響應中重覆使用該連接。這種方式的優點是減少了連接建立和關閉的開銷,提高了通信效率,但需要註意控制連接的數量,避免資源浪費。短連接則是每次請求和響應都建立一個新的連接,完成後立即關閉,需要頻繁進行連接建立和關閉,效率相對較低。但是這種方式更加靈活,適用於請求量較小、請求頻率不高的場景。

二、背景:

最近項目在引用chatgpt智能小助手,最開始採用的是當chatgpt回答完成後一次性返回答案。但這種方式受限於網路及服務較慢的原因導致用戶需要等待較長時間,極大的降低了用戶的使用體驗。經過項目組成員商議決定採取答案逐字返回的形式,以便於用戶能更快的得到反饋。

關於長連接技術,主要考慮兩種方案websocket和sse

三、原理:

1.websocket概念:WebSocket是HTML5定義的新協議,實現了伺服器與客戶端之間的全雙工通信。WebSocket連接一旦建立,客戶端和伺服器端處於平等地位,可以相互發送數據,不存在請求和響應的區別。

2、websocket優劣勢:優勢在於實現了雙向通信,劣勢在於伺服器端的邏輯非常複雜。現在針對不同的後臺語言有不同的插件可以使用。

3、sse概念:SSE(Server-Sent Events)是HTML5新增的功能,允許伺服器將數據推送到客戶端。與長輪詢和短輪詢不同,SSE不需要客戶端先發送請求,而是在伺服器端數據有更新時立即發送到客戶端

4、sse優劣勢:優勢在於節約資源,提升應用性能。SSE可以實現只要伺服器端數據有更新,就可以馬上發送到客戶端,不需要建立或保持大量的客戶端發往伺服器端的請求。另外,SSE的實現非常簡單,並且不需要依賴其他插件。劣勢在於不是雙向通信,只能後臺向前臺推送。

5、相同點:都是基於tcp,都是可靠的傳輸協議

6、不同點

  • WebSocket是雙向通信協議,模擬Socket協議,可以雙向發送或接受信息
  • HTTP是單向的
  • WebSocket是需要瀏覽器和伺服器握手進行建立連接的
  • 而http是瀏覽器發起向伺服器的連接,伺服器預先並不知道這個連接

四、應用:

1、sse在chatgpt中的應用

前端代碼

import { fetchEventSource } from '@microsoft/fetch-event-source'
let answerContent = ''
fetchEventSource('/chatgptApi/chatgpt_qa_stream', {
        method: 'POST',
        headers: {
          'Content-Type': 'application/json'
        },
        body: JSON.stringify({ messages }),
        async onopen(response) {
          if (response.ok && response.status === 200) {
            console.log('連接成功')
          } else {
            console.log('連接異常')
          }
        },
        async onmessage(event) {
          // 表示整體結束
          if (event.data === '[DONE]') {
            console.log('結束')
            return
          }
          if (event.data) {
            const data = JSON.parse(event.data)
            answerContent += data.content
          }
        },
        async onerror(error) {
          console.error('Error:', error)
        },
        async onclose() {
          console.log('關閉連接')
        }
      })



後端代碼

const http = require('http');
const yun = express();
const eventServer = http.createServer((req, res) => {
    res.writeHead(200, {
        'Content-Type': 'text/event-stream',
        'Cache-Control': 'no-cache',
        'Connection': 'keep-alive',
        'Access-Control-Allow-Origin': "*",
        'Access-Control-Allow-Headers': 'Content-Type,Content-Length,Authorization,Accept,X-Requested-With',
        'Access-Control-Allow-Methods': 'PUT,POST,GET,DELETE,OPTIONS'
    });
    setInterval(() => {
    	// 事件要用兩個\n結束
        res.write('data: The server time is: ' + new Date() + '\n\n');
    }, 1000);
    req.connection.addListener('close', () => {
        console.log('SSE connection closed!');
    }, false);
}).listen(4001);



2、websockt在即時聊天中的應用

前端代碼

// 創建WebSocket對象
let ws = new WebSocket('ws://localhost:8888')

// 連接成功後的回調函數
ws.onopen = function (params) {
  console.log('客戶端連接成功')
  // 向伺服器發送消息
  ws.send('hello')
};

// 從伺服器接受到信息時的回調函數
ws.onmessage = function (e) {
  console.log('收到伺服器響應', e.data)
};

// 連接關閉後的回調函數
ws.onclose = function(evt) {
  console.log("關閉客戶端連接");
};

// 連接失敗後的回調函數
ws.onerror = function (evt) {
  console.log("連接失敗了");
};
// 監聽視窗關閉事件,當視窗關閉時,主動去關閉websocket連接,防止連接還沒斷開就關閉視窗,這樣服務端會拋異常。
window.onbeforeunload = function() {
    ws.close();
}



後端代碼

/ 引入插件
const ws = require('nodejs-websocket')
// 只要有用戶鏈接,函數就會執行,會給當前鏈接的用戶創建一個connect對象
const server = ws.createServer((connect)=>{
    console.log('連接成功')
    // console.log(connect)
    // 註冊text事件 ,接收用戶傳遞過來的數據
    connect.on('text',data=>{
        console.log('接收客戶端數據---->', data)
        // 給所有用戶發送消息
        broadcast(server,data+"--返回數據")
    })
    // 連接斷開,觸發事件close
    connect.on('close',()=>{
        console.log('用戶鏈接斷開--close')
    })
    // 用戶鏈接斷開
    connect.on('error',err=>{
        console.log('err', err)
    })

}).listen(3001,()=>{
    console.log('websocket服務啟動成功了')
})

// 給所有人發消息
function broadcast(server,msg){
    server.connections.forEach(element => {
        element.send(msg)
    });
}



五、效果:

sse在chatgpt案例中的應用

作者:京東物流 田雷雷

來源:京東雲開發者社區 自猿其說Tech


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 忠人之事受人之托 起因是因為一位朋友的資料庫伺服器被重裝了,只剩下一個zbp_post.frm和zbp_post.ibd文件。咨詢我能不能恢復,確實我只用過mysqldump這種工具導出數據 然後進行恢復到資料庫。這種直接備份物理存儲文件還沒有嘗試過。 前提是需要歷史ibd文件的所屬資料庫版本 需要 ...
  • 一、SQL執行頻率 MySQL客戶端 連接成功後,通過show [session | global] status 命令可以提供伺服器狀態信息,通過如下指令,可以查看當前資料庫的insert,update,dalete,select的訪問頻次 show [global | session] stat ...
  • NineData新增了PostgreSQL數據源的支持,這是一個可視化、集成AI、多雲多環境、擁有企業級能力的PostgreSQL解決方案。無論您是個人開發者還是團隊,都可以通過NineData平臺一站式管理您的PostgreSQL數據源。 ...
  • 用戶使用資料庫客戶端工具如navicat、dbeaver等執行超大結果集的查詢語句導致異常中斷,中斷信息Last read message sequence %d is not equal to the max written message sequence %d。 ...
  • 博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 前言 本文我們會先聊聊 DOM 的一些缺陷,然後在此基礎上介紹虛擬 DOM 是如何解決這些缺陷的,最後再站在雙緩存和 MVC 的視角來聊聊虛擬 DOM。理解了這些會讓你對目前的前端框架有一個更加底層的認識,這也有助於你更好地理解這些前端框 ...
  • Vue的路由在執行跳轉時,根據源碼可知,調用了router中定義的navigate函數,源碼中可以看出,由Promise then的鏈式調用保證了路由守衛按照以下順序執行 ...
  • JSX語法  JSX是一種JavaScript的語法擴展(eXtension),也在很多地方稱之為JavaScript XML,因為看起就是一段XML語法;  它用於描述我們的UI界面,並且其完成可以和JavaScript融合在一起使用;  它不同於Vue中的模塊語法,你不需要專門學習模塊語法 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...