智能AI知識庫,增強AI知識的開源項目

来源:https://www.cnblogs.com/hejiale010426/p/18054498
-Advertisement-
Play Games

介紹FastWiki FastWiki是一個高性能、基於最新技術棧的知識庫系統,旨在為大規模信息檢索和智能搜索提供解決方案。它採用微軟Semantic Kernel進行深度學習和自然語言處理,在後端使用MasaFramework,前端採用MasaBlazor框架,實現了一個高效、易用、可擴展的智能向 ...


介紹FastWiki

FastWiki是一個高性能、基於最新技術棧的知識庫系統,旨在為大規模信息檢索和智能搜索提供解決方案。它採用微軟Semantic Kernel進行深度學習和自然語言處理,在後端使用MasaFramework,前端採用MasaBlazor框架,實現了一個高效、易用、可擴展的智能向量搜索平臺。其目標是幫助用戶快速準確地獲取所需信息,具有智能搜索、高性能、現代化前端、強大的後端等特點。除此之外,FastWiki是開源和社區驅動的項目,採用Apache-2.0許可證,鼓勵開發者和企業使用和貢獻。

部署FastWiki

下麵部署FastWiki將使用docker-compose進行部署,如果不存在環境則先安裝docker和docker-compose的環境,由於postgresql需要使用向量插件,自己打包向量插件會過於麻煩,所以FastWiki提供了一鍵docker-compose的文件,內部提供的postgresql自帶了vector插件了,我們只需要執行腳本即可

部署One-Api

One-Api是乾什麼的:

  • One-Api用於AI的中轉站,由於大部分的AI工具僅支持openai的api格式,但是國內的AI的介面格式五花八門,所以我們需要通過One-Api將國內的AI轉換成openai的介面格式下麵我們開始部署我們的One-Api

將下麵的內容複製到一個docker-compose.yml文件中

version: '3.8'
services:
  one-api:
    image: justsong/one-api
    container_name: one-api
    restart: always
    ports:
      - "3000:3000"
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - ./data/one-api:/data

我們使用最輕量級的Sqlite版本,啟動容器以後打開瀏覽器訪問:http://localhost:3000/

登錄系統,預設賬號為 root,密碼為 123456

  1. 添加渠道

  2. 添加星火大模型的渠道

  3. 獲取星火大模型的密鑰

    1. 控制台-訊飛開放平臺 (xfyun.cn) 在這裡申請一個應用和產品,3.5個人用戶可以免費領取200萬的Token對於測試基本是夠用的
  4. 獲取到密鑰 安裝APPID|APISecret|APIKey的格式填寫到上面One-Api的密鑰當中即可,

  5. 創建One-Api的Token,設置無限額度,然後點擊提交。

  6. 點擊複製key,然後將key修改下麵的compose文件中的OPENAI_CHAT_TOKEN的環境變數的值,OPENAI_CHAT_ENDPOINT的地址則修改成fast-wiki-service能訪問的地址,比如你區域網的ip加埠 OPENAI_CHAT_ENDPOINT=http://ip:埠 這樣即可。

下載docker-compose.yml

curl -o docker-compose.yml https://raw.githubusercontent.com/239573049/fast-wiki/master/docker-compose.yml

然後打開下載的docker-compose.yml文件,知識庫依賴了第三方服務所以不能直接運行,需要修改部分參數。

version: '3.8'  # 可以根據需要使用不同的版本
services:
  fast-wiki-service:
    image: registry.cn-shenzhen.aliyuncs.com/fast-wiki/fast-wiki-service
    container_name: fast-wiki-service
    user: root
    restart: always
    ports:
      - "8080:8080"
    build: 
      context: .
      dockerfile: ./src/Service/FastWiki.Service/Dockerfile
    volumes:
      - ./wwwroot:/app/wwwroot/
    environment:
      - OPENAI_CHAT_ENDPOINT=https://api.openai.com
      - OPENAI_CHAT_EMBEDDING_ENDPOINT=https://ai-api.token-ai.cn/
      - OPENAI_CHAT_TOKEN={您的TokenKey}
      - OPENAI_CHAT_MODEL=gpt-3.5-turbo
      - OPENAI_EMBEDDING_MODEL=text-embedding-3-small
      - ASPNETCORE_ENVIRONMENT=Development
      - OPENAI_EMBEDDING_TOKEN=sk-CpKIlADEESeOdoXnF58e72A2C8Af4e0c8b52Eb6eE7116c7a

  postgres: # 當前compose服務名
    image: registry.cn-shenzhen.aliyuncs.com/fast-wiki/pgvector:v0.5.0 # 拉取的資料庫鏡像
    container_name: postgres  # 容器運行的容器名稱
    restart: always  # 開機自啟動
    environment:  # 環境變數
      POSTGRES_USER: token  # 預設賬號
      POSTGRES_PASSWORD: dd666666 # 預設密碼
      POSTGRES_DB: wiki # 預設資料庫
      TZ: Asia/Shanghai  # 資料庫時區
    volumes:
      - ./postgresql:/var/lib/postgresql/data # 將PostgreSql數據持久化

  fast-wiki-server:
    image: registry.cn-shenzhen.aliyuncs.com/fast-wiki/fast-wiki-server
    container_name: fast-wiki-server
    restart: always 
    ports:
      - "2180:8080"
    build: 
      context: .
      dockerfile: ./src/Web/FastWiki.Web.Server/Dockerfile
    environment:
      - FAST_WIKI_SERVICE=http://知識庫api的ip:8080 
    volumes:
      - ./model.json:/app/model.json

FastWikiService環境變數參數:

  • QUANTIZE_MAX_TASK:量化任務的最大併發數,預設為3
  • OPENAI_CHAT_ENDPOINT:OpenAI API的地址
  • OPENAI_CHAT_EMBEDDING_ENDPOINT: Embedding API的地址
  • OPENAI_CHAT_TOKEN: OpenAI API的Token
  • OPENAI_CHAT_MODEL: 對話的模型,預設gpt-3.5-turbo
  • OPENAI_EMBEDDING_MODEL: Embedding的模型,預設text-embedding-3-small
  • OPENAI_EMBEDDING_TOKEN: Embedding的Token, 預設為空,為空則使用對話的Token

FastWiki.Web.Server環境變數參數:

請註意FAST_WIKI_SERVICE環境變數一定是得外網能訪問到的地址,否則在回覆知識庫內容的時候會導致引用的文件出現404.

FastWiki為你提供了免費的向量Api,這個地址和token僅支持向量(並且對於ip進行限流)。

創建自定義模型的json以便支持國產模型,文件需要於docker-compose.yml同級:

model.json

{
  "ChatModel": [
    {
      "label": "gpt-3.5-turbo",
      "value": "gpt-3.5-turbo"
    },
    {
      "label": "gpt-4-0125-preview",
      "value": "gpt-4-0125-preview"
    },
    {
      "label": "gpt-4-1106-preview",
      "value": "gpt-4-1106-preview"
    },
    {
      "label": "gpt-4-1106-vision-preview",
      "value": "gpt-4-1106-vision-preview"
    },
    {
      "label": "gpt-4",
      "value": "gpt-4"
    },
    {
      "label": "gpt-4-32k",
      "value": "gpt-4-32k"
    },
    {
      "label": "gpt-3.5-turbo-0125",
      "value": "gpt-3.5-turbo-0125"
    },
    {
      "label": "SparkDesk-v3.5",
      "value": "SparkDesk-v3.5"
    }
  ],
  "EmbeddingModel": [
    {
      "label": "text-embedding-3-small",
      "value": "text-embedding-3-small"
    }
  ]
}

SparkDesk-v3.5則是星火大模型。

上面文件創建好了以後執行,然後就可以訪問http://localhost:2180/

docker-compose up -d

登錄系統預設賬號admin密碼Aa123456

  1. 點擊知識庫->創建知識庫 點擊添加。

  2. 點擊創建的知識庫:

  3. 點擊導入文件

  4. 拖動需要上傳的.md/.pdf/.txt的文件到這裡,然後點擊下一步,一直到上傳數據,

  5. 上傳數據,點擊上傳,上傳完成關閉彈窗。

  6. 數據上傳以後服務會在後臺進行量化,等待上傳完成以後點擊應用,然後創建應用

  7. 創建應用,然後打開創建的應用
    1.

  8. 綁定知識庫,點擊選擇知識庫然後點擊需要綁定的知識庫,在關閉彈窗,然後點擊保存修改即可。

  9. 修改電話基礎模型,修改為添加的SparkDesk-v3.5然後點擊保存修改即可

  10. 打開聊天然後提問上傳的文檔的內容,這樣就可以針對性規範AI了,還可以設置超出知識庫返回的時候回覆內容!

開源地址

Github: https://github.com/239573049/fast-wiki

Gitee: https://gitee.com/hejiale010426/fast-wiki

線上文檔:https://docs.token-ai.cn/

體驗地址:https://chat.token-ai.cn/chat/share-chat?id=939b3ad2f853422db0d781bcb19a8bf1

知識庫微信交流群加:


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 概述:Protobuf-net是C#中高效的二進位序列化工具,以緊湊、跨語言支持和卓越性能著稱。通過定義消息類型、序列化和反序列化實現數據傳輸,並可適用於Web介面。前端可使用protobuf.js庫解析Protobuf格式數據。 Protobuf-net 在 C# 中的編碼結構及使用方法 優點 P ...
  • 概述:RJCP.DLL.SerialPortStream庫為C#串口通信提供強大支持,跨平臺、高度可定製,集成基礎功能如打開、配置串口和數據讀寫,以及高級功能包括事件處理、超時設置等,極大簡化串口開發流程,適用於不同平臺和複雜通信需求。 C#串口開發之RJCP.DLL.SerialPortStrea ...
  • .NET Core WebAPI項目部署iis後Swagger 404問題解決 前言 之前做了一個WebAPI的項目,我在文章中寫到的是Docker方式部署,然後考慮到很多初學者用的是iis,下麵講解下iis如何部署WebAPI項目。 環境準備 iis ASPNETCoreModuleV2 重點 . ...
  • CYQ.Data 是一個用於操作資料庫的框架,可以方便地連接和管理各種類型的資料庫。在操作達夢資料庫時,使用 CYQ.Data 框架可以提供以下功能和優勢......總的來說,使用 CYQ.Data 框架操作達夢資料庫可以簡化開發流程,提高開發效率,同時也增強了系統的穩定性和安全性。 ...
  • 一:背景 1. 講故事 先說一下題外話,一個監控別人系統運行狀態的程式,結果自己出問題了,有時候想一想還是挺諷刺的,哈哈,開個玩笑,我們回到正題,前些天有位朋友找到我,說他們的系統會偶發性CPU爆高,CPU上去了就下不來了,讓我幫忙看一下怎麼回事,而且自己也分析過了,沒找到哪裡有問題,寫監控的都是高 ...
  • Playwright 是一個由 Microsoft 開發的開源工具,用於自動化 Web 瀏覽器的測試和操作。它提供了一種跨瀏覽器、跨平臺的自動化解決方案,可以在 Chromium、Firefox 和 WebKit(Safari)等多種瀏覽器上進行測試和操作。本篇隨筆介紹Playwright的一些特點... ...
  • 概述:在.NET Core中,通過創建RequestCountMiddleware中間件,結合MemoryCache,實現了記錄最近5分鐘請求次數的功能。該中間件在每個請求中更新計數,並使用緩存存儲,為簡單而實用的請求監控提供了一個示例。 要實現一個在.NET Core中記錄最近5分鐘請求次數的Re ...
  • 人大金倉優點 人大金倉是國產最主流資料庫之一 具有和PgSql一樣強悍的性能,同時人大金倉支持了四種資料庫模式 : Oracle、PgSql、MySql和SqlServer ,假如你們系統有多種資料庫開發 有國產化要求,那麼你們切換到人大金倉就會很方便了 Nuget安裝 C# ORM 搜索人大金倉安 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...