通過DashScope API調用將多種模態轉換為向量

本文介紹如何通過模型服務靈積DashScope進行 多模態向量生成 ，併入庫至向量檢索服務DashVector中進行向量檢索。

模型服務靈積DashScope，通過靈活、易用的模型API服務，讓各種模態模型的能力，都能方便的為AI開發者所用。通過靈積API，開發者不僅可以直接集成大模型的強大能力，也可以對模型進行訓練微調，實現模型定製化。

前提條件

• DashVector：

  • 已創建Cluster
  • 已獲得API-KEY
  • 已安裝最新版SDK
  • 已開通服務並獲得API-KEY
  • 已安裝最新版SDK

ONE-PEACE多模態向量表徵

簡介

ONE-PEAC是一個 圖文音三模態 通用表徵模型，在語義分割、音文檢索、音頻分類和視覺定位幾個任務都達到了新SOTA表現，在視頻分類、圖像分類、圖文檢索、以及多模態經典benchmark也都取得了比較領先的結果。

說明

關於靈積ONE-PEACE多模態向量表徵更多信息請參考：ONE-PEACE多模態向量表徵。

使用示例

說明

需要進行如下替換代碼才能正常運行：

1. DashVector api-key替換示例中的

2. DashVector Cluster Endpoint替換示例中的

3. DashScope api-key替換示例中的

Python

import dashscope
from dashscope import MultiModalEmbedding
from dashvector import Client


dashscope.api_key = '{your-dashscope-api-key}'


# 調用DashScope ONE-PEACE模型，將各種模態素材embedding為向量
def generate_embeddings(text: str = None, image: str = None, audio: str = None):
    input = []
    if text:
        input.append({'text': text})
    if image:
        input.append({'image': image})
    if audio:
        input.append({'audio': audio})
    result = MultiModalEmbedding.call(
        model=MultiModalEmbedding.Models.multimodal_embedding_one_peace_v1,
        input=input,
        auto_truncation=True
    )
    if result.status_code != 200:
        raise Exception(f"ONE-PEACE failed to generate embedding of {input}, result: {result}")
    return result.output["embedding"]


# 創建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)

# 創建DashVector Collection
rsp = client.create('one-peace-embedding', 1536)
assert rsp
collection = client.get('one-peace-embedding')
assert collection

# 向量入庫DashVector
collection.insert(
    [
        ('ID1', generate_embeddings(text='阿裡雲向量檢索服務DashVector是性能、性價比具佳的向量資料庫之一')),
        ('ID2', generate_embeddings(image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png')),
        ('ID3', generate_embeddings(audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac')),
        ('ID4', generate_embeddings(
            text='阿裡雲向量檢索服務DashVector是性能、性價比具佳的向量資料庫之一',
            image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png',
            audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac'
        ))
    ]
)

# 向量檢索
docs = collection.query(
    generate_embeddings(text='The best vector database')
)
print(docs)

相關最佳實踐

• DashVector + DashScope升級多模態檢索