亮數據，適合大模型數據準備的可視化高效率數據採集工具。 一、大模型訓練需要數據 大模型數據處理的流程，分為數據採集、數據清洗、數據評估和指令數據標註四個主要階段，而這些階段中最重要的就是數據採集階段，需要海量的數據才能讓大模型涌現智能。 訪問點擊： 亮數據加速數據採集。 數據採集 涉及多種數據源，包 ...
亮數據，適合大模型數據準備的可視化高效率數據採集工具。
一、大模型訓練需要數據
大模型數據處理的流程，分為數據採集、數據清洗、數據評估和指令數據標註四個主要階段，而這些階段中最重要的就是數據採集階段，需要海量的數據才能讓大模型涌現智能。
訪問點擊： 亮數據加速數據採集。
數據採集
涉及多種數據源，包括點雲、圖像、文本和語音，數據來源涵蓋公開數據集、百科數據、電子書、Common Crawl數據集、新聞數據和行業數據。
數據清洗
通過結合專家知識、大數據和AI，實現一鍵數據清洗，步驟包括數據去重、網頁語言過濾、特殊符號過濾和圖像裁剪。基於模型反饋對數據清洗質量進行評估。
數據評估
包括人工評估和基於模型的自動評估，確保數據的高靈敏度和高質量。
指令數據標註
利用語言模型（LM）自動生成和標註指令數據，顯著降低行業數據標註成本，提高效率。包括種子指令編寫、指令擴增和數據集自動生成與標註。
二、亮數據高效率採集工具介紹
亮數據是一家提供全方位網路數據服務的公司，專註於商用代理和數據採集。在數據採集方面，亮數據提供了一系列強大的工具和服務：
- 代理服務：亮數據提供動態住宅代理、靜態住宅代理、機房代理和移動代理，覆蓋全球195個國家，擁有超過7200萬個IP。 亮數據加速數據採集。
- 數據採集工具：亮數據提供Web Scraper IDE、亮數據瀏覽器和SERP API等工具，幫助用戶自動採集和解鎖網站數據。 亮數據加速數據採集。
- 數據集：提供現成可用的大數據集和基於機器學習的電商數據分析，滿足客戶多樣化的數據需求。 亮數據
亮數據通過這些全面的服務，確保用戶能夠高效、精準地採集和利用網路數據。
訪問點擊： 亮數據
三、亮數據採集數據可視化實戰
亮數據加速數據採集。
3.1 註冊後，點擊側邊欄 - 數據收集器
3.2 點擊Web Scraper IDE 可視化爬蟲IDE
3.3 可以選擇自定義爬取，也可以參照模版
3.4 點擊運行數據採集器
3.5 獲得爬取結果，可導出為Json
訪問點擊： 亮數據加速數據採集。
四、採集的數據後處理轉化為大模型課訓練指令實戰
按照章節三我們獲得了一批Ebay的商品數據，如何用來生成指令呢？
4.1 大模型訓練的指令一般格式
[
{
"instruction": "",
"input": "",
"output": ""
}
]
4.2 將亮數據獲得的數據轉化為訓練指令
下麵將商品信息轉換為微調指令的Python代碼示例，同時生成了相應的微調指令（可以根據你需要的內容，設置各種場景）：
import json
# 讀取商品信息
with open('/mnt/data/lines.json', 'r') as file:
products = json.load(file)
# 定義函數生成微調指令
def generate_fine_tuning_instructions(product):
instructions = []
# 指令1：生成商品簡介
instructions.append({
"instruction": "Generate a brief description for the product.",
"input": product['title'],
"output": f"The {product['title']} is available for {product['price']['value']} {product['price']['currency']}. It is in {product['condition']} condition."
})
# 指令2：生成商品標題優化建議
instructions.append({
"instruction": "Suggest an optimized title for the product listing.",
"input": product['title'],
"output": f"Brand New {product['title']} at Only {product['price']['value']} {product['price']['currency']}!"
})
# 指令3：生成商品價格及運費信息
instructions.append({
"instruction": "Combine product price and shipping cost into a single string.",
"input": f"Price: {product['price']['value']} {product['price']['currency']}, Shipping: {product['shipping_price']['value']} {product['shipping_price']['currency']}",
"output": f"The total cost is {product['price']['value'] + product['shipping_price']['value']} {product['price']['currency']}."
})
# 指令4：生成商品鏈接的簡短描述
instructions.append({
"instruction": "Create a short description including the product title and the URL.",
"input": "",
"output": f"Check out this {product['title']} here: {product['product_url']}"
})
# 指令5：生成商品分類描述
instructions.append({
"instruction": "Generate a description for the product category.",
"input": product['category'],
"output": f"This product belongs to the {product['category']} category, perfect for enhancing your style."
})
return instructions
# 生成所有商品的微調指令
all_instructions = []
for product in products:
all_instructions.extend(generate_fine_tuning_instructions(product))
# 保存生成的微調指令
with open('/mnt/data/fine_tuning_instructions.json', 'w') as outfile:
json.dump(all_instructions, outfile, indent=4)
# 輸出生成的微調指令
for instruction in all_instructions:
print(json.dumps(instruction, indent=4))
該代碼從 lines.json 文件中讀取商品信息，然後為每個商品生成多個微調指令。這些指令包括生成商品簡介、優化商品標題、組合商品價格和運費信息、創建商品鏈接的簡短描述以及生成商品分類描述。最後，將這些微調指令保存到一個新的 JSON 文件 fine_tuning_instructions.json 中。
生成如下：
生成的微調指令內容如下：
[
{
"instruction": "Generate a brief description for the product.",
"input": "Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M",
"output": "The Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M is available for 12.5 GBP. It is in Brand new condition."
},
{
"instruction": "Suggest an optimized title for the product listing.",
"input": "Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M",
"output": "Brand New Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M at Only 12.5 GBP!"
},
{
"instruction": "Combine product price and shipping cost into a single string.",
"input": "Price: 12.5 GBP, Shipping: 3.99 GBP",
"output": "The total cost is 16.49 GBP."
},
{
"instruction": "Create a short description including the product title and the URL.(Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt )",
"input": "",
"output": "Check out this Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M here: https://www.ebay.co.uk/itm/266810855159?itmmeta=01HYDB4599C0YG15YV26AMNVTC&hash=item3e1f2a8ef7%3Ag%3AIjoAAOSw3B5mAG0Q&itmprp=enc%3AAQAJAAAA8Py7UNHWp81cjXj6NBwvlndwuF2KS5n8yYBa8wTC0YfKuEhF4mCKkp7hqmBldzj%2FYlsbvOk4avfTViDIAjKX03asNCkz2edAuumM7ZSTrMKRxgyMfpeuRwSqEZ5MgpmfXmYaoUfBSPhDCiha%2FO7VON9bq9EuKZz9F3veWK16TvY8qgWR6sBDsWbMbbOpQbvPcMp4pEwqDOIUN7Wb8ufImjyBDjN8Ec066CmRz9QmgsuaCPSOI1jT8tv4MRjFiPjCK6vrmxhB4ARdOHwLhTrzHKpKHXeOxsO5GiyM%2BDGXAnbBphio%2Fd%2BkkiVvjmjmX6y4PA%3D%3D%7Ctkp%3ABk9SR97UkKvzYw&LH_ItemCondition=1000"
},
{
"instruction": "Generate a description for the product category.(Polo Ralph Lauren Short Sleeve Solid Classic Fit Mesh Polo Shirt Navy Medium M)",
"input": "Clothes, Shoes & Accessories",
"output": "This product belongs to the Clothes, Shoes & Accessories category, perfect for enhancing your style."
},...]
4.3 也可以使用大模型來轉換指令
比如使用ChatGPT，prompt如下：
你需要將lines.json文件中的多條商品信息，生成如下格式的多條可供大模型訓練的微調指令，這個裡面你要根據商品信息，根據自己的知識來找各種角度生成有價值的微調指令，讓大模型更加智能。格式如下：[
{
"instruction": "",
"input": "",
"output": ""
},
]
五、亮數據，加速大模型數據採集。
亮數據，加速大模型數據採集，為用戶提供全面的數據採集服務。Web Scraper IDE、亮數據瀏覽器和SERP API，幫助用戶高效自動化地採集和解鎖網站數據。通過這些先進的技術和服務，亮數據能夠顯著加速大模型的數據採集過程，為企業和研究機構提供高質量、精準的數據支持。
訪問點擊： 亮數據
如有幫助，請多關註
TeahLead KrisChang，10+年的互聯網和人工智慧從業經驗，10年+技術和業務團隊管理經驗，同濟軟體工程本科，復旦工程管理碩士，阿裡雲認證雲服務資深架構師，上億營收AI產品業務負責人。
