大家小時候在玩玩具時肯定都幻想過這樣的場景：想象著自己手上的玩具能動起來，就像《玩具總動員》里的玩具們一樣有自己的性格，能夠和自己一起玩耍。以前我也一直以為玩具總動員只是童話，讓玩具擁有靈魂，能夠動起來的想法只是幻想。但如今HMS Core 3D建模服務讓這一幻想變成了現實。 原理解釋 使用HMS ...
大家小時候在玩玩具時肯定都幻想過這樣的場景：想象著自己手上的玩具能動起來，就像《玩具總動員》里的玩具們一樣有自己的性格，能夠和自己一起玩耍。以前我也一直以為玩具總動員只是童話，讓玩具擁有靈魂，能夠動起來的想法只是幻想。但如今HMS Core 3D建模服務讓這一幻想變成了現實。
原理解釋
使用HMS Core 3D建模服務骨骼綁定能力就能讓玩偶在手機屏幕上動起來，開發者只需要用普通手機拍攝二足人形物體的多張圖像，建立靜態的3D模型，通過雲側AI自動綁定演算法後，自動生成模型的骨骼和蒙皮權重，通過業界主流引擎即可一鍵驅動。除了預置的動作還能加入自己動捕的個性化動作，讓玩偶形象在屏幕上跟著節奏跳舞。
Demo演示
自動骨骼綁定能力開發步驟
在開始開發工作之前，需要先配置AppGallery Connect，同時請確保工程已經集成HMS Core SDK並且已經配置Maven倉地址。
- 使用雲側服務的能力，需要使用“agconnect-services.json”里的api_key值，在應用初始化時通過api_key或者AccessToken來設置應用鑒權信息，AccessToken的優先順序較高。
通過setAccessToken方法設置AccessToken，在應用啟動時初始化設置一次即可，無需多次設置。
ReconstructApplication.getInstance().setAccessToken("your AccessToken");
獲取Access Token可參見基於OAuth 2.0開放鑒權客戶端模式。
通過setApiKey方法設置api_key，在應用啟動時初始化設置一次即可，無需多次設置。
ReconstructApplication.getInstance().setApiKey("your api_key");
當在AppGallery Connect上註冊應用時，會給您的應用分配api_key。
- 新建3D物體建模引擎並初始化，新建自動骨骼綁定配置器。
// 新建3D物體建模引擎
Modeling3dReconstructEngine modeling3dReconstructEngine = Modeling3dReconstructEngine.getInstance(context);
// 新建骨骼綁定蒙皮配置器
Modeling3dReconstructSetting setting = new Modeling3dReconstructSetting.Factory()
// 設置工作模式為圖片模式
.setReconstructMode(Modeling3dReconstructConstants.ReconstructMode.PICTURE)
// 設置任務類型
.setTaskType(Modeling3dReconstructConstants.TaskType.AUTO_RIGGING)
.create();
- 新建上傳監聽器回調，用於處理拍攝的物體圖片上傳結果
private Modeling3dReconstructUploadListener uploadListener = new Modeling3dReconstructUploadListener() {
@Override
public void onUploadProgress(String taskId, double progress, Object ext) {
// 上傳進度
}
@Override
public void onResult(String taskId, Modeling3dReconstructUploadResult result, Object ext) {
// 上傳成功處理
}
@Override
public void onError(String taskId, int errorCode, String message) {
// 上傳失敗處理
}
};
- 使用3D物體建模配置器初始化任務，並且給新建的3D物體建模引擎設置上傳監聽器，上傳採集的圖片數據。
// 使用3D物體建模配置器初始化任務（該介面需要在子線程中調用）
Modeling3dReconstructInitResult modeling3dReconstructInitResult = modeling3dReconstructEngine.initTask(setting);
String taskId = modeling3dReconstructInitResult.getTaskId();
// 設置上傳監聽器
modeling3dReconstructEngine.setReconstructUploadListener(uploadListener);
// 調用3D建模引擎的上傳介面，上傳採集的圖片數據
modeling3dReconstructEngine.uploadFile(taskId, filePath);
- 查詢自動骨骼綁定任務狀態
// 查詢3D物體建模任務狀態需要初始化任務處理類
Modeling3dReconstructTaskUtils modeling3dReconstructTaskUtils = Modeling3dReconstructTaskUtils.getInstance(context);
// 調用查詢介面獲取3D物體建模任務狀態（該介面需要在子線程中調用）
Modeling3dReconstructQueryResult queryResult = modeling3dReconstructTaskUtils.queryTask(taskId);
// 獲取建模任務狀態
int status = queryResult.getStatus();
- 新建下載監聽器回調，用於處理自動骨骼綁定模型文件的下載結果
private Modeling3dReconstructDownloadListener modeling3dReconstructDownloadListener = new Modeling3dReconstructDownloadListener() {
@Override
public void onDownloadProgress(String taskId, double progress, Object ext) {
// 下載進度
}
@Override
public void onResult(String taskId, Modeling3dReconstructDownloadResult result, Object ext) {
// 下載成功處理
}
@Override
public void onError(String taskId, int errorCode, String message) {
// 下載失敗處理
}
};
- 新建的下載配置項並將新建的下載監聽器傳入新建的3D物體建模引擎，下載骨骼綁定成功的模型文件
// 設置下載配置項
Modeling3dReconstructDownloadConfig downloadConfig = new Modeling3dReconstructDownloadConfig.Factory()
// 配置OBJ或glTF格式
.setModelFormat(Modeling3dReconstructConstants.ModelFormat.OBJ)
// 配置普通或PBR模式
.setTextureMode(Modeling3dReconstructConstants.TextureMode.PBR)
.create();
// 設置下載監聽器
modeling3dReconstructEngine.setReconstructDownloadListener(modeling3dReconstructDownloadListener);
// 調用3D物體建模引擎的下載介面，傳入任務ID，下載地址和下載配置項，下載模型文件
modeling3dReconstructEngine.downloadModelWithConfig(taskId, fileSavePath, downloadConfig);
更多應用場景
使用骨骼綁定功能，除了可以實現讓玩偶在手機屏幕上跳舞，還可以幫助開發者做很多其他有趣又強大的功能。如電商領域，使用自動骨骼綁定能力可以驅動手辦進行動態展示，從而增加產品的吸引力；在教育領域，可以將骨骼綁定和音頻功能結合，讓孩子手中的玩偶跳舞講故事，寓教於樂；在游戲領域，可以將骨骼綁定和AR功能結合，讓3D模型走入真實場景中。
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址：GitHub、Gitee
關註我們，第一時間瞭解 HMS Core 最新技術資訊~
