這裡給大家分享我在網上總結出來的一些知識，希望對大家有所幫助 美顏和短視頻 美顏相關APP可以說是現在手機上的必備的軟體，例如抖音，快手，拍出的“照騙”和視頻不加美顏效果，估計沒有人敢傳到網上。很多人一直好奇美顏類APP是如何開發出來的。本文就大致講一下在Android上如何實現實時修改唇色效果。其 ...
這裡給大家分享我在網上總結出來的一些知識，希望對大家有所幫助
美顏和短視頻
美顏相關APP可以說是現在手機上的必備的軟體，例如抖音，快手，拍出的“照騙”和視頻不加美顏效果，估計沒有人敢傳到網上。很多人一直好奇美顏類APP是如何開發出來的。本文就大致講一下在Android上如何實現實時修改唇色效果。其它功能例如美白，腮紅都是類似的原理
下圖的唇色修改效果就是想實現的功能
美顏原理
美顏是的基本原理就是深度學習加電腦圖形學。深度學慣用來人臉檢測和人臉關鍵點檢測。電腦圖形學用來磨皮，瘦臉和畫妝容。一般在Android上使用OpenGLES，IOS為Metal。由於電腦圖形學概念較多和複雜，本文中用Android的Canvas替代。
人臉檢測 & 人臉關鍵點
- 人臉檢測指的是對圖片或者視頻流中的人臉進行檢測，並定位到圖片中的人臉。
- 人臉關鍵點檢測是對人臉中五官和臉的輪廓進行關鍵點定位，一般情況下它緊接在人臉檢測後。
我們將使用TengineKit來實現實時大紅唇效果。
TengineKit
免費移動端實時人臉212關鍵點SDK。是一個易於集成的人臉檢測和人臉關鍵點SDK。它可以在各種手機上以非常低的延遲運行。
實現口紅效果
配置 Gradle
Project中的build.gradle添加
repositories {
...
mavenCentral()
...
}
allprojects {
repositories {
...
mavenCentral()
...
}
}
主Module中的build.gradle添加
dependencies {
...
implementation 'com.tengine.android:tenginekit:1.0.5'
...
}
配置 manifests
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET"/>
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
<uses-permission android:name="android.permission.READ_PHONE_STATE"/>
相對於上篇用攝像頭來做效果，本文用gif圖來代替攝像頭的輸入的視頻流，如果想用攝像頭實現，可以參考：
用開源212點人臉關鍵點實現Android人臉實時打碼 zhuanlan.zhihu.com/p/161038093
處理Gif傳過來的圖片流
首先我們先初始化TengineKit:
- 選用normal處理模式
- 打開人臉檢測和人臉關鍵點功能
- 設置圖片流格式為RGBA
- 設置輸入圖片流的寬高，此處為gif圖的預覽寬高
- 設置輸出圖片流的寬高，此處為GifImageView的寬高，此處和gif一致，所以用gif圖的寬高代替
com.tenginekit.Face.init(getBaseContext(),
AndroidConfig.create()
.setNormalMode()
.openFunc(AndroidConfig.Func.Detect)
.openFunc(AndroidConfig.Func.Landmark)
.setInputImageFormat(AndroidConfig.ImageFormat.RGBA)
.setInputImageSize(facingGif.getGifWidth(), facingGif.getGifHeight())
.setOutputImageSize(facingGif.getGifWidth(), facingGif.getGifHeight())
);
通過關鍵點得到嘴唇的形狀
Path getMouthLandmarks(FaceLandmarkInfo fi){
Path outPath = new Path();
outPath.moveTo(fi.landmarks.get(180).X,fi.landmarks.get(180).Y);
for(int i = 180; i < 189; i++){
outPath.lineTo(
fi.landmarks.get(i).X,
fi.landmarks.get(i).Y
);
}
for(int i = 204; i >= 196; i--){
outPath.lineTo(
fi.landmarks.get(i).X,
fi.landmarks.get(i).Y
);
}
outPath.close();
Path inPath = new Path();
inPath.moveTo(fi.landmarks.get(180).X,fi.landmarks.get(180).Y);
for(int i = 195; i >= 188; i--){
inPath.lineTo(
fi.landmarks.get(i).X,
fi.landmarks.get(i).Y
);
}
for(int i = 204; i <= 211; i++){
inPath.lineTo(
fi.landmarks.get(i).X,
fi.landmarks.get(i).Y
);
}
outPath.op(inPath, Path.Op.DIFFERENCE);
return outPath;
}
給嘴唇塗上顏色
public static void drawLipPerfect(Canvas canvas, Path lipPath, int color, int alpha) {
//most 70% alpha
if (alpha > 80) {
alpha = (int) (alpha * 0.9f + 0.5f);
}
alpha = (int) (Color.alpha(color) * ((float) alpha / 255)) << 24;
color = alphaColor(color, alpha);
final PointF position = new PointF();
float blur_radius = 5;
Bitmap mask = createMask(lipPath, color, blur_radius, position);
Paint paint = new Paint(Paint.ANTI_ALIAS_FLAG);
paint.setXfermode(new PorterDuffXfermode(PorterDuff.Mode.SRC_OVER));
canvas.drawBitmap(mask, position.x, position.y, paint);
}
此代碼來源於 github.com/DingProg/Ma…
渲染
傳過來的bitmap為RGB_565，需要轉為標準的RGBA格式
facingGif.setOnFrameAvailable(new GifImageView.OnFrameAvailable() {
@Override
public Bitmap onFrameAvailable(Bitmap bitmap) {
// bitmap RGB_565
Bitmap out_bitmap = Bitmap.createBitmap(
facingGif.getGifWidth(),
facingGif.getGifHeight(),
Bitmap.Config.ARGB_8888);
Canvas canvas = new Canvas(out_bitmap);
canvas.drawBitmap(bitmap, 0, 0, null);
bitmap.recycle();
byte[] bytes = bitmap2Bytes(out_bitmap);
Face.FaceDetect faceDetect = com.tenginekit.Face.detect(bytes);
if(faceDetect.getFaceCount() > 0){
faceLandmarks = faceDetect.landmark2d();
if(faceLandmarks != null){
for (int i = 0; i < faceLandmarks.size(); i++) {
Path m_p = getMouthLandmarks(faceLandmarks.get(i));
LipDraw.drawLipPerfect(canvas, m_p, Color.WHITE, 100);
}
}
}
return out_bitmap;
}
});
效果對比
https://juejin.cn/post/6855129006367309832
如果對您有所幫助，歡迎您點個關註，我會定時更新技術文檔，大家一起討論學習，一起進步。
