筆者今年做了一個和人臉有關的android產品，主要是獲取攝像頭返回的預覽數據流，判斷該數據流是否包含了人臉，有人臉時顯示攝像頭預覽框，無人臉時攝像頭預覽框隱藏，看上去這個功能並不複雜，其實在開發過程中，遇到的問題也不多，全部都處理了，在正式推出前，這個產品在公司內部也測試了幾個月，也沒發現bug，但最近實施人員，在客戶公司做實施時，反饋回來各種問題，這些問題有部分是程式bug,也有一部分是和硬體有關，因為測試環境有限，筆者無法對各種型號，各個廠家的硬體進行測試，這篇文章主要是記錄，攝像頭給我們帶來的一些坑，分享給涉及到人臉開發的朋友，讓大家少走彎路。

　　一：概述

　　android有原生的api做人臉檢測，通過android.media.FaceDetector來檢測bitmap是否包含人臉，android.media.FaceDetector.Face來檢測人臉位置信息，我們需要在activity中實現Carema.PreviewCallBack介面，該介面有一個onPreviewFrame方法，這個方法返回攝像頭實時圖像的數據流，由於這個方法返回的數據流時nv21格式，我們需要轉換bitmap才能進行人臉檢測，轉換過程如下：byte[] --> YuvImage --> ByteArrayOutputStream --> byte[] -->  bitmap ，具體轉換的代碼如下：

Camera.Size size = mtCamera.getParameters().getPreviewSize();
YuvImage yuvImage = new YuvImage(mData, ImageFormat.NV21, size.width, size.height, null);
yuvImage.compressToJpeg(new Rect(0, 0, size.width, size.height), 100, mBitmapOutput);
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);
mBitmapOutput.reset();
bitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), mMatrix, false);

通過上面的轉換，我們已經得到了人臉檢測的bitmap,此時只需要進行人臉檢測就ok了，代碼如下:

detector = new FaceDetector(source.getWidth(),source.getHeight(), maxFaceNum);
Face[] faces = new Face[maxFaceNum];
detector.findFaces(source, faces);

代碼基本上就哪麽多，由於受到硬體的影響，上面的代碼有很多地雷。

　　二：人臉檢測常見問題

　　產品上線後，主要問題有，人站在攝像頭面前，app無法識別人臉，軟體運行性能也會下降，出現嚴重卡頓等問題，當前我比較鬱悶，明明在測試環境都運行幾個月了，都沒有出現這些問題，正式實施的時候，問題不斷，通過近兩個月的整理，主要問題有以下幾個。

　　2.1   無法識別人臉

　　1）：相機角度問題

　　由於我在測試的時候，攝像頭圖像是垂直的，沒有任何問題，但正式使用時，攝像頭來自不同商家，導致攝像頭圖像是水平的了，如下圖：

　　圖像角度都不對了，當然無法識別人臉了，此時我們需要得到攝像頭的預設旋轉的角度，再作處理，特別聲明：setDisplayOrientation() 這個方法是逆時針旋轉，代碼如下：

public void setCameraDisplayOrientation (Activity activity, int cameraId, android.hardware.Camera camera) {
        android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo();
        android.hardware.Camera.getCameraInfo (cameraId , info);
        int rotation = activity.getWindowManager ().getDefaultDisplay ().getRotation ();
        int degrees = 0;
        switch (rotation) {
            case Surface.ROTATION_0:
                degrees = 0;
                break;
            case Surface.ROTATION_90:
                degrees = 90;
                break;
            case Surface.ROTATION_180:
                degrees = 180;
                break;
            case Surface.ROTATION_270:
                degrees = 270;
                break;
        }
        int result;
        if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
            result = (info.orientation + degrees) % 360;
            result = (360 - result) % 360;   // compensate the mirror
        } else {
            // back-facing
            result = ( info.orientation - degrees + 360) % 360;
        }
        mOrienta = result;//該值有其它用途
        camera.setDisplayOrientation (result);
    }

　　2）：相機設置旋轉後，預覽圖片和相機返回實時流角度問題

　　這個坑太噁心了，當我把相機角度旋轉後，把app打包發一個給同事，結果同事告訴我，還是不行，還好在公司借到一個銳士達1080p的攝像頭，然後我把onPreviewFrame返回的流畫到imageView，發現返回的圖像，和預覽的圖像，根本不一樣，我勒個去，雖然預覽圖像旋轉了，我們還需要對onPreviewFrame返回的流進行處理，這個坑也讓我比較無語，害我找了好久。雖然說解決的代碼只有簡短的幾句，但找出原因過程只有自己能體會，然後我使用Matrix來旋轉onPreviewFrame返回的流，關於Matrix，完全是參考android Matrix詳細，這篇文章寫得非常好，然而matrix的postRotate是順時針旋轉，和camera.setDisplayOrientation()剛好相反，我勒個去，這兩個難兄難弟太不讓人省心，一個順時針，一個逆時針，超級無語,修改後的代碼如下。

//mOrienta來源於setCameraDisplayOrientation

mMatrix = new Matrix();
                switch (mOrienta){
                    case  90:
                        mMatrix.postRotate(270);
                        break;
                    case 270:
                        mMatrix.postRotate(90);
                        break;
                    default:
                        mMatrix.postRotate(mOrienta);
                        break;
                }

　　2.2   720p攝像頭和1080p攝像頭涉及到的問題

　　1）：獲取攝像頭支持預覽尺寸遇到的問題

　　　　　初始化相機時，我們需要設置攝像頭支持的預覽尺寸，如果不是相機支持的尺寸，會出現異常，根據項目需要，本地環境我直接指定一個下標，然後硬體變化後，這個值也跟著變了，如下圖：

此處根據實際情況獲取，可以計算每一個尺寸的面積，通過一個基礎面積獲取適應的預覽尺寸。具體代碼就不帖了，只需要清楚有這一個坑就ok了。

　　2）：獲取預覽偵寬高大小帶來的問題

　　如果程式的lock，和線程問題沒處理好，性能問題顯而易見。

　　如果只是簡單的識別人臉，我們可以通過壓縮圖片的方法來解決這個問題。

BitmapFactory.Options options = new BitmapFactory.Options();
options.inSampleSize =2;
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);

　　3)：攝像頭返回的流頻率過快，導致人臉識別處理速度根不上的解決辦法

　　最初軟體運行的時候，運行一段時間，app直接崩潰了，最後發現是，onPreviewFrame返回的流太快，網上說可以在啟動相機時，設置流的頻率,常見設置的代碼

Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewFrameRate(3);//設置每秒3幀,沒有效果

然而這樣設置後，完全沒有用，如圖：

處理這個問題並不是很複雜，只是判斷一個兩次處理流的時候，大於300毫秒（具體時間，根據需求變動）

 public void onPreviewFrame(byte[] data, Camera camera) {
        Logger.i(TAG+"收到相機回調：onpreviewframe()"+index);
        if(data!=null&&data.length>0&&System.currentTimeMillis()-time>200){
            time=System.currentTimeMillis();
            mFaceHandle.post(new FaceThread(data,camera,(++index)));
        }
    }

　　2.3 刷臉的人員走開後，屏幕仍然顯示和人臉相關信息 

 　　通過以上描述我們知道，相機預覽圖尺寸過大，導致刷臉人員走開幾秒鐘內，android設備屏，仍然顯示和人臉有關的信息，因為onPreviewFrame頻率較快，而處理人臉的時間過長，導致人臉對列越來越大，所以人走開後，屏才會顯示相關信息，這裡需要控制，onPreviewFrame處理人臉的頻率大於，以及提升人臉識別的時間.

 完整demo 下載地址:https://github.com/jlq023/democamera