详解android 人脸检测你一定会遇到的坑

笔者今年做了一个和人脸有关的android产品，主要是获取摄像头返回的预览数据流，判断该数据流是否包含了人脸，有人脸时显示摄像头预览框，无人脸时摄像头预览框隐藏，看上去这个功能并不复杂，其实在开发过程中，遇到的问题也不多，全部都处理了，在正式推出前，这个产品在公司内部也测试了几个月，也没发现bug，但最近实施人员，在客户公司做实施时，反馈回来各种问题，这些问题有部分是程序bug,也有一部分是和硬件有关，因为测试环境有限，笔者无法对各种型号，各个厂家的硬件进行测试，这篇文章主要是记录，摄像头给我们带来的一些坑，分享给涉及到人脸开发的朋友，让大家少走弯路。

一：概述

android sdk 中支持人脸检测,它提供了一个直接在位图上进行人脸检测的方法,这个 api 是android.media.facedetector,源文件路径是:

frameworks/base/media/java/android/media/facedetector.java

调用 findfaces 方法就可进行人脸检测,该方法返回检测到的人脸总数,并且会将每个”人脸”的信息保存在facedetector.face 的数组中。每个 face 都包含下面几点信息:

1. 该 face 为人脸的可信度.取值范围是 0~1,大于 0.3 则表明可信度较高。
2. 双眼之间的距离
3. 双眼中点的 x,y 坐标
4. 脸部的欧拉角度,可用于判断抬头,侧脸的角度等。

识别流程是这样的:

1. 读取一张图片至 bitmap,且该 bitmap 必须是 565 格式。

2. 调用 findfaces 方法分析 bitmap(注意待分析的 bitmap 宽度必须是偶数),将探测到的人脸数据存储在一个facedetector.face 数组中,并返回检测到的人脸总数。android sdk 中的 facedetector 介绍

android有原生的api做人脸检测，通过android.media.facedetector来检测bitmap是否包含人脸，android.media.facedetector.face来检测人脸位置信息，我们需要在activity中实现carema.previewcallback接口，该接口有一个onpreviewframe方法，这个方法返回摄像头实时图像的数据流，由于这个方法返回的数据流时nv21格式，我们需要转换bitmap才能进行人脸检测，转换过程如下：byte[] --> yuvimage --> bytearrayoutputstream --> byte[] -->  bitmap ，具体转换的代码如下：

camera.size size = mtcamera.getparameters().getpreviewsize();
yuvimage yuvimage = new yuvimage(mdata, imageformat.nv21, size.width, size.height, null);
yuvimage.compresstojpeg(new rect(0, 0, size.width, size.height), 100, mbitmapoutput);
options.inpreferredconfig = bitmap.config.rgb_565;
bitmap = bitmapfactory.decodebytearray(mbitmapoutput.tobytearray(), 0, mbitmapoutput.tobytearray().length, options);
mbitmapoutput.reset();
bitmap = bitmap.createbitmap(bitmap, 0, 0, bitmap.getwidth(), bitmap.getheight(), mmatrix, false);

通过上面的转换，我们已经得到了人脸检测的bitmap,此时只需要进行人脸检测就ok了，代码如下:

detector = new facedetector(source.getwidth(),source.getheight(), maxfacenum);
face[] faces = new face[maxfacenum];
detector.findfaces(source, faces);

代码基本上就哪么多，由于受到硬件的影响，上面的代码有很多地雷。

二：人脸检测常见问题

产品上线后，主要问题有，人站在摄像头面前，app无法识别人脸，软件运行性能也会下降，出现严重卡顿等问题，当前我比较郁闷，明明在测试环境都运行几个月了，都没有出现这些问题，正式实施的时候，问题不断，通过近两个月的整理，主要问题有以下几个。

2.1   无法识别人脸

1）：相机角度问题

由于我在测试的时候，摄像头图像是垂直的，没有任何问题，但正式使用时，摄像头来自不同商家，导致摄像头图像是水平的了，如下图：

 

　　                              

图像角度都不对了，当然无法识别人脸了，此时我们需要得到摄像头的默认旋转的角度，再作处理，特别声明：setdisplayorientation() 这个方法是逆时针旋转，代码如下：

public void setcameradisplayorientation (activity activity, int cameraid, android.hardware.camera camera) {
  android.hardware.camera.camerainfo info = new android.hardware.camera.camerainfo();
  android.hardware.camera.getcamerainfo (cameraid , info);
  int rotation = activity.getwindowmanager ().getdefaultdisplay ().getrotation ();
  int degrees = 0;
  switch (rotation) {
   case surface.rotation_0:
    degrees = 0;
    break;
   case surface.rotation_90:
    degrees = 90;
    break;
   case surface.rotation_180:
    degrees = 180;
    break;
   case surface.rotation_270:
    degrees = 270;
    break;
  }
  int result;
  if (info.facing == camera.camerainfo.camera_facing_front) {
   result = (info.orientation + degrees) % 360;
   result = (360 - result) % 360; // compensate the mirror
  } else {
   // back-facing
   result = ( info.orientation - degrees + 360) % 360;
  }
  morienta = result;//该值有其它用途
  camera.setdisplayorientation (result);
 }

2）：相机设置旋转后，预览图片和相机返回实时流角度问题

这个坑太恶心了，当我把相机角度旋转后，把app打包发一个给同事，结果同事告诉我，还是不行，还好在公司借到一个锐士达1080p的摄像头，然后我把onpreviewframe返回的流画到imageview，发现返回的图像，和预览的图像，根本不一样，我勒个去，虽然预览图像旋转了，我们还需要对onpreviewframe返回的流进行处理，这个坑也让我比较无语，害我找了好久。虽然说解决的代码只有简短的几句，但找出原因过程只有自己能体会，然后我使用matrix来旋转onpreviewframe返回的流，关于matrix，完全是参考android matrix详细，这篇文章写得非常好，然而matrix的postrotate是顺时针旋转，和camera.setdisplayorientation()刚好相反，我勒个去，这两个难兄难弟太不让人省心，一个顺时针，一个逆时针，超级无语,修改后的代码如下。

 

//morienta来源于setcameradisplayorientation
mmatrix = new matrix();
    switch (morienta){
     case 90:
      mmatrix.postrotate(270);
      break;
     case 270:
      mmatrix.postrotate(90);
      break;
     default:
      mmatrix.postrotate(morienta);
      break;
    }

 

2.2   720p摄像头和1080p摄像头涉及到的问题

1）：获取摄像头支持预览尺寸遇到的问题

初始化相机时，我们需要设置摄像头支持的预览尺寸，如果不是相机支持的尺寸，会出现异常，根据项目需要，本地环境我直接指定一个下标，然后硬件变化后，这个值也跟着变了，如下图：

　　　　　　

此处根据实际情况获取，可以计算每一个尺寸的面积，通过一个基础面积获取适应的预览尺寸。具体代码就不帖了，只需要清楚有这一个坑就ok了。

2）：获取预览侦宽高大小带来的问题

如果程序的lock，和线程问题没处理好，性能问题显而易见。

　　　　　　

如果只是简单的识别人脸，我们可以通过压缩图片的方法来解决这个问题。

bitmapfactory.options options = new bitmapfactory.options();
options.insamplesize =2;
options.inpreferredconfig = bitmap.config.rgb_565;
bitmap = bitmapfactory.decodebytearray(mbitmapoutput.tobytearray(), 0, mbitmapoutput.tobytearray().length, options);

3)：摄像头返回的流频率过快，导致人脸识别处理速度根不上的解决办法

最初软件运行的时候，运行一段时间，app直接崩溃了，最后发现是，onpreviewframe返回的流太快，网上说可以在启动相机时，设置流的频率,常见设置的代码

camera.parameters parameters = mcamera.getparameters();
parameters.setpreviewframerate(3);//设置每秒3帧,没有效果

然而这样设置后，完全没有用，如图：

 

处理这个问题并不是很复杂，只是判断一个两次处理流的时候，大于300毫秒（具体时间，根据需求变动）

 public void onpreviewframe(byte[] data, camera camera) {
  logger.i(tag+"收到相机回调：onpreviewframe()"+index);
  if(data!=null&&data.length>0&&system.currenttimemillis()-time>200){
   time=system.currenttimemillis();
   mfacehandle.post(new facethread(data,camera,(++index)));
  }
 }

2.3 刷脸的人员走开后，屏幕仍然显示和人脸相关信息

通过以上描述我们知道，相机预览图尺寸过大，导致刷脸人员走开几秒钟内，android设备屏，仍然显示和人脸有关的信息，因为onpreviewframe频率较快，而处理人脸的时间过长，导致人脸对列越来越大，所以人走开后，屏才会显示相关信息，这里需要控制，onpreviewframe处理人脸的频率大于，以及提升人脸识别的时间.

完整demo 下载地址:

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。