你的位置:首页 > 软件开发 > 操作系统 > android 人脸检测你一定会遇到的坑

android 人脸检测你一定会遇到的坑

发布时间:2017-11-14 00:00:20
笔者今年做了一个和人脸有关的android产品,主要是获取摄像头返回的预览数据流,判断该数据流是否包含了人脸,有人脸时显示摄像头预览框,无人脸时摄像头预览框隐藏,看上去这个功能并不复杂,其实在开发过程中,遇到的问题也不多,全部都处理了,在正式推出前,这个产品在公司内部也测试了几个 ...

android 人脸检测你一定会遇到的坑

      笔者今年做了一个和人脸有关的android产品,主要是获取摄像头返回的预览数据流,判断该数据流是否包含了人脸,有人脸时显示摄像头预览框,无人脸时摄像头预览框隐藏,看上去这个功能并不复杂,其实在开发过程中,遇到的问题也不多,全部都处理了,在正式推出前,这个产品在公司内部也测试了几个月,也没发现bug,但最近实施人员,在客户公司做实施时,反馈回来各种问题,这些问题有部分是程序bug,也有一部分是和硬件有关,因为测试环境有限,笔者无法对各种型号,各个厂家的硬件进行测试,这篇文章主要是记录,摄像头给我们带来的一些坑,分享给涉及到人脸开发的朋友,让大家少走弯路。

  一:概述

  android有原生的api做人脸检测,通过android.media.FaceDetector来检测bitmap是否包含人脸,android.media.FaceDetector.Face来检测人脸位置信息,我们需要在activity中实现Carema.PreviewCallBack接口,该接口有一个onPreviewFrame方法,这个方法返回摄像头实时图像的数据流,由于这个方法返回的数据流时nv21格式,我们需要转换bitmap才能进行人脸检测,转换过程如下:byte[] --> YuvImage --> ByteArrayOutputStream --> byte[] -->  bitmap ,具体转换的代码如下:

 

Camera.Size size = mtCamera.getParameters().getPreviewSize();YuvImage yuvImage = new YuvImage(mData, ImageFormat.NV21, size.width, size.height, null);yuvImage.compressToJpeg(new Rect(0, 0, size.width, size.height), 100, mBitmapOutput);options.inPreferredConfig = Bitmap.Config.RGB_565;bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);mBitmapOutput.reset();bitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), mMatrix, false);

通过上面的转换,我们已经得到了人脸检测的bitmap,此时只需要进行人脸检测就ok了,代码如下:

detector = new FaceDetector(source.getWidth(),source.getHeight(), maxFaceNum);Face[] faces = new Face[maxFaceNum];
detector.findFaces(source, faces);

代码基本上就哪么多,由于受到硬件的影响,上面的代码有很多地雷。

  二:人脸检测常见问题

  产品上线后,主要问题有,人站在摄像头面前,app无法识别人脸,软件运行性能也会下降,出现严重卡顿等问题,当前我比较郁闷,明明在测试环境都运行几个月了,都没有出现这些问题,正式实施的时候,问题不断,通过近两个月的整理,主要问题有以下几个。

  2.1   无法识别人脸

  1):相机角度问题

  由于我在测试的时候,摄像头图像是垂直的,没有任何问题,但正式使用时,摄像头来自不同商家,导致摄像头图像是水平的了,如下图:

  android 人脸检测你一定会遇到的坑                               android 人脸检测你一定会遇到的坑

  图像角度都不对了,当然无法识别人脸了,此时我们需要得到摄像头的默认旋转的角度,再作处理,特别声明:setDisplayOrientation() 这个方法是逆时针旋转,代码如下:

public void setCameraDisplayOrientation (Activity activity, int cameraId, android.hardware.Camera camera) {  android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo();  android.hardware.Camera.getCameraInfo (cameraId , info);  int rotation = activity.getWindowManager ().getDefaultDisplay ().getRotation ();  int degrees = 0;  switch (rotation) {   case Surface.ROTATION_0:    degrees = 0;    break;   case Surface.ROTATION_90:    degrees = 90;    break;   case Surface.ROTATION_180:    degrees = 180;    break;   case Surface.ROTATION_270:    degrees = 270;    break;  }  int result;  if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {   result = (info.orientation + degrees) % 360;   result = (360 - result) % 360; // compensate the mirror  } else {   // back-facing   result = ( info.orientation - degrees + 360) % 360;  }  mOrienta = result;//该值有其它用途  camera.setDisplayOrientation (result); }

 

  2):相机设置旋转后,预览图片和相机返回实时流角度问题

  这个坑太恶心了,当我把相机角度旋转后,把app打包发一个给同事,结果同事告诉我,还是不行,还好在公司借到一个锐士达1080p的摄像头,然后我把onPreviewFrame返回的流画到imageView发现返回的图像,和预览的图像,根本不一样,我勒个去,虽然预览图像旋转了,我们还需要对onPreviewFrame返回的流进行处理,这个坑也让我比较无语,害我找了好久。虽然说解决的代码只有简短的几句,但找出原因过程只有自己能体会,然后我使用Matrix来旋转onPreviewFrame返回的流,关于Matrix,完全是参考android Matrix详细,这篇文章写得非常好,然而matrix的postRotate是顺时针旋转,和camera.setDisplayOrientation()刚好相反,我勒个去,这两个难兄难弟太不让人省心,一个顺时针,一个逆时针,超级无语,修改后的代码如下。

android 人脸检测你一定会遇到的坑

//mOrienta来源于setCameraDisplayOrientation
mMatrix = new Matrix();    switch (mOrienta){     case 90:      mMatrix.postRotate(270);      break;     case 270:      mMatrix.postRotate(90);      break;     default:      mMatrix.postRotate(mOrienta);      break;    }

 

  2.2   720p摄像头和1080p摄像头涉及到的问题

  1):获取摄像头支持预览尺寸遇到的问题

     初始化相机时,我们需要设置摄像头支持的预览尺寸,如果不是相机支持的尺寸,会出现异常,根据项目需要,本地环境我直接指定一个下标,然后硬件变化后,这个值也跟着变了,如下图:

      android 人脸检测你一定会遇到的坑

此处根据实际情况获取,可以计算每一个尺寸的面积,通过一个基础面积获取适应的预览尺寸。具体代码就不帖了,只需要清楚有这一个坑就ok了。

  2):获取预览侦宽高大小带来的问题

  如果程序的lock,和线程问题没处理好,性能问题显而易见。

  android 人脸检测你一定会遇到的坑  

  如果只是简单的识别人脸,我们可以通过压缩图片的方法来解决这个问题。

BitmapFactory.Options options = new BitmapFactory.Options();options.inSampleSize =2;options.inPreferredConfig = Bitmap.Config.RGB_565;bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);

  3):摄像头返回的流频率过快,导致人脸识别处理速度根不上的解决办法

  最初软件运行的时候,运行一段时间,app直接崩溃了,最后发现是,onPreviewFrame返回的流太快,网上说可以在启动相机时,设置流的频率,常见设置的代码

Camera.Parameters parameters = mCamera.getParameters();parameters.setPreviewFrameRate(3);//设置每秒3帧,没有效果

然而这样设置后,完全没有用,如图:

android 人脸检测你一定会遇到的坑

处理这个问题并不是很复杂,只是判断一个两次处理流的时候,大于300毫秒(具体时间,根据需求变动)

 public void onPreviewFrame(byte[] data, Camera camera) {  Logger.i(TAG+"收到相机回调:onpreviewframe()"+index);  if(data!=null&&data.length>0&&System.currentTimeMillis()-time>200){   time=System.currentTimeMillis();   mFaceHandle.post(new FaceThread(data,camera,(++index)));  } }

 

  2.3 刷脸的人员走开后,屏幕仍然显示和人脸相关信息 

   通过以上描述我们知道,相机预览图尺寸过大,导致刷脸人员走开几秒钟内,android设备屏,仍然显示和人脸有关的信息,因为onPreviewFrame频率较快,而处理人脸的时间过长,导致人脸对列越来越大,所以人走开后,屏才会显示相关信息,这里需要控制,onPreviewFrame处理人脸的频率大于,以及提升人脸识别的时间.

 

 完整demo 下载地址:https://github.com/jlq023/democamera

 

原标题:android 人脸检测你一定会遇到的坑

关键词:Android

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录