去年下半年开始,本人从B/S转战C/S开发,相继做了大大小小一些项目。最近的一个应用是运输车辆通行卡自助收发应用,并第一次用到了人脸识别功能。作为该领域的初学者,我摸索着把项目搞定了,也复盘了一些开发经验,总结出来给其他在项目上初次应用人脸识别的朋友参考。
简单来说,这个项目与社保卡自助发卡机、信用卡自助发卡机的原理有些类似,内容就是:
借助人脸识别和身份证读取,进行人证核验。身份核验通过后,发卡机会匹配后端数据,并将取卡人、取卡时间、卡片权限等信息写入卡片,随后吐出卡片,用户取卡可用于后续通行的操作。
关于发卡机部分,只需要把一些操作步骤进行封装,通过串口发送命令就可以实现功能,身份证信息则通过读卡器进行读取。在开发的重点上,我把比较多的精力放在了初次尝试的人脸识别功能上,基本流程如下图:
进一步简单描述一下项目背景和需求:
第一,之所以引入人脸识别,主要是为了保证本人取卡,专人专卡,避免代取和冒用,确保信息可准确回溯。
第2, 这个项目比较小,在人脸识别的功能上并没有额外预算,所以首选免费的人脸识别算法。
第3, 项目地点的网络环境比较差,为避免因为网络故障导致无法取卡,优先选择可离线使用的人脸识别算法。
第四,因为是自助取卡机,周围没人看顾,为避免冒领,人脸识别算法需要加入活体检测功能。
综合以上几点,我甄选之后采用了虹软视觉开发平台的ArcFace SDK。这款算法可以同时满足免费使用、离线可用的需求,又自带IR/RGB双目活体检测,可以高效、高质量的抵御假脸攻击。另外,虹软开发平台最新出的ArcFace SDK 4.0版本,更新了针对佩戴口罩下的活体检测和人脸识别功能。
另外,ArcFace SDK的使用也比较简单。在官网注册开发者之后,新建应用,就能得到全新的APP_ID和SDK_KEY,之后下载开发包配置到程序中。
人脸识别界面如下,左侧是拍摄画面,右边是身份证照片以及识别反馈。
开发时用到了三个引擎,第一个是图片模式下的人脸检测引擎:
#region图片引擎pImageEngine初始化//初始化引擎uintdetectMode=DetectionMode.ASF_DETECT_MODE_IMAGE;//检测脸部的角度优先值intdetectFaceOrientPriority=ASF_OrientPriority.ASF_OP_0_HIGHER_EXT;//人脸在图片中所占比例,如果需要调整检测人脸尺寸请修改此值,有效数值为2-32intdetectFaceScaleVal=16;//最大需要检测的人脸个数intdetectFaceMaxNum=5;//引擎初始化时需要初始化的检测功能组合intcombinedMask=FaceEngineMask.ASF_FACE_DETECT|FaceEngineMask.ASF_FACERECOGNITION|FaceEngineMask.ASF_AGE|FaceEngineMask.ASF_GENDER|FaceEngineMask.ASF_FACE3DANGLE;//初始化引擎,正常值为0。ASFInitEngine(detectMode,detectFaceOrientPriority,detectFaceScaleVal,detectFaceMaxNum,combinedMask,refpImageEngine);if(retCode==0){lbl_msg.Text=("图片引擎初始化成功!\n");}else{lbl_msg.Text=(string.Format("图片引擎初始化失败!错误码为:{0}\n",retCode));}#endregion
第二个是视频模式下的人脸检测引擎:
#region 视频专用FR引擎
detectFaceMaxNum = 1;
combinedMask = FaceEngineMask.ASF_FACERECOGNITION | FaceEngineMask.ASF_FACE3DANGLE | FaceEngineMask.ASF_LIVENESS;
retCode = ASFFunctions.ASFInitEngine(detectMode, detectFaceOrientPriority, detectFaceScaleVal, detectFaceMaxNum, combinedMask, ref pVideoImageEngine);
Console.WriteLine("InitVideoEngine Result:" + retCode);
if (retCode == 0)
{
lbl_msg.Text = ("视频专用FR引擎初始化成功!\n");
}
else
{
lbl_msg.Text = (string.Format("视频专用FR引擎初始化失败!错误码为:{0}\n", retCode));
}
// 摄像头初始化
filterInfoCollection = new FilterInfoCollection(FilterCategory.VideoInputDevice);
lbl_msg.Text = (string.Format("摄像头初始化完成...\n"));
#endregion
第三个是视频专用FR引擎,进行活体检测:
#region 视频专用FR引擎
detectFaceMaxNum = 1;
combinedMask = FaceEngineMask.ASF_FACERECOGNITION | FaceEngineMask.ASF_FACE3DANGLE | FaceEngineMask.ASF_LIVENESS;
retCode = ASFFunctions.ASFInitEngine(detectMode, detectFaceOrientPriority, detectFaceScaleVal, detectFaceMaxNum, combinedMask, ref pVideoImageEngine);
Console.WriteLine("InitVideoEngine Result:" + retCode);
if (retCode == 0)
{
lbl_msg.Text = ("视频专用FR引擎初始化成功!\n");
}
else
{
lbl_msg.Text = (string.Format("视频专用FR引擎初始化失败!错误码为:{0}\n", retCode));
}
// 摄像头初始化
filterInfoCollection = new FilterInfoCollection(FilterCategory.VideoInputDevice);
lbl_msg.Text = (string.Format("摄像头初始化完成...\n"));
#endregion
视频处理使用的是AForge.Video 视频处理类库,然后在电脑上接上USB摄像头,通过此类库就可以调用摄像头的开关了,至于具体的人脸识别要放在视频流渲染事件上了。
首先将身份证放在身份证阅读器上,获取到身份信息,并把身份信息中的人脸照片拿出来作为人脸注册照。利用ArcFcae SDK的相关接口,可以从注册照中提取人脸识别特征值。
随后,我们要从摄像头的视频流中获取一帧图片,作为识别照也进行人脸识别特征值提取。值得注意的是,ArcFcae本身支持多人脸识别,但由于人证核验为1:1人脸识别,因此为了排除多余人脸的干扰,我们可以选取检测到的最大人脸,进行特征值提取。
在获得注册照和识别照的特征值之后,就可以交给算法来做比对,得出一个相似度。注意,人脸识别算法是不会直接告诉你两张照片是不是同一个人的,只会给出一个可能性。最终输出的结果需要人为设置一个阈值,譬如相似度超过90%,我们就可以认定是同一个人。当然阈值也不是越高越好,具体设置需要根据项目的实际情况来做权衡。
到这一步功能就算基本跑通了,但活体检测功能还没有加入。缺乏活体检测的话,使用身份证照片、纸质打印照片甚至手机屏幕上的照片都能通过人脸识别。
所以说,在自助设备这类无人值守场景下,活体检测基本上不可或缺。虹软ArcFace自带的活体检测有单目RGB活体检测和IR双目红外活体检测两种。我因为只用了普通的RGB摄像头,所以采用单目RGB活体检测,这种算法主要分析采集摩尔纹、成像畸形、反射率等人像破绽,从而获得活体检测所需要的识别信息,对屏幕成像和纸张照片类攻击有着良好防御性。
多说一句,IR双目红外活体中会加入了红外摄像头,防攻击效果是更好的,不过这个项目暂时没有这么高的需求。
int retCode_Liveness = -1;
//RGB活体检测
ASF_LivenessInfo liveInfo = FaceUtil.LivenessInfo_RGB(pVideoImageEngine, imageInfo, multiFaceInfo, out retCode_Liveness);
//判断检测结果
if (retCode_Liveness == 0 && liveInfo.num > 0)
{
int isLive = MemoryUtil.PtrToStructure(liveInfo.isLive);
isLiveness = (isLive == 1) ? true : false;
}
if (isLiveness)//活体检测成功
在加入活体检测之后,整个人脸识别的流程基本就完整了。我发现在进行完所有流程后,还需要进行引擎的释放,否则每次初始化一个引擎大概会需要50M左右的内存,多次操作之后就会出现因为内存泄漏而导致闪退的现象。
这个做法能达到目的,但是比较僵硬,在咨询虹软开放平台的技术专家后,我发现应该根据实际业务需求,在程序启动时,有选择的初始化对应的算法属性,避免在运行中多次做初始化和反初始化的操作,否则会导致资源波动过大以及产生内存碎片。引擎在程序结束或当前界面关闭时释放即可。
总体而言比较顺利,虽然是第一次集成人脸识别,这可能和ArcFace容易上手也有关系。希望这篇内容能对大家有帮助。
（责任编辑:郭健东）