，本文内容涵盖人脸识别发展历程、市场研究、核心技术、商业应用以及产业落地、个人看法等干货研究。注意，本文干货满满，约有2万7千字，强烈建议大家先收藏后学习！

　　人脸识别(Face Recognition)是一种依据人的面部特征(如统计或几何特征等)，自动进行身份识别的一种生物识别技术，又称为面像识别、人像识别、相貌识别、面孔识别、面部识别等。通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。

　　人脸识别利用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸图像进行一系列的相关应用操作。技术上包括图像采集、特征定位、身份的确认和查找等等。简单来说，就是从照片中提取人脸中的特征，比如眉毛高度、嘴角等等，再通过特征的对比输出结果。

　　人脸识别被当作一个一般性的模式识别问题，主流技术基于人脸的几何结构特征。这集中体现在人们对于剪影（Profile）的研究上，人们对面部剪影曲线的结构特征提取与分析方面进行了大量研究。人工神经网络也一度曾经被研究人员用于人脸识别问题中。较早从事 AFR 研究的研究人员除了布莱索（Bledsoe）外还有戈登斯泰因（Goldstein）、哈蒙（Harmon）以及金出武雄(Kanade Takeo)等。总体而言，这一阶段是人脸识别研究的初级阶段，非常重要的成果不是很多，也基本没有获得实际应用。

　　这一阶段尽管时间相对短暂，但人脸识别却发展迅速，不但出现了很多经典的方法，例如Eigen Face, Fisher Face和弹性图匹配；并出现了若干商业化运作的人脸识别系统，比如最为著名的 Visionics（现为 Identix）的 FaceIt 系统。 从技术方案上看， 2D人脸图像线性子空间判别分析、统计表观模型、统计模式识别方法是这一阶段内的主流技术。

　　人脸识别的研究不断深入，研究者开始关注面向真实条件的人脸识别问题，主要包括以下四个方面的研究：1）提出不同的人脸空间模型，包括以线性判别分析为代表的线性建模方法，以Kernel方法为代表的非线）深入分析和研究影响人脸识别的因素，包括光照不变人脸识别、姿态不变人脸识别和表情不变人脸识别等。3）利用新的特征表示，包括局部描述子（Gabor Face, LBP Face等）和深度学习方法。4）利用新的数据源，例如基于视频的人脸识别和基于素描、近红外图像的人脸识别。

　　前瞻根据人脸识别行业发展现状；到2016年，全球生物识别市场规模在127.13亿美元左右，其中人脸识别规模约26.53亿美元，占比在20%左右。预计到2021年，全球人脸识别市场预计将达到63.7亿美元，按预计期间的复合增长率达17.83％。

　　前瞻根据人脸识别行业发展现状，估算我国人脸识别市场规模约占全球市场的10%左右。2010-2016年，我国人脸识别市场规模逐年增长，年均复合增长率达27%。2016年，我国人脸识别行业市场规模约为17.25亿元，同比增长27.97%，增速较上年上升4.64个百分点。

　　2014年，获阿里巴巴旗下蚂蚁金服投资，主攻金融和监控两大行业，有子公司旷视智安；团队成员除了几名来自清华校友外，还有来自美国哥伦比亚大学、英国牛津大学和美国南加州大学的科研及开发人员，截至目前员工仅有100余人。

　　在金融、安防、零售领域分别开始了商业化探索成功发育出Face++Financial，Face++Security，Face++BI等垂直人脸验证解决方案，主要将人脸识别应用在互联网产品上，自己做研发，在美图秀秀、淘宝等互联网领域得到良好的应用，在金融领域的市场一直占据沙发前排阵营；2016年获得上亿元C轮融资，最后选择通过计算机视觉技术与NLP技术的结合，制造出能“识别万物”的智能机器人，提供硬件模组，里面内置他们家的算法。目前正在准备启动IPO的步伐，VIE架构让他们得以绕过A股，不用达到连续三年盈利的标准实现快速上市。

　　SenseTime（商汤科技），获IDG资本投资，主攻金融、移动互联网、安防监控三大行业；由香港中文大学的汤晓欧创建，“商汤”中的汤指的就是汤晓欧本人，汤晓鸥及其研究团队所开发的DeepID算法率先将深度学习应用到人脸识别上，在技术指标上实现了新的突破。主要案例是围绕各个美化软件与直播平台制作人脸贴图，重点强化了人脸识别的关键点检测及跟踪技术。

　　团队有300多号，也从当初toC转向toB领域；成立于2014年的商汤科技选择另辟蹊径，选择用“四大美女”这个话题让人们躁动起来，到最后四大美女走了三个；商汤的网络都是自己设计的，这样对于深度学习网络的掌控力就会更强，提供SaaS服务的同时，可以通过SaaS把背后的数据拿到，再进行更多更细致的分析再次提升服务质量。

　　2015年4月，周曦拿到战略投资成立云从科技，同年针对金融和银行业推出了40多种解决方案，包含从算法、产品、销售、售后的全产业链打造，针对农行、建行、交行、中行及多地公安提供定制化服务。团队成员除了来自中科大的校友外，还来自中国科学院各大研究所、UIUC、IBM、NEC、MicroSoft等全球顶尖学府及研究机构。

　　截止2016年11月，成立一年半，研发团队扩展为200余名，核心产品是人脸识别系统及IBIS集成生物识别平台，还具备3D模型、红外活体、静默活体等技术，可根据场景需求自由调节。选择连接硬件、开发与技术，属于全产业链模式，因为人脸识别系统多数情况下需要深度定制，只有这样，才能在客户提出需求的情况下迅速反馈，修改，统一用户体验。

　　2012 年九月，朱珑与他的好友林晨曦在创立依图科技，这家从事人工智能创新性研究的创企从图像识别入手，首先与全国省市级公安系统合作，对车辆品牌、型号等进行精准识别，随后扩展到人像识别，通过静态人像比对技术和动态人像比对技术，协助公安系统进行人员身份核查、追逃、监控、关系挖掘等。

　　发展近6年，依图科技的产品已经应用到全国二十多个省市地区的安防领域，安防领域之外，依图也进入智慧城市领域和健康医疗领域，它要协助政府构建城市大脑，也希望将医疗领域的巨大知识鸿沟缩小，改善医患体验。

　　不同的人脸图像通过摄像镜头采集得到，比如静态图像、动态图像、不同的位置、不同表情等，当采集对象在设备的拍摄范围内时，采集设备会自动搜索并拍摄人脸图像。

　　图像大小：人脸图像过小会影响识别效果，人脸图像过大会影响识别速度。非专业人脸识别摄像头常见规定的最小识别人脸像素为60*60或100*100以上。在规定的图像大小内，算法更容易提升准确率和召回率。图像大小反映在实际应用场景就是人脸离摄像头的距离。

　　图像分辨率：越低的图像分辨率越难识别。图像大小综合图像分辨率，直接影响摄像头识别距离。现4K摄像头看清人脸的最远距离是10米，7K摄像头是20米。

　　光照环境：过曝或过暗的光照环境都会影响人脸识别效果。可以从摄像头自带的功能补光或滤光平衡光照影响，也可以利用算法模型优化图像光线。

　　模糊程度：实际场景主要着力解决运动模糊，人脸相对于摄像头的移动经常会产生运动模糊。部分摄像头有抗模糊的功能，而在成本有限的情况下，考虑通过算法模型优化此问题。

　　遮挡程度：五官无遮挡、脸部边缘清晰的图像为最佳。而在实际场景中，很多人脸都会被帽子、眼镜、口罩等遮挡物遮挡，这部分数据需要根据算法要求决定是否留用训练。

　　采集角度：人脸相对于摄像头角度为正脸最佳。但实际场景中往往很难抓拍正脸。因此算法模型需训练包含左右侧人脸、上下侧人脸的数据。工业施工上摄像头安置的角度，需满足人脸与摄像头构成的角度在算法识别范围内的要求。

　　在图像中准确标定出人脸的位置和大小，并把其中有用的信息挑出来（如直方图特征、颜色特征、模板特征、结构特征及Haar特征等），然后利用信息来达到人脸检测的目的。

　　基于检测出的特征采用Adaboost学习算法（一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法）挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

　　最近人脸检测算法模型的流派包括三类及其之间的组合：viola-jones框架（性能一般速度尚可，适合移动端、嵌入式上使用），dpm（速度较慢），cnn（性能不错）。

　　系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理 的早期阶段对它进行灰度矫正、噪声过滤等图像预处理。

　　人脸对准（得到人脸位置端正的图像），人脸图像的光线补偿，灰度变换、直方图均衡化、归一 化（取得尺寸一致，灰度取值范围相同的标准化人脸图像），几何校正、中值滤波（图片的平滑操作以消除噪声）以及锐化等。

　　人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的，也称人脸表征，它是对人脸进行特征建模的过程

　　基于知识的表征方法（主要包括基于几何特征法和模板匹配法）：根据人脸器官的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率、和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和他们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。

　　基于代数特征或统计学习的表征方法：基于代数特征方法的基本思想是将人脸在空域内的高维描述转化为频域或者其他空间内的低维描述，其表征方法为线性投影表征方法和非线性投影表征方法。基于线性投影的方法主要有主成分分析法或称K-L变化、独立成分分析法和Fisher线性判别分析法。非线性特征提取方法有两个重要的分支：基于核的特征提取技术和以流形学习为主导的特征提取技术。

　　提取的人脸特征值数据与数据库中存贮的特征模板进行搜索匹配，通过设定一个阈值，将相似度与这一阈值进行比较，来对人脸的身份信息进行判断。

　　MIT实验室的特克（Turk）和潘特（Pentland）提出的“特征脸”方法无疑是这一时期内最负盛名的 人脸识别方法。其后的很多人脸识别技术都或多或少与特征脸有关系，现在特征脸已经与归一化的协相关 量(Normalized Correlation)方法一道成为人脸识别的性能测试基准算法。

　　贝尔胡米尔（Belhumeur）等提出的 Fisherface 人脸识别方法是这一时期的另一重要成果。该方法 首先采用主成分分析（PCA）对图像表观特征进行降维。在此基础上，采用线性判别分析（LDA）的方法 变换降维后的主成分以期获得“尽量大的类间散度和尽量小的类内散度”。该方法目前仍然是主流的人脸 识别方法之一，产生了很多不同的变种，比如零空间法、子空间判别模型、增强判别模型、直接的LDA 判 别方法以及近期的一些基于核学习的改进策略。

　　其基本思想是用一个属性图来描述人脸：属性图的顶点代表面部关键特征点，其属性为相应特征点处 的多分辨率、多方向局部特征——Gabor变换12特征，称为Jet；边的属性则为不同特征点之间的几何 关系。对任意输入人脸图像，弹性图匹配通过一种优化搜索策略来定位预先定义的若干面部关键特征点， 同时提取它们的Jet特征，得到输入图像的属性图。最后通过计算其与已知人脸属性图的相似度来完成识 别过程。该方法的优点是既保留了面部的全局结构特征，也对人脸的关键局部特征进行了建模。

　　几何特征可以是眼、鼻、嘴等的形状和它们之间的几何关系（如相互之间的距离）。这些算法识别速 度快，需要的内存小，但识别率较低。

　　神经网络的输入可以是降低分辨率的人脸图像、局部区域的自相关函数、局部纹理的二阶矩等。这类方法同样需要较多的样本进行训练，而在许多应用中，样本数量是很有限的。

　　心理学的研究表明，人类在识别轮廓图（比如漫画）的速度和准确度上丝毫不比识别灰度图差。LHD是基于从人脸灰度图像中提取出来的线段图的，它定义的是两个线段集之间的距离，与众不同的是，LHD并不建立不同线段集之间线段的一一对应关系，因此它更能适应线段图之间的微小变化。实验结果表明，LHD在不同光照条件下和不同姿态情况下都有非常出色的表现，但是它在大表情的情况下识别效果不好。

　　近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率，但是它需要大量的训练样本（每类300个），这在实际应用中往往是不现实的。而且支持向量机训练时间长，方法实现复杂，该函数的取法没有统一的理论。

　　例子：在摄像头某张抓拍图像中，一共有100张人脸，算法检测出80张人脸，其中75张是线 张是把路标误识为人脸。

　　检测率：识别正确的人脸/图中所有的人脸。检测率越高，代表检测模型效果越好。

　　误检率：识别错误的人脸/识别出来的人脸。误检率越低，代表检测模型效果越好。

　　漏检率：未识别出来的人脸/图中所有的人脸。漏检率越低，代表检测模型效果越好。

　　1000张样本图片里，共600张正样本。相似度为0.9的图片一共100张，其中正样本为99张。虽然0.9阈值的正确率很高，为99/100；但是0.9阈值正确输出的数量确很少，只有99/600。这样很容易发生漏识的情况。

　　精确率（precision）：识别为正确的样本数/识别出来的样本数=99/100

　　召回率（recall）：识别为正确的样本数/所有样本中正确的数=99/600

　　式中 NIRA 代表的是类间测试次数，既不同类别间的测试次数，打比方如果有1000个识别 模型，有1000个人要识别，而且每人只提供一个待识别的素材，那 NIRA=1000*(1000-1) 。NFA是错误接受次数。

　　FAR决定了系统的安全性，FRR决定了系统的易用程度，在实际中，FAR对应的风险远远高于FRR，因此，生物识别系统中，会将FAR设置为一个非常低的范围，如万分之一甚至百万分之一，在FAR固定的条件下，FRR低于5%，这样的系统才有实用价值。

　　上式中NFR是类内测试次数，既同类别内的测试次数，打比方如果有1000个识别模型， 有1000个人要识别， 而且每人只提供一个待识别的素 材，那 NIRA=1000，如果每个人提供N张图片，那么 NIRA=N*1000 。NFR是错误拒绝次数。

　　金融机构传统上使用人工肉眼判断、短信验证、绑定银行卡等手段进行实名认证。这些传统手段存在准确率不高、客户体验较差、成本高等问题，对金融企业业务发展造成了巨大的困扰。基于人脸识别的实名认证方式具有准确率高（一亿人中才存在两人长相相同）、客户体验好（认证速度快、客户操作少）、成本低（相较于传统认证方式）的优点，已被众多领先金融企业所采用。

　　在远程开户时，金融机构可以通过智能终端在线上进行身份鉴权验证，使用人脸识别技术开户可以极大提升业务办理的安全性、时效性，并节省大量人力。

　　在这方面人脸取代了银行卡，只需要人脸+密码即可完成取款。在前两个方面，人脸识别技术已经被国内各大银行广泛采用，刷脸取款方面，农行和招行抢先一步在ATM上线了刷脸取款功能。

　　打击涉医犯罪，确保就诊安全。建立有针对性的涉医犯罪人员布控库，与属地公安部门配合，进行实时布控。

　　管控职务犯罪，控制不当竞争。对进入医院诊疗区域的医药代表进行管控，协助解决药品流通领域经营不规范、竞争失序等问题。

　　杜绝职业医闹，保护人身安全。打击频繁出现的职业医闹，提高事件的响应速度，从被动响应变为主动预防。

　　规范就诊流程，和谐医患关系。重点防范黄牛、医托等干扰正常就诊秩序的特殊人群。

　　加强监管力度，维护医保基金。实现就诊病人与医保信息库中身份证照的比对，杜绝冒用医保卡的现象。

　　易肇事肇祸严重精神障碍患者管控。结合“雪亮工程”，确保严重精神障碍患者流入地、流出地发现管控到位。

　　获取到目标对象的信息：因为行政体系不同，医疗行业想获取到目标对象信息存在较大困难，需相关行政单位进行关键的协调工作。目标对象信息包含但不局限于：人脸照片、人像照片、人员基本信息、人员动态等。

　　人脸识别的算法进一步提升：目前的人脸识别算法的精度已经达到了相当高的水准，误报、漏报均已控制在可接受范围；更近一步的算法，可以从非结构化的视频/图片中获取更多的价值信息，从更多地维度来实现不同的应用。

　　管理者思维和水平的提升：人工智能、人脸识别是革命性颠覆性的技术，可以给医疗行业带来巨大的提升。如何将人脸识别真正应用到医疗行业的各方各面需要管理者与技术提供方一起拓展思维、共同努力。

　　对接公安视频监控、医警联动平台：系统满足公安现有标准要求，后续可与公安机关视频监控、医警联动等平台进行无缝对接，将报警信息及关联的视频、图片推送给辖区派出所，实现联动。

　　人脸身份查证：输入目标人员照片，即可知道此人身份及其是否属于重点管控人员，是否曾经来过医院，及其出现时间、频次。可用于筛查可疑人员，找到其活动规律。

　　人员轨迹回放：输入目标人员照片，即可查询此人是否来过医院，到过哪些地方。此功能可还原特定人员的行动轨迹，用于嫌疑人行为研判和事后取证。

　　对接门禁系统：与门禁系统对接，预留刷脸开门、人脸考勤等高级功能，方便办公区、手术室、药品库、住院部等区域的出入管理。

　　对接刷卡系统：与二代证、医保卡等刷卡系统对接，将采集的人脸照片与证件上存储的照片进行比对，验证刷卡人的线 FR+新零售

　　帮助卖家获得顾客和潜在顾客更精准的信息，构建用户画像。可以安装在超市、商场、门店等入口，统计每天进入门店的人数、大致年龄和性别等;另一种可以安装在货架上，分析客户的关注点和消费习惯等。通过大数据分析挖掘回头客，提升客户提袋率和VIP转化率；

　　众所周知，破解密码的最常用手段是复制，通过窃取数字密码以及套取指纹来解密的案例己经不胜枚举。与记录在大脑中或其他介质上面的数字密码相比，暴露在外面的人脸更容易被复制。通过拍照完全可以获得一个人的脸部特征并进行复制，利用整容技术或者用照片识别等欺诈的方法可以骗过人脸支付系统。

　　基于视频中的人脸照片进行远距离、快速、无接触式的重点人员布控预警。让应用于车站、机场、地铁等重点场所和大型商场超市等人群密集的公共场所视频监控系统能够对视频图像进行采集、自动分析、抓取人脸实时比对，主动在监控场景中识别重点关注人员，实现重点人员的布控和识别。

　　对常住人口、暂住人口的人脸图片进行预先建库，通过输入各种渠道采集的人脸图片，能够进行比对和按照相似度排序，进而获悉输入人员的身份或者其他关联信息，此类应用存在两种扩展形式，单一身份库自动批量比对并发现疑似的一个人员具有两个或以上身份信息的静态库查重，两个身份库之间自动交叉比对发现交集数据的静态库碰撞。

　　现在新疆、西藏等城市都将人脸识别作为基础设施建设领域的投资重点，由于人员复杂、居住人口相对混乱等因素，这些城市成为了等违法犯罪行为的高发场所。而人脸识别技术采用人脸检测算法、人脸跟踪算法、人脸质量评分算法以及人脸识别算法。实现城市居住人员人脸的抓拍采集、建模存储，实时黑名单比对报警和人脸后检索等功能。能及时在危险发生之前制止。

　　近年来儿童拐卖活动越来越猖獗，为了更好的保护儿童安全，有些幼儿园、小学在门口已经安装上了面部识别系统。系统采用人脸识别加IC/ID卡(非接触式智能卡) 双重认证：每一位幼儿在入学注册时进行相关登记：资料、面像、IC/ID卡号、接送者、接送者面像。

　　每次入园时刷卡进行报道，放学时刷卡并进行接送家长人脸认证，如果认证失败拍照后即报警通知管理员，如果认证成功即拍照放行。不论识别成功与否，系统都会记录下被识别者图像。每一次接送都有详细的时间、接送人员的照片可供查询。另外系统提供短信提示的扩展功能，家长可在手机上看到人脸识别认证时所拍的照片，从而监控到接送这个过程，从其中一个重要源头杜绝了儿童被拐的可能性。

　　以前开房登记流程是：接待人员问询——身份证扫描确认——支付押金——选房层发房卡——打印纸质票据，这些流程非常繁杂，尤其是身份认证耗时最长，若遇到团队入住情况则更为复杂，身份证识别设备可能会因高频使用出现故障，而急于进房间休息的顾客却只能在前台等待手续完成，客户体验非常糟糕。

　　人脸识别技术就能很好的解决这一难题，帮助酒店实现系统化业务管理和一站式共享解决方案。智慧酒店的安防系统利用人脸识别技术，当顾客走到前台时系统已经自动根据顾客被摄像头捕捉到的影像调取顾客身份核对。整个验证核对过程简单、快速且实现了自动化，更大幅降低了人工识别造成的误差。而且，针对酒店VIP客人，系统可实时对比酒店大堂的摄像头影像和登记在酒店基础系统中的VIP面部数据，当VIP客人到达时，酒店可第一时间提供个性化周到服务，提高客户的满意度。1.5 FR+公安

　　对老百姓或其他业务部门提供的照片，直接送入系统进行比对、检索、筛选，最后人工确认。

　　访客到访公司，于平板电脑进行访客信息登记，由摄像头自动抓取人脸，通过系统打印出 访客贴纸；

　　商场客流跟踪分析，地铁、火车站、会场、机场等场所的可疑人员的跟踪检测，体育赛事的现场监控等。

　　多人脸跟踪、远场识别人脸、背景复杂、低质量图片人脸识别（算法预处理），还有侧脸（3D重建人物全面），遮挡，模糊，表情变化、强弱光（多特征融合增强抗干扰力）等各种实际环 境。

　　可用于图片的合成、动态图片的分析（直播行业鉴黄、鉴暴），通过关键点分析人脸表情情绪。

　　关键性应用（金融身份认证、海关检查、火车站和机场等进站），非关键性应用（智慧小区居民进出、办公大楼进出、公司单位上班打卡等）

　　年轻时的证件照和本人识别匹配、戴眼镜和未戴眼镜、侧脸和正脸、表情、背景干扰、整容后、双胞胎及长相类似等。

　　可基于三维人像分析避免认证时的假冒，动作分析等。（旷视的难以区分蜡像、海报和线 人脸属性（性别、年龄、种族、表情、饰品、胡须、面部动作状态）

　　普遍认为人类主要有六种基本情感：愤怒（anger）、高兴（happiness）、悲伤（sadness）、惊讶（surprise）、厌恶（disgust）、恐惧（fear）。而大多数表情识别是基于这六种情感及其拓展情绪实现的

　　表情的精细化程度划分：每种情绪最微弱的表现是否需要被分类。分类的界限需要产品给出评估规则。

　　难点：单人的不同年龄段识别和多人的不同年龄段识别，人脸年龄识别常和人脸识别进行组合识别，能更正确的判断在一定年限内“是否是一个人”的问题；除了以上内容，还有是否戴眼镜、头发长度、肤色等。

　　建议：识别年龄无变化的人脸用分类即可，而对年龄变化的人脸识别方法是通过年龄模拟，将测试图像和查询库中的图像变换到某一共同的年年龄，从而去除年龄不同的影响，使识别在年龄相同的人脸图像进行。

　　人脸属性分析时，可利用K-近邻算法匹配云端库里的类似照片后再对相似属性进行分析。

　　（1）应用：个性化相册管理、照片分享社交、婚恋交友相似脸型匹配推荐兴趣社交等。

　　（3）建议：可基于一张正脸照片，将其他照片进行依次比对分析后再分类等（智能相册、婚恋社交）。

　　（2）难点：2D和3D的识别检测、真人与蜡像、硅胶假冒人脸识别、照片和真人识别检测验证等。

　　门禁控制：传统门禁控制领域价值链低，所有厂家正在寻求新的方式来转型，绝大部分都在生物识别方式上进行 摸索；人脸识别面板机、闸机及其它通行道闸雨后春笋般出现；

　　楼宇对讲：普通楼宇对讲功能已无法满足使用要求，结合人脸识别功能的门禁系统需求越来越多；

　　防盗告警：通过智能化手段，达到降本增效目的，已成为防盗告警、巡更检查等功能的重点迭代方向；

　　可视化系统：降低非专业人士的使用难度，使得多方数据为“我”所用，为多种决策提供依据；信息孤岛问题亟待解决，万物互联已是所有厂家达成的共识。

　　智能化子系统数据采集离散，标准不一，数据价值大打折扣，无法为管理提供决策依据和帮助；

　　1.1 非接触人脸图像的采集不同于指纹、掌纹需要接触指掌纹专用采集设备，指掌纹的采集除了对设备有一定的磨损外，也不卫生，容易引起被采集者的反感，而人脸图像采集的设备是摄像头，无须接触。

　　1.2 非侵扰人脸照片的采集可使用摄像头自动拍照，无须工作人员干预，也无须被采集者配合，只需以正常状态经过摄像头前即可。

　　1.3 友好人脸是一个人出生之后暴露在外的生物特征，因此它的隐私性并不像指掌纹、虹膜那样强，因此人脸的采集并不像指掌纹采集那样难以让人接受。

　　1.4 直观我们判断一个人是谁，通过看这个人的脸就是最直观的方式，不像指掌纹、虹膜等需要相关领域专家才可以判别。

　　从摄像头监控区域进行人脸的采集是非常快速的，因为它的非干预性和非接触性，让人脸采集的时间大大缩短。

　　它的采集端完全可以采用现有视频监控系统的摄像设备，后端应用的扩展性决定了人脸识别可以应用在出入控制、黑名单监控、人脸照片搜索等多领域。

　　将某人面像与指定人员面像进行一对一的比对，根据其相似程度来判断二者是否是同一人，相似 程度一般以能否超过某一量化阀值为依据。简单的说就是A/B两张照片比对，产生的计算数值是否达到要求。

　　快速的人脸识别比对，移动支付认证、安全性身份核对、作为身份确认的一种新方式，比如考生身份确认、公司考勤确认、各种证件照和本人确认。

　　实际问题：产品在系统设计的逻辑上，需要先考虑调取已储存对象信息的先验条件。通过界面/语音的提示，使得待认证者预先知道自己正处于被核对的过程中，且已预先了解拟核对对象的身份。

　　用户自传照片，比如支付宝的人脸比对，用户自传的照片最大的问题是照片质量的合格率太低，拍照的光线、角度等因素会导致采集源的质量下降，不利于后期的大批量人脸特征码管理。

　　使用身份证读卡器，读取身份证上的照片，遗憾的是这张照片2K的大小，不过也是目前用最多的源照片提取方式，比较适合签到场合。

　　走失儿童的项目中去： 这一类系统的部署需要两个条件：A. BCD基本库（比如1000万人） B.强大的算法硬件

　　零售店中的刷脸支付长江，需要用户预先输入全手机号，确定用户身份再进行人脸识别，将原本为1:N的问题转化为了1:1的问题。

　　公司实际情况：目前各家公司的成熟人脸识别应用能够支持几万到几百万人不等的应用场景，而且还有一个错误率的概念。比如，公司宣称千万分之一的错误率的情况下（1/10000000），人脸通过率其实只有93%，这是因为很难做到一定不发生错误，而且每个人都能识别通过。（假如一家公司说自己能做到亿分之一的错误率，通过率能做到98%以上，多半是虚假宣传，在实际使用中是很难达到的）

　　在配合场景下：比如ATM机刷脸取款，用户会自主配合，将人脸以一个理想的角度通过识别。

　　在视频级N:N的校验中，如果要提高通过率，很多时候是采取降低准确率的方式，降低算法队列数量；同样在一些比赛中为了降低误识率，大大提高了准确率，所以算法在校验的过程中必须遵循至少一个固定标准，追求的是速度效率还是最高准确率。

　　视频流的帧处理所用，对服务器的计算环境要求严苛，目前的算法系统所支撑的输出率非常有限。

　　主要的限制如下：海量的人脸照片解析需要大量运算（目前很少看到在采集端直接解析的，都是照片剪裁）海量的人脸照片传输需要大量的带宽（常见的720布控摄像头抓取最小的人脸照片为20K）海量的人脸照片在后台检索需要耗费大量的运算（国内主流主机为例，最多到24路摄像头）。

　　A、对其进行包括光照强度和方向、人脸反射属性的量化，面部阴影和照度分析等，尝试建立数学模型，以利用这些光照模型，在人脸图像预处理或者归一化阶段尽可能的补偿乃至消除其对识别性能的影响，将固有的人脸属性（反射率属性、3D表面形状属性）和光源、遮挡及高光等非人脸固有属性分离开来。B、基于光照子空间模型的任意光照图像生成算法，用于生成多个不同光照条件的训练样本，然后利用具有良好的学习能力的人脸识别算法，如子空间法，SVM等方法进行识别。

　　与光照问题类似，姿态问题也是目前人脸识别研究中需要解决的一个技术难点。姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。针对姿态的研究相对比较的少关于人脸识别这一篇齐活，目前多数的人脸识别算法主要针列正面、准正而人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。面部幅度较大的哭、笑、愤怒等表情变化同样影像着面部识别的准确率。

　　是学习并记忆多种姿态特征，这对于多姿态人脸数据可以容易获取的情况比较实用，其优点是算法与正面人脸识别统一，不需要额外的技术支持，其缺点是存储需求大，姿态泛化能力不能确定，不能用于基于单张照片的人脸识别算法中等。

　　第二种思路：是基于单张视图生成多角度视图，可以在只能获取用户单张照片的情况下合成该用户的多个学习样本，可以解决训练样本较少的情况下的多姿态人脸识别问题，从而改善识别性能。

　　第三种思路：是基于姿态不变特征的方法，即寻求那些不随姿态的变化而变化的特征。中科院计算所的思路是采用基于统计的视觉模型，将输入姿态图像校正为正面图像，从而可以在统一的姿态空间内作特征的提取和匹配。

　　3.3 遮挡问题对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往彼监控对象都会带着眼镜，帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。

　　3.5 人脸相似性不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。

　　基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。

　　传统人脸识别方法如PCA、LDA等在小规模数据中可以很容易进行训练学习。但是对于海量数据，这些方法其训练过程难以进行，甚至有可能崩溃。

　　非配合性人脸识别的情况下，运动导致面部图像模糊或摄像头对焦不正确都会严重影响面部识别的成功率。在地铁、高速公路卡口、车站卡口、超市反扒、边检等安保和监控识别的使用中，这种困难明显突出。

　　伪造人脸图像进行识别的主流欺骗手段是建立一个三维模型，或者是一些表情的嫁接。随着人脸防伪技术的完善、3D面部识别技术、摄像头等智能计算视觉技术的引入，伪造面部图像进行识别的成功率会大大降低。

　　需要的网络识别和系统的计算机识别可能会造成视频的丢帧和丢脸现象，特别是监控人流量大的区域，由于网络传输的带宽问题和计算能力问题，常常引起丢帧和丢脸问题。

　　摄像机很多技术参数影响视频图像的质量，这些因素有感光器（CCD、CMOS）、感光器的大小、DSP的处理速度、内置图像处理芯片和镜头等，同时摄像机内置的一些设置参数也将影响质量，如曝光时间、光圈、动态白平衡等参数。

　　标记程序设计：需要考虑到如何提升效率，比如快捷键的设置、边标记及边存等等功能都有利于提高标记效率。

　　进度跟踪：程序对标注员、审核员的工作分别进行跟踪，可利用“规定截止日期”的方式淘汰怠惰的人。

　　质量跟踪：通过计算标注人员的标注正确率和被审核通过率，对人员标注质量进行跟踪，可利用“末位淘汰”制提高标注人员质量。

　　4.2 模型训练数据标记完成后，交由算法同学进行模型的训练，期间发现的问题可与产品一起商讨。训练过程中，最好能可视化一些中间结果。一来可以检测代码实现是否有Bug，二来也可以通过这些中间结果，来帮助自己更好的理解这个算法的过程。

　　如果没有后台设计，测试结果只能由人工抽样计算，抽样计算繁琐且效率较低。模型的效果，需要在精确率（识别为正确的样本数/识别出来的样本数）和召回率（识别为正确的样本数/所有样本中正确的数）中达到某一个平衡。测试同事需要关注特定领域内每个类别的指标，比如针对识别人脸的表情，里面有喜怒哀乐等分类，每一个分类对应的指标都是不一样的。测试同事需要将测试的结果完善地反馈给算法同事，算法同事才能找准模型效果欠缺的原因。同时，测试同事将本次模型的指标结果反馈给产品，由产品评估是否满足上线）测试环境说明

　　注：这和“部署的灵活性”相关——由于不同客户不同场景的需求不同，所以技术方的人脸检测模块，一般可以通过调整参数得到N种亚型，以适应不同应用场景(光照、角度、有效距离、速度) 下对运算量和有效检测距离的需求。

　　左图表示size与prize关系的数据，中间的图就是出现欠拟合的模型，不能够很好地拟合数据，如果在中间的图的模型后面再加一个二次项，就可以很好地拟合图中的数据了，如右面的图所示。

　　添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。

　　重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，噪音太多影响到模型效果，如果出现了过拟合就需要我们重新清洗数据。

　　正则化，常用的有 L1、L2 正则。而且 L1正则还可以自动进行特征选择;

　　1）如是分类性质的解析工作，建议标注规则先从非常肯定的非黑即白开始；规则设定由简到繁，带有疑虑数据再另外作记号。随着规则一步步深入，可能会出现交叉影响，此时就需要放弃一些低频问题的规则，余下的未标注的数据就根据新的规则标注。

　　在用户可以更换环境的前提下（比如银行刷脸取钱等），可语音/界面提示用户目前环境不理想（头歪、头发、眼镜等），建议进行正确的正脸取照。

　　晚上：由于摄像头在晚上会自动切换到黑夜场景（从图片上看就是从彩色切换为黑白），因此在晚上强光下（例如路灯照射）人脸就会过曝，这时，我们可以通过强制设置摄像头环境为白天（图像为彩色）来避免。而过暗的情况，从节省成本角度看，可以在摄像头旁边增加一个光线发散、功率不高的灯来弥补。当然这两个问题也可以通过购买高质量的摄像头解决，但这样做也意味着更高的成本。

　　从算法角度：可对人脸关键点进行定位，计算目标用户与摄像头的距离或计算人脸在频幕的区域占比来确定目标用户（一般几何距离近的、频幕区域占比较大的为美颜目标），结合活体检测来排除背景图片人物的干扰等。

　　光线太暗、运动、对焦等造成模糊（摄像头距离因素，造成图像低频存在，高频流失等）

　　从产品角度：可提醒用户在光线较温和的区域进行美颜操作；或是擦除前置摄像头的障碍物；或文字提示动作太快；或是更换高清前置摄像头；或提示对焦失败，给与对焦框图让用户手动对焦等。

　　从算法角度：在美颜前可在后台中调取手机亮度调节功能，用算法调节光线的亮暗程度以适应美颜所需的物理条件；用算法设法补齐高频部分从，而减少对照片的干扰。

　　在进行AR美颜搞怪时（如张嘴动作，屏幕出现音符、唾沫星子等）对动作抓捕太慢（半天才抓捕到张嘴动作）。

　　从产品角度：文字提示不支持快速移动或提示缓慢移动（如，亲！您的动作太快了，奴家还未反应过来等）

　　（4）关键位置添加虚拟物品失败（如在嘴上叼烟、耳朵吊耳环、眼镜戴墨镜、脸显红晕）

　　远程算法更新：远程算法更新必然会造成本地局域网功能暂时性无法使用。因此远程算法更新的频率、时间、更新效果都需要产品在更新前精确评估。