全球最权威人脸识别测试 中国团队夺四项第一

FRVT是由美国国家标准技术局NIST组织的人脸识别供应商测试,作为美国国家采购的官方指导,其测试的权威性是全球工业界实际应用的黄金标准。
   中国公司依图科技获得目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩。在最近公布的国际权威人脸识别供应商测试 FRVT(Face Recognition Vendor Test)结果中,中国公司依图科技获得了四项测试的第一名,超过了俄罗斯公司 Vocord (Vocord是国际老牌安防厂商,长久以来超越Google等公司盘踞人脸识别算法第一名)。

  本文链接:http://www.shoujibao.cn/news/show-htm-itemid-21593.html

  FRVT是由美国国家标准技术局NIST(National Institute of Standards and Technology)组织的人脸识别供应商测试,作为美国国家采购的官方指导,其测试的权威性是全球工业界实际应用的黄金标准。

  FRVT的人脸识别测试集合来自美国国土安全局的真实业务场景,例如出入境、刑侦过程中收集的大量照片。与时下热门的由学术机构举办的LFW、MegaFace测试相比, FRVT更贴近实战,测试规模更大,不仅拥有百万量级测试数据,同时这些测试数据均不公开,有效避免算法过拟合甚至是作弊手段。

全球最权威人脸识别测试 中国团队夺了第一
  表一:主流的人脸识别测试场景、测试集、指标比较

全球最权威人脸识别测试 中国团队夺了第一
  表二: 在三个测试集上代表厂商成绩比较。安防厂商海康威视未发布公开测试成绩。

  LFW是由美国马萨诸塞大学发布并维护的公开人脸数据集,测试数据规模为万,国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了99.5%以上的成绩。

  MegaFace是由美国华盛顿大学发布并维护的公开人脸数据集,测试规模比LFW大100倍,更能区分各个算法的性能差异。第一名是创立于1999年的老牌俄罗斯公司Vocord,获得91.7%的成绩,比第二名腾讯优图高出8%,优势明显。由此可见,虽然国内大互联网公司拥有超大规模计算算法训练平台、互联网级的数据优势,但离全球顶级的测试结果还有差距。

  在顶级的竞争中,数据和计算的优势并不能保证输出最优秀的算法性能。

  由美国国家标准技术局(NIST)主持的FRVT,除了主持机构的权威性外,测试结果的权威性还来自其评测的严谨和全面性:

  1、数据均来自真实业务场景,测试结果好则代表该技术可以在实战场景中直接应用。

  2、数据规模是通过对百亿对样本采样,达到百万量级。如此大规模的测试集可以稳定评估算法性能,详细区分不同算法的优劣。

  3、测试数据不公开(盲测),这保证了测试的公正性。因为参赛的算法团队无法利用测试数据做模型训练,可以有效避免过拟合或直接作弊等手段,因此相对于LFW、MegaFace而言,FRVT则更能体现测试的公正性。

  4、科学专业性,FRVT对不同实战场景、人种、年龄、性别,做了详细分解下的识别性能比较,并在模型速度、特征库大小、比对阈值等做了详细评估。

  据官方最新发布的报告,FRVT 的第一名是中国公司依图科技,在千万分之一误报下(采样百亿对样本)的准确率为 95.5%,比第二名俄罗斯公司Vocord 93.5%的准确率高出 2%。这是目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩,比2014年参与同样测试的第一名日本公司NEC在准确率上有大幅提高。

  NIST针对测试作了不同场景、不同人种、不同性别、不同年龄的识别性能比较。从 FRVT 的官方描述来看,其提供的测试数据对应了出入境管理、身份门禁认证、平安城市监控等实战应用场景,依图在四项主要的测试场景中均获得第一名。

  在更详细的人种(黑人、白人、亚洲人等)、性别比较中,依图的算法表现几乎没有差异;而其他算法随着识别难度增加,识别率出现了不同程度的较大降低。对比结果说明依图的算法可以在不同类型数据分布的实用场景中,例如黑人较多的场景下,算法也可有稳定表现。

  具体报告来源于ongoing FRVT 2017.6.19 报告 (链接地址:https://www.nist.gov/sites/default/files/documents/2017/06/20/frvt_report_2017_06_19.pdf)

  智能万倍增长

  过去四年,从LFW到FRVT,测试指标已经从千分之一误报到千万分之一误报,识别性能已经提高一万倍,意味着误报降低万倍。可以预见,很快就会出现测试指标在亿分之一、十亿分之一、百亿分之一误报下的识别性能比较,这将是另一个千倍的智能识别能力的增长。

  可以想象,在十亿级超大规模比对、十亿分之一超低误报下的高识别性能,意味着智能技术将解锁更多的应用场景,从楼宇建筑到城市量级,甚至多城联动,再到全国范围内的人脸比对、安防布控都将成为可能。

  依图科技CEO朱珑说到:“NIST是工业界最权威的测试,有最直接的应用指导价值。从测试的结果来说,有两个意义: 我们可以平静的接受,来自中国的算法技术超过全球的竞争对手;更大的意义在于,掌握标准制定话语权和实际全球影响力的美国国家标准技术局,已经显得‘没见过世面’,千万分之一的误报下的识别率并不能拉开我们和第二名的差距,我们的算法已经在 10 亿分之一的误报下达到超过90%的识别率。希望将来,国际主流学术机构能接受,只有中国参与的标准测试,才反映全球最前沿的技术理解。”
读者们,如果你或你的朋友想被手机报报道,请狠戳这里寻求报道
相关文章
精彩评论:
0  相关评论
热门标签
专栏
文章排行 TOP ARTICLES
热门评论 HOT COMMENT
  • 网友

    07月21日 16:31

    真可怕啊!...

    给国产全面屏迎头一棒,三星硬式OLED要卖给小米
  • 07月21日 08:46

    我司是最具专业的UV转印设备生产厂商,
    从2012年开始为大型的玻璃盖板厂商设计/生产和销售了
    2.5/3D玻璃用UV转印设备 。
    设备1) GDF方式: Glass Deco Film(OCA 菲林防爆膜上面做UV转印/拉丝)
    设备2)GDM方式:Glass Direct Mold (玻璃上面直接做UV转印/拉丝)
    设备3)指纹识别芯片上的UV Coating(GDM方式)
    设备4)热转印机(指纹识别外观的纹路处理)
    现有客户有: 蓝思、伯恩、维达力、欧菲光 、LGD、ichia、越南三星、
    星星科技、合力泰、瑞声、 SDC、JDI、SSNT、S`R、
    CICT.MCTECH、贵州星瑞安、聚龙高科、正美集团、
    Y&S、LG、JUNE、YCT、LG、KAIST、上海美细耐斯、

    微信 taigong66...

    康宁的弯曲柔性玻璃来了,这将摧毁手机外壳加工产业链!
  • 07月19日 08:54

    我司是最具专业的UV转印设备生产厂商,
    从2012年开始为大型的玻璃盖板厂商设计/生产和销售了
    2.5/3D玻璃用UV转印设备 。
    设备1) GDF方式: Glass Deco Film(OCA 菲林防爆膜上面做UV转印/拉丝)
    设备2)GDM方式:Glass Direct Mold (玻璃上面直接做UV转印/拉丝)
    设备3)指纹识别芯片上的UV Coating(GDM方式)
    设备4)热转印机(指纹识别外观的纹路处理)
    现有客户有: 蓝思、伯恩、维达力、欧菲光 、LGD、ichia、越南三星、
    星星科技、合力泰、瑞声、 SDC、JDI、SSNT、S`R、
    CICT.MCTECH、贵州星瑞安、聚龙高科、正美集团、
    Y&S、LG、JUNE、YCT、LG、KAIST、上海美细耐斯、

    微信 taigong66...

    2017年05月指纹模组出货量排行榜
  • 07月19日 08:53

    我司是最具专业的UV转印设备生产厂商,
    从2012年开始为大型的玻璃盖板厂商设计/生产和销售了
    2.5/3D玻璃用UV转印设备 。
    设备1) GDF方式: Glass Deco Film(OCA 菲林防爆膜上面做UV转印/拉丝)
    设备2)GDM方式:Glass Direct Mold (玻璃上面直接做UV转印/拉丝)
    设备3)指纹识别芯片上的UV Coating(GDM方式)
    设备4)热转印机(指纹识别外观的纹路处理)
    现有客户有: 蓝思、伯恩、维达力、欧菲光 、LGD、ichia、越南三星、
    星星科技、合力泰、瑞声、 SDC、JDI、SSNT、S`R、
    CICT.MCTECH、贵州星瑞安、聚龙高科、正美集团、
    Y&S、LG、JUNE、YCT、LG、KAIST、上海美细耐斯、

    微信 taigong66...

    苹果逼你换新!iPhone 8前后摄像头独占AR功能:完美
  • 网友

    07月18日 10:27

    伯恩的份额被小编吃了...

    2017年04月玻璃盖板出货量排行榜
  • 07月16日 09:08

    真正的马后炮!br /...

    第六期《数说手机》小米二季度出货量创新高,90%售价低于1500
  • 07月12日 12:46

    1111111111111...

    招行超额冻结乐视资产261.62亿 乐视向上海高院提出申诉
  • 网友

    07月10日 15:15

    ...........

    2016年9月方案公司出货量排行榜
  • 15829328104

    07月06日 22:58

    哪里看得出是后置指纹设计,对于乱说猜测,我也是醉了。...

    iPhone 8惨遭偷拍泄露:后置指纹识别+3D刷脸
  • 07月06日 15:07

    《作为中国人,我觉得这次应该力挺贾跃亭!不能让阿里巴巴故事重演!不能让小日本又轻轻松松获得2900倍的回报。》--作为中国人没本事自己挣钱,心疼别人挣钱。 即使是小日本 也希望能多建造中国阿里巴巴。...

    网传孙正义宣布软银集团出资200亿美元全力投资贾跃亭乐视!乐视否认