zoo类网站（AIZOO）

本文作者：元峰互联网 + AI 领域的创业者近一个月来，新冠肺炎疫情牵动着全国人民的心，一线医护工作者在最前线抗击疫情的同时，我们也可以看到很多科技行业和人工智能领域的从业者，也在贡献着他们的力量。近些天来，旷视、商汤、海康、百度都多家科技公司研发出了带有AI人脸检测算法的红外测温、口罩佩戴检测等设备；依图、阿里也研发出了通过深度学习来自动诊断新冠肺炎的医疗算法。可以说，各行各业的从业者都在为早日战胜这场疫情贡献着力量。作为互联网 + AI 领域的创业团队，我们决定开源我们整理的口罩检测数据集和训练好的模型（提供 keras 版本和 caffe 版本）、代码，另外，我们也将模型转为了 TensorFlow.js 支持的格式，部署到了我们的网站 aizoo.com 上，方便大家在浏览器里面体验。在文章末尾，有我们开源的所有资料的链接，如果您不想看文章内容，可以直接滑到文章底部查看资料链接。首先，让我们先看一个效果图。视频中红色是未戴口罩，绿色是佩戴了口罩。可以看到，如果是双手捂住了嘴巴多半部分，模型会认为是未戴口罩（关于这一点，下文会有讨论）。下面，我们将从模型结构、数据和 TensorFlow.js 部署三大方面介绍本项目。好了，废话不多说了，Let's go~一. 模型介绍在深度学习时代之前，人脸检测一般采用传统的、基于手动设计特征的方法，其中最知名的莫过于 Viola-Jones 算法，至今部分手机和数码相机内置的人脸检测算法，仍旧采用 Viola-Jones 算法。然而，随着深度学习技术的蓬勃发展，基于深度学习的人脸检测算法逐步取代了传统的计算机视觉算法。在人脸检测最常用的数据集 —— WIDER Face 数据集的评估结果上来看，使用深度学习的模型在准确率和召回率上极大的超过了传统算法。下图的青线是 Viola-Jones 的 Precision-Recall 图。下图是众多基于深度学习的人脸检测算法的性能评估 PR 曲线。可以看到基于深度学习的人脸检测算法的性能，大幅超过了 VJ 算法（曲线越靠右越好）。近两年来，人脸检测算法在 WIDER Face 的简单测试集（easy 部分）上可以达到 95% 召回率下，准确率也高达 90%，作为对比，VJ 算法在 40% 召回率下，准确率只有 75% 左右。其实，基于深度学习的人脸检测算法，多数都是基于深度学习目标检测算法进行的改进，或者说是把通用的目标检测模型，为适应人脸检测任务而进行的特定配置。而众多的目标检测模型（Faster RCNN、SSD、YOLO）中，人脸检测算法最常用的是 SSD 算法，例如知名的 SSH 模型、S3FD 模型、RetinaFace 算法，都是受 SSD 算法的启发，或者基于 SSD 进行的任务定制化改进， 例如将定位层提到更靠前的位置，Anchor 大小调整、Anchor 标签分配规则的调整，在 SSD 基础上加入 FPN 等。在笔者个人看来，SSD 是最优雅、简洁的目标检测模型，因此，我们实现的人脸口罩检测模型，也是采用 SSD 的思想，限于篇幅原因，本文不会详细介绍 SSD 的原理，只会进行简单的模型配置介绍。在本项目中，我们使用的是 SSD 架构的人脸检测算法，相比于普通的人脸检测模型只有人脸一个类别，而人脸口罩检测，只不过是增加了一个类别，变成戴口罩人脸和不戴口罩的人脸两个类别而已。我们开源的模型是一个非常小的模型，输入是 260×260 大小，主干网络只有 8 层，有五个定位和分类层，一共只有 28 个卷积层。而每个卷积层的通道数，是 32、64、128 这三种，所有这个模型总的参数量只有 101.5 万个参数。下图是网络的结构图。其中，上面八个卷积层是主干网络，也就是特征提取层，下面 20 层是定位和分类层（注意，为了方便显示，我们没有画出 BN 层）。训练目标检测模型，最重要的合理的设置 anchor 的大小和宽高比，笔者个人在做项目时，一般会统计数据集的目标物体的宽高比和大小来设置 anchor 的大小和宽高比。例如，在我们标注的口罩人脸数据集上，我们读取了所有人脸的标注信息，并计算每个人脸高度与宽度的比值，统计得到高度与宽比的分布直方图，如下：因为人脸的一般是长方形的，而很多图片是比较宽的，例如 16:9 的图片，人脸的宽度和高度归一化后，有很多图片的高度是宽度的 2 倍甚至更大。从上图也可以看出，归一化后的人脸高宽比集中在 1~2.5 之间。所以，根据数据的分布，我们将五个定位层的 anchor 的宽高比统一设置为 1,0.62,0.42。（转换为高宽比，也就是约1,1.6:1,2.4: 1）五个定位层的配置信息如下表所示：笔者使用基于 Keras 实现的目标检测微框架训练的人脸口罩检测模型，为了避免一些网友提到的使用手挡住嘴巴就会欺骗部分口罩检测系统的情况，我们在数据集中加入了部分嘴巴被手捂住的数据，另外，我们还在训练的过程中，随机的往嘴巴部分粘贴一些其他物体的图片，从而避免模型认为只要露出嘴巴的就是没戴口罩，没露出嘴巴的就是带口罩这个问题，通过这两个规避方法，我们很好的解决了这个问题，大家可以在 aizoo.com 体验我们的模型效果。后处理部分主要就是非最大抑制（NMS），我们使用了单类的 NMS，也就是戴口罩人脸和不戴口罩人脸两个类别一起做 NMS，从而提高速度。二. 数据其实，做这个项目，笔者使用个人实现的检测框架，只用两个小时就搞定了训练部分。但是，为了整理数据，笔者花了整整两天的时间。如果我们花两天时间写代码，我们不觉得痛苦，但是如果花两天时间标注数据，那是一个相当痛苦的事情。最初，笔者使用了 B 站一个本科生小伙公开的的 1 千多张图片训练了一个模型，但是该数据集比较单一，很容易出现用手捂住嘴巴，模型就认为是戴口罩这种问题，后面，笔者决定自己整理数据集。人脸检测数据集非常多，其中最常用的莫过于 WIDER Face 数据集，我们从中选择了 3894 张图片，并进行了校验，主要是将部分戴口罩的人脸标注为戴口罩。对于戴口罩的人脸，我们使用了中科院信工所葛仕明老师开源的 MAFA 数据集，该数据集本是一个遮挡人脸的数据集，其中有各种被遮挡的人脸图片，大多数都是被口罩遮挡的人脸图片，我们从中选择了 4064 张人脸戴口罩的图片。MAFA 数据集的人脸位置定义与 WIDER Face 有较大区别，MAFA 的人脸框在靠近眉毛上方，是正方形的，而且标注框不严格（框离脸部边缘有缝隙），而 WIDER Face 的人脸框在额头上方，如果不进行修改，会导致模型对于不戴口罩的人脸，检测框是到额头上方，而戴口罩的人脸，检测框只到眉毛上方。因此，我们重新标注了这部分 MAFA 数据。（标注数据真的是一个非常难受的过程～）。我们最终对数据进行了随机划分为训练集和验证集。下表是数据统计。关于数据部分，我们就介绍到这里。需要的朋友可以在文末找到下载链接。三. TensoFlow.js部署 为了便于在浏览器部署模型，我们特意将模型设计的非常小，这导致一个弊端就是模型会牺牲一部分性能，但是速度会非常快，在普通 CPU 上也可以做到实时性。最终的模型在验证集上的 Precision-Recall 曲线如下图所示：因为 WIDER Face 本身是一个稍微复杂的数据集，再加上我们模型的输入和参数量比较小，所以，可以看到对于人脸的 AP 只有 0.896。不过，这点可以通过设计大一点的模型改善性能。如果您有需要更高精度的模型，欢迎联系我们。使用 Keras 训练好模型后，我们将其转换为TensorFlow.js格式，并使用 JavaScript 对口罩人脸检测模型进行了部署。模型的效果图如下图所示：开源资料获取最后，是我们开源的相关资料的获取方式。1. 数据下载地址百度网盘链接: https://pan.baidu.com/s/1nsQf_Py5YyKm87-8HiyJeQ 提取码: eyfz2. 开源代码和模型链接https://github.com/AIZOOTech/FaceMaskDetection3. 在线体验链接https://aizoo.com/face-mask-detection.html本文转载自极术社区极术社区（aijishu.com）是由 Arm 中国携手 SegmentFault 思否共同打造的一个专注于人工智能，物联网，芯片领域的开发者社区。通过问答、专栏、文档下载、课程直播、开发者活动等功能，用户在这里可以各取所需，并充分利用各种生态资源，助力其在 AIoT 设计开发中获得成功。无论 AI，服务器，芯片，嵌入式，IoT 相关开发，全球软硬件资源信息，这里“有问必答”，还有 Arm 技术专家和各路大牛的技术直播和干货文章，各种线上线下活动。欢迎每一位有志于进入 AIoT 领域的开发者以及产业合作伙伴加入极术社区，一起探索成长。