失眠网 > 人脸检测进阶：使用 dlib OpenCV 和 Python 检测眼睛鼻子嘴唇和下巴等面部五官

人脸检测进阶：使用 dlib OpenCV 和 Python 检测眼睛鼻子嘴唇和下巴等面部五官

时间：2019-07-24 19:05:38

使用 dlib、OpenCV 和 Python 检测眼睛、鼻子、嘴唇和下巴

今天的博客文章将首先讨论与面部标志相关的 (x, y) 坐标以及如何将这些面部标志映射到面部的特定区域。

然后我们将编写一些可用于提取每个面部区域的代码。

我们将通过在一些示例图像上演示我们的方法的结果来结束博客文章。

在这篇博文结束时，您将对如何通过面部标志（自动）提取面部区域有深入的了解，并将能够将这些知识应用到您自己的应用程序中。

面部区域的面部标志性索引

在 dlib 中实现的面部标志检测器产生 68 个 (x, y) 坐标，这些坐标映射到特定的面部结构。这 68 个点映射是通过在标记的 iBUG 300-W 数据集上训练形状预测器获得的。

下面我们可以可视化这 68 个坐标中的每一个映射到的内容：

检查图像，我们可以看到面部区域可以通过简单的 Python 索引访问（假设使用 Python 进行零索引，因为上图是单索引)：

嘴巴： [48, 68] 。

右眉：[17, 22]。

左眉： [22, 27]。

右眼： [36, 42]。

左眼： [42, 48]。

鼻子： [27, 35]。

下巴： [0, 17]。

这些映射在 imutils 库的 face_utils 内的 FACIAL_LANDMARKS_IDXS 字典中编码：

# 定义一个映射面部索引的字典# 特定面部区域的标记FACIAL_LANDMARKS_IDXS = OrderedDict([("mouth", (48, 68)),("right_eyebrow", (17, 22)),("left_eyebrow", (22, 27)),("right_eye", (36, 42)),("left_eye", (42, 48)),("nose", (27, 35)),("jaw", (0, 17))])

使用这个字典，我们可以轻松地将索引提取到面部标志数组中，并只需提供一个字符串作为键即可提取各种面部特征。

可视化面部标记

稍微困难的任务是将这些面部标志中的每一个可视化并将结果叠加在输入图像上。为此，我们需要 imutils 库中已包含的visualize_facial_landmarks 函数：

def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):# create two copies of the input image -- one for the# overlay and one for the final output imageoverlay = image.copy()output = image.copy()# if the colors list is None, initialize it with a unique# color for each facial landmark regionif colors is None:colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23),(168, 100, 168), (158, 163, 32),(163, 38, 32), (180, 42, 220)]

我们的visualize_facial_landmarks 函数需要两个参数，后跟两个可选参数，每个参数的详细信息如下：

image ：我们将在其上绘制面部标志性可视化的图像。

shape : NumPy 数组，包含映射到不同面部部位的 68 个面部标志坐标。

colors ：用于对每个面部标志区域进行颜色编码的 BGR 元组列表。

alpha ：用于控制原始图像上叠加层的不透明度的参数。

我们现在准备通过面部标志来可视化每个单独的面部区域：

# 分别循环面部标志区域for (i, name) in enumerate(FACIAL_LANDMARKS_IDXS.keys()):# 获取与关联的 (x, y) 坐标#人脸地标(j, k) = FACIAL_LANDMARKS_IDXS[name]pts = shape[j:k]# 检查是否应该绘制下颌线if name == "jaw":# 由于下颌线是一个非封闭的面部区域，# 只在 (x, y) 坐标之间画线for l in range(1, len(pts)):ptA = tuple(pts[l - 1])ptB = tuple(pts[l])cv2.line(overlay, ptA, ptB, colors[i], 2)# 否则，计算人脸的凸包# 地标坐标点并显示else:hull = cv2.convexHull(pts)cv2.drawContours(overlay, [hull], -1, colors[i], -1)

遍历 FACIAL_LANDMARKS_IDXS 字典中的每个条目。

对于这些区域中的每一个，我们提取给定面部部分的索引并从形状 NumPy 数组中获取 (x, y) 坐标。

检查是否正在绘制下颌，如果是，只需循环各个点，绘制一条将下颌点连接在一起的线。

否则，处理计算点的凸包并在叠加层上绘制包。

最后一步是通过 cv2.addWeighted 函数创建透明叠加层：

# 应用透明覆盖cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)# return the output imagereturn output

将visualize_facial_landmarks 应用于图像和关联的面部标记后，输出将类似于下图：

使用 dlib、OpenCV 和 Python 提取部分人脸

新建一个文件，将其命名为 detect_face_parts.py ，并插入以下代码：

# import the necessary packagesfrom imutils import face_utilsimport numpy as npimport argparseimport imutilsimport dlibimport cv2# construct the argument parser and parse the argumentsap = argparse.ArgumentParser()ap.add_argument("-p", "--shape-predictor", required=True,help="path to facial landmark predictor")ap.add_argument("-i", "--image", required=True,help="path to input image")args = vars(ap.parse_args())# 初始化dlib的人脸检测器（基于HOG）然后创建# 面部标志预测器detector = dlib.get_frontal_face_detector()predictor = dlib.shape_predictor(args["shape_predictor"])# 加载输入图像，调整大小，并将其转换为灰度image = cv2.imread(args["image"])image = imutils.resize(image, width=500)gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 在灰度图像中检测人脸rects = detector(gray, 1)

导入我们需要的 Python 包。

解析我们的命令行参数。

实例化 dlib 的基于 HOG 的面部检测器并加载面部标志预测器。

加载和预处理我们的输入图像。

在我们的输入图像中检测人脸。

现在我们已经在图像中检测到人脸，我们可以单独循环每个人脸 ROI：

# 循环面部检测for (i, rect) in enumerate(rects):# 确定面部区域的面部标志，然后# 将地标 (x, y) 坐标转换为 NumPy 数组shape = predictor(gray, rect)shape = face_utils.shape_to_np(shape)# 单独循环面部部分for (name, (i, j)) in face_utils.FACIAL_LANDMARKS_IDXS.items():# 克隆原始图像，以便我们可以在其上绘制，然后# 在图像上显示人脸部分的名称clone = image.copy()cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX,0.7, (0, 0, 255), 2)# 循环面部标志的子集，绘制# 特定的面部部分for (x, y) in shape[i:j]:cv2.circle(clone, (x, y), 1, (0, 0, 255), -1)

对于每个面部区域，确定 ROI 的面部标志，并将 68 个点转换为 NumPy 数组。

然后，对于每个面部部分，遍历它们。

绘制面部区域的名称/标签，然后将每个单独的面部标志绘制为圆圈。

要实际提取每个面部区域，只需要计算与特定区域关联的 (x, y) 坐标的边界框，并使用 NumPy 数组切片来提取它：

# 提取人脸区域的ROI作为单独的图像(x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))roi = image[y:y + h, x:x + w]roi = imutils.resize(roi, width=250, inter=cv2.INTER_CUBIC)# 显示特定的人脸部分cv2.imshow("ROI", roi)cv2.imshow("Image", clone)cv2.waitKey(0)# 使用透明叠加可视化所有面部标志output = face_utils.visualize_facial_landmarks(image, shape)cv2.imshow("Image", output)cv2.waitKey(0)

计算区域的边界框通过 cv2.boundingRect 处理。

使用 NumPy 数组切片，提取 ROI。

然后将此 ROI 调整为 250 像素的宽度，以便我们可以更好地对其进行可视化。

将单个人脸区域显示到我们的屏幕上。

然后应用visualize_facial_landmarks 函数为每个面部部分创建一个透明的叠加层。