MediaPipe—脸部、手掌及人体姿态特征检测

引文

“大家不要紧张，我本身呢是个汽车维修员，随身有个扳手是很正常的...”

虽然我们传感器似乎和当前的话题没有直接关系，但是本着能提供被检物体某种特性信号的都是传感器的理念，尤其与其相关的设备正在我们的产线上发挥着重要作用的情况下，关注和留意这些日新月异的事物就正常不过了。不如我们定义一个叫“软件传感器”的？

既然我们提到了图像处理，不妨多说一些，这里关于MediaPipe这个工具包，借用它，我们可以很容易实现面部、手掌，人体姿态特征等的识别和应用。小编尽可能提供这个工具包中相关功能的一些测试代码。

Mediapipe 是由 Google 开发并开源的一个多模态机器学习框架，广泛应用于实时的计算机视觉任务。该框架提供了一套强大且高效的工具和示例，用于处理和流式传输多模态的数据。以下是MediaPipe工具包中提供的相应功能及函数名称。在工具包mediapipe.python中有

·solutions.face_detection:

用于人脸检测。可以检测图像或视频帧中的多人脸，并返回每个检测到的面部的关键点和边界框。

适用于各种应用，包括面部识别、表情分析、访问控制等。

·solutions.face_mesh:

用于高精度人脸网格检测和关键点识别。可以在面部上绘制468个3D关键点，适用于美颜、虚拟试妆等应用。

可以实现精细的人脸特征提取、姿态估计等。

·solutions.face_mesh_connections:

包含面部网格的连接信息，用于连接检测到的面部关键点，从而形成面部网格。

·solutions.hands:

用于手部检测和关键点识别。可以检测手部的21个关键点，用于手势识别和动作分析。

适用于实时手势控制、手势识别应用等。

·solutions.hands_connections:

包含手部关键点的连接信息，用于绘制和连接检测到的手部关键点。

·solutions.holistic:

提供全身的多模态检测，包括人脸关键点、手部关键点和身体姿态。这是一个综合性的解决方案，用于检测和跟踪全身动作。

·solutions.objectron:

提供3D物体检测和跟踪功能，能够检测和估计物体相对于摄像头的3D位置和朝向。实际测试中，支持的模型限于4类物件。

适用于增强现实（AR），虚拟现实（VR），物体识别等应用。

·solutions.pose:

用于人体姿态估计，可以检测33个身体关键点。适用于运动捕捉、健身应用、动作分析等。

能够实时提供人体的骨架信息，有助于姿态校正和健康监测等应用。

·solutions.selfie_segmentation:

涉及如何将检测到的数据呈现出来，就可以用到下面两个函数。

检测到了结果后，我们要进行绘制时可以用这个函数包，提供绘图样式和规格，用于在图像上绘制检测结果。如指定线条和点的颜色、厚度等。

·solutions.drawing_utils:

提供基本的绘图工具，用于在图像或视频帧上绘制检测结果（如关键点、边界框等）。通常与其他检测模块结合使用。

脸部检测（三角填色）

当我们只输出检测到的脸部网格，就是如下图所示的。其中的线条颜色是可调的。如果把这个网格附加到视频的每帧脸部，那么我们就可以看到加了网格的脸。

如果要把组成网格的每个三角形用不同的颜色填充，则需要一点数据的处理。

示例代码中，通过摄像头获取图像，检测到了人脸之后将直接在人脸上加一个多彩面具。网格中的每个三角形的颜色循环填充，这里首先要解决在获取的位置点位中，怎么把临近的三3个点组合起来成为一个不重复的三角形。

import cv2import numpy as npimport mediapipe as mp#初始化Mediapipe的Face Mesh解决方案mp_face_mesh = mp.solutions.face_meshmp_drawing = mp.solutions.drawing_utilsmp_drawing_styles = mp.solutions.drawing_styles#准备随机颜色列表#triangle_colors = [(255, 0, 0), (0, 255, 0), (0, 0, 255)]triangle_colors = [    (255, 0, 0),    # 红色    (0, 255, 0),    # 绿色    (0, 0, 255),    # 蓝色    (255, 255, 0),  # 黄色    (0, 255, 255),  # 青色    (255, 0, 255),  # 洋红色    (192, 192, 192),# 银色    (128, 128, 128),# 灰色    (128, 0, 0),    # 栗色    (128, 128, 0),  # 橄榄色    (0, 128, 0),    # 墨绿色    (128, 0, 128),  # 紫色    (0, 128, 128),  # 蓝绿色    (0, 0, 128),    # 海军蓝    (255, 165, 0),  # 橙色    (255, 192, 203),# 粉色    (75, 0, 130),   # 靛蓝    (255, 20, 147), # 深粉色    (0, 191, 255),  # 深天蓝    (34, 139, 34)   # 森林绿]def generate_random_color():    return (np.random.randint(0, 255), np.random.randint(0, 255), np.random.randint(0, 255))#打开视频捕获设备（假设0为默认摄像头）
def main():    cap = cv2.VideoCapture(0)    if not cap.isOpened():        raise IOError("Cannot open webcam")        # 获取视频帧的宽度和高度
    frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))    frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))    #==========================================    # 定义视频编写器，设置输出文件名、编解码器、帧率和帧大小    #==========================================    fourcc = cv2.VideoWriter_fourcc(*'mp4v')    # 创建VideoWriter对象    fps = 30.0    out = cv2.VideoWriter('Path_to_your_stream_saving_folder/face_mesh_color_triangle3.mp4', fourcc, fps, (frame_width, frame_height))
    with mp_face_mesh.FaceMesh(        max_num_faces=1,        refine_landmarks=True,        min_detection_confidence=0.5,        min_tracking_confidence=0.5) as face_mesh:        while cap.isOpened():            ret, frame = cap.read()            if not ret:                break
            # 将图像从BGR格式转换为RGB格式            rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            # 处理图像            results = face_mesh.process(rgb_frame)
            # 如果只要显示‘面具’，就创建一个空的黑色图像            #blank_image = np.full(frame.shape, (255, 255, 200), dtype=np.uint8)  #np.zeros(frame.shape, dtype=np.uint8)
            # 检测并绘制face mesh            if results.multi_face_landmarks:                for face_landmarks in results.multi_face_landmarks:
                    # 初始化每个点的连接                    adjacency_list = {i: [] for i in range(len(face_landmarks.landmark))}
                    # 构建连接矩阵                    for connection in mp_face_mesh.FACEMESH_TESSELATION:                        start_idx, end_idx = connection                        adjacency_list[start_idx].append(end_idx)                        adjacency_list[end_idx].append(start_idx)
                    # 查找三角形并填充颜色                    visited = set()                    #for connection in mp_face_mesh.FACEMESH_TESSELATION:                    for idx, connection in enumerate(mp_face_mesh.FACEMESH_TESSELATION):                        start_idx, end_idx = connection                        if (start_idx, end_idx) in visited or (end_idx, start_idx) in visited:                            continue                        visited.add((start_idx, end_idx))
                        for adj in adjacency_list[start_idx]:                            if adj in adjacency_list[end_idx]:                                idx0, idx1, idx2 = start_idx, end_idx, adj
                                # 获取顶点坐标                                point0 = face_landmarks.landmark[idx0]                                point1 = face_landmarks.landmark[idx1]                                point2 = face_landmarks.landmark[idx2]
                                # 计算像素坐标                                x0, y0 = int(point0.x * frame.shape[1]), int(point0.y * frame.shape[0])                                x1, y1 = int(point1.x * frame.shape[1]), int(point1.y * frame.shape[0])                                x2, y2 = int(point2.x * frame.shape[1]), int(point2.y * frame.shape[0])
                                # 创建一个包含三角形顶点的数组                                triangle = np.array([[ [x0, y0], [x1, y1], [x2, y2] ]], dtype=np.int32)
                                # 生成随机颜色                                #color = generate_random_color()                                # 使用表内的颜色循环填充                                color = triangle_colors[idx % len(triangle_colors)]
                                # 绘制填充三角形                                cv2.fillConvexPoly(rgb_frame, triangle, color)                                break
                    # 再次绘制网格线，区分各个色块视觉                    mp_drawing.draw_landmarks(                        image=rgb_frame,    #blank_image,                        landmark_list=face_landmarks,                        connections=mp_face_mesh.FACEMESH_TESSELATION,                        landmark_drawing_spec=None,                        connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style())
            # 将处理后的帧写入视频文件            out.write(rgb_frame)
            # 显示处理后的图像            cv2.imshow('Face Mesh with Random Colors', rgb_frame)            if cv2.waitKey(1) & 0xFF == ord('q'):                break
    #释放资源    cap.release()    out.release()    cv2.destroyAllWindows()
if __name__=='__main__':    main()
"""其中函数mp_face_mesh.FaceMesh(        max_num_faces=1,        refine_landmarks=True,        min_detection_confidence=0.5,        min_tracking_confidence=0.5)的各个参数：
1.max_num_faces:
功能：用于指定检测的最大面部数量。默认值：1说明：此参数控制模型在图像中检测多少张面孔。如果您希望检测多张面孔，可以将此值设置为更大。
2.refine_landmarks:
功能：是否使用跟踪功能来细化面部关键点。默认值：False说明：启用该选项后，模型将提供更精细的面部关键点，特别是在眼睛和嘴巴周围。启用此选项可能会稍微增加计算负担，但会提高关键点的精度。
3.min_detection_confidence:
功能：用于设置检测的最小置信度阈值。默认值：0.5说明：此参数控制模型在图像中确定面部存在的置信度。如果置信度低于该值，面部将不会被检测到。提高此值可以减少误检，降低可能会增加遗漏的检测。
4.min_tracking_confidence:
功能：用于设置追踪的最小置信度阈值。默认值：0.5说明：此参数控制在视频流中跟踪面部关键点的置信度。如果置信度低于该值，关键点将不会被追踪。提高此值可以提高追踪的稳定性，但可能会在快速移动或关键点模糊时增加丢失追踪的可能。"""

手部检测（上下左右的手势检测）

如果我们留意现在有很多设备都带有手势控制，那通过下面的演示代码可以大致了解这些手势控制的数据是怎么获取的了。这里使用了solutions.hands 这个功能包处理视频/图像中的手的姿态。

由于工具包中的这个功能可以对应到手指以及每个关节位置坐标，小编用食指的指尖（INDEX_FINGER_TIP）和末关节（INDEX_FINGER_MCP）这两个点的相对位置以及构成的角度来生成上下左右和食指角度的输出。我们先看效果后看代码。

手势识别示例代码如下：

import cv2import mediapipe as mpimport math
import warnings# Suppress specific warningwarnings.filterwarnings("ignore", category=UserWarning, module='google.protobuf')
# 初始化MediaPipe手部模型mp_hands = mp.solutions.handshands = mp_hands.Hands(static_image_mode=False, max_num_hands=1, min_detection_confidence=0.5)mp_drawing = mp.solutions.drawing_utils
def initialize_camera():    """初始化摄像头。"""    cap = cv2.VideoCapture(0)  # 打开默认摄像头    if not cap.isOpened():        raise IOError("Cannot open webcam")    return cap
def calculate_angle(a, b):    """    计算两个点之间的逆时针角度, a为手指尖，b为手掌中心    :param a: 手指尖的点 (x, y)    :param b: 手掌中心的点 (x, y)    :return: 角度值    """    deltaY = -a[1] + b[1]   #显示屏的y轴方向和观察角度相反    deltaX = a[0] - b[0]    if abs(deltaX)< 40 and abs(deltaY)<40:        return 'Unknown'    angle = math.degrees(math.atan2(deltaY, deltaX))    return angle if angle >= 0 else angle + 360
def detect_finger_positions(landmarks, frame):    """    检测并标记手指指向和数量    :param landmarks: 手部关键点    :param frame: 视频帧    :return: 伸出的手指数和各手指的指向角度    """    h, w, _ = frame.shape    # 食指指尖    index_finger_tip = (int(landmarks[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * w),                        int(landmarks[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * h))    # 食指末关节    index_finger_mcp = (int(landmarks[mp_hands.HandLandmark.INDEX_FINGER_MCP].x * w),                        int(landmarks[mp_hands.HandLandmark.INDEX_FINGER_MCP].y * h))    # 获取食指的角度    angle = calculate_angle(index_finger_tip, index_finger_mcp)    direction = ''    if str(angle) == 'Unknown':        direction = 'Unknown'    else:        if angle >= 345 or angle <= 25:            direction = "Right"         elif angle >= 75 and angle <=105:            direction = "Upward"        elif angle >= 165 and angle <= 195:            direction = "Left"        elif angle >= 255 and angle <= 285:            direction = "Downward"        else:            direction = f"{int(angle)}"
    finger_tips = [4, 8, 12, 16, 20]  # 大拇指、食指、中指、无名指和小指指尖的索引
    # 标识指尖和方向    cv2.circle(frame, index_finger_tip, 5, (0, 255, 0), cv2.FILLED)    cv2.putText(frame, direction, (index_finger_tip[0] + 10, index_finger_tip[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 2, cv2.LINE_AA)
    return direction
def main():    cap = initialize_camera()
    # 获取视频帧的宽度和高度    frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))    frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))    # 定义视频编写器，设置输出文件名、编解码器、帧率和帧大小    out = cv2.VideoWriter('C:/py_TestCode/Py_codes/Hand_recog/output_hand_recog_2.avi', cv2.VideoWriter_fourcc('M', 'J', 'P', 'G'), 30, (frame_width, frame_height))
    while True:        ret, frame = cap.read()  # 读取摄像头帧
        if not ret:            break        # 水平翻转图像，获取镜像图，让图像的读取和观察方向一致        mirrored_frame = cv2.flip(frame, 1)          # 将BGR图像转换为RGB        rgb_frame = cv2.cvtColor(mirrored_frame, cv2.COLOR_BGR2RGB)
        # 处理图像并检测手部        result = hands.process(rgb_frame)
        # 如果检测到手掌        if result.multi_hand_landmarks:            for hand_landmarks in result.multi_hand_landmarks:                mp_drawing.draw_landmarks(mirrored_frame, hand_landmarks, mp_hands.HAND_CONNECTIONS)                direction = detect_finger_positions(hand_landmarks.landmark, mirrored_frame)
        # 将处理后的帧写入视频文件        out.write(mirrored_frame)
        cv2.imshow('Hand Gesture Recognition', mirrored_frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):  # 按 'q' 键退出            break
    cap.release()    out.release()    cv2.destroyAllWindows()
if __name__ == '__main__':    main()
"""留意：hands = mp_hands.Hands(static_image_mode=False, max_num_hands=1, min_detection_confidence=0.5)的配置其中max_num_hands是一次检测手的数量"""    

小编尝试并实现过在视频中通过检测手指的相对位置，让程序控制抓拍的功能。大家可以设想一下：如果已经知道了手掌的各个相对位置，如果是你，应该怎么实现这个手势控制抓拍？

人体综合检测

这里我们通过solutions.holistic提供一个把人体的脸部、手部，人体姿态等检测综合起来测试代码。先上效果再附代码。

import cv2import mediapipe as mp
# 初始化Mediapipe的Holistic解决方案mp_holistic = mp.solutions.holisticmp_drawing = mp.solutions.drawing_utils
# 打开视频捕获设备（假设0为默认摄像头）cap = cv2.VideoCapture(0)
# 使用Holisticwith mp_holistic.Holistic(        min_detection_confidence=0.5,        min_tracking_confidence=0.5) as holistic:    while cap.isOpened():        ret, frame = cap.read()        if not ret:            break
        # 将图像从BGR格式转换为RGB格式        rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        # 处理图像        results = holistic.process(rgb_frame)
        # 绘制人脸关键点        mp_drawing.draw_landmarks(            frame, results.face_landmarks, mp_holistic.FACEMESH_CONTOURS,            mp_drawing.DrawingSpec(color=(80, 110, 10), thickness=1, circle_radius=1),            mp_drawing.DrawingSpec(color=(80, 256, 121), thickness=1, circle_radius=1)        )
        # 绘制右手关键点        mp_drawing.draw_landmarks(            frame, results.right_hand_landmarks, mp_holistic.HAND_CONNECTIONS,            mp_drawing.DrawingSpec(color=(80, 22, 10), thickness=2, circle_radius=4),            mp_drawing.DrawingSpec(color=(80, 44, 121), thickness=2, circle_radius=2)        )
        # 绘制左手关键点        mp_drawing.draw_landmarks(            frame, results.left_hand_landmarks, mp_holistic.HAND_CONNECTIONS,            mp_drawing.DrawingSpec(color=(121, 22, 76), thickness=2, circle_radius=4),            mp_drawing.DrawingSpec(color=(121, 44, 250), thickness=2, circle_radius=2)        )
        # 绘制人体姿态关键点        mp_drawing.draw_landmarks(            frame, results.pose_landmarks, mp_holistic.POSE_CONNECTIONS,            mp_drawing.DrawingSpec(color=(245, 117, 66), thickness=2, circle_radius=4),            mp_drawing.DrawingSpec(color=(245, 66, 230), thickness=2, circle_radius=2)        )
        # 显示处理后的图像        cv2.imshow('Mediapipe Holistic', frame)        if cv2.waitKey(1) & 0xFF == ord('q'):            break
# 释放资源cap.release()cv2.destroyAllWindows()

自拍分割，背景更换

大家对当前很多视频中自拍背景的更换一定不陌生。

solutions.selfie_segmentation通过深度学习模型（例如使用U-Net架构的模型），对预处理后的图像进行前景和背景的预测，并生成分割掩码。对于人体检测，返回掩码的像素都有一个掩码（mask）值，数值范围是0~1.0，越接近1，掩码所在区域是一个人所在位置的置信率越高。 

# 创建一个三通道的前景掩码condition = np.stack((segmentation_mask,) * 3, axis=-1) > 0.6"""这行代码将单通道的分割掩码 segmentation_mask 复制为三通道，并维持与源图像相同的形状。np.stack((segmentation_mask,) * 3, axis=-1)：将 segmentation_mask 在新的最后一个轴上叠加三次，得到一个三通道的掩码。> 0.1：将其转换为布尔值，表示只选择掩码值大于0.1的区域。"""

演示代码——自拍的前后景分割：

import cv2import mediapipe as mpimport numpy as np
# 初始化MediaPipe的Selfie Segmentation模块mp_selfie_segmentation = mp.solutions.selfie_segmentation
# 创建Selfie Segmentation对象segmentation = mp_selfie_segmentation.SelfieSegmentation(model_selection=1)
# 打开视频捕获设备（假设0为默认摄像头）cap = cv2.VideoCapture(0)image1 = cv2.imread('Path_to_your_background_img/bkgd.jpg')new_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))new_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))bg_image = cv2.resize(image1,(new_width,new_height))
# 如果是自建一个背景，就用这个创建一个背景图像（用浅蓝色填充）#bg_image = np.zeros(frame.shape, dtype=np.uint8)#bg_image[:] = (255, 255, 200)  # 浅蓝色
while cap.isOpened():    ret, frame = cap.read()    if not ret:        break
    # 将图像从BGR格式转换为RGB格式    rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    # 使用Selfie Segmentation处理图像    results = segmentation.process(rgb_frame)
    # 获取分割掩码    segmentation_mask = results.segmentation_mask
    # 创建一个三通道的前景掩码    condition = np.stack((segmentation_mask,) * 3, axis=-1) > 0.6
    # 背景和前景分离    output_image = np.where(condition, frame, bg_image)
    # 显示处理后的图像    cv2.imshow('Selfie Segmentation', output_image)    if cv2.waitKey(1) & 0xFF == ord('q'):        break
# 释放资源cap.release()cv2.destroyAllWindows()

我们相信，科技赋能之下的未来，将因为每一个微小进步而更加绚丽多彩。传感器作为探测感知的一部分，也将依然是连接各个部分不可或缺的重要一环。在这条充满希望的道路上，安费诺始终与你同行，携手共创无限可能。