当前位置：首页 > news >正文

使用OpenCV 和Dlib 实现表情识别

news 来源：原创 2025/8/21 1:15:40

文章目录

引言
1.代码主要概述
2.代码解析
- 2.1 面部特征计算函数
- - (1) 嘴部宽高比(MAR)
  - (2) 嘴宽与脸颊宽比值(MJR)
  - (3) 眼睛纵横比(EAR)
  - (4) 眉毛弯曲比(EBR)
- 2.2 自定义函数显示中文
- 2.3 表情分类逻辑
- 2.4 实时视频处理
3.系统特点
4.总结

引言

面部表情是人类情感交流的重要方式，计算机视觉技术的发展使得机器能够自动识别和理解人类表情。本文将介绍一个基于dlib库和OpenCV实现的实时表情识别系统，该系统通过分析面部关键点来计算嘴部、眼睛和眉毛的特征，进而判断当前的表情状态（如大笑、微笑、愤怒、哭泣等）。

1.代码主要概述

该系统主要包含以下几个功能模块：

面部关键点检测
四种面部特征计算
表情分类逻辑
实时视频处理与结果显示

2.代码解析

2.1 面部特征计算函数

系统定义了四个核心函数来计算不同的面部特征：

(1) 嘴部宽高比(MAR)

def MAR(shape):  # 计算嘴的宽高比A = euclidean_distances(shape[50].reshape(1,2),shape[58].reshape(1,2))B = euclidean_distances(shape[51].reshape(1,2),shape[57].reshape(1,2))C = euclidean_distances(shape[52].reshape(1,2),shape[56].reshape(1,2))D = euclidean_distances(shape[48].reshape(1,2),shape[54].reshape(1,2))return ((A+B+C)/3)/D

这段代码定义了一个名为 MAR 的函数，用于计算嘴部的宽高比（Mouth Aspect Ratio）。这个比例通常用于面部特征分析，比如检测嘴巴是否张开等。下面是对代码的逐步解释：

假设 shape 是一个包含68个面部关键点的数组（这是dlib等面部检测库的常见输出），那么：

点48到54是嘴巴的外轮廓点。
点50、51、52是上嘴唇的点。
点56、57、58是下嘴唇的点。

计算高度（A、B、C）：
- A ：点50和点58之间的欧氏距离（上嘴唇中点到下嘴唇中点）。
- B ：点51和点57之间的欧氏距离（上嘴唇左侧点到下嘴唇左侧点）。
- C ：点52和点56之间的欧氏距离（上嘴唇右侧点到下嘴唇右侧点）。
- (A+B+C)/3 ：计算这三个高度的平均值。
计算宽度（D）：
- D ：点48和点54之间的欧氏距离（嘴巴左角到右角）。
宽高比：
- 最终的 MAR 是高度的平均值除以宽度：((A+B+C)/3)/D 。

细节部分

euclidean_distances 是计算两点之间欧氏距离的函数。
reshape(1,2) 是为了确保输入的坐标是二维的（将数据转换为 [[x, y]] ，以满足 euclidean_distances 的输入要求）。

返回值 ：

返回的是嘴的宽高比。这个值越小，表示嘴巴越闭合；越大，表示嘴巴越张开。

(2) 嘴宽与脸颊宽比值(MJR)

def MJR(shape): # 计算嘴宽度、脸颊宽度的比值M = euclidean_distances(shape[48].reshape(1,2),shape[54].reshape(1,2))  # 嘴宽度J = euclidean_distances(shape[3].reshape(1,2),shape[13].reshape(1,2))  # 下颌的宽度return M/J

这段代码定义了一个名为 MJR（Mouth-to-Jaw Ratio）的函数，用于计算嘴部宽度与下颌宽度的比值，这是面部表情分析中常用的一个特征指标。以下是对代码的详细解析：

函数功能

输入：shape（一个包含68个面部关键点坐标的数组，通常来自dlib库的检测结果）。
输出：嘴部宽度与下颌宽度的比值（浮点数），用于量化嘴部相对于面部宽度的张开程度。

关键点定位
代码使用了68点面部关键点模型中的特定点：

嘴宽（M）：
- shape[48]：嘴巴左外角
- shape[54]：嘴巴右外角
- 计算这两点之间的直线距离（欧氏距离），得到嘴的物理宽度。
下颌宽（J）：
- shape[3]：左下颌角（靠近耳朵下方）
- shape[13]：右下颌角
- 计算这两点距离，代表脸颊的大致宽度。

数学表达
在这里插入图片描述

比值意义：
- ≈0.3~0.4：自然闭合状态
- >0.45：微笑（嘴角横向拉伸）
- 接近0.5~0.6：大笑或惊讶（嘴部明显张开）
- >1：检测异常或极端表情（罕见）

代码细节

euclidean_distances：计算两点之间的欧式距离（直线距离）。
reshape(1,2)：将坐标从**[x,y]转换为[[x,y]]**格式，满足函数输入要求。

实际应用

微笑检测（如原代码中的判断逻辑）：

if mjr > 0.45:  # 阈值可调result = "微笑"

与其他指标配合：
结合MAR（嘴高比）、EAR（眼睛纵横比）等，可更准确识别复杂表情（如大笑、愤怒）。

示例计算
假设检测到：

嘴宽 M = 50像素
下颌宽 J = 120像素
则：
若阈值为0.45，判定为自然状态；
若微笑时嘴宽增至60像素，则MJR=0.5，触发微笑判断。

(3) 眼睛纵横比(EAR)

def EAR(shape):# 左眼A = euclidean_distances(shape[37].reshape(1, 2), shape[41].reshape(1, 2))B = euclidean_distances(shape[38].reshape(1, 2), shape[40].reshape(1, 2))C = euclidean_distances(shape[36].reshape(1, 2), shape[39].reshape(1, 2))ear_left = (A + B) / (2.0 * C)# 右眼A = euclidean_distances(shape[43].reshape(1, 2), shape[47].reshape(1, 2))B = euclidean_distances(shape[44].reshape(1, 2), shape[46].reshape(1, 2))C = euclidean_distances(shape[42].reshape(1, 2), shape[45].reshape(1, 2))ear_right = (A + B) / (2.0 * C)return (ear_left + ear_right) / 2.0

这段代码定义了一个名为 EAR的函数，用于计算眼睛纵横比（Eye Aspect Ratio, EAR），这是一种常用于检测眼睛是否闭合或疲劳的方法。下面是对代码的逐步解析：

shape 是一个包含68个面部关键点的数组（通常由 dlib 等面部检测库生成），其中：
- 左眼的点索引是 36-41。
- 右眼的点索引是 42-47。

左眼 EAR 计算

A = euclidean_distances(shape[37].reshape(1, 2), shape[41].reshape(1, 2))  # 37-41 的垂直距离
B = euclidean_distances(shape[38].reshape(1, 2), shape[40].reshape(1, 2))  # 38-40 的垂直距离
C = euclidean_distances(shape[36].reshape(1, 2), shape[39].reshape(1, 2))  # 36-39 的水平距离
ear_left = (A + B) / (2.0 * C)

A：计算左眼上眼皮（点37）和下眼皮（点41）之间的垂直距离。
B：计算左眼上眼皮（点38）和下眼皮（点40）之间的垂直距离。
C：计算左眼外眼角（点36）和内眼角（点39）之间的水平距离。
ear_left：计算左眼的纵横比，公式为：

右眼 EAR 计算

A = euclidean_distances(shape[43].reshape(1, 2), shape[47].reshape(1, 2))  # 43-47 的垂直距离
B = euclidean_distances(shape[44].reshape(1, 2), shape[46].reshape(1, 2))  # 44-46 的垂直距离
C = euclidean_distances(shape[42].reshape(1, 2), shape[45].reshape(1, 2))  # 42-45 的水平距离
ear_right = (A + B) / (2.0 * C)

同理，计算右眼的纵横比：

最终 EAR

return (ear_left + ear_right) / 2.0

返回左右眼 EAR 的平均值，使结果更稳定。

EAR 的意义

EAR ≈ 0.3（或更高）：眼睛睁开。
EAR ≈ 0.2 或更低：眼睛闭合（或半闭）。
连续几帧 EAR < 阈值：可能表示疲劳、眨眼或打瞌睡。

关键点图示

左眼关键点（36-41）：
36 —— 37 —— 38
|       |       |
39 —— 40 —— 41右眼关键点（42-47）：
42 —— 43 —— 44
|       |       |
45 —— 46 —— 47

垂直距离（A、B）：37-41、38-40（左眼）；43-47、44-46（右眼）。
水平距离（C）：36-39（左眼）；42-45（右眼）。

总结
这段代码通过计算眼睛关键点的垂直和水平距离比，量化眼睛的睁开程度，适用于实时面部行为分析。

(4) 眉毛弯曲比(EBR)

def EBR(shape):  # 计算眉毛的弯曲程度# 左眉弯曲度left_eyebrow = shape[17:22]left_eyebrow_hull = cv2.convexHull(left_eyebrow)left_eyebrow_length = euclidean_distances(left_eyebrow[0].reshape(1, 2), left_eyebrow[-1].reshape(1, 2))left_eyebrow_height = cv2.contourArea(left_eyebrow_hull) / left_eyebrow_length# 右眉弯曲度right_eyebrow = shape[22:27]right_eyebrow_hull = cv2.convexHull(right_eyebrow)right_eyebrow_length = euclidean_distances(right_eyebrow[0].reshape(1, 2), right_eyebrow[-1].reshape(1, 2))right_eyebrow_height = cv2.contourArea(right_eyebrow_hull) / right_eyebrow_lengthreturn (left_eyebrow_height + right_eyebrow_height) / 2.0

这段代码定义了一个名为 EBR（Eyebrow Bend Ratio，眉毛弯曲比）的函数，用于计算眉毛的弯曲程度，通常用于检测愤怒、皱眉或惊讶等面部表情。下面是对代码的逐步解析：

shape 是一个包含68个面部关键点的数组（通常由 dlib 等面部检测库生成），其中：
- 左眉的点索引是 17-21（代码中 shape[17:22] 表示 17-21）
- 右眉的点索引是 22-26（代码中 shape[22:27] 表示 22-26）

左眉弯曲度计算

left_eyebrow = shape[17:22]  # 提取左眉5个关键点
left_eyebrow_hull = cv2.convexHull(left_eyebrow)  # 计算凸包（包围眉毛的最小凸多边形）
left_eyebrow_length = euclidean_distances(left_eyebrow[0].reshape(1, 2), left_eyebrow[-1].reshape(1, 2))  # 眉毛长度（首尾点距离）
left_eyebrow_height = cv2.contourArea(left_eyebrow_hull) / left_eyebrow_length  # 弯曲高度 = 凸包面积 / 眉毛长度

提取左眉关键点：shape[17:22] 获取左眉的5个点（17-21）。
计算凸包：cv2.convexHull 返回包围眉毛的最小凸多边形（用于近似眉毛形状）。
眉毛长度：计算左眉起点（点17）和终点（点21）之间的欧氏距离。
弯曲高度：
- cv2.contourArea 计算凸包的面积（反映眉毛的“隆起程度”）。
- 公式：弯曲高度 = 凸包面积 / 眉毛长度
  （值越大，眉毛越弯曲，可能表示愤怒或皱眉）。

右眉弯曲度计算

right_eyebrow = shape[22:27]  # 提取右眉5个关键点
right_eyebrow_hull = cv2.convexHull(right_eyebrow)  # 计算凸包
right_eyebrow_length = euclidean_distances(right_eyebrow[0].reshape(1, 2), right_eyebrow[-1].reshape(1, 2))  # 眉毛长度
right_eyebrow_height = cv2.contourArea(right_eyebrow_hull) / right_eyebrow_length  # 弯曲高度

右眉的计算逻辑与左眉完全相同（点22-26）。

最终 EBR

return (left_eyebrow_height + right_eyebrow_height) / 2.0

返回左右眉弯曲高度的平均值，使结果更稳定。

EBR 的意义

EBR 值高：眉毛弯曲明显（可能表示愤怒、惊讶或集中注意力）。
EBR 值低：眉毛平直（自然状态）。

关键点图示

左眉关键点（17-21）：
17 —— 18 —— 19 —— 20 —— 21右眉关键点（22-26）：
22 —— 23 —— 24 —— 25 —— 26

眉毛长度：17到21（左眉）、22到26（右眉）的直线距离。
凸包面积：反映眉毛的弯曲程度（面积越大，弯曲越明显）。

2.2 自定义函数显示中文

def cv2AddChineseText(img,text,position,textColor=(0,255,0),textSize=30):"""向图片中添加中文"""if (isinstance(img,np.ndarray)):   # 判断是否OpenCV图片类型img = Image.fromarray(cv2.cvtColor(img,cv2.COLOR_BGR2RGB))  # 实现array到image的转换draw = ImageDraw.Draw(img) # 在img图片上创建一个绘图的对象# 字体的格式fontStyle = ImageFont.truetype("simsun.ttc",textSize,encoding="utf-8")draw.text(position,text,textColor,font=fontStyle) # 绘制文本return cv2.cvtColor(np.asarray(img),cv2.COLOR_BGR2RGB) # 转换回OpenCV格式

2.3 表情分类逻辑

系统使用简单的阈值判断来分类表情：

result = "正常"  # 默认表情# 大笑检测：嘴部高度比较高
if mar > 0.5:result = "大笑"
# 微笑检测：嘴部高度比较宽但高度不高
elif mjr > 0.45:result = "微笑"
# 愤怒检测: 眉毛弯曲度高且眼睛稍微闭合
elif ebr > 0.08 and ear < 0.25:result = "愤怒"
# 哭检测: 嘴部较宽但不高，眼睛闭合或半闭合
elif mar < 0.3 and mjr > 0.4 and ear < 0.2:result = "哭泣"

2.4 实时视频处理

系统通过OpenCV捕获摄像头视频流，并对每一帧进行处理：

cap = cv2.VideoCapture(0)
while True:ret, frame = cap.read()faces = detector(frame, 0)  # 检测人脸for face in faces:shape = predictor(frame, face)  # 获取关键点shape = np.array([[p.x, p.y] for p in shape.parts()])  # 转换为坐标# 计算各种特征mar = MAR(shape)mjr = MJR(shape)ebr = EBR(shape)ear = EAR(shape)result = "正常"    # 默认是正常表情# 大笑检测：嘴部高度比较高if mar > 0.5:    # 可更具项目要求调整阈值result = "大笑"# 微笑检测：嘴部高度比较宽但高度不高elif mjr > 0.45:    #超过阈值为微笑result = "微笑"# 愤怒检测: 眉毛弯曲度高且眼睛稍微闭合elif ebr > 0.08 and ear < 0.25:result = "愤怒"# 哭检测: 嘴部较宽但不高(嘴角下拉), 眼睛闭合或半闭合elif mar < 0.3 and mjr > 0.4 and ear < 0.2:result = "哭泣"# 绘制嘴部轮廓mouthHull = cv2.convexHull(shape[48:61])   # 嘴型构造凸包# 绘制眉毛轮廓leftEyebrowHull = cv2.convexHull(shape[17:22])rightEyebrowHull = cv2.convexHull(shape[22:27])frame = cv2AddChineseText(frame,result,mouthHull[0,0]) #多人脸cv2.drawContours(frame,[mouthHull],-1,(0,255,0),1)cv2.drawContours(frame,[leftEyebrowHull],-1,(0,255,0),1)cv2.drawContours(frame,[rightEyebrowHull],-1,(0,255,0),1)cv2.imshow("表情识别",frame)if cv2.waitKey(1) == 27:break
cv2.destroyAllWindows()
cap.release()    # 增加几项表情的检测能力，哭、愤怒

3.系统特点

实时性：能够实时处理摄像头视频流
多表情识别：可识别大笑、微笑、愤怒、哭泣等多种表情
可视化反馈：在视频画面上直观显示识别结果和面部轮廓
中文支持：使用自定义函数实现中文文本显示

4.总结

本文介绍了一个基于面部关键点的实时表情识别系统，该系统通过计算嘴部、眼睛和眉毛的特征参数，使用简单的阈值判断实现了基本表情分类。虽然相对简单，但展示了计算机视觉在情感识别领域的典型应用方法。读者可以在此基础上进一步扩展和完善，开发出更强大的表情识别应用。

完整代码已在上文给出，建议读者实际运行体验，并根据需要调整阈值参数以获得更好的识别效果。

因为有目标，所以一切皆有可能。竭尽全力，才能知道自己有多出色。加油各位！ 🚀🚀🚀