当前位置：首页 > news >正文

基于mediapipe的手势游戏控制

news 来源：原创 2025/6/8 12:11:30

基于mediapipe的手势游戏控制

玩游戏，那不是有手就行!!!

mediapipe介绍

Mediapipe是Google在2019年开发并提出的一款开源的跨平台多媒体处理框架，用于构建基于机器学习的应用程序，特别是涉及到计算机视觉、音频处理、姿势估计等领域。Mediapipe实际上是一个集成的机器学习视觉算法的工具库(包含人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型)，该库提供了一系列预训练模型和工具，可以帮助开发者快速构建和部署计算机视觉和音频处理应用。它提供了一套易于使用的API，可以用于实时姿势估计、手势识别、面部识别、目标跟踪等任务。

手势捕捉

项目地址： https://github.com/google/mediapipe

pip安装mediapipe、opencv：

pip install mediapipe
pip install opencv-python

在文件中引入依赖

import cv2
import mediapipe as mp

通过cv2打开摄像头获取影像,电脑默认的输入是0，如果有其他输入通过更改序号来切换输入设备。

cap = cv2.VideoCapture(0)

初始化手势捕捉需要用到的对象

mpHands = mp.solutions.hands
hands = mpHands.Hands()
# 用于将识别到的点坐标绘制到输入的图片上
mpDraw = mp.solutions.drawing_utils

写一个死循环，频繁监听摄像头输入并对手势进行绘制

while True:ret, img = cap.read()if ret:# cv2默认获取的图片是BGR的颜色通道，需要将其转换为RGBimgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)# 对图像进行识别result = hands.process(imgRGB)if result.multi_hand_landmarks:# 遍历出现的手，这边仅用一只手进行操控，所以这边应该只有一个for handLms in result.multi_hand_landmarks:# 将识别到的手势坐标点绘制到获取的图像上 mpHands.HAND_CONNECTIONS是将所有坐标点连接起来mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)# 将操作后的图像显示在屏幕上cv2.imshow('img', img)

最终的效果如下

请添加图片描述

返回的结果每个点都有固定的序号，我们将序号也固定在图像上，方便我们观察每个序号处于什么节点。

先获取原始图像的高和宽

imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
imgHeight = img.shape[0]
imgWidth = img.shape[1]

在绘制手部坐标后，对坐标点进行遍历,得到每个点的坐标。

for i, lm in enumerate(handLms.landmark):xPos = int(lm.x * imgWidth)yPos = int(lm.y * imgHeight)cv2.putText(img, str(i), (xPos - 25, yPos + 5), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (0, 0, 255), 2)

绘制出来如图所示:

请添加图片描述

可以看到他是从手根部开始计数，按照拇指、食指、中指…的顺序进行排列，这样我们可以知道如果我们想要获取到某个位置的坐标应该用那个序号进行获取。

手势控制

上面我们获取到了每个节点的坐标，实际上我们只需要以一个点为参照就可以知道手是在向什么方向移动，因为在手势不变的情况下每个点的相对位置是基本一致的，所以我们只需要分析某个点的坐标移动，就可以得出手部的移动趋势。

例如我们固定以拇指的顶部，也就是图中的4号节点作为参照点分析，记录上一次的X轴坐标，然后每次移动跟上一次做比较如果大于上一次则向右移动了，小于上次则向左移动了。

分析完手的移动意图后我们就可以使用pynput模拟键盘输入了。这边仅提供一个思路，具体的轨迹分析移动距离是一个大工程，简单代码实际得出来的操控体验不佳。

pip install pynput

from pynput.keyboard import Controller
import time
# 模拟按下键盘的D键
keyboard = Controller()keyboard.press('d')time.sleep(0.2)keyboard.release('d')

避免频繁输入，控制一个移动阈值，当移动的距离小于阈值时不进行按键输入。

最终效果如下,实际体验烂得一匹，动画中手部视频延迟于游戏是因为每次按键输入都有延迟，然后才会把手部图像输出到屏幕上，所以看上去手还没动，车把手就动了，现实其实还是蛮跟手的，但是没有什么用，就是图一乐。

请添加图片描述

结语

扩展一下，当我们握拳时，手指顶部的坐标和手掌根部的坐标相对距离会缩短，那我们也可以根据这个特性使用握拳以及张开程度来控制油门。再扩展一下，可以训练一个检测姿态的模型，检测人在骑着某个东西的时候身体的倾斜，同时输入到游戏中，是不是更有代入感一些。想要实现这些并且有一个还不错的游戏体验，需要大量时间进行调试，时间成本以及知识库都是一个大考验。

基于mediapipe的手势游戏控制

基于mediapipe的手势游戏控制玩游戏，那不是有手就行!!! mediapipe介绍 Mediapipe是Google在2019年开发并提出的一款开源的跨平台多媒体处理框架，用于构建基于机器学习的应用程序，特别是涉及到计算机视觉、音频处理、姿势估计等领域。…...

编程日记 2025/6/3 2:25:44

K8S 节点选择器

今天我们来实验 pod 调度的 nodeName 与 nodeSelector。官网描述如下： 假设有如下三个节点的 K8S 集群： k8s31master 是控制节点 k8s31node1、k8s31node2 是工作节点容器运行时是 containerd 一、镜像准备 1.1、镜像拉取 docker pull tomcat:8.5-jre8…...

编程日记 2025/6/3 7:00:52

IEC103 转 ModbusTCP 网关

一、产品概述 IEC103 转 ModbusTCP 网关型号 SG-TCP-IEC103 ，是三格电子推出的工业级网关（以下简称网关），主要用于 IEC103 数据采集、 DLT645-1997/2007 数据采集， IEC103 支持遥测和遥信，可接…...

编程日记 2025/6/1 20:55:40

docker swarm 部署问题和指定节点部署服务

问题原因： docker swarm 部署遇到的问题， 先前docker compose部署，分别创建了 cloud 网络； 昨进行swarm 集群部署；只是删了57 机器cloud 网络；在创建swarm集群后创建cloud 58机器没有删除先前的cloud 网络…...

编程日记 2025/6/2 17:34:07

09.VSCODE：安装 Git for Windows

在 Windows 下安装著名的源代码管理工具：git。 git 工具两大作用： 管理我们自己的源代码获取他人（开源的）源代码当前我们更需要第2点。为什么要安装 git 一、得到更多库之前课程中我们安装了 msys2，从而可以通…...

编程日记 2025/5/31 4:39:23

基于R计算皮尔逊相关系数

# 基于R计算皮尔逊相关系数 # 函数基本基本函数 cor.test ## 两组数据读入 xread.csv("1.csv",header T) yread.csv("2.csv",header T) ## 计算 cor.test(1,2,method"pearson") 结果 Pearsons product-moment correlationdata: 1 and 2…...

编程日记 2025/6/3 3:58:43

vue 纯前端导出 Excel

方法一： 1、安装"file-saver" npm i -S file-saver xlsx 2、引入在需要导出功能的 .vue 文件中引入 import FileSaver from "file-saver"; import XLSX from "xlsx"; 3、简单示例（复制即可食用）&#x…...

编程日记 2025/5/31 8:29:16

APISQL在线一键安装教程

本文档将指导您在 Linux 服务器上使用 Docker 安装 APISQL 软件。提供了两种安装方式：在线安装和离线安装，您可以根据实际环境选择合适的安装方式。 1. 准备工作 1.1 硬件要求 Linux (x86_64) 服务器 1.2 软件要求 Docker Engine 推荐版本&#xff…...

编程日记 2025/6/3 4:15:33

数据结构《MapSet哈希表》

文章目录一、搜索树1.1 定义1.2 模拟实现搜索二、Map2.1 定义2.2 Map.Entry2.3 TreeMap的使用2.4 Map的常用方法三、Set3.1 定义3.2 TreeSet的使用3.3 Set的常用方法四、哈希表4.1 哈希表的概念4.2 冲突4.2.1 冲突的概念4.2.2 冲突的避免1. 选择合适的哈希函数2. 负载因子调…...

编程日记 2025/6/4 5:04:54

【PCL】sample_consensus 模块—— Random Sample Consensus model（随机样本一致性模型，RANSAC）

1、随机样本一致性模型（RANSAC）简介在本教程中，我们将学习如何使用带有平面模型的随机样本一致性（RANSAC）来获取适合该模型的点云。 1.1理论背景 RANSAC 是“随机样本一致性”（RANdom SAmple Consensus…...

编程日记 2025/6/4 4:23:04

【MATLAB代码】CV和CA模型组成的IMM（滤波方式为UKF），可复制粘贴源代码

该代码实现了一维无迹卡尔曼滤波器（UKF）与交互式多模型（IMM）结合的状态估计。代码分为多个部分，主要功能包括参数定义、观测数据生成、状态估计、模型更新以及结果可视化。文章目录运行结果程序代码主要功能代码结构应用场景注意事项运行结果程序代码下方源代码直接粘…...

编程日记 2025/6/4 4:22:32

docker-compose部署kafka 3.3.1 kraft

一、服务器： 节点1:10.1.1.165 节点2:10.1.1.164 节点3:10.1.1.169二、添加环境地址解析 vim /etc/hosts kafka1 10.1.1.165 kafka2 10.1.1.164 kafka3 10.1.1.169三、节点配置节点1 version: "3" services:kafka1:image: bitnami/kafka:3.3.1contain…...

编程日记 2025/6/1 15:03:03

Linux 串口检查状态的实用方法

在 Linux 系统中，串口通信是非常常见的操作，尤其在嵌入式系统、工业设备以及其他需要串行通信的场景中。为了确保串口设备的正常工作，检查串口的连接状态和配置信息是非常重要的。本篇文章将介绍如何在 Linux 上检查串口的连接状态&#xff0…...

编程日记 2025/6/4 4:22:00

使用FRP进行内网穿透

一、基本概念内网穿透：它是一种网络技术或方法，旨在允许外部网络（如互联网）访问位于内部网络（内网）中的设备或服务。由于内部网络通常处于NAT（网络地址转换）、防火墙或其他安全机制…...

编程日记 2025/6/3 6:42:33

Ubuntu打开文件夹不显示文件

1.情况介绍使用ubuntu打开文件夹不显示文件夹里面的内容，而是直接打开了资源查看器。 2.解决办法命令行安装nautilus sudo apt-get install nautilus...

编程日记 2025/6/4 4:22:48

HarmonyOS NEXT应用开发边学边玩系列：从零实现一影视APP (三、影视搜索页功能实现)

在HarmonyOS NEXT开发环境中，可以使用nutpi/axios库来简化网络请求的操作。本文将展示如何使用HarmonyOS NEXT框架和nutpi/axios库，从零开始实现一个简单的影视APP，主要关注影视搜索页的功能实现。为什么选择nutpi/axios？ nutpi…...

编程日记 2025/6/4 4:22:16

探秘 JMeter 前置处理器：让性能测试如虎添翼

想象一下，你是一位超级英雄，要对一个庞大的虚拟城市（Web 应用）进行全面的 “健康检查”。JMeter 就是你的神奇工具包，而其中的前置处理器，就像是这个工具包里的各种超级武器，能帮助你轻松应对各…...

编程日记 2025/6/3 22:15:06

如何在gitlab cicd中实现每月10号上午执行

在 GitLab CI/CD 中，可以通过设置定时触发器（Schedules）和脚本中的时间判断逻辑结合，确保任务只在每月 10 号的上午运行。以下是实现的步骤： 1. 设置定时触发器 GitLab 提供了 Schedules 功能，可以指定每…...

编程日记 2025/5/30 10:32:21

深度学习基础知识

深度学习是人工智能（AI）和机器学习（ML）领域的一个重要分支，以下是对深度学习基础知识的归纳： 一、定义与原理定义：深度学习是一种使计算机能够从经验中学习并以概念层次结构的方式理解世界的机…...

编程日记 2025/6/2 9:39:00

面试加分项：Android Framework AMS 全面概述和知识要点

第一章：AMS 的架构与组件 1.1 AMS 整体架构在 Android 系统的庞大体系中，AMS（Activity Manager Service）就如同一个中枢神经系统，是整个系统的核心服务之一，对应用的性能和用户体验有着直接且关键的影响。它的整体架构由 Client 端和 Service 端两大部分组成，这两端相…...

编程日记 2025/6/2 23:27:57

网安——CSS

一、CSS基础概念 CSS有两个重要的概念，分为样式和布局 CSS的样式分为两种，一种是文字的样式，一种是盒模型的样式 CSS的另一个重要的特质就是辅助页面布局，完成HTML不能完成的功能，比如并排显示或精确定位显示从HT…...

编程日记 2025/6/1 18:24:46

知识图谱常见的主流图数据库

在知识图谱中，主流使用的图数据库包括以下几种： Neo4j：这是目前全球部署最广泛的图数据库之一，具有强大的查询性能和灵活的数据模型，适用于复杂关系数据的存储和查询。 JanusGraph：JanusGraph是一个开源的…...

编程日记 2025/6/2 23:27:24

阀井可燃气体监测仪，开启地下管网安全新篇章-旭华智能

在城市的脉络中，地下管网犹如隐秘的动脉，支撑着现代生活的运转。而在这庞大网络的关键节点上，阀井扮演着不可或缺的角色。然而，由于其密闭性和复杂性，阀井内部一旦发生可燃气体泄漏，将对公共安全构成严重威…...

编程日记 2025/6/4 6:13:13

【6】Word：海名公司文秘❗

目录题目 List.docx Word.docx List.docx和Word.docx 题目 List.docx 选中1/4全角空格复制→选中全部文本→开始→替换：粘贴将1/4全角空格替换成空格选中全部文本→插入→表格→将文本转化成表格→勾选和布局→自动调整→勾选选中第一列，单机右键…...

编程日记 2025/6/2 22:50:16

微信原生小程序自定义封装组件（以导航navbar为例）

封装 topnav.js const App getApp(); Component({// 组件的属性列表properties: {pageName: String, //中间的titleshowNav: { //判断是否显示左上角的按钮 type: Boolean,value: true},showHome: { //判断是否显示左上角的home按钮type: Boolean,value: true},showLocat…...

编程日记 2025/5/18 10:20:19

＜OS 有关＞Ubuntu 24 安装 openssh-server, tailscale+ssh 慢增加

更新日志： Created on 14Jan.2025 by Dave , added openssh-server, tailescape Updated on 15Jan.2025, added "tailescape - tailscape ssh" 前期准备： 1. 更新可用软件包的数据库 2. 升级系统中所有已安装的软件包到最新版本 3. 安装 cur…...

编程日记 2025/6/2 23:26:49

HQL（JPQL）和原生SQL实现查询自定义返回类

维修申请实例RepairApplyInstance： package com.byx.scaffold.common.entity.jpa;import com.byx.scaffold.common.entity.jpaEnum.RepairStatusConstant; import lombok.Data;import javax.persistence.Convert; import javax.persistence.Entity; import javax.persistence…...

编程日记 2025/6/4 3:37:48

基于mediapipe的手势游戏控制

mediapipe介绍

手势捕捉

手势控制

结语

相关文章：