CN112363626B - 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 - Google Patents

基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 Download PDF

Info

Publication number
CN112363626B
CN112363626B CN202011346043.7A CN202011346043A CN112363626B CN 112363626 B CN112363626 B CN 112363626B CN 202011346043 A CN202011346043 A CN 202011346043A CN 112363626 B CN112363626 B CN 112363626B
Authority
CN
China
Prior art keywords
large screen
operator
human body
camera
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011346043.7A
Other languages
English (en)
Other versions
CN112363626A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Meishi Technology Co ltd
Original Assignee
Guangdong Meishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Meishi Technology Co ltd filed Critical Guangdong Meishi Technology Co ltd
Priority to CN202011346043.7A priority Critical patent/CN112363626B/zh
Publication of CN112363626A publication Critical patent/CN112363626A/zh
Application granted granted Critical
Publication of CN112363626B publication Critical patent/CN112363626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，通过摄像头拍摄操作人员，识别摄像头视场中操作人员的人体关节点，并识别摄像头视场中操作人员的人体姿态和手势姿态，计算出操作人员眼睛距离地面的高度、身高、上臂臂长、手部距离地面的高度等数据，并根据该数据确定操作人员的眼睛通过手部观看到大屏幕上的坐标位置，大屏幕控制器根据大屏幕上的坐标位置和大屏幕的布局信息，依据操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息。使用该方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。

Description

基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法
技术领域
本发明涉及电子信息技术领域，具体而言，涉及一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法。
背景技术
随着全领域智能化建设步伐的加快，由多个显示屏幕拼接而成的大屏幕坐席***已广泛应用于军队、公安、武警、司法、海关、电力、灾防等诸多领域，坐席***为各领域的指挥、控制、调度中心以及政府、企事业单位、酒店的会议室集群，为智慧安防、智慧城市、智慧交通、智慧检务、智慧教育、智慧医疗等提供可视化的综合解决方案。
现有的坐席***，在大屏幕前面都设有固定的操作平台，用于操作人员向受众展示各种信息，如触摸操作台，键盘鼠标操作台等。
现有的坐席***，操作人员在固定的操作平台前不能随意走动，与受众互动交流效果差，且触摸、鼠标键盘等长时间操作容易疲劳，这对操作人员来说，带来诸多等不便。
本发明的目的在于提供一种操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，该方法操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。
发明内容
本发明提出了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，以解决以上问题。
本发明实施例通过以下技术方案来实现上述目的。
本发明实施例提供了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，该方法包括以下步骤。
S1、将摄像头以俯视角度的方式固定安装在大屏幕中心上方，然后对所述摄像头进行图像校正，以达到所述摄像头垂直拍摄摄像头视场，并向大屏幕存储器输入所述摄像头视场第一行信号距离所述大屏幕底端的距离X1、摄像头视场最后一行信号距离所述大屏幕底端的距离X2及所述摄像头距离地面的高度H1。
S2、所述摄像头拍摄操作人员，识别所述摄像头视场中所述操作人员的人体关节点，并识别所述摄像头视场中所述操作人员的人体姿态和手势姿态。
S3、计算出所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4。
S4、根据所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4的数据，确定所述操作人员的眼睛通过所述手部观看到所述大屏幕上的坐标位置Kx、Ky。
S5、将所述大屏幕上的坐标位置Kx、Ky发送给大屏幕控制器，所述大屏幕控制器根据所述大屏幕上的坐标位置Kx、Ky和大屏幕的布局信息，依据所述操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息，实现所述操作人员与所述大屏幕直接进行交互。
在一些实施例中，所述S2的具体步骤为。
S21、当有操作人员进入所述摄像头视场时，所述摄像头拍摄所述操作人员，并识别所述摄像头视场中的所述操作人员的人体关节点，并判断所述大屏幕存储器中是否存在预先存储的启动所述大屏幕操作的人体姿态。
S22、识别出启动所述大屏幕操作的所述人体姿态后，根据所述人体关节点推算出所述操作人员的身体及手部在所述摄像头视场中的区域，并将手部在所述摄像头视场中的区域截图进行人手目标检测判断所述手部在所述摄像头视场中的准确位置，且进一步识别手势姿态。
S23、如所述人体姿态和所述手势姿态的组合为所述大屏幕启动操作信号，则截取所述操作人员人脸在所述摄像头视场位置的截图，进行人脸识别，记录为第一人脸特征值。
S24、所述摄像头向大屏幕控制器发送所述大屏幕启动操作信号，且所述大屏幕控制器记录接收到所述大屏幕启动操作信号时，依据所述身体姿态确定的所述操作人员的上臂长度与身高的比例值P。
在一些实施例中，所述摄像头持续进行人脸识别，记录为第二人脸特征值，如所述第一人脸特征值与所述第二人脸特征值相同，则后续只检测所述第一人脸特征值对应的所述操作人员的所述身体关节点上的所述人体姿态和所述手势姿态；如所述第一人脸特征值与所述第二人脸特征值不同，且超过5秒，则重新进入S22步骤。
在一些实施例中，持续识别所述操作人员人体姿态和手势姿态，并判断所述大屏幕存储器中是否存在预先存储的启动大屏幕操作的人体姿态，如有，则发送控制信号给所述大屏幕控制器，向所述大屏幕发出信号交换指令。
在一些实施例中，当有其他操作人员执行S2步骤时，则切换操作人员；如所述大屏幕长时间无控制动作，则退出。
其中，操作人员身高H3=(（X1+(X2-X1)/hy*Nh）-（X1+(X2-X1)/hy*Nf）)/（X1+(X2-X1)/hy*Nh）*H1，其中hx为摄像头输出图像的横向分辨率、hy为摄像头输出图像的纵向分辨率、Nf为操作人员的脚在所述摄像头视场中的行数、Nh为操作人员的头顶在所述摄像头视场中的行数。
其中，操作人员上臂臂长L=P*H3。
其中，Kx的坐标值为：Kx =(Q1*Q3/Q2)*（L/（X1+(X2-X1)/hy*Nf）），其中，Q1为从操作人员两眼中点到手或者手指尖的像素数、Q2为摄像头总像素数、Q3为摄像头视场的长度。
其中，所述Ky的坐标值为：
Figure 100002_DEST_PATH_IMAGE001
。
相较于现有技术，本发明提供的一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，该方法操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法流程图。
图2是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法中大屏幕交互控制示意图。
图3是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法中操作人员身高（H3）算法示意图。
图4是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法中坐标位置Kx、Ky算法示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法流程图，该包括以下步骤。
S1、将摄像头以俯视角度的方式固定安装在大屏幕中心上方，然后对所述摄像头进行图像校正，以达到所述摄像头垂直拍摄摄像头视场，并向大屏幕存储器输入所述摄像头视场第一行信号距离所述大屏幕底端的距离X1、摄像头视场最后一行信号距离所述大屏幕底端的距离X2及所述摄像头距离地面的高度H1。
因摄像头处于俯视角度状态，存在所述摄像头视场内的梯形变形，因此需要先将摄像头图像进行校正（具体为在安装时根据地面的方框进行调整），以达到所述摄像头垂直拍摄摄像头视场，不存在画面失真时的画面比例。此时可认为，所述摄像头视场内的物体（操作人员）长度和所述摄像头输出视频的图像像素数存在线性关系。
S2、所述摄像头拍摄操作人员，识别所述摄像头视场中所述操作人员的人体关节点，并识别所述摄像头视场中所述操作人员的人体姿态和手势姿态。
在本实施例中，所述人体姿态有举起左手、举起右手等。
在本实施例中，所述手势姿态有五指张开、握拳、握拳伸出食指、手指V字形等。
S3、计算出所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4。
S4、根据所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4的数据，确定所述操作人员的眼睛通过所述手部观看到所述大屏幕上的坐标位置Kx、Ky。
S5、将所述大屏幕上的坐标位置Kx、Ky发送给大屏幕控制器，所述大屏幕控制器根据所述大屏幕上的坐标位置Kx、Ky和大屏幕的布局信息，依据所述操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息，实现所述操作人员与所述大屏幕直接进行交互。
本实施例中，如指向的大屏幕画块存在微小的距离差异，操作者可微调手部的位置达到指向准确。指向精确的大屏幕画块后，根据手移动，实现所述操作人员与所述大屏幕直接进行交互。
如图2所示，由于大屏幕是由多个小屏幕拼接而成，在本实施例中，所述大屏幕的布局信息可理解为大屏幕的布局形式，如大屏幕由6块小屏幕拼接而成，其布局为2行，每行3块（可称为2*3布局）；又如大屏幕由9块小屏幕拼接而成，其布局为3行，每行3块（可称为3*3布局）等。大屏幕画块是指其中一个或者多个小屏幕。
在本实施例中，所述反馈信息有加有色框、加闪烁点等。例如根据大屏幕上的坐标位置，依据人体姿态和手势姿态对大屏幕中第一行第一列的小屏幕进行加有色框。
此外，对所述画块还可进行移动、放大缩小、或者画块清除等操作。
本实施例中，所述S2的具体步骤为。
S21、当有操作人员进入所述摄像头视场时，所述摄像头拍摄所述操作人员，并识别所述摄像头视场中的所述操作人员的人体关节点，并判断所述大屏幕存储器中是否存在预先存储的启动所述大屏幕操作的人体姿态。
S22、识别出启动所述大屏幕操作的所述人体姿态后，根据所述人体关节点推算出所述操作人员的身体及手部在所述摄像头视场中的区域，并将手部在所述摄像头视场中的区域截图进行人手目标检测判断所述手部在所述摄像头视场中的准确位置，且进一步识别手势姿态。
S23、如所述人体姿态和所述手势姿态的组合为所述大屏幕启动操作信号，则截取所述操作人员人脸在所述摄像头视场位置的截图，进行人脸识别，记录为第一人脸特征值。
S24、所述摄像头向大屏幕控制器发送所述大屏幕启动操作信号，且所述大屏幕控制器记录接收到所述大屏幕启动操作信号时，依据所述身体姿态确定的所述操作人员的上臂长度与身高的比例值P。
本实施例中，当所述操作人员举手时，手臂和身高在一条直线上，其与摄像头视场的像素数成线性比例关系，由此可以确定的所述操作人员的上臂长度与身高的比例值P。
所述摄像头持续进行人脸识别，记录为第二人脸特征值，如所述第一人脸特征值与所述第二人脸特征值相同，则后续只检测所述第一人脸特征值对应的所述操作人员的所述身体关节点上的所述人体姿态和所述手势姿态；如所述第一人脸特征值与所述第二人脸特征值不同，且超过5秒，则重新进入S22步骤。
本实施例中，持续进行人脸识别的目的是为了防止摄像头视场中出现多个人员的干扰。当识别到摄像头视场中有多个人时，找出发出启动操作信号的操作人员的人脸，依据该操作人员人脸所在的身体关节点推算出手的位置，并判断其手的手势姿态，从而防止多个人干扰操作。
本实施中，所述人脸特征值是人脸特征点的结果，如68点，186点或者更多点的集合。不同的两张操作人员人脸通过这个集合判断脸的距离，以确定是否同一个人。
本实施例中，操作人员身高H3的计算入下所述。
如图3所示，X1为所述摄像头视场第一行信号距离所述大屏幕底端的距离；X2为所述摄像头视场最后一行信号距离所述大屏幕底端的距离（本实施例中以480线摄像机为例）；H1为所述摄像头距离地面的高度（即线段DE）；X3为所述操作人员距离所述大屏幕底端的距离（即线段BD）；所述摄像头拍摄经所述操作人员头顶F点至所述摄像头视场A点，A点距离所述大屏幕底端的距离为X4（即线段AD）。
由此，X2-X1为所述摄像头视场的实际长度，假定hx为摄像头输出图像的横向分辨率、hy为摄像头输出图像的纵向分辨率、Nf为操作人员的脚在所述摄像头视场中的行数、Nh为操作人员的头顶在所述摄像头视场中的行数，则图像每行对应的长度为（X2-X1）/hy，从而X3 = X1+(X2-X1)/hy*Nf，X4=X1+(X2-X1)/hy*Nh。
因为ΔABF和ΔADE相似，所以AB/AD=H3/H1，即：（X4-X3）/X4=H3/H1，故，H3 = (X4-X3)/X4*H1，将X3、X4代入前述公式，得出H3=(（X1+(X2-X1)/hy*Nh）-（X1+(X2-X1)/hy*Nf）)/（X1+(X2-X1)/hy*Nh）*H1。
同理可求出操作人员眼睛距离站立面的高度H2，操作者手或者手指尖距离站立面的高度H4，在此不再赘述。
本实施例中，操作人员上臂臂长L=P*H3。
本实施例中，大屏幕上的坐标位置Kx、Ky的计算入下所述。
如图4所示，G为操作人员两眼的中点、K2为操作人员手部左侧点、M为操作人员手部中点、K1为操作人员手部右侧点、K为操作人员的眼睛通过所述手部观看到所述大屏幕上的点（坐标位置为Kx、Ky）、N为操作人员的眼睛通过所述手部左侧K2点观看到所述大屏幕上的点、N1为操作人员的眼睛通过所述手部右侧K1点观看到所述大屏幕上的点。
首先计算Kx的坐标值，Kx的值为LX的长度值（即线段NN1的长度），线段NN1垂直于线段GN1，线段K2K1垂直于线段GN1，因此GK1/GN1=K2K1/NN1。
其中GK1=L；GN1=X3；K2K1为所述操作人员两眼中点到手一边像素数，K2K1 =(Q1*Q3/Q2)，Q1为从操作人员两眼中点到手或者手指尖的像素数、Q2为摄像头总像素数、Q3为摄像头视场的长度。
因此，Kx =(Q1*Q3/Q2)*（L/（X1+(X2-X1)/hy*Nf））。
再计算Ky的坐标值，Ky的值为H5的长度值（即线段KN的长度值），因为三角形GNN1 为直角三角形，NN1垂直于GN1, GN1=X3，因此线段
Figure DEST_PATH_IMAGE002
；同理，线段 GK2=
Figure DEST_PATH_IMAGE003
，其中GK1=L。
因为三角形GMK2与三角形GKN相似，因此GK2/GN=MK2/KN。其中，MK2为操作人员手部距离地面的高度减去操作人员眼睛距离地面的高度，即H4-H2。
故，Ky=KN，
Figure 492382DEST_PATH_IMAGE001
。
随后，持续识别所述操作人员人体姿态和手势姿态，并判断所述大屏幕存储器中是否存在预先存储的启动大屏幕操作的人体姿态（如手为握拳伸出食指为指向某个区域，指向情况下滑动为不同画块信号进行切换，则需要判断手在指向目标画块后，是否有快速移动的动作），如有，则发送控制信号给所述大屏幕控制器，向所述大屏幕发出信号交换指令（如识别为手掌并指向某个画块，手掌移动为画面平移，则发送信号给大屏幕布局指令计算机，将画块进行平移；如识别到两只手握拳伸出食指，并且往外伸张或者往内搜索，则为画面缩放指令，发送信号给大屏布局指令计算机，对目标画面进行缩放等）。
当有其他操作人员执行S2步骤时，则切换操作人员；如所述大屏幕长时间无控制动作，则退出。
本发明提供的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，该方法操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于，包括以下步骤：
S1、将摄像头以俯视角度的方式固定安装在大屏幕中心上方，然后对所述摄像头进行图像校正，以达到所述摄像头垂直拍摄摄像头视场，并向大屏幕存储器输入所述摄像头视场第一行信号距离所述大屏幕底端的距离X1、摄像头视场最后一行信号距离所述大屏幕底端的距离X2及所述摄像头距离地面的高度H1；
S2、所述摄像头拍摄操作人员，识别所述摄像头视场中所述操作人员的人体关节点，并识别所述摄像头视场中所述操作人员的人体姿态和手势姿态；
S3、计算出所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4；
S4、根据所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4的数据，确定所述操作人员的眼睛通过所述手部观看到所述大屏幕上的坐标位置Kx、Ky；
S5、将所述大屏幕上的坐标位置Kx、Ky发送给大屏幕控制器，所述大屏幕控制器根据所述大屏幕上的坐标位置Kx、Ky和大屏幕的布局信息，依据所述操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息，实现所述操作人员与所述大屏幕直接进行交互。
2.根据权利要求1所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于，所述S2的具体步骤为：
S21、当有操作人员进入所述摄像头视场时，所述摄像头拍摄所述操作人员，并识别所述摄像头视场中的所述操作人员的人体关节点，并判断所述大屏幕存储器中是否存在预先存储的启动所述大屏幕操作的人体姿态；
S22、识别出启动所述大屏幕操作的所述人体姿态后，根据所述人体关节点推算出所述操作人员的身体及手部在所述摄像头视场中的区域，并将手部在所述摄像头视场中的区域截图进行人手目标检测判断所述手部在所述摄像头视场中的准确位置，且进一步识别手势姿态；
S23、如所述人体姿态和所述手势姿态的组合为所述大屏幕启动操作信号，则截取所述操作人员人脸在所述摄像头视场位置的截图，进行人脸识别，记录为第一人脸特征值；
S24、所述摄像头向大屏幕控制器发送所述大屏幕启动操作信号，且所述大屏幕控制器记录接收到所述大屏幕启动操作信号时，依据所述身体姿态确定的所述操作人员的上臂长度与身高的比例值P。
3.根据权利要求2所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于：所述摄像头持续进行人脸识别，记录为第二人脸特征值，如所述第一人脸特征值与所述第二人脸特征值相同，则后续只检测所述第一人脸特征值对应的所述操作人员的所述身体关节点上的所述人体姿态和所述手势姿态；如所述第一人脸特征值与所述第二人脸特征值不同，且超过5秒，则重新进入S22步骤。
4.根据权利要求1所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于：持续识别所述操作人员人体姿态和手势姿态，并判断所述大屏幕存储器中是否存在预先存储的启动大屏幕操作的人体姿态，如有，则发送控制信号给所述大屏幕控制器，向所述大屏幕发出信号交换指令。
5.根据权利要求4所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于：当有其他操作人员执行S2步骤时，则切换操作人员；如所述大屏幕长时间无控制动作，则退出。
6.根据权利要求2所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于：H3=(（X1+(X2-X1)/hy*Nh）-（X1+(X2-X1)/hy*Nf）)/（X1+(X2-X1)/hy*Nh）*H1，其中hx为摄像头输出图像的横向分辨率、hy为摄像头输出图像的纵向分辨率、Nf为操作人员的脚在所述摄像头视场中的行数、Nh为操作人员的头顶在所述摄像头视场中的行数。
7.根据权利要求6所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于：L=P*H3。
8.根据权利要求7所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于，所述Kx的坐标值为：Kx =(Q1*Q3/Q2)*（L/（X1+(X2-X1)/hy*Nf）），其中，Q1为从操作人员两眼中点到手或者手指尖的像素数、Q2为摄像头总像素数、Q3为摄像头视场的长度。
9.根据权利要求8所述的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，其特征在于，所述Ky的坐标值为：
Figure DEST_PATH_IMAGE001
。
CN202011346043.7A 2020-11-25 2020-11-25 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 Active CN112363626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011346043.7A CN112363626B (zh) 2020-11-25 2020-11-25 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011346043.7A CN112363626B (zh) 2020-11-25 2020-11-25 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法

Publications (2)

Publication Number Publication Date
CN112363626A CN112363626A (zh) 2021-02-12
CN112363626B true CN112363626B (zh) 2021-10-01

Family

ID=74533418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011346043.7A Active CN112363626B (zh) 2020-11-25 2020-11-25 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法

Country Status (1)

Country Link
CN (1) CN112363626B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031464B (zh) * 2021-03-22 2022-11-22 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN113515190A (zh) * 2021-05-06 2021-10-19 广东魅视科技股份有限公司 一种基于人体手势的鼠标功能实现方法
CN113518180B (zh) * 2021-05-25 2022-08-05 宁夏宁电电力设计有限公司 一种用于电力作业车的车载摄像头安装方法
CN116030411B (zh) * 2022-12-28 2023-08-18 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US20200192485A1 (en) * 2018-12-12 2020-06-18 Lenovo (Singapore) Pte. Ltd. Gaze-based gesture recognition
CN111527468A (zh) * 2019-11-18 2020-08-11 华为技术有限公司 一种隔空交互方法、装置和设备
CN111989537A (zh) * 2018-04-17 2020-11-24 丰田研究所股份有限公司 用于在无约束环境中检测人类视线和手势的***和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5728009B2 (ja) * 2010-06-17 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
CN102657532B (zh) * 2012-05-04 2014-09-17 深圳泰山在线科技有限公司 基于人体姿态识别的身高测量方法及装置
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
CN110442231A (zh) * 2013-06-27 2019-11-12 视力移动科技公司 用于与数字设备交互的直接指向检测的***和方法
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN106843602B (zh) * 2016-10-11 2022-01-28 南京仁光电子科技有限公司 一种大屏幕遥控交互***及其交互方法
KR101869304B1 (ko) * 2016-10-21 2018-06-20 주식회사 네오펙트 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
EP3316075B1 (en) * 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
CN109389082B (zh) * 2018-09-30 2021-05-04 北京旷视科技有限公司 视线采集方法、装置、***、计算机可读存储介质
CN110727346B (zh) * 2019-09-24 2022-09-23 中国第一汽车股份有限公司 一种人机交互方法、装置、车辆及存储介质
CN111736697B (zh) * 2020-06-22 2021-04-27 四川长虹电器股份有限公司 一种基于摄像头的手势操控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN111989537A (zh) * 2018-04-17 2020-11-24 丰田研究所股份有限公司 用于在无约束环境中检测人类视线和手势的***和方法
US20200192485A1 (en) * 2018-12-12 2020-06-18 Lenovo (Singapore) Pte. Ltd. Gaze-based gesture recognition
CN111527468A (zh) * 2019-11-18 2020-08-11 华为技术有限公司 一种隔空交互方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视线跟踪与手势识别的人机交互技术的研究;周朦;《中国优秀硕士学位论文全文数据库 信息科学辑》;20180615;第I138-I468页 *

Also Published As

Publication number Publication date
CN112363626A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112363626B (zh) 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法
CN106843602B (zh) 一种大屏幕遥控交互***及其交互方法
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
KR101922589B1 (ko) 디스플레이장치 및 그 시선추적방법
US20130169537A1 (en) Image processing apparatus and method, and program therefor
US20120093365A1 (en) Conference system, monitoring system, image processing apparatus, image processing method and a non-transitory computer-readable storage medium
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
CN106527825B (zh) 一种大屏幕遥控交互***及其交互方法
CN109542219B (zh) 一种应用于智能教室的手势交互***及方法
CN111527468A (zh) 一种隔空交互方法、装置和设备
JP3729533B2 (ja) ポインティングシステム
US20130050483A1 (en) Apparatus, method, and program for video surveillance system
JP2012238293A (ja) 入力装置
CN104914990A (zh) 姿势辨识装置以及姿势辨识装置的控制方法
CN116913178B (zh) 一种拼接屏联动***及视频拼接方法
CN103369237B (zh) 用于切换相机观察模式的方法
CN104007811B (zh) 电子装置及影像调整方法
JP6073474B2 (ja) 位置検出装置
CN107079098A (zh) 基于ptz摄像机的影像播放方法及装置
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
CN102999158A (zh) 互动***的手势辨识方法及互动***
CN104735413A (zh) 一种在线课堂中的画面切换方法及装置
JP2013080266A (ja) 入力装置
CN105979329A (zh) 一种电视主副窗口调整方法、装置、终端设备及电视
KR200452031Y1 (ko) 공간 터치를 이용한 선택 메뉴 인식 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 603, 604, 6 / F, No.2 building, South daganwei South China No.5 Industrial Zone, Haizhu District, Guangzhou, Guangdong 510000

Applicant after: Guangdong Meishi Technology Co.,Ltd.

Address before: Room 603, 604, 6 / F, No.2 building, South daganwei South China No.5 Industrial Zone, Haizhu District, Guangzhou, Guangdong 510000

Applicant before: Guangzhou Meishi Electronic Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant