CN111949124A - 一种基于视觉跟踪的自适应显示器定位方法 - Google Patents
一种基于视觉跟踪的自适应显示器定位方法 Download PDFInfo
- Publication number
- CN111949124A CN111949124A CN202010634039.4A CN202010634039A CN111949124A CN 111949124 A CN111949124 A CN 111949124A CN 202010634039 A CN202010634039 A CN 202010634039A CN 111949124 A CN111949124 A CN 111949124A
- Authority
- CN
- China
- Prior art keywords
- network
- labeled
- point cloud
- face
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉跟踪的自适应显示器定位方法,包括:安装好相机;对Efficient‑Net目标检测网络进行更改,构建图人脸位置检测装置;结合点云分割网络GAC‑Net和Point‑CNN框架,构建人脸点云语义分割网络;先建立图像数据库并进行标注,利用LabelImg软件标注出人脸X、Y、W和H的值,利用Labelme标注出人脸中左眼和右眼区域像素的类别为1和2,其余背景类别为0。本发明的方法可以应用于现有电动显示器装置上,实现显示器的自适应定位。
Description
技术领域
本发明涉及人工智能技术,具体涉及一种基于视觉跟踪的自适应显示器定位方法。
背景技术
目前,在使用电脑时,市场上流行的显示器支架基本都是固定或者人工调节的,而用户如果对适当角度的把控有偏差,容易因为显示器的位置不正确,长时间看显示器时,会因为坐姿不正确引起健康问题,比如驼背,严重者可能导致腰间盘突出等重大问题。
发明内容
本发明的主要目的在于提供一种基于视觉跟踪的自适应显示器定位方法,在日常使用电脑时自动调节显示器,使显示器达到最佳显示位置,同时解决人们因面对显示器坐姿不正确的问题。
本发明采用的技术方案是:一种基于视觉跟踪的自适应显示器定位方法,包括:
安装好相机;
对Efficient-Net目标检测网络进行更改,构建图人脸位置检测装置;
结合点云分割网络GAC-Net和Point-CNN框架,构建人脸点云语义分割网络;
先建立图像数据库并进行标注,利用LabelImg软件标注出人脸X、Y、W和H的值,利用Labelme标注出人脸中左眼和右眼区域像素的类别为1和2,其余背景类别为0。
进一步地,所述对Efficient-Net目标检测网络进行更改,构建图人脸位置检测装置还包括:
去除原网络中的分类分支,仅保留回归分支,并且回归分支中仅预测4个值,X、Y、W和H,分别对应人脸位置左上角的坐标及其长和宽,其被归一化为[0,1]范围内,其位置结果用于裁剪深度图中的人脸区域。
更进一步地,所述结合点云分割网络GAC-Net和Point-CNN框架,构建人脸点云语义分割网络包括:
所述网络输出分为三类,分别为左眼、右眼和背景,左眼和右眼点云通过PCA计算法向量并取平均值v,结合其高度,获得显示器运动预测结果。
更进一步地,所述的基于视觉跟踪的自适应显示器定位方法还包括:
分别建立损失函数,人脸位置检测网络为L1损失,即L1=|X-X'|+|Y-Y'|+|W-W'|+|H-H'|,其中X、Y、W和H为真是标签值,X'、Y'、W'和H'为预测值,通过损失函数更新网络模型参数,提高模型的准确率,从而获得预测参数模型。
本发明的优点:
本发明的方法可以应用于现有电动显示器装置上,实现显示器的自适应定位。
本发明是基于深层神经网络在目标检测和语义分割的优异特性,结合人机工程学,从而解决人们日常使用电脑时自动调节显示器。
本发明的方法,在日常使用电脑时自动调节显示器,使显示器达到最佳显示位置,同时解决人们因面对显示器坐姿不正确的问题。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1 是本发明的自适应显示器装置简图;
图2 是本发明的自适应显示器运动简图;
图3 是本发明的方法原理图;
图4 是本发明的基于Efficient-Det的人脸位置检测网络;
图5 是本发明的基于GAC-Net和Point-CNN的人脸点云分割网络;
图6 是本发明的神经网络训练流程图;
图7 是本发明的自适应显示器运动结果预测流程图;
图8 是本发明的预测结果参数。
附图标记:
11为底座、12为相机、13为滑轨、14为滑块、15为连杆、16为屏幕;
21为滑块、22为连杆。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参考图1至图8,如图1至图8所示,本发明基本组成:包括显示器、RGB-D相机、人脸位置检测网络、人脸点云分割网络和机器视觉处理***。
所述的机器视觉处理***由具有计算能力的设备组成,所述的RGB-D相机可以采用微软的Kinect等RGB-D相机,所述的显示器可以采用已有方法进行平移和旋转。
该方法利用RGB-D相机采取显示器使用用户的彩色图像和深度图,将所述的彩色图像输入人脸位置检测网络,输出人脸位置。将人脸位置信息输入所述的深度图进行裁剪人脸区域,将人脸区域深度图转换为点云,输入人脸点云分割网络,从而分割出人脸中左眼和右眼的区域。分别计算所述的左眼和右眼的法向量并取其平均值为v,同时结合左右眼的平均高度h,查找已建立好的“显示器位移和旋转角度与人眼法向量v和高度h的映射表格”,获取显示器的最佳位置,从而实现指导显示器进行自适应移动。通过对人眼位置的准确获取,实现对自适应显示器的精密控制。
本发明的主要实现过程:
完成“显示器位移和旋转角度与人眼法向量v和高度h的映射表格”的建立。
完成人脸位置检测网络的建立并对其进行训练。
完成人脸点云分割网络的联机并对其进行训练。
本发明的方法可以应用于现有电动显示器装置上,实现显示器的自适应定位。
本发明是基于深层神经网络在目标检测和语义分割的优异特性,结合人机工程学,从而解决人们日常使用电脑时自动调节显示器。
本发明的方法,在日常使用电脑时自动调节显示器,使显示器达到最佳显示位置,同时解决人们因面对显示器坐姿不正确的问题。
本发明的具体方法如下:
按照如图1中的布局安装RGB-D相机。
按照现有电动显示器实现图2中滑块沿Z轴的直线运动和连杆绕X轴的旋转运动。
对Efficient-Net目标检测网络进行更改,构建图4中的人脸位置检测装置,Efficient-Net具有速度快、精度高的优点。
由于进行检测的只有一个类别——人脸,故去除原网络中的分类分支,仅保留回归分支,并且回归分支中仅预测4个值,X、Y、W和H,分别对应人脸位置左上角的坐标及其长和宽,其被归一化为[0,1]范围内,目的是方便神经网络的训练。
其位置结果用于裁剪深度图中的人脸区域,以便转化人脸点云。
结合点云分割网络GAC-Net和Point-CNN框架,构建图5中的人脸点云语义分割网络, GAC是图卷积注意力卷积,可以提高网络的注意力机制,XCONV对于点云无序性具有很好地处理效果,通过迭代GAC和XCONV层,从而的提高网络的语义分割性能。
所述网络输出3个类别,分别为左眼、右眼和背景,左眼和右眼点云通过PCA计算法向量并取平均值v,结合其高度,便可获得显示器运动预测结果。
神经网络需要大量数据进行训练,根据图6中流程所述,需先建立图像数据库并进行标注,利用LabelImg软件标注出人脸X、Y、W和H的值,利用Labelme标注出人脸中左眼和右眼区域像素的类别为1和2,其余背景类别为0。
再建立步骤3和4中的模型。分别建立损失函数,人脸位置检测网络为L1损失,即L1=|X-X'|+|Y-Y'|+|W-W'|+|H-H'|,其中X、Y、W和H为真是标签值,X'、Y'、W'和H'为预测值,人脸点云分割网络为典型的Cross-Entropy损失函数,在此不赘述。通过损失函数更新网络模型参数,提高模型的准确率,从而获得预测参数模型。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于视觉跟踪的自适应显示器定位方法,其特征在于,包括:
安装好相机;
对Efficient-Net目标检测网络进行更改,构建图人脸位置检测装置;
结合点云分割网络GAC-Net和Point-CNN框架,构建人脸点云语义分割网络;
先建立图像数据库并进行标注,利用LabelImg软件标注出人脸X、Y、W和H的值,利用Labelme标注出人脸中左眼和右眼区域像素的类别为1和2,其余背景类别为0。
2.根据权利要求1所述的基于视觉跟踪的自适应显示器定位方法,其
特征在于,所述对Efficient-Net目标检测网络进行更改,构建图人脸位置检测装置还包括:
去除原网络中的分类分支,仅保留回归分支,并且回归分支中仅预测4个值,X、Y、W和H,分别对应人脸位置左上角的坐标及其长和宽,其被归一化为[0,1]范围内,其位置结果用于裁剪深度图中的人脸区域。
3.根据权利要求1所述的基于视觉跟踪的自适应显示器定位方法,其
特征在于,所述结合点云分割网络GAC-Net和Point-CNN框架,构建人脸点云语义分割网络包括:
所述网络输出分为三类,分别为左眼、右眼和背景,左眼和右眼点云通过PCA计算法向量并取平均值v,结合其高度,获得显示器运动预测结果。
4.根据权利要求1所述的基于视觉跟踪的自适应显示器定位方法,其
特征在于,还包括:
分别建立损失函数,人脸位置检测网络为L1损失,即L1=|X-X'|+|Y-Y'|+|W-W'|+|H-H'|,其中X、Y、W和H为真是标签值,X'、Y'、W'和H'为预测值,通过损失函数更新网络模型参数,提高模型的准确率,从而获得预测参数模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010634039.4A CN111949124B (zh) | 2020-07-02 | 2020-07-02 | 一种基于视觉跟踪的自适应显示器定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010634039.4A CN111949124B (zh) | 2020-07-02 | 2020-07-02 | 一种基于视觉跟踪的自适应显示器定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111949124A true CN111949124A (zh) | 2020-11-17 |
CN111949124B CN111949124B (zh) | 2023-09-01 |
Family
ID=73337646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010634039.4A Active CN111949124B (zh) | 2020-07-02 | 2020-07-02 | 一种基于视觉跟踪的自适应显示器定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111949124B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226407A (zh) * | 2008-01-24 | 2008-07-23 | 北京中星微电子有限公司 | 一种显示装置角度自动调整***及方法 |
CN104866089A (zh) * | 2014-02-26 | 2015-08-26 | 威斯通全球技术公司 | 基于检测到的方位调节显示器 |
US20160154458A1 (en) * | 2014-11-28 | 2016-06-02 | Shenzhen Estar Technology Group Co., Ltd. | Distance adaptive holographic displaying method and device based on eyeball tracking |
CN109934115A (zh) * | 2019-02-18 | 2019-06-25 | 苏州市科远软件技术开发有限公司 | 人脸识别模型的构建方法、人脸识别方法及电子设备 |
CN110728172A (zh) * | 2019-08-23 | 2020-01-24 | 北京迈格威科技有限公司 | 基于点云的人脸关键点检测方法、装置、***及存储介质 |
-
2020
- 2020-07-02 CN CN202010634039.4A patent/CN111949124B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226407A (zh) * | 2008-01-24 | 2008-07-23 | 北京中星微电子有限公司 | 一种显示装置角度自动调整***及方法 |
CN104866089A (zh) * | 2014-02-26 | 2015-08-26 | 威斯通全球技术公司 | 基于检测到的方位调节显示器 |
US20160154458A1 (en) * | 2014-11-28 | 2016-06-02 | Shenzhen Estar Technology Group Co., Ltd. | Distance adaptive holographic displaying method and device based on eyeball tracking |
CN109934115A (zh) * | 2019-02-18 | 2019-06-25 | 苏州市科远软件技术开发有限公司 | 人脸识别模型的构建方法、人脸识别方法及电子设备 |
CN110728172A (zh) * | 2019-08-23 | 2020-01-24 | 北京迈格威科技有限公司 | 基于点云的人脸关键点检测方法、装置、***及存储介质 |
Non-Patent Citations (3)
Title |
---|
刘成攀: "基于自监督深度学习的人脸表征及三维重建", 《传感器与微***》 * |
刘成攀: "基于自监督深度学习的人脸表征及三维重建", 《传感器与微***》, vol. 38, no. 9, 12 September 2019 (2019-09-12), pages 126 - 133 * |
许洁;: "基于透视投影的人眼视线方向估计算法", 微型电脑应用, no. 09, pages 36 - 44 * |
Also Published As
Publication number | Publication date |
---|---|
CN111949124B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11354851B2 (en) | Damage detection from multi-view visual data | |
US10748313B2 (en) | Dynamic multi-view interactive digital media representation lock screen | |
CN112771539B (zh) | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 | |
US20200257862A1 (en) | Natural language understanding for visual tagging | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和*** | |
US20170359570A1 (en) | Multi-View Interactive Digital Media Representation Lock Screen | |
KR102441171B1 (ko) | 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법 | |
WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
Levin | Real-time target and pose recognition for 3-d graphical overlay | |
US11776142B2 (en) | Structuring visual data | |
US20210312702A1 (en) | Damage detection from multi-view visual data | |
CN104899563A (zh) | 一种二维人脸关键特征点定位方法及*** | |
CN101180653A (zh) | 用于三维呈现的方法和设备 | |
WO2020154096A1 (en) | Damage detection from multi-view visual data | |
CN113095274B (zh) | 一种视线估计方法、***、装置及存储介质 | |
WO2021146449A1 (en) | Visual object history | |
US11972556B2 (en) | Mobile multi-camera multi-view capture | |
Moeslund et al. | A natural interface to a virtual environment through computer vision-estimated pointing gestures | |
CN109407824A (zh) | 人体模型的同步运动方法与装置 | |
US20220408019A1 (en) | Viewpoint path modeling | |
WO2019213392A1 (en) | System and method for generating combined embedded multi-view interactive digital media representations | |
CN107066095B (zh) | 一种信息处理方法及电子设备 | |
CN111949124A (zh) | 一种基于视觉跟踪的自适应显示器定位方法 | |
Kundur et al. | Novel active vision-based visual threat cue for autonomous navigation tasks | |
US20220406003A1 (en) | Viewpoint path stabilization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |