CN112860060A - 一种图像识别方法、设备及存储介质 - Google Patents

一种图像识别方法、设备及存储介质 Download PDF

Info

Publication number
CN112860060A
CN112860060A CN202110024773.3A CN202110024773A CN112860060A CN 112860060 A CN112860060 A CN 112860060A CN 202110024773 A CN202110024773 A CN 202110024773A CN 112860060 A CN112860060 A CN 112860060A
Authority
CN
China
Prior art keywords
image
range
final
recognition method
gazing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110024773.3A
Other languages
English (en)
Other versions
CN112860060B (zh
Inventor
谭贵勇
岑加堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Lango Electronic Science and Technology Co Ltd
Original Assignee
Guangzhou Lango Electronic Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Lango Electronic Science and Technology Co Ltd filed Critical Guangzhou Lango Electronic Science and Technology Co Ltd
Priority to CN202110024773.3A priority Critical patent/CN112860060B/zh
Publication of CN112860060A publication Critical patent/CN112860060A/zh
Application granted granted Critical
Publication of CN112860060B publication Critical patent/CN112860060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像识别方法、设备及存储介质，该图像识别方法应用在眼球追踪***中，包括步骤S1：采集图像数据，根据所述图像数据建立虚拟图像模型；步骤S2：采集至少包含有注视坐标和注视时长的眼动数据，当在任意一注视坐标上的注视时长大于预设时长时，在虚拟图像模型表面以所述注视坐标为原点生成基准标识框，根据注视时长将基准标识框沿虚拟图像模型表面进行放大，以获得最终识别范围；步骤S3：对最终识别范围内的图像进行识别，以生成最终识别范围内图像的特征信息并对其进行显示。本发明可提高眼球追踪技术的互动性，提高用户使用体验感的同时提高趣味性。

Description

一种图像识别方法、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于眼球追踪的图像识别方法、设备及存储介质。
背景技术
目前，现有的图像识别方法一般是将图像数据导入软件后，软件对图像画面进行图像识别以识别出画面中的所有物体及物体的动作或表情等特征信息，若想对图像画面中的局部位置进行识别，则需要使用鼠标光标框出画面的局部位置，再对框住的局部区域进行图像识别以获取图像中的特征信息，该方法虽然可实现局部识别的目的，但是其趣味性较差。
而现有推出了眼球追踪技术，其普遍用于通过眼球追踪反映出用户看到某个物体时的关注点位置，但是该过程是单向的，无法根据眼球运动控制计算机做出对应的操作，用户在关注图像中的事物时无法读取到图像中的特征信息，导致用户的使用体验感较差。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种图像识别方法，可提高眼球追踪技术的互动性，同时提高用户使用体验感，提高趣味性。
本发明的目的之二在于提供一种电子设备。
本发明的目的之三在于提供一种存储介质。
本发明的目的之一采用如下技术方案实现：
一种图像识别方法，应用在眼球追踪***中，包括：
步骤S1：采集图像数据，根据所述图像数据建立虚拟图像模型；
步骤S2：采集至少包含有注视坐标和注视时长的眼动数据，当在任意一注视坐标上的注视时长大于预设时长时，在虚拟图像模型表面以所述注视坐标为原点生成基准标识框，根据注视时长将基准标识框沿虚拟图像模型表面进行放大，以获得最终识别范围；
步骤S3：对最终识别范围内的图像进行识别，以生成最终识别范围内图像的特征信息并对其进行显示。
进一步地，所述步骤S3还包括：对最终识别范围内的图像进行图像放大，再对放大后的图像进行识别。
进一步地，对所述最终识别范围内的图像进行图像放大后，还包括：将放大后的图像进行像素还原，再对像素还原后的放大图像进行识别。
进一步地，所述图像数据包括二维图像数据和三维图像数据，根据二维图像数据建立二维的虚拟图像模型，根据三维图像数据建立三维的虚拟图像模型。
进一步地，所述眼动数据包括眼动路径，根据所述眼动路径在虚拟图像模型中创建与眼动路径相匹配的移动标识线，且所述移动标识线具有预设的透明度及预设的标准宽度。
进一步地，所述步骤S2中对基准标识框进行放大之前，还包括：预先对注视时长与基准标识框的放大倍数进行比例设定；在对基准标识框进行放大时根据预设的比例将注视时长转换为放大倍数，使基准标识框按照放大倍数进行放大。
进一步地，所述步骤S3中对最终识别范围内的图像进行识别的方法为：
将虚拟图像模型中最终识别范围内的所有物体进行外轮廓识别，将物体的外轮廓与预设数据库中每种物体的标准模型进行外轮廓比对，以识别出最终识别范围内所有物体的类型，再根据最终识别范围内的物体类型生成对应的特征信息。
进一步地，还包括：实时判断是否接收到修改指令，根据修改指令在最终识别范围内生成覆盖范围，并将覆盖范围以外的区域更新为新的最终识别范围。
本发明的目的之二采用如下技术方案实现：
一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像识别方法。
本发明的目的之三采用如下技术方案实现：
一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的图像识别方法。
相比现有技术，本发明的有益效果在于：
通过眼球追踪技术在虚拟图像模型中划分出基准标识框，根据注视时长按比例放大基准标识框，从而对基准标识框内的图像特征进行识别，以生成基准标识框内图像所对应的特征信息，提高了用户使用该技术的互动性和趣味性，同时使得用户在观看图像过程中可读取到更多特征信息，甚至是了解到图像中肉眼容易忽略的细节，提高用户的使用体验感。
附图说明
图1为本发明图像识别方法的流程示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
本实施例提供一种图像识别方法，利用该方法可读取到图像中更多肉眼无法留意到的细节特征，还可提高眼球追踪技术的互动程度，提高用户的使用体验感及趣味性。
如图1所示，本实施例的图像识别方法具体包括如下步骤：
步骤S1：采集图像数据，根据所述图像数据建立虚拟图像模型。
其中，所述图像数据包括二维图像数据和三维图像数据，根据二维图像数据建立二维的虚拟图像模型，根据三维图像数据建立三维的虚拟图像模型。而该图像数据可以是单个物体的图像数据，也可以是多个物体组合在一起的组合图像；将图像数据导入指定软件中，指定软件即可生成对应的虚拟图像模型，使得用户可通过眼球追踪技术来查看该虚拟图像模型的各种细节特征。
步骤S2：采集至少包含有注视坐标和注视时长的眼动数据，当在任意一注视坐标上的注视时长大于预设时长时，在虚拟图像模型表面以所述注视坐标为原点生成基准标识框，根据注视时长将基准标识框沿虚拟图像模型表面进行放大，以获得最终识别范围。
其中，所述眼动数据由眼动仪生成，用户佩戴上眼动仪并查看虚拟图像模型，即可生成对应的眼动数据。当虚拟图像模型为三维立体模型时，用户可采用结合有vr技术的眼动仪对三维的虚拟图像模型进行观看，以便于对三维的虚拟图像模型的任意位置进行特征识别。
所述眼动数据中包括有眼动路径、注视坐标和注视时长，所述眼动路径由多个注视坐标连接而成，即为用户眼球的运动路径。所述注视时长即为用户眼球在任意注视坐标上停留的时间。此外，本实施例还可根据所述眼动路径在虚拟图像模型中创建与眼动路径相匹配的移动标识线，且所述移动标识线具有预设的透明度及预设的标准宽度；用户可在虚拟图像模型中清楚地了解到用户的眼球移动路线和虚拟图像模型中的移动标识线的走向是否吻合。当用户反复注视同一坐标点时，移动标识线上该坐标点的位置的透明度增加，从而可随时了解到用户注视的重点区域位置。
当用户在任意一注视坐标上的注视时长大于预设时长时，在虚拟图像模型表面以所述注视坐标为原点生成基准标识框，所述基准标识框的形状可预先设为圆形或正方形，且基准标识框的初始面积可默认为预设面积。而注视时长与基准标识框的放大倍数呈正比例关系，可预先对注视时长与基准标识框的放大倍数进行比例设定；将注视时长按照预设的比例转换为基准标识框的放大倍数，让基准标识框按照放大倍数进行放大；且所述基准标识框在放大过程中是沿虚拟图像模型的表面进行放大的，使得基准标识框始终依附在虚拟图像模型的外表面，其根据注视时长放大后的基准标识框即为最终识别范围。
步骤S3：对最终识别范围内的图像进行识别，以生成最终识别范围内图像的特征信息并对其进行显示。
确定最终识别范围后，可以先对最终识别范围内的虚拟图像模型的局部区域的图像进行放大，并将放大后的图像进行显示；若放大后的图像较为模糊，还可对放大后的图像进行像素还原，使得用户可看到放大后清晰的虚拟图像模型的局部图像；而该像素还原的过程即将放大后的图像的像素调整为虚拟图像模块的原始像素，该原始像素由图像数据决定，因此，像素还原后的放大图像的清晰度依然是图像数据中原始图像的清晰度，避免像素还原过程中图像内的物体发送变形。
该放大且像素还原后的图像可供用户查看外，还可作为图像识别的依据；本实施例中设有预设数据库，预设数据库中预先存储有大量不同物体的标准模型，同时，还存储有标准模型的物体种类、物体名称、物体外轮廓图像、物体用途等大量数据。当在虚拟图像模型中确定最终识别范围后，通过图像识别技术将虚拟图像模型中最终识别范围内的所有物体进行外轮廓识别，将物体的外轮廓与预设数据库中每种物体的标准模型进行外轮廓比对，当最终识别范围内物体外轮廓与任意一标准模型相匹配时，则确定最终识别范围内物体类型，并将该标准模型的相关数据作为特征信息进行显示。此外，当判断最终识别范围内的物体为人类时，还可根据人脸识别技术对最终识别范围内的人物进行人脸识别，生成对应的人脸特征信息并对其进行显示；与此同时，所述标准模型还可以绑定有预存信息，该预存信息可以是于物体本身相关或无关的各种信息，当判断出最终识别范围内的物体与任意一标准模型相匹配时，则将该标准模型所对应的预存信息进行显示。在本实施例中，特征信息的显示方式可以以弹窗的方式显示在软件中，让用户在查看虚拟图像模型的同时也可查看到最终识别范围的特征信息，提高用户使用体验感。
此外，本实施例在确定最终识别范围后，还需实时判断是否接收到修改指令，该修改指令可通过鼠标等外置设备来生成，本实施例根据修改指令在最终识别范围内生成覆盖范围，并将覆盖范围以外的区域更新为新的最终识别范围，使得用户可对最终识别范围的尺寸进行修改，以提高区域选择的精度。
实施例二
本实施例提供一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的图像识别方法；另外，本实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的图像识别方法。
本实施例中的设备及存储介质与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的***的结构及实施过程，为了说明书的简洁，在此就不再赘述。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种图像识别方法，其特征在于，应用在眼球追踪***中，包括：
步骤S1：采集图像数据，根据所述图像数据建立虚拟图像模型；
步骤S2：采集至少包含有注视坐标和注视时长的眼动数据，当在任意一注视坐标上的注视时长大于预设时长时，在虚拟图像模型表面以所述注视坐标为原点生成基准标识框，根据注视时长将基准标识框沿虚拟图像模型表面进行放大，以获得最终识别范围；
步骤S3：对最终识别范围内的图像进行识别，以生成最终识别范围内图像的特征信息并对其进行显示。
2.根据权利要求1所述的图像识别方法，其特征在于，所述步骤S3还包括：对最终识别范围内的图像进行图像放大，再对放大后的图像进行识别。
3.根据权利要求2所述的图像识别方法，其特征在于，对所述最终识别范围内的图像进行图像放大后，还包括：将放大后的图像进行像素还原，再对像素还原后的放大图像进行识别。
4.根据权利要求1所述的图像识别方法，其特征在于，所述图像数据包括二维图像数据和三维图像数据，根据二维图像数据建立二维的虚拟图像模型，根据三维图像数据建立三维的虚拟图像模型。
5.根据权利要求1所述的图像识别方法，其特征在于，所述眼动数据包括眼动路径，根据所述眼动路径在虚拟图像模型中创建与眼动路径相匹配的移动标识线，且所述移动标识线具有预设的透明度及预设的标准宽度。
6.根据权利要求1所述的图像识别方法，其特征在于，所述步骤S2中对基准标识框进行放大之前，还包括：预先对注视时长与基准标识框的放大倍数进行比例设定；在对基准标识框进行放大时根据预设的比例将注视时长转换为放大倍数，使基准标识框按照放大倍数进行放大。
7.根据权利要求1所述的图像识别方法，其特征在于，所述步骤S3中对最终识别范围内的图像进行识别的方法为：
将虚拟图像模型中最终识别范围内的所有物体进行外轮廓识别，将物体的外轮廓与预设数据库中每种物体的标准模型进行外轮廓比对，以识别出最终识别范围内所有物体的类型，再根据最终识别范围内的物体类型生成对应的特征信息。
8.根据权利要求1所述的图像识别方法，其特征在于，还包括：
实时判断是否接收到修改指令，根据修改指令在最终识别范围内生成覆盖范围，并将覆盖范围以外的区域更新为新的最终识别范围。
9.一种电子设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1～8任一所述的图像识别方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1～8任一所述的图像识别方法。
CN202110024773.3A 2021-01-08 2021-01-08 一种图像识别方法、设备及存储介质 Active CN112860060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110024773.3A CN112860060B (zh) 2021-01-08 2021-01-08 一种图像识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110024773.3A CN112860060B (zh) 2021-01-08 2021-01-08 一种图像识别方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112860060A true CN112860060A (zh) 2021-05-28
CN112860060B CN112860060B (zh) 2022-07-01

Family

ID=76005612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110024773.3A Active CN112860060B (zh) 2021-01-08 2021-01-08 一种图像识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112860060B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061101A1 (zh) * 2022-09-20 2024-03-28 顺丰科技有限公司 非常规件识别方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670766A (zh) * 2004-03-17 2005-09-21 德鑫科技股份有限公司 图像的缩放方法
US20140282196A1 (en) * 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
CN107797664A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 内容显示方法、装置及电子装置
CN109086726A (zh) * 2018-08-10 2018-12-25 陈涛 一种基于ar智能眼镜的局部图像识别方法及***
CN109271982A (zh) * 2018-09-20 2019-01-25 西安艾润物联网技术服务有限责任公司 多个识别区域识别方法、识别终端及可读存储介质
CN112034977A (zh) * 2019-06-04 2020-12-04 陈涛 Mr智能眼镜内容交互、信息输入、应用推荐技术的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670766A (zh) * 2004-03-17 2005-09-21 德鑫科技股份有限公司 图像的缩放方法
US20140282196A1 (en) * 2013-03-15 2014-09-18 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
CN107797664A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 内容显示方法、装置及电子装置
CN109086726A (zh) * 2018-08-10 2018-12-25 陈涛 一种基于ar智能眼镜的局部图像识别方法及***
CN109271982A (zh) * 2018-09-20 2019-01-25 西安艾润物联网技术服务有限责任公司 多个识别区域识别方法、识别终端及可读存储介质
CN112034977A (zh) * 2019-06-04 2020-12-04 陈涛 Mr智能眼镜内容交互、信息输入、应用推荐技术的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061101A1 (zh) * 2022-09-20 2024-03-28 顺丰科技有限公司 非常规件识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112860060B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US20190139297A1 (en) 3d skeletonization using truncated epipolar lines
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
CN109547753A (zh) 提供由车辆的场景相机捕获的至少一个图像的方法和***
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN104574267A (zh) 引导方法和信息处理设备
US11159717B2 (en) Systems and methods for real time screen display coordinate and shape detection
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
CN113359986B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
CN112506340A (zh) 设备控制方法、装置、电子设备及存储介质
CN112860059A (zh) 一种基于眼球追踪的图像识别方法、设备及存储介质
CN108597034B (zh) 用于生成信息的方法和装置
CN111598996B (zh) 一种基于ar技术的物品3d模型展示方法和***
CN111429338A (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
CN113160231A (zh) 一种样本生成方法、样本生成装置及电子设备
CN112860060B (zh) 一种图像识别方法、设备及存储介质
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN114494659A (zh) 一种图像显示方法、装置、ar头戴设备及存储介质
CN105631938B (zh) 一种图像处理方法及电子设备
CN108664948B (zh) 用于生成信息的方法和装置
CN113342157A (zh) 眼球追踪处理方法及相关装置
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN115840550A (zh) 一种自适应角度的显示屏显示方法、装置及介质
CN115497152A (zh) 基于图像识别的客户信息分析方法、装置、***及介质
CN111429549B (zh) 路线图像的生成方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 238, room 406, 1 Yichuang street, Huangpu District, Guangzhou, Guangdong 510700

Applicant after: Guangzhou langguo Electronic Technology Co.,Ltd.

Address before: Room 238, room 406, 1 Yichuang street, Huangpu District, Guangzhou, Guangdong 510700

Applicant before: GUANGZHOU LANGO ELECTRONIC SCIENCE & TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant