CN110955325A - 一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质 - Google Patents

Abstract

本发明提供了一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质，涉及智能设备领域，该方法通过采集图像并检测图像中的激光落点，识别图像中激光落点处的物体，进而向用户播报激光落点处的物体，由于向用户播报所检测的激光落点位置存在的物体，而不是直接将图像中的物体全部播报出来，从而提高了智能眼镜的播报效率，提高了用户的体验。

Description

一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质

技术领域

本发明属于智能设备领域，具体涉及一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质。

背景技术

目前，为便于视障用户生活，有一种为视障用户设计的智能眼镜，该智能眼镜可以采集图像信息，用户佩戴该智能眼镜后，该智能眼镜能够将当前图像中的内容播报给用户，从而为视障用户的生活提供便利。

但是，本发明的发明人发现，在用户使用智能眼镜时，无法主动选择眼镜的交互中心，此时智能眼镜通常采取的方式是把所有图像中信息一次全部播报出来，而不能第一时间准确锁定需要识别的文字、物体范围，需借助外部物理设备(如手指等)指向被识别点，类似于给设备一个外部介入的指令，设备根据这个指令才可以完成它的功能。

因此，目前的智能眼镜播报效率较低，且用户无法感受视野中对象的方位，用户体验不佳。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质，以提高智能眼镜的播报效率，提高用户的体验。

依据本发明的第一方面，提供了一种智能眼镜焦点跟踪方法，包括：

采集图像并检测图像中的激光落点；

识别图像中激光落点处的物体；

向用户播报所述激光落点处的物体。

进一步，该方法还包括：

识别图像中激光落点处周围设定区域中的物体；

向用户播报所述激光落点处周围设定区域中的物体。

更进一步，该方法还包括：

当图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部，或者提示用户图像中激光落点处或其周围设定区域中不存在物体。

更进一步，所述当图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部，具体包括：

当图像中激光落点处或其周围设定区域中不存在物体时，确定图像中物体所在的方位，并提示用户向物体所在的方位转动头部。

更进一步，该方法还包括：

当用户转动头部时，根据物体靠近激光落点处或其周围设定区域的程度，变化提示声音。

优选的，所述激光落点处设置在图像的中心区域中。

进一步，所述采集图像并检测图像中的激光落点，具体包括：

通过摄像头采集图像，并检测图像中的红外线激光点；或者

通过第一摄像头采集图像，通过第二摄像头检测激光落点位置，并根据预先设定的第一摄像头和第二摄像头的对应关系，确定激光落点在所采集的图像中的位置。

优选的，所述采集图像并检测图像中的激光落点之前，还包括：

确定所述智能眼镜的运动速度小于设定值。

第二方面，本发明实施例还提供一种智能眼镜焦点跟踪装置，包括：

采集单元，用于采集图像并检测图像中的激光落点；

识别单元，用于识别图像中激光落点处的物体；

播报单元，用于向用户播报所述激光落点处的物体。

第三方面，本发明实施例还提供一种智能眼镜，包括：

用于发射激光射线的激光发射器；

用于采集图像并检测图像中的激光落点的摄像装置；

用于识别图像中激光落点处的物体的处理器；

用于向用户播报所述激光点落点处的物体的语音播报装置；

所述处理器连接所述摄像装置和所述语音播报装置。

进一步，所述摄像装置具体包括：

第一摄像头，用于采集图像；

第二摄像头，用于检测激光落点；

所述处理器根据预先设置的第一摄像头和第二摄像头的对应关系，确定第二摄像头检测的激光落点在第一摄像头所采集的图像中的位置。

进一步，所述激光发射器发射激光射线的方向，指向所述摄像装置所采集图像的中心区域。

优选的，所述激光发射器具体为红外发射器。

进一步，所述语音播报装置，具体为耳机或扬声器。

进一步，该智能眼镜还包括：

用于判断智能眼镜运动状态的惯性传感器组件，该惯性传感器组件连接所述处理器。

更进一步，所述惯性传感器组件包括如下之一或组合：

用于确定智能眼镜运动速度的速度传感器；

用于确定智能眼镜运动速度的加速度传感器；

用于确定智能眼镜竖直于地心的方向轴的夹角信息的陀螺仪。

第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如第一方面中所述的方法。

本发明实施例提供一种智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质，该方法通过采集图像并检测图像中的激光落点，识别图像中激光落点处的物体，进而向用户播报激光落点处的物体，由于向用户播报所检测的激光落点位置存在的物体，而不是直接将图像中的物体全部播报出来，从而提高了智能眼镜的播报效率，提高了用户的体验。

应当理解，上述说明仅是本发明技术方案的概述，以便能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举说明本发明的具体实施方式。

附图说明

通过阅读下文的示例性实施例的详细描述，本领域普通技术人员将明白本文所述的有点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：

图1为本发明实施例提供的智能眼镜焦点跟踪方法流程图；

图2为本发明实施例提供的图像中激光落点位置及其周围设定区域示意图；

图3为本发明实施例提供的一个具体实施例中的智能眼镜焦点跟踪方法流程图；

图4为本发明实施例提供的智能眼镜焦点跟踪装置结构示意图；

图5为本发明实施例提供的智能眼镜结构示意图；

图6为本发明实施例提供的一个具体实施例中的智能眼镜结构示意图；

图7为本发明实施例提供的另一具体实施例中的智能眼镜结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在本发明中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。

另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

在图1中，示出了本发明实施例提供的智能眼镜焦点跟踪方法，该方法包括：

步骤S101、采集图像并检测图像中的激光落点；

步骤S102、识别图像中激光落点处的物体；

步骤S103、向用户播报激光落点处的物体。

通过该智能眼镜焦点跟踪方法，向用户播报所检测的激光落点位置存在的物体，而不是直接将图像中的物体全部播报出来，从而提高了智能眼镜的播报效率，提高了用户的体验。

步骤S102中的物体，可以是任意物体，也可以是事先定义的指定物体。

由于对于较小或较远的物体来说，激光落点可能不能够很准确的落在物体上，此时，可以进一步在激光落点周围设定一个区域，在该区域中的物体，都直接进行识别和播报，从而进一步提高用户的使用体验。

此时，该方法还包括：

识别图像中激光落点处周围设定区域中的物体；

向用户播报激光落点处周围设定区域中的物体。

进一步，对于视障用户来说，可能难以将智能眼镜的焦点很好的对准目标物体，此时，可以在图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部，或者提示用户图像中激光落点处或其周围设定区域中不存在物体。

通常，当图像中激光落点处或其周围设定区域中不存在物体时，可提示用户转动头部，也可向用户播报激光落点处或其周围设定区域中不存在物体的相关语音提示，此时用户可根据语音提示随意转动头部寻找物体；还可以当图像中的整个画面均没有识别出物体时，提示用户转动头部，或者用户播报图像区域中不存在物体的相关语音提示，此时用户可根据语音提示随意转动头部寻找物体。

更进一步的，当图像中激光落点处或其周围设定区域中不存在物体时，确定图像中物体所在的方位，并提示用户向物体所在的方位转动头部。例如，若图像中的激光落点左侧存在文字或者二维码，即可提示用户激光落点的左侧有文字或二维码，让用户向左转动头部。

当用户转动头部时，可以根据物体靠近激光落点处或其周围设定区域的程度，变化提示声音，从而便于视障用户确定转动头部的程度，有利于用户更准确的进行焦点定位。此时，用户可以是根据提示的物体所在的方位转动头部，也可以是用户随意转动头部寻找物体。

例如，当物体越靠近图像中激光落点处或其周围设定区域时，提示声音可以越急促，从而便于用户判断头部转动方向是否正确及头部转动的程度是否合适。也可以通过其他具有独特性的语音提示来提醒用户，物体是否已到达激光落点处或其周围设定区域。

根据大部分用户的使用习惯，激光落点处设置在图像的中心区域中较佳，由于摄像头的角度和激光发射器的角度相对固定时，对于较近的物体和较远的物体，激光落点在图像中的坐标可能不完全相同，只要尽量使得激光落点处在图像的中心区域即可使得用户具有更佳的使用体验。

如图2所示，激光落点处可以在图像的中心位置，激光落点处周围设定区域，则可以具体为围绕激光落点的面积占比1/3-1/2的圆形或矩形区域，本领域技术人员可以根据实际情况对激光落点处及其周围设定区域的范围的初始设置进行调整，用户也可以根据自己的使用习惯来调整激光落点处及其周围设定区域的范围。

当激光射线采用可见的红外射线时，在激光落点处会呈现肉眼可见的红点，此时，直接在采集的图像中识别红点的位置，即可确定图像中的激光落点位置，此时，通过一个摄像头即可完成步骤S101的采集图像和检测图像中的红外线激光点，但是，使用可见的红外射线时，可能会干扰环境中的其他人，所以，采用肉眼不可见的射线较佳，此时，可以通过第一摄像头采集图像，通过第二摄像头检测激光落点位置，并根据预先设定的第一摄像头和第二摄像头的对应关系，确定激光落点在所采集的图像中的位置。

优选的，在步骤S101之前，可以进一步确定智能眼镜的运动速度小于设定值，从而避免在用户转动头部的过程中采集图像，对用户产生干扰。

在优选的实施例中，本发明实施例提供的智能眼镜焦点跟踪方法，如图3所示，包括：

步骤S301、通过第一摄像头采集图像，并通过第二摄像头检测激光落点位置；

步骤S302、根据预先设定的第一摄像头和第二摄像头的对应关系，确定激光落点在所采集的图像中的位置；

步骤S303、判断激光落点处是否存在物体，如果是，执行步骤S304，否则，执行步骤S306；

步骤S304、识别图像中激光落点处的物体；

步骤S305、向用户播报激光落点处的物体；

步骤S306、判断整个图像区域中是否存在物体，如果是，执行步骤S307，否则，执行步骤S308；

步骤S307、确定图像中物体与激光落点的位置关系，并提示用户向物体所在的方位转动头部；

步骤S308、提示用户图像中不存在物体，或者提示用户转动头部。

在步骤S301中，在摄像头采集图像时，一般都是在智能眼镜处于相对稳定的状态中，如果智能眼镜正在以较高的速度运动，此时一般不采集图像，可以通过智能眼镜运动的速度、加速度，来判断用户的头部转动情况。

在步骤S303中，可以只识别激光落点处是否存在物体，也可以识别激光落点处及其周围设定区域中是否存在物体。

在步骤S308中，提示用户图像中不存在物体后，用户可以根据提示随意转动头部寻找物体。

步骤S307和步骤S308的提示功能，也可以由用户决定开启或关闭，若用户没有开启提示，则用户等不到播报，就可以确定图像中不存在物体，用户可以根据提示随意转动头部寻找物体。

通过该智能眼镜，用户想了解环境信息时，可以通过头部转动来了解具体方位的对象信息。例如，视障用户到了一个大厅，想了解大厅的布局，有什么东西时，可以通过头部转动来了解特定方位的物体信息。对于文字、二维码等特殊信息，如果激光落点处有文字，则直接播报，如果文字在激光落点的左侧时，则提示左方有文字，用户可以向左转头部，当文字在激光落点时则播报出来。

图像中的激光落点位置，可以根据用户设置加注标记或者不加注标记，对于视力正常的用户使用的穿戴式设备(如VR)来说，可以在图像的设定的焦点位置加注十字标记，如图2中所示，从而示意该点为激光落点，即当前的图像焦点，便于用户进行判断和调整，对于视障用户，则可以不加注标记。

同样的，图像的激光落点位置周围的设定区域，也可以根据用户设置加注标记或者不加注标记，对于视力正常的用户使用的穿戴式设备(如VR)来说，可以将激光落点位置周围的设定区域用特殊边框框出，例如红色边框，从而示意该区域为视觉图像焦点区域，便于用户进行判断和调整，对于视障用户，则可以不加注标记。

在图像的激光落点位置有特征信息时(例如文字、二维码等特征信息)，可以直接播报，播报的范围以该位置向四周扩散至1/3-1/2(该比例可调)图像面积区域内。

本发明实施例还相应提供一种智能眼镜焦点跟踪装置，如图4所示，包括：

采集单元401，用于采集图像并检测图像中的激光落点；

识别单元402，用于识别图像中激光落点处的物体；

播报单元403，用于向用户播报激光落点处的物体。

进一步，识别单元402还用于：

识别图像中激光落点处周围设定区域中的物体；

播报单元403还用于：

向用户播报激光落点处周围设定区域中的物体。

进一步，播报单元403还用于：当图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部。

更进一步，播报单元403当图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部，具体包括：

当图像中激光落点处或其周围设定区域中不存在物体时，确定图像中物体所在的方位，并提示用户向物体所在的方位转动头部。

更进一步，播报单元403还用于：

当用户根据提示的物体所在的方位转动头部时，根据物体靠近激光落点处或其周围设定区域的程度，变化提示声音。

优选的，激光落点处设置在图像的中心区域中。

进一步，采集单元401具体用于：

通过摄像头采集图像，并检测图像中的红外线激光点；或者

通过第一摄像头采集图像，通过第二摄像头检测激光落点位置，并根据预先设定的第一摄像头和第二摄像头的对应关系，确定激光落点在所采集的图像中的位置。

优选的，采集单元401还用于：

在采集图像并检测图像中的激光落点之前，确定智能眼镜的运动速度小于设定值。

本发明实施例还相应提供一种智能眼镜，如图5所示，包括：

用于发射激光射线的激光发射器501；

用于采集图像并检测图像中的激光落点的摄像装置502；

用于识别图像中激光落点处的物体的处理器503；

用于向用户播报激光点落点处的物体的语音播报装置504；

处理器503连接摄像装置502和语音播报装置504。

摄像装置502所检测的激光落点即为激光发射器501所发射的激光的落点。

进一步，如图6所示，摄像装置502具体包括：

第一摄像头5021，用于采集图像；

第二摄像头5022，用于检测激光落点；

处理器503根据预先设置的第一摄像头5021和第二摄像头5022的对应关系，确定第二摄像头5022检测的激光落点在第一摄像头5021所采集的图像中的位置。

进一步，激光发射器501发射激光射线的方向，指向摄像装置502所采集图像的中心区域。

进一步，激光发射器501具体为红外发射器。

进一步，语音播报装置504，具体为耳机或扬声器。

进一步，如图7所示，该智能眼镜还包括：

用于判断智能眼镜运动状态的惯性传感器组件505，该惯性传感器组件505连接处理器503。

进一步，惯性传感器组件505可以包括如下之一或组合：

用于确定智能眼镜运动速度的速度传感器；

用于确定智能眼镜运动速度的加速度传感器；

用于确定智能眼镜竖直于地心的方向轴的夹角信息的陀螺仪。

通过本发明实施例提供的智能眼镜焦点跟踪方法、装置及智能眼镜、存储介质，可以向用户播报视野中激光落点处的物体，避免了将视野中的物体全部播报出来，并能进一步提示用户物体的方位，便于用户跟踪物体，提高用户的使用体验。

附图中的流程图和框图，图示了按照本公开各种实施例的方法、装置和运算机可读存储介质的可能实现的体系架构、功能和操作。应当注意，流程图中的每个方框所表示的步骤未必按照标号所示的顺序进行，有时可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的硬件来实现，或者可以用硬件与运算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。

通过以上对实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该运算机软件产品可以存储在运算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台运算机设备(可以是个人运算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种智能眼镜焦点跟踪方法，其特征在于，包括：

采集图像并检测图像中的激光落点；

识别图像中激光落点处的物体；

向用户播报所述激光落点处的物体。

2.如权利要求1所述的方法，其特征在于，还包括：

识别图像中激光落点处周围设定区域中的物体；

向用户播报所述激光落点处周围设定区域中的物体。

3.如权利要求2所述的方法，其特征在于，还包括：

当图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部，或者提示用户图像中激光落点处或其周围设定区域中不存在物体。

4.如权利要求3所述的方法，其特征在于，所述当图像中激光落点处或其周围设定区域中不存在物体时，提示用户转动头部，具体包括：

当图像中激光落点处或其周围设定区域中不存在物体时，确定图像中物体所在的方位，并提示用户向物体所在的方位转动头部。

5.如权利要求3所述的方法，其特征在于，还包括：

当用户转动头部时，根据物体靠近激光落点处或其周围设定区域的程度，变化提示声音。

6.如权利要求1所述的方法，其特征在于，所述激光落点处设置在图像的中心区域中。

7.如权利要求1所述的方法，其特征在于，所述采集图像并检测图像中的激光落点，具体包括：

通过摄像头采集图像，并检测图像中的红外线激光点；或者

通过第一摄像头采集图像，通过第二摄像头检测激光落点位置，并根据预先设定的第一摄像头和第二摄像头的对应关系，确定激光落点在所采集的图像中的位置。

8.如权利要求1所述的方法，其特征在于，所述采集图像并检测图像中的激光落点之前，还包括：

确定所述智能眼镜的运动速度小于设定值。

9.一种智能眼镜焦点跟踪装置，其特征在于，包括：

采集单元，用于采集图像并检测图像中的激光落点；

识别单元，用于识别图像中激光落点处的物体；

播报单元，用于向用户播报所述激光落点处的物体。

10.一种智能眼镜，其特征在于，包括：

用于发射激光射线的激光发射器；

用于采集图像并检测图像中的激光落点的摄像装置；

用于识别图像中激光落点处的物体的处理器；

用于向用户播报所述激光点落点处的物体的语音播报装置；

所述处理器连接所述摄像装置和所述语音播报装置。

11.如权利要求10所述的智能眼镜，其特征在于，所述摄像装置具体包括：

第一摄像头，用于采集图像；

第二摄像头，用于检测激光落点；

所述处理器根据预先设置的第一摄像头和第二摄像头的对应关系，确定第二摄像头检测的激光落点在第一摄像头所采集的图像中的位置。

12.如权利要求10所述的智能眼镜，其特征在于，所述激光发射器发射激光射线的方向，指向所述摄像装置所采集图像的中心区域。

13.如权利要求10所述的智能眼镜，其特征在于，所述激光发射器具体为红外发射器。

14.如权利要求10所述的智能眼镜，其特征在于，所述语音播报装置，具体为耳机或扬声器。

15.如权利要求10所述的智能眼镜，其特征在于，还包括：

用于判断智能眼镜运动状态的惯性传感器组件，该惯性传感器组件连接所述处理器。

16.如权利要求15所述的智能眼镜，其特征在于，所述惯性传感器组件包括如下之一或组合：

用于确定智能眼镜运动速度的速度传感器；

用于确定智能眼镜运动速度的加速度传感器；

用于确定智能眼镜竖直于地心的方向轴的夹角信息的陀螺仪。

17.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如权利要求1-8所述的方法。

Images