CN112839162B - 一种调整眼睛显示位置的方法、装置、终端及存储介质 - Google Patents

一种调整眼睛显示位置的方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN112839162B
CN112839162B CN201911167411.9A CN201911167411A CN112839162B CN 112839162 B CN112839162 B CN 112839162B CN 201911167411 A CN201911167411 A CN 201911167411A CN 112839162 B CN112839162 B CN 112839162B
Authority
CN
China
Prior art keywords
determining
pupil
user
standard
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911167411.9A
Other languages
English (en)
Other versions
CN112839162A (zh
Inventor
林哲
路伟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qixin Yiwei Shenzhen Technology Co ltd
Beijing 7Invensun Technology Co Ltd
Original Assignee
Qixin Yiwei Shenzhen Technology Co ltd
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qixin Yiwei Shenzhen Technology Co ltd, Beijing 7Invensun Technology Co Ltd filed Critical Qixin Yiwei Shenzhen Technology Co ltd
Priority to CN201911167411.9A priority Critical patent/CN112839162B/zh
Publication of CN112839162A publication Critical patent/CN112839162A/zh
Application granted granted Critical
Publication of CN112839162B publication Critical patent/CN112839162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种调整眼睛显示位置的方法、装置、终端及存储介质,该方法包括:获取用户头部图像;基于所述头部图像中的瞳孔坐标确定校准线;基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,因此当用户眼睛发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,也降低了护理人员或家属的护理压力。

Description

一种调整眼睛显示位置的方法、装置、终端及存储介质
技术领域
本发明实施例涉及眼球追踪技术领域,尤其涉及一种调整眼睛显示位置的方法、装置、终端及存储介质。
背景技术
当疾病或者损伤,导致丧失了语言能力或使用电脑的能力,四肢受伤的患病用户群体需要控制计算机或者沟通时,因为行为的限制,需要使用眼控仪。眼控仪可以精确的捕捉并追踪用户的眼部特征和注视方向,以实现使用眼睛控制计算机鼠标的结果。
眼控操作前需要进行校准,使用中如果用户的位置与校准位置保持一致,则使用效果较好,如果操作过程中位置与校准时的位置产生较大幅度的偏差位移,则会影响使用质量。由于用户无法控制四肢进行任何操作,同时也无法通过语言与他人交流沟通,长期处于坐立或卧床的状态,需要家属或护理人员长期照顾,病人无法自主控制颈部或坐卧的姿势。
但是,在眼控仪的使用中,用户的头颈部会出现不自主的歪斜,当用户觉得位置变了不准确时,无法呼叫他人帮忙,即使护理人员帮忙扶正,使用过程中依然会倾斜,依然影响使用。当用户的头部倾斜到一定的幅度后就会影响甚至无法使用,当病人发现此情况后已经无法呼叫护理人员了,而护理人员也无法主动得知此状态,所以无法为用户进行调整,最终影响病人使用,影响心情,影响病情。
发明内容
本发明提供一种调整眼睛显示位置的方法、装置、终端及存储介质,以实现眼控仪调节位置时简单、准确操作。
第一方面,本发明实施例提供了一种调整眼睛显示位置的方法,所述调整眼睛显示位置的方法包括:
获取用户头部图像;
基于所述头部图像确定图像中的瞳孔坐标并确定校准线;
基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。
第二方面,本发明实施例还提供了一种调整眼睛显示位置的装置,该调整眼睛显示位置的装置包括:
获取模块,用于获取用户头部图像;
确定模块,用于基于所述头部图像确定图像中的瞳孔坐标并确定校准线;
调整模块,用于基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。
第三方面,本发明实施例还提供了一种终端,该终端包括:
通信模块,与眼动仪的支架通信连接,用于发送调整指令至所述支架;
一个或多个处理器,与所述通信模块电连接,用于发送调整指令至所述通信模块;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例中任一所述的一种调整眼睛显示位置的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例中任一所述的一种调整眼睛显示位置的方法。
本发明通过获取用户头部图像;基于所述头部图像中的瞳孔坐标确定校准线;基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,因此当用户眼睛发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,也降低了护理人员或家属的护理压力。
附图说明
图1是本发明实施例一中的一种调整眼睛显示位置的方法的流程图;
图2是本发明实施例二中的一种调整眼睛显示位置的方法的流程图;
图3是本发明实施例二中的一种确定判断区域的流程图;
图4是本发明实施例二中的一种标准校准图像;
图5是本发明实施例二中的左瞳孔与判断区域左边缘重合的示意图;
图6是本发明实施例二中的右瞳孔与判断区域右边缘重合的示意图;
图7是本发明实施例二中的用户头部左倾斜的示意图;
图8是本发明实施例二中的用户头部右倾斜的示意图;
图9是本发明实施例二中的一种调整眼睛显示位置的流程图;
图10是本发明实施例三中的一种调整眼睛显示位置的装置的结构图;
图11是本发明实施例四中的一种终端的结构示意图;
图12是本发明实施例四中的一种支架结构示意图;
图13是本发明实施例四中的一种支架结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种调整眼睛显示位置的方法的流程图,本实施例可适用于调整眼睛显示位置的情况,该方法可以由一种调整眼睛显示位置的装置来执行,具体包括如下步骤:
步骤11、获取用户头部图像。
其中,用户具体可以理解为使用眼控仪的人;头部图像具体可以理解为包含用户眼睛的用户图像。
具体的,获取用户头部图像的方式可以是通过摄像机拍摄,将拍摄到的用户图像通过图像算法进行识别,最终识别出带有用户眼睛的头部图像。
步骤12、基于所述头部图像确定图像中的瞳孔坐标并确定校准线。
其中,瞳孔坐标具体可以理解为用户瞳孔映射在屏幕坐标系内的坐标;校准线具体可以理解为调整眼睛显示位置时作为调整基准的一条线。
具体的,首先从用户头部图像中识别出用户的眼睛,并进一步根据图像算法进一步识别出瞳孔的位置,瞳孔坐标的确定方式可以是在屏幕中建立直角坐标系,用户的瞳孔映射在屏幕中坐标系内,从而确定用户的瞳孔坐标;校准线的确定方式可以是根据两个瞳孔坐标确定一条线段,将其作为校准线。
步骤13、基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置。
其中,调整策略具体可以理解为调整眼控仪的位置的方式;调整指令具体可以理解为与调整策略对应的可以调整眼控仪的位置的指令;设定标准位置具体可以理解为预先设定的正常情况下用户眼睛应该处于的位置。示例性的,若眼控仪固定于支架上,则可以通过调整指令控制支架沿X、Y或Z三个方向中的至少一个方向进行调整,进而调整眼控仪的位置。
具体的,调整策略可以是逆时针旋转、顺时针旋转、向左旋转和向右旋转等等;调整策略的确定方式可以是根据校准线,判断用户双眼是否发生倾斜、后移等情况,若确定用户双眼发生倾斜或后移,则根据校准线确定用户调整到正常情况下所需要进行的调整;图像采集装置可以是和显示装置一体设置在眼控仪上,在调整图像采集装置的同时需要连同眼控仪整体一块儿调整;图像采集装置也可以是和显示装置分开设置的,在调整时只需要调整图像采集装置,而显示装置并不需要调整。
本发明通过获取用户头部图像;基于所述头部图像获取图像中的瞳孔坐标并确定校准线;基于所述校准线确定调整策略,生成所述调整策略对应的调整指令,以通过所述调整指令使所述用户头部图像中用户眼睛处于设定标准位置。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,使用户头部发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,降低护理人员的学习成本,也降低了护理人员或家属的护理压力。
实施例二
图2为本发明实施例二提供的一种调整眼睛显示位置的方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化,具体主要包括如下步骤:
步骤201、基于标准头部图像中的瞳孔坐标确定标准瞳孔距离和/或判断区域。
其中,标准头部图像具体可以理解为预先采集的用户在正常状态下的包含用户双眼的头部图像;标准瞳孔距离具体可以理解为标准头部图像中,用户两个瞳孔间的直线距离;判断区域具体可以理解为根据用户的双眼预先设定的区域;此区域包含用户双眼,但是并不是固定的,对于不同用户来说,此区域也不同。
具体的,标准瞳孔距离的确定方式可以是根据两个瞳孔间的坐标计算得到;判断区域的确定方式可以是根据用户的瞳孔坐标,确定一个包含用户双眼的区域。如果运动幅度达到或超过判断区域的边缘,定义为“幅度较大需要调整位置”,否则定义为“幅度不大无需调整位置”。
进一步地,图3提供了一种确定判断区域的流程图,所述基于标准头部图像中的瞳孔坐标确定判断区域,具体可以包括以下步骤:
步骤2011、基于所述标准头部图像,确定所述标准头部图像中瞳孔的坐标。
具体的,首先从标准头部图像中识别出用户的眼睛,并根据图像识别算法进一步识别出瞳孔,瞳孔坐标的确定方式可以是在屏幕中建立直角坐标系,用户的瞳孔映射在屏幕中坐标系内,从而确定用户的瞳孔坐标。
步骤2012、根据所述瞳孔的坐标结合第一预设距离确定所述判断区域的左边界和右边界。
其中,第一预设距离具体可以理解为根据实际情况以及需求设定的一个数值;为方便确定是否需要进行调整以及如何调整,判断区域优选为一个封闭图形,左边界具体可以理解为封闭图形的左边界,右边界具体可以理解为封闭图形的右边界。
具体的,确定所述判断区域的左边界和右边界的方式可以是将左瞳孔的横坐标值减去第一预设距离确定左边界横坐标值,以左边界横坐标值作为判断区域左边界;将右瞳孔的横坐标值加上第一预设距离确定右边界横坐标值,以右边界横坐标值作为判断区域右边界,根据左边界和右边界可以确定判断区域的长度。
步骤2013、将所述瞳孔的坐标连线作为标准线,根据所述标准线和第二预设距离确定所述判断区域的上边界和下边界。
其中,所述标准线具体可以理解为调整眼睛显示位置时作为确定眼睛是否发生偏移的一条线;第二预设距离具体可以理解为根据实际情况以及需求设定的一个数值;上边界具体可以理解为封闭图形的上边界,下边界具体可以理解为封闭图形的下边界。
具体的,将所述瞳孔的坐标连线作为标准线,标准线垂直方向为判断区域的上边界和下边界,在标准线垂直方向上以标准线为对称轴取第二预设距离长度,作为判断区域的高度值,并确定判断区域的上边界和下边界。
图4给出了一种标准校准图像,根据双眼瞳孔确定标准线,根据瞳孔坐标结合第一预设距离和第二预设距离确定判断区域。
步骤202、获取用户头部图像。
步骤203、获取所述用户头部图像中的瞳孔坐标。
步骤204、将所述瞳孔坐标之间的连线作为校准线。
具体的,获取到用户头部图像后,通过图像识别算法确定用户瞳孔,将用户瞳孔映射到屏幕的坐标系上,确定用户瞳孔坐标。将两个瞳孔进行连线,把连线作为校准线。
步骤205、比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略。
其中,焦距调整策略具体可以理解为图像采集装置改变焦距的大小。
具体的,通过比较校准线的长度和所述标准瞳孔距离的大小,可以确定焦距是否需要调整,以及需要进行什么样的调整。
进一步地,比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略,包括:当校准线的长度和标准瞳孔距离的差值的绝对值大于预设值时,确定调整策略为焦距调整。
其中,预设值具体可以理解为预先设定的数值,用来判断用户是否进行后移。
具体的,校准线的长度可以根据瞳孔坐标确定,当校准线长度小于标准瞳孔距离时,说明用户后移。但是用户后移距离在一定范围内时,不需要进行调整也可以准确识别用户眼睛。此时设定预设值可以在用户后移幅度小时,不进行重新聚焦,避免了不断聚焦的情况出现。
当用户与仪器之间的距离大于仪器使用距离的上限时,(不考虑距离下限,因为眼控使用如果距离太近,用户会看不到屏幕,所以没人那样使用,通常都是在使用中不知不觉的远离了设备,而且如果距离太近,镜头采集不到脸部特征的情况下,也无法识别到距离,所以只考虑超出使用距离上限,导致眼图捕捉不够清晰的现象),软件自动调节仪器的焦距,使用户的面部图像放大,达到初始校准时的图像效果。
步骤206、根据所述焦距调整策略,生成对应的焦距调整指令。
具体的,根据当前用户眼睛在屏幕中的显示,来确定采集到正常眼部图像时所需要的焦距大小;通过调整焦距大小使图像中的瞳孔清晰,可以被清楚采集到的。
步骤207、根据所述焦距调整指令调整所述图像采集装置的焦距。
具体的,焦距调整指令是根据眼睛调整到正常状态所需要的焦距大小来确定图像采集装置的焦距需要进行的大小调整。例如,当用户头部后移时两瞳孔距离小于所述标准瞳孔距离,并且两者差值的绝对值大于预设值时,缩小图像采集装置的焦距,使得人眼两瞳孔在图像中的距离再次等于标准瞳孔距离。
步骤208、在所述瞳孔坐标超出判断区域的情况下,根据所述瞳孔坐标与判断区域的位置关系确定位置调整策略。
具体的,当用户的瞳孔坐标超出判断区域,根据瞳孔坐标确定用户双眼位置和判断区域位置的关系,确定双眼移动回判断区域所需要进行的调整策略。例如左瞳孔坐标超过判断区域的左边界,说明头向左偏,此时调整策略为调整仪器也向左移动,如果右瞳孔坐标超过判断区域的右边界,说明头向右偏,此时调整策略为调整仪器也向右移动,根据瞳孔坐标和判断区域边界坐标确定瞳孔移动至判断区域内,此时停止移动,最终达到瞳孔坐标处于判断区域的效果。
步骤209、在所述瞳孔坐标未超出判断区域的情况下,确定校准线和标准线之间的第一夹角的第一度数。
其中,第一夹角具体可以理解为校准线和标准线之间的夹角,可以是锐角或者钝角;第一度数具体可以理解为第一夹角对应的度数。
步骤210、判断所述第一度数是否等于0°或180°。
步骤211、若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略。
具体的,当所述瞳孔坐标未超出判断区域时,根据校准线和标准线之间的夹角的度数确定此时双眼所处位置;当夹角度数为0°或180°时,说明此时校准线和标准线在水平方向重合,眼睛发生移动的方向只可能是左右移动,此时根据瞳孔坐标和判断区域可以确定用户双眼移动至判断区域所需要的进行的调整策略。
进一步地,所述根据所述瞳孔坐标和所述判断区域确定位置调整策略,包括:当所述瞳孔坐标位于所述判断区域的边界时,确定位置调整策略为平移所述图像采集装置。
具体的,当所述瞳孔坐标位于所述判断区域的边界时,用户双眼若想移动回判断区域,只需要进行平移即可。
图5给出了左瞳孔与判断区域左边缘重合的示意图,用户的左瞳孔处于判断区域的左边界,此时位置调整策略为向左平移图像采集装置,直至移动至图4所示的标准图像位置。图6给出了右瞳孔与判断区域右边缘重合的示意图,用户的右瞳孔处于判断区域的右边界,此时位置调整策略为向右平移图像采集装置,直至移动至图4所示的标准图像位置。
步骤212、否则,确定校准线和标准校准线之间的交点。
步骤213、基于所述交点以标准线为横轴建立平面直角坐标系,根据所述交点、左瞳孔和横轴负半轴确定第二夹角。
步骤214、基于所述瞳孔坐标确定所述第二夹角的第二度数。
步骤215、当所述第二度数在第三象限或四象限时,确定位置调整策略为原地逆时针旋转所述图像采集装置。
步骤216、当所述第二度数在第一象限或二象限时,确定位置调整策略为原地顺时针旋转所述图像采集装置。
具体的,当夹角度数不为0°或180°时,用户双眼发生倾斜,此时确定校准线和标准线之间的交点,以交点为原点、标准线为横轴建立平面直角坐标系,用户左瞳孔和原点之间的连线和横轴负半轴确定第二夹角,当第二夹角的第二度数在第三象限或者第四象限时,用户双眼发生的是左倾斜,此时确定调整策略为原地逆时针旋转图像采集装置;当所述第二度数在第一象限或二象限时,用户双眼发生的是右倾斜,此时确定位置调整策略为原地顺时针旋转图像采集装置。
图7给出了用户头部左倾斜的示意图,当夹角的位置处于标准线下方时,判断为向左倾斜。图8给出了用户头部右倾斜的示意图,当夹角的位置处于标准线上方时,判断为向右倾斜。
除了上述具体调整步骤之外,也可以使用其他调整步骤对人眼进行调整,例如当眼睛超出预设区域时,先进行左右倾斜判断,,先根据倾斜程度确定对应的调整策略,将其调整至水平方向,再判断瞳孔坐标是否位于所述判断区域的边界或者超出判断区域,确定对应的左右调整策略。
示例性的,图9提供了一种调整眼睛显示位置的流程图。在使用前首先确定眼睛的标准位置,开始使用时通过判断眼睛发生的位移幅度大小确定是否需要对眼控仪进行调整。当眼睛发生位移幅度小时,不进行调整;当眼睛发生位置幅度大时进行眼控仪位置调整,通过计算机程序计算出当前图像位置与校准时图像位置的关系,并计算出从当前图像位置回到校准时图像位置所需要进行的移动,由此对电机下达调整指令,电机根据指令驱动三脚架进行角度调整。
本发明通过获取用户头部图像;基于所述头部图像获取图像中的瞳孔坐标确定校准线;基于所述校准线确定调整策略,生成所述调整策略对应的调整指令,以通过所述调整指令使所述用户头部图像中用户眼睛处于设定校准位。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,使用户发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,降低了护理人员的学习成本,也降低了护理人员或家属的护理压力。
实施例三
图10为本发明实施例三提供的一种调整眼睛显示位置的装置的结构图,该装置包括:获取模块31、确定模块32和调整模块33。
其中,获取模块31,用于获取用户头部图像;确定模块32,用于基于所述头部图像确定图像中的瞳孔坐标并确定校准线;调整模块33,用于基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定校准位。
本发明通过获取模块获取用户头部图像;确定模块,基于所述头部图像确定图像中的瞳孔坐标确定校准线;调整模块,基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定校准位。解决用户在使用眼控仪过程中出现不自主歪斜而影响使用的问题,通过头部图像中的瞳孔坐标确定校准线而生成的调整策略对眼控仪进行自动调整,使用户发生倾斜时无需手动调整而继续使用眼控仪,降低了用户因为位移导致无法继续使用眼控仪的概率,提高了用户的使用感受,降低护理人员的学习成本,也降低了护理人员或家属的护理压力。
进一步地,确定模块32还包括:
第一单元,用于获取所述用户头部图像中的瞳孔坐标。
第二单元,将所述瞳孔坐标之间的连线作为校准线。
进一步地,该装置还包括,区域确定模块,用于基于标准头部图像中的瞳孔坐标确定标准瞳孔距离和/或判断区域。
进一步地,区域确定模块,包括:
坐标确定单元,用于基于所述标准头部图像,确定所述标准头部图像中瞳孔的坐标。
第一边界确定单元,用于根据所述瞳孔的坐标结合第一预设距离确定所述判断区域的左边界和右边界。
第二边界确定单元,用于将所述瞳孔的坐标连线作为标准线,根据所述标准线和第二预设距离确定所述判断区域的上边界和下边界。
进一步地,调整模块33,包括:
比较单元,用于比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略。
指令生成单元,用于根据所述焦距调整策略生成对应的焦距调整指令。
调整单元,用于根据所述焦距调整指令调整所述图像采集装置的焦距。
优选的,比较单元还用于当校准线的长度和标准瞳孔距离的差值的绝对值大于预设值时,确定调整策略为焦距调整。
优选的,调整模块33还用于在所述瞳孔坐标超出判断区域的情况下,根据所述瞳孔坐标与判断区域的位置关系确定位置调整策略。
优选的,调整模块33还用于在所述瞳孔坐标未超出判断区域的情况下,确定校准线和标准线之间的第一夹角的第一度数;判断所述第一度数是否等于0°或180°;若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略;否则,根据所述第一度数确定位置调整策略。
进一步地,所述根据所述瞳孔坐标和所述判断区域确定位置调整策略的方式可以是当所述瞳孔坐标位于所述判断区域的边界时,确定位置调整策略为平移所述图像采集装置。
进一步地,所述根据所述第一度数确定位置调整策略的方式可以是:确定校准线和标准线之间的交点;基于所述交点以标准线为横轴建立平面直角坐标系,根据所述交点、左瞳孔和横轴负半轴确定第二夹角;基于所述瞳孔坐标确定所述第二夹角的第二度数;根据所述第二度数确定位置调整策略。
进一步地,所述根据所述第二度数确定位置调整策略的方式可以是:当所述第二度数在第三象限或四象限时,确定位置调整策略为原地逆时针旋转所述图像采集装置;或者,当所述第二度数在第一象限或二象限时,确定位置调整策略为原地顺时针旋转所述图像采集装置。
本发明实施例所提供的一种调整眼睛显示位置的装置可执行本发明任意实施例所提供的一种调整眼睛显示位置的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图11为本发明实施例四提供的一种终端的结构示意图,如图11所示,该终端包括通信模块40,处理器41、存储器42、输入装置43和输出装置44;终端中处理器41的数量可以是一个或多个,图11中以一个处理器41为例;终端中的通信模块40、处理器41、存储器42、输入装置43和输出装置44可以通过总线或其他方式连接,图11中以通过总线连接为例。
通信模块40,与眼动仪的支架通信连接,用于发送调整指令至所述支架。
图12给出了一种支架结构示意图,包括眼控仪的三角支架和采集镜头,眼控仪的三角支架可以实现带着仪器在垂直方向上下调节,图中虚线标记的区域,此部件可以实现仪器原地180°顺逆时针旋转。图13给出了一种支架结构示意图,图中箭头指示的旋转方向,可以实现眼控仪水平方向左右旋转。
在支架上增加“电机”,由电机工作替代手动调节。控制单元方面,不通过传统的“手柄”或“遥控器”控制三脚架活动,使用“无线连接”的方式,透过计算机下达指令,可以通过采用蓝牙装置发出消息,三角支架端的蓝牙接收装置收到消息后,电机根据指令进行相关的活动。此支架如无线鼠标一样,带有一个蓝牙连接器,用于计算机与支架进行信息沟通。改造后的支架具有角度调节功能,分别为左右水平调节与上下垂直调节,改造后的支架带有的电机,可以实现电机操控支架进行左右水平调节与上下垂直调节,改造后的支架带有的蓝牙连接器可以接收到蓝牙发送的指令。电机配套的蓝牙接收装置接收到来自于配对的蓝牙发送装置的指令后,电机根据指令调整方向与角度。改造后的支架增加了电源,用于提供电机的电力以及蓝牙接收装置所需的电力。
电机接收根据图像下达的调整指令调整眼控仪的位置。例如,眼控三角支架被设定为4种调整方式,分别为原地逆时针旋转,指令代码0001;原地顺时针旋转,指令代码0002;中轴向左旋转,指令代码0003;中轴向右旋转,指令代码0004。
在使用中,当用户位置过于靠左,左眼已经达到“头动判断区域”左侧虚线,此时应用软件发出指令,通过配对的蓝牙设备向电机发指令0003,此指令通过连接于计算机的蓝牙装置传输至于三角支架的蓝牙接收装置,支架的电机根据事先设定好的0003对应指令执行动作操作,在中轴进行左旋转操作,从图像中的效果来看就是位于图像偏左的双眼逐渐回到图像的中部,直到全部回到与校准效果一样的图像位置。
在使用中,当用户头部向左侧歪达到或超过预期的角度,此时应用软件发出指令,通过配对的蓝牙设备向电机下发指令0001,此指令通过连接于计算机的蓝牙装置传输至于三角支架的蓝牙接收装置,支架的电机根据事先设定好的0001对应指令执行动作操作,逆时针旋转操作,从图像中的效果来看就是位于图像中偏左双眼逐渐回到图像的中部,直到全部回到与校准效果一样的图像位置。
在使用中,当用户的椅子往后推,导致用户脸部在图像中缩小,眼睛特征模糊,眼控仪和计算机通过USB线连接,此时软件通过瞳距的变化判断出距离变化,即自动调节焦距,使用户的脸部图像重新达到校准时脸部所在的区域和比例,使眼部特征可以重新被仪器顺利捕捉到。
存储器42作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的一种调整眼睛显示位置的方法对应的程序指令/模块(例如,一种调整眼睛显示位置的装置中的获取模块31、确定模块32和调整模块33)。处理器41通过运行存储在存储器42中的软件程序、指令以及模块,从而执行终端的各种功能应用以及数据处理,即实现上述的一种调整眼睛显示位置的方法。
存储器42可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器42可进一步包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息,以及产生与终端的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种调整眼睛显示位置的方法。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的一种调整眼睛显示位置的方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述一种调整眼睛显示位置的方法装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种调整眼睛显示位置的方法,其特征在于,包括:
获取用户头部图像;
基于所述头部图像确定图像中的瞳孔坐标并确定校准线;
基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置;
所述调整策略为平移所述图像采集装置、原地逆时针旋转所述图像采集装置或原地顺时针旋转所述图像采集装置;
在获取用户头部图像之前,还包括:
基于标准头部图像中的瞳孔坐标确定标准瞳孔距离和/或判断区域,所述标准头部图像中瞳孔的坐标连线为标准线;
所述基于所述校准线确定调整策略,包括:
在所述瞳孔坐标未超出判断区域的情况下,确定校准线和标准线之间的第一夹角的第一度数;
判断所述第一度数是否等于0°或180°;
若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略;
否则,根据所述第一度数确定位置调整策略。
2.根据权利要求1所述的方法,其特征在于,所述基于所述头部图像中的瞳孔坐标确定校准线,包括:
获取所述用户头部图像中的瞳孔坐标;
将所述瞳孔坐标之间的连线作为校准线。
3.根据权利要求1所述的方法,其特征在于,所述基于标准头部图像中的瞳孔坐标确定判断区域,包括:
基于所述标准头部图像,确定所述标准头部图像中瞳孔的坐标;
根据所述瞳孔的坐标结合第一预设距离确定所述判断区域的左边界和右边界;
将所述瞳孔的坐标连线作为标准线,根据所述标准线和第二预设距离确定所述判断区域的上边界和下边界。
4.根据权利要求1所述的方法,其特征在于,所述基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,包括:
比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略;
根据所述焦距调整策略生成对应的焦距调整指令;
根据所述焦距调整指令调整所述图像采集装置的焦距。
5.根据权利要求4所述的方法,其特征在于,所述比较所述校准线的长度和所述标准瞳孔距离,根据比较结果确定焦距调整策略,包括:
当校准线的长度和标准瞳孔距离的差值的绝对值大于预设值时,确定调整策略为焦距调整。
6.根据权利要求1所述的方法,其特征在于,所述基于所述校准线确定调整策略,包括:
在所述瞳孔坐标超出判断区域的情况下,根据所述瞳孔坐标与判断区域的位置关系确定位置调整策略。
7.根据权利要求1所述的方法,其特征在于,所述根据所述瞳孔坐标和所述判断区域确定位置调整策略,包括:
当所述瞳孔坐标位于所述判断区域的边界时,确定位置调整策略为平移所述图像采集装置。
8.根据权利要求1所述的方法,其特征在于,所述根据所述第一度数确定位置调整策略,包括:
确定校准线和标准线之间的交点;
基于所述交点以标准线为横轴建立平面直角坐标系,根据所述交点、左瞳孔和横轴负半轴确定第二夹角;
基于所述瞳孔坐标确定所述第二夹角的第二度数;
根据所述第二度数确定位置调整策略。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第二度数确定位置调整策略,包括:
当所述第二度数在第三象限或四象限时,确定位置调整策略为原地逆时针旋转所述图像采集装置;或者,
当所述第二度数在第一象限或二象限时,确定位置调整策略为原地顺时针旋转所述图像采集装置。
10.一种调整眼睛显示位置的装置,其特征在于,包括:
获取模块,用于获取用户头部图像;
确定模块,用于基于所述头部图像中的瞳孔坐标确定校准线;
调整模块,用于基于所述校准线确定调整策略,生成与所述调整策略对应的调整指令,以通过所述调整指令调整图像采集装置,使所述用户头部图像中用户眼睛处于设定标准位置;
所述调整策略为平移所述图像采集装置、原地逆时针旋转所述图像采集装置或原地顺时针旋转所述图像采集装置;
区域确定模块,用于基于标准头部图像中的瞳孔坐标确定标准瞳孔距离和/或判断区域,所述标准头部图像中瞳孔的坐标连线为标准线;
调整模块,还用于在所述瞳孔坐标未超出判断区域的情况下,确定校准线和标准线之间的第一夹角的第一度数;判断所述第一度数是否等于0°或180°;若是,则根据所述瞳孔坐标和所述判断区域确定位置调整策略;否则,根据所述第一度数确定位置调整策略。
11.一种终端,其特征在于,所述终端包括:
通信模块,与眼动仪的支架通信连接,用于发送调整指令至所述支架;
一个或多个处理器,与所述通信模块电连接,用于发送调整指令至所述通信模块;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN201911167411.9A 2019-11-25 2019-11-25 一种调整眼睛显示位置的方法、装置、终端及存储介质 Active CN112839162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911167411.9A CN112839162B (zh) 2019-11-25 2019-11-25 一种调整眼睛显示位置的方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911167411.9A CN112839162B (zh) 2019-11-25 2019-11-25 一种调整眼睛显示位置的方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112839162A CN112839162A (zh) 2021-05-25
CN112839162B true CN112839162B (zh) 2022-12-02

Family

ID=75922459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911167411.9A Active CN112839162B (zh) 2019-11-25 2019-11-25 一种调整眼睛显示位置的方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112839162B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117373402B (zh) * 2023-12-08 2024-02-20 深圳市华远显示器件有限公司 一种控制液晶显示屏显示方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323829A (zh) * 2011-07-29 2012-01-18 青岛海信电器股份有限公司 一种显示屏视角调整方法及显示设备
CN203027358U (zh) * 2013-01-21 2013-06-26 天津师范大学 一种自适应视线跟踪***
CN109976535A (zh) * 2019-05-05 2019-07-05 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238120A (zh) * 2013-12-04 2014-12-24 全蕊 智能眼镜及控制方法
CN105243362A (zh) * 2015-09-23 2016-01-13 努比亚技术有限公司 一种控制摄像头的装置及方法
CN110248091B (zh) * 2019-06-12 2021-06-04 Oppo广东移动通信有限公司 焦距调整方法及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323829A (zh) * 2011-07-29 2012-01-18 青岛海信电器股份有限公司 一种显示屏视角调整方法及显示设备
CN203027358U (zh) * 2013-01-21 2013-06-26 天津师范大学 一种自适应视线跟踪***
CN109976535A (zh) * 2019-05-05 2019-07-05 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112839162A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US12008723B2 (en) Depth plane selection for multi-depth plane display systems by user categorization
US10872472B2 (en) Systems for augmented reality visual aids and tools
US11789262B2 (en) Systems and methods for operating a head-mounted display system based on user identity
JP5887026B2 (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
CN100433789C (zh) 用于自动补偿移动通信终端的图像梯度的装置和方法
CN108881724B (zh) 一种图像获取方法、装置、设备及存储介质
CN109976535B (zh) 一种校准方法、装置、设备及存储介质
CN112839162B (zh) 一种调整眼睛显示位置的方法、装置、终端及存储介质
EP3008511A1 (en) Focal length adjustment
WO2010142455A2 (en) Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
CN109960412B (zh) 一种基于触控调整注视区域的方法以及终端设备
CN114816065A (zh) 屏幕背光的调节方法、虚拟现实设备以及可读存储介质
CN109917923B (zh) 基于***调整注视区域的方法以及终端设备
JP6637757B2 (ja) 眼調節機能支援システム
CN113641238A (zh) 一种控制方法、装置、终端设备、受控设备及存储介质
EP4086693A1 (en) Method, processing device and system for determining at least one centration parameter for aligning spectacle lenses in a spectacle frame to eyes of a wearer
US11797081B2 (en) Methods, devices and media for input/output space mapping in head-based human-computer interactions
KR20240029470A (ko) 디스플레이 디바이스 및 그 제어 방법
CN112835444A (zh) 眼控一体机使用角度的调整方法、装置、设备及存储介质
CN114431961B (zh) 医生控制台的控制方法及医生控制台
CN118113056A (zh) 一种智能升降桌的控制方法及智能升降桌
CN113434043A (zh) 控制翻页方法、装置、存储介质及电子装置
CN118182352A (zh) 车载化妆镜调节方法、车载化妆镜、设备、介质及车辆
CN113643438A (zh) 一种控制方法、装置、控制设备、目标设备及存储介质
CN116048251A (zh) Vr显示方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant