CN116228748B - 一种基于眼动追踪的平衡功能分析方法和*** - Google Patents

一种基于眼动追踪的平衡功能分析方法和*** Download PDF

Info

Publication number
CN116228748B
CN116228748B CN202310483424.7A CN202310483424A CN116228748B CN 116228748 B CN116228748 B CN 116228748B CN 202310483424 A CN202310483424 A CN 202310483424A CN 116228748 B CN116228748 B CN 116228748B
Authority
CN
China
Prior art keywords
eye movement
visual angle
angle image
stc
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310483424.7A
Other languages
English (en)
Other versions
CN116228748A (zh
Inventor
庄建华
李斐
罗旭
屈寅弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zehnit Medical Technology Co ltd
Shanghai Changzheng Hospital
Original Assignee
Tianjin Zhiting Medical Technology Co ltd
Shanghai Changzheng Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhiting Medical Technology Co ltd, Shanghai Changzheng Hospital filed Critical Tianjin Zhiting Medical Technology Co ltd
Priority to CN202310483424.7A priority Critical patent/CN116228748B/zh
Publication of CN116228748A publication Critical patent/CN116228748A/zh
Application granted granted Critical
Publication of CN116228748B publication Critical patent/CN116228748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明请求保护一种基于眼动追踪的平衡功能分析方法和***，通过实时检测并输出眼动数据和视角图像数据；判断视角图像是否响应眼动，若响应，则视角图像采取持续跟随操作，若没有响应，则视角图像进行平衡性风险预警；在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈；根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度。本方案可以有效对用户的眼部运动特征进行实时采集抓取与分析，对用户进行准确地视线特征追踪分析并最终高效简洁地对用户的运动平衡性进行评估与分析，指导用户采取应急措施。

Description

一种基于眼动追踪的平衡功能分析方法和***
技术领域
本申请属于生物信号检测领域，具体的，涉及一种基于眼动追踪的平衡功能分析方法和***。
背景技术
人体的平衡是一门非常精密科学，其中牵涉到四种器官的复杂运作：视觉、本体感觉、内耳前庭以及小脑。视觉提供我们空间位置的概念，所以当我们闭起眼睛、或视力不佳时，平衡感就变差。本体感觉则是在四肢肌肉的神经末梢，可以感觉我们自身的位置、姿势、平衡等相关刺激，然后将讯息反射作用于肌肉组织，使运动处于协调状态。内耳则是包含耳蜗、半规管及前庭***，其中耳蜗是听觉器官，半规管及前庭则是人体的平衡***。
这些平衡器官在统合运作时，一切正常，一旦相互矛盾，就可能引发不适。眩晕是一种运动性或位置性幻觉，是体内病理、或生理性位置觉刺激与大脑高级感觉中枢的冲突，是人体平衡***功能紊乱的表现，包括患者自身旋转感或周围景物旋转感、摆动感、漂浮感、升降感及倾斜感等。而那些头重、昏昏沉沉的感觉及晕厥则不属于眩晕范畴。
而当前的晕眩检测一般通过眼部的视觉图像或眼动的情况单独进行，而现实情况是，单纯的依靠视觉图像或眼动情况无法准确识别出人员的晕眩实时情况以及后续的晕眩预测可能，极易出现检测失真的情况。
发明内容
为了解决当前的用户平衡性检测不准确的问题，根据本发明第一方面，本发明请求保护一种基于眼动追踪的平衡功能分析方法，其特征在于，包括：
实时检测并输出眼动数据和视角图像数据；
判断视角图像是否响应眼动，若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警；
在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈；
根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度。
进一步地，所述视角图像采取持续跟随操作包括：视角转动跟随或者视角平移跟随；
所述根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像采取持续跟随操作的情况下，确定眼动与视角图像平衡性不匹配的STC绣曲线；
在所述STC绣曲线的基础上，进一步确定眼动与视角图像的匹配平衡度；
其中，确定眼动与视角图像平衡性不匹配的STC绣曲线的步骤，包括：
确定眼动实时检测距离范围；
根据视角图像视角转动跟随速度、视角图像视角平移跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长；
根据视角图像初始速度和视角图像安全跟随眼动所需的最快时长计算视角图像跟随晕眩所需的时间，得到视角图像避免晕眩所需最短时间；
根据眼动到达预测晕眩点的时间和视角图像避免晕眩所需的最短时间，计算眼动与视角图像分别到达预测晕眩点的时间安全边界，所述时间安全边界为STC绣曲线。
进一步地，根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像不采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第一平衡不匹配区间；
在视角图像不采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第二平衡不匹配区间；
在视角图像采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第三平衡不匹配区间；以及
在视角图像采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第四平衡不匹配区间。
进一步地，在实时检测并输出眼动数据和视角图像数据的步骤之后，还包括：
在眼动瞬时修正以及眼动瞬时转向的情况下，确定第五平衡不匹配区间。
进一步地，采用以下公式计算眼动与视角图像平衡性不匹配的STC绣曲线：
Figure SMS_1
；
Figure SMS_2
；
Figure SMS_3
；
Figure SMS_4
；
Figure SMS_5
；
Figure SMS_6
；
Figure SMS_7
；
Figure SMS_10
代表眼动实时检测到的最远距离；/>
Figure SMS_15
代表眼动的追随运动速度；/>
Figure SMS_18
代表当前追随运动速度下眼动到达最远实时检测处的时间；/>
Figure SMS_9
代表眼动到达预测晕眩的时间，/>
Figure SMS_13
是一个变量；/>
Figure SMS_17
代表视角图像视角转动的跟随速度；/>
Figure SMS_20
代表视角图像变速运动的跟随速度；/>
Figure SMS_8
代表在视角图像视角转动跟随时，视角图像安全跟随眼动时所需要到达眼动中央的最快时长；/>
Figure SMS_12
代表在视角图像变速运动跟随时，视角图像安全跟随眼动时所需要距离眼动边缘的最快时长；EyeMargin代表眼动间距；/>
Figure SMS_16
代表视角图像开始跟随前的初始速度；/>
Figure SMS_19
代表在视角图像视角转动跟随时，视角图像安全跟随眼动所需的最短时间；/>
Figure SMS_11
代表在视角图像变速运动跟随时，视角图像安全跟随眼动所需的最短时间；/>
Figure SMS_14
代表眼动与视角图像平衡性不匹配的STC绣曲线。
进一步地，在视角图像不采取持续跟随操作，眼动不采取实时正向反馈的情况下，根据以下公式确定第一匹配平衡度：
Figure SMS_21
≤第一匹配平衡度≤
Figure SMS_22
；
Figure SMS_23
；
Figure SMS_24
；
Figure SMS_25
；
其中，
Figure SMS_26
代表眼动的追随运动速度；/>
Figure SMS_27
代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；/>
Figure SMS_28
代表在
Figure SMS_29
范围内，眼动在追随运动方向的第一追随运动范围；EyeMargin代表眼动间距；
Figure SMS_30
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第一最快时长；/>
Figure SMS_31
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第二最快时长。
进一步地，在视角图像不采取持续跟随操作，眼动采取瞬时修正的情况下，根据以下公式确定第二匹配平衡度：
Figure SMS_32
≤第一匹配平衡度≤/>
Figure SMS_33
；
Figure SMS_34
；
Figure SMS_35
；
Figure SMS_36
；
其中，
Figure SMS_37
代表眼动的追随运动速度；/>
Figure SMS_38
代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；pauseTime-max代表眼动最大修正追随运动停滞时长；/>
Figure SMS_39
代表在/>
Figure SMS_40
范围内，眼动在追随运动方向的第二追随运动范围；EyeMargin代表眼动间距；/>
Figure SMS_41
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第三最快时长；/>
Figure SMS_42
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第四最快时长。
根据本发明第二方面，本发明请求保护一种基于眼动追踪的平衡功能分析***，其特征在于，包括：
实时检测模块，实时检测并输出眼动数据和视角图像数据；
响应检测模块，判断视角图像是否响应眼动，若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警；
反馈模块，在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈；
平衡匹配模块，根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度。
进一步地，所述视角图像采取持续跟随操作包括：视角转动跟随或者视角平移跟随；
所述根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像采取持续跟随操作的情况下，确定眼动与视角图像平衡性不匹配的STC绣曲线；
在所述STC绣曲线的基础上，进一步确定眼动与视角图像的匹配平衡度；
其中，确定眼动与视角图像平衡性不匹配的STC绣曲线的步骤，包括：
确定眼动实时检测距离范围；
根据视角图像视角转动跟随速度、视角图像视角平移跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长；
根据视角图像初始速度和视角图像安全跟随眼动所需的最快时长计算视角图像跟随晕眩所需的时间，得到视角图像避免晕眩所需最短时间；
根据眼动到达预测晕眩点的时间和视角图像避免晕眩所需的最短时间，计算眼动与视角图像分别到达预测晕眩点的时间安全边界，所述时间安全边界为STC绣曲线；
根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像不采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第一平衡不匹配区间；
在视角图像不采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第二平衡不匹配区间；
在视角图像采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第三平衡不匹配区间；以及
在视角图像采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第四平衡不匹配区间；
在实时检测并输出眼动数据和视角图像数据的步骤之后，还包括：
在眼动瞬时修正以及眼动瞬时转向的情况下，确定第五平衡不匹配区间。
进一步地，采用以下公式计算眼动与视角图像平衡性不匹配的STC绣曲线：
Figure SMS_43
；
Figure SMS_44
；
Figure SMS_45
；
Figure SMS_46
；
Figure SMS_47
；
Figure SMS_48
；
Figure SMS_49
；
Figure SMS_52
代表眼动实时检测到的最远距离；/>
Figure SMS_55
代表眼动的追随运动速度；/>
Figure SMS_59
代表当前追随运动速度下眼动到达最远实时检测处的时间；/>
Figure SMS_51
代表眼动到达预测晕眩的时间，/>
Figure SMS_56
是一个变量；/>
Figure SMS_61
代表视角图像视角转动的跟随速度；/>
Figure SMS_62
代表视角图像变速运动的跟随速度；/>
Figure SMS_50
代表在视角图像视角转动跟随时，视角图像安全跟随眼动时所需要到达眼动中央的最快时长；/>
Figure SMS_54
代表在视角图像变速运动跟随时，视角图像安全跟随眼动时所需要距离眼动边缘的最快时长；EyeMargin代表眼动间距；/>
Figure SMS_58
代表视角图像开始跟随前的初始速度；/>
Figure SMS_60
代表在视角图像视角转动跟随时，视角图像安全跟随眼动所需的最短时间；/>
Figure SMS_53
代表在视角图像变速运动跟随时，视角图像安全跟随眼动所需的最短时间；/>
Figure SMS_57
代表眼动与视角图像平衡性不匹配的STC绣曲线；
在视角图像不采取持续跟随操作，眼动不采取实时正向反馈的情况下，根据以下公式确定第一匹配平衡度：
Figure SMS_63
≤第一匹配平衡度≤
Figure SMS_64
；
Figure SMS_65
；
Figure SMS_66
；
Figure SMS_67
；
其中，
Figure SMS_68
代表眼动的追随运动速度；/>
Figure SMS_69
代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；/>
Figure SMS_70
代表在
Figure SMS_71
范围内，眼动在追随运动方向的第一追随运动范围；EyeMargin代表眼动间距；
Figure SMS_72
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第一最快时长；/>
Figure SMS_73
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第二最快时长；
在视角图像不采取持续跟随操作，眼动采取瞬时修正的情况下，根据以下公式确定第二匹配平衡度：
Figure SMS_74
≤第一匹配平衡度≤/>
Figure SMS_75
；
Figure SMS_76
；
Figure SMS_77
；
Figure SMS_78
；
其中，
Figure SMS_79
代表眼动的追随运动速度；/>
Figure SMS_80
代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；pauseTime-max代表眼动最大修正追随运动停滞时长；/>
Figure SMS_81
代表在/>
Figure SMS_82
范围内，眼动在追随运动方向的第二追随运动范围；EyeMargin代表眼动间距；/>
Figure SMS_83
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第三最快时长；/>
Figure SMS_84
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第四最快时长。
本发明请求保护一种基于眼动追踪的平衡功能分析方法和***，通过实时检测并输出眼动数据和视角图像数据；判断视角图像是否响应眼动，若响应，则视角图像采取持续跟随操作，若没有响应，则视角图像进行平衡性风险预警；在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈；根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度。本方案可以有效对用户的眼部运动特征进行实时采集抓取与分析，对用户进行准确地视线特征追踪分析并最终高效简洁地对用户的运动平衡性进行评估与分析，指导用户采取应急措施。
附图说明
图1为本发明所涉及的一种基于眼动追踪的平衡功能分析方法的工作流程图；
图2为本发明所涉及的一种基于眼动追踪的平衡功能分析方法的第二工作流程图；
图3为本发明所涉及的一种基于眼动追踪的平衡功能分析***的结构模块图；
图4为本发明所涉及的一种眼动与视角图像平衡性不匹配的评测方法的工作流程图；
图5为本发明所涉及的一种眼动与视角图像平衡性不匹配的评测***的结构模块图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。
本申请涉及生物信号检测领域，提出了一种基于眼动和视角图像的持续跟随能力，识别眼动-视角图像交互过程中匹配平衡度的确定方法，该方法根据眼动追随运动状态和视角图像的运动状态，实时计算并判断视角图像是否处于眼动追随运动的危险区域，预测眼动-视角图像的平衡性不匹配。相对于传统的晕眩估计/评测方法，可以获取更精确的计算眼动-视角图像交互的匹配平衡度，为自动行进眼动的风险判定、决策操作提供依据。
眼动和视角图像作为道路老人看护参与者，在道路使用过程中两者会发生交互和冲突，受眼动和视角图像运动过程中惯性影响，在危险环境出现的时候，其运动状态不能在瞬间被控制以避免晕眩。因此，在一定的人物体交互的时间和空间范围内，眼动与视角图像直接的晕眩是无法避免的，存在平衡性不匹配的眼动-视角图像相对位置的区域，定义为眼动-视角图像匹配平衡度。在理解本申请时还需要了解另一个概念，晕眩发生时间(swoontime concur，简称STC)。STC是一个被广泛应用于眼动平衡性不匹配评估方面的参数，通常指眼动距离晕眩发生的时间，由眼动与危险处的相对距离与当前追随运动速度的比值获得。
本申请考虑到在危险人群行走过程中，视角图像的跟随能力。视角图像跟随能力指视角图像在发现危险时所采取的持续跟随能力。根据老人看护事故调查及试验结果表明，视角图像遇到危险时其跟随能力能够降低危险事故发生的风险。因此下述本申请中基于发明人进行的试验结果，对视角图像在跟随过程中的速度进行了量化，定义为视角图像的跟随能力。
请参阅图1，图1为本申请提供一种基于眼动追踪的平衡功能分析方法。
所述基于眼动追踪的平衡功能分析方法，包括：
S100，实时检测并输出眼动数据和视角图像数据。
所述眼动数据包括：眼动位置、眼动速度、眼动方向、眼动最大修正追随运动停滞时长和眼动最大不眨眼时长。所述视角图像数据包括：视角图像位置、视角图像速度、视角图像方向和视角图像视线方向。所述眼动数据和所述视角图像数据均可由物体载感知***获得。
S200，判断视角图像是否响应眼动。
本步骤中，视角图像跟随能力的激活取决于视角图像视线的方向，若视角图像视线的方向为检测到发出反馈信息的眼动，确认视角图像跟随能力被激活。若视角图像的视线方向未检测到发出反馈信息的眼动，则认为视角图像的跟随能力没有被激活，视角图像继续保持正常的运动操作。若视角图像响应眼动，则视角图像采取持续跟随操作。若视角图像没有响应眼动，则视角图像进行平衡性风险预警。在一个实施例中，视角图像采取的持续跟随操作包括：视角转动跟随或者视角平移跟随。当然基于本申请的核心设计思路还可以将更多的视角图像跟随操作设计到本方案中，以确定更加精确的匹配平衡度。
S300，在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈。
本步骤中，眼动采取的实时正向反馈包括但不限于正常追随运动、瞬时修正和瞬时转向。比如眼动采取的实时正向反馈还可以包括借助道路上的其他设施进行减速修正。
S400，根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度。
本步骤中，在视角图像是否采用持续跟随操作及眼动是否采取实时正向反馈的情况下，眼动与视角图像的匹配平衡度是不同的。可以理解，在视角图像采用持续跟随操作同时眼动采取实时正向反馈的情况下，眼动与视角图像的匹配平衡度会更小。
本实施例中，首先采用物体载实时检测***实时检测眼动数据和视角图像数据。进一步判断视角图像是否采取持续跟随操作以及眼动是否采取实时正向反馈。在不同的情况下分别计算眼动与视角图像的匹配平衡度。本实施例中，基于眼动追踪的平衡功能分析方法，同时考虑到了视角图像的持续跟随能力和眼动的实时正向反馈，对于眼动与视角图像平衡性不匹配的识别更加充分。本申请中，在不同的情况下确定有效的匹配平衡度，可以有效提高眼动与视角图像交互过程中视角图像的安全性及眼动追随运动的舒适性。通过判断视角图像是否响应眼动，可以对视角图像面对危险环境时的有效跟随操作进行分类和量化。另外，本实施例基于视角图像持续跟随操作识别眼动-视角图像交互过程中的匹配平衡度对自动行进眼动的安全性提升具有重要的意义。
在一个实施例中所述基于眼动追踪的平衡功能分析方法中，所述视角图像采取持续跟随操作包括：视角转动跟随或者视角平移跟随。
所述S400，参照图2，根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
S410，在视角图像采取持续跟随操作的情况下，计算眼动与视角图像分别到达预测晕眩点的时间安全边界，所述时间安全边界即为STC绣曲线。
本实施例中，确定的是未考虑眼动的跟随能力，在视角图像持续跟随的情况下，得出眼动与视角图像晕眩的STC绣曲线。本申请中，如果有需要还可以确定在考虑眼动的跟随能力，并且在视角图像持续跟随的情况下，得出眼动与视角图像晕眩的STC绣曲线。
在一个实施例中，确定眼动与视角图像平衡性不匹配的STC绣曲线的步骤，包括：
S411，确定眼动实时检测距离范围。
本步骤中，眼动实时检测距离范围可以通过物体载实时检测***进行实时检测获取。
S412，根据视角图像视角转动跟随速度、视角图像视角平移跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长。
本步骤中，分为两种情况进行运算。根据视角图像视角转动跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长，为第一距离。在根据视角图像视角平移跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长，为第二距离。
S413，根据视角图像初始速度和视角图像安全跟随眼动所需的最快时长计算视角图像晕眩时间的安全边界。
根据视角图像初始速度，结合上述S412中计算的得出的所述第一距离和所述第二距离，分别计算视角图像晕眩时间的第一安全边界和第二安全边界。所述第一安全边界和所述第二安全边界为晕眩时间的安全边界。
S414，根据眼动晕眩时间和视角图像晕眩时间的安全边界，计算眼动与视角图像平衡性不匹配的STC绣曲线。
本步骤中，根据所述第一安全边界、所述第二安全边界和眼动视角图像晕眩时间范围，确定眼动与视角图像平衡性不匹配的STC绣曲线。
本实施例中，给出了在不考虑眼动的跟随能力时，确定或者计算视角图像持续跟随能力下的STC安全包络范围的具体步骤。当然，还可以在考虑眼动的跟随能力时，确定或者计算视角图像持续跟随能力下的STC安全包络范围的具体步骤。
在一个实施例中，所述步骤S411-S414中，可以采用以下公式计算眼动与视角图像平衡性不匹配的STC绣曲线：
Figure SMS_85
；
Figure SMS_86
；
Figure SMS_87
；
Figure SMS_88
；
Figure SMS_89
；
Figure SMS_90
；
Figure SMS_91
；
Figure SMS_94
代表眼动实时检测到的最远距离；/>
Figure SMS_97
代表眼动的追随运动速度；/>
Figure SMS_100
代表当前追随运动速度下眼动到达最远实时检测处的时间；/>
Figure SMS_93
代表眼动到达预测晕眩的时间，/>
Figure SMS_98
是一个变量；/>
Figure SMS_102
代表视角图像视角转动的跟随速度；/>
Figure SMS_104
代表视角图像变速运动的跟随速度；/>
Figure SMS_92
代表在视角图像视角转动跟随时，视角图像安全跟随眼动时所需要到达眼动中央的最快时长；/>
Figure SMS_96
代表在视角图像变速运动跟随时，视角图像安全跟随眼动时所需要距离眼动边缘的最快时长；EyeMargin代表眼动间距；/>
Figure SMS_101
代表视角图像开始跟随前的初始速度；/>
Figure SMS_103
代表在视角图像视角转动跟随时，视角图像安全跟随眼动所需的最短时间；/>
Figure SMS_95
代表在视角图像变速运动跟随时，视角图像安全跟随眼动所需的最短时间；/>
Figure SMS_99
代表眼动与视角图像平衡性不匹配的STC绣曲线。
上述公式中出现的ne，是near-end的缩写，表示眼动靠近视角图像的一侧，叫中央。上述公式中出现的fe，是far-end的缩写，表示眼动远离视角图像的一侧，叫边缘。
在考虑视角图像和眼动在险态环境下，其持续跟随措施的是否触发来计算在实际老人看护环境中眼动与视角图像的相对安全距离。由于眼动与视角图像之间为动态的交互过程，眼动与视角图像的平衡性不匹配取决于眼动和视角图像当时的追随运动速度、追随运动方向、相对位置等数据。因此，本节为简要说明眼动-视角图像二维匹配平衡度的生成方法，以某一已知的人物体交互环境作为示例，计算该环境下的眼动-视角图像二维匹配平衡度。预期该环境为：眼动的追随运动速度vv＝60km/h，眼动实时检测到的视角图像在眼动的右前方。
在一个实施例中，所述S400，根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
第一、在视角图像不采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第一平衡不匹配区间。
在一个实施例中，在视角图像不采取持续跟随操作，眼动不采取实时正向反馈的情况下，根据以下公式确定第一匹配平衡度：
Figure SMS_105
≤第一匹配平衡度≤
Figure SMS_106
；
Figure SMS_107
；
Figure SMS_108
；
Figure SMS_109
；
其中，
Figure SMS_110
代表眼动的追随运动速度；/>
Figure SMS_111
代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；/>
Figure SMS_112
代表在
Figure SMS_113
范围内，眼动在追随运动方向的第一追随运动范围；EyeMargin代表眼动间距；
Figure SMS_114
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第一最快时长；/>
Figure SMS_115
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第二最快时长。
第二、在视角图像不采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第二平衡不匹配区间。
在一个实施例中，在视角图像不采取持续跟随操作，眼动采取瞬时修正的情况下，根据以下公式确定第二匹配平衡度：
Figure SMS_116
≤第一匹配平衡度≤/>
Figure SMS_117
；
Figure SMS_118
；
Figure SMS_119
；
Figure SMS_120
；
其中，
Figure SMS_121
代表眼动的追随运动速度；/>
Figure SMS_122
代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；pauseTime-max代表眼动最大修正追随运动停滞时长；/>
Figure SMS_123
代表在/>
Figure SMS_124
范围内，眼动在追随运动方向的第二追随运动范围；EyeMargin代表眼动间距；/>
Figure SMS_125
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第三最快时长；/>
Figure SMS_126
代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第四最快时长。
第三、在视角图像采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第三平衡不匹配区间。
第四、在视角图像采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第四平衡不匹配区间。
在一个实施例中，在实时检测并输出眼动数据和视角图像数据的步骤之后，还包括：在眼动瞬时修正以及眼动瞬时转向的情况下，确定第五平衡不匹配区间。
在一个实施例中，当考虑眼动的跟随能力时，所述眼动实时正向反馈包括眼动正常追随运动和眼动瞬时修正(眼动瞬时修正包括静止瞬时修正和瞬时行进)。可以根据眼动追随运动速度和眼动最大修正追随运动停滞时长，确定眼动的修正距离。或者可以根据所述眼动追随运动速度和眼动最大不眨眼时长，确定眼动的最小行进半径。
具体的，眼动修正追随运动停滞时长是指眼动在追随运动中迅速降低追随运动速度直至停物体的能力。
眼动最大不眨眼时长即检测行人眼动过程中，对行人的眨眼动作进行记录，获取到两次眨眼之间间隔最长的时长作为眼动最大不眨眼时长，用于表征用户是否出现注意力分散或眼部视觉涣散。
本实施例中，考虑了眼动的跟随能力，在所述眼动实时正向反馈包括眼动正常追随运动和眼动瞬时修正。而眼动瞬时修正有可以包括静止情况下的瞬时修正和行进时的瞬时修正。本实施例中，将眼动的跟随能力考虑进来，使得眼动与视角图像的匹配平衡度的确定可以更准确。
本实施例中，在计算所述第五平衡不匹配区间的过程中，本申请还明确了转向对风险降低的有效性。其中，眼动对危险环境通常采取修正操作，不能判断其修正和转向晕眩的风险。本实施例中，考虑了眼动实时正向反馈(静止情况下的瞬时修正和行进时的瞬时修正)，将眼动的跟随能力考虑进来，使得眼动与视角图像的匹配平衡度的确定可以更准确。
在本申请上述记载中，对视角图像面对危险环境时的有效跟随操作进行了分类和量化。并且，本申请综合考虑人-物体的跟随能力对风险区域进行划分。本申请的基于视角图像持续跟随操作识别眼动-视角图像交互过程中确定的匹配平衡度对自动行进眼动的安全性提升具有重要的意义。
在一个具体的实施例中，本申请的应用场景为具有主动实时检测能力的眼动上。该眼动可以检测自身眼动的数据包括：眼动的速度、修正追随运动停滞时长、不眨眼时长等数据。同时该眼动可以识别实时检测范围内的视角图像，并实时检测视角图像的位置、速度、移动方向及视线方向。上述眼动获得的数据作为输入，以眼动和视角图像的在危险态环境下的跟随能力作为计算参数，可在眼动追随运动过程中实时计算眼动与视角图像交互过程中的存在的平衡性不匹配。
在一个实施例中，本申请还提供一种基于眼动追踪的平衡功能分析***，参照图3，所述基于眼动追踪的平衡功能分析***包括：实时检测模块、第一分析判断模块、第二分析判断模块和运算模块。
实时检测模块，用于实时检测并输出眼动数据和视角图像数据。
第一分析判断模块，用于判断视角图像是否响应眼动。若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警。
第二分析判断模块，用于在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈。
运算模块，用于根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度。
本实施例中，基于眼动追踪的平衡功能分析***，同时考虑到了视角图像的持续跟随能力和眼动的实时正向反馈，对于眼动与视角图像平衡性不匹配的识别更加充分。本申请中，在不同的情况下确定有效的匹配平衡度，可以有效提高眼动与视角图像交互过程中视角图像的安全性及眼动追随运动的舒适性。通过判断视角图像是否响应眼动，可以对视角图像面对危险环境时的有效跟随操作进行分类和量化。另外，本实施例基于视角图像持续跟随操作识别眼动-视角图像交互过程中的匹配平衡度对自动行进眼动的安全性提升具有重要的意义。
请参阅图4，本申请还提供一种眼动与视角图像平衡性不匹配的评测方法，包括：
S10，实时检测并输出眼动数据和视角图像数据。
所述眼动数据包括：眼动位置、眼动速度、眼动方向、眼动最大修正追随运动停滞时长和眼动最大不眨眼时长；所述视角图像数据包括：视角图像位置、视角图像速度、视角图像方向和视角图像视线方向。
S20，判断视角图像是否响应眼动，若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警。
S30，在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别确定眼动与视角图像的匹配平衡度。
在一个实施例中，视角图像采取的持续跟随操作包括：视角转动跟随或者视角平移跟随。当然基于本申请的核心设计思路还可以将更多的视角图像跟随操作设计到本方案中，以确定更加精确的匹配平衡度。
S40，判断视角图像是否在所述匹配平衡度的范围内。
这里根据当前实时检测到的视角图像所在位置、眼动所在位置以及确定的所述匹配平衡度范围来进行判断。
S50，根据视角图像是否在所述匹配平衡度的范围内的判断结果，评测眼动与视角图像的平衡性不匹配。
若视角图像不在所述匹配平衡度的范围内，则眼动与视角图像的平衡性不匹配较低。若视角图像在所述匹配平衡度的范围内，则眼动与视角图像的平衡性不匹配较高。具体的，平衡性不匹配的概率可以结合上述实施例中得出的五种不同的匹配平衡度进行确定。比如，所述第五平衡不匹配区间的平衡性不匹配的概率最大，因为当视角图像处于所述第五匹配平衡度中时，无论眼动采取任何措施都不能避免晕眩。
在一个实施例中，在所述眼动与视角图像平衡性不匹配的评测方法中，在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别确定眼动与视角图像的匹配平衡度的步骤，还包括：
预期眼动是否采取实时正向反馈，所述眼动实时正向反馈包括眼动正常追随运动和眼动瞬时修正。其中，眼动瞬时修正又包括：静止瞬时修正和瞬时行进。
结合视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈，确定眼动与视角图像的匹配平衡度。
本实施例中，确定所述匹配平衡度的具体方法可以参考上述基于眼动追踪的平衡功能分析方法中的步骤进行确定，在此不再赘述。
本申请提供的所述眼动与视角图像平衡性不匹配的评测方法，明确了视角图像在危险环境下的持续跟随能力，生成的眼动-视角图像匹配平衡度考虑了视角图像位置、速度、持续跟随能力等因素的耦合影响，对眼动-视角图像平衡性不匹配的识别更加充分。
本申请提供的所述眼动与视角图像平衡性不匹配的评测方法，综合考虑眼动的修正和转向能力以及视角图像的跟随能力，提出了基于视角图像持续跟随能力的，多环境下的眼动-视角图像匹配平衡度生成方法。对于提高智能眼动对视角图像风险的识别具有重要意义，可以有效提高眼动-视角图像交互过程中视角图像的安全性及眼动追随运动的舒适性。
请参阅图5，本申请还提供一种眼动与视角图像平衡性不匹配的评测***100，包括：实时检测模块10、分析判断模块20、运算模块30和评测模块40。
所述实时检测模块10用于实时检测眼动数据和视角图像数据。
所述分析判断模块20与所述实时检测模块10连接。所述分析判断模块20用于判断视角图像是否响应眼动。若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警。
所述运算模块30与所述分析判断模块20连接。所述运算模块30用于在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别确定眼动与视角图像的匹配平衡度。
所述评测模块40与所述运算模块30连接。所述评测模块40用于根据视角图像是否在所述匹配平衡度的范围内，来评测眼动与视角图像的平衡性不匹配。
本实施例中，上述模块可以依托计算机程序实现，模块的具体硬件结构并不做具体的限定，能实现上述功能即可。本实施例中提供的所述眼动与视角图像平衡性不匹配的评测***100，可以执行所述眼动与视角图像平衡性不匹配的评测方法中的所有步骤。所述眼动与视角图像平衡性不匹配的评测***100也综合考虑眼动的修正和转向能力以及视角图像的跟随能力，提出了基于视角图像持续跟随能力的，多环境下的眼动-视角图像匹配平衡度生成方法。对于提高智能眼动对视角图像风险的识别具有重要意义，可以有效提高眼动-视角图像交互过程中视角图像的安全性及眼动追随运动的舒适性。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于眼动追踪的平衡功能分析方法，其特征在于，包括：
实时检测并输出眼动数据和视角图像数据；
判断视角图像是否响应眼动，若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警；
在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈；
根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度；
所述视角图像采取持续跟随操作包括：视角转动跟随或者视角平移跟随；
所述根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像采取持续跟随操作的情况下，确定眼动与视角图像平衡性不匹配的STC绣曲线；
在所述STC绣曲线的基础上，进一步确定眼动与视角图像的匹配平衡度；
其中，确定眼动与视角图像平衡性不匹配的STC绣曲线的步骤，包括：
确定眼动实时检测距离范围；
根据视角图像视角转动跟随速度、视角图像视角平移跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长；
根据视角图像初始速度和视角图像安全跟随眼动所需的最快时长计算视角图像跟随晕眩所需的时间，得到视角图像避免晕眩所需最短时间；
根据眼动到达预测晕眩点的时间和视角图像避免晕眩所需的最短时间，计算眼动与视角图像分别到达预测晕眩点的时间安全边界，所述时间安全边界为STC绣曲线。
2.根据权利要求1所述的基于眼动追踪的平衡功能分析方法，其特征在于，根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像不采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第一平衡不匹配区间；
在视角图像不采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第二平衡不匹配区间；
在视角图像采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第三平衡不匹配区间；以及
在视角图像采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第四平衡不匹配区间。
3.根据权利要求2所述的基于眼动追踪的平衡功能分析方法，其特征在于，在实时检测并输出眼动数据和视角图像数据的步骤之后，还包括：
在眼动瞬时修正以及眼动瞬时转向的情况下，确定第五平衡不匹配区间。
4.根据权利要求3所述的基于眼动追踪的平衡功能分析方法，其特征在于，采用以下公式计算眼动与视角图像平衡性不匹配的STC绣曲线：
Figure FDA0004282967620000021
{0≤STCvd≤STCvr}；
Figure FDA0004282967620000022
Figure FDA0004282967620000023
STCpb-ne(STCvd)＝Dpb-ne(STCvd)/Vpw；
STCpf-fe(STCvd)＝Dpf-fe(STCvd)/Vpw；
[STCvd，STCpf-fe]≤STCnoMatch-area≤[STCvd，STCpb-ne]；
Dvr代表眼动实时检测到的最远距离；Vv代表眼动的追随运动速度；STCvr代表当前追随运动速度下眼动到达最远实时检测处的时间；STCvd代表眼动到达预测晕眩的时间，STCvd是一个变量；Vpb代表视角图像视角转动的跟随速度；vpf代表视角图像变速运动的跟随速度；Dpb-ne代表在视角x像视角转动跟随时，视角图像安全跟随眼动时所需要到达眼动中央的最快时长；Dpf-fe代表在视角图像变速运动跟随时，视角图像安全跟随眼动时所需要距离眼动边缘的最快时长；EyeMargin代表眼动间距；Vpw代表视角图像开始跟随前的初始速度；STCpb-ne代表在视角图像视角转动跟随时，视角图像安全跟随眼动所需的最短时间；STCpf-fe代表在视角图像变速运动跟随时，视角图像安全跟随眼动所需的最短时间；STCnoMatch-area代表眼动与视角图像平衡性不匹配的STC绣曲线。
5.根据权利要求4所述的基于眼动追踪的平衡功能分析方法，其特征在于，在视角图像不采取持续跟随操作，眼动不采取实时正向反馈的情况下，根据以下公式确定第一匹配平衡度：[Dv-1，Dp-1-fe]≤第一匹配平衡度≤[Dv-1，Dp-1-ne]；
Figure FDA0004282967620000031
Figure FDA0004282967620000032
Figure FDA0004282967620000033
其中，Vv代表眼动的追随运动速度；STCvd代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；Dv-1代表在STCvd范围内，眼动在追随运动方向的第一追随运动范围；EyeMargin代表眼动间距；Dp-1-ne代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第一最快时长；Dp-1-fe代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第二最快时长。
6.根据权利要求5所述的基于眼动追踪的平衡功能分析方法，其特征在于，在视角图像不采取持续跟随操作，眼动采取瞬时修正的情况下，根据以下公式确定第二匹配平衡度：
[Dv-2，Dp-2-fe]≤第二匹配平衡度≤[Dv-2，Dp-2-ne]；
Figure FDA0004282967620000034
Figure FDA0004282967620000035
Figure FDA0004282967620000041
其中，Vv代表眼动的追随运动速度；STCvd代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；pauseTime-max代表眼动最大修正追随运动停滞时长；Dv-2代表在STCvd范围内，眼动在追随运动方向的第二追随运动范围；EyeMargin代表眼动间距；Dp-2-ne代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第三最快时长；Dp-2-fe代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第四最快时长。
7.一种基于眼动追踪的平衡功能分析***，其特征在于，包括：
实时检测模块，实时检测并输出眼动数据和视角图像数据；
响应检测模块，判断视角图像是否响应眼动，若视角图像响应眼动，则视角图像采取持续跟随操作，若视角图像没有响应眼动，则视角图像进行平衡性风险预警；
反馈模块，在视角图像采取持续跟随操作和视角图像不采取持续跟随操作的情况下，分别进一步预期眼动是否采取实时正向反馈；
平衡匹配模块，根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度；
所述视角图像采取持续跟随操作包括：视角转动跟随或者视角平移跟随；
所述根据视角图像是否采取持续跟随操作的判断结果和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像采取持续跟随操作的情况下，确定眼动与视角图像平衡性不匹配的STC绣曲线；
在所述STC绣曲线的基础上，进一步确定眼动与视角图像的匹配平衡度；
其中，确定眼动与视角图像平衡性不匹配的STC绣曲线的步骤，包括：
确定眼动实时检测距离范围；
根据视角图像视角转动跟随速度、视角图像视角平移跟随速度和眼动间距计算视角图像安全跟随眼动所需的最快时长；
根据视角图像初始速度和视角图像安全跟随眼动所需的最快时长计算视角图像跟随晕眩所需的时间，得到视角图像避免晕眩所需最短时间；
根据眼动到达预测晕眩点的时间和视角图像避免晕眩所需的最短时间，计算眼动与视角图像分别到达预测晕眩点的时间安全边界，所述时间安全边界为STC绣曲线；
根据视角图像是否采取持续跟随操作和眼动是否采取实时正向反馈的预期结果，确定眼动与视角图像的匹配平衡度的步骤包括：
在视角图像不采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第一平衡不匹配区间；
在视角图像不采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第二平衡不匹配区间；
在视角图像采取持续跟随操作同时眼动不采取实时正向反馈的情况下，确定第三平衡不匹配区间；以及
在视角图像采取持续跟随操作同时眼动采取瞬时修正的情况下，确定第四平衡不匹配区间；
在实时检测并输出眼动数据和视角图像数据的步骤之后，还包括：
在眼动瞬时修正以及眼动瞬时转向的情况下，确定第五平衡不匹配区间。
8.根据权利要求7所述的基于眼动追踪的平衡功能分析***，其特征在于，采用以下公式计算眼动与视角图像平衡性不匹配的STC绣曲线：
Figure FDA0004282967620000051
{0≤STCvd≤STCvr}；
Figure FDA0004282967620000052
Figure FDA0004282967620000053
STCpb-ne(STCvd)＝Dpb-ne(STCvd)/Vpw；
STCpf-fe(STCvd)＝Dpf-fe(STCvd)/Vpw；
[STCvd，STCpf-fe]≤STCnoMatch-area≤[STCvd，STCpb-ne]；
Dvr代表眼动实时检测到的最远距离；Vv代表眼动的追随运动速度；STCvr代表当前追随运动速度下眼动到达最远实时检测处的时间；STCvd代表眼动到达预测晕眩的时间，STCvd是一个变量；vpb代表视角图像视角转动的跟随速度；vpf代表视角图像变速运动的跟随速度；Dpb-ne代表在视角图像视角转动跟随时，视角图像安全跟随眼动时所需要到达眼动中央的最快时长；Dpf-fe代表在视角图像变速运动跟随时，视角图像安全跟随眼动时所需要距离眼动边缘的最快时长；EyeMargin代表眼动间距；Vpw代表视角图像开始跟随前的初始速度；STCpb-ne代表在视角图像视角转动跟随时，视角图像安全跟随眼动所需的最短时间；STCpf-fe代表在视角图像变速运动跟随时，视角图像安全跟随眼动所需的最短时间；STCnoMatch-area代表眼动与视角图像平衡性不匹配的STC绣曲线；
在视角图像不采取持续跟随操作，眼动不采取实时正向反馈的情况下，根据以下公式确定第一匹配平衡度：[Dv-1，Dp-1-fe]≤第一匹配平衡度≤[Dv-1，Dp-1-ne]；
Figure FDA0004282967620000061
Figure FDA0004282967620000062
Figure FDA0004282967620000063
其中，vv代表眼动的追随运动速度；STCvd代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；Dv-1代表在STCvd范围内，眼动在追随运动方向的第一追随运动范围；EyeMargin代表眼动间距；Dp-1-ne代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第一最快时长；Dp-1-fe代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第二最快时长；
在视角图像不采取持续跟随操作，眼动采取瞬时修正的情况下，根据以下公式确定第二匹配平衡度：
[Dv-2，Dp-2-fe]≤第二匹配平衡度≤[Dv-2，Dp-2-ne]；
Figure FDA0004282967620000071
Figure FDA0004282967620000072
Figure FDA0004282967620000073
其中，vv代表眼动的追随运动速度；STCvd代表眼动到达预测晕眩点的时间；EyeSpeed代表实际运动场景中眼动实时检测到的视角图像当前的运动速度；pauseTime-max代表眼动最大修正追随运动停滞时长；Dv-2代表在STCvd范围内，眼动在追随运动方向的第二追随运动范围；EyeMargin代表眼动间距；Dp-2-ne代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动中央的第三最快时长；Dp-2-fe代表视角图像以EyeSpeed的速度运动时，视角图像安全跟随眼动时所需要距离眼动边缘的第四最快时长。
CN202310483424.7A 2023-05-04 2023-05-04 一种基于眼动追踪的平衡功能分析方法和*** Active CN116228748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310483424.7A CN116228748B (zh) 2023-05-04 2023-05-04 一种基于眼动追踪的平衡功能分析方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310483424.7A CN116228748B (zh) 2023-05-04 2023-05-04 一种基于眼动追踪的平衡功能分析方法和***

Publications (2)

Publication Number Publication Date
CN116228748A CN116228748A (zh) 2023-06-06
CN116228748B true CN116228748B (zh) 2023-07-14

Family

ID=86584625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310483424.7A Active CN116228748B (zh) 2023-05-04 2023-05-04 一种基于眼动追踪的平衡功能分析方法和***

Country Status (1)

Country Link
CN (1) CN116228748B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015058246A (ja) * 2013-09-20 2015-03-30 大日本印刷株式会社 視線分析システム
CN107656613A (zh) * 2017-09-08 2018-02-02 国网山东省电力公司电力科学研究院 一种基于眼动追踪的人机交互***及其工作方法
CN111949131A (zh) * 2020-08-17 2020-11-17 陈涛 一种基于眼动追踪技术的眼动交互方法、***及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769177B1 (ko) * 2012-10-09 2017-08-18 한국전자통신연구원 시선 추적 장치 및 방법
JP2017529891A (ja) * 2014-08-04 2017-10-12 ニューヨーク ユニバーシティ 薬物使用、薬物乱用および昏睡、核間性眼筋麻痺、注意欠陥多動性障害（ａｄｈｄ）、慢性外傷性脳症、統合失調症スペクトラム障害、およびアルコール摂取を診断、評価、または定量化するための方法およびキット
CN112578903A (zh) * 2019-09-30 2021-03-30 托比股份公司 眼动追踪方法、眼动追踪器以及计算机程序
CN114615484B (zh) * 2022-03-08 2022-11-01 常山县亿思达电子有限公司 一种基于视网膜监视的视域跟踪定位***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015058246A (ja) * 2013-09-20 2015-03-30 大日本印刷株式会社 視線分析システム
CN107656613A (zh) * 2017-09-08 2018-02-02 国网山东省电力公司电力科学研究院 一种基于眼动追踪的人机交互***及其工作方法
CN111949131A (zh) * 2020-08-17 2020-11-17 陈涛 一种基于眼动追踪技术的眼动交互方法、***及设备

Also Published As

Publication number Publication date
CN116228748A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
JP6343808B2 (ja) 視野算出装置および視野算出方法
JP6591085B2 (ja) 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
EP2893867B1 (en) Detecting visual inattention based on eye convergence
EP1721782B1 (en) Driving support equipment for vehicles
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
US11603104B2 (en) Driver abnormality determination system, method and computer program
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
JP7342638B2 (ja) 運転者状態検出装置
KR101978548B1 (ko) 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체
US20210316737A1 (en) Driver abnormality determination apparatus, method and computer program
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
CN116228748B (zh) 一种基于眼动追踪的平衡功能分析方法和***
WO2019175922A1 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
US20210316736A1 (en) Driver abnormality determination apparatus, method and computer program
KR102224209B1 (ko) 사시각 측정 장치 및 방법
JP5321951B2 (ja) 運転負担判定装置
JP7415459B2 (ja) 車両制御装置及び運転者状態判定方法
JP7298509B2 (ja) 状態推定装置
JP7415460B2 (ja) 車両制御装置及び運転者状態判定方法
Ueno et al. A noncontact measurement of saccadic eye movement with two high-speed cameras
JP7318560B2 (ja) 状態推定装置
JP7298510B2 (ja) 状態推定装置
KR20240084221A (ko) 운전자의 뇌졸증 전조증상을 검출하기 위한 장치 및 방법
JP2023022410A (ja) 運転者状態判定方法及びその判定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240611

Address after: Room 101, 1st floor, No.27 Lane 908, Ziping Road, Pudong New Area, Shanghai, 200120

Patentee after: SHANGHAI ZEHNIT MEDICAL TECHNOLOGY Co.,Ltd.

Country or region after: China

Patentee after: SHANGHAI CHANGZHENG Hospital

Address before: 7-4161, No. 22 Erwei Road, Economic and Technological Development Zone, Dongli District, Tianjin, 300000

Patentee before: TIANJIN ZHITING MEDICAL TECHNOLOGY CO.,LTD.

Country or region before: China

Patentee before: SHANGHAI CHANGZHENG Hospital