CN114615484B - 一种基于视网膜监视的视域跟踪定位*** - Google Patents

一种基于视网膜监视的视域跟踪定位*** Download PDF

Info

Publication number
CN114615484B
CN114615484B CN202210217987.7A CN202210217987A CN114615484B CN 114615484 B CN114615484 B CN 114615484B CN 202210217987 A CN202210217987 A CN 202210217987A CN 114615484 B CN114615484 B CN 114615484B
Authority
CN
China
Prior art keywords
image
retina
determining
evaluation index
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210217987.7A
Other languages
English (en)
Other versions
CN114615484A (zh
Inventor
刘美鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Estar Electronics Co ltd
Original Assignee
Estar Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Estar Electronics Co ltd filed Critical Estar Electronics Co ltd
Priority to CN202210217987.7A priority Critical patent/CN114615484B/zh
Publication of CN114615484A publication Critical patent/CN114615484A/zh
Application granted granted Critical
Publication of CN114615484B publication Critical patent/CN114615484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视网膜监视的视域跟踪定位***，包括：视网膜监视摄像模块，设置在正对眼球的隐形眼镜上；所述视网膜监视摄像模块的摄像视角与眼球视角保持同步；所述视网膜监视摄像模块，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；传输模块，分别与服务器、视网膜监视摄像模块连接，用于将所述视网膜监视摄像模块获取的视网膜图像传输至服务器。使得摄像视角与眼球视角保持一致，保证采集到的视网膜图像就是眼睛看到的实际图像，使得虚实图像融合精度高，畸变小，减少眩晕感。

Description

一种基于视网膜监视的视域跟踪定位***
技术领域
本发明涉及混合现实技术领域，特别涉及一种基于视网膜监视的视域跟踪定位***。
背景技术
由于传统混合现实眼镜是采用对眼球外部环境进行摄像采集的跟踪摄像头模式，摄像视角和眼球视角不一致以及两者的光学成像参数都不一致，使得采集到的环境图像和眼睛实际看到的图像差距很大，从而在虚拟图像叠加融合到现实图像时，融合误差较大，成像畸变大、眩晕感强。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于视网膜监视的视域跟踪定位***，使得摄像视角与眼球视角保持一致，保证采集到的视网膜图像就是眼睛看到的实际图像，使得虚实图像融合精度高，畸变小，减少眩晕感。
为达到上述目的，本发明实施例提出了一种基于视网膜监视的视域跟踪定位***，包括：
视网膜监视摄像模块，设置在正对眼球的隐形眼镜上；
所述视网膜监视摄像模块的摄像视角与眼球视角保持同步；
所述视网膜监视摄像模块，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
传输模块，分别与服务器、视网膜监视摄像模块连接，用于将所述视网膜监视摄像模块获取的视网膜图像传输至服务器。
根据本发明的一些实施例，还包括：眼球跟踪模块，用于捕捉眼球的注视方向和眼球在注视方向的停留时间信息，构建眼动轨迹，根据所述眼动轨迹确定用户状态。
根据本发明的一些实施例，所述眼球跟踪模块根据所述眼动轨迹确定用户状态，包括：
将所述眼动轨迹与数据库中的若干条预设眼动轨迹进行相似度计算；每条预设眼动轨迹对应一种用户状态；
确定相似度最高的预设眼动轨迹作为目标眼动轨迹；
将所述目标眼动轨迹对应的用户状态作为所述眼动轨迹对应的用户状态。
根据本发明的一些实施例，所述用户状态包括用户对于当前观看内容的感应趣的程度。
根据本发明的一些实施例，还包括：
预处理模块，用于在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行预处理。
根据本发明的一些实施例，所述预处理包括图像降噪处理及图像增强处理。
根据本发明的一些实施例，还包括：
图像质量检测模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，将所述视网膜图像分割成若干个子视网膜图像；
分别计算子视网膜图像的信噪比，计算出平均信噪比，作为第一评价指标；
筛选出信噪比小于预设信噪比的子视网膜图像，作为待处理图像；基于canny边缘检测算法对所述待处理图像进行边缘检测处理，确定每个待处理图像的边缘区域，获取边缘区域的梯度值，计算出平均梯度值，作为第二评价指标；
对所述视网膜图像进行光斑检测分析，根据光斑检测分析结果确定视网膜图像的运动模糊度，作为第三评价指标；
基于EVA点锐度算法函数对所述视网膜图像进行清晰度检测处理，得到图像清晰度，作为第四评价指标；
对所述第一评价指标、第二评价指标、第三评价指标及第四评价指标进行归一化处理；
根据归一化处理后的第一评价指标、第二评价指标、第三评价指标及第四评价指标，计算出评价分值，根据所述评价分值及预设规则，确定视网膜图像的图像质量等级，在确定所述图像质量等级小于预设质量等级时，发出报警提示。
根据本发明的一些实施例，还包括：
增强模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，将视网膜图像基于滤波器进行处理，得到第一图像；
根据所述视网膜图像及所述第一图像进行差分处理，得到第二图像；
获取所述第一图像中的像素点在R通道的第一灰度值、G通道的第二灰度值及B通道的第三灰度值；
确定第一图像中的同一像素点的第一灰度值、第二灰度值及第三灰度值中的最小值，并根据最小值生成暗图；
确定所述暗图中平均灰度值最大的区域，作为目标区域；将暗图中除所述目标区域外的其他区域分割成若干个与目标区域大小一致的待处理区域；
分别计算所述待处理区域的中心与所述目标区域的中心之间的距离，根据所述距离查询预设的距离-预设灰度值数据表，确定预设灰度值，根据所述预设灰度值及待处理区域的平均灰度值，确定第一调节系数；根据所述第一调节系数对相应的所述待处理区域进行调节，得到第一增强图像；
获取所述第二图像上像素点的灰度值，并确定各灰度值对应的像素点的数量，形成灰度值的直方图；
根据标准第二图像确定标准直方图；
确定所述直方图与所述标准直方图的差异参数，根据所述差异参数确定第二调节参数，根据所述第二调节参数对所述第二图像进行调节，得到第二增强图像；
将所述第一增强图像与所述第二增强图像进行自适应加权计算，得到增强后的视网膜图像。
根据本发明的一些实施例，还包括：监测模块，用于监测所述视网膜监视摄像模块的摄像视角与眼球视角是否保持同步，在确定不同步时，发出报警提示。
在一实施例中，还包括：压缩模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行分割，得到若干个块状图像，每一个块状图像对应一个图像矩阵，得到图像矩阵序列；
对所述若干个块状图像进行快速傅里叶变换处理，得到变换矩阵；
根据所述图像矩阵序列及所述变换矩阵，对所述块状图像进行压缩采样处理，得到采样数据；
将所述采样数据根据图像重建算法进行图像重建，得到重建图像；
根据所述采样数据确定对视网膜图像的采样率；
根据所述采样率、所述重建图像的大小及所述视网膜图像的大小，计算压缩评估值，并判断是否小于预设压缩评估值；
在确定所述压缩评估值小于预设压缩评估值时，发出报警提示。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的一种基于视网膜监视的视域跟踪定位***的示意图；
图2是根据本发明第一个实施例的一种基于视网膜监视的视域跟踪定位***的框图；
图3是根据本发明第二个实施例的一种基于视网膜监视的视域跟踪定位***的框图；
图4是根据本发明第三个实施例的一种基于视网膜监视的视域跟踪定位***的框图。
附图标记：
隐形眼镜支架1、视网膜监视摄像模块2、视网膜3。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1-2所示，本发明实施例提出了一种基于视网膜监视的视域跟踪定位***，包括：
视网膜监视摄像模块2，设置在正对眼球的隐形眼镜上；
所述视网膜监视摄像模块2的摄像视角与眼球视角保持同步；
所述视网膜监视摄像模块2，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
传输模块，分别与服务器、视网膜监视摄像模块2连接，用于将所述视网膜监视摄像模块2获取的视网膜图像传输至服务器。
上述技术方案的工作原理：视网膜监视摄像模块2，设置在正对眼球的隐形眼镜上；具体的，设置隐形眼镜支架1上。在所述视网膜监视摄像模块2的摄像视角与眼球视角保持同步；所述视网膜监视摄像模块2，用于对眼球底部的视网膜3进行摄像采集，获取视网膜图像；传输模块，分别与服务器、视网膜监视摄像模块2连接，用于将所述视网膜监视摄像模块2获取的视网膜图像传输至服务器。
上述技术方案的有益效果：使得摄像视角与眼球视角保持一致，保证采集到的视网膜图像就是眼睛看到的实际图像，使得虚实图像融合精度高，畸变小，减少眩晕感。
根据本发明的一些实施例，还包括：眼球跟踪模块，用于捕捉眼球的注视方向和眼球在注视方向的停留时间信息，构建眼动轨迹，根据所述眼动轨迹确定用户状态。
上述技术方案的有益效果：便于实现对用户状态的准确监控，便于根据用户的状态调节播放内容，提高用户体验。
根据本发明的一些实施例，所述眼球跟踪模块根据所述眼动轨迹确定用户状态，包括：
将所述眼动轨迹与数据库中的若干条预设眼动轨迹进行相似度计算；每条预设眼动轨迹对应一种用户状态；
确定相似度最高的预设眼动轨迹作为目标眼动轨迹；
将所述目标眼动轨迹对应的用户状态作为所述眼动轨迹对应的用户状态。
上述技术方案的工作原理：将所述眼动轨迹与数据库中的若干条预设眼动轨迹进行相似度计算；每条预设眼动轨迹对应一种用户状态；确定相似度最高的预设眼动轨迹作为目标眼动轨迹；将所述目标眼动轨迹对应的用户状态作为所述眼动轨迹对应的用户状态。
上述技术方案的有益效果：提高确定用户状态的准确性。
根据本发明的一些实施例，所述用户状态包括用户对于当前观看内容的感应趣的程度。
上述技术方案的工作原理及有益效果：所述用户状态包括用户对于当前观看内容的感应趣的程度。包括不感兴趣等级、一般感应趣等级、很感兴趣等级等。便于准确确定用户对于当前观看内容的感应趣的程度，便于及时调整播放内容。
根据本发明的一些实施例，还包括：
预处理模块，用于在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行预处理。
根据本发明的一些实施例，所述预处理包括图像降噪处理及图像增强处理。
如图3所示，根据本发明的一些实施例，还包括：
图像质量检测模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，将所述视网膜图像分割成若干个子视网膜图像；
分别计算子视网膜图像的信噪比，计算出平均信噪比，作为第一评价指标；
筛选出信噪比小于预设信噪比的子视网膜图像，作为待处理图像；基于canny边缘检测算法对所述待处理图像进行边缘检测处理，确定每个待处理图像的边缘区域，获取边缘区域的梯度值，计算出平均梯度值，作为第二评价指标；
对所述视网膜图像进行光斑检测分析，根据光斑检测分析结果确定视网膜图像的运动模糊度，作为第三评价指标；
基于EVA点锐度算法函数对所述视网膜图像进行清晰度检测处理，得到图像清晰度，作为第四评价指标；
对所述第一评价指标、第二评价指标、第三评价指标及第四评价指标进行归一化处理；
根据归一化处理后的第一评价指标、第二评价指标、第三评价指标及第四评价指标，计算出评价分值，根据所述评价分值及预设规则，确定视网膜图像的图像质量等级，在确定所述图像质量等级小于预设质量等级时，发出报警提示。
上述技术方案的工作原理：图像质量检测模块，用于：在所述传输模块将所述视网膜图像传输至服务器前，将所述视网膜图像分割成若干个子视网膜图像；分别计算子视网膜图像的信噪比，计算出平均信噪比，作为第一评价指标；基于若干个子视网膜图像的信噪比，计算出平均信噪比，将平均信噪比作为视网膜图像的信噪比，提高了确定视网膜图像的信噪比的准确性，基于第一评价指标作为评价整体图像质量的评价指标。筛选出信噪比小于预设信噪比的子视网膜图像，作为待处理图像；基于canny边缘检测算法对所述待处理图像进行边缘检测处理，确定每个待处理图像的边缘区域，获取边缘区域的梯度值，计算出平均梯度值，作为第二评价指标；对于信噪比小于预设信噪比的子视网膜图像，作为进一步评判的局部区域，进行进一步的细节检测，包括边缘区域提取及梯度值计算，基于第二评价指标作为评价局部图像质量的评价指标。对所述视网膜图像进行光斑检测分析，根据光斑检测分析结果确定视网膜图像的运动模糊度，作为第三评价指标；第三评价指标作为评价获取视网膜图像的运动状态的指标。基于EVA点锐度算法函数对所述视网膜图像进行清晰度检测处理，得到图像清晰度，作为第四评价指标；对所述第一评价指标、第二评价指标、第三评价指标及第四评价指标进行归一化处理；根据归一化处理后的第一评价指标、第二评价指标、第三评价指标及第四评价指标，计算出评价分值，根据所述评价分值及预设规则，确定视网膜图像的图像质量等级，在确定所述图像质量等级小于预设质量等级时，发出报警提示。预设规则为评价分值与图像质量等级的对应关系。
上述技术方案的有益效果：基于归一化处理后的第一评价指标、第二评价指标、第三评价指标及第四评价指标，综合分析图像的整体质量、局部质量、运动模糊度、图像清晰度等指标，实现综合分析，保证评价的客观性及准确性，准确的确定图像质量等级，在确定所述图像质量等级小于预设质量等级时，发出报警提示，便于对视网膜图像的质量进行提高处理。
在一实施例中，根据归一化处理后的第一评价指标、第二评价指标、第三评价指标及第四评价指标，计算出评价分值，包括：
S＝k1×q+k2×w+k3×r+k4×d
其中，S为评价分值、k1为第一权重系数；q为归一化处理后的第一评价指标；k2为第二权重系数；w为归一化处理后的第二评价指标；k3为第三权重系数；r为归一化处理后的第三评价指标；k4为第四权重系数；d为归一化处理后的第四评价指标。
上述技术方案的工作原理及有益效果：k1、k2、k3、k4之和为1，基于上述公式准确计算出评价分值，便于准确确定图像质量等级。
如图4所示，根据本发明的一些实施例，还包括：
增强模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，将视网膜图像基于滤波器进行处理，得到第一图像；
根据所述视网膜图像及所述第一图像进行差分处理，得到第二图像；
获取所述第一图像中的像素点在R通道的第一灰度值、G通道的第二灰度值及B通道的第三灰度值；
确定第一图像中的同一像素点的第一灰度值、第二灰度值及第三灰度值中的最小值，并根据最小值生成暗图；
确定所述暗图中平均灰度值最大的区域，作为目标区域；将暗图中除所述目标区域外的其他区域分割成若干个与目标区域大小一致的待处理区域；
分别计算所述待处理区域的中心与所述目标区域的中心之间的距离，根据所述距离查询预设的距离-预设灰度值数据表，确定预设灰度值，根据所述预设灰度值及待处理区域的平均灰度值，确定第一调节系数；根据所述第一调节系数对相应的所述待处理区域进行调节，得到第一增强图像；
获取所述第二图像上像素点的灰度值，并确定各灰度值对应的像素点的数量，形成灰度值的直方图；
根据标准第二图像确定标准直方图；
确定所述直方图与所述标准直方图的差异参数，根据所述差异参数确定第二调节参数，根据所述第二调节参数对所述第二图像进行调节，得到第二增强图像；
将所述第一增强图像与所述第二增强图像进行自适应加权计算，得到增强后的视网膜图像。
上述技术方案的工作原理：增强模块，用于：在所述传输模块将所述视网膜图像传输至服务器前，将视网膜图像基于滤波器进行处理，得到第一图像；第一图像为基础图像。根据所述视网膜图像及所述第一图像进行差分处理，得到第二图像；第二图像为细节图像。获取所述第一图像中的像素点在R通道的第一灰度值、G通道的第二灰度值及B通道的第三灰度值；确定第一图像中的同一像素点的第一灰度值、第二灰度值及第三灰度值中的最小值，并根据最小值生成暗图；确定所述暗图中平均灰度值最大的区域，作为目标区域；将暗图中除所述目标区域外的其他区域分割成若干个与目标区域大小一致的待处理区域；分别计算所述待处理区域的中心与所述目标区域的中心之间的距离，根据所述距离查询预设的距离-预设灰度值数据表，确定预设灰度值，根据所述预设灰度值及待处理区域的平均灰度值，确定第一调节系数；根据所述第一调节系数对相应的所述待处理区域进行调节，得到第一增强图像；获取所述第二图像上像素点的灰度值，并确定各灰度值对应的像素点的数量，形成灰度值的直方图；
根据标准第二图像确定标准直方图；
确定所述直方图与所述标准直方图的差异参数，根据所述差异参数确定第二调节参数，根据所述第二调节参数对所述第二图像进行调节，得到第二增强图像；
将所述第一增强图像与所述第二增强图像进行自适应加权计算，得到增强后的视网膜图像。
上述技术方案的有益效果：对第一图像及第二图像根据自身图像的特点采取不同的两种增强方法，提高视网膜图像的对比度，使得图像细节更加明显，提高图像视觉效果。
根据本发明的一些实施例，还包括：监测模块，用于监测所述视网膜监视摄像模块2的摄像视角与眼球视角是否保持同步，在确定不同步时，发出报警提示。
上述技术方案的有益效果：便于保证所述视网膜监视摄像模块2的摄像视角与眼球视角保持同步。
在一实施例中，还包括：
压缩模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行分割，得到若干个块状图像，每一个块状图像对应一个图像矩阵，得到图像矩阵序列；
对所述若干个块状图像进行快速傅里叶变换处理，得到变换矩阵；
根据所述图像矩阵序列及所述变换矩阵，对所述块状图像进行压缩采样处理，得到采样数据；
将所述采样数据根据图像重建算法进行图像重建，得到重建图像；
根据所述采样数据确定对视网膜图像的采样率；
根据所述采样率、所述重建图像的大小及所述视网膜图像的大小，计算压缩评估值，并判断是否小于预设压缩评估值；
在确定所述压缩评估值小于预设压缩评估值时，发出报警提示。
上述技术方案的工作原理：压缩模块，用于：在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行分割，得到若干个块状图像，每一个块状图像对应一个图像矩阵，得到图像矩阵序列；对所述若干个块状图像进行快速傅里叶变换处理，得到变换矩阵；根据所述图像矩阵序列及所述变换矩阵，对所述块状图像进行压缩采样处理，得到采样数据；将所述采样数据根据图像重建算法进行图像重建，得到重建图像；根据所述采样数据确定对视网膜图像的采样率；根据所述采样率、所述重建图像的大小及所述视网膜图像的大小，计算压缩评估值，并判断是否小于预设压缩评估值；在确定所述压缩评估值小于预设压缩评估值时，发出报警提示。
上述技术方案的有益效果：便于对视网膜图像通过傅里叶域稀疏采样的方式，确定视网膜图像中的关键信息，实现对视网膜图像的压缩，提高了数据传输速率，节省带宽资源。在确定所述压缩评估值小于预设压缩评估值时，发出报警提示，便于及时查看压缩模块，保证压缩性能。
在一实施例中，根据所述采样率、所述重建图像的大小及所述视网膜图像的大小，计算压缩评估值，并判断是否小于预设压缩评估值，包括：
Figure BDA0003535858380000151
其中，Z为压缩评估值；A为视网膜图像的长度；B为视网膜图像的宽度；a为块状图像的长度；b为块状图像的宽度；f{n(t)}为图像矩阵序列中第n(t)个图像矩阵；(i.j)为视网膜图像中位置为(i.j)处的像素点；H1为视网膜图像的大小；H2为重建图像的大小。
上述技术方案的有益效果：基于上述公式准确计算出压缩评估值，提高了判断压缩评估值与预设压缩评估值大小的准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于视网膜监视的视域跟踪定位***，其特征在于，包括：
视网膜监视摄像模块，设置在正对眼球的隐形眼镜上；
所述视网膜监视摄像模块的摄像视角与眼球视角保持同步；
所述视网膜监视摄像模块，用于对眼球底部的视网膜进行摄像采集，获取视网膜图像；
传输模块，分别与服务器、视网膜监视摄像模块连接，用于将所述视网膜监视摄像模块获取的视网膜图像传输至服务器；
还包括：
图像质量检测模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，将所述视网膜图像分割成若干个子视网膜图像；
分别计算子视网膜图像的信噪比，计算出平均信噪比，作为第一评价指标；
筛选出信噪比小于预设信噪比的子视网膜图像，作为待处理图像；基于canny边缘检测算法对所述待处理图像进行边缘检测处理，确定每个待处理图像的边缘区域，获取边缘区域的梯度值，计算出平均梯度值，作为第二评价指标；
对所述视网膜图像进行光斑检测分析，根据光斑检测分析结果确定视网膜图像的运动模糊度，作为第三评价指标；
基于EVA点锐度算法函数对所述视网膜图像进行清晰度检测处理，得到图像清晰度，作为第四评价指标；
对所述第一评价指标、第二评价指标、第三评价指标及第四评价指标进行归一化处理；
根据归一化处理后的第一评价指标、第二评价指标、第三评价指标及第四评价指标，计算出评价分值，根据所述评价分值及预设规则，确定视网膜图像的图像质量等级，在确定所述图像质量等级小于预设质量等级时，发出报警提示；
增强模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，将视网膜图像基于滤波器进行处理，得到第一图像；
根据所述视网膜图像及所述第一图像进行差分处理，得到第二图像；
获取所述第一图像中的像素点在R通道的第一灰度值、G通道的第二灰度值及B通道的第三灰度值；
确定第一图像中的同一像素点的第一灰度值、第二灰度值及第三灰度值中的最小值，并根据最小值生成暗图；
确定所述暗图中平均灰度值最大的区域，作为目标区域；将暗图中除所述目标区域外的其他区域分割成若干个与目标区域大小一致的待处理区域；
分别计算所述待处理区域的中心与所述目标区域的中心之间的距离，根据所述距离查询预设的距离-预设灰度值数据表，确定预设灰度值，根据所述预设灰度值及待处理区域的平均灰度值，确定第一调节系数；根据所述第一调节系数对相应的所述待处理区域进行调节，得到第一增强图像；
获取所述第二图像上像素点的灰度值，并确定各灰度值对应的像素点的数量，形成灰度值的直方图；
根据标准第二图像确定标准直方图；
确定所述直方图与所述标准直方图的差异参数，根据所述差异参数确定第二调节参数，根据所述第二调节参数对所述第二图像进行调节，得到第二增强图像；
将所述第一增强图像与所述第二增强图像进行自适应加权计算，得到增强后的视网膜图像。
2.如权利要求1所述的基于视网膜监视的视域跟踪定位***，其特征在于，还包括：眼球跟踪模块，用于捕捉眼球的注视方向和眼球在注视方向的停留时间信息，构建眼动轨迹，根据所述眼动轨迹确定用户状态。
3.如权利要求2所述的基于视网膜监视的视域跟踪定位***，其特征在于，所述眼球跟踪模块根据所述眼动轨迹确定用户状态，包括：
将所述眼动轨迹与数据库中的若干条预设眼动轨迹进行相似度计算；每条预设眼动轨迹对应一种用户状态；
确定相似度最高的预设眼动轨迹作为目标眼动轨迹；
将所述目标眼动轨迹对应的用户状态作为所述眼动轨迹对应的用户状态。
4.如权利要求2所述的基于视网膜监视的视域跟踪定位***，其特征在于，所述用户状态包括用户对于当前观看内容的感应趣的程度。
5.如权利要求1所述的基于视网膜监视的视域跟踪定位***，其特征在于，还包括：
预处理模块，用于在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行预处理。
6.如权利要求5所述的基于视网膜监视的视域跟踪定位***，其特征在于，所述预处理包括图像降噪处理及图像增强处理。
7.如权利要求1所述的基于视网膜监视的视域跟踪定位***，其特征在于，还包括：监测模块，用于监测所述视网膜监视摄像模块的摄像视角与眼球视角是否保持同步，在确定不同步时，发出报警提示。
8.如权利要求1所述的基于视网膜监视的视域跟踪定位***，其特征在于，还包括：压缩模块，用于：
在所述传输模块将所述视网膜图像传输至服务器前，对所述视网膜图像进行分割，得到若干个块状图像，每一个块状图像对应一个图像矩阵，得到图像矩阵序列；
对所述若干个块状图像进行快速傅里叶变换处理，得到变换矩阵；
根据所述图像矩阵序列及所述变换矩阵，对所述块状图像进行压缩采样处理，得到采样数据；
将所述采样数据根据图像重建算法进行图像重建，得到重建图像；
根据所述采样数据确定对视网膜图像的采样率；
根据所述采样率、所述重建图像的大小及所述视网膜图像的大小，计算压缩评估值，并判断是否小于预设压缩评估值；
在确定所述压缩评估值小于预设压缩评估值时，发出报警提示。
CN202210217987.7A 2022-03-08 2022-03-08 一种基于视网膜监视的视域跟踪定位*** Active CN114615484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210217987.7A CN114615484B (zh) 2022-03-08 2022-03-08 一种基于视网膜监视的视域跟踪定位***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210217987.7A CN114615484B (zh) 2022-03-08 2022-03-08 一种基于视网膜监视的视域跟踪定位***

Publications (2)

Publication Number Publication Date
CN114615484A CN114615484A (zh) 2022-06-10
CN114615484B true CN114615484B (zh) 2022-11-01

Family

ID=81861929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210217987.7A Active CN114615484B (zh) 2022-03-08 2022-03-08 一种基于视网膜监视的视域跟踪定位***

Country Status (1)

Country Link
CN (1) CN114615484B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228748B (zh) * 2023-05-04 2023-07-14 天津志听医疗科技有限公司 一种基于眼动追踪的平衡功能分析方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100789A (zh) * 2015-07-22 2015-11-25 天津科技大学 一种视频质量评价方法
CN105913385A (zh) * 2016-03-31 2016-08-31 宇龙计算机通信科技(深圳)有限公司 雾霾图像的清晰化方法、***和图像处理装置
WO2018200717A1 (en) * 2017-04-25 2018-11-01 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481403B2 (en) * 2018-02-15 2019-11-19 Tectus Corporation Contact lens with retinal camera
US10948988B1 (en) * 2019-09-09 2021-03-16 Tectus Corporation Contextual awareness based on eye motion tracking by an eye-mounted system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100789A (zh) * 2015-07-22 2015-11-25 天津科技大学 一种视频质量评价方法
CN105913385A (zh) * 2016-03-31 2016-08-31 宇龙计算机通信科技(深圳)有限公司 雾霾图像的清晰化方法、***和图像处理装置
WO2018200717A1 (en) * 2017-04-25 2018-11-01 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing

Also Published As

Publication number Publication date
CN114615484A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
WO2020151489A1 (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN110309813B (zh) 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器
JP5306940B2 (ja) 動画像コンテンツ評価装置およびコンピュータプログラム
CN111738241B (zh) 基于双摄像头的瞳孔检测方法及装置
CN112732071A (zh) 一种免校准眼动追踪***及应用
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN114615484B (zh) 一种基于视网膜监视的视域跟踪定位***
CN102567734A (zh) 基于比值的视网膜细小血管分割方法
CN108742656A (zh) 基于脸部特征点定位的疲劳状态检测方法
CN115273213B (zh) 一种vr眼镜及其在线考试防作弊方法
CN114005167A (zh) 基于人体骨骼关键点的远距离视线估计方法和装置
CN113438464A (zh) 一种裸眼3d显示模式的切换控制方法、介质和***
CN114463828A (zh) 基于人证统一的监考方法及***、电子设备和存储介质
CN110472546B (zh) 一种婴幼儿非接触式眼动特征提取装置及方法
CN109194952B (zh) 头戴式眼动追踪设备及其眼动追踪方法
CN113325947A (zh) 一种显示方法、装置、终端设备及存储介质
WO2024125578A1 (zh) 注视信息的确定方法、装置、眼动追踪设备
CN117557840B (zh) 一种基于小样本学习的眼底病变分级方法
CN110610480A (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN106708257A (zh) 游戏交互方法与装置
CN112954313A (zh) 一种对全景图像感知质量的计算方法
CN112132087A (zh) 在线学习质量评测方法和***
CN116503475A (zh) 一种基于深度学习的vrar双目3d目标定位方法
CN115022616B (zh) 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant