CN113069077A - 一种非接触式帕金森辅助诊断数据采集装置 - Google Patents
一种非接触式帕金森辅助诊断数据采集装置 Download PDFInfo
- Publication number
- CN113069077A CN113069077A CN202110275536.4A CN202110275536A CN113069077A CN 113069077 A CN113069077 A CN 113069077A CN 202110275536 A CN202110275536 A CN 202110275536A CN 113069077 A CN113069077 A CN 113069077A
- Authority
- CN
- China
- Prior art keywords
- sound
- data
- test target
- acquisition device
- tester
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurosurgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Developmental Disabilities (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种非接触式帕金森辅助诊断数据采集装置,属于数据采集领域。本发明为克服以上困难与局限性以及为医生提供更多的分析数据,提出了通过多角度采集人脸的面部数据与多空间维度采集阅读特定词汇的声音数据,并对面部数据与声音数据进行处理,特征对比非接触式的解决方案。采用分布式音频、图像采集的方式,可以获取批量数据,达到扩展数据集,增强数据稳定性,消除数据量小带来的偶然性。
Description
技术领域
本发明涉及医学领域智能化诊断技术,涵盖光机电算软技术领域,特别涉及面部与声学特征检测,差异对比的帕金森辅助诊断装置。
背景技术
帕金森病(Parkinson’s disease,PD),又称为“震颤麻痹”,是一种常见的老年神经***退行性疾病,其医学分级为Hoehn Yahr量化表,在早期(HY 0-2.5)隐蔽性强,不易诊断发现,大多患者进入到中期或者晚期才被确诊为帕金森疾病。
目前不存在诊断帕金森疾病具体测试与具体模型标准,准确诊断的方法复杂,最常用的设备检验方法有对血,脑脊液的高香草酸(HVA)含量检测,正电子发射层成像(PET),单光子发射计算机断层成像(SPECT),核磁共振(MRI)等,诊断成本高昂,十分依赖医生的经验性判别,难以在早期正确判别
现有技术中还没有对测试者的面部和声音信息进行专门的采集和处理的装置。
发明内容
本发明为克服以上困难与局限性以及为医生提供更多的分析数据,提出了通过多角度采集人脸的面部数据与多空间维度采集阅读特定词汇的声音数据,并对面部数据与声音数据进行处理,特征对比非接触式的解决方案。
本发明技术方案为一种非接触式帕金森辅助诊断数据采集装置,该装置包括:封闭箱体、图像采集装置、声音采集装置、显示器、处理器;所述图像采集装置、声音采集装置、显示器设置于密封箱体内部,图像采集装置、声音采集装置采集的数据由处理器处理,得出判断结果;
所述封闭箱体内包含有照明装置,用于使整个测试目标置于同一光照环境;还用于隔绝外部声音,吸收内部声音;
所述图像采集装置包括2台高分辨率相机、每台高分辨率相机还包括一个安装支架、弧形轨道、控制器,弧形轨道设置于测试目标正前方的地面,弧口朝向测试目标;安装支架底部设置于弧形轨道上,可沿轨道滑动,安装支架伸缩可调,顶部安装高分辨率相机;2台高分辨率相机的初始位置分别与被拍摄测试目标形成15°的夹角;控制器控制安装支架伸缩和在轨道上的滑动;
所述声音采集装置包括6个声音接收器,分别固定于测试目标的前、后、左、右、上、下6个方位;
显示器位于测试目标的正前方,用于显示对测试目标的指令。
进一步的,所述6个声音接收器分布于以测试者头部为中心的同一平面,到测试者头部的距离为5米,其中4个声音接收器分别位于测试者的前、后、左、右四个方向,另外2个声音接收器到测试者头部的连线与测试者目视方向的余弦值为√3,测试者目视前方。
进一步的,所述处理器中采用如下方法对数据进行处理;
步骤1:初始化两台高分辨率相机位置;
步骤2:控制显示器显示对测试目标的指令;
步骤3:控制2台高分辨率相机同时对测试目标进行实时拍摄,然后合成一张完整的脸部图片,其主要目的是模拟人眼双目视觉,获取因单目摄像头不能更全面获取的脸颊信息;
步骤4:控制声音采集装置同时收集测试目标发出的声音;
步骤5:对步骤3得到的完整脸部图片进行分析;
步骤5.1:采用Action Unit classification分析完整脸部图片,计算出面部的表情成分;
步骤5.2:计算测试时间段内测试目标的眨眼次数,以及眨眼频率;
步骤5.3:对面部建立笛卡尔坐标系,通过对上眼睑,内外眼角点,眼轮廓分析,虹膜瞳孔状态,判断出视线的方向及视线移动频率;
步骤6:对应音频数据进行分析;
步骤6.1:对各声音接收器接收的声音振幅进行归一化;
步骤6.2:计算各声音接收器接收的声音频谱宽度;
步骤6.3:计算不同声音接收器两两之间的音频强度的比值;
步骤7:将步骤5和步骤6计算出的数据拟合在同一时间坐标上进行输出。
进一步的,所述步骤3中分析合成后的脸部时,需要对采集的摄像头位置进行双目立体标定,立体校正,其中双目立体标定中双目摄像机需要标定的参数包含摄像机内参数矩阵,畸变系数矩阵,本征矩阵,基础矩阵,旋转矩阵以及平移矩阵,立体校正的目的是把实际中非共面行对准的两幅图像,校正成共面行对准。
本发明分布式音频、图像采集的方式,可以获取批量数据,达到扩展数据集,增强数据稳定性,消除数据量小带来的偶然性,为医生提供更多的诊断数据。
附图说明
图1为模拟受试环境相机固定位置俯视图。
图2为模拟分布式音频收集器固定位置俯视图。
图3为整个解决方案的数据处理程序框图。
具体实施方式
受试者包括帕金森患者与健康人群;
步骤1:示例装置如图1,相机能在弧形轨道4上滑动,两台高分辨率相机2,3放置与受试者1初始夹角为15°,图中可以发现,两个相机分布于受试者两个不同方位,调整相机滑动来标定相机。调节完毕后,受试者按照显示器要求做出相应表情,相机采取数据。
步骤2:分布式音频数据采集如图2,在受试者1的前、后、左、右、方向余弦值为√3的位置放置音频收集器5、6、7、8、9、10,受试者按照医护人员利用软件界面显示在显示器的指示进行相应的字符或汉字发音,同时控制音频采集器进行数据采集与收集。
步骤3:分析采集的图像数据与音频数据,制作数据集;
步骤3-1:图像数据的处理包括表情成分分析,视线方向分析,眨眼分析,利用Action Unit classification分析表情成分(6大基本表情),通过对上眼睑,内外眼角点,眼轮廓,虹膜瞳孔的捕捉进行视线角度分析,眨眼利用已有或自训练的landmarks进行捕捉分析与计数。图像的分析结果数据主要包括视线角度θ,6大基本表情成分含量C1%、C2%、C3%、C4%、C5%、C6%,眨眼频率Efreq。
步骤3-2:音频数据的分析主要包括,各个音频之间的信号强度比值,频谱宽度,时域信号分布函数,利用信号强度比值可直接算出,频谱分析可将时域信号转换到频域,频谱宽度,利用matlab分析时域信号的分布。音频信号的分析结果数据主要有信号强度的比值Rat1-Rat15,各个信号的频谱宽度FreqW1-FreqW6(理论上基本一致),各个分布函数的参数。
步骤3-3:将所有参数制作数据集拟合上时间参数进行显示。
Claims (4)
1.一种非接触式帕金森辅助诊断数据采集装置,该装置包括:封闭箱体、图像采集装置、声音采集装置、显示器、处理器;所述图像采集装置、声音采集装置、显示器设置于密封箱体内部,图像采集装置、声音采集装置采集的数据由处理器处理,得出判断结果;
所述封闭箱体内包含有照明装置,用于使整个测试目标置于同一光照环境;还用于隔绝外部声音,吸收内部声音;
所述图像采集装置包括2台高分辨率相机、每台高分辨率相机还包括一个安装支架、弧形轨道、控制器,弧形轨道设置于测试目标正前方的地面,弧口朝向测试目标;安装支架底部设置于弧形轨道上,可沿轨道滑动,安装支架伸缩可调,顶部安装高分辨率相机;2台高分辨率相机的初始位置分别与被拍摄测试目标形成15°的夹角;控制器控制安装支架伸缩和在轨道上的滑动;
所述声音采集装置包括6个声音接收器,分别固定于测试目标的前、后、左、右、上、下6个方位;
显示器位于测试目标的正前方,用于显示对测试目标的指令。
3.如权利要求1所述的一种非接触式帕金森辅助诊断数据采集装置,其特征在于所述处理器中采用如下方法对数据进行处理;
步骤1:初始化两台高分辨率相机位置;
步骤2:控制显示器显示对测试目标的指令;
步骤3:控制2台高分辨率相机同时对测试目标进行实时拍摄,然后合成一张完整的脸部图片,其主要目的是模拟人眼双目视觉,获取因单目摄像头不能更全面获取的脸颊信息;
步骤4:控制声音采集装置同时收集测试目标发出的声音;
步骤5:对步骤3得到的完整脸部图片进行分析;
步骤5.1:采用Action Unit classification分析完整脸部图片,计算出面部的表情成分;
步骤5.2:计算测试时间段内测试目标的眨眼次数,以及眨眼频率;
步骤5.3:对面部建立笛卡尔坐标系,通过对上眼睑,内外眼角点,眼轮廓分析,虹膜瞳孔状态,判断出视线的方向及视线移动频率;
步骤6:对应音频数据进行分析;
步骤6.1:对各声音接收器接收的声音振幅进行归一化;
步骤6.2:计算各声音接收器接收的声音频谱宽度;
步骤6.3:计算不同声音接收器两两之间的音频强度的比值;
步骤7:将步骤5和步骤6计算出的数据拟合在同一时间坐标上进行输出。
4.如权利要求1所述的一种非接触式帕金森辅助诊断数据采集装置,其特征在于所述步骤3中分析合成后的脸部时,需要对采集的摄像头位置进行双目立体标定,立体校正,其中双目立体标定中双目摄像机需要标定的参数包含摄像机内参数矩阵,畸变系数矩阵,本征矩阵,基础矩阵,旋转矩阵以及平移矩阵,立体校正的目的是把实际中非共面行对准的两幅图像,校正成共面行对准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110275536.4A CN113069077A (zh) | 2021-03-15 | 2021-03-15 | 一种非接触式帕金森辅助诊断数据采集装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110275536.4A CN113069077A (zh) | 2021-03-15 | 2021-03-15 | 一种非接触式帕金森辅助诊断数据采集装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113069077A true CN113069077A (zh) | 2021-07-06 |
Family
ID=76612375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110275536.4A Pending CN113069077A (zh) | 2021-03-15 | 2021-03-15 | 一种非接触式帕金森辅助诊断数据采集装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113069077A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140371599A1 (en) * | 2013-06-14 | 2014-12-18 | Medtronic, Inc. | Motion analysis for behavior identification |
CN105120179A (zh) * | 2015-09-22 | 2015-12-02 | 三星电子(中国)研发中心 | 一种拍照方法和装置 |
CN107727364A (zh) * | 2016-08-04 | 2018-02-23 | 谷歌有限责任公司 | 测试3d成像*** |
CN108769876A (zh) * | 2018-08-01 | 2018-11-06 | 佛山市威耳听力技术有限公司 | 多向拾音装置 |
CN111353437A (zh) * | 2020-03-01 | 2020-06-30 | 金陵科技学院 | 一种集会场景中人的面部表情分析*** |
-
2021
- 2021-03-15 CN CN202110275536.4A patent/CN113069077A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140371599A1 (en) * | 2013-06-14 | 2014-12-18 | Medtronic, Inc. | Motion analysis for behavior identification |
CN105120179A (zh) * | 2015-09-22 | 2015-12-02 | 三星电子(中国)研发中心 | 一种拍照方法和装置 |
CN107727364A (zh) * | 2016-08-04 | 2018-02-23 | 谷歌有限责任公司 | 测试3d成像*** |
CN108769876A (zh) * | 2018-08-01 | 2018-11-06 | 佛山市威耳听力技术有限公司 | 多向拾音装置 |
CN111353437A (zh) * | 2020-03-01 | 2020-06-30 | 金陵科技学院 | 一种集会场景中人的面部表情分析*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109770943B (zh) | 一种利用计算机视觉定位的超声自动优化方法 | |
Giancardo et al. | Textureless macula swelling detection with multiple retinal fundus images | |
US10098543B2 (en) | Method and system for revealing oculomotor abnormalities | |
CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
CN105498100B (zh) | 一种监测生理运动曲线和体表轮廓的方法及*** | |
CN115607153B (zh) | 一种基于眼动追踪的心理量表回答质量评估***及方法 | |
CN110660454A (zh) | 一种癌痛实时评估仪及其评估方法 | |
CN109700423B (zh) | 一种自动距离感知的智能视力检测方法和装置 | |
CN110537915A (zh) | 一种基于fmri及dti融合的皮质脊髓束纤维追踪方法 | |
CN101108120A (zh) | 眼动测试分析方法 | |
CN113069077A (zh) | 一种非接触式帕金森辅助诊断数据采集装置 | |
CN110403631A (zh) | 一种基于连续超声图像的无创颅内压测量方法 | |
CN111227834A (zh) | 静息态脑功能连接的自动化快速可视化方法 | |
CN114569056B (zh) | 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法 | |
CN217162110U (zh) | 一种动态头位测量设备 | |
CN104644173B (zh) | 一种抑郁风险三级预警*** | |
CN111513719B (zh) | 颅颌面状态的分析方法及装置、电子设备 | |
CN114795125A (zh) | 基于多模态生理信号处理的中老年体检***及装置 | |
CN107014592A (zh) | 防护眼镜视野检测***及检测方法 | |
CN106923790B (zh) | 脑磁图检测中的高精度快速定位***及方法 | |
CN111938699A (zh) | 一种引导使用超声设备的***及方法 | |
Moore et al. | Measuring Three-Dimensional Eye Position Using Image Processing–The VTM System | |
CN218978935U (zh) | 一种心电图波形参数测量装置 | |
US20240081641A1 (en) | System for strabismus assessment and a method of strabismus assessment | |
WO2023179218A1 (zh) | 运动障碍病的静止性震颤量化评估方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210706 |