CN113382163B - 一种基于红外热像跟踪的自闭症儿童行为捕捉*** - Google Patents

一种基于红外热像跟踪的自闭症儿童行为捕捉*** Download PDF

Info

Publication number
CN113382163B
CN113382163B CN202110539584.XA CN202110539584A CN113382163B CN 113382163 B CN113382163 B CN 113382163B CN 202110539584 A CN202110539584 A CN 202110539584A CN 113382163 B CN113382163 B CN 113382163B
Authority
CN
China
Prior art keywords
camera
infrared thermal
thermal image
autism
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110539584.XA
Other languages
English (en)
Other versions
CN113382163A (zh
Inventor
李清华
黄贞
李栋宇
郑剑虹
金肖
徐兵
张婷婷
张正贺
黄铭朗
阮海静
张壹清
林圣又
刘慧轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingnan Normal University
Original Assignee
Lingnan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingnan Normal University filed Critical Lingnan Normal University
Priority to CN202110539584.XA priority Critical patent/CN113382163B/zh
Publication of CN113382163A publication Critical patent/CN113382163A/zh
Application granted granted Critical
Publication of CN113382163B publication Critical patent/CN113382163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明公开了一种基于红外热像跟踪的自闭症儿童行为捕捉***，该***由环境配置***、红外热像跟踪***和自闭症儿童行为捕捉***三个部分组成，所述环境配置***包括一个学习教室，且学习教室里有提供给自闭症儿童使用的教具以及模拟正常上课的场景；所述红外热像跟踪***，由***硬件和测定软件组成，所述***硬件包括计算机、红外热像仪、第一摄像头和第二摄像头。该基于红外热像跟踪的自闭症儿童行为捕捉***，红外热像仪通过分析儿童的热像图片，分辨出儿童的正面与背面，实时反馈给第一摄像头和第二摄像头，提高实验结果的准确度，通过拍摄大量的追踪视频进行一系列的行为分析，可为自闭症的早期诊断提供可靠的肢体行为数据。

Description

一种基于红外热像跟踪的自闭症儿童行为捕捉***
技术领域
本发明涉及热像行为分析和拍摄跟踪测定技术领域，具体为一种基于红外热像跟踪的自闭症儿童行为捕捉***。
背景技术
行为一般分为外显和内隐两种，外显行为指他人可以观察和记录的行为，应用行为分析注重外显行为的研究，因为即使是不同的人对于同一外显行为也可以做出几乎一致的记录，从而进行科学的分析，这种分析出来的结果可信度大，因而根据此结果做出的行为方案实施效果可信度就大；
热成像是通过对光线散身的波长与红外线光谱比较，量度目标对象温度的方法，由于我们把温度视为热能，所以这一技术也被称为红外线热像术，成像是非接触式技术，把红外波转换成能描述温度的图像，图像中的目标物温度范围差异是以色谱来显示，由于是非接触式技术，热成像是相较接触式技术有效、安全和轻松的度量方法，它可以在几秒之间检测出温度上升、不稳定和局部热点，有助于找出设备或***的潜在故障问题，避免停摆、停电或损毁所造成的巨大损失，对于不能任意关闭、处于难于进入位置的设备，或是实体接触可能会造成温差或影响结果的状况下，热成像是非常有用的技术；
自闭症，又可以称为孤独症，常见的症状为社会交往障碍，交流障碍，兴趣狭窄等，为了对患有自闭症儿童的行为进行更好的测定，进行了视频跟踪自闭症儿童行为并进行自动识别与测定分析，但是现有的测定方法还是存在一些不足之处，例如测定的准确度不高，整个操作的自动化较低，跟踪效率也较低，不能满足自闭症儿童这类特殊的群体实验环境要求的行为测定，所以降低了现有测定方法的使用效率。
针对上述问题，急需在原有***数据分析方法的基础上进行创新设计。
发明内容
本发明的目的在于提供一种基于红外热像跟踪的自闭症儿童行为捕捉***，以解决上述背景技术中提出的现有自闭症测定的准确度不高，整个操作的自动化较低，跟踪效率也较低，不能满足自闭症儿童这类特殊的群体实验环境要求的行为测定，所以降低了现有测定方法的使用效率的问题。
为实现上述目的，本发明提供如下技术方案：一种基于红外热像跟踪的自闭症儿童行为捕捉***，该***由环境配置***、红外热像跟踪***和自闭症儿童行为捕捉***三个部分组成，所述环境配置***包括一个学习教室，且学习教室里有提供给自闭症儿童使用的教具以及模拟正常上课的场景；所述红外热像跟踪***，由***硬件和测定软件组成，所述***硬件包括计算机、红外热像仪、第一摄像头和第二摄像头，且红外热像仪放置在学习教室的一个顶角处，用来分析自闭症儿童热像；所述第一摄像头安装在学习教室的右顶角，所述第二摄像头安装在学习教室的左顶角，通过红外热像仪分析自闭症儿童热像视频得到的数据，实时跟踪记录自闭症儿童的正面，第一摄像头和第二摄像头中的数据及时通过局域网实时传输到计算机。
优选的，所述红外热像仪包括：红外热图像视频采集模块、参数设置模块、自闭症儿童运动轨迹计算模块、特征数据计算模块、结果格式显示模块和存储模块，便于对测定到的信息进行及时传输，确保整个测定***的正常运行。
优选的，所述红外热像仪和第一摄像头均安装在学习教室的右顶角，且红外热像仪在第一摄像头的下方，所述第二摄像头安装在学习教室的左顶角，可以在不同位置对自闭症儿童进行更加全面的监控，保证监控信息的精确度，从而提高测定效率。
优选的，所述计算机记录相对应的采集时间，对红外热图像视频采集模块中的数据进行模数转换，变成数字红外热像图像数据，并将数字红外热像图像数据传输到计算机，所述计算机和红外热图像视频采集模块之间通过无线网络相连接，这样使整个操作更加简单方便，为工作人员的操作带来便捷，提高了工作进度和效率。
优选的，所述红外热像仪根据所采集的热像图片分析自闭症儿童的正脸方向，反馈给第一摄像头和第二第一摄像头进行数据采集，红外热像仪和计算机之间通过无线网络相连接，便于各部件之间信息的互通，进而确保整个测定方法的正常实施。
优选的，所述红外热图像视频采集模块的输出端和参数设置模块的输入端相连接，且参数设置模块的输出端和自闭症儿童运动轨迹计算模块的输入端相连接，并且自闭症儿童运动轨迹计算模块的输出端和特征数据计算模块的输入端相连接，同时特征数据计算模块的输出端和结果格式显示模块的输入端相连接，所述结果格式显示模块的输出端和存储模块的输入端相连接，进一步保证了整个监测的正常进行，并且可以对监测信息进行存储，便于后期的分析，也进一步为工作人员带来便捷。
优选的，所述红外热像仪、第一摄像头和第二摄像头分别通过螺钉固定在学习教室的顶面，且第一摄像头和第二摄像头和计算机之间通过无线网络相连接，可以使红外热像仪、第一摄像头和第二摄像头在使用时更加牢固，有效防止在使用过程中出现脱落的现象，确保了整个操作的稳定进行，同时便于后期的检修操作，方便工作人员对红外热像仪、第一摄像头和第二摄像头的拆卸更换。
优选的，所述第一摄像头和第二摄像头位于同一水平线上，所述第一摄像头和红外热像仪之间存在间隔，这样便于对自闭症儿童进行正面和背面的监控，同时不影响红外热像仪的使用。
与现有技术相比，本发明的优点是：该基于红外热像跟踪的自闭症儿童行为捕捉***；
1.通过对测试环境的透彻理解，并结合自闭症儿童在日常生活中的外显行为，由红外热成像跟踪***和测量***所捕获的自闭症行为数据，在正常教室的条件下进行，并且不影响自闭症儿童的正常活动，各种相关参数的测量使结果分析更加全面；
2.红外热像仪通过分析儿童的热像图片，分辨出儿童的正面与背面，实时反馈给第一摄像头和第二摄像头，使其始终记录自闭症儿童的正面动作，提高实验结果的准确度，拍摄大量的追踪视频进行一系列的行为分析，可为自闭症的早期诊断提供可靠的肢体行为数据；
3、通过对每一帧数字红外热像图像计算后得到自闭症儿童位置的轨迹点，根据自闭症儿童位置的轨迹点拟合生成自闭症儿童的行为轨迹集合，而且所有模块装置均为可采用直接购置的标准化器件，可进一步拓展外接其他测定模块，根据自闭症儿童的行为分析计算的数据和指标结果可导入计算机中，便于用户在统计软件中做进一步测定处理；
4、测定***为红外热像跟踪测定***，针对的对象为自闭症群体儿童，可同时录制多位自闭症儿童在学习教室中的活动范围、行为信息、运动轨迹等多个相关行为特征数据，增加了实验结果的真实可靠性，同时测定方式灵活，可人工设定记录的开始与终止时间，有利于全时段，全方位，全频段的监测，可避免传统有选择性的设计观察，提高了测定效率。
附图说明
图1为本发明视频采集模块结构示意图；
图2为本发明采用红外热像跟踪测定***进行拍摄自闭症儿童日常行为的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于红外热像跟踪的自闭症儿童行为捕捉***，该***由环境配置***、红外热像跟踪***和自闭症儿童行为捕捉***三个部分组成，环境配置***包括一个学习教室，且学习教室里有提供给自闭症儿童使用的教具以及模拟正常上课的场景；红外热像跟踪***，由***硬件和测定软件组成，***硬件包括计算机、红外热像仪、第一摄像头和第二摄像头，且红外热像仪放置在学习教室的一个顶角处，用来分析自闭症儿童热像；第一摄像头安装在学习教室的右顶角，第二摄像头安装在学习教室的左顶角，通过红外热像仪分析自闭症儿童热像视频得到的数据，实时跟踪记录自闭症儿童的正面，第一摄像头和第二摄像头中的数据及时通过局域网实时传输到计算机。
红外热像仪包括：红外热图像视频采集模块、参数设置模块、自闭症儿童运动轨迹计算模块、特征数据计算模块、结果格式显示模块和存储模块。
红外热像仪和第一摄像头均安装在学习教室的右顶角，且红外热像仪在第一摄像头的下方，第二摄像头安装在学习教室的左顶角。
计算机记录相对应的采集时间，对红外热图像视频采集模块中的数据进行模数转换，变成数字红外热像图像数据，并将数字红外热像图像数据传输到计算机，计算机和红外热图像视频采集模块之间通过无线网络相连接。
红外热像仪根据所采集的热像图片分析自闭症儿童的正脸方向，反馈给第一摄像头和第二第一摄像头进行数据采集，红外热像仪和计算机之间通过无线网络相连接。
红外热图像视频采集模块的输出端和参数设置模块的输入端相连接，且参数设置模块的输出端和自闭症儿童运动轨迹计算模块的输入端相连接，并且自闭症儿童运动轨迹计算模块的输出端和特征数据计算模块的输入端相连接，同时特征数据计算模块的输出端和结果格式显示模块的输入端相连接，结果格式显示模块的输出端和存储模块的输入端相连接。
红外热像仪、第一摄像头和第二摄像头分别通过螺钉固定在学习教室的顶面，且第一摄像头和第二摄像头和计算机之间通过无线网络相连接。
第一摄像头和第二摄像头位于同一水平线上，第一摄像头和红外热像仪之间存在间隔。
工作原理：在使用该基于红外热像跟踪的自闭症儿童行为捕捉***时，根据图1-2所示，首先配置自闭症儿童行为红外热像跟踪测定***的环境，包括一个学习教室，且在学习教室里有提供给自闭症儿童使用的教具以及模拟正常上课的场景，然后安装自闭症儿童行为红外热像跟踪测定***的测定软件，并且将红外热像仪安装在学习教室的一个顶角处，用来分析自闭症儿童热像，将第一摄像头安装在学习教室的右顶角，将第二摄像头安装在学习教室的左顶角，并且调整第一摄像头和第二摄像头的视频拍摄视角，确保能够采集到一个房间内的所有动作，然后将红外热像仪安装在第一摄像头的下方，且调整红外热像跟踪测定***的视频监测视角，设定红外热像跟踪测定***的采样频率，然后启动红外热像跟踪测定***的运行程序，对红外热像跟踪测定***的***硬件进行初始化，由于红外热像仪上配备以下跟踪测定模块，包括红外热图像视频采集模块，参数设置模块，自闭症儿童运动轨迹计算模块，特征数据计算模块，结果格式显示模块和存储模块，且红外热图像视频采集模块的输出端和参数设置模块的输入端相连接，参数设置模块的输出端和自闭症儿童运动轨迹计算模块的输入端相连接，自闭症儿童运动轨迹计算模块的输出端和特征数据计算模块的输入端相连接，同时特征数据计算模块的输出端和结果格式显示模块的输入端相连接，所以可以将测定到的信息及时传输给计算机进行显示，计算机记录相对应的采集时间，对红外热像图像数据进行模数转换，变成数字红外热像图像数据，并将数字红外热像图像数据传输到计算机进行存储，测定软件对每一帧数字红外热像图像计算后得到自闭症儿童位置的轨迹点，根据自闭症儿童位置的轨迹点生成自闭症儿童的行为轨迹集合，摄像头根据红外图像反馈的行为轨迹进行跟踪拍摄记录，将数据保留到存储模块中以便分析，不影响自闭症儿童的正常活动，各种相关参数的测量使结果分析更加全面，也提高了该方法的测定效率。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于红外热像跟踪的自闭症儿童行为捕捉***，该***由环境配置***、红外热像跟踪***和自闭症儿童行为捕捉***三个部分组成，其特征在于：所述环境配置***包括一个学***线上，所述第一摄像头和红外热像仪之间存在间隔；通过对每一帧数字红外热像图像计算后得到自闭症儿童位置的轨迹点，根据自闭症儿童位置的轨迹点拟合生成自闭症儿童的行为轨迹集合。
CN202110539584.XA 2021-05-18 2021-05-18 一种基于红外热像跟踪的自闭症儿童行为捕捉*** Active CN113382163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539584.XA CN113382163B (zh) 2021-05-18 2021-05-18 一种基于红外热像跟踪的自闭症儿童行为捕捉***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539584.XA CN113382163B (zh) 2021-05-18 2021-05-18 一种基于红外热像跟踪的自闭症儿童行为捕捉***

Publications (2)

Publication Number Publication Date
CN113382163A CN113382163A (zh) 2021-09-10
CN113382163B true CN113382163B (zh) 2023-06-27

Family

ID=77571089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539584.XA Active CN113382163B (zh) 2021-05-18 2021-05-18 一种基于红外热像跟踪的自闭症儿童行为捕捉***

Country Status (1)

Country Link
CN (1) CN113382163B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114242235A (zh) * 2021-12-16 2022-03-25 北京阿叟阿巴科技有限公司 一种基于多层级关键特征行为的孤独症患者画像方法
CN115154827A (zh) * 2022-08-05 2022-10-11 成都信息工程大学 用于自闭症儿童眼神交流的智能穿戴装置、方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707810A (zh) * 2017-08-21 2018-02-16 广州紫川电子科技有限公司 基于红外热像仪的热源追踪方法、装置及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
CN102354349B (zh) * 2011-10-26 2013-10-02 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预***
CN109151388A (zh) * 2018-09-10 2019-01-04 合肥巨清信息科技有限公司 一种多路摄像机协调的视频跟踪***
CN209842639U (zh) * 2019-05-05 2019-12-24 三峡大学 课堂学习效率分析***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707810A (zh) * 2017-08-21 2018-02-16 广州紫川电子科技有限公司 基于红外热像仪的热源追踪方法、装置及***

Also Published As

Publication number Publication date
CN113382163A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113382163B (zh) 一种基于红外热像跟踪的自闭症儿童行为捕捉***
CN111653368A (zh) 一种人工智能疫情大数据防控预警***
CN110769194B (zh) 一种基于双光融合的热源监测识别方法及***
CN103327310B (zh) 一种基于鼠标轨迹跟踪的监控和巡航方法
CN107766788A (zh) 信息处理装置、其方法和计算机可读存储介质
CN103168467A (zh) 使用热图像坐标的安防摄像机追踪和监控***及方法
CN105741379A (zh) 一种变电站全景巡检方法
CN108090922A (zh) 智能目标跟踪轨迹记录方法
CN105184233A (zh) 基于多源信息融合的在室人数测量及记录的方法及装置
CN206208393U (zh) 三维成像红外热像仪
CN112418814A (zh) 无人化模式的教学培训、训练考核的***及方法
CN111466892A (zh) 一种基于热成像和人脸识别的远距离测温***及方法
CN113744507A (zh) 一种炼化装置红外标准化智能预警/报警无线传输***
CN107421717B (zh) 一种红外成像仪最小可探测温差自动测试方法及装置
CN205336459U (zh) 一种新型热源与火情智能探测***的前端分析处理架构
CN108492231A (zh) 基于学生行为数据的课堂效果信息的监控***
CN111272293A (zh) 一种热分布监控***及其检测方法
LU502008B1 (en) Thermal infrared image tracking-based autistic child behavior catching system
McMahon-Crabtree et al. Event-based camera refractory period characterization and initial clock drift evaluation
CN212261348U (zh) 一种基于热成像和人脸识别的远距离测温***
CN212363444U (zh) 一种热分布监控***
CN116189076A (zh) 一种鸟类观测站的观测识别***及其方法
Singh et al. Cross-spectral cross-resolution video database for face recognition
CN115100245A (zh) 一种基于高空抛物的溯源追踪***及其追踪方法
CN212635749U (zh) 一种红外体温筛查机器人***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant