CN105184239A - 基于患者表情识别的病房辅助医护***及辅助医护方法 - Google Patents

基于患者表情识别的病房辅助医护***及辅助医护方法 Download PDF

Info

Publication number
CN105184239A
CN105184239A CN201510532324.4A CN201510532324A CN105184239A CN 105184239 A CN105184239 A CN 105184239A CN 201510532324 A CN201510532324 A CN 201510532324A CN 105184239 A CN105184239 A CN 105184239A
Authority
CN
China
Prior art keywords
expression
patient
information
recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510532324.4A
Other languages
English (en)
Other versions
CN105184239B (zh
Inventor
崔文成
任磊
刘阳
邵虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN201510532324.4A priority Critical patent/CN105184239B/zh
Publication of CN105184239A publication Critical patent/CN105184239A/zh
Application granted granted Critical
Publication of CN105184239B publication Critical patent/CN105184239B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种基于患者表情识别的病房辅助医护***,其特征在于:此***分为三层,采集层、识别层和应用层,采集层连接识别层,识别层连接应用层。其通过对面部图像的查看和分析,从而完成人脸表情的识别,是以一种非接触式的方式来完成识别工作,该***还可被应用于远程监护中,通过分析被监护人的面部表情,判断其身体状态的变化及情绪的波动,预防危险事故的发生。

Description

基于患者表情识别的病房辅助医护***及辅助医护方法
技术领域:本发明涉及一种本发明涉及机器视觉和图像处理领域,尤其是一种基于痛苦表情识别的病房辅助医护***以及表情特征提取和特征选择方法。
背景技术:在医学技术飞速发展的今天,医疗工作者以及科研人员一直致力于为我们的健康保驾护航,攻克了许多顽疾。但是,医院在保证高标准的临床医疗水平的同时,为患者提供一个安全、贴心、周到、人性化的病房护理环境和条件,为患者提供更完善的医疗服务变得越来越重要。安全高效的病房医护***,逐渐成为衡量医院医护质量的新标准。尤其,在重症监护室以及进行恢复治疗的患者和行走不便的患者病房中,如果适逢患者出现异常反应或者严重并发症发作,病房又无人看护的情况,患者可能会因此失去最佳治疗时机而危及健康,甚至对生命造成了巨大的威胁。
发明内容:
发明目的:本发明提供一种基于患者表情识别的病房辅助医护***及辅助医护方法,其目的在于解决以往所存在的问题
技术方案:本发明是通过以下技术方案实现的:
一种基于患者表情识别的病房辅助医护***,其特征在于:此***分为三层,采集层、识别层和应用层,采集层连接识别层,识别层连接应用层。
采集层为工业相机,识别层包括表情数据库构建模块、表情图像预处理模块、表情特征提取模块、表情识别模块和识别结果传输模块;表情数据库构建模块连接表情图像预处理模块,表情图像预处理模块连接表情特征提取模块,表情特征提取模块连接表情识别模块,表情识别模块连接识别结果传输模块。
如上所述的基于患者表情识别的病房辅助医护***所实施的基于患者表情识别的病房辅助医护方法,其特征在于:该方式能够实时获取病房患者表情信息、及时提醒医护人员患者发出痛苦表情;
该方法利用采集层对病人表情进行采集,将患者表情数据和信息传输到服务器端进行储存;
之后利用识别层将服务器端存储的原始视频图像信息进行表情识别,并将表情识别结果存入患者表情数据库;
然后利用应用层通过Internet读取服务器端患者表情数据库数据,对原始的表情信息进行加工整理。
应用层对表情信息进行加工整理包括:患者信息创建、表情监控视频实时查看、表情数据可视化显示、患者痛苦表情报警提醒和患者表情变化统计分析。
采集层进行患者表情的采集和传输,在无人看护的病房里,按照固定角度架设安装工业相机,利用工业相机拍摄患者表情信息,拍摄视场选为600×800mm,人脸区域面积为300cm2,以拍摄患者躺着的图像为主,同时兼顾患者坐起来的图像,病人坐着的物距是2.15m,病人躺着的物距是2.59m,将千兆网相机拍摄的表情信息,传输并存储在服务器端。
识别层进行患者表情信息的存储和识别,利用识别层进行表情数据库构建、表情图像预处理、表情特征提取、表情识别和识别结果传输。
表情图像预处理流程步骤如下:
(1)将患者每分钟视频分解成单帧图像,取出病房患者的视频序列的一帧图像作为处理对象,针对单帧包含正面人脸的静态图像进行表情进行识别;
(2)针对视频序列中单帧图像的进行图像预处理,利用OpenCV图像处理软件Adaboost人脸检测算法的结合模块,选取扩展的Haar特征,实现表情区域分割;
(3)将表情区域图像灰度化,并利用象素关系重采样将表情区域图像几何归一化成统一的100×100的图片;
(4)采用直方图均衡方法对表情区域图像进行光线归一化,以部分消除光线和光照强度的影响。
识别层的表情特征提取处理流程步骤如下:
(1)对原始表情区域图像进行Gabor小波变换。选取5个尺度和8个角度的二维Gabor滤波器组,对标准大小的100×100的纯脸表情图像与Gabor核函数进行卷积运算,其输出结果为复数,将复数的实部作为表情图像的Gabor特征;
(2)利用角度差分二值编码方法,对原始的40张Gabor特征图进行集成,将v角度下的5个尺度Gabor特征图作为信源,用Gu,v(x,y)表示Gabor特征图,(u∈(0,...,4),v∈(0,...,7),u表示尺度,v表示角度),按照公式(1)依次计算相邻两幅Gabor特征图Gu,v对应像素点的像素值Gu,v(x,y)的差值,其中x的表示Gabor特征图横坐标,y表示Gabor特征图纵坐标,用di,v(x,y)表示差值,其中i∈(0,...,4),v∈(0,...,7),i表示尺度,v表示角度,共得出5个差值;
(3)根据公式(2)得到di,v(x,y)对应的二进制编码,用ti,v(x,y)表示二进制编码,其中v∈(0,...,7),i表示尺度,v表示角度。
t i , v ( x , y ) = 1 , | d i , v ( x , y ) | > 0 0 , | d i , v ( x , y ) | = 0 , i ∈ ( 0 , ... , 4 ) - - - ( 2 )
(4)将计算得出的5个二进制编码ti,v(x,y),其中i∈(0,...,4),i表示尺度,按照i从小到大,分别对应二进制数的低位到高位,剩余二进制数位全置为0,构成该像素点(x,y)的8位二进制数,x表示横坐标,y表示纵坐标,最后根据公式(3)将该8位二进制数转化成十进制数,作为该像素点的角度差分二值编码值,用DCAv(x,y)表示角度差分二值编码值,v表示角度;
DCA v ( x , y ) = Σ i = 0 4 t i , v ( x , y ) × 2 i , v ∈ ( 0 , ... , 7 ) - - - ( 3 )
(5)依照上述算法构成了8个角度的差分二值编码图像,用DCAv表示差分二值编码图像,v∈(0,...,7),v表示角度,从左到右,依次是0,1,2,3,4,5,6,7角度的差分二值编码图;
(6)通过对每张集成Gabor特征图表情识别效果进行对比统计和分析,根据每张集成Gabor特征图对每类表情的识别率以及平均识别率,发现8张角度的差分二值编码图中的6角度差分二值编码图,3角度差分二值编码图,2角度差分二值编码图和1角度差分二值编码图对表情识别率最高,因此选择上述四张角度差分二值编码图进行拼接,转换成一个行向量作为最终的特征向量。
表情识别时,采用稀疏表示分类器(sparserepresentationclassifier,SRC)进行表情识别,稀疏表示分类器的过完备字典由140个训练样本相应的特征向量组成,训练样本包含10个人的表情图片,每个人有7种表情,每种表情有2张图片,将厌恶、生气、悲伤、恐惧表情定义为痛苦表情,快乐、中性、惊讶表情作为非痛苦表情。
应用层采用B/S结构,构建供给病房医护人员使用的***客户端,为病房医护人员提供简单友好的人机交互界面,通过Internet读取服务器端患者表情数据库,对原始的表情信息进行加工整理,客户端支持患者信息创建、表情监控视频实时查看、表情数据可视化显示、患者痛苦表情报警提醒、患者表情变化统计分析:
利用患者信息创建功能帮助医护人员能够登记患者的病房号、病床号、个人基本信息、入院日期、手术时间、服药信息和时间、表***开始拍摄时间、患者的主治医师信息、护理患者的医护人员信息以及医嘱信息;
利用表***实时查看功能实时查看一个或多个病房患者表***,也能读取指定时间段内的表***;
利用患者信息查询和更新功能在查看并修改所关注患者表***和表情变化曲线的同时,查看所关注患者的相关信息,包括病房号、病床号、个人基本信息、入院日期、手术时间、服药信息和时间、表***开始拍摄时间、患者的主治医师信息、负责患者的医护人员信息以及医嘱信息;
利用表情数据可视化显示功能进行动态更新患者表情信息曲线,将患者每时每刻的表情信息进行可视化显示,并按照查询患者手术结束或服药过后固定时间段的表情变化信息;
患者痛苦表情报警提醒功能,当某个病人出现痛苦表情或者异常反应时,病人的图标变色闪烁,并配有提示音,提醒医护人员及时查看患者相关信息。当情况严重时,医护人员能够及时亲临相应的患者床边查看患者身体状况并采取相应措施;
利用患者表情变化统计分析功能,当医院进行会诊以及病例分析过程时,医护人员能调取病人的表情数据的统计信息,将表情变化数据作为辅助数据,结合患者的病例,深入分析患者病情以及如何更好地提高医疗质量。
优点及效果:为了提高医护质量,辅助医护人员为病人提供更加优质的医护服务。本发明提出了一种实时获取病房患者表情信息、及时提醒医护人员患者发出痛苦表情的基于患者表情识别的病房辅助医护***。
由于在患者出现异常反应,患者面部会出现痛苦表情,其中痛苦表情包括厌恶、恐惧、悲伤表情。如果医护人员能够实时接收患者的痛苦表情信息,那么医护人员能够根据病房患者的表情变化,重点关注病房中发出痛苦表情患者的身体状况,并根据具体情况对患者及时采取相应的医治和护理方法。所以病房需要一种可以实时感知患者的精神状况并与医护人员进行实时信息反馈的***,辅助医护人员及时掌握患者的细微变化,对患者心理活动进行有效的判断,为处理病情争取宝贵的时间。
本发明在医疗领域,将表情信息可以作为护理病人的辅助工具。利用机器视觉和图像处理领域的相关技术,在无人看护病房中,通过工业相机拍摄患者的表情变化以判断其身体状况,从而实时获知患者的身体状况,辅助医生更好的了解患者接受治疗后的身体动态变化情况。这样不仅可以提高医护人员的工作效率,也可以使病人享受到更加安全可靠的医护服务。
通过对面部图像的查看和分析,从而完成人脸表情的识别,是以一种非接触式的方式来完成识别工作,这一点对于实现自然、和谐的人机交互至关重要。运用人脸表情识别技术***,患者的面部表情通过***记录识别结果,并以可视化的形式呈现给医护人员,当病人因病痛而面部表情发生变化时,该***可以及时向医护人员发出提醒警报,保证医护人员的及时关注患者情况,并施以相应的医治和护理办法,患者表情信息可以辅助数据,帮助医生进行病例分析,为医护人员提升医疗和护理水平提供表情数据支持。同时,该***还可被应用于远程监护中,通过分析被监护人的面部表情,判断其身体状态的变化及情绪的波动,预防危险事故的发生。
附图说明:
图1为本发明的总体结构图;
图2为采集层的拍摄场景示意图;
图3为识别层的表情识别流程图;
图4为应用层的界面示意图。
具体实施方式:下面结合附图对本发明做进一步的说明:
本发明涉及一种基于患者表情识别的病房辅助医护***,此***能够实时获取病房患者表情信息、及时提醒医护人员患者发出痛苦表情的。此***分为三层,包括采集层、识别层、应用层,采集层连接识别层,识别层连接应用层,如图1所示,
采集层负责对病人表情进行采集,将患者表情数据和信息传输到服务器端进行储存;识别层负责将服务器端存储的原始视频图像信息进行表情识别,并将表情识别结果存入患者表情数据库,识别层包括表情数据库构建模块、表情图像预处理模块、表情特征提取模块、表情识别模块、识别结果传输模块;应用层,通过Internet读取服务器端患者表情数据库数据,对原始的表情信息进行加工整理,具有患者信息创建、表情监控视频实时查看、表情数据可视化显示、患者痛苦表情报警提醒、患者表情变化统计分析功能。
基于患者表情识别的病房辅助医护***的采集层,主要租用包括患者表情的采集和传输。在无人看护的病房里,按照固定角度架设安装工业相机,利用工业相机拍摄患者表情信息,拍摄视场选为600×800mm,人脸区域面积为300cm2,以拍摄患者躺着的图像为主,同时兼顾患者坐起来的图像,病人坐着的物距是2.15m,病人躺着的物距是2.59m,具体的角度、距离、安装位置信息如图2所示,将千兆网相机拍摄的表情信息,传输并存储在服务器端。
基于患者表情识别的病房辅助医护***的识别层,主要的功能包括患者表情信息的存储和识别。识别层包括表情数据库构建模块、表情图像预处理模块、表情特征提取模块、表情识别模块、识别结果传输模块。
识别层的表情数据库构建模块,其特征在于对采集层传输到服务器端的视频文件,按照医护人员登记的病房和床号为每个病人建立患者表情数据库,并以分钟为单位存储视频资料,同时医护人员可以在应用层进行患者信息的补充和创建。
所述的识别层的表情图像预处理模块处理流程步骤如下:
(1)将患者每分钟视频分解成单帧图像,取出病房患者的视频序列的一帧图像作为处理对象,针对单帧包含正面人脸的静态图像进行表情进行识别,表情识别流程图如图3所示。
(2)针对视频序列中单帧图像的进行图像预处理,利用OpenCV图像处理软件Adaboost人脸检测算法的结合模块,选取扩展的Haar特征,实现表情区域分割。
(3)将表情区域图像灰度化,并利用象素关系重采样将表情区域图像几何归一化成统一的100×100的图片。
(4)采用直方图均衡方法对表情区域图像进行光线归一化,以部分消除光线和光照强度的影响。
所述的识别层的表情特征提取模块处理流程步骤如下:
(1)对原始表情区域图像进行Gabor小波变换。选取5个尺度和8个角度的二维Gabor滤波器组,对标准大小的100×100的纯脸表情图像与Gabor核函数进行卷积运算,其输出结果为复数,将复数的实部作为表情图像的Gabor特征;
(2)利用角度差分二值编码方法,对原始的40张Gabor特征图进行集成,将v角度下的5个尺度Gabor特征图作为信源,用Gu,v(x,y)表示Gabor特征图,(u∈(0,...,4),v∈(0,...,7),u表示尺度,v表示角度),按照公式(1)依次计算相邻两幅Gabor特征图Gu,v对应像素点的像素值Gu,v(x,y)的差值,其中x的表示Gabor特征图横坐标,y表示Gabor特征图纵坐标,用di,v(x,y)表示差值,其中i∈(0,...,4),v∈(0,...,7),i表示尺度,v表示角度,共得出5个差值;
d i , v ( x , y ) = G i , v ( x , y ) - G i + 1 , v ( x , y ) , 0 &le; i < 4 G i , v ( x , y ) - G 0 , v ( x , y ) , i = 4 - - - ( 1 )
(3)根据公式(2)得到di,v(x,y)对应的二进制编码,用ti,v(x,y)表示二进制编码,其中v∈(0,...,7),i表示尺度,v表示角度。
t i , v ( x , y ) = 1 , | d i , v ( x , y ) | > 0 0 , | d i , v ( x , y ) | = 0 , i &Element; ( 0 , ... , 4 ) - - - ( 2 )
(4)将计算得出的5个二进制编码ti,v(x,y),其中i∈(0,...,4),i表示尺度,按照i从小到大,分别对应二进制数的低位到高位,剩余二进制数位全置为0,构成该像素点(x,y)的8位二进制数,(x表示横坐标,y表示纵坐标)最后根据公式(3)将该8位二进制数转化成十进制数,作为该像素点的角度差分二值编码值,用DCAv(x,y)表示角度差分二值编码值,v表示角度;
DCA v ( x , y ) = &Sigma; i = 0 4 t i , v ( x , y ) &times; 2 i , v &Element; ( 0 , ... , 7 ) - - - ( 3 )
(5)依照上述算法构成了8个角度的差分二值编码图像,用DCAv表示差分二值编码图像,v∈(0,...,7),v表示角度,从左到右,依次是0,1,2,3,4,5,6,7角度的差分二值编码图;
(6)通过对每张集成Gabor特征图表情识别效果进行对比统计和分析,根据每张集成Gabor特征图对每类表情的识别率以及平均识别率,发现8张角度的差分二值编码图中的6角度差分二值编码图,3角度差分二值编码图,2角度差分二值编码图和1角度差分二值编码图对表情识别率最高,因此选择上述四张角度差分二值编码图进行拼接,转换成一个行向量作为最终的特征向量。
识别层的表情识别模块,采用稀疏表示分类器(sparserepresentationclassifier,SRC)进行表情识别,稀疏表示分类器的过完备字典由140个训练样本相应的特征向量组成,训练样本包含10个人的表情图片,每个人有7种表情,每种表情有2张图片。将厌恶、生气、悲伤、恐惧表情定义为痛苦表情,快乐、中性、惊讶表情作为非痛苦表情。
识别层的识别结果存储模块,将通过表情识别模块识别的患者表***每一帧图像的表情信息,存入服务器端患者表情数据库。
基于患者表情识别的病房辅助医护***的应用层,采用B/S结构,构建供给病房医护人员使用的***客户端,为病房医护人员提供简单友好的人机交互界面,可以通过Internet读取服务器端患者表情数据库,对原始的表情信息进行加工整理。如图4所示,***客户端支持患者信息创建、表情监控视频实时查看、患者信息查询和更新功能、表情数据可视化显示、患者痛苦表情报警提醒、患者表情变化统计分析。
应用层的患者信息创建功能,医护人员能够通过“添加新患者”按钮,登记患者的病房号、病床号、个人基本信息、入院日期、手术时间、服药信息和时间、表***开始拍摄时间、患者的主治医师信息、护理患者的医护人员信息以及医嘱信息。
应用层的表***实时查看功能,可以实时点击“关注患者”按钮,选择需要关注的一名患者,即可查看所关注患者的表***,同事可以选择“点播查看”和“实时查看”两种播放方式,其中“点播查看”可以读取指定时间段内的表***,“实时查看”可以显示当前病房患者的实时表情信息。
应用层的患者信息查询和更新功能,可以在查看并修改所关注患者表***和表情变化曲线的同时,可以查看所关注患者的相关信息,包括病房号、病床号、个人基本信息、入院日期、手术时间、服药信息和时间、表***开始拍摄时间、患者的主治医师信息、负责患者的医护人员信息以及医嘱信息。
应用层的表情数据可视化显示功能,可以动态更新患者表情变化曲线,将患者每时每刻的表情信息进行可视化显示,根据患者手术结束或服药过后的时间,可以选择查看设定固定时间段的表情变化信息。
应用层的患者痛苦表情报警提醒功能,客户端设定4个对应不同序号患者图标,当某个患者出现痛苦表情或者异常反应时,患者的图标变红闪烁,并配有提示音,提醒医护人员及时查看患者相关信息。当情况严重时,医护人员能够及时亲临相应的患者床边查看患者身体状况并采取相应措施。
应用层的患者表情变化统计分析功能,当医院进行会诊以及病例分析过程时,医护人员可以调取病人表情数据统计信息,生成表示数据分析报告,将表情变化数据作为辅助数据,结合患者的病例,深入分析患者病情以及如何更好地提高医疗质量。
本发明很好的解决了以往的问题,操作简便捷高效,可以大大提高医护人员的工作效率和效果,可以很好的在医疗领域推广应用。

Claims (10)

1.一种基于患者表情识别的病房辅助医护***,其特征在于:此***分为三层,采集层、识别层和应用层,采集层连接识别层,识别层连接应用层。
2.根据权利要求1所述的基于患者表情识别的病房辅助医护***,其特征在于:采集层为工业相机,识别层包括表情数据库构建模块、表情图像预处理模块、表情特征提取模块、表情识别模块和识别结果传输模块;表情数据库构建模块连接表情图像预处理模块,表情图像预处理模块连接表情特征提取模块,表情特征提取模块连接表情识别模块,表情识别模块连接识别结果传输模块。
3.如权利要求1所述的基于患者表情识别的病房辅助医护***所实施的基于患者表情识别的病房辅助医护方法,其特征在于:该方式能够实时获取病房患者表情信息、及时提醒医护人员患者发出痛苦表情;
该方法利用采集层对病人表情进行采集,将患者表情数据和信息传输到服务器端进行储存;
之后利用识别层将服务器端存储的原始视频图像信息进行表情识别,并将表情识别结果存入患者表情数据库;
然后利用应用层通过Internet读取服务器端患者表情数据库数据,对原始的表情信息进行加工整理。
4.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:应用层对表情信息进行加工整理包括:患者信息创建、表情监控视频实时查看、表情数据可视化显示、患者痛苦表情报警提醒和患者表情变化统计分析。
5.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:采集层进行患者表情的采集和传输,在无人看护的病房里,按照固定角度架设安装工业相机,利用工业相机拍摄患者表情信息,拍摄视场选为600×800mm,人脸区域面积为300cm2,以拍摄患者躺着的图像为主,同时兼顾患者坐起来的图像,病人坐着的物距是2.15m,病人躺着的物距是2.59m,将千兆网相机拍摄的表情信息,传输并存储在服务器端。
6.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:识别层进行患者表情信息的存储和识别,利用识别层进行表情数据库构建、表情图像预处理、表情特征提取、表情识别和识别结果传输。
7.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:
表情图像预处理流程步骤如下:
(1)将患者每分钟视频分解成单帧图像,取出病房患者的视频序列的一帧图像作为处理对象,针对单帧包含正面人脸的静态图像进行表情进行识别;
(2)针对视频序列中单帧图像的进行图像预处理,利用OpenCV图像处理软件Adaboost人脸检测算法的结合模块,选取扩展的Haar特征,实现表情区域分割;
(3)将表情区域图像灰度化,并利用象素关系重采样将表情区域图像几何归一化成统一的100×100的图片;
(4)采用直方图均衡方法对表情区域图像进行光线归一化,以部分消除光线和光照强度的影响。
8.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:
识别层的表情特征提取处理流程步骤如下:
(1)对原始表情区域图像进行Gabor小波变换。选取5个尺度和8个角度的二维Gabor滤波器组,对标准大小的100×100的纯脸表情图像与Gabor核函数进行卷积运算,其输出结果为复数,将复数的实部作为表情图像的Gabor特征;
(2)利用角度差分二值编码方法,对原始的40张Gabor特征图进行集成,将v角度下的5个尺度Gabor特征图作为信源,用Gu,v(x,y)表示Gabor特征图,(u∈(0,...,4),v∈(0,...,7),u表示尺度,v表示角度),按照公式(1)依次计算相邻两幅Gabor特征图Gu,v对应像素点的像素值Gu,v(x,y)的差值,其中x的表示Gabor特征图横坐标,y表示Gabor特征图纵坐标,用di,v(x,y)表示差值,其中i∈(0,...,4),v∈(0,...,7),i表示尺度,v表示角度,共得出5个差值;
d i , v ( x , y ) = G i , v ( x , y ) - G i + 1 , v ( x , y ) , 0 &le; i < 4 G i , v ( x , y ) - G 0 , v ( x , y ) , i = 4 - - - ( 1 )
(3)根据公式(2)得到di,v(x,y)对应的二进制编码,用ti,v(x,y)表示二进制编码,其中v∈(0,...,7),i表示尺度,v表示角度。
t i , v ( x , y ) = 1 , | d i , v ( x , y ) | > 0 0 , | d i , v ( x , y ) | = 0 , i &Element; ( 0 , ... , 4 ) - - - ( 2 )
(4)将计算得出的5个二进制编码ti,v(x,y),其中i∈(0,...,4),i表示尺度,按照i从小到大,分别对应二进制数的低位到高位,剩余二进制数位全置为0,构成该像素点(x,y)的8位二进制数,x表示横坐标,y表示纵坐标,最后根据公式(3)将该8位二进制数转化成十进制数,作为该像素点的角度差分二值编码值,用DCAv(x,y)表示角度差分二值编码值,v表示角度;
DCA v ( x , y ) = &Sigma; i = 0 4 t i , v ( x , y ) &times; 2 i , v &Element; ( 0 , ... , 7 ) - - - ( 3 )
(5)依照上述算法构成了8个角度的差分二值编码图像,用DCAv表示差分二值编码图像,v∈(0,...,7),v表示角度,从左到右,依次是0,1,2,3,4,5,6,7角度的差分二值编码图;
(6)通过对每张集成Gabor特征图表情识别效果进行对比统计和分析,根据每张集成Gabor特征图对每类表情的识别率以及平均识别率,发现8张角度的差分二值编码图中的6角度差分二值编码图,3角度差分二值编码图,2角度差分二值编码图和1角度差分二值编码图对表情识别率最高,因此选择上述四张角度差分二值编码图进行拼接,转换成一个行向量作为最终的特征向量。
9.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:表情识别时,采用稀疏表示分类器(sparserepresentationclassifier,SRC)进行表情识别,稀疏表示分类器的过完备字典由140个训练样本相应的特征向量组成,训练样本包含10个人的表情图片,每个人有7种表情,每种表情有2张图片,将厌恶、生气、悲伤、恐惧表情定义为痛苦表情,快乐、中性、惊讶表情作为非痛苦表情。
10.根据权利要求3所述的基于患者表情识别的病房辅助医护方法,其特征在于:应用层采用B/S结构,构建供给病房医护人员使用的***客户端,为病房医护人员提供简单友好的人机交互界面,通过Internet读取服务器端患者表情数据库,对原始的表情信息进行加工整理,客户端支持患者信息创建、表情监控视频实时查看、表情数据可视化显示、患者痛苦表情报警提醒、患者表情变化统计分析:
利用患者信息创建功能帮助医护人员能够登记患者的病房号、病床号、个人基本信息、入院日期、手术时间、服药信息和时间、表***开始拍摄时间、患者的主治医师信息、护理患者的医护人员信息以及医嘱信息;
利用表***实时查看功能实时查看一个或多个病房患者表***,也能读取指定时间段内的表***;
利用患者信息查询和更新功能在查看并修改所关注患者表***和表情变化曲线的同时,查看所关注患者的相关信息,包括病房号、病床号、个人基本信息、入院日期、手术时间、服药信息和时间、表***开始拍摄时间、患者的主治医师信息、负责患者的医护人员信息以及医嘱信息;
利用表情数据可视化显示功能进行动态更新患者表情信息曲线,将患者每时每刻的表情信息进行可视化显示,并按照查询患者手术结束或服药过后固定时间段的表情变化信息;
患者痛苦表情报警提醒功能,当某个病人出现痛苦表情或者异常反应时,病人的图标变色闪烁,并配有提示音,提醒医护人员及时查看患者相关信息。当情况严重时,医护人员能够及时亲临相应的患者床边查看患者身体状况并采取相应措施;
利用患者表情变化统计分析功能,当医院进行会诊以及病例分析过程时,医护人员能调取病人的表情数据的统计信息,将表情变化数据作为辅助数据,结合患者的病例,深入分析患者病情以及如何更好地提高医疗质量。
CN201510532324.4A 2015-08-27 2015-08-27 基于患者表情识别的病房辅助医护***及辅助医护方法 Expired - Fee Related CN105184239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510532324.4A CN105184239B (zh) 2015-08-27 2015-08-27 基于患者表情识别的病房辅助医护***及辅助医护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510532324.4A CN105184239B (zh) 2015-08-27 2015-08-27 基于患者表情识别的病房辅助医护***及辅助医护方法

Publications (2)

Publication Number Publication Date
CN105184239A true CN105184239A (zh) 2015-12-23
CN105184239B CN105184239B (zh) 2018-06-01

Family

ID=54906308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510532324.4A Expired - Fee Related CN105184239B (zh) 2015-08-27 2015-08-27 基于患者表情识别的病房辅助医护***及辅助医护方法

Country Status (1)

Country Link
CN (1) CN105184239B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056103A (zh) * 2016-07-05 2016-10-26 长春工业大学 一种基于鲁棒的正则化编码表情识别方法及数据监测***
CN106580270A (zh) * 2017-02-20 2017-04-26 上海交通大学医学院附属第九人民医院 一种面部神经/肌肉康复监测、指导设备和***
CN106778497A (zh) * 2016-11-12 2017-05-31 上海任道信息科技有限公司 一种基于综合检测的智能养老看护方法及***
CN106845141A (zh) * 2017-03-02 2017-06-13 深圳汇通智能化科技有限公司 一种可视化家庭健康管理平台
CN106845459A (zh) * 2017-03-07 2017-06-13 佛山市融信通企业咨询服务有限公司 一种智能化医院自助挂号方法
CN106875534A (zh) * 2017-03-07 2017-06-20 佛山市融信通企业咨询服务有限公司 一种智能化医院自助挂号***
CN106874689A (zh) * 2017-03-07 2017-06-20 佛山市融信通企业咨询服务有限公司 一种远程网络诊断辅助***
CN106874675A (zh) * 2017-02-20 2017-06-20 上海交通大学医学院附属第九人民医院 一种面部神经/肌肉康复锻炼远程管理设备
CN106934906A (zh) * 2017-03-07 2017-07-07 佛山市融信通企业咨询服务有限公司 一种自动判断就诊优先等级的医院挂号***
CN107315904A (zh) * 2017-05-26 2017-11-03 深圳市南山区慢性病防治院 患者服药远程监控***及方法
CN107320090A (zh) * 2017-06-28 2017-11-07 广东数相智能科技有限公司 一种突发疾病监护***及方法
CN107480462A (zh) * 2017-09-05 2017-12-15 上海亲睦医院管理有限公司 智慧临床交互***
CN107665334A (zh) * 2017-09-11 2018-02-06 广东欧珀移动通信有限公司 基于表情的智能控制方法和装置
CN107918766A (zh) * 2017-11-27 2018-04-17 中山路得斯空调有限公司 一种基于大数据实现的学生性格追踪***
CN108711452A (zh) * 2018-01-25 2018-10-26 鲁东大学 基于视觉的人体健康状态分析方法和***
CN109300537A (zh) * 2018-09-17 2019-02-01 金碧地智能科技(珠海)有限公司 一种基于深度学习的独居老人异常表情识别及自动求助***
CN109460749A (zh) * 2018-12-18 2019-03-12 深圳壹账通智能科技有限公司 患者监护方法、装置、计算机设备和存储介质
CN109785977A (zh) * 2018-12-18 2019-05-21 平安科技(深圳)有限公司 自动化信息录入方法、***、装置及存储介质
CN110090119A (zh) * 2019-06-05 2019-08-06 北京大学深圳医院 一种基于大数据技术的昏迷患者护理智慧病床
CN110237372A (zh) * 2019-07-24 2019-09-17 南阳医学高等专科学校第一附属医院 小儿智能雾化器
CN110298325A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 基于视频表情识别的表达障碍患者辅助护理***
CN110414296A (zh) * 2018-04-26 2019-11-05 上海西门子医疗器械有限公司 被扫描人状态的监控方法、监控设备和医学影像扫描设备
CN110958391A (zh) * 2019-12-12 2020-04-03 中电鸿信信息科技有限公司 一种患者紧急物品箱智能移动***与方法
CN111128369A (zh) * 2019-11-18 2020-05-08 创新工场(北京)企业管理股份有限公司 一种用于评估患者的帕金森病情的方法和装置
CN111402523A (zh) * 2020-03-24 2020-07-10 宋钰堃 一种基于面部影像识别的医疗报警***及方法
CN111680607A (zh) * 2020-06-03 2020-09-18 长春博立电子科技有限公司 基于视频分析的病房异常监测方法及***
CN112541382A (zh) * 2020-04-13 2021-03-23 深圳优地科技有限公司 一种辅助运动的方法、***以及识别终端设备
CN113057599A (zh) * 2021-04-21 2021-07-02 常州市武进人民医院 一种快速评估疼痛的机器
CN113688736A (zh) * 2021-08-25 2021-11-23 燕山大学 一种对患者健康状况进行分析监测的方法
CN114883014A (zh) * 2022-04-07 2022-08-09 南方医科大学口腔医院 一种基于生物识别的患者情绪反馈装置、方法和治疗床

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互***及方法
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法
US20150213207A1 (en) * 2012-09-13 2015-07-30 Parkland Center For Clinical Innovation Holistic hospital patient care and management system and method for automated facial biological recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213207A1 (en) * 2012-09-13 2015-07-30 Parkland Center For Clinical Innovation Holistic hospital patient care and management system and method for automated facial biological recognition
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互***及方法
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI DONG,ET AL.: "Facial expression feature selection based on rough set", 《INTERNATIONAL CONFERENCE ON INFORMATION COMPUTING AND APPLICATIONS》 *
王林路: "基于情感集合特征和支持向量机的人脸表情识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056103A (zh) * 2016-07-05 2016-10-26 长春工业大学 一种基于鲁棒的正则化编码表情识别方法及数据监测***
CN106778497A (zh) * 2016-11-12 2017-05-31 上海任道信息科技有限公司 一种基于综合检测的智能养老看护方法及***
CN106874675A (zh) * 2017-02-20 2017-06-20 上海交通大学医学院附属第九人民医院 一种面部神经/肌肉康复锻炼远程管理设备
CN106580270A (zh) * 2017-02-20 2017-04-26 上海交通大学医学院附属第九人民医院 一种面部神经/肌肉康复监测、指导设备和***
CN106845141A (zh) * 2017-03-02 2017-06-13 深圳汇通智能化科技有限公司 一种可视化家庭健康管理平台
CN106934906A (zh) * 2017-03-07 2017-07-07 佛山市融信通企业咨询服务有限公司 一种自动判断就诊优先等级的医院挂号***
CN106874689A (zh) * 2017-03-07 2017-06-20 佛山市融信通企业咨询服务有限公司 一种远程网络诊断辅助***
CN106875534A (zh) * 2017-03-07 2017-06-20 佛山市融信通企业咨询服务有限公司 一种智能化医院自助挂号***
CN106845459A (zh) * 2017-03-07 2017-06-13 佛山市融信通企业咨询服务有限公司 一种智能化医院自助挂号方法
CN107315904A (zh) * 2017-05-26 2017-11-03 深圳市南山区慢性病防治院 患者服药远程监控***及方法
CN107320090A (zh) * 2017-06-28 2017-11-07 广东数相智能科技有限公司 一种突发疾病监护***及方法
CN107480462A (zh) * 2017-09-05 2017-12-15 上海亲睦医院管理有限公司 智慧临床交互***
CN107665334A (zh) * 2017-09-11 2018-02-06 广东欧珀移动通信有限公司 基于表情的智能控制方法和装置
CN107918766A (zh) * 2017-11-27 2018-04-17 中山路得斯空调有限公司 一种基于大数据实现的学生性格追踪***
CN108711452A (zh) * 2018-01-25 2018-10-26 鲁东大学 基于视觉的人体健康状态分析方法和***
CN110414296A (zh) * 2018-04-26 2019-11-05 上海西门子医疗器械有限公司 被扫描人状态的监控方法、监控设备和医学影像扫描设备
CN109300537A (zh) * 2018-09-17 2019-02-01 金碧地智能科技(珠海)有限公司 一种基于深度学习的独居老人异常表情识别及自动求助***
CN109460749A (zh) * 2018-12-18 2019-03-12 深圳壹账通智能科技有限公司 患者监护方法、装置、计算机设备和存储介质
CN109785977A (zh) * 2018-12-18 2019-05-21 平安科技(深圳)有限公司 自动化信息录入方法、***、装置及存储介质
CN110090119A (zh) * 2019-06-05 2019-08-06 北京大学深圳医院 一种基于大数据技术的昏迷患者护理智慧病床
CN110298325A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 基于视频表情识别的表达障碍患者辅助护理***
CN110237372B (zh) * 2019-07-24 2021-11-09 南阳医学高等专科学校第一附属医院 小儿智能雾化器
CN110237372A (zh) * 2019-07-24 2019-09-17 南阳医学高等专科学校第一附属医院 小儿智能雾化器
CN111128369A (zh) * 2019-11-18 2020-05-08 创新工场(北京)企业管理股份有限公司 一种用于评估患者的帕金森病情的方法和装置
CN110958391A (zh) * 2019-12-12 2020-04-03 中电鸿信信息科技有限公司 一种患者紧急物品箱智能移动***与方法
CN111402523A (zh) * 2020-03-24 2020-07-10 宋钰堃 一种基于面部影像识别的医疗报警***及方法
CN112541382A (zh) * 2020-04-13 2021-03-23 深圳优地科技有限公司 一种辅助运动的方法、***以及识别终端设备
CN111680607A (zh) * 2020-06-03 2020-09-18 长春博立电子科技有限公司 基于视频分析的病房异常监测方法及***
CN113057599A (zh) * 2021-04-21 2021-07-02 常州市武进人民医院 一种快速评估疼痛的机器
CN113688736A (zh) * 2021-08-25 2021-11-23 燕山大学 一种对患者健康状况进行分析监测的方法
CN114883014A (zh) * 2022-04-07 2022-08-09 南方医科大学口腔医院 一种基于生物识别的患者情绪反馈装置、方法和治疗床
CN114883014B (zh) * 2022-04-07 2023-05-05 南方医科大学口腔医院 一种基于生物识别的患者情绪反馈装置、方法和治疗床

Also Published As

Publication number Publication date
CN105184239B (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN105184239A (zh) 基于患者表情识别的病房辅助医护***及辅助医护方法
Raj et al. HEMAN: Health monitoring and nous: An IoT based e-health care system for remote telemedicine
Ni et al. A review of deep learning-based contactless heart rate measurement methods
CN106529177A (zh) 一种基于医疗大数据的患者画像方法及装置
CN1977273A (zh) 对病人临床趋势进行量化和监视它们的状态进展的***和方法
US20230051436A1 (en) Systems and methods for evaluating health outcomes
CN106027663A (zh) 基于医疗***数据共享***的icu护理监控***
CN113806553A (zh) 一种中西医健康知识图谱***及构建方法
Kwon et al. Sinabro: A smartphone-integrated opportunistic electrocardiogram monitoring system
Keikhosrokiani IoT for enhanced decision-making in medical information systems: A systematic review
Nerella et al. AI-enhanced intensive care unit: revolutionizing patient care with pervasive sensing
US20100150405A1 (en) System and method for diagnosis of human behavior based on external body markers
CN105825057A (zh) 一种病区临床数据分析方法以及***
Gurusamy et al. The role of AI and machine learning in full stack development for healthcare applications
CN116824670A (zh) 基于微表情的问诊辅助方法、装置、设备及介质
CN116570246A (zh) 一种癫痫监测及远程报警***
CN111402975A (zh) 一种基于智慧云平台的院外药学监护***及方法
Htet et al. HMM-based action recognition system for elderly healthcare by colorizing depth map
Gunturu et al. A Smart Multimodal Biomedical Diagnosis Based on Patient's Medical Questions and Symptoms
Eldem et al. Encoder–decoder semantic segmentation models for pressure wound images
Lin et al. Estimation of vital signs from facial videos via video magnification and deep learning
Li et al. Big data is essential for further development of integrative medicine
CN112233753A (zh) 基于多源异质数据的临床用药推荐方法
Shafiq et al. Dental radiology: a convolutional neural network-based approach to detect dental disorders from dental images in a real-time environment
Sunny et al. TeleVital: Enhancing the quality of contactless health assessment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180601

Termination date: 20190827