CN100484465C - 处理生物信息的方法和装置 - Google Patents

Abstract

一种生物信息处理装置包括：生物信息传感器，用来以非接触方式和不受限方式来测量研究对象的生物信息；以及电路，基于使用生物传感器测量出的生物信息的测量值，并基于生物信息的初始值或标准值，来估计研究对象的心理状态及其强度。

Description

处理生物信息的方法和装置

相关申请

本发明包含与2004年10月19日提交日本特许厅的日本专利申请JP2004-303659相关的主题，该申请的全部内容通过引用包括在此。

技术领域

本发明涉及用于处理生物信息(生物统计学信息)的方法和装置。

背景技术

已经考虑到：使用传感器来检测研究对象的生物信息，并且研究对象的情绪和心理状态从测得的生物信息中进行估计。

例如，有一种众所周知的方法，其中将心电图检测装置和脉搏传感器附在研究对象的身体上，以便测量心跳速率和脉搏速率，并且研究对象的紧张程度和研究对象的情绪变化可从其中的变化中进行估计(参考，例如，公开号为1995-323162和2002-23918的日本未实审专利申请)。

还有一种众所周知的方法，其中研究对象的紧张程度和情绪变化通过使用附在研究对象的项链、眼镜、卡片、或计步器上的传感器或通过直接附在指尖或者手腕上的传感器测量的研究对象的心跳速率和脉搏速率来估计研究对象。或者，另有一种众所周知的方法，其中可以估计在个人谈判期间另一方和研究对象的脉搏速率之间的一致性程度，并可估计出与其它方的一致性程度(在冷淡现象中的冷淡程度)(参考，例如，公开号为2002-23918和1999-4892的日本未实审专利申请)。

此外，还有一种众所周知的方法，其中将红外线射入研究对象的眼睛中，并基于反射光的光线数量的变化来检测研究对象的眨眼，来估计诸如打瞌睡或者感兴趣的心理状态(参考，例如，公开号为2002-35523的日本未实审专利申请)。另有一种众所周知的方法，其中将超声波射向研究对象，并基于反射波的变化程度捕捉研究对象的身体移动来对打瞌睡进行估计(参考，例如，公开号为1992-212331的日本未实审专利申请)。

发明内容

然而，当使用上述方法来估计心理状态时，在接触类生物信息传感器的情形中，不仅传感器的附加很麻烦，并且其附加的结果是用户意识到了传感器，从而导致在测量结果中出现心理影响。在非接触类生物信息传感器的情形中，由于将红外线和超声波射向人体，情形就是：很难忽视对人体的影响。

需要解决上述问题。

根据本发明一实施例，提供了一种生物信息处理装置，包括：生物信息传感器，以非接触方式和不受限方式来测量研究对象的生物信息；以及电路，基于使用生物信息传感器测量的生物信息的测量值，并基于生物信息的初始值或标准值，来估计研究对象的心理状态及其强度。

根据本发明该实施例，可以估计研究对象的唤醒程度(arousallevel)和对一对象的专心程度(或者感兴趣程度)，并且基于该估计结果可以最适合当时研究对象的心理状态的状态来重现视频和/或声音。

在该情形中，可用非接触方式和不受限方式来获得研究对象的生物信息，研究对象无需有心理和生理负担，并且在测量结果中没有出现影响。即使测量要执行很长一段时间，对研究对象的身体也不会产生影响。

附图说明

图1是示出本发明一实施例的示意图；

图2A和2B示出可用于本发明实施例的生物信息传感器的输出数据的示例；

图3A和3B示出可用于本发明实施例的生物信息传感器的输出数据的示例；

图4是示出根据本发明实施例的控制流程的一个示例的流程图；

图5示出本发明的实施例；

图6是示出本发明另一实施例的示意图；

图7A、7B和7C示出本发明实施例。

具体实施方式

在本发明一实施例中，以非接触方式和不受限方式获得了研究对象的生物信息，基于所获得的生物信息来估计研究对象的心理状态和情绪，并且根据估计结果来向研究对象的环境提供改变。

(1)视频/音频重现装置的示例(1号)

图1示出本发明实施例应用于视频/音频重现装置时的一个示例。视频/音频重现装置确定对一对象的唤醒程度和专心程度，作为表示是研究对象的观察者的心理状态的索引，并控制根据该唤醒程度和专心程度重现的视频和声音。

为此，在该示例中，视频/音频重现装置具有温度记录器(红外视频照相机)11，该温度记录器11用作以非接触方式和不受限方式从观察者(研究对象)处获得生物信息的生物信息传感器。然后，如图2A或者图3A所示，通过温度记录器11来测量观察者面部的表面温度，并将测量输出提供给生物信息分析电路13。

在该情形中，当观察者睁开他/她的眼睛时，由于包含眼睛区域A(图2A中的白色框)的区域是眼球，其温度比面部的要低。然而，当观察者闭上他/她的眼睛时，由于眼球被眼睑所遮盖，区域A的温度达到了基本等于面部温度的温度。

图2B是示出当区域A的温度由温度记录器测量时的测量结果的一个示例，其中水平轴t表示时间，使得视频信号的帧数成为单位，而垂直轴T则表示区域A的温度。在测量结果中，温度低的部分表明眼睑是打开的，温度高的部分表明眼睑是关闭的。然后，在分析电路13中，对表示区域A周围面部温度的值与温度记录器11的测量输出中表示区域A温度的值作比较，并且提取表示每个单位时间内眨眼速率的分析结果。

此外，当观察者呼吸时，在呼气情形中身体内部温暖的空气离开鼻孔，鼻孔附近(由图3A中黑框表示的区域B)的身体表面温度升高，而在吸气情形中，由于温度低的空气进入身体，鼻孔附近的身体表面温度降低。

图3B是示出当使用温度记录器测量区域B的温度时的测量结果的一个示例，其中水平轴t表示时间，使得视频信号的帧数成为单位，而垂直轴T表示区域B的身体表面温度。在测量结果中，温度低的部分表示吸气的时间段，温度高的部分表示呼气的时间段。然后，在分析电路13中，对表示区域B温度的值与温度记录器11的测量输出中表示区域B周围面部温度的值作比较，并且提取表明呼吸速率的分析结果。

然后，眨眼速率和呼吸速率的分析结果被提供给微型计算机20，从而基于眨眼速率和呼吸速率的变化来计算观察者对该对象的唤醒程度和专心程度，并且根据结果来适当地重现视频和声音。即，微型计算机20包括用来执行程序的CPU 21，写入各类程序的ROM 22，以及用作工作区域的RAM 23，并且它们通过***总线29彼此相连。

在该情形中，ROM 22还拥有例如图4所示的例程100，作为由CPU21执行的程序的一部分。例程100的细节在后面描述。例程100用来基于观察者的生物信息控制视频信号和声音信号，使该观察者对视频和声音感觉很舒服。在图4中，对于例程100来说，仅提取并示出与本发明实施例相关的各个部分。

此外，微型计算机20包括用作大容量记录装置的硬盘装置24，以及诸如键盘和鼠标的用户接口25，并且这些部分都与***总线29相连。在该示例中，提供了DVD播放器，作为视频信号和声音信号的信号源，且该DVD播放器36通过视频/声音控制电路26与***总线29相连。

在该情形中，视频/声音控制电路26通过控制由DVD播放器36重现的视频信号来改变要显示的视频图像的状态，例如对比度、亮度、色度、色彩饱和度，并控制DVD播放器36的回放速度。此外，通过控制由DVD播放器36重现的声音信号，视频/声音控制电路26控制音量、频率特征以及要重现的声音的混响。

显示器37通过显示控制电路27连接到***总线29，从视频/声音控制电路26输出的视频信号被转化成由显示控制电路27显示的信号，并且该显示信号被提供给显示器37。此外，声音处理电路28连接到***总线29，声音信号通过该处理电路28被提供给扬声器38，并且，来自话筒39的声音信号通过声音处理电路28由微型计算机20接收。

此外，为了交换由该装置或其它类似装置测量的观察者的生物信息和数据，，收发电路31和通信电路32被连接到***总线29，并且该通信电路32被连接到例如因特网40的另一个网络。

在该配置中，当用户接口25工作时，视频信号和声音信号由DVD播放器36重现。该视频信号通过视频/声音控制电路26和显示控制电路27提供给显示器37，从而视频图像被显示，而声音信号通过视频/声音控制电路26和声音处理电路28提供给扬声器38，从而声音被重现。

此时，例程100由CPU 21来执行，以便计算观察者对显示器37的视频和扬声器38的声音的唤醒程度和专心程度。基于这些计算结果，视频和声音得到控制从而使观察者觉得视频和声音很舒服。

更具体地，当例程100执行时，在步骤101，来自生物信息分析电路13的分析结果(眨眼速率和呼吸速率)由微型计算机20接收。然后，在步骤102，基于在步骤101中接收的分析结果，计算唤醒程度和专心程度。稍后将参照部分(3)来描述该计算方法。唤醒程度和专心程度可计算为分别取正极性和负极性的模拟值。

然后，流程继续到步骤103，其中确定在步骤102中计算出的唤醒程度和专心程度的极性，并且根据极性的组合处理进行分支。即，唤醒程度可以取正极性或负极性的值，而专心程度也可取正极性或负极性的值。因此，唤醒程度和专心程度可以由如图5所示的二维坐标来表示。此时，观察如下：

在区域1中，唤醒程度>0并且专心程度>0(唤醒程度很高并且感兴趣)，

在区域2中，唤醒程度>0并且专心程度<0(唤醒程度很高但不感兴趣)，

在区域3中，唤醒程度<0并且专心程度>0(唤醒程度很低但感兴趣)，以及

在区域4中，唤醒程度<0并且专心程度<0(唤醒程度很低并且不感兴趣)。

因此，当唤醒程度和专心程度落在区域1时，此时观察者的心理状态估计为：观察者对视频和声音感到很舒服。流程从步骤103继续到步骤111。在步骤111，处理返回到步骤101，而无需更改提供给显示器37和扬声器38的视频信号和声音信号。即，在区域1的情形中，确定此时观察者对视频和声音满意，并且重现状态不作改变。

然而，当唤醒程度和专心程度落在区域2时，观察者的心理状态估计为：此时观察者对视频和声音不感兴趣，且流程从步骤103继续到步骤112。在步骤112中，例如，降低提供给显示器37的视频信号的DC电平和AC电平，以减小在显示器37上显示的视频的亮度和对比度。此外，提供给扬声器38的声音信号的电平降低，且频率特征被修改成降低从扬声器38输出的音量，以便减小低频范围和高频范围，或者以便弱化节奏。然后，流程返回到步骤101。

当在步骤112设置的电平在预定时间段内保持时，此时是观察者的唤醒程度和专心程度没有提高的时间。因此，此时例如视频和声音的重现在步骤112停止。

当唤醒程度和专心程度落在区域3时，流程从步骤103继续到步骤113。在步骤113，为了通过增加唤醒程度来增加满意程度，并且为了增加专心程度，与步骤112相反，例如，提供给显示器37的视频信号的DC电平和AC电平升高，以增加在显示器37上显示的视频的亮度和对比度。此外，提供给扬声器38的声音信号的电平升高，并且频率特征被修改成增加从扬声器38输出的音量，以便增大低频范围和高频范围，或者以便强化节奏。然后，流程返回到步骤101。

例如，当用户通过用户接口25将重现装置设置为睡眠模式时，在达到区域3的电平时，观察者的舒适睡眠并没有被干扰，并因此保持了此时的重现状态。

当唤醒程度和专心程度落在区域4时，观察者的心理状态估计为：此时观察者对视频和声音不满意。然后流程从步骤103继续到步骤112，在那里去除类似于区域2的观察者的不满。

因此根据例程100，通常观察者有可能舒服地观看视频和音频。

用这种方式，根据上述视频/音频重现装置，可以估计出观察者(研究对象)对一对象的唤醒程度和专心程度，并且基于估计结果，可以在最适于当时观察者心理状态的状态下重现视频和声音。

然后，在该情形中，由于观察者的生物信息能以非接触方式和不限定方式来获得，观察者不必为附加传感器而感到烦恼，也不会意识到传感器。因此，在测量结果中不会出现心理影响。此外，由于使用温度记录器11来执行生物信息的测量，即使测量要进行很长一段时间，也不会对人体产生影响。

(2)视频/音频重现装置的示例(2号)

图6示出一种情形，其中普通视频照相机用作生物信息传感器，而无需如参照部分(1)所述的视频/音频重现装置中的接触和限制。例如，观察者的整个身体由视频照相机12进行图像捕捉，且视频信号被提供给生物信息分析电路13。

在该分析电路13中，例如，执行在图7A、7B和7C示出的信号处理(图7A仅示出包含观察者的眼睛和眼睑的区域C)。即，从视频照相机12提供的视频信号(图7A)被转化成灰度(图7B)，并且已转化成灰度的视频信号和已转化成灰度的先前视频信号之间的差异(图7C)被提取。因此，视频信号的差异表示通过图像捕捉观察者而获得的图像内有移动的部分。然后，分析视频信号的差异以输出诸如身体移动、呼吸以及眨眼的生物信息，并且这些生物信息被提供给微型计算机20。

因此，然后，作为参照部分(1)描述的执行处理的结果，可以估计出观察者对该对象的唤醒程度和专心程度，并且基于估计结果，可以在最适合当时观察者心理状态的状态下重现视频和声音。

并且在该情形中，由于可以在非接触方式和不受限方式获得观察者的生物信息，所以观察者没有任何心理和生理负担，并且在测量结果中也不出现影响。

(3)唤醒程度和专心程度的计算

观察者当前的唤醒程度和专心程度当前置于图5中的位置可通过处理以下所述章节(3-1)和(3-2)得知。当观察者的当前唤醒程度和专心程度例如在图5中的P点时，包含P点的曲线D中唤醒程度和专心程度的走向可基于唤醒程度和专心程度的变化历史来确定。

因此，通常提供最适合观察者当前状态的视频和声音是可能的。此外，当观察者的状态满意时，可以保持该状态，而当观察者的状态不满时，可抑制该状态。

(3-1)唤醒程度的计算

可以从有关呼吸速率和脉搏速率的初始值或标准值的变化中确定唤醒程度。即，唤醒程度可如下计算：

唤醒程度＝Rrm-Rrr                        …(1)

其中Rrm是每个单位时间内呼吸速率的测量值，Rrr是每个单位时间内呼吸速率的初始值或标准值，或者

唤醒程度＝Prm-Prr                       …(2)

其中Prm是每个单位时间内脉搏速率的测量值，Prr是每个单位时间内脉搏速率的初始值或标准值。

(3-2)专心程度的计算

基于例如如下等式(3)或(4)，从眼睑的眨动可计算出对一对象的专心程度：

专心程度＝-(Nebm-Neb_init)              …(3)

其中Nebm是眨眼速率的测量值，Neb_init是眨眼速率的初始值，或者

专心程度＝-(Nebm-Neb_ref)              …(4)

其中Neb_ref是眨眼速率的标准值。

(4)其它

在前述内容中，当基于观察者的心理状态及其强度的估计结果修改视频信号或声音信号时，可以改变重现速度、音量、色彩、内容等。此外，所测量的生物信息、以及基于生物信息修改的视频信号和/或音频信号也可记录在记录媒体中。

因此作为一个记录媒体，可使用硬盘装置24、光盘、磁性光盘、磁带、硬盘、半导体存储器、IC卡等。记录光盘可以是CD-R、CD-RW、MD、DVD±R、DVD±RW、DVD-RAM和蓝射线盘等等。尽管视频信号和音频信号是基于生物信息修改的，对改变信号的许可和禁止却是可选择的。

对本领域的技术人员来说可以理解，根据设计要求和其它因素可以进行各种修改、组合、子组合、和变化，只要它们都落于所附权利要求及其等效方案范围内。

Claims (11)

1.一种生物信息处理装置，包括：

生物信息传感器，以非接触方式和不受限方式测量研究对象的生物信息，其中所述研究对象是一个用于重现视频信号和音频信号中至少一种信号的重现装置的使用者；以及

电路，基于使用所述生物传感器测量的生物信息的测量值，并基于所述生物信息的初始值和标准值，来估计研究对象的心理状态及其强度，以及提供估计的结果；

其中响应于所述估计的结果，所述生物信息处理装置对所述视频信号和音频信号中至少一种信号进行自动修改；

其中所述研究对象的心理状态可从所述研究对象的呼吸速率以及眨眼速率的至少之一的变化中确定。

2.如权利要求1所述的生物信息处理装置，其特征在于，所述生物信息传感器是视频照相机。

3.如权利要求1所述的生物信息处理装置，其特征在于，所述研究对象的心理状态是研究对象的唤醒程度、专心程度、兴趣、情绪和感觉的至少之一。

4.一种重现装置，包括：

重现装置，用来重现视频信号和声音信号的至少之一；

生物信息传感器，用来以非接触方式和不受限方式测量观察者的生物信息；

电路，基于使用所述生物传感器测量的生物信息的测量值，并基于所述生物信息的初始值或标准值，来估计研究对象的心理状态及其强度；以及

用来使由所述重现装置重现的视频信号和声音信号的至少之一根据所述估计电路的估计结果进行修改的装置；

其中所述研究对象的心理状态可从所述研究对象的呼吸速率以及眨眼速率的至少之一的变化中确定。

5.如权利要求4所述的重现装置，其特征在于，所述生物信息传感器是视频照相机。

6.如权利要求4所述的重现装置，其特征在于，所述研究对象的心理状态是指研究对象的唤醒程度、专心程度、兴趣、情绪和感觉的至少之一。

7.如权利要求4所述的重现装置，其特征在于，用来更改视频信号和声音信号的至少之一的装置，更改信号的重现速度、音量、色彩、以及内容的至少之一。

8.如权利要求4所述的重现装置，还包括记录装置，用来记录生物信息，以及基于所述生物信息修改的声音信号和视频信号的至少之一。

9.如权利要求8所述的重现装置，其特征在于，所述记录装置是光盘、磁性光盘、磁带、硬盘、半导体存储器，以及IC卡之一。

10.如权利要求8所述的重现装置，其特征在于，光盘是可记录光盘CD-R、可重写光盘CD-RW、小型盘MD、数字多功能盘±可记录DVD±R、数字多功能盘±可重写DVD±RW、数字多功能盘-随机存取存储器DVD-RAM、以及蓝射线盘之一。

11.如权利要求4所述的重现装置，其特征在于，对根据所述生物信息来改变视频信号和声音信号的至少之一的功能的禁止和许可可由用户进行选择。

Images