CN103135801B

CN103135801B - 人机界面及手指鼠标

Info

Publication number: CN103135801B
Application number: CN201110389525.5A
Authority: CN
Inventors: 古人豪; 高铭璨; 黃森煌
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2011-11-30
Filing date: 2011-11-30
Publication date: 2016-01-20
Anticipated expiration: 2031-11-30
Also published as: CN103135801A

Abstract

一种人机界面***，包含从装置和主装置。所述从装置提供两个不同波长的光以照明手指表面、接收来自所述手指表面的反射光以生成多个图像图框、计算并输出关于预设张所述图像图框的图像图框信息。所述主装置根据所述图像图框信息计算所述手指表面的接触状态和位移量以及使用者的生理特征。

Description

人机界面***及手指鼠标***

技术领域

本发明涉及一种人机界面***，特别涉及一种可同时检测使用者生理特征以及手指位移量及接触状态的人机界面***及手指鼠标***。

背景技术

光学手指鼠标(opticalfingermouse，OFM)由于体积小，通常适合用于可携式电子装置。一般光学手指鼠标可检测使用者手指表面反射光线的光强度变化，并藉以判断手指的接触状态以及手指相对于触控面的位移量。然而，随着工业化的发展，使用者使用可携式电子装置的时间逐渐增加，甚至超出体力负荷而自己并没有察觉。因此，如果一可携式电子装置同时具有检测使用者生理特征的功能并能于必要时提出警示，则可避免过度使用的情形发生。

已知血氧饱和仪(pulseoximeter)利用非侵入式的方式来检测使用者的血氧浓度及脉搏数，其可生成红光光束(波长约660纳米)及红外光光束(波长约910纳米)穿透待测部位，并利用带氧血红素(oxyhemoglobin)及去氧血红素(Deoxyheamo-globin)对特定光谱具有不同吸收率的特性检测穿透光的光强度变化，例如，参照美国专利第7,072,701号，标题为血氧浓度的监测方式(Methodforspectrophotometricbloodoxygenationmonitoring)。检测出两种波长的穿透光的光强度变化后，再以下列公式计算血氧浓度

血氧浓度＝100％×[HbO₂]/([HbO_2]+[Hb])；

其中，[HbO₂]表示带氧血红素浓度；[Hb]表示去氧血红素浓度。

一般血氧饱和仪所检测到的两种波长的穿透光的光强度会随着心跳而呈现如图1所示的变化，这是由于血管会随着心跳而不断地扩张及收缩而使得光束所通过的血液量改变，进而改变光能量被吸收的比例。藉此，根据不断变化的光强度信息则可计算血液对不同光谱的吸收率，以分别计算带氧血红素浓度及去氧血红素浓度等浓度信息，最后再利用上述血氧浓度公式计算血氧浓度。

然而，由于血氧饱和仪检测穿透光线的光强度变化，因而会随着不同的待测部位而检测到不同的光强度信号；此外，当已知血氧饱和仪所检测的待测部位发生移动时，则会检测到剧烈变动的混乱波形而无法根据它正确计算出生理特征，因而其并不适用于可携式电子装置或需要移动操作的装置。

鉴于此，本发明提出一种可同时检测使用者生理特征及手指位移量和接触状态的人机界面***及手指鼠标***，其可于检测手指位移量的同时检测使用者的生理特征，并可有效消除移动所造成的信号干扰。

发明内容

本发明的目的是提供一种人机界面***及手指鼠标***，其通过分析手指的反射光信号以同时计算手指位移量及接触状态以及使用者生理特征。

本发明的又一目的是提供一种人机界面***及手指鼠标***，其可同时检测手指位移量及接触状态以及使用者生理特征，并具有消除环境光源影响的机制。

本发明的又一目的是提供一种人机界面***及手指鼠标***，其可同时检测手指位移量及接触状态以及使用者生理特征，并具有降噪及省频宽机制。

本发明的又一目的是提供一种人机界面***及手指鼠标***，其可同时检测手指位移量及接触状态以及使用者生理特征，并具有***频率校正机制。

本发明的又一目的是提供一种人机界面***及手指鼠标***，其可同时检测手指位移量及接触状态以及使用者生理特征，并在闲置预设时间后进入休眠模式。

本发明的又一目的是提供一种人机界面***及手指鼠标***，其可同时检测手指位移量及接触状态以及使用者生理特征，当位移量太大时可舍弃或不回应生理特征。

本发明的又一目的是提供一种人机界面***及手指鼠标***，其可同时检测手指位移量及接触状态以及使用者生理特征，并具有核查主从装置间资料传输的机制。

为了达到上述目的，本发明提供一种人机界面***，包含从装置和主装置。所述从装置提供两个不同波长的光以照明所述手指、接收来自所述手指的反射光以生成相对所述两个不同波长的光点亮的多个第一图像图框及多个第二图像图框、计算并输出关于预设张所述第一图像图框的第一图像图框信息及关于预设张所述第二图像图框的第二图像图框信息。所述主装置根据所述第一图像图框信息及所述第二图像图框信息计算所述位移量及所述生理特征。

根据本发明的另一特点，本发明还提供一种手指鼠标***，包含光学检测装置和主机。所述光学检测装置包含第一光源、第二光源、光源控制单元、图像传感器和处理单元。所述第一光源发出第一波长的光到所述手指。所述第二光源发出第二波长的光到所述手指。所述光源控制单元控制所述第一光源及所述第二光源的点亮及熄灭。所述图像传感器以取样频率接收来自所述手指的反射光以生成相对所述第一光源点亮的多个第一图像图框及相对所述第二光源点亮的多个第二图像图框。所述处理单元计算并输出关于预设张所述第一图像图框的第一图像图框信息及关于预设张所述第二图像图框的第二图像图框信息。所述主机接收并检查所述第一图像图框信息及所述第二图像图框信息，并根据它来计算所述位移量及所述生理特征。

根据本发明的另一特点，本发明还提供一种人机界面***，包含手指鼠标装置和主机。所述手指鼠标装置提供两个不同波长的光以照明一手指、接收来自所述手指的反射光以生成相对所述两个不同波长的光点亮的多个第一图像图框及多个第二图像图框、计算并输出关于预设张所述第一图像图框的第一图像图框信息及关于预设张所述第二图像图框的第二图像图框信息。所述主机包含处理单元和表示单元。所述处理单元根据所述第一图像图框信息及所述第二图像图框信息计算位移量和生理特征。所述表示单元用来回应所述位移量及所述生理特征。

本发明的人机界面***和手指鼠标***中，所述生理特征包含血氧浓度和脉搏数。本发明通过使用独立元件分析法或盲信号源分离法来分离移动信息及生理信息，可有效消除移动造成的信号干扰。

本发明的人机界面***中，所述从装置可为鼠标、遥控器、键盘、光学测距装置或其他电子周边装置；所述主装置可以是电视、投影装置、游戏机***或计算机***。

附图说明

图1是血氧饱和仪所检测穿透光的光强度变化的示意图。

图2A是本发明一实施方式的人机界面***的示意图。

图2B是本发明一实施方式的人机界面***的方框图。

图3是本发明实施方式的人机界面***的图像传感器所获取图像图框的示意图。

图4是本发明实施方式的人机界面***的图像传感器，其包含滤光器设置于部分感测面前方。

图5是本发明实施方式的人机界面***中，图像获取与光源点灭的示意图。

图6是本发明实施方式的人机界面***的第二处理单元分离移动信息及生理信息的示意图。

图7是本发明实施方式的生理特征检测方法的流程图。

附图标记说明

1从装置111第一光源

112第二光源12导光件

13触控件13S触控面

14图像传感器141滤光器

14S感测面15第一处理单元

16光源控制单元17第一记忆单元

18传输界面19时脉生成器

2主装置21第二记忆单元

22核查单元23第二处理单元

231移动/接触检测单元232生理特征检测单元

24表示单元S₁₁-S₁₂步骤

9手指9S手指表面

SI₁-SI_2N图像图框信息I₁-I₆图像图框

B₁-B_2N、B₁′-B_2N′平均亮度

具体实施方式

为了让本发明的上述和其他目的、特征和优点更明显，下文将配合附图，作详细说明。在本发明的说明中，相同的构件用相同的符号表示，在此先说明。

图2A是本发明实施方式的人机界面***的示意图，包含从装置(slavedevice)1和主装置(masterdevice)2。所述从装置1优选为一电子周边装置；所述主装置2优选为包含表示单元的电子装置，用于回应所述从装置1的输出(例如进行光标控制、软件执行和/或生理状态显示等)；其中所述表示单元可以是显示器、灯号、七字节显示和/或声音装置；所述电子装置可以是可携式电子装置或一般家用电子装置。一实施方式中，人机界面***可以是手指鼠标***，所述从装置1是光学检测装置而所述主装置2是主机，彼此通过有线或无线方式进行资料传输。另一实施方式中，人机界面***可包含手指鼠标装置和主机，所述主机还包含表示单元用于回应所述手指鼠标装置输出的信息。

本发明的人机界面***用于检测使用者的手指9的位移量和接触状态，以及所述使用者的生理特征，例如包括血氧浓度及脉搏数等。一般而言，所述人机界面***在判断所述接触状态为接触态时，才开始进行所述位移量及所述生理特征的计算。

所述从装置1包含两光源111及112、导光件12、触控件13、图像传感器14、第一处理单元15和光源控制单元16；图2A中，各构件的空间关系仅为例示性，并非用于限定本发明。所述两光源111及112例如可为发光二极管或激光二极管，其分别发出不同波长的光，且优选为已知的血氧仪所使用的两个波长，例如660纳米的红光以及905、910或940纳米的红外光。可以了解的是，此处所述波长指光谱的中心波长。

所述导光件12用于将所述光源111及112所发出的光引导至所述触控件13；所述导光件12并非限定为反射面，其也可使所述光源111及112所发出的光以穿透的方式传送至所述触控件13，并无特定限制。其他实施方式中，如果所述光源111及112所发出的光能够入射至所述触控件13，也可省略所述导光件12。

所述触控件13具有触控面13S供所述手指9在它上面操控，所述触控件13优选相对于所述光源111及112所发出的光为透明。当所述手指9靠近或接触所述触控面13S时，所述光源111及112所发出的光被反射。可以了解的是，所述触控面13S的面积可大于或小于所述手指表面9S，并无特定限制。

所述图像传感器14用取样参数接收来自所述触控件13(所述手指表面9S)的反射光以生成多个图像图框(每一张图像图框例如具有16×16像素)；其中所述取样参数包含曝光时间、图像增益等，但并不以此为限。可以了解的是，图2A中可另外包含其他用以引导反射光至所述图像传感器14的透镜，以增加所述图像传感器14的感光效率。所述图像传感器14优选为主动阵列式图像传感器，例如CMOS图像传感器，但也可以是其他用来感测图像图框的元件。

所述第一处理单元15计算并输出关于预设张所述图像图框的图像图框信息，例如M张图像图框的图像图框和、图像图框平均、归一化图像图框和或者归一化图像图框平均；亦即，当所述图像传感器14每输出M张图像图框，所述处理单元15计算并输出所述M张图像图框的图像图框和或者图像图框平均，或进一步对所述图像图框优选的图像图框平均进行归一化处理(详述于后)；换句话说，一张图像图框信息为一张处理过(相加、平均、归一化处理)的图像图框。所述主装置2则根据所述图像图框信息计算所述手指9相对所述触控面13S的位移量和接触状态，以及所述使用者的生理特征。

所述光源控制单元16耦接所述第一处理单元15，以配合所述图像传感器14的图像图框获取控制所述光源111及112的点亮及熄灭(详述于后)。

参照图2A及图2B，图2B是本发明实施方式的人机界面***的方框图，其包含所述从装置1及所述主装置2。所述从装置1包含第一光源111、第二光源112、所述图像传感器14、所述第一处理单元15、所述光源控制单元16、第一记忆单元17、传输界面18及时脉生成器19。所述主装置2包含第二记忆单元21、核查单元22、第二处理单元23及表示单元24；其中，所述第二处理单元23进行多功能运算，其还可包含移动/接触检测单元231用于计算所述手指9相对所述触控面13S的所述位移量及所述接触状态以及生理特征检测单元232用于计算所述使用者的所述生理特征；亦即，所述第二处理单元23可为单一元件或分为两个元件。

所述第一光源111例如发出波长约为660纳米的红光；所述第二光源112例如发出波长约为905、910或940纳米的红外光；广义的说，所述第一光源111及所述第二光源112分别发出已知血氧仪所使用的两个波长的光。所述光源控制单元16控制所述第一光源111及所述第二光源112的点亮或熄灭，使所述图像传感器14以取样频率接收来自所述手指9的反射光以生成相对所述第一光源111点亮的多个第一图像图框及相对所述第二光源112点亮的多个第二图像图框。所述第一处理单元15计算预设张所述第一图像图框的第一图像图框信息，例如M张所述第一图像图框的第一图像图框和、第一图像图框平均、归一化第一图像图框和或者归一化第一图像图框平均，并计算预设张所述第二图像图框的第二图像图框信息，例如M张所述第二图像图框的第二图像图框和、第二图像图框平均、归一化第二图像图框和或者归一化第二图像图框平均。所述第一记忆单元17例如为缓冲器(buffer)用以储存所述第一处理单元15所求得的所述第一图像图框信息及所述第二图像图框信息。所述传输界面18用于将所述第一记忆单元17中储存的所述第一图像图框信息及所述第二图像图框信息通过有线或无线传输的方式传送至所述主装置2；其中，有线及无线传输技术已被已知，故不再赘述。必须说明的是，若所述从装置1与所述主装置2间的资料传输调校的够精准，所述第一记忆单元17可不实施。所述时脉生成器19则用于提供所述从装置1的***频率。

所述第二记忆单元21用于储存自所述从装置1接收的所述第一图像图框信息及所述第二图像图框信息。所述核查单元22则用于检查所述第一图像图框信息及所述第二图像图框信息是否有过取样(oversampling)或资料遗失(loss)的情形。若所述第一图像图框信息及所述第二图像图框信息存在过取样的情形，则直接将过取样的信息舍弃；若所述第一图像图框信息及所述第二图像图框信息存在资料遗失的情形，则可利用内插(interleaving)的方式恢复遗失的资料；若信息没有上述问题，则直接将所述第一图像图框信息及所述第二图像图框信息传送至所述第二处理单元23。可以了解的是，由于所述核查单元23执行多个功能，其可以用单一元件执行所有功能或包含多个元件分别执行所述核查、舍弃及内插等功能。所述第二处理单元23(或所述移动/接触检测单元231)用于根据所述第一图像图框信息及所述第二图像图框信息计算所述手指9相对所述触控面13S的所述位移量及所述接触状态；所述第二处理单元23(或所述生理特征检测单元232)用于根据所述第一图像图框信息及所述第二图像图框信息计算所述使用者的所述生理特征。所述表示单元24用于显示和/或回应所述第二处理单元23所求出的所述位移量、接触状态及生理特征。

一种实施方式中，所述主装置2例如为电视、投影装置、计算机***、游戏***或其他具有表示单元的电子装置；所述从装置1可为遥控器、鼠标、键盘、光学测距装置或其他电子周边装置。换句话说，所述从装置1及所述主装置2相互有线或无线地耦接，以形成一个单一元件(例如可携式装置)或多个元件(例如家电***)；所述从装置1送出相对所述第一光源111点亮的第一图像图框信息及相对所述第二光源112点亮的第二图像图框信息，所述主装置2则根据所述第一图像图框信息及所述第二图像图框信息计算和/或回应所述位移量、接触状态及生理特征。

因此，本发明的从装置1可搭配具有表示单元24的主装置2，让使用者通过所述从装置1控制所述表示单元24所显示的光标或所述主装置2所执行的软件的同时，表示所述使用者的生理特征以供所述使用者参考，并于生理特征显示为疲劳状态时(根据生理特征的数值)对所述使用者提出警示；其中，显示生理特征及警示的方式例如可利用软件执行画面显示、灯号显示或声音显示的方式来达到。

其他实施方式中，所述从装置1也可使用两个图像传感器用于分别检测两个不同波长的光，其中一个图像传感器或两个图像传感器可设置带通滤光器(bandpassfilter)来选择所要接收的光谱。

取样机制

本发明的人机界面***包含两个光源并同时执行两种功能；其中，位移量及接触状态的检测功能并无限定使用特定波长的图像图框，而生理特征功能的检测则必须对应不同波长的图像图框分别计算。以下首先说明本发明中图像图框的取样机制。

一种实施方式中，所述光源控制单元16控制所述第一光源111及所述第二光源112轮流发光，所述图像传感器14则以高速且固定的取样频率(例如每秒3000张)同步所述第一光源111或所述第二光源112的点亮获取图像图框，并输出如图3所示多个图像图框I₁-I₆…至所述第一处理单元15，其中所述图像图框I₁-I₆…包含第一图像图框I₁、I₃、I₅…，其例如相对所述第一光源111的点亮；第二图像图框I₂、I₄、I₆…，其例如相对所述第二光源112的点亮。所述第一处理单元15则分别求出M张第一图像图框I₁、I₃、I₅…的第一图像图框信息，例如第一图像图框和(I₁+I₃+I₅…)、第一图像图框平均(I₁+I₃+I₅…)/M、归一化第一图像图框和(I₁+I₃+I₅…)/(取样参数)或归一化第一图像图框平均(I₁+I₃+I₅…)/(M×取样参数)，以及M张第二图像图框I₂、I₄、I₆…的第二图像图框信息，例如第二图像图框和(I₂+I₄+I₆…)、第二图像图框平均(I₂+I₄+I₆…)/M、归一化第二图像图框和(I₂+I₄+I₆…)/(取样参数)或归一化第二图像图框平均(I₂+I₄+I₆…)/(M×取样参数)。一种实施方式中，所述第一处理单元15将每10张第一及第二图像图框进行一次处理，即M＝10；但不以此为限。

所述第二处理单元23(或所述移动/接触检测单元231)可根据所述第二记忆单元21中储存的所述第一及第二图像图框信息判断接触状态并计算位移量，例如根据所述第一图像图框信息及所述第二图像图框信息的亮度与至少一个阈值的比较结果判定所述手指9是否靠近或接触所述触控面13S，其中当所述图像图框信息的亮度大于或小于所述至少一个阈值时，即判定进入接触态；进入接触态后，所述第二处理单元23可根据两张第一图像图框信息、一张第一图像图框信息与一张第二图像图框信息或两张第二图像图框信息间的相关性(correlation)计算所述位移量。必须说明的是，判定所述接触状态及计算所述位移量的方式虽然可使用已知方式，但本发明中必须利用相对应两个不同波长的反射光的图像图框信息进行判定及计算，而不同于传统导航装置(navigationdevice)。

所述第二处理单元23(或所述生理特征检测单元232)则必须根据所述第一图像图框信息计算出多个第一图像图框信息的亮度变化，并根据所述第二图像图框信息计算出多个第二图像图框信息的亮度变化(详述于后)，并根据它分别计算出两种光谱被吸收的比例以求出带氧血红素浓度[HbO₂]及去氧血红素浓度[Hb]，最后利用血氧浓度公式计算出血氧浓度；并通过所述第一图像图框信息和/或所述第二图像图框信息的亮度变化与至少一个阈值的比较结果计算脉搏数。

另一种实施方式中，所述光源控制单元16控制所述第一光源111及所述第二光源112同步于所述图像传感器14的图像图框获取同时发光；亦即，所述图像传感器14会同时接收到两种波长的反射光。因此，此实施方式中，所述图像传感器14的感测面14S的一部分前方还可设置滤光器141(如图4所示)，其中所述滤光器141可以是带通滤光器以使所述滤光器141后方的部分感测面仅能感测所述第一光源111的光谱或所述第二光源112的光谱，以使所述第二处理单元23(或所述移动/接触检测单元231及所述生理特征检测单元232)能够分辨第一图像图框信息(相对所述第一光源111的部分图像图框)及第二图像图框信息(相对所述第二光源112的部分图像图框)。可以了解的是，本发明中，所述滤光器141的位置及面积并不限于图4所示。

藉此，所述第二处理单元23(或所述移动/接触检测单元231)同样可根据所述第一图像图框信息及所述第二图像图框信息计算接触状态和位移量。所述第二处理单元23(或所述生理特征检测单元232)同样可根据所述第一图像图框信息计算出第一图像图框信息的亮度变化及根据所述第二图像图框信息计算出第二图像图框信息的亮度变化，并根据两个亮度变化的关系计算血氧浓度及脉搏数。

可以了解的是，由于所述图像传感器14可能对不同波长的光具有不同的感光效率，或者所述第一光源111及所述第二光源112的发光亮度不完全相同，因此可于所述光学手指鼠标1出厂前即针对所述图像传感器14所检测图像图框的亮度进行调整(例如调整相对不同波长图像图框的曝光时间、图像增益等取样参数)，以使图像传感器14所获取的初始图像图框具有大致相同的亮度，以消除误判断的可能性。

本实施方式的精神在于，用所述从装置1提供两个不同波长的光以照明手指表面9S、接收来自所述手指表面9S的反射光以生成多个图像图框、计算并输出关于预设张所述图像图框的图像图框信息；所述主装置2则根据所述图像图框信息计算接触状态、位移量及生理特征。

消除环境光机制

图2A中，由于所述接触件13为透明，同时手指会透光，所述从装置1外部的环境光会通过所述接触件13与手指而被所述图像传感器14接收而影响到其所获取的图像图框的图像品质。本发明中，所述光源控制单元16可控制所述第一光源111及第二光源112于部分期间不发光。

图5是所述图像传感器14的图像获取及所述第一光源111及所述第二光源112的点灭情形；其中，实线箭头表示光源点亮而虚线箭头表示光源熄灭。图5中的A图是所述图像传感器14以固定频率持续获取图像图框。图5中的B图是所述第一光源111及所述第二光源112同时轮流地点亮及熄灭，因此所述图像传感器14则可轮流获取到亮图像图框(光源点亮时)及暗图像图框(光源熄灭时)。图5中的C图是所述第一光源111及所述第二光源112每隔两张图像图框同时点亮一次，其通常相对于所述手指9具有较低位移量的情形。如前所述，当所述第一光源111及所述第二光源112同时点亮时(图5中的B图及C图)，所述图像传感器优选14包含滤光器141以空间区隔不同光源的图像图框，以使所述图像传感器14的一部分可感测所述第一光源111的反射光而另一部分可感测所述第二光源112的反射光。

当所述手指9接触或靠近所述触控面13S时，相对于光源点亮时所获取的亮图像图框包含(手指反射光+杂散光+环境光)，相对于光源未点亮时所获取的暗图像图框仅包含(环境光)，因此若将亮图像图框减去暗图像图框，则可有效消除环境光的影响。所述第一处理单元15则可根据亮图像图框与暗图像图框的差分图像图框计算差分图像图框信息，例如M张差分图像图框的差分图像图框和、差分图像图框平均、归一化差分图像图框和或者归一化差分图像图框平均；所述第二处理单元23则可根据所述差分图像图框信息计算位移量、接触状态及生理特征。

图5中的D图是所述第一光源111及所述第二光源112轮流点亮的实施方式。此实施方式中，由于要使所述图像传感器14获取到暗图像图框，因此所述光源控制单元16控制所述第一光源111与所述第二光源112相隔一张图像图框轮流地点亮，例如在图5中的D图的时间t_d时两光源均不点亮。藉此，所述第一处理单元15则可计算差分第一图像图框(亮第一图像图框-暗图像图框)及差分第二图像图框(亮第二图像图框-暗图像图框)，并计算差分第一图像图框信息及差分第二图像图框信息；所述第二处理单元23根据所述差分图像信息计算位移量、接触状态及生理特征。如前所述，当所述第一光源111及所述第二光源112轮流点亮时，所述图像传感器14以时间区隔相对于不同光源的图像图框。

本实施方式的精神在于，使所述光源控制单元16控制所述第一光源111及所述第二光源112同时或轮流发光，并使所述图像传感器14能够获取到所述光源不发光时的暗图像图框，并通过计算亮暗图像间的差以消除环境光影响。因此，图5中所示各光源的点灭情形仅为例示性，并非用以限定本发明。

降噪及省频宽机制

由于所述图像传感器14所获取的图像图框中会存在干扰，且干扰通常以随机的方式分布于所获取的图像图框中，因此本发明利用所述第一处理单元15计算M张图像图框的和来提高信噪比(SNR)，以增加计算生理特征的精确度；例如，将每10张图像图框进行相加，且两组连续的10张图像图框可部分重复或完全不重复。因此，每10张图像可得到一张图像图框和，除了可提升讯杂比外，由于所述图像传感器14优选具有高取样频率，还可有效节省从装置1与主装置2间的资料传输频宽；其他实施方式中还可对图像图框和进行平均。可以了解的是，当所述第一光源111及所述第二光源112系轮流点亮时，本实施方式的图像图框和分别为所述第一图像(例如图3的I₁+I₃+I₅…)的和及所述第二图像(例如图3的I₂+I₄+I₆…)的和，这是由于必需分别计算两组光强度变化。然而，当所述第一光源111及所述第二光源112同时点亮，本实施方式的图像图框和则为连续的图像图框(例如图3的I₁+I₂+I₃+I₄+I₅+I₆…)的和，并通过后处理的方式分辨两组光强度变化。此外，当配合上述消除环境光机制时，所述第一图像图框和为差分第一图像图框和、所述第一图像图框平均为差分第一图像图框平均、所述第二图像图框和为差分第二图像图框和、所述第二图像图框平均为差分第二图像图框平均；亦即，执行完消除环境光处理后接着进行降噪处理。其他实施方式中，亦可仅执行降噪处理。

如前所述，所述图像传感器14有可能在不同条件下以不同的取样参数来获取图像，例如所述图像传感器14相对于不同波长的光可能具有不同的吸收率，因此可能会以不同的曝光时间及图像增益等取样参数来使得所述第一图像及所述第二图像具有亮度大致相同的初始图像图框，以能够正确根据所述图像图框进行后处理，亦即相对所述第一图像图框及第二图像图框的所述取样参数可能不相同。本发明中，为了排除不同取样参数的影响，可将M张图像图框和或者图像图框平均除以取样参数以进行归一化处理，例如(M张图像图框和/取样参数)或(M张图像图框平均/取样参数)；其中，M为正整数。若配合上述消除环境光机制，归一化第一图像图框和为归一化差分第一图像图框和、归一化第一图像图框平均为归一化差分第一图像图框平均、归一化第二图像图框和为归一化差分第二图像图框和、归一化第二图像图框平均为归一化差分第二图像图框平均。

资料核查机制

本发明中，由于计算生理信息需要精确的图像图框资料，所述主装置2的核查单元22对所述从装置1所传送的图像图框资料进行检查，当出现过取样时则舍弃过取样图像资料；当出现资料遗失时则进行内插运算以恢复资料，藉以避免误检测的情形。

生理特征计算

相对于不同光源点亮时，所述图像传感器14所获取的图像图框同时包含有生理信息及移动信息。因此，本发明中所述第二处理单元23(或所述生理特征检测单元232)首先需将两种信息分离后，才能够正确计算生理特征。本发明中，所述第二处理单元23例如采用独立元件分析法(IndependentComponentAnalysis，ICA)或盲信号源分离法(BlindSourceSeparation，BSS)来将两种信息分离。

参照图3和图6，首先以图3的所述第一图像I₁、I₃、I₅…为例，将关于多个第一图像图框(M张原始图像图框和、经过消除环境光机制的M张第一图像图框或归一化第一图像图框)的图像图框信息分割为至少两部分并分别求得平均亮度，例如图像图框信息SI₁分割成平均亮度为B₁及B₁′两部分；图像图框信息SI₃分割成平均亮度为B₃及B₃′两部分；…；图像图框信息SI_2N-1分割成平均亮度为B_2N-1及B_2N-1′两部分(其他实施方式中可多于两部分)；其中，图像图框信息SI₁例如为(I₁+I₃+…I₁₉)、(I₁+I₃+…I₁₉)/10、(I₁+I₃+…I₁₉)/取样参数、(I₁+I₃+…I₁₉₎/(10×取样参数)；图像图框信息SI₃例如为(I₂₁+I₂₃+…I₃₉)、(I₂₁+I₂₃+…I₃₉)/10、(I₂₁+I₂₃+…I₃₉)/取样参数、(I₂₁+I₂₃+…I₃₉)/(10×取样参数)；…。接着，利用独立元件分析法或盲信号源分离法分离出第一移动信息及第一生理信息(如图6所示)，其皆显示为一亮度变化线型。本发明中将移动信息舍弃并利用生理信息来计算生理特征。可以了解的是，由于所述图像传感器14的取样频率远远大于脉搏频率，因此所分离出的生理信息可显示出光强度随脉搏变化的线型(类似图1)；分离出的移动信息分布并不限定如图6所示。此外，所述图像图框分割的两个部分并不限定为上下两部分。此外，由于必须分别计算出两个不同波长的光的生理信息，上述分离程序系分别针对第一图像图框信息SI₁、SI₃、SI₅…(相对应第一光源点亮)及第二图像图框信息SI₂、SI₄、SI₆…(相对应第二光源点亮)来进行。

必须强调的是，所述手指9的位移量及接触状态由所述第二处理单元23(或所述移动/接触检测单元231)直接根据所述第一图像图框信息及所述第二图像图框信息求得，并不需要根据分离后的移动信息计算。独立元件分析法或盲信号源分离法主要用于将混合信号分离，以消除移动所造成的信号干扰。

本发明中，所述第二处理单元23(或所述移动/接触检测单元231)还根据至少一个阈值与所述第一亮度变化和/或所述第二亮度变化的比较结果计算脉搏数。

***频率校正机制

一般为降低***成本，所述时脉生成器19可使用成本较低的RC振荡电路，而RC振荡电路的精度较低且其振荡频率会随着制程及操作温度而改变；其他实施方式中也可使用石英振荡电路，并无特别限制。由于计算生理特征时需要较精准的***频率(例如计算脉搏数时要准确)，所述从装置1出厂前，优选使用具有精准闪烁频率的外部光源贴近所述触控件13的接触面13S，以使所述图像传感器14感测所述外部光源的亮度变化，以作为调整所述时脉生成器19的振荡频率的基准。例如，可事先求出所述时脉生成器19在不同温度下与精准频率间的差异值以作为***频率校正参数，并储存于所述第一记忆单元17中。当使用到***频率时，只要利用所述***频率校正参数即可得到准确的振荡频率。

休眠模式

本发明的人机界面***在闲置一预设时间后，可进入休眠模式。例如，所述第二处理单元23于预设时间判断所述手指9未靠近或接触所述触控面13S时，即可进入休眠模式。

生理特征舍弃机制

本发明的人机界面***的第二处理单元23可同时计算位移量及生理特征，然而精确的生理特征计算优选是在位移量较低的情形。因此，本发明可事先判断所述位移量是否大于预设值，若所述位移量大于所述预设值，则所述图像传感器14所获取的图像图框仅用来计算位移量或判断接触状态而不用来计算生理特征，或者即使计算出生理特征也不通过所述表示单元24进行回应。

本发明提出一种根据手指表面的反射光检测生理特征的方法，包含下列步骤：用从装置提供第一波长和第二波长的光到手指、获取所述第一波长的光的反射光以生成多个第一图像图框并获取所述第二波长的光的反射光以生成多个第二图像图框、计算并输出所述第一图像图框的第一图像图框信息及所述第二图像图框的第二图像图框信息(步骤S₁₁)；以及用主装置根据所述第一图像图框信息及所述第二图像图框信息计算所述手指的接触状态、位移量和生理特征(步骤S₁₂)。本实施方式的生理特征检测方法中，所述第一图像图框信息及所述第二图像图框信息的定义如前所述。此外，本实施方式各步骤的详细实施方式已详述于前，故不再赘述。

本发明的生理特征检测方法可通过检测人体待测部位的皮肤表面以计算生理特征；因此，将上述本发明实施方式中的手指9换成人体其他的待测部位也可执行检测功能；本发明的人机界面***具有降噪、省频宽、错误核查、消除环境光、休眠模式及***频率校正等机制。所述待测部位例如为已知血氧仪用于检测血氧浓度的身体部位。

综上所述，已知光学手指鼠标并不能检测使用者的生理特征，且血氧仪计算血氧浓度的方式因具有无法判断移动中的待测部位等因素而无法相容于光学手指鼠标上。因此，本发明还提供一种人机界面***(图2A及2B)，其可于检测手指位移量的同时检测使用者的生理特征，并可有效消除移动所造成的信号干扰及消除环境光源影响，并具有***频率校正、错误核查、节省频宽、休眠模式及舍弃生理信息的机制。

虽然本发明已用前述实施方式揭示，然而这并非用来限定本发明，任何本发明所属技术领域中的技术人员，在不脱离本发明的精神和范围的情况下，可以作各种更动与修改。因此本发明的保护范围应该以所附的权利要求书所界定的为准。

Claims

1.一种人机界面***，用于检测手指的位移量和生理特征，所述人机界面***包含：

从装置，提供两种不同波长的光以照明同一个触控面上的所述手指、接收来自所述手指的反射光以生成相对所述两种不同波长的光点亮的多个第一图像图框及多个第二图像图框、计算并输出关于预设张所述第一图像图框的第一图像图框信息及关于预设张所述第二图像图框的第二图像图框信息；以及

主装置，根据所述第一图像图框信息及所述第二图像图框信息计算所述手指相对所述触控面的所述位移量及所述生理特征，其中当所述位移量大于预设值时，舍弃所述生理特征。

2.根据权利要求1所述的人机界面***，其中所述从装置为鼠标、遥控器、键盘、光学测距装置；所述主装置为电视、投影装置、游戏机***或计算机***。

3.根据权利要求1所述的人机界面***，其中所述生理特征包含血氧浓度和/或脉搏数。

4.根据权利要求1所述的人机界面***，其中所述从装置还包含：

第一光源，发出第一波长的光至所述手指；

第二光源，发出第二波长的光至所述手指；

光源控制单元，控制所述第一光源及所述第二光源的点亮及熄灭；

图像传感器，以取样频率接收来自所述手指的反射光以生成所述第一图像图框和所述第二图像图框；以及

第一处理单元，计算每预设张所述第一图像图框的所述第一图像图框信息及每预设张所述第二图像图框的所述第二图像图框信息。

5.根据权利要求4所述的人机界面***，其中所述第一图像图框信息为预设张所述第一图像图框的第一图像图框和、第一图像图框平均、归一化第一图像图框和、或归一化第一图像图框平均；所述第二图像图框信息为预设张所述第二图像图框的第二图像图框和、第二图像图框平均、归一化第二图像图框和、或归一化第二图像图框平均。

6.根据权利要求4所述的人机界面***，其中所述光源控制单元控制所述第一光源及所述第二光源在预定期间熄灭，以使所述图像传感器获取多个亮第一图像图框、多个亮第二图像图框及多个暗图像图框；所述第一处理单元根据所述亮第一图像图框与所述暗图像图框的差以及所述亮第二图像图框与所述暗图像图框的差计算所述第一图像图框信息及所述第二图像图框信息。

7.根据权利要求4所述的人机界面***，其中所述光源控制单元控制所述第一光源及所述第二光源轮流点亮以使所述图像传感器轮流接收所述第一光源及所述第二光源的反射光；或者控制所述第一光源及所述第二光源同时点亮以使所述图像传感器同时接收所述第一光源及所述第二光源的反射光，且所述图像传感器包含滤光器，该滤光器覆盖于所述图像传感器的感测面的一部分。

8.根据权利要求1所述的人机界面***，其中所述主装置还包含：

记忆单元，储存从所述从装置接收的所述第一图像图框信息及所述第二图像图框信息；

核查单元，检查所述第一图像图框信息及所述第二图像图框信息的过取样及资料遗失；以及

第二处理单元，根据所述第一图像图框信息及所述第二图像图框信息计算所述位移量及所述生理特征。

9.根据权利要求8所述的人机界面***，其中所述第二处理单元：将每张所述第一图像图框信息分割为至少两部分并计算每一部分的平均亮度，利用独立元件分析法分析所述第一图像图框信息的所述每一部分的所述平均亮度以求得第一亮度变化；将每张所述第二图像图框信息分割为至少两部分并计算每一部分的平均亮度，利用独立元件分析法分析所述第二图像图框信息的所述每一部分的所述平均亮度以求得第二亮度变化；并根据所述第一亮度变化及所述第二亮度变化计算所述生理特征。

10.根据权利要求9所述的人机界面***，其中所述第二处理单元还根据至少一个阈值与所述第一亮度变化和/或所述第二亮度变化的比较结果计算脉搏数。

11.根据权利要求9所述的人机界面***，其中所述主装置还包含表示单元，该表示单元用以回应所述位移量及所述生理特征；所述表示单元为显示器、灯号、七字节显示和/或声音装置。

12.根据权利要求1所述的人机界面***，该人机界面***在闲置预设时间后进入休眠模式。

13.根据权利要求1所述的人机界面***，其中所述从装置还包含记忆单元，该记忆单元储存***频率校正参数。

14.根据权利要求1所述的人机界面***，其中所述主装置还对所述第一图像图框信息及所述第二图像图框信息的亮度与至少一个阈值进行比较以判断接触状态。

15.根据权利要求1所述的人机界面***，其中所述主装置根据两张所述第一图像图框信息、一张所述第一图像图框信息与一张所述第二图像图框信息及两张所述第二图像图框信息计算所述位移量。

16.一种手指鼠标***，该手指鼠标***包含：

光学检测装置，该光学检测装置包含：

第一光源，发出第一波长的光至触控面上的所述手指；

第二光源，发出第二波长的光至同一个所述触控面上的所述手指；

图像传感器，以取样频率接收来自所述手指的反射光以生成相对所述第一光源点亮的多个第一图像图框及相对所述第二光源点亮的多个第二图像图框；和

处理单元，计算并输出关于预设张所述第一图像图框的第一图像图框信息及关于预设张所述第二图像图框的第二图像图框信息；以及

主机，接收并检查所述第一图像图框信息及所述第二图像图框信息，并根据所述第一图像图框信息及所述第二图像图框信息计算所述手指相对所述触控面的位移量及生理特征，其中当所述位移量大于预设值时，舍弃所述生理特征。

17.根据权利要求16所述的手指鼠标***，其中当所述主机检查出所述第一图像图框信息及所述第二图像图框信息为过取样时，舍弃过取样图像图框信息；当所述主机检查出所述第一图像图框信息及所述第二图像图框信息遗失时，执行内插程序。

18.根据权利要求16所述的手指鼠标***，其中所述主机：将每张所述第一图像图框信息分割为至少两部分并计算每一部分的平均亮度，利用独立元件分析法分析所述第一图像图框信息的所述每一部分的所述平均亮度以求得第一亮度变化；将每张所述第二图像图框信息分割为至少两部分并计算每一部分的平均亮度，利用独立元件分析法分析所述第二图像图框信息的所述每一部分的所述平均亮度以求得第二亮度变化；并根据所述第一亮度变化及所述第二亮度变化计算所述生理特征。

19.一种人机界面***，该人机界面***包含：

手指鼠标装置，提供两种不同波长的光以照明同一个触控面上的手指、接收来自所述手指的反射光以生成相对所述两种不同波长的光点亮的多个第一图像图框及多个第二图像图框、计算并输出关于预设张所述第一图像图框的第一图像图框信息及关于预设张所述第二图像图框的第二图像图框信息；以及

主机，该主机包含：

处理单元，根据所述第一图像图框信息及所述第二图像图框信息计算所述手指相对所述触控面的位移量及生理特征，其中当所述位移量大于预设值时，舍弃所述生理特征；和

表示单元，用以回应所述位移量及所述生理特征。