以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。図1に示したように、腕等に装着する生体情報検出装置が広く用いられるようになっている。当該生体情報検出装置により検出される生体情報としては、例えば脈拍数等の脈波情報であってもよいし、歩数等の活動量を表す情報であってもよい。脈波情報は脈波センサーを用いることで求めることができ、歩数等の情報は加速度センサー等を用いることで求めることができる。
図1のような生体情報検出装置では、当該生体情報検出装置が適切にユーザーの腕等に装着されることを前提としている。例えば脈波センサーが、LEDとPD(フォトダイオード)を含む構成である場合、当該脈波センサーは、LEDからの照射光が生体で反射された反射光をPDで検出することで脈波センサー信号を取得する。その場合、照射光が適切に生体に対して照射されること、生体での反射光を充分な強度でPDで検出すること、PDにおいて反射光以外の光の検出を抑止すること等を考慮すれば、例えば図2に示したように、脈波センサーは生体に対して密着するような位置関係となることが必要となる。
このような位置関係は、図1に示したような時計型の生体情報検出装置であれば、文字盤部分の裏側(ユーザーの腕に接する側)に脈波センサーを設けた上で、生体情報検出装置自体をユーザーの腕に対して適切に固定することで実現される。すなわち、生体情報検出装置が適切に装着されていることが、脈波センサーを用いた脈波情報の演算等において求められる条件となる。
また、脈波センサーでの適切な脈波センサー信号の検出においては、適切な押圧を付加する必要があることが知られている。ここでの押圧とは、図2に示したように、脈波センサー部分における生体に対する圧力である。つまり、生体情報検出装置を適切な装着状態にすることで、バンド等の保持機構により適正押圧を付加することが可能になり、やはり脈波信号を求めるに当たり生体情報検出装置の装着状態は重要なものであると言える。
逆に言えば、生体情報検出装置が非装着状態であるのに生体情報の検出を行ってしまうと、不適切な結果が得られてしまう。脈波センサーの場合であれば、生体からの反射光に比べて非常に強いことが想定される外光を、PDにおいて検出してしまう。この場合、脈波センサー信号を用いて脈拍数等の脈波情報を求めたとしても、ユーザーの実際の脈拍数等を反映したものではない。そのため、求めた脈拍数等を用いて、ユーザーに対する健康アドバイスの生成等の処理を行う場合に、不適切な処理を行ってしまうおそれがある。また、脈波センサー信号以外を用いた処理においても同様の問題は起こる。例えば、加速度センサーのセンサー情報に基づいて歩数を検出する場合であれば、歩行に起因する加速度検出値に基づいて処理を行うことになるが、腕装着時と、非装着時(例えばカバンに入れた状態や、バンド部分を手で把持した状態)では歩行による加速度検出値の影響は異なるはずであり、同様に処理を行うことはできない。
しかし、従来の腕等に装着する生体情報検出装置は、小型軽量であること等が求められるため、バッテリー容量等に制限がある場合が多く、連続しての長時間の使用は想定されていない。そのため、例えば運動時の脈拍数を計測する場合には、運動直前に機器の装着及び機器の電源オン操作が行われ、運動終了時には機器の電源オフ操作が行われるといったユースケースが一般的なものとなる。その場合、生体情報検出装置が脈波情報の計測を行う状況においては、適切な装着状態となっていることが当然期待されるため、非装着状態において信号が検出され、その不適切な信号に基づき脈波情報が演算される危険を考慮する必要性が低い。
結果として、取得された脈波情報については、それが装着状態で非装着状態であるかを特に意識する必要はなく、全て装着状態で取得された適切な脈波情報であると考えて処理を行えば足りるものであった。また、従来提案されていた着脱検出(放置検出)の手法においても、非着脱状態である或いは放置状態である場合に、省エネルギーモードに移行する、或いは表示をオフにする等のバッテリー関連の処理を行うものであり、演算された脈波情報の扱いについて触れているものはない。
しかし、本出願人は脈波センサーを含む生体情報検出装置の構造、或いは脈波センサー信号に基づく脈波情報の演算処理の内容等を考慮することで、小型軽量を実現しつつ、長時間の連続動作が可能な生体情報検出装置を実現する。その場合、生体情報検出装置は特定の状況下(例えば運動中)だけで生体情報を検出するのではなく、仕事中や睡眠中を含めた長時間(狭義には1日中)において生体情報を検出し、「ライフログ」として活用することが可能となる。
ライフログの検出においては、ユーザーに対して24時間365日の装着を強いることができない以上、脈波センサー信号の測定が行われていながら、生体情報検出装置が非装着状態であるという状況が大いに起こりうる。その際に、装着状態で取得された適切な脈波情報と、非装着状態で取得された不適切な脈波情報とを同等に扱ってしまっては、脈波情報を用いた処理に支障を来すことになる。
そこで本出願人は、装着状態か非装着状態かを何らかの手法により検出し、非装着状態であると判定された場合には、演算された脈波情報の記録、通信の停止指示、又は非装着状態であることを表す情報を関連づけての記録、通信の指示を行う手法を提案する。このようにすれば、記録された脈波情報を用いた処理、或いは通信先の外部電子機器で行われる脈波情報を用いた処理を適切に行うことが可能になる。記録、通信の停止指示を行っていれば、脈波情報を用いた処理においてはそもそも非装着状態での脈波情報は取得されないことになる。また、非装着状態であることを表す情報を関連づけての記録、通信の指示を行っていれば、脈波情報を用いた処理において、非装着状態での脈波情報の優先度を下げる、或いは処理に全く用いない等の判断を行うことが可能になる。
また本出願人は、脈波センサー信号のDC成分の変化値を用いた着脱検出手法を合わせて提案する。特許文献1では、装着状態と非装着状態とで脈波センサーの電圧値が異なることが記載されている。よってこの電圧値に基づいて装着状態と非装着状態の判別を行うことが可能とも考えられる。
しかし脈波センサー信号(脈波センサーの出力電圧値)は種々の要因により変動する。例えば、外光の影響が大きい晴天屋外にいる場合と、暗い室内等にいる場合とではPDにより検出される外光の量が異なるため、脈波センサー信号の大きさも異なる。例えば、非装着状態であれば、PDにおいて外光が検出される可能性が高いため、外光の状況に応じて脈波センサー信号は大きく変化する。また、装着状態においても、外光の流入を完全に遮断することは難しいため、外光により信号値が変動する可能性がある。
また、皮膚のヘモグロビンやメラニンによりLED光の減衰率が違うことが知られている。そしてヘモグロビンやメラニンの量は、ユーザーが異なれば異なるものとなるし、同一のユーザーであっても体調等の変動によって変化しうる。つまり、ユーザーごとの個人差、或いは同一ユーザーの体調変動等によって、装着状態での脈波センサー信号が変動する。
さらに、押圧によっても脈波センサー信号が変動することが知られている。そして適正押圧は血管内部の圧力である内圧にも影響されるため、ユーザーごとの個人差や、同一ユーザーにおける差異がある。さらに、各ユーザーが毎回同一の押圧を付加する、すなわち毎回バンド等の保持機構を同じ条件にして装着を行うことも保証されていない。つまり押圧によっても、装着状態での脈波センサー信号が変動する。
以上のように、装着状態、非装着状態での脈波センサー信号がそれぞれ変動するため、装着状態と非装着状態を明確に判別できる閾値を設定することは困難である。つまり、脈波センサーの出力電圧値を用いて、単純に閾値判断を行ったとしても、装着、非装着を精度よく判定することは難しい。
そこで本出願人は、脈波センサー信号のDC成分の変化値に基づいて、装着、非装着を判定する手法を提案する。上述したように、DC成分の値そのものは種々の要因により変動するため、適切な閾値を設定することが難しいが、DC成分の変化値を用いることで精度よく着脱判定を行うことが可能である。例えば、DC成分の変化値として所与の期間における最大値と最小値の差分値を求めればよい。上記要因による脈波センサー信号の変動は最大値と最小値の両方に影響を与えるため、差分値を取ることでその影響をキャンセル(広義には抑止)することが可能である。
また、生体情報検出装置が装着状態であったとしても、当該生体情報検出装置に強い衝撃が加わった場合には、装着状態であるにもかかわらず非装着状態であると誤判定するおそれがある。これは、生体情報検出装置を腕から外していなくても、意図せず装着部位付近に過大な衝撃が加わった場合、脈波センサーが肌から一瞬離れることも考えられるためである。この場合も、脈波センサー信号(電圧値)は装着状態から非装着状態へ遷移した場合に似た特性の変化が現れるため、実際には腕に脈拍計を装着したままであるにも関わらず、腕から外したかのように誤検出する可能性がある。
そこで本実施形態では、衝撃による脈波センサーの浮きと、非装着状態とを適切に識別する手法も合わせて提案する。これは、単純な着脱検出処理で対象とした所与の期間よりも長い第2の期間における、脈波センサー信号のDC成分の変化値(第2の変化値)を用いてもよいし、加速度センサー等の体動センサーからの体動信号を用いてもよい。それぞれの詳細については後述する。
以下、本実施形態に係る生体情報検出装置のシステム構成例を説明した後、上述した着脱検出の手法の具体的な処理について説明する。さらに、本実施形態の処理をステートマシンとして実現する場合の、状態及び状態遷移に用いるイベントの設定、或いは状態遷移図等について説明する。
2.システム構成例
図3に本実施形態に係る生体情報検出装置のシステム構成例を示す。図3に示したように、生体情報検出装置は、脈波検出部10と、体動検出部20と、処理部100と、表示部200と、記憶部300と、通信部400とを含む。ただし、生体情報検出装置及び当該生体情報検出装置の各部は図3の構成に限定されず、これらの一部の構成要素を省略・変更したり、他の構成要素を追加するなどの種々の変形実施が可能である。
脈波検出部10は、脈波センサーのセンサー情報(脈波センサー信号)に基づいて信号を出力する。脈波検出部10は、例えば脈波センサー11と、A/D変換部16を含むことができる。
脈波センサー11は、脈波信号を検出するためのセンサーであり、例えば光電センサー等が考えられる。なお、脈波センサー11として光電センサーを用いる場合には、太陽光等の外光の信号成分をカットするように構成されているセンサーを用いてもよい。これは例えば、フォトダイオードを複数設け、それらの信号を用いてフィードバック処理等で差分情報を求める構成等により実現できる。
図2は生体情報検出装置のうち脈波センサー11を含む部分を拡大した模式図である。図2に示したように、脈波センサー11は、光を照射するLED12と、照射された光が生体により反射されることによる反射光を受光するフォトダイオード(PD)13と、生体との接触部分となる凸部14とを含む。本実施形態の脈波センサー11は、図2に示した凸部14を有することで、生体に対して効率的に圧力(押圧)を付加するものである。ここで、脈波情報の検出の際には、脈波センサー近傍における生体に対する圧力を表す押圧を調整することで、検出精度を向上させることが可能であることが知られている。図2の凸部14は押圧調整を考慮した構造であるが、当該押圧調整に関する手法は本実施形態の手法の主眼とは異なるため、詳細な説明は省略する。
A/D変換部16では、脈波センサー信号のA/D変換処理を行い、デジタル信号を出力する。
体動検出部20は、種々のセンサーのセンサー情報に基づいて体動に応じた信号(体動信号)を出力する。体動検出部20は、例えば体動センサー(狭義には加速度センサー)21と、A/D変換部26を含むことができる。ただし、体動検出部20はその他のセンサー(例えば圧力センサーやジャイロセンサー)や、信号を増幅する増幅部等を含んでもよい。また、複数種類のセンサーを設ける必要はなく、1種類のセンサーを含む構成であってもよい。A/D変換部26では、体動信号のA/D変換処理を行い、デジタル信号を出力する。
処理部100は、脈波センサー信号や体動信号に基づいて種々の処理を行う。処理部100は、着脱検出部110と、脈波情報演算部120を含んでもよい。
着脱検出部110は、脈波検出部10からの脈波センサー信号に基づいて、生体情報検出装置の着脱に関する検出処理を行う。図3に示したように、着脱検出部110では体動検出部20からの体動信号を合わせて用いてもよい。着脱検出部110は、具体的には装着状態か非装着状態かの判定を行うが、後述するように装着状態と非装着状態の中間的な状態である中間状態等まで考慮した処理を行ってもよい。着脱検出部110の処理の詳細は後述する。
また、着脱検出部110は、表示部200、記憶部300、通信部400に接続されており、着脱検出処理の結果に基づいて、表示、記憶、通信に関する指示を行う。
脈波情報演算部120は、脈波センサー信号に基づいて、脈拍数等の脈波情報の演算処理を行う。脈波センサー信号のAC成分は、ユーザーの脈周期に応じた周期性を有する信号となることが知られている。よって脈波情報演算部120は、脈波センサー信号のAC成分に対してFFT等の信号処理を行い、ピークとなる周波数を脈の周波数として求める処理を行ってもよい。或いは、求めた脈の周波数を60倍することで、広く用いられている脈拍数を求めてもよい。
ただし、脈波情報演算部120での処理はこれに限定されず種々の変形実施が可能である。例えば、周波数軸への変換を行わず、時間軸での信号の立ち上がり、立ち下がり等から脈波センサー信号のAC成分の周波数を求めてもよい。また、脈波センサー信号にはユーザーの体動に起因する体動ノイズが含まれることが知られていることから、体動信号を用いて当該体動ノイズを低減する処理を行ってもよい。その他、脈波センサー信号、体動信号に基づく脈波情報の演算は種々の手法が知られており、本実施形態ではそれらを広く適用可能であるため、これ以上の詳細な説明は省略する。
脈波情報演算部120は、演算結果である脈波情報を、表示部200、記憶部300及び通信部400に対して出力する。
表示部200は、演算した脈波情報等の提示に用いられる各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ELディスプレイなどにより実現できる。
記憶部300は、処理部100等のワーク領域となるもので、その機能はRAM等のメモリーやHDD(ハードディスクドライブ)などにより実現できる。また、記憶部300は脈波情報演算部120で演算された脈波情報を記憶する。
通信部400は、ネットワークを介して他の機器と接続され、種々の情報の通信を行う。通信部400は、脈波情報演算部120により演算された脈波情報を、他の電子機器に対して送信する。なお、ここでのネットワークはWAN(Wide Area Network)やLAN(Local Area Network)などにより実現することができ、有線・無線を問わない。
本実施形態の生体情報検出装置の装着例を図1に示す。図1は生体情報検出装置を腕時計型のデバイスとした例である。脈波センサー11および表示部200を含むベース部500は、保持機構600(例えばバンド等)によって、被検体(ユーザー)の左手首に装着されている。
3.着脱検出の具体的な手法
次に着脱検出の具体的な手法を説明する。まず脈波センサー信号のDC成分の変化値を用いた基本的な手法を説明し、その後、生体情報検出装置に衝撃が加えられた場合との判別手法について説明する。
3.1 DC成分の変化値を用いた基本的な手法
図4に装着状態から非装着状態へ変化した場合の脈波センサー信号の変化を示す。ここでは、脈波センサー11のPD13において検出される光が強いほど、脈波センサー信号の出力電圧値は小さくなるものとしている。ただし、検出光量と出力電圧値の関係は脈波センサー11の構成により変化するものであり、検出光量が多いほど出力電圧値が大きい値となる場合も考えられる。
図4では経過時間が62秒程度の時に生体情報検出装置の取り外しが行われた。図4からわかるように、脈波センサー信号のAC成分(脈AC)は、装着状態にある56秒程度までは脈に対応した周期性を有する信号となり、その後取り外し動作により信号波形が乱れ、取り外しの完了後は脈とは対応しない信号となるため、周期性のない波形となる。
一方、脈波センサー信号のDC成分(脈DC)は、安定的な装着状態ではほぼ一定の値となり、取り外し完了後の安定的な非装着状態では装着状態とは異なるほぼ一定の値となる。そして、非装着状態での値は装着状態での値に比べて小さい値となる。ただし上述したように、装着状態での値、非装着状態での値ともに種々の要因により変動するものであるため、それぞれの値と閾値との比較処理では、精度よく着脱検出を行うことは難しい。
そこで本実施形態では、図4にΔ脈DCとして示したように、脈波センサー信号のDC成分の変化値を用いる。図4からわかるように、DC成分の変化値は、装着状態及び非装着状態のそれぞれにおいては0に近い値となるが、装着状態から非装着状態へ切り替わりタイミング(取り外しのタイミング)において、絶対値の大きい値をとる。そして、装着状態での値と非装着状態での値は、それぞれ種々の要因変動を受けるものであるが、その差分値であるDC成分の変化値については、当該種々の要因による影響がキャンセルされる。よってDC成分の変化値を用いることで、外光の状況や、ユーザーのヘモグロビン等の差異、或いは押圧の状態等の変動によらずに、精度よく着脱検出を行うことが可能になる。
ここでは、DC成分の変化値ΔDC1と、所与の閾値Th1との比較処理を行い、DC成分の変化値が所与の閾値よりも大きい(ΔDC1>Th1)場合に取り外しが行われたと判定する。なお、図4では装着状態においてΔDC1>Th1となった場合であるため、装着状態から非装着状態へ変化した、すなわち取り外しが行われたと判定した。しかし、非装着状態から装着状態への変化(すなわち再装着)の場合も、DC成分の変化値の符号は異なるが、DC成分の変化値は同様に大きい値をとるはずである。よって、非装着状態である場合には、ΔDC1>Th1となったか否かを再装着検出の判定に用いてもよい。
ここで、取り外しにおけるDC成分の信号値の変化は、ある程度短い期間で行われることが想定される。装着状態での脈波センサー11は、図2に示したように生体に密着しており、取り外しにより脈波センサー11が肌に対して浮くことで、図4の62秒近傍に示したようなDC成分の変化が生じる。そして、後述する衝撃検出の場合のように、生体情報検出装置がほんのわずか浮くだけでもDC成分には顕著な変化が現れるものである。つまり、生体情報検出装置が肌に接した状態から浮くまでの期間にDC成分は大きく変化するところ、機器の浮き上がりに長い時間(例えば数秒のオーダー)を要することは考えにくい。
よって本実施形態では、DC成分の変化値ΔDC1は、ある程度短い所与の期間T1におけるDC成分に基づいて求めるものとする。ここでの期間T1は、例えば脈波センサー11のサンプリング周期の一周期に相当する期間であってもよい。脈波センサー11のサンプリング周波数が16Hzであれば、サンプリング周期及び上記所与の期間は1/16秒となる。この場合、図5(A)に示したように時間的に隣接する脈波センサー信号のDC成分の差分値が、DC成分の変化値となる。
ただし、所与の期間T1はこれに限定されず、複数のサンプリング周期に相当する期間を設定してもよい。例えば、図5(B)では3周期分の期間をT1とした場合を示している。この場合、DC成分の変化値を求める手法は種々考えられるが、例えば図5(B)に示したように、T1に含まれるDC成分の信号値の最大値と最小値の差分値を求めればよい。
3.2 衝撃検出処理
上述したように、所与の期間T1での脈波センサー信号のDC成分の変化値ΔDC1と、所与の閾値Th1との比較処理により、生体情報検出装置の取り外しを検出できる。しかし、生体情報検出装置に対して強い衝撃が加えられた場合、生体情報検出装置及び当該生体情報検出装置に設けられた脈波センサー11が、生体(肌)に対して浮く場合がある。その場合、脈波センサー11のPD13は、LED12からの照射光が生体で反射された反射光を適切に検出できず、また、肌と生体情報検出装置の隙間から外光が入り込む可能性がある。そのため、脈波センサー11が浮いている期間においては、脈波センサー信号は非装着状態と同様の特性を示す。
具体的には、取り外しが行われた場合に脈波センサー信号のDC成分が図6(A)に示したように変化(図6(A)の例では低下)するのと同様に、衝撃が加えられた場合には、図6(B)に示したように一時的にDC成分値の低下が見られる。
よって、所与の期間T1におけるDC成分の変化値ΔDC1は、実際には取り外しが行われていない衝撃検出のケースにおいても、図6(B)に示したようにある程度大きい値となり、場合によってはTh1を超えてしまう。その場合、装着状態が継続されているにもかかわらず、取り外しが行われて非装着状態に移行したとの誤判定を行うことになり好ましくない。
具体例を図を用いて説明する。図7(A)、図7(B)に衝撃が加えられた場合の脈波センサー信号の変化を示す。図7(A)、図7(B)では60秒経過時点から30秒おきに生体情報検出装置に衝撃を与えている。図7(A)に示したように、衝撃が加えられたタイミングでは、脈波センサー信号のAC成分とDC成分の両方で大きな値の変化が見られる。よって、DC成分の変化値ΔDC1も図7(B)に示したように、衝撃が加えられたタイミングにおいてある程度大きい値をとる。なお、図7(B)では隣接タイミングでのDC成分の差分値を、DC成分の変化値としており、上記所与の期間T1を1サンプリング周期とした場合に相当する。
また、図10(A)、図10(B)に取り外し及び再装着を行った場合の脈波センサー信号の変化を示す。図10(A)、図10(B)では、60秒、120秒、187秒経過時点で生体情報検出装置を腕から外し、90秒、150秒、206秒経過時点で生体情報検出装置を腕に装着している。図10(A)に示したように、取り外し及び装着の両方に対応するタイミングにおいて、脈波センサー信号のAC成分とDC成分の両方で大きな値の変化が見られる。そのため、図10(B)に示したように、対応するタイミングでDC成分の変化値ΔDC1も大きい値となる。また、図10(B)に示したように、取り外しではΔDC1は非常に大きい値となるのに対して、再装着時には相対的に小さい値となる。
図7(B)と図10(B)を比較した場合、取り外しと衝撃の判別、及び再装着と衝撃の判別の両方を行おうとした場合、ΔDC1の値の差異は大きくない(具体的には再装着と衝撃の場合のΔDC1の値が近い)ため、ΔDC1だけからの判別は困難である。例えば、取り外しと再装着の両方を検出するための閾値Th1を設定した場合、衝撃が加えられた場合のΔDC1の値もTh1を越えてしまう可能性が高い。
そこで本実施形態では、T1でのΔDC1を用いた判定に合わせて、衝撃検出の判定を行ってもよい。そして、ΔDC1がTh1を超えていた場合であっても、衝撃が検出された場合には、DC成分の変化値は衝撃に起因するものであり取り外しが行われたのではないと判定する。また、ΔDC1がTh1を超えており、且つ衝撃が非検出の場合に、取り外しが行われたと判定すればよい。
本実施形態では、T1とは異なる第2の期間T2でのDC成分の変化値ΔDC2を用いて衝突判定を行ってもよいし、体動センサーからの体動信号を用いて衝突判定を行ってもよいし、その両方を併用してもよい。以下、それぞれの手法について説明する。
まずT2でのΔDC2を用いる手法について説明する。上述したように、T1でのDC成分の変化値ΔDC1は、取り外しの場合も衝撃の場合もある程度大きくなり精度よく判別することが難しい。しかし、T1前後でDC成分の信号値が安定する安定状態まで見れば、取り外しと衝撃とは判別可能である。
図4や図6に示したように、装着状態が継続されている状況や非装着状態が継続されている状況では、DC成分の信号値は大きな変動が起こらない安定状態となることがわかっている。よって、実際に取り外しが行われ装着状態から非装着状態へ移行した場合には、図6(A)に示したように、T1でのDC成分の変動前(具体的には取り外し動作によるDC成分への影響が発生する前)は装着状態に対応する値が安定的に得られ、T1でのDC成分の変動後(具体的には取り外し動作による影響が充分に収まった後)は非装着状態に対応する値が安定的に得られる。従って、T1を含み、且つT1に比べて長い期間であるT2でのDC成分の変化値ΔDC2を求めると、取り外しがあった場合には当該ΔDC2はある程度大きい値となる。ここでT2は、例えば上述したように、取り外し動作によるDC成分の信号値への影響の発生前のタイミング、及び影響が充分低減された後のタイミングの両方を含む長さの期間である。
それに対して、取り外しは行われず衝撃が加わった場合には、T1でのDC成分の変動前も、変動後も、ともに装着状態に対応する。よって図6(B)に示したように、期間T2でのDC成分の変化値ΔDC2を求めると、ΔDC2は0に近い値となる。
以上のことより、T2でのΔDC2と、所与の閾値Th2との比較処理に基づいて衝突判定を行うことが可能である。具体的には、ΔDC2がTh2より大きければ衝突が非検出であると判定し、ΔDC2がTh2以下であれば衝突を検出したと判定すればよい。
つまりT1でのΔDC1との判定と組み合わせると、ΔDC1>Th1且つΔDC2>Th2の場合に生体情報検出装置の取り外しが行われたと判定し、ΔDC1>Th1且つΔDC2≦Th2の場合に、取り外しではなく衝撃が加えられたと判定すればよい。
また、衝突検出を体動センサーからの体動信号に基づいて行ってもよい。上述したように、取り外しと誤認する可能性が生じるのは、生体情報検出装置の浮きが発生する場合であり、具体的には生体情報検出装置に対して強い衝撃が加えられた場合である。よって、生体情報検出装置に動きを検出するモーションセンサーがあれば、当該モーションセンサーを用いて衝撃検出が可能である。
生体情報検出装置には、生体情報として体動情報(例えば歩数等の情報や、運動負荷に関する情報等)を検出したり、脈波センサー信号に含まれる体動ノイズの低減を行ったりするために、体動センサーが設けられることが多い。よって、衝撃検出用のセンサーを別途設けることは妨げられないが、多くの場合では体動センサーを衝撃検出と、他の処理とで併用することが可能である。以下、体動センサーとして加速度センサーを用いる例について説明する。
図7(A)、図7(B)と同様に60秒経過時点から30秒おきに生体情報検出装置に衝撃を与えた場合の、加速度センサーのセンサー情報(加速度検出値)の変化を図8(A)に示す。ここでは3軸加速度センサーを想定しており、XYZの各軸での加速度の変化を示している。また、1回の衝撃での加速度変化を詳細に見るために、経過時間が90秒付近の箇所を拡大したものが図8(B)である。これからわかるように、衝撃に対応するタイミングでは、加速度検出値が±2〜4G程度の値をとることになる。また、図8(B)からは、衝撃が加えられてから約1秒程度の間には、当該衝撃による信号が加速度検出値に現れることがわかる。
一方、図10(A)、図10(B)と同様に、60秒、120秒、187秒経過時点で生体情報検出装置を腕から外し、90秒、150秒、206秒経過時点で生体情報検出装置を腕に装着した場合の、加速度センサーのセンサー情報(加速度検出値)の変化を図11(A)に示す。また、1回の着脱での加速度変化を詳細に見るために、経過時間が90秒付近の箇所を拡大したものが図11(B)である。これからわかるように,着脱の場合には加速度検出値の変化はせいぜい±1G程度である。
つまり、1G≦Thacc≦2Gとなるような加速度閾値Thaccを設定し、DC成分が変化したタイミングを含む1秒程度の期間において、加速度検出値の絶対値の最大値AccmaxとThaccとの比較処理を行うことで、衝突検出を行うことができる。具体的には、Accmax>Thaccの場合には衝突を検出したと判定し、Accmax≦Thaccの場合には衝突は発生していないと判定すればよい。
つまりT1でのΔDC1との判定と組み合わせると、ΔDC1>Th1且つAccmax≦Thaccの場合に生体情報検出装置の取り外しが行われたと判定し、ΔDC1>Th1且つAccmax>Thaccの場合に、取り外しではなく衝撃が加えられたと判定すればよい。
なお、図8(B)や図11(B)のZ軸の加速度検出値accZを見ればわかるように、加速度検出値そのものを用いた場合、加速度信号に重畳する重力加速度の影響を受けてしまう。よって加速度検出値を用いた衝突判定の精度を上げるために、加速度検出値そのものではなく、加速度検出値の離散的微分値を用いて処理を行ってもよい。例えば、離散的微分値として、時間的に隣接する加速度検出値の差分値を用いればよく、図8(A)に対応する離散的微分値を示したものが図9(A)である。同様に、図9(B)が図8(B)、図12(A)が図11(A)、図12(B)が図11(B)に対応する離散的微分値である。図9(B)と図12(B)を比較すればわかるように、離散的微分値を取った場合でも、取り外し等に比べて衝撃が加えられた方がAccmax(厳密にはΔAccmax)が大きい値となる点は同様であり、且つ微分をとることで重力加速度がキャンセルされるため、加速度検出値そのものを用いる場合よりも高精度の判定が可能となる。
また、重力加速度による影響を抑止する手法は離散的微分値を取るものに限定されない。例えば、図8(A)や図11(A)等の加速度検出値の信号に対して、ハイパスフィルタ処理を行ってからThaccとの比較処理を行うものであってもよい。
3.3 AC成分の自己相関関数を用いた手法
また本実施形態では、上述の手法とともに、脈波センサー信号のAC成分信号の自己相関関数を用いて装着状態か非装着状態かを判定してもよい。
装着状態での脈波センサー信号のAC成分は、ユーザーの脈に対応した信号となるため、周期性を有する信号となる。また、生体情報検出装置を装着したユーザーが運動をしている場合、AC成分は当該運動による信号値も重畳される可能性があるが、歩行等のように周期性を有する運動も多く、やはりAC成分信号は周期性を有する。
それに対して、非装着状態ではAC成分に周期性を持たせる要因は考えにくく、一般的にAC成分信号は周期性を持たない信号となる。
自己相関関数とは、例えば下式(1)により与えられる関数である。ここで、Nは対象とする区間であり、例えば64サンプル(16Hzのサンプリング周波数であれば4秒分の区間)であってもよい。
つまりR(j)は、着目しているある区間の信号と、そこからjサンプル過去の区間の信号との1つの相関係数となる。このR(j)をj=1〜Nに渡って算出したものが自己相関関数となる。
上式(1)と、図10(A)に示したAC成分の値を用いて算出した相関関数の例を図13(A)、図13(B)に示す。図13(A)は装着状態(図10(A)における90秒〜120秒等)での相関関数を表し、図13(B)は非装着状態(図10(A)における60秒〜90秒等)での相関関数を表す。
図13(A)からわかるように、装着状態での自己相関関数は、最大値が大きく、最小値も小さい。具体的には値の範囲が±0.75を超えることになる。さらに自己相関関数自体にも周期性がある。一方、図13(B)からわかるように、非装着状態では自己相関関数のレンジが狭く、自己相関関数に周期性がない。これは上述したように、装着状態ではAC成分が周期性を有する可能性が高いのに対して、非装着状態では周期性がないと考えられるためである。
よって、脈波センサー信号のAC成分の自己相関関数を求め、当該自己相関関数に基づいて装着状態か否かを判定することが可能である。具体的には、自己相関関数の最大値が±0.75を超えている場合、或いは自己相関関数が周期性を有する場合、或いはその両方が満たされる場合に、生体情報検出装置が装着状態にあると判定すればよい。なお、自己相関関数が周期性を有するか否かはFFT等の周波数分析を行うことで判定すればよい。
4.状態遷移
本実施形態では、現在状態及び入力によって、出力及び次状態が決定されるステートマシンを用いることで、装着状態か非装着状態かの判定処理を行っていくものとする。その際、装着状態と非装着状態だけではなく、その中間を表す中間状態を設定する。以下、状態の設定、及び各状態における入力を表すイベントの設定について説明し、ステートチャート及びフローチャートを用いて詳細を説明する。
4.1 状態及びイベントの設定
図14に本実施形態で設定される状態、及び各状態での入力に対応するイベントの例を示す。図14に示したように、本実施形態では脈拍計測未成功状態と、装着状態(確実)と、装着状態(疑)と、非装着状態(確実)と、非装着状態(疑)と、計測終了状態とが設定される。ただし、本実施形態での状態及びイベントは図14に限定されず、種々の変形実施が可能である。
脈拍計測未成功状態(以下状態Aとも表記)とは、計測開始ボタンが押下される等、計測自体は開始されているが、脈波情報(脈拍数)の計測が成功していない状態である。
装着状態(確実)(以下状態Bとも表記)は、生体情報検出装置が装着されていることが確実な状態であり、脈波情報の表示等も正常に行われている状態である。装着状態(疑)(以下状態Cとも表記)は、脈波センサー信号のDC成分に異常が見られるが、装着はされている状態である。装着状態(疑)は、広義には装着状態に含まれるものであるが、通常の装着状態では見られない信号が検出されているという意味で、装着状態と非装着状態の中間となる中間状態に対応する。
非装着状態(確実)(以下状態Dとも表記)は、生体情報検出装置が取り外されていることが確実な状態である。非装着状態(疑)(以下状態Eとも表記)とは、生体情報検出装置の装着の可能性が見られるが、脈波情報の検出までは成功していない状態である。非装着状態(疑)は、装着している可能性はあるが、脈波情報の表示等ができない点で装着状態(確実)と同一ではない。つまり、非装着状態(疑)についても、非装着状態と装着状態の中間となる中間状態に対応する。
計測終了状態(以下状態Fとも表記)とは、非装着状態が長く続いており、計測が終了していると考えられる状態である。
また、状態A〜状態Eの各状態については、それぞれの状態において監視すべきイベントが設定されている。各状態では、イベントが発生しない場合には当該状態を継続し、何らかのイベントが発生した場合には、当該イベントに対応する処理を行って(出力を行って)、他の状態へ遷移する。
状態Aでは、初回脈拍計測成功イベント(イベントA1)と、計測未成功一定時間継続イベント(イベントA2)の発生を監視する。イベントA1は、状態Aに移行後、脈波情報(脈拍)の計測が成功した場合に検出されるイベントである。一方、イベントA2は、状態Aに移行後、イベントA1が発生することなく一定時間が経過した場合に検出されるイベントである。
状態Bでは、取り外しイベント(イベントB1)と、衝撃発生イベント(B2)の発生を監視する。イベントB1は、取り外しが行われた場合に検出されるイベントであり、具体的には上述したように、ΔDC1がTh1よりも大きく、且つ衝撃が検出されない場合に発生する。また、イベントB2は、衝撃が発生した場合に検出されるイベントであり、具体的にはΔDC1はTh1より大きいが、衝撃の検出が行われた場合に発生する。
状態Cでは、取り外しイベント(イベントC1)と、衝撃終息イベント(イベントC2)の発生を監視する。イベントC1は、イベントB1と同様に取り外しが行われた場合に検出されるイベントである。C1はB1と全く同じ処理で検出されてもよいし、C1とB1で判定の際の閾値(Th1、Th2、Thacc等)を変えてもよい。C2は、状態Cへ遷移する際に検出された衝撃が終息した場合に検出されるイベントである。具体的には、状態Cへの遷移後、一定時間衝撃が検出されないこと、或いはDC成分の値に異常がない(ΔDC1が小さい)こと等を条件に検出されてもよい。
状態Dでは、装着検出イベント(イベントD1)と、非装着状態一定時間継続イベント(イベントD2)の発生を監視する。イベントD1は、所与の期間T3(状態Dに遷移後の期間であり、長さはT1と同程度)でのDC成分の変化値ΔDC3が、所与の閾値Th3よりも大きい場合に検出される。図10(B)に示したように、再装着でのDC成分の変化値は、取り外し時のDC成分の変化値よりも小さい。よってTh3は比較的小さいDC成分の変化であっても検出できる程度に小さい値となる必要がある。これは、Th3とTh1を共通の値として、Th1(=Th3)を再装着を検出可能な程度に小さい値に設定することで実現してもよいし、Th1>Th3となる閾値を設定することで実現してもよい。イベントD1では、それに合わせて、T2でのΔDC2と同様に、DC成分の変動前後において、DC成分の信号値がシフトしたか否かを判定に用いてもよい。或いは、変動後のDC成分の信号値が安定しているか否かを判定に用いてもよいし、脈波センサー信号のAC成分の波形がきれいか否かを判定に用いてもよい。波形がきれいか否かは、上述したように自己相関関数を用いて判定することができる。
また、イベントD2は、状態Dに移行後、イベントD1が発生することなく一定時間が経過した場合に検出されるイベントである。
状態Eでは、外光検出イベント(イベントE1)と、中途脈拍計測成功イベント(イベントE2)の発生を監視する。イベントE1は、外光が検出された場合に発生するイベントであり、具体的には脈波センサー信号のDC成分の値が、装着状態では想定されない程度の光強度に対応する値である場合に発生する。イベントE2は、状態Dから装着が検出されて状態Eに遷移した後、さらに脈波情報の計測が成功した場合に発生する。具体的には、DC成分に異常がない(ΔDC1が小さい)こと、DC成分の信号値が装着状態に対応するある程度の数値範囲内にあること、AC成分の波形がきれいなことを条件とし、さらに脈波情報の計測が成功した場合に発生する。
4.2 ステートチャート
本実施形態のステートチャートを図15に示す。図15に示したように、まず計測開始操作イベントにより状態Aに遷移する。状態Aにおいて、イベントA1が発生した場合には状態Bに遷移し、イベントA2が発生した場合には状態Fに遷移する。
状態Bでは、イベントB1が発生した場合には状態Dに遷移し、イベントB2が発生した場合には状態Cに遷移する。
状態Cでは、イベントC1が発生した場合には状態Dに遷移し、イベントC2が発生した場合には状態Bに遷移する。
状態Dでは、イベントD1が発生した場合には状態Eに遷移し、イベントD2が発生した場合には状態Fに遷移する。
状態Eでは、イベントE1が発生した場合には状態Dに遷移し、イベントE2が発生した場合には状態Bに遷移する。
状態B〜状態Eが計測中の状態に対応し、測定が終了するまでの間はこの状態間を遷移することになる。また、状態Bが装着状態、状態Dが非装着状態に対応し、状態C及び状態Eは中間状態に対応する。ただし、状態Cでは脈波情報の表示等が行われ、状態Eでは脈波情報の計測が成功しておらず表示等も行われないことを考慮すれば、状態Cは広義には装着状態に近い状態であり、状態Eは広義には非装着状態に近い状態である。
図15からわかるように、装着状態から非装着状態への遷移(状態Bから状態D)へは、中間状態(状態C)を経由してもよいし、直接移行してもよい。これは、装着状態から非装着状態へ直接遷移しても脈波情報の記憶、表示等に問題は生じないと考えられるためである。それに対して、非装着状態から装着状態への遷移は、必ず中間状態(状態E)を経由するものとしている。これは、生体情報検出装置を装着したとしても即座に適切な脈波情報を測定できるわけではないところ、非装着状態から装着状態へ直接遷移すると不適切な信号を脈に起因する信号であると誤認するおそれが生じるためである。
4.3 処理の詳細
フローチャート等を用いて本実施形態の処理の流れを説明する。本実施形態の基本処理のフローを図16に示す。この処理が開始されると、まず現在の状態に応じたイベントの発生処理が行われる(S101)。S101の処理の詳細を図17に示す。S101の処理では、まず現在の状態IDに登録されたイベント発生判定処理を取得する(S201)。例えば、現在の状態が状態Aであれば、イベントA1,イベントA2のそれぞれの判定処理を取得する。具体的には、脈波情報が計測されたか否かの判定によりイベントA1の判定が行われるという情報、及び状態Aが一定時間継続しているか否かの判定によりイベントA2の判定が行われるという情報を取得すればよい。そして、S201で取得した情報に基づいて、実際にイベントが発生したか否かの判定処理を行う(S202)。そして、S202でいずれかのイベントが発生したと判定された場合には、当該イベントのIDを返す(S203)。
S101の処理後、イベントが発生したか否かの判定を行う(S102)。これはS203で特定のイベントIDが返されたか否かの判定を行えばよい。そして何らかのイベントが発生していた場合には、当該イベントに付随する処理であるイベント発生付随処理を行う(S103)。
S103の処理の詳細を図18に示す。イベント発生付随処理では、イベントIDに紐付けされた外部演算処理への波及処理を実行し(S301)、イベントIDに紐付けされたUI処理を実行し(S302)、イベントIDに紐付けされた状態遷移処理を実行する(S303)。ただし、S301〜S303の順序はこれに限定されず、波及処理、UI処理、状態遷移処理を図18と異なる順序で実行してもよい。
波及処理とは、図20(A)に示したように、ノイズフィルターや脈判定処理のように、着脱検出の結果を異なる処理に波及されるものである。具体的には、脈波情報演算処理により演算された脈波情報を、記憶部300に記憶したり、通信部400を介して他の電子機器に送信する際に、当該脈波情報が非装着状態において取得されたことを示す情報を紐づけておく処理等がおこなわれてもよい。或いは、脈波情報演算処理におけるパラメーターの初期化や、体動ノイズやその他ノイズを低減するノイズフィルターの初期化(例えばフィルター係数の初期化)を行ってもよい。
パラメーター初期化の例を図21(A)、図21(B)を用いて説明する。ここでのパラメーターとは、脈波センサー信号のAC成分を周波数分析した際の、脈の周波数があると推定される範囲を表すウィンドウであってもよい。図21(A)、図21(B)にAC成分の周波数分析の結果の例を示す。図21(A)に示したように所与のタイミングにおいて脈の周波数が求められた場合には、当該脈周波数の例えば±3本の範囲を表すウィンドウを設定してもよい。そして、それ以降のタイミングにおいてはウィンドウの範囲内にある周波数を優先的に脈の周波数であると推定する。これは、人間の脈の周波数は短期間に急激に変化することがない、という考えに基づいている。例えば、あるタイミングで脈拍数が60であったユーザーが、次のタイミングで脈拍数が150になるようなケースは考えにくく、次のタイミングでも60に近い脈拍数となることが想定される。
このようなウィンドウを設定することで、図21(B)に示したように、ノイズ等の影響が強く、周波数のピークを明確に決定できない場合でも、脈の周波数を推定することが可能になる。図21(B)の例では、パワー値の大きい値と小さい値との差異が小さく、またウィンドウの範囲外にパワーが最大となる周波数が存在する。そのようなケースでも、図21(A)に基づいてウィンドウを設定しておけば、もっともらしい周波数を脈の周波数と推定することができる。
しかしこのようなウィンドウは、ピークが明確でない場合であっても、何らかのピークを推定するために用いられるパラメーターである。結果として、生体情報検出装置が非装着状態であり、実際には脈に起因する信号が取得できていない場合であっても、ウィンドウの効果により強引にピークを推定し、脈の周波数が求められたと誤認してしまう可能性がある。よって本実施形態では、非装着状態へ移行する方向のイベントが生じた場合には、ウィンドウを初期化してもよい。このようにすれば、図21(B)のようなケースでは無理に脈の周波数を推定しようとせず、脈波情報の計測失敗等の出力を行うことが可能になる。
また、脈波センサー信号に含まれる体動ノイズや、その他種々のノイズを低減する際に、本実施形態では適応強調器(広義には適応フィルター)を用いてもよい。適応強調器では、測定された信号値を、目的の信号と、周期性を有するノイズ信号とに分離する処理において、当該ノイズ信号を過去のサンプルの線形統合を使用して予測する。つまり適応強調器である適応フィルターのフィルター係数は、過去の信号値に基づいて決定されることになる。
フィルター係数の決定においては、脈に起因する信号に対してノイズが重畳している信号を、上記測定された信号値として用いる必要がある。しかし非装着状態では、そもそも脈に起因する信号は取得されないし、測定された信号値には外光等、装着状態では想定されない信号も含まれることになる。つまり、非装着状態での測定値を用いて適応強調器の学習を行ってしまうと、適応強調器の精度が低下する要因となる。よって本実施形態では、非装着状態に対応する場面においては、適応強調器の初期化(狭義には適応フィルターのフィルター係数の初期化)を行ってもよい。なお、非装着状態での情報に基づいて取得されたフィルター係数が初期化されればよいため、非装着状態において常に初期化処理を行う必要はない。例えば、所与の期間ごとに初期化処理を行ってもよいし、取り外し検出後に再装着が検出されたタイミング(狭義には状態Dから状態Eへの遷移が行われたタイミング)で初期化処理を行ってもよい。
また、生体情報検出装置の取り外しが検出された場合の、適応強調器に関する処理はフィルター係数の初期化処理に限定されない。例えば、処理部100は、取り外し検出処理により生体情報検出装置の取り外しが検出された場合に、脈波センサー信号に対して適用される適応強調器の適応処理を停止してもよい。
上述したように、非装着状態での情報を用いて適応強調器の学習(適応処理)を行うことで、適応強調器の精度が低下するおそれがある。つまり、非装着状態において学習を行うことを回避できるのであれば、適応強調器の精度低下を抑止できるため、必ずしもフィルター係数の初期化処理を行う必要はない。具体的には、生体情報検出装置の取り外しが検出された場合に、学習を一時的に停止すればよい。なお、学習の再開は、所与の期間が経過した場合、或いは生体情報検出装置の再装着が検出された場合(狭義には状態Dから状態Eへの遷移が行われた場合)に行えばよい。なお、フィルター係数の初期化処理と、学習の停止処理はどちらか一方を行うものに限定されず、停止処理を行った上で、学習再開時にフィルター係数の初期化処理を行う等の変形実施が可能である。
またUI処理とは、図20(A)の「画面」、「音」、「振動」等に示したように、所与のイベントが発生したことをユーザーに対して通知する処理等である。なお、UI処理は、画面表示、音や振動の発生に限定されず、光や他の電子機器へのデータ送信による報知等、結果としてユーザーの知覚に作用するあらゆる処理を含むものである。
状態遷移処理とは、ステートチャートを用いて上述したように、現状態から他の状態へ、状態を遷移させる処理である。
S102でNoの場合、又はS103の処理後に、状態付随処理が行われる(S104)。つまり、S102でNoの場合は、状態遷移が行われないので元の状態に付随する処理を行うことになり、S102でYesでありS103の処理が行われた場合には、S303の状態遷移処理により遷移した先の状態に付随する処理が行われる。S303の処理の詳細を図19に示す。状態付随処理では、状態IDに紐付けされた外部演算処理への波及処理を実行し(S401)、状態IDに紐付けされたUI処理を実行する(S402)。波及処理、UI処理についてはイベント発生付随処理と同様である。また、状態付随処理における波及処理、UI処理の詳細な例を図20(B)に示す。なお、波及処理において上述した脈波情報演算処理におけるパラメーターの初期化処理や、フィルター係数の初期化処理を行ってもよい。特に、これらの処理は非装着状態において行うことが望ましいことに鑑みれば、イベント発生付随処理とするのではなく、非装着状態(状態Dだけでなく状態Eも含む)に対応する状態付随処理としてもよい。
本実施形態の処理では、図16に示した基本処理のフローを定期的に実行する。なお、図16の例ではイベント発生付随処理はイベントの発生時にだけ行われ、状態付随処理は基本処理フローの実行ごとに行われるものとしたがこれに限定されない。例えば、状態付随処理についてもイベント発生した場合(狭義には状態遷移が起こった場合)にのみ行ってもよい。
5.本実施形態の具体例
以上の本実施形態では、生体情報検出装置は図3に示したように、脈波センサー信号を出力する脈波検出部10と、脈波センサー信号を処理する処理部100を含む。そして処理部100は、生体情報検出装置の取り外しが検出された場合に、脈波センサー信号に基づく脈波情報の記録又は通信の停止指示、又は、取り外し期間中に取得されたことを表す情報を関連づけた脈波情報の記録又は通信の指示を行う。
ここで取り外し期間に取得されたことを表す情報とは、例えば脈波情報のデータ構造のうちの1ビットを用い、当該ビットの0,1により非装着状態か否かを表現するフラグ情報であってもよい。ただし、単純に非装着状態か否かを表す情報には限定されず、例えば図14の状態Dであるか状態Eであるかを判別可能な情報であってもよいし、当該状態へ移行してからの経過時間や、当該状態への移行回数等、付随情報を含む情報であってもよい。
これにより、生体情報検出装置の取り外しが検出された場合、すなわち非装着状態である場合に、脈波情報の記録や通信を停止するか、或いは記録や通信は行うが、脈波情報に対して取り外し期間に取得されたことを表す情報を関連づけることが可能になる。よって、その後の脈波情報を用いた処理において、非装着状態での脈波情報をそもそも利用しないことや、利用の余地は残すが非装着状態に取得された情報であることを明示すること等が可能になる。ここで脈波情報を用いた処理とは、生体情報検出装置や通信先の外部機器において行われる処理であり、例えば脈波情報に基づくユーザーの健康状態に関するアドバイスの生成等の処理に対応する。上述してきたように、非装着状態では脈波センサー信号に脈に起因する信号が含まれないため、演算される脈波情報は適切な値とならず、脈波情報を用いた処理に悪影響を及ぼす可能性がある。しかし生体情報検出装置を長時間装着して(狭義には常時装着して)「ライフログ」を取得する用途で用いる場合には、従来の脈拍計等とは異なり、計測を行っているにもかかわらず非装着状態となるケースが充分起こりうる。その点本実施形態の手法であれば、非装着状態での脈波情報は、そもそも処理に用いないか、或いは不適切な脈波情報である可能性を考慮した上での処理を行うことが可能になる。
なお、ここでの記録又は通信の停止指示、又は、取り外し期間に取得されたことを表す情報を関連づけての脈波情報の記録又は通信の指示は、例えば図20(A)、図20(B)を用いて上述したように、状態付随処理やイベント発生付随処理における波及処理として実現してもよい。
また、処理部100は、生体情報検出装置の取り外しが検出された後に、生体情報検出装置の再装着が検出され、且つ、脈波センサー信号に基づく脈波情報の計測処理が成功した場合に、脈波情報の記録又は通信の指示を行ってもよい。
これにより、非装着状態において、再装着が検出されただけでなく、併せて脈波情報の計測処理が成功した場合に、脈波情報の記録又は通信の指示を行うことが可能になる。通常、脈波情報の計測(演算)には、その瞬間の脈波センサー信号だけではなく、それ以前のある程度の期間における脈波センサー信号が必要となる。例えば、脈波センサー信号のAC成分に対してFFT等の周波数分析処理を行う場合には、充分な期間の信号値が必要となるのは周波数分析処理の手法を考えれば当然である。また、周波数分析を行わない場合には、AC成分のピークから次のピークまでの時間、或いはAC成分の矩形波に近似して立ち上がりの間の時間等を求め、当該時間を脈の周期とする。その場合にも、1周期分程度の信号は必要となるし、精度を求めるために複数周期分の信号を用いる可能性もある。つまり、再装着の瞬間から脈波情報を求め、当該脈波情報を記録、通信してしまうと、脈波情報の演算に当たり非装着状態での脈波センサー信号を用いることになり正確な値を算出できない。よって本実施形態では、再装着の検出だけでは脈波情報の記録、通信は再開せず、脈波情報の計測成功後に記録、通信の指示を行うものとする。なお、脈波情報の計測処理が成功したか否かは、例えば、求められた脈波情報が人の脈拍数として正常な値か否かを判定すればよい。非装着状態における脈波センサー信号は採用せずに、その値を0として扱ってFFT等を行えば、求められる脈波情報の値は妥当性を欠くものとなる。つまり脈波情報が妥当な値である場合とは、FFT等の対象としている脈波センサー信号が装着状態で取得されたものであり、求められた脈波情報も、実際の脈を反映した適切な情報であると言える。ただし、脈波情報の計測処理が成功したか否かの判定はこれに限定されない。例えば、FFT等の対象としている脈波センサー信号に占める、装着状態で取得された脈波センサー信号の割合が、所与の閾値以上の場合に計測が成功したと判定する等、種々の変形実施が可能である。
また、処理部100は、生体情報検出装置が装着されている場合に対応する装着状態と、生体情報検出装置が取り外されている場合に対応する非装着状態と、装着状態及び非装着状態の中間的な場合に対応する中間状態と、を含む複数の状態を設定し、設定した複数の状態間の遷移処理に基づいて、記録又は通信の停止指示又は記録又は通信の指示を行ってもよい。
これにより、図15に示したステートマシンを用いて本実施形態の処理を実行することが可能になる。その際に、中間状態を設定することで、装着状態、非装着状態だけではなく、より細かい状態設定が可能になる。例えば図15に示したように、装着状態には含めているが、DC成分に異常値が見られる等、安定的な装着状態とは言えない状態(状態C)や、同様に非装着状態ではあるが安定的な非装着状態とは言えない状態(状態E)を、中間状態として設定できる。状態Cは安定的な装着状態(状態B)に比べて、非装着状態へ移行する可能性が高いと言えるし、状態Eは安定的な非装着状態(状態D)に比べて、装着状態へ移行する可能性が高いと言える。そのため、状態Bと状態Cで監視する入力(図15等のイベントに対応)を異なるものとしたり、状態Dと状態Eで監視する入力を異なるものにすることができ、より柔軟な処理が可能になる。
また、処理部100は、非装着状態において装着検出イベントが検出された場合に、非装着状態から中間状態への遷移処理を行い、中間状態において脈波情報計測成功イベントが検出された場合に、中間状態から装着状態への遷移処理を行ってもよい。
ここでの中間状態とは、図15の状態Eに対応する。
これにより、上述した非装着状態から装着状態への遷移、すなわち、再装着の検出だけでなく、脈波情報の計測処理が成功した場合に装着状態へ遷移させる処理を、中間状態を用いて実現することが可能になる。上述したように、再装着が検出された状況は、安定的な非装着状態とはいえないものであるが、脈波情報の計測はまだ不可能であるという観点から見れば装着状態であるとも言えない。本実施形態では、対応する状態を中間状態である状態Eとし、状態DからイベントD1(装着検出)による状態Eへの遷移、及び状態EからイベントE2(計測成功)による状態Bへの遷移、という2段階の遷移とする。それにより、再装着の検出だけでは脈波情報の記録、通信は再開せず、脈波情報の計測成功後に記録、通信の指示を行う。
また、処理部100は、装着状態において、取り外しイベント及び衝撃発生イベントの検出処理を行い、取り外しイベントが検出された場合に、生体情報検出装置の取り外しがおこなわれたと判定して、装着状態から非装着状態への遷移処理を行い、衝撃発生イベントが検出された場合に、生体情報検出装置の取り外しが疑われる異常信号が検出されたと判定して、装着状態から中間状態への遷移処理を行ってもよい。
ここで、装着状態とは状態Bに対応し、非装着状態とは状態Dに対応し、中間状態とは状態Cに対応する。また、取り外しイベントとはイベントB1に対応し、衝撃発生イベントとはイベントB2に対応する。
これにより、装着状態においては2つのイベント発生を監視して、発生したイベントに応じて、装着状態から非装着状態へ直接遷移させるか、装着状態から一旦中間状態に遷移させるかを判定することが可能になる。非装着状態から装着状態への遷移の場合の脈波情報の測定の例とは異なり、装着状態から非装着状態へ直接遷移させても問題は生じないため、明確に取り外しが行われたことを表す取り外しイベントの発生時には、状態Bから状態Dへ遷移させる。一方衝撃発生イベントの発生時は、取り外しが行われてはいないと考えられるが、少なくともDC成分に異常が見られ、安定的な装着状態ではないことは確かである。よって、状態Bとは異なる状態Cに遷移させる。なお、状態Cにおいて状態Bとは異なるイベント監視を行ってもよい。例えば、イベントB1とイベントC1はともに取り外しイベントであるが、イベントB1とイベントC1とで処理内容(例えば閾値Th1の値)を変更してもよい。また、状態CにおいてDC成分の異常が終息した場合(イベントC2が発生した場合)には、図15に示したように、状態Bに遷移させ安定的な装着状態とすればよい。
また以上の本実施形態は、脈波センサー信号を出力する脈波センサー11を有する脈波検出部10と、脈波センサー信号に対して処理を行う処理部100を含み、処理部100は、生体情報検出装置の取り外しが検出された場合に、脈波センサー信号に基づく脈波情報の表示の停止指示、又は、表示の切り替え処理を行い、生体情報検出装置の取り外しが検出された後に、生体情報検出装置の再装着が検出され、且つ、脈波センサー信号に基づく脈波情報の計測処理が成功した場合に、脈波情報の表示の指示を行う生体情報検出装置に適用できる。
ここで、表示の停止指示とは、表示部において脈波情報の表示を行わないことを指示するものであり、広義には画面表示そのものの停止を指示するものであってもよい。一方、表示の切り替え処理とは、脈波情報の表示自体は妨げられないが、装着状態の表示画面に比べて何らかの表示を変更する処理である。例えば、図20(B)において、「アイコン表示形」に示したように、表示されるアイコンを装着状態(状態B、状態C)と、非装着状態(状態D、状態E)で変更する処理であってもよい。或いは、「脈拍数」に示したように、数値表示から横棒表示に変更する処理であってもよいし、「センシング感度」に示したように、センシング感度が低下していることを示す変更を行う処理であってもよい。なお、「脈拍数」の表示変更については、脈拍数の数値が表示される状態から表示されない状態となっているため、「脈波情報の表示の停止指示」に含まれるものと解釈してもよい。
これにより、脈波情報を表示部に表示してユーザーに提示する際に、当該脈波情報が装着状態で取得されたのか、非装着状態で取得されたのかを明示することが可能になる。脈波情報は表示されないか、或いは表示されたとしても非装着状態での情報であることがわかるため、ユーザーに対して、脈波情報に用いた判断を適切に行わせることが可能になる。
また、処理部100は、所与の期間における脈波センサー信号のDC成分の変化値に基づいて、生体情報検出装置の取り外し検出処理を行ってもよい。
これにより、所与の期間(具体的には上記T1)における脈波センサー信号のDC成分の変化値(具体的には上記ΔDC1)に基づいて、生体情報検出装置の取り外しを検出することが可能になる。特許文献1に示したように、DC成分の信号値そのものも、装着状態と非装着状態とで異なる値となることが知られているが、DC成分の信号値は種々の要因により変動する。そのため、多様な状況において装着状態の信号値と、非装着状態の信号値とを明確に判別する閾値を設定することは困難である。その点、DC成分の変化値を用いれば、上記種々の要因による変動は変化前後の両方の信号値に乗るため、当該種々の要因による影響を抑止し、精度の高い着脱検出が可能となる。
本実施形態の手法の評価結果を図22(A)〜図22(C)に示す。図22(A)〜図22(C)は、経過時間が0秒から60秒までの間が装着状態であり、その後60秒から120秒までは非装着状態として、生体情報検出装置を手に把持して揺する動作を行い、120秒以降に再度装着する動作を行った場合の各種信号値の例である。図22(A)が脈波センサー信号のAC成分とDC成分を示した図であり、図22(B)がDC成分の変化値ΔDC1を示した図である。そして図22(C)が、このような状況で計測される脈拍数の変化を、従来手法と本実施形態の手法とで比較した図である。
従来手法では、上述したように取り外し検出の精度に問題があるため、60秒経過後は非装着状態となり適切な脈拍数は取得できていないにもかかわらず、取り外しを検出できずに何らかの脈拍数を推定し出力してしまっている。これは図21(A)、図21(B)を用いて上述したように、ノイズ等が大きくても何らかの値を推定しやすいようなパラメーター(ウィンドウ)を設定しているためである。また130秒付近から170秒付近のように、異常な脈拍数の出力も行っている。これは120秒経過時に行われた再装着による脈波センサー信号の変化による影響を受けたものと推測される。
それに対して本実施形態の手法では、図22(B)の60秒、120秒経過時に示したように、平常時に比べて顕著な値を示す取り外し(及び再装着)時のDC成分の変化値を用いて処理を行うため、精度よく取り外し検出が可能である。具体的には、図22(C)に示したように、60秒経過後の取り外し期間においては、脈拍数を0(計測不能)としている。
また、従来手法で高精度の判定を行おうとした場合、複数回の検出判定が行われた場合に取り外しを検出したと確定させる手法や、複数の観点からの検出手法を組み合わせて多数の手法により検出判定が行われた場合に取り外しを検出したと確定させる手法等を用いる必要があった。そのため、実際の取り外し処理が行われてから、生体情報検出装置が取り外しを検出するまでにタイムラグがある場合が多い。それに対して本実施形態の手法であれば、図22(C)に示したように、取り外しを短時間で検出可能である。図22(C)の例であれば、60秒の次の処理タイミングで、既に取り外しを検出できている。なお、図22(C)では120秒経過時の再装着後、脈拍数が計測できるまでにある程度の時間がかかっている。これは主に、脈波情報の演算に必要な脈波センサー信号を蓄積するためのタイムラグである。仮に再装着をDC成分の変化値だけで行い、他の判定を用いないのであれば、再装着についても短時間での検出が可能である。
また、処理部100は、所与の期間における脈波センサー信号のDC成分の変化値、及び、所与の期間を含み且つ所与の期間よりも長い期間である第2の期間における、脈波センサー信号のDC成分の変化を表す第2の変化値に基づいて、取り外し検出処理を行ってもよい。
ここで第2の期間とは、図6(A)、図6(B)等に示したT2に対応し、狭義には、所与の期間T1でのDC成分の信号値の変化前及び変化後の安定期間を含む期間である。そして第2の期間での変化値である第2の変化値とは、具体的には図6(A)、図6(B)に示したように、T2に含まれる第1のタイミングでのDC成分値と、T2に含まれる第2のタイミングでのDC成分値との差分値である。さらに具体的には、T1よりも前のDC成分の安定状態(安定期間)に含まれるタイミングである第1のタイミングでのDC成分値と、T1よりも後のDC成分の安定期間に含まれるタイミングである第2のタイミングでのDC成分値との差分値である。
これにより、比較的短い期間であるT1でのDC成分の変化値ΔDC1だけでなく、T1を含み且つT1よりも長い期間であるT2でのDC成分の変化値ΔDC2を用いて取り外し検出処理を行うことが可能になる。図6(A)、図6(B)に示したように実際に取り外しが行われた場合と、衝撃が加えられたことで生体情報検出装置が一時的に肌に対して浮いた場合とでは、ΔDC1はともにある程度大きい値となるのに対して、ΔDC2の値が大きく異なる。よって衝撃による一時的な浮きを取り外しであると誤検出する可能性を抑止し、より精度のよい取り外し検出処理が可能になる。
また、生体情報検出装置は図3に示したように、体動信号を出力する体動センサー21をさらに含み、処理部100は、所与の期間における脈波センサー信号のDC成分の変化値が、所与の閾値を超え、且つ、所与の期間に対応する期間における体動信号が所与の体動閾値以下の場合に、生体情報検出装置が取り外されたと判定してもよい。
これにより、DC成分の信号値の変化が、実際に取り外しが行われたことによるものか、衝撃に起因する生体情報検出装置の浮きやズレによるものかを、体動信号を用いて判定することが可能になる。具体的には、図8(B)と図11(B)の比較からわかるように、取り外しが行われた場合には加速度信号の変化はたかだか±1G程度であるのに対して、衝撃が加えられた場合には±2〜4G程度となる。この加速度検出値の差異に基づいて、衝撃判定を行えばよく、具体的には加速度検出値(狭義にはその最大値)Accmaxが所与の加速度閾値Thacc以下の場合に、衝撃ではないと判定する。すなわち、ΔDC1>Th1且つAccmax≦Thaccの場合に取り外しがあったと判定すればよい。なお、図9(B)と図12(B)を用いて上述したように、体動信号(狭義には加速度検出値)そのものではなく、体動信号の変化値を用いて判定を行ってもよい。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また生体情報検出装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。