JP2008113442A - マルチチャネルセンサ信号ストリームにおけるイベント検出 - Google Patents

マルチチャネルセンサ信号ストリームにおけるイベント検出 Download PDF

Info

Publication number
JP2008113442A
JP2008113442A JP2007281039A JP2007281039A JP2008113442A JP 2008113442 A JP2008113442 A JP 2008113442A JP 2007281039 A JP2007281039 A JP 2007281039A JP 2007281039 A JP2007281039 A JP 2007281039A JP 2008113442 A JP2008113442 A JP 2008113442A
Authority
JP
Japan
Prior art keywords
event
sensors
sensor
sensor signal
signal stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007281039A
Other languages
English (en)
Inventor
Frederic Kaplan
カプラン フレデリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony France SA
Original Assignee
Sony France SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony France SA filed Critical Sony France SA
Publication of JP2008113442A publication Critical patent/JP2008113442A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Telephone Function (AREA)

Abstract

【課題】マルチチャネルセンサ信号ストリーム内におけるイベントを検出するための新しい手法を提供すること。
【解決手段】複数のパラレルな信号ストリームが装置(10)に関連付けられたセンサ(20、30、40、50)によって生成される。装置(10)に伴う、実世界の行動、状況、環境、内部状態、用途、相互作用等に対応するイベントは、異なるセンサとセンサの間の連係のパターンが時間経過とともにどのように変化するかを評価することによってマルチチャネルセンサ信号ストリーム内において検出することができる。センサとセンサの間の連係のパターンは、特定の期間について、その期間中に生成されるセンサ信号に対する情報距離マトリックス(IDM)を演算することによって評価することができる。IDMは、各可能なセンサの組み合わせと組み合わせの間の正規化された情報距離をまとめたものである。
【選択図】図1

Description

本発明は、一組のセンサによって生成されたマルチチャネル信号ストリームの処理による実世界の状況、行動等の検出に関する。
装置の機能、環境、内部状態、用途または相互作用に関する多様な条件を測定し、且つ、特に、それらを記録することを可能とするセンサを具備した新世代の装置の開発が進んでいる。この種の装置は、携帯型の電子装置(例えば、ポータブル電話、ラップトップコンピュータ、PDA等)から所謂「インテリジェント衣料」まで、自律型ロボットから家具までの範囲に及ぶ。各センサからの信号は、ある期間にわたって広げられた信号ストリームを形成し、全センサ信号は、マルチチャネルセンサ信号ストリームを構成する。
特定の期間に関係したマルチチャネルセンサ信号ストリームを分析することによって、その期間にわたって当該装置に関連して発生した特定の状況(または行動、内部状態、相互作用等)を検出することが時として可能である。とりわけ、こうしたイベント検出は、ある装置が自己がいる特定の状況に自己の機能性を適合させるのを可能にする(すなわち、当該装置が「状況認識」をもつことができる)。
本発明を適用可能な装置の種類を明らかにするため、携帯電話の場合について考察する。おそらく、製造者は、ユーザが携帯電話を操作する状況に応じて若干異なる機能性をユーザに提供したいと考える。もしかすると、ユーザが騒々しい環境内にいるときはスピーカの音量を一回で上げることが望ましいかもしれないし、ユーザが屋外にいるときはスクリーン表示のコントラストを上げることが望ましいかもしれない。こうしたことは、携帯電話を適切なセンサおよび信号処理を備えた「状況認識」が可能な装置として実現することによって達成することができる。
例えば、「状況認識」が可能な携帯電話は、温度センサ、周辺ノイズのレベルを測定する音響センサ、および当該電話機の動作を検出する1つ以上の加速度計を備えることで実現できるかもしれない。時として、センサ信号は、まとめて取得されると、長時間間隔にわたって安定したパターンを形成することができる。この種の安定したパターンは、「イベント」と考えられ、当該イベントは、例えば「ユーザは歩いている」、「ユーザはじっと立ったままである」、「ユーザは建物/避難所の中にいる」、「ユーザは屋外にいる」、といったような装置に関連して発生した物理的な動作(状況、装置の内部状態等)を表わしているといっても差し支えない。もし「状況認識」が可能な携帯電話がマルチチャネルセンサ信号ストリームにおけるイベントの発生を検出することができ、且つ一定の検出されたイベントと特定の状況(または行動、動作条件等)との間の相関関係を特定することができるとすれば、検出された状況に当該装置が自己の機能性を適合させることが可能になる。
「物理的なシステムにおける非線形構造―パターン形成、カオスと波(Non-linear Structures in Physical Systems - Pattern Formation, Chaos and Waves)」、L.ラム、H.C.モリス編、シュプリンガー−フェルラーク社、1990年、pp119〜130
マルチチャネルセンサ信号ストリーム内においてどのようにしてイベントを検出するかという問題に対処するのに、これまでたくさんの異なる手法が用いられてきた。イベント検出の課題は、異なった信号グループと異なった実世界の行動または状況の間に適切な相関関係があるようにするには、連続した時間で発生するマルチチャネルセンサ信号をどのようにまとめてグループ化すればよいか、というクラスタリング問題の一例と考えられる。信号ストリームを区分けすることの妥当性については、所定のグループ内のセンサ信号の同質性を、当該グループ内の信号が当該グループの選択されたモデルから著しく離れている場合に高い「コスト」値を生成するよう定義されたコスト関数を用いて判断することによって評価することができる。
イベント検出のために用いられてきた一発見的手法は、マルチチャネルセンサ信号ストリームを最大数の基本セグメントに分割することであり、各セグメントは、データが利用可能な期間のサブ期間のマルチチャネルセンサ信号を含む。次に、マージした結果得られるセグメントが依然として選択されたコスト関数により演算したとおりに低い「コスト」を有する場合に、連続したセグメントを連結して、より長いセグメントを形成することができる。通常、セグメントのマージは、残りのセグメント数が目標数まで減少するか、またはいずれかの可能な新しいマージされたセグメントに関連した「コスト」が所定の閾値を上回るまで続く。
このプロセスが終わると、残された各セグメントは、共通の期間にわたって収集された、ある程度の同質性を有する一組のセンサ信号に対応しており、そのため、センサに関連付けられた装置、個体、またはシステムに関するある実世界の意味を有した「イベント」に対応すると考えられる(例えば、それは、装置の特定内部状態、または状況、行動等に対応するといっても差し支えない)。換言すれば、そのイベントの実世界での意味は、その時点では不明であるかもしれないが、各残されたセグメントは、検出されたイベントであると考えられる。
上述の方法は、「ボトムアップ」手法の一例であり、この手法では信号ストリームが最初に分割されて成る基本セグメントからますます長いセグメントが作り上げられる。他の既知の方法は、信号ストリームが段階的により多くのセグメントに分割される「トップダウン」手法を採っている。全くの「ボトムアップ」でも「トップダウン」でもない、ハイブリッド型の手法も提唱されている。
上記の種類の検出プロセスの結果は、まとめてグループ化されるセンサ信号の同質性を評価するのに用いられるコスト関数の性質に大いに依存する。一般に、所定の場合に用いるべき特定のコスト関数は、用途によって異なる。
一グループ内にある個々のセンサ信号の値が平均値から大きなずれ(すなわち、大きな差)を有する場合、コスト関数は、大きな「コスト」値を生成するよう設計されることが多い。この手法は、非類似の値を有するセンサ信号が非類似の行動/状態によって生成される傾向にあるという仮説を前提にしている。しかしながら、この仮説は、いくつかの用途においては許容可能な結果を生み出すが、常に有効であるとは限らない。例えば、処理されるセンサ信号がジャイロスコープまたは加速度計によって生成された測定値である場合には、この仮説は必ずしも適切ではない。
以上のような事情に鑑み、本発明の目的は、マルチチャネルセンサ信号ストリーム内におけるイベントを検出するための新しい手法を提供することにある。
この新しい手法は、異なる期間中に異なるセンサとセンサの間に存在する協調(coordination)のパターンを判断することを基本とする。例えば、分析される時間間隔全体にわたってサブ期間があってもよい。当該サブ期間中センサは、顕著に安定した協調パターンを有するが、このサブ期間が終わると、その強調パターンは変化する。本発明により、センサ協調のパターンが安定する当該サブ期間は、識別可能なイベントを表すと考えられる(たとえこのイベントに対応した実世界の行動、状況、装置の内部状態等が依然として不明だとしても)。
本発明は、センサとセンサの間の協調パターンが比較的安定した期間に対応するマルチチャネルセンサ信号ストリームの部分を検出することによって、マルチチャネルセンサ信号ストリーム内においてイベントを検出する方法および装置を提供する。
本発明の好ましい実施形態において、複数のセンサ間の協調のパターンは、異なるセンサペアとセンサペアとの間の情報距離を演算することによって評価される。実験により、一組のセンサに関する一組の情報距離が、当該センサと関連のある装置、個体、システム等に伴う実世界の行動に対する一種のシグネチャであり得ることが分かった。従って、異なるそれぞれの期間に関連したマルチチャネルセンサ信号ストリームのセグメントに対応して複数の組の情報距離を評価し、且つ一セグメントから別のセグメントへと当該複数の組の情報距離のパターンがどのように変化するかを見定めることによって、実世界の意味を有するイベントを信号ストリーム内において検出することができる。
本発明によって提供されるイベント検出方法および装置は、状況認識のある装置、記憶および/または表示のための歴史的またはアーカイブデータの圧縮、自律型ロボット装置、医療装置(例えば、脳内の様々な部位をモニタする電極等、身体の部分をモニタするセンサによって生成されるマルチチャネルセンサ信号ストリーム内においてイベントを検出する)、ならびにネットワーク管理装置(例えば、マルチチャネルセンサ信号ストリーム内の異なるチャネルが携帯電話、コンピュータ端末等の異なるネットワーク装置に係わる場合)を含むが、これらに限定されない広範で多様な用途に用いることができる。
本発明は、マルチチャネルセンサ信号ストリームを生成する一組のセンサが全て一つの共通した装置に関連付けられる場合に限定されない。本発明は、また、センサ信号ストリームにおける異なるチャネルが異なる装置と関連付けられたセンサに関係する状況においても(この場合、検出されたイベントがこれらの異なる装置によって形成されるグローバルシステムの実世界の行動/状況/構成に関連する可能性がある)、もしくは当該センサが個体(例えば、当該センサを携帯する人間のユーザまたは動物等)または個体の集まりに関連付けられる状況においても用いることが可能である。
さらに、本明細書において「センサ」という表現を広義で使っており、とりわけ、環境の物理的特性を測定するセンサ、装置または個体の内部状態(自己成長型ロボット内の内部動機付けパラメータを含む)に関係したあるパラメータの値を決定する装置、相互作用(一装置とその環境の間の相互作用、一装置と一ユーザの間の相互作用、2つまたはそれ以上の装置の間の相互作用等)に関係したパラメータ値を決定するセンサ、ならびに特徴抽出器(音声信号、画像信号等において選択された特徴を検出するもの)、および半匿名式センサ(semi-anonymous sensor)(すなわち、衣服、塗料等の中に分布させた一組のセンサ内におけるセンサで、センサ信号と当該組内における当該信号を送信した特定のセンサとの間の厳密な関係が不明であるようなもの)を包含する。
上述した、及びその他の本発明の特徴、利点及び用途は、以下の好ましい実施形態及び添付の図面により明らかにされるが、この例に限定されるものではない。
本発明により、マルチチャネルセンサ信号ストリーム内におけるイベントの発生が、複数のセンサ間の協調のパターンが時間経過にともにいかに変化するかを調査することによって検出される。マルチチャネルセンサ信号ストリーム内に、異なる複数のセンサ間の協調のパターンが安定した状態にある、または小さな範囲内において変化する一期間が発見された場合、この時間間隔は、「一イベント」に相当し、且つこのイベントは、実世界の意味を有すると考えられる。
本明細書において、「イベント」とは、複数のセンサ信号にある同質性があるときのマルチチャネルセンサストリームにおける期間を意味し、この期間は、例えば、センサに関連付けられた装置(単数/複数)の使用状況、センサが配置された環境、センサまたは個体(または別の装置、システム等)に関連付けられた装置(単数/複数)/個体(単数/複数)の相互作用、装置の内部状態または構成、センサに関連付けられた一組の装置またはネットワーク等に関する一特定の実世界の状況に相当する。しかしながら、本発明は、「イベント」が発生した際にあてはまる実世界の条件の性質に関して限定されない。
一グループ内におけるセンサとセンサの間の協調は、多様な方法で評価することができる。例えば、情報理論に関する文献は、異なる複数の情報源の間に存在する協調の程度を確定するために用いることができる様々なパラメータ(例えば、相関係数、相互情報、情報距離等)の提案を含んでおり、これらの提案を、複数のセンサ間の協調の評価に適用することができる。本発明の好ましい実施形態において、センサの協調が以下で説明するとおり情報距離を演算することによって評価される。しかしながら、センサ協調の程度を定量化する他のパラメータは、本発明の他の実施形態において使用することが可能である。
図1に示すように、装置10は、n個のセンサに関連付けされており、且つ各センサの出力は、時間上連続して生成される個別の一組の信号によって表されると仮定する。n個のセンサからの信号ストリームは、マルチチャネルセンサ信号ストリーム内においてイベントを検出するため、イベント検出装置100内で処理することができる。用途に応じて、イベント検出装置100は、装置10の一部を形成するか、または別にすることが可能である。
通常、イベント検出装置100は、幾つもの異なる装置、例えば、ディスプレイ110、メモリ装置120、制御装置130等に対して検出されたイベントの詳細を出力するものである。用途に応じて、検出されたイベントの詳細を受け取る装置(以下、受信装置)は、装置10の一部を形成するか、または別にする(且つイベント検出装置100のローカルまたはリモートのいずれかに配置する)ことが可能である。当該受信装置がイベント検出装置100からリモートで配置される場合、通信リンク(例えば、電気通信ネットワーク、コンピュータネットワーク等)を経由して検出されたイベントの詳細を受け取るか、またはイベント検出装置100が検出されたイベントの詳細を記録した記憶媒体(図示せず)から当該詳細をロードすることによって受け取ることが多い。
図1は、装置10として携帯電話を示す図であるが、これは、本発明を適用することが可能な考えられ得る装置の一実施例にすぎない。さらに、イベント検出装置100およびセンサは、2つ以上の装置、または1人以上の人間と(または動物とさえ)関連付けることができる。
図1に示されるように、装置10が異なる種類のセンサと関連付けられていることに留意されたい。より詳しくは、装置10は、装置10とユーザまたは別の装置(例えば、携帯電話という具体的な状況においては、これらは、ユーザが電話をかけているか否かを判断するセンサ、ユーザが特定の番号に電話をかける回数を測定するセンサ等を含むことが考えられる)の間の相互作用を測定する1つ以上のセンサ20、ならびに装置10自体の内部状態に関係したある特性(例えば、バッテリ電圧、メモリの空き容量、内部動機付けパラメータのレベル等)を測定する1つ以上のセンサ30、装置10と環境の間の相互作用を測定する1つ以上のセンサ40(例えば、装置10に印加される圧力を測定する圧力センサ、装置10の動作を測定する加速度計および/またはジャイロスコープ等)および装置10の環境についてのある特性(例えば、周辺温度、照度、暗騒音の強度等)を測定する1つ以上のセンサ50と関連付けられている。しかしながら、装置10は、異なる種類のセンサを具備する必要はなく、例えば、もっぱら環境特性を検出するものといったように、同じ汎用タイプであってもよい。
事実、本発明は、マルチチャネルセンサ信号ストリームに信号を提供するセンサの性質に特に限定されるものではない。さらに、各センサは、関連のある装置の一部を形成するか、または関連のある装置によって保持されるであろうことが予期されるが、本発明は、そうした状況に限定されない。さらに、検出装置の種類によっては、2つ以上のパラメータを測定するものもある。その場合、そのような単一の装置により、マルチチャネルセンサ信号ストリームに2つ以上の信号ストリーム(チャネル)が提供される。また、用途によっては、ある一定のセンサからの測定値が、イベントが検出されるであろうマルチチャネルセンサ信号ストリームに提供される信号から排除されてもよい(すなわち、かかる場合、利用可能なチャネルの全てがイベント検出に用いられるわけではない)。
i番目のセンサが時間tにおいて信号xi,kを生成する場合、i番目のセンサによって生成される瞬間tから始まる信号ストリームXは、以下のシーケンスによって表わすことができる。
また、任意の瞬間tにおいては、n個のセンサのそれぞれについて一センサ信号xを含む一組の信号Yがある。このことを以下のとおり数式で表わすことができる。
瞬間tから瞬間tまでの期間にわたってマルチチャネルセンサ信号ストリームを考察する。この期間にわたるセンサストリームは、これらの組のうちのN個の信号Yを含む信号時系列Tであり、換言すると以下のようになる。
時間aに始まり時間bに終わる、この時系列TのセグメントS(a、b)を以下のように定義することができる。
また、i番目のセンサによってこのセグメントS(a、b)に提供されるのは、信号ストリーム部分



であり、以下のシーケンスによって表わすことができる。
2個のセンサが互いに協調し合っているか否かを評価する一つの方法は、それらのセンサからの信号と信号の間の情報距離を演算することである。「情報とその距離(Information and its metric)」(L.ラムおよびH.C.モリス編「物理的なシステムにおける非線形構造―パターン形成、カオスと波(Non-linear Structures in Physical Systems - Pattern Formation, Chaos and Waves)」、pp119〜130、シュプリンガー−フェルラーク社、1990年)においてクラッチフィールド(Crutchfield)によって提案された手法に従い、i番目のセンサからの信号とj番目のセンサからの信号の間の情報距離d(X|X)を以下の計算式により求めることができる。
ここで、H(X|X)は、Xに与えられるXの条件付きエントロピー(すなわち、Xの全ての値が分かっている場合のXに関する不確かさ)を示し、H(X|X)は、Xに与えられるXの条件付きエントロピー(すなわち、Xの全ての値が分かっている場合のXに関する不確かさ)を示す。
実際の信号Xがi番目のセンサからとしたときのj番目のセンサからの信号Xの条件付きエントロピーを示すパラメータH(X|X)は、マルチチャネル信号ストリームの任意のセグメントS(a、b)について以下のとおり求めることができる。
ここで、p(xi,k、xj,l)は、j番目のセンサが時間tにおいて値xj,lおよびp(xj,l|xi,k)=p(xj,l、xi,k)/p(xj,l)をとる場合において、i番目のセンサが時間tにおいて信号xi,kを生成する確率を示す。aからbの期間中にi番目およびj番目のセンサの出力がとった実際の値を調べることによって様々な確率が求められる。
実際、情報距離そのものよりむしろ正規化された情報距離を用いて作業する方が簡単であることが判っている。正規化された情報距離は、0〜1の値をとり、以下の計算式により求められる。
ここでH(X、X)は、XおよびXの結合エントロピーを示す。
マルチチャネル信号ストリームの任意のセグメントS(a、b)に対する結合エントロピーH(X,X)は、以下のとおり定義される。
しかし、H(X、X)=H(X)+H(X|X)であるため、演算を簡素化することができる。センサとセンサとの間の協調の尺度として情報距離d(または正規化された情報距離d)を用いることの利点は、dがメトリック(metric)であるということ、換言すれば、以下の3つの特性を有するということである。
d(X、Y)=d(Y、X)、
XおよびYが再符号等価(recoding-equivalent)(引用文献におけるクラッチフィールド参照)である場合且つその場合に限り、d(X、Y)=0、
d(X、Z)≦d(X、Y)+d(Y、Z)
上記の計算式(6)から(9)までを適用することによって、所定の時間間隔(例えば、瞬間aから瞬間bまで)にわたる一組のセンサ(i、j)間の正規化された情報距離d(X、X)を求めることが可能になる。この正規化された情報距離dの値が小さければ小さいほど、aからbまでの期間にi番目とj番目のセンサの間に存在する協調の程度は大きくなる。
マルチチャネルセンサ信号ストリームの特定のセグメントS(a、b)の間、完全な一組のn個のセンサ間に存在する協調のパターンは、当該セグメントの間において考えられ得る全てのセンサの組み合わせ間の正規化された情報距離を演算し、マトリックス(「情報距離マトリックス」または「IDM」と呼ぶ)を形成して結果をまとめることによって評価することができる。正式に、セグメントS(a、b)に対するIDMは、以下のとおり表わすことができる。
d(X、X)=0なので、このIDMの項の要素は全てゼロになる。d(X、X)=d(X、X)なので、IDMは、線対象であり、そのためIDMを演算する際に既にd(X、X)が求められていれば、d(X、X)を演算する必要はない。
本発明者は、ある特定の時間的に展開された行動に対するシグネチャとして情報距離マトリックスを用いることができることを発見した。換言すれば、ある装置がある特定の時間的に展開された行動または状況に関連する場合、その装置に関連付けられた一組のセンサによって生成されたマルチチャネルセンサ信号に適用される情報距離マトリックスは、当該行動/状況が続く間、安定した状態にある傾向がある(すなわち、この期間の連続したセグメントに対して求めるところのIDMの変化量は、小さい)といえる。
例えば、センサが特定の組の環境条件を体験しているとき、4番目および5番目のセンサが高度に協調し合い、1番目および8番目のセンサが高度に協調し合い、および残りのセンサのそれぞれは他のセンサのいずれとも協調し合わないということがあり得る。それ故に、センサ間協調のこの特定パターンがこの特定の組の環境条件の存在に対する一種のシグネチャとなる。
よって、本発明の好ましい実施形態は、複数のセンサ間に存在する協調のパターンがいかに時間経過とともに変化するかを見定めることによってマルチチャネルセンサ信号ストリーム内において時間的に展開されるイベントを検出する。この見定めは、例えば、情報距離マトリックスが時間経過とともにいかに変化するかを評価することによって為される。IDMが安定した状態にある長い期間というのは、センサに関連付けられた装置(単数または複数、もしくは個体(単数または複数)、ネットワーク等)に関する実世界の行動、事象、状況、用途、内部状況等に相当するイベントであることを示している。
この手法は、多様な方法で応用することができる。例えば、aからbまでの時間間隔の間にあてはまる行動または状況が、続くcからdまでの時間間隔の間にも発生するか否かを、これら2つの期間について2つのIDM間に存在する差異の程度を評価することによって判断することができる。これらのIDMが充分似ている場合には、同じ状況または行動がこれら2つの期間の両方にあてはまると判断される。これら2つの期間が時間的に連続するかまたは重なる場合には、当該行動または状況がaからdまでの全期間を通して継続して当てはまったと考えられる。
aからbまでの期間およびcからdまでの期間について2つのIDM間に存在する差異の程度を定量化するために用いることができる一つの単純なパラメータは、以下のとおり求められる差分Δである。
ここで、mklおよびnklは、IDM(a、b)マトリックスおよびIDM(c、d)マトリックスのそれぞれk番目の行およびl番目の列の構成要素である。しかしながら、本実施形態は、計算式(11)により2つのIDM間の差異を見定めることに限定されない。当業者であれば、2つのIDM間の差異がマトリックスを比較するために広く用いられている他の既知のパラメータを使って定量化できるということを理解するであろう。
当該新しい手法を応用する別の方法は、マルチチャネルセンサ信号ストリームの所定のセグメントS(a、b)の同質性を、そのセグメントをg個の等しい長さのサブセグメント(SS、SS、...、SS)に分割してサブセグメントの情報距離マトリックスが全体のセグメントのIDMに等しいか否かを見定めることによって見定めるものである。換言すれば、aからbまでの期間全体を通して単一種の行動/内部状態/状況等が適用されるか否かについて、センサとセンサとの間の協調パターンがその期間どの程度安定していたかを調べることによって判断することができる。サブセグメントのIDMにおける変化に基づいて信号ストリームのセグメントS(a、b)の同質性を評価するという一つの簡便な方法は、サブセグメントのIDMと全セグメントのIDMの差異を以下のとおり定量化するコスト関数Cost(S(a,b))を求める工程から成る。
次に、IDMを利用したイベント特定方法の第1の好ましい実施形態について、図2のフローチャートを参照ながら説明をする。第1の実施形態において、マルチチャネル信号ストリームをそれぞれ検出されたイベントを表わすセグメントへ区分するのに「ボトムアップ」手法が用いられる。
第1の実施形態により、複数のセンサからのセンサ信号が特定の期間において個別の瞬間(t、t、…、t)に測定される(センサ自体が個別の測定値をとる、または連続した測定信号から標本をとることによって)(図2のステップ1)。従って、マルチチャネルセンサストリームは、時系列Tとして利用できる。
マルチチャネルセンサ信号ストリーム内において限られた数q個の主なイベントを検出するのが望ましい。このことは、時系列Tを、セグメントのそれぞれがそれぞれのイベントに対応するqセグメント以下に区分することによって達成することができる。各セグメントSは、それぞれの瞬間aに始まり、別の瞬間bに終わる。これらのセグメントSは、重なり合ってはならず、本実施形態により、それらは時間的に連続し且つ時系列全体を網羅していなければならない。換言すれば、a=tが成り立ち、且つ時系列がq個の検出されたイベント(セグメント)に分割される場合にはb=tとなる。さらにa=bm−1+1が成り立つ。
まず、マルチチャネルセンサ信号ストリームのきめ細かいセグメンテーションは、時系列Tを同じ長さの(すなわち、等しい期間の)p個の基本セグメントに分割することによって生まれる(図2のステップ2)。基本セグメントの期間は、イベント検出プロセスの「分解能」を定義するものとして考えることができる。つまり基本セグメントの期間が2分なら、2分より短いイベントは何も検出することができない。
次に、図2のステップ3において、このセグメントと次のセグメントとをマージすることのコストは何かを決定するため、セグメント毎に演算を行う。本実施形態により、このセグメントのマージを実行するコストは、以下のコスト関数により求められる。
このコストは、上記の計算式(12)により評価することができる。このコストを求めるために用いられるg個のサブセグメントは、任意に設定することができる。但し、通常、意味のあるエントロピー値が演算されることを可能にするほど充分たくさんのデータポイントを各サブセグメントが有するよう、パラメータgは、設定されるものとする。
基本セグメントのそれぞれについてマージコストが求められたら、センサとセンサとの間に見られる協調のパターンが最も少ない変化を有していたのは、どの連続した時間間隔(セグメント)ペアの間だったのかを決定することが可能になる。このことは、可能なマージ動作のうちどれが最も低いコストと関連があるかを確定することによって見定めることができる(図2のステップ4)。例えば、セグメントS(aw、bw)を次のセグメントS(aw+1、bw+1)とマージすることのコストが、演算された全てのマージコストの中で最も低い場合、awからbwまでの時間間隔においてセンサとセンサとの間に観察された協調のパターンが、aw+1からbw+1までの時間間隔においてセンサとセンサの間に観察された協調のパターンとかなり似ていることを意味する。そこでこの「最も低いコスト」であるマージ動作が実行される。上述の実施例を先へ進めて、ここでセグメントS(aw、bw)がセグメントS(aw+1、bw+1)とマージされたとしよう。その結果得られる新しいセグメントは、他の基本セグメントの長さの2倍になり、この新しいセグメントの境界は、最初にawおよびbw+1とラベル付けされた時点と一致する。この段階で、セグメント指数およびセグメント境界指数が連続したシーケンスの値をとるよう(前のセグメントS(aw+1、bw+1)がもはや独立したエンティティとして存在しないという事実を考慮に入れて)、セグメント指数を更新することが適切である。
マージ動作が実行され、指数が更新されると、残りのセグメント数が所望のqまで減少したか否かについてチェックが為される(図2のステップ5)。
図2のステップ5において、残りのセグメント数が依然としてqを上回る場合、連続したセグメントのどのペアが最も類似したセンサ間協調パターンを有しているかについてさらに調査する(ここでは、このことは、どの連続したセグメントが最も低いコストでマージできたかを確定することによって評価される)。このプロセスにより、ステップ3および4が繰り返される。コストの各演算において、簡潔にするため、同じ数g個のサブセグメントSSを用いると都合がよい。しかしながら、サブセグメントの数は適宜変更可能である。
この段階で可能なマージ動作全てのコストが求められたら、最も類似したセンサ協調のパターンを有するセグメントをマージする(すなわち、最も低いコストを有する実行可能なマージ動作を実行する)。再び、セグメント指数および境界指数を更新する。ステップ5を繰り返し行い、セグメント数がqまで減少したかを確認する。残りのセグメント数が依然としてqを上回る場合には、上述のとおりステップ3〜5を繰り返す。
これに対し、図2のステップ5において、q個のセグメントしか残っていない場合、これらのセグメントのそれぞれをq個の検出された主なイベントのうちの一つとみなす。これらの検出されたイベントについては選択した詳細内容を出力することができる。通常、出力される詳細は、検出イベントの境界を示すデータ、とりわけ各イベントが開始して終わる時点、および/または連続して検出されたイベントの期間のリストを含む。尚、各検出されたイベントと関連のある実世界の行動/状況等の性質が特定されるのを可能にする利用可能な明示的情報がない場合においてさえ、各検出イベントに対する「シグネチャ」を出力することは有用であり得る。
上述のように、特定の時間間隔の間に生成されたマルチチャネルセンサ信号と関連のあるIDMは、その期間にわたって比較的安定していること、その上、多くの場合、そのIDMは、その期間中にあてはまる行動または状況の特性を示していることが実験により分かった。従って、各セグメントに適用されるIDMは、検出されたイベントの性質を、少なくとも暗黙的にだが、記述する一種のシグネチャの役目を果たすことができる。それ故に、図2を参照して先に説明した方法のステップ6において、検出されたイベントについて出力される詳細内容は、それぞれのセグメントに対するIDMを示すデータを含むことができる。
本発明によるイベント検出方法の第2の実施形態は、明示的なイベントの「カテゴリ」を、検出された異なるイベントに割り当てることを可能にする。本発明の第2の実施形態により、q個以下のイベントがマルチチャネルセンサ信号ストリームの特定部分(すなわち、時系列Tによって表わされる部分)において検出されるだけでなく、検出されたイベントがr個(rは、例えば、システム設計者によって設定される)を超えて種類が異ならないのが望ましい。換言すれば、当該イベント検出プロセスにおいて検出された各イベントは、r個未満の可能なカテゴリから選択されたカテゴリに属するのが望ましい。次に、第2の実施形態について図3を参照しながら説明する。
本発明の第2の実施形態による方法のステップ1〜4は、上述の第1の実施形態による方法のステップ1〜4と同じであってもよいので、繰り返し説明はしない。図3に示されるように、第2の実施形態のステップ5は、ステップ4が終わった時点で残っているセグメントのそれぞれに固有のカテゴリコードを割り当てる工程を含む。カテゴリ数がr個以下か否かについてチェックが為される(図3のステップ6)。初めてステップ6が実行されるときには、カテゴリ数はr個以下にならないのが通例であり、フローはステップ7へと進む。
第2の実施形態のステップ7において、考察した2つのセグメントが時間上連続しているか否かに係わらず、最も類似したセンサ協調パターンを有する2つのセグメントの調査が為される。この調査は、(ペアになったセグメントが連続的か非連続的かに係わらず)全ての可能なセグメントペアのIDMとIDMの間に存在する差異を計算することによって実行することができる。これらペア毎の差異のそれぞれは、例えば、上述の計算式(11)により求められるそれぞれのパラメータΔを用いて定量化することができる。全ての可能なセグメントの組み合わせに対して計算が為されれば、IDMの観点からどのセグメントペアが最も小さな差異を有しているかについてチェックが為される(図3のステップ7)。換言すれば、このプロセスは、センサとセンサの間の協調のパターンが最も似ているのはどの2つの期間においてかを検出する。IDMが実世界の行動および状況の特徴を示し得るという事実を考慮して、第2の実施形態は、最も近いセンサ間協調パターンを有することが分かった2つのセグメントが実世界における同じ性質の行動、状況等に対応すると仮定する。よって、これら2つのセグメントが同じカテゴリコードをとるようにカテゴリコードが調整される(図3のステップ8)。
ステップ8において実行されたカテゴリコードの調整の結果、この時点で2つの連続したセグメントは、同じカテゴリコードを有することにしてもよい。このことは、連続したセグメントの両方が同じ種類の行動/状況等に関係することを示している。事実、ほとんどの場合、これら2つの連続したセグメントが両方ともこれらの時間セグメントの両方を包含する長い期間にわたって継続した単一の行動/状況に関係している。それ故に、第2の実施形態のステップ9において、この時点で同じカテゴリコードを有することが分かっているいかなる連続したセグメントもマージされる(しかしながら、このステップ9は任意であり、適宜省略されてもよい)。
ステップ6を繰り返すことで、すなわちカテゴリ数がこの時点で所望の値rまで減少しているか否かについてチェックすることで、第2の実施形態による方法は次に進む。セグメント内で表わされるカテゴリ数が依然として大きすぎる場合、ステップ7〜9を繰り返した後、カテゴリコードの数について再チェックを行う(ステップ6)。
ステップ7および8を繰り返す際、センサ間の協調のパターンがこの時点で同じカテゴリにあるセグメントとセグメントの間でどのように変わるのかを評価することは有用でないといえる。よって、ステップ7を繰り返す際、異なるカテゴリコードを有するセグメントペアに対してのみパラメータΔを計算する。同様に、ステップ8を繰り返す際、互いに異なるカテゴリコードを有するにも係わらず、互いに最も似たセンサ協調のパターンを有するセグメントペアを調査する(尚且つこの時点からこれらのセグメントが同じカテゴリコードによってラベルを付されるように再びカテゴリコードを調整する)。
実際にはステップ7の計算を明示的に繰り返す必要はない。その理由は、ステップ7が実行された最初の時点で既に全てのセグメントのIDMとIDMの間のペア毎の差異が計算されているからである。よって、本プロセスにおいてこのループが繰り返されている間は、未だ互いに異なるカテゴリにある様々なセグメントペアにあてはまるIDMとIDMの間の既に計算された差異を精査するので充分である。
例えば、1から5までの番号を付けられ、それぞれAからEまでのカテゴリコードを有する5つのセグメントの場合について考察する。おそらく、ステップ7の一回目の実行時に、セグメント1のIDMとセグメント4のIDMとが互いに最も似ているのが分かる。よって、セグメント4のカテゴリコードがDからAに変えられ(カテゴリ数が5から4に減少する)。所望のカテゴリ数rを依然として上回っていると仮定すると、ステップ7および8を繰り返す際、ペア毎の比較は、セグメント1のIDMとセグメント2のIDMとの間、セグメント1のIDMとセグメント3のIDMとの間、セグメント1のIDMとセグメント5のIDMとの間、セグメント2のIDMとセグメント3のIDMとの間、セグメント2のIDMとセグメント4のIDMとの間、セグメント2のIDMとセグメント5のIDMとの、セグメント3のIDMとセグメント4のIDMとの間、セグメント3のIDMとセグメント5のIDMとの間、ならびにセグメント4のIDMとセグメント5のIDMとの間で為されることになる。セグメント1のIDMとセグメント4のIDMとの間の比較は、この時点でそれらが同じカテゴリにあるため、行う必要はない。もしセグメント1のIDMとセグメント3のIDMとが互いに最も似ていることが分かれば、セグメント3に割り当てられるカテゴリがCからAに変えられる。さらに、セグメント3および4は、両方ともこの時点でカテゴリAにあるため、連続しておりマージが可能である。
最終的に、ステップ6において、カテゴリ数がrまで減少し、その時点で検出されたイベントの詳細が出力できると判断される(図3のステップ10)。この場合、出力される詳細は、通常、異なったカテゴリの検出されたイベントが発生したシーケンスを特定するものである。
望ましければ、第2の実施形態による方法を変形することができる。例えば、ステップ7〜9を繰り返す際(カテゴリコードの最初の変換が行われた後)、同じカテゴリにあるセグメントのIDMの平均を演算し、この平均を他のカテゴリにあるセグメントのIDMと比較するのが好ましいといえる。
同じように、1から5までの番号を付けられ、それぞれカテゴリAからEまでのラベルが付された一組の5つのセグメントに関係した以下の実施例についての考察から上述の変形を理解する方が容易かもしれない。再び、ステップ7の一回目の実行時において、セグメント1のIDMとセグメント4のIDMとが互いに最も似ていることが分かり、セグメント4のカテゴリコードがDからAに変えられる場合について考察する。ステップ7および8をこの変形方法において繰り返す場合、カテゴリAにあてはまる平均IDMとして使用するためセグメント1および4の平均IDMを演算する。続いて、ペア毎の比較を、カテゴリA用平均IDMとセグメント2のIDMとの間、カテゴリA用平均IDMとセグメント3のIDMとの間、カテゴリA用平均IDMとセグメント5のIDMとの間、セグメント2のIDMとセグメント3のIDMとの間、セグメント2のIDMとセグメント5のIDMとの間において為す。このとき、もしセグメント3のIDMとカテゴリAにあてはまる平均IDMの間に最も高い程度の類似性が観察されたなら、セグメント3にあてはまるカテゴリがカテゴリCからカテゴリAに変更される。繰り返すが、セグメント3および4がこの時点でマージされてもよい。
第2の実施形態による方法の第2の変形において、少なくとも1つの連続したセグメントペアがマージされた後、ステップ7〜9を繰り返す場合、マージされたセグメントのIDMの平均を演算して、この平均を構成要素であるセグメントのIDMよりむしろ、他のカテゴリにあるセグメントと比較をするのが好ましいといえる。
もしこの第2の変形が、上述の、5つのセグメントが1から5までの番号を付けられ、それぞれカテゴリAからEまでのラベルを付されるという実施例(第1、第3および第4のセグメントが互いにかなり似通ったIDMを有する場合)にどのように適用されるかを考えるなら、当該方法は、基礎となる第2の実施形態に関して先に説明したのと同じように最初のうちは展開する。尚、セグメント3および4をマージした後、セグメント3および4のIDMの平均を演算して、後続の、ステップ7および8を繰り返す際に実行されるペア毎の比較に使用してもよい。
本発明の第2の好ましい実施形態の第1および第2の変形は、基礎となる第2の実施形態より多くの演算量を要する点に言及しておかなければならない。よって、基礎となる第2の実施形態の方が、実行速度が速く且つ処理能力が少なくて済む。
本発明は、本発明による方法を適用することによってマルチチャネルセンサ信号ストリーム内においてイベントを検出するのに適合したイベント検出装置およびモジュールを提供する。多くの場合、これらの装置およびモジュールは、好適にプログラムされたコンピュータ装置を用いて実現され、その場合、センサ信号ストリームは、一般に、適切なインターフェースを用いてコンピュータ装置に入力される。検出されたイベントの詳細は、視覚化装置(例えば、モニタまたは表示スクリーン)、記憶装置、制御装置等を含むがこれらに限定されない多様な装置に出力することができる。当該イベント検出装置またはモジュールは、センサのうちの幾つかまたは全てを保持する一装置または機器内に一体化させることが可能である。
本発明の第1および第2実施形態によるイベント検出方法を用いて実験を行った。これらの実験において、幾らかのセンサを保持する一装置が、被験者となった人物の腰部に取り付けられた。80分の間、被験者となった人物がしたいように振る舞うに従い、当該センサは、3つの互いに直交した方向の加速に関する加速度データを、および3つの互いに直交した軸に対する角速度に関するジャイロスコープデータを生成した。これにより、6つのパラレルなセンサ信号ストリームを有する時系列が生まれた。
計算を単純化するため、全てのチャネルが−1〜+1の範囲内にあるデータ値をひたすら生成するようにセンサデータを調整した。加速度計データについては、−1および+1の値がそれぞれ−gおよび+gの加速に対応した(ここで、gは重力による加速を表わす)。ジャイロスコープデータについては、−1および+1の値がそれぞれ−2πおよび+2πの角速度に対応した。
6つのセンサストリームを表わす時系列がまず100個の基本セグメントに分割された。各基本セグメントは、それぞれ48秒の長さの期間に6つのチャネルに対して生成されたセンサ信号を含んだ。このきめ細かいセグメンテーションは、p=100という値に相当した。
図4において(ならびに続く図5〜8においても)、処理がされていないセンサデータをグラフ上部に示しているのに対し、グラフ下部近くの太い黒線部分は、セグメントの時間配置を示している。さらに、(グラフ上において同じ垂直位置に配置された太い黒線部分は、同じカテゴリコードを割り当てられた「イベント」に関係するように)太い黒線部分の垂直位置は、それぞれのセグメントが属するカテゴリを示している。
本発明の第1の実施形態によるイベント検出方法を、パラメータqに対し10の値を用いて精巧に区分された時系列に適用した。換言すれば、当該方法を、80分にわたったマルチチャネルセンサ信号ストリーム全体において10個(またはそれ以下)の主なイベントを検出するため実施した。図5は、このイベント検出プロセスの結果を示す図である。
図5において分かるように、第1の実施形態によるイベント検出方法は、望み通りに80分の測定期間に発生した10個の主なイベントを検出した。これらの主なイベントは、約10分間状態を維持した行動/状況に対応する第1のイベント、極端に短い行動/状況に対応する第2のイベント、約10分間の別の行動/状況に対応する第3のイベント、それに続く、約30分間状態を維持した行動/状況に対応する第4のイベントを含む。他の主なイベントは、より短い期間の行動/状況/内部状態等に関係する。
図5のように検出されたイベントを有するのが有用であるが、「イベント」の性質については何も分からず(例えば、それらのいずれかが互いに似ているかどうかが不明である)、イベントの多くが極端に短い期間のものである。たとえ被験者である人物によって携帯されていた装置が、これらの短い時間間隔の間、直前および直後に発生した環境/状況/ユーザ相互作用とは性質上異なる環境/状況/ユーザ相互作用等を真に経験していたとしても、このように短い期間のイベントを検出することが有用であるとは、定かではない。
第2の実施形態によるイベント検出方法を用いて、同じ6チャネルの時系列データにおいてイベントを検出した。まず、第2の実施形態による方法を、q=10およびr=3の値を用いて適用した。換言すれば、第2の実施形態によるイベント検出方法のこの一回目の実行において、当該方法は、80分の測定期間に発生する、3つ以上の異なるイベントカテゴリにはならない10個(またはそれ以下)の主なイベントを検出しようとした。
本発明の第2の実施形態によるイベント検出方法を用いた一回目の実行の結果、4つの主なイベントが検出されるに至った。つまり、約30分間状態を維持した第1の行動/状況等に対応する第1のイベント、きっちり30分以上状態を維持した第2の行動/状況に対応する第2のイベント、第1の行動/状況の再現(この回では約15分間)に対応する第3のイベント、それに続く、約5分間状態を維持した第3の行動/状況に対応する第4のイベントである。
興味深いことに、第2の実施形態によるイベント検出方法は、たとえ対応する期間に生成された生のセンサ信号が非常に異なって見えても、第1および第3のイベントが同じ種類の(同じ実世界の行動/状況/用途等に対応した)イベントであることを認識した。
さらに、第2の実施形態による方法の一回目の実行において検出された最短イベントは、第1の実施形態による方法を用いて検出した最短イベントよりかなり長かった。図5および図6を比較すると、図5を生成するのに用いられたイベント検出方法によって個々のイベントであるとみなされたある一定のイベントが図6を生成するのに用いられた方法においては共通したイベントの異なる部分であるにすぎないと考えられることが分かる。
第2の実施形態によるイベント検出方法を、2回目および3回目に、パラメータrおよびqに対して異なる値を用いて同じ6チャネルの時系列データに適用した。2回目の実行においてはr=20およびq=40とし、この2回目の実行の結果を図7に示す。3回目の実行においてはr=5およびq=40とし、この3回目の実行の結果を図8に示す。
図7より、たくさんのイベントを検出することが認められており、すなわちqが大きく(ここではq=40)、且つたくさんのイベントカテゴリが認められる(ここではr=20)場合、個々の検出されるイベントの数は、大きくなる傾向にある(ここでは35)ことが分かる。尚、図8に示されたケースでは、たとえ図7と同じイベント数(20)の検出が可能であったとしても、認められるイベントカテゴリ数が5に制限されるため、検出されるイベントの実際の数は、比較的小さく、わずか8であることは注目に値する。
qおよびrの適切な値は、一般に、用途に応じて異なる。本発明によるイベント検出装置の幾つかの実施形態は、イベント検出の複数の「ラン(実行)」を行うのに適合したモジュールを含むことができ、各「ラン」はqおよび/またはrに対して異なる組の値を用いる。続いて、当該イベント検出プロセスの異なる実行の結果を、自動または手動のいずれかで(例えば、人間のオペレータに視覚的に結果を表示することによって)比較することができる。
マルチチャネルセンサ信号ストリームが、その構成要素である「イベント」を検出するために処理された後、その結果は、多様な方法で用いることができる。おそらく、センサ信号は、装置の一種のログ、または使用履歴として収集されている。そのような場合、その元の処理されていないストリームのセンサ信号を切り捨て、(例えば、この履歴データを記憶するのに必要なメモリ空間を抑えるため、または当該装置の履歴についてもっと意味のある説明を提供するため)構成要素であるイベントおよび発生時刻のリストに置き換えるのが望ましい。検出されたイベントの詳細は、モニタ上の視覚的表示またはそのようなもの、印刷等を含む任意の従来の手段によってユーザ/システムオペレータに提示することができる。
場合によっては、例えば、ある状況依存の制御操作を実行する、または状況に依存したある一定の機能をユーザにもたらすという観点からすると、当該イベント検出ステップが、検出されたイベントに対応する実世界の状況の性質を特定するプロセスに先駆ける可能性がある。この場合、イベントの特定を、検出されたイベントを実世界の解釈と関連付けるある方法によって達成する必要がある。
このことは、例えば、学習段階の間に生成されたマルチチャネルセンサ信号ストリーム内において検出される異なったカテゴリの「イベント」を、ユーザがタグ付けすることによって達成することが可能である。換言すれば、学習段階の間にマルチチャネルセンサ信号を収集し、このマルチチャネルセンサ信号内においてイベントを自動的に検出し、当該イベントにカテゴリを割り当てた後、検出されたイベントのカテゴリと、検出されたイベントのそれぞれのカテゴリに対応する時間にあてはまる実世界の状況、行動、内部状態等との間にユーザが手動で関連性を作成する。その後、システムの「使用」段階において、検出されたイベントのカテゴリと行動/状況等との間にあるこれらの同じ関連性を適用すると仮定する。
この種のシステムにおいては、センサとセンサの間に存在する協調のパターンが長い期間にわたって安定しているのはいつかを確定することによって、当該使用段階の間にイベントが検出される。これらの「イベント」の間に観察されるセンサ協調のパターンを、学習段階の間に観察された協調のパターンと比較することができ、充分な程度の類似性が存在する場合には、学習段階の期間に確立された対応するカテゴリに使用されたのと同じカテゴリコードが、新しい「検出されたイベント」に割り当てられる。当該システムは、このイベントの検出を、学習段階の期間にこのイベントカテゴリと関連のあった対応する行動/状況の検出として処理する。その後、特定された行動/状況に適切な制御または機能性を実現することができる。この種の手法は、状況認識が可能な装置において用いることができる。
本発明の別の適用は、自律型ロボット等の自律型装置内においてである。自律型ロボットがその振る舞いを様々な状況に適切に適合させることができるには、ロボットが特定の「状況」が生じたことを見極められる必要がある。ロボットは、状況の発生を検出し、一状況が別の状況に変化した時を確定するため、本発明によるイベント検出方法を用いることができる。
本発明については、これまで本発明の現時点での好ましい実施形態を参照しながら説明をしてきたが、当業者であれば、本発明が上記の好ましい実施形態の特殊性および詳細によって限定されないことを容易に認識するであろう。より詳しくは、多様な修正が上述の実施形態において為されることができ、付随の特許請求の項において定義されるような本発明の範囲から逸脱することなく、様々な実施形態を生むことができることを理解すべきである。
例えば、上記の本発明の好ましい実施形態は、多様なセンサ間の協調のパターンに関係したコスト関数を用いて、マルチチャネルセンサ信号ストリーム内においてイベントを検出するボトムアップ手法を利用している。しかしながら、センサ間の協調のパターンが安定した状態にある期間を探すことによってイベントを特定するものであれば、本発明が、他の「トップダウン」手法またはハイブリッド(全くの「ボトムアップ」でも「トップダウン」でもない)手法によるイベント検出方法、および、これらの他の手法をとる方法にも適用できることを、当業者であれば容易に理解するであろう。
さらに、上述の本発明の好ましい実施形態は、特定の期間中に様々なセンサ間に存在する正規化された情報距離のパターンに関係したコスト関数を利用する。しかしながら、上述のとおり、コスト関数は、情報距離そのものに基づいて求めることができ、または異なる情報源と情報源の間に存在する協調を定量化するのに使用する他のパラメータ(例えば、相互情報、相関係数等)を用いて異なるセンサとセンサ間に存在する協調を評価することによって求めることができる。
本発明が適用される装置の一実施例を示す。 本発明によるイベント検出方法の第1の実施形態を説明するフローチャートである。 本発明によるイベント検出方法の第2の実施形態を説明するフローチャートである。 6チャネルセンサストリームデータを示すグラフで、当該データを基本セグメントに区分したもの。 本発明の第1の実施形態による方法を用いて図4の6チャネルセンサ信号データ内において検出された主なイベントを示すグラフである。 本発明の第2の実施形態による第1の方法を用いて図4の6チャネルセンサ信号データ内において検出された主なイベントを示すグラフである。 本発明の第2の実施形態による第2の方法を用いて図4の6チャネルセンサ信号データ内において検出された主なイベントを示すグラフである。 本発明の第2の実施形態による第3の方法を用いて図4の6チャネルセンサ信号データ内において検出された主なイベントを示す図である。
符号の説明
10 装置
20、30、40、50 センサ
100 イベント検出器
110 ディスプレイ
120 メモリ装置
130 制御装置

Claims (10)

  1. マルチチャネルセンサ信号ストリーム内においてイベントを特定するための信号処理方法であって、
    共通の期間中に複数のセンサによって出力されるそれぞれの信号ストリームから成る、前記マルチチャネルセンサ信号ストリームのセクションを入力するステップと、
    前記共通の期間内におけるそれぞれの時間間隔の間に前記センサ信号ストリームと前記センサ信号ストリームの間に存在する連係のパターンを評価するステップと、
    前記評価した連係のパターンを比較するステップと、
    連続した時間間隔について評価した異なる前記センサ信号ストリームと前記センサ信号ストリームの間の連係のパターンが互いに似ているのはいつかを確定することによって前記マルチチャネルセンサ信号ストリーム内においてイベントを検出するステップと
    を具備する信号処理方法。
  2. 請求項1に記載の信号処理方法であって、
    前記評価するステップは、前記時間間隔の間に前記センサのペアからの信号と信号の間の情報距離を演算するステップを有する、信号処理方法。
  3. 請求項1または2に記載の信号処理方法であって、
    前記複数のセンサは、装置の環境、用途、状況および/または内部状態のパラメータならびに/もしくは前記装置と1つ以上の外部エージェントの間に発生する相互作用のパラメータの値を測定するのに適合したセンサを有し、
    前記外部エージェントは、前記環境、1人以上のユーザ、または1つ以上の装置を有することが可能である、信号処理方法。
  4. 請求項1または2に記載の信号処理方法であって、
    前記複数のセンサは、一組の装置の環境、用途、状況および/または内部状態のパラメータならびに/もしくは前記組のうちの1つ以上の装置と1つ以上の外部エージェントの間に発生する相互作用のパラメータの値を測定するのに適合したセンサを有し、
    前記外部エージェントは、前記環境、1人以上のユーザ、または1つ以上の装置を有することが可能である、信号処理方法。
  5. 請求項1または2に記載の信号処理方法であって、
    前記複数のセンサは、環境および/または人間または動物の身体状態のパラメータ、ならびに/もしくは前記人間または動物によって従事される行動のパラメータ、ならびに/もしくは前記人間または動物と1つ以上の外部エージェントの間に発生する相互作用のパラメータの値を測定するのに適合したセンサを有し、
    前記外部エージェントは、前記環境、1人以上のユーザ、または1つ以上の装置を有することが可能である、信号処理方法。
  6. 請求項1または2に記載の信号処理方法であって、
    前記マルチチャネルセンサ信号ストリームの異なる前記チャネルと前記複数のセンサ内における個々の前記センサの間の対応が不明である、信号処理方法。
  7. マルチチャネルセンサ信号ストリーム内においてイベントを検出するのに適合したイベント検出装置であって、
    共通の期間中に複数のセンサによって出力されるそれぞれの信号ストリームから成る、前記マルチチャネルセンサ信号ストリームのセクションを入力として受信するのに適合した入力手段と、
    前記共通の期間内におけるそれぞれ異なる時間間隔の間に前記センサ信号ストリームと前記センサ信号ストリームの間に存在する連係のパターンを評価するのに適合した演算手段と、
    前記演算手段によって評価された前記連係のパターンを比較し、且つ連続した時間間隔について評価した異なる前記センサ信号ストリームと前記センサ信号ストリームの間の前記連係のパターンが互いに似ているのはいつかを確定することによって前記マルチチャネルセンサ信号ストリーム内においてイベントを検出するのに適合した比較手段と、
    前記検出したイベントの少なくともタイミングを特定するイベントデータを出力するのに適合した出力手段と
    を具備するイベント検出装置。
  8. 請求項7に記載のイベント検出装置であって、
    前記演算手段は、前記時間間隔の間に前記センサストリームのペアとペアの間の情報距離を演算することによって、所定の時間間隔の間におけるセンサストリームとセンサストリームの間の連係のパターンを評価するのに適合した、イベント検出装置。
  9. 請求項7または8に記載のイベント検出装置であって、
    前記比較手段によって検出されたイベントにカテゴリを割り当てるのに適合した分類手段を更に具備し、
    前記出力手段は、前記検出されたイベントの前記カテゴリを特定するイベントデータを出力するのに適合した、イベント検出装置。
  10. 請求項7〜9のいずれか一項に記載のイベント検出装置と一組のセンサとを含み、前記一組のセンサは、前記マルチチャネルセンサ信号ストリームを生成するのに適合した、イベント検出システム。
JP2007281039A 2006-10-27 2007-10-29 マルチチャネルセンサ信号ストリームにおけるイベント検出 Abandoned JP2008113442A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP06301093A EP1916828B1 (en) 2006-10-27 2006-10-27 Event-detection in multi-channel sensor-signal streams

Publications (1)

Publication Number Publication Date
JP2008113442A true JP2008113442A (ja) 2008-05-15

Family

ID=38091748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007281039A Abandoned JP2008113442A (ja) 2006-10-27 2007-10-29 マルチチャネルセンサ信号ストリームにおけるイベント検出

Country Status (5)

Country Link
US (1) US7996189B2 (ja)
EP (1) EP1916828B1 (ja)
JP (1) JP2008113442A (ja)
CN (1) CN101203008A (ja)
DE (1) DE602006021433D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529192A (ja) * 2009-05-29 2012-11-15 クゥアルコム・インコーポレイテッド 基本移動パターンの評価による移動検出のための方法および装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5396001B2 (ja) * 2006-12-13 2014-01-22 楽天Edy株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
FI20095570L (fi) * 2009-05-22 2009-09-11 Valtion Teknillinen Kontekstin tunnistaminen mobiiliaitteissa
EP2264988A1 (en) * 2009-06-18 2010-12-22 Deutsche Telekom AG Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone
TW201202454A (en) * 2010-07-07 2012-01-16 Hon Hai Prec Ind Co Ltd Processing apparatus for smoothing film material and evaporation deposition device with same
US9301460B2 (en) * 2011-02-25 2016-04-05 The Toro Company Irrigation controller with weather station
GB201116960D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Monocular camera localisation using prior point clouds
US8904410B2 (en) * 2012-01-31 2014-12-02 MCube Inc. Methods and apparatus for mobile device event detection
US9335845B2 (en) 2012-01-31 2016-05-10 MCube Inc. Selective accelerometer data processing methods and apparatus
US9471092B2 (en) 2012-02-03 2016-10-18 MCube Inc. Distributed MEMS devices time synchronization methods and system
KR101943986B1 (ko) 2012-03-21 2019-01-31 삼성전자주식회사 애플리케이션 또는 컨텐트를 추천하는 이동 통신 단말 및 추천 방법
GB2502775A (en) * 2012-05-31 2013-12-11 Toshiba Res Europ Ltd Selecting routes between nodes in a network based on node processing gain and lifetime
US9740773B2 (en) * 2012-11-02 2017-08-22 Qualcomm Incorporated Context labels for data clusters
US9336295B2 (en) 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
WO2014120161A1 (en) * 2013-01-30 2014-08-07 Hewlett-Packard Development Company, L.P. Determining response similarity neighborhoods
US9584379B2 (en) * 2013-06-20 2017-02-28 Microsoft Technology Licensing, Llc Sorted event monitoring by context partition
US10545132B2 (en) 2013-06-25 2020-01-28 Lifescan Ip Holdings, Llc Physiological monitoring system communicating with at least a social network
US10674443B2 (en) 2017-08-18 2020-06-02 Blackberry Limited Method and system for battery life improvement for low power devices in wireless sensor networks
CN108121255B (zh) * 2018-01-08 2020-05-12 重庆电子工程职业学院 一种数据传输以及数据交互的传感器控制***
CN110708418B (zh) * 2019-09-09 2021-06-29 国家计算机网络与信息安全管理中心 一种识别呼叫方属性的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236363B1 (en) * 1998-01-30 2001-05-22 Micronetics Wireless Smart antenna channel simulator and test system
US6649416B1 (en) * 2000-02-18 2003-11-18 Trustees Of Tufts College Intelligent electro-optical sensor array and method for analyte detection
US20020101632A1 (en) * 2001-01-30 2002-08-01 Milton Meckler Wireless laser beam communications system for stationary and mobile users
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US20050210027A1 (en) * 2004-03-16 2005-09-22 International Business Machines Corporation Methods and apparatus for data stream clustering for abnormality monitoring
US20060107219A1 (en) 2004-05-26 2006-05-18 Motorola, Inc. Method to enhance user interface and target applications based on context awareness

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529192A (ja) * 2009-05-29 2012-11-15 クゥアルコム・インコーポレイテッド 基本移動パターンの評価による移動検出のための方法および装置
US9398536B2 (en) 2009-05-29 2016-07-19 Qualcomm Incorporated Method and apparatus for movement detection by evaluating elementary movement patterns

Also Published As

Publication number Publication date
EP1916828B1 (en) 2011-04-20
US20090099820A1 (en) 2009-04-16
DE602006021433D1 (de) 2011-06-01
CN101203008A (zh) 2008-06-18
US7996189B2 (en) 2011-08-09
EP1916828A1 (en) 2008-04-30
US20100042371A2 (en) 2010-02-18

Similar Documents

Publication Publication Date Title
JP2008113442A (ja) マルチチャネルセンサ信号ストリームにおけるイベント検出
US11551153B2 (en) Localized learning from a global model
CN108304758B (zh) 人脸特征点跟踪方法及装置
Tran et al. Human activities recognition in android smartphone using support vector machine
Rashid et al. Window-warping: a time series data augmentation of imu data for construction equipment activity identification
CN112329855B (zh) 基于自适应字典的欠定工作模态参数识别方法及检测方法
JP5951695B2 (ja) 行動認識のための方法、装置、およびコンピュータ・プログラム
CN108983979B (zh) 一种手势跟踪识别方法、装置和智能设备
Sony et al. Multiclass damage identification in a full-scale bridge using optimally tuned one-dimensional convolutional neural network
US20150339591A1 (en) Collegial Activity Learning Between Heterogeneous Sensors
TWI776566B (zh) 動作識別方法、電腦設備及電腦可讀儲存介質
Gordon et al. Group affiliation detection using model divergence for wearable devices
WO2020039559A1 (ja) 情報処理装置、情報処理方法及び作業評価システム
CN110969045A (zh) 一种行为检测方法、装置、电子设备和存储介质
CN114241587A (zh) 人脸活体检测对抗鲁棒性的评估方法及装置
CN112215112A (zh) 一种可用于手部动作识别的神经网络模型的生成方法和***
Handte et al. The narf architecture for generic personal context recognition
CN110263842A (zh) 用于目标检测的神经网络训练方法、装置、设备、介质
CN111797289A (zh) 模型处理方法、装置、存储介质和电子设备
CN111800535B (zh) 终端运行状态的评估方法、装置、存储介质及电子设备
Marasović et al. User-dependent gesture recognition on Android handheld devices
CN110738124A (zh) 基于关节点坐标的人体姿势识别方法及***
CN111797863A (zh) 模型训练方法、数据处理方法、装置、存储介质及设备
KR102428325B1 (ko) 인공지능 기반의 그림 테스트를 이용한 인지장애 판별 방법 및 장치
KR102464945B1 (ko) 기계 학습을 이용한 신호 데이터 상태 분석 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101013

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20111028