[第1実施形態]
以下、図面を参照して、本発明の第1実施形態に係るイベント識別システムについて説明する。なお、ここでは説明の便宜上、本第1実施形態に係るイベント識別システムによって分析する対象の作業行為として手術を例に説明する。
図1は、本第1実施形態に係るイベント識別システムの一構成例を示すブロック図である。同図に示すように、イベント識別システムは、音響データ収集手段300と、フィルタ手段500と、心拍音データ処理手段700Aと、心拍音除去データ処理手段700Bと、を具備する。
前記音響データ収集手段300は、本第1実施形態に係るイベント識別システムによって分析する対象の作業行為に係る音響データを収集する為の手段である。
具体的には、前記音響データ収集手段300は、例えば図2に示すように、当該分析対象の作業行為に係る者が装着する接触型マイクロフォン(skin−contact microphone)300Aと、前記接触型マイクロフォン300Aによって収集された音響データを後述する受信機300Cへ送信する為の送信機300Bと、前記送信機300Bによって送信された音響データを受信する受信機300Cと、を有する。
より具体的には、前記接触型マイクロフォン300Aは、いわゆる電子聴診器に用いられている技術を利用したマイクロフォンであり、電子聴診器と異なる点は被験者に装着させて使用する点である。
なお、当然ながら、図2に示す音響データ収集手段300の構成はあくまでも一例である。従って、例えば前記送信機300Bを、前記フィルタ手段500、前記心拍音データ処理手段700A、及び前記心拍音除去データ処理手段700Bと一体的に構成してもよい。このように構成する場合、前記送信機300Bによって送信するデータは、後述する前記フィルタ手段500、前記心拍音データ処理手段700A、及び前記心拍音除去データ処理手段700Bによる分析処理後のデータである為、送信に係るデータ量を小さくすることができる。
また、前記送信機300Bと前記受信機300Bとの間で送受信するデータは、アナログデータであってもデジタルデータであっても良い。また、前記送信機300Bによって送信する前に、当該データに所定の圧縮処理等の前処理を施しても勿論よい。
前記フィルタ手段500は、前記音響データ収集手段300によって収集した音響データに対して所定のフィルタ処理を施し、接触型マイクロフォン300Aの装着者の心拍音に係るデータである心拍音データを抽出して心拍音データ処理手段700Aに出力する。また、前記フィルタ手段500は、音響データ収集手段300によって収集した音響データのうち前記心拍音データを除去したデータを生成し、心拍音除去データとして心拍音除去データ処理手段700Bに出力する。
詳細には、心拍音に係る音響データは、非常に低周波(具体的には、50Hz前後の周波数を多く含んでいる)であり、例えば前記音響データ収集手段300によって収集した音響データのうち例えば200Hz以上の周波数をカットすることで、心拍音に係る音響データを抽出することができる。従って、前記フィルタ手段500は、このようなフィルタ処理を前記音響データに施すことで、前記心拍音データを抽出する。
なお、前記フィルタ手段500は、上述した処理によって前記音響データから前記心拍音データを抽出する際に、該抽出に係るデータが、心拍音データとして特定の周期を有するデータであることの確認処理を行う。
すなわち、前記フィルタ手段500は、心拍音データの抽出処理過程において、通常のパターン認識技術により、当該抽出処理に係るデータが心拍音データとして妥当なデータであるか否かを確認処理している。
前記心拍音データ処理手段700Aは、前記心拍音データについて分析処理を行う手段である。なお、この心拍音データ処理手段700Aによる具体的処理内容は後述する。
前記心拍音除去データ処理手段700Bは、前記心拍音除去データについて分析処理を行う手段である。なお、この心拍音除去データ処理手段700Bによる具体的処理内容は後述する。
以下、図3乃至図9を参照して、前記心拍音データ処理手段700Aによる心拍音データの分析処理について詳細に説明する。
まず、前記心拍音データ処理手段700Aは、前記音響データ収集手段300によって収集され前記フィルタ手段500によって抽出された前記心拍音データに基づいて、後述する処理によって“R−R間隔と略同一の間隔”を算出する。
具体的には、前記心拍音データの波形における一周期は、図3に示すように、心電図により取得した波形から算出されるR−R間隔と略同一の期間である。すなわち、心電図により取得した波形における最も振幅が大きい波の発生タイミング間隔は、前記心拍音データにおける最も振幅が大きい波の心拍発生タイミング間隔と略同一の間隔である。
この事実を利用して、本第1実施形態においては、前記心拍音データに基づいて“R−R間隔と略同一の間隔”を算出する。
詳細には、上述した“R−R間隔と略同一の間隔”は、例えば図3に示す時刻t1及び時刻t2(共に、所定の心拍発生タイミング)を用いて、
t2−t1
と表現することができる。以降、この時間間隔を“瞬間時間間隔”と称する。
そして、この瞬間時間間隔から導出される心拍数(瞬間心拍数=[拍/分])は、
60/(t2−t1)
と表現することができる。
つまり、上述した瞬間時間間隔と瞬間心拍数とは、当然ながら互いに逆数の関係にある。そして、この瞬間心拍数と呼吸とは相関関係を有することが知られている。本第1実施形態においてはこの事実を利用して、前記心拍音処理データ700Aは、瞬間心拍数の時間変化に基づいて、前記接触型マイクロフォン300Aの装着者の呼吸状態を推定処理する。以下、瞬間心拍数の時間変化を示すグラフから、呼吸状態を推定する方法の一例を説明する。
まず、瞬間心拍数の時間変化を示すグラフは、図4に示すように、常に(通常の呼吸をしているだけで)生理的変動を示すグラフとなる。なお、呼吸状態の変化が、実際に瞬間心拍数の時間変化として表れるまでには、若干の遅延時間が存在する(図4に示す波線参照)。
詳細には、瞬間心拍数の時間変化を示す波形の振幅からは、呼吸の深さを推定することが可能である。すなわち、図5に示すように、波形の振幅が大きい期間は、例えば深呼吸のような深い呼吸が行われている期間であると推定することができる。他方、呼吸が停止している期間は、図6に示すように波形の振幅は極めて小さくなる。
ところで、図7は、上述したような心拍数の時間変化を示すグラフから、呼吸の頻度及び呼吸の深さを読み取り、これらのデータを同一の時間軸で対応させてグラフ化した図である。前記心拍音データ700Aは、このような呼吸の頻度及び呼吸の深さのデータに基づいて、例えば次のような呼吸状態の推定処理を行う。
(推定例1)呼吸の頻度が高く且つ呼吸の深さが浅い期間は、精密な作業を行っていない期間であると推定できる。
(推定例2)呼吸の頻度が小さく且つ呼吸が浅い期間は、精密な作業を行っている期間であると推定できる(例えば、10秒間乃至30秒間程度、R−R間隔と略同一の間隔の変動がほとんど無ければ、呼吸を止めていると推定することができる。そして、呼吸を止めている時間の総計を、例えば1分乃至5分単位で計測すること(換言すれば頻度を測ること)によって、精密で慎重な作業を行っている状態であると推定することができる)
(推定例3)呼吸の頻度が高く且つ呼吸の深さが深い期間は、作業中ではなく休憩中の期間であると推定できる。
図8は、時間軸を時間(hour)単位で取った場合の瞬間心拍数の時間変化のグラフを示す図である。ここで、或る時間における瞬間心拍数の数値としては、図8に示すように、対応する時間帯における瞬間心拍数の平均値を用いればよい。
時間軸を時間(hour)単位で取った場合の瞬間心拍数の時間変化からは、より大きなトレンドで呼吸状態の変化を推定することが可能となる。例えば、同図に示す時間T1近傍では瞬間心拍数の急激な変化が生じている。このことから、当該時間T1に対応する時間帯において被験者にとって精神的/肉体的に大きな影響を与える事象が起こったと推定することができる。
図9は、上述した推定処理によって、呼吸が停止していると推定された頻度を縦軸に取り且つ横軸に時間を取ったグラフ、すなわち呼吸停止頻度の時間変化のグラフを示す図である。このような呼吸停止頻度の時間変化を参照することで、より正確なイベント識別を行うことが可能となる。
以上説明したように、本第1実施形態においては、従来は非実用的な大掛かりな装置を用いなければ不可能であった呼吸状態を読み取ることを、上述したような非常に簡易な装置構成から成るシステムによって可能とした。
具体的には、本来、呼吸状態を直接測定する為には、動作のある人間には装着させられないような大掛かりな装置を被験者に装着させなければならない。しかしながら、単に呼吸状態のみを判定する為には、そのような大掛かりな装置を用いて、例えば“何時何分に何ミリリットルの呼吸を行ったか”等の定量的に詳細な情報は不要である。本第1実施形態においては、この点に着目し、上述した心拍音データを分析処理することで、非常に簡易な装置構成から成るシステムによって呼吸状態の推定を可能とした。
そして、呼吸状態の推定処理を、イベント識別の一手段として用いることで、イベント識別精度を向上させた。
以下、図10を参照して、前記心拍音除去データ処理手段700Bによる心拍音データの分析処理について詳細に説明する。
図10は、縦軸に周波数ωを取り且つ横軸に時間tを取ったグラフ、すなわち前記心拍音除去データを時間軸に沿って周波数マッピングしたグラフの一例を示す図である。このような前記心拍音除去データの周波数マッピングに基づいて、前記心拍音除去データ処理手段700Bは、例えば次のような推定処理を行うことができる
(推定例1)通常の会話に対応する周波数帯域に多くの信号が表れている時間帯には通常の会話が為されている時間帯であると推定することができる。
(推定例2)緊急時の発声に対応する周波数帯に信号が表れている場合には、その時間帯に何らかの緊急事態が生じたと推定することができる。すなわち、このように周波数分析を行うことによって、発話であるか雑音であるか否かを識別することができる。具体的には、発話については高周波成分をほとんど含まず、且つ基本周波数(フォルマント)を含んでいる等の特徴が存在する。より詳細には、発話をしている時間の総計を例えば10秒乃至30秒単位で計測すること(換言すれば頻度を測ること)によって、会話を行っている状態を検出することができる。
(推定例3)雑音については高周波成分が大きく、且つ自己相関がほとんどない等の特徴が存在する為、このような特徴から雑音を推定することができる。より詳細には、雑音は衣服等が前記接触型マイクロフォン300Aを擦る等して生じることが多く、雑音がある時間の総計を例えば10秒乃至30秒単位で計測すること(換言すれば頻度を測ること)によって、身体の動きの程度を計測することができる。
(推定例4)
図10に示す信号51のように、低周波から高周波まで非常に広範囲に渡って表れている信号は一般に衣擦れの音である場合が多く、このような時間帯には、被験者が移動等している場合が多いと推定することができる。
(推定例5)例えば300〜1000Hz付近の周波数帯は人間の声に対応する周波数帯であり、このような周波数帯に多くの信号が表れている時間帯は会話が行われている時間帯であると推定することができる。
(推定例6)会話が行われている時間帯は一般に心拍数の変化は少なく、呼吸の変化も少ない。従って、このような時間帯は精密作業してない時間帯であると推定することができる。
(推定例7)図10に示すような周波数マッピングのグラフにおいて表れている信号の濃度が濃い時間帯は、単純に何らかの事態が生じた時間帯であると推定することができる。
図11は、上述した処理によって会話が行われていると推定された頻度の時間変化のグラフを示す図である。換言すれば、図11は、会話が行われた時間のパーセンテージの時間変化のグラフを示す図である。このような会話頻度の時間変化を参照することで、より正確なイベント識別を行うことが可能となる。具体的には、このグラフを参照することで、作業状態の変化時刻を容易に検出することができる。但し、ある程度の時間幅を以って推定をすることが好ましい。
以下、図12A及び図12Bを参照して、多変量のパターン認識技術を利用した総合判定処理によるイベント識別について説明する。図12A及び図12Bは、多変量のパターン認識技術を利用した総合判定処理によるイベント識別の概念を示す図である。すなわち、上述した処理によって、イベント識別に利用可能な複数の情報を取得した後、それら複数の情報を用いて次の様な処理を行うことで、より精密なイベント識別の処理を行ってもよい。
なお、ここでは説明の便宜上、変量の数が3つの場合を例にして、多変量のパターン認識技術を利用した総合判定処理によるイベント識別について説明する。しかしながら、実際には変量の数は3つに限られないことは勿論である。
まず、第1の変量として例えば“呼吸停止頻度”を設定し、第2の変量として例えば“呼吸停止頻度の時間変化”を設定し、第3の変量として例えば“衣擦れが生じた頻度”を設定する。そして、所定の時間帯におけるこれら変量について、図12Aに示すような三次元空間上においてプロットしていき、最も多くプロットされた領域についてパターン分類を行う。
なお、ここでは説明の便宜上、図12Bに示すように各々の変量について、所定の閾値を境にして“大”又は“小”の2種に分類する場合を例に説明する。
すなわち、図12A及び図12Bに示す例では、第1の変量である“呼吸停止の頻度”は“小”であり、第2の変量である“呼吸停止頻度の時間変化”は“大”であり、第3の変量である“衣擦れが生じた頻度”も“大”である。この場合、当該時間帯を、図13に示す例では“パターンA”に分類する。なお、この“パターンA”は、当該時間帯が“作業状態の変化が検出された時間帯”であることを示している。
そして、このように“作業状態の変化が検出された時間帯”であると判定された時間帯(時刻)に所定のマーキングを付せば、該マーキング前後の時間帯の音声や映像等のみを確認するだけで、問題が生じた場面を素早く且つ容易に検出することができる。
上述したように、複数の変量に基づいてイベント識別の処理を行うことで、より精度の高い推定処理を行うことができる。
なお、以上説明した推定処理によって取得した推定結果は、不図示の記憶手段に記憶する。前記心拍音データ処理手段700A及び前記心拍音除去データ処理手段700Bに、前記推定処理結果を記憶する為の記憶手段を設けてもよい。
以上説明したように、本第1実施形態によれば、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、精密に且つ時系列に沿って容易に一覧で把握することを簡易な装置構成で実現するイベント識別システムを提供することができる。従って、例えば10時間以上に及ぶ長大な作業行為の記録全てを確認せずとも、所望のイベントが生じた時間帯のみを検出して確認することが可能となる。
本第1実施形態に係るイベント識別システムを適用可能な作業行為としては、具体的には、例えば手術、及び飛行機や自動車や電車等の操縦等を挙げることができる。例えば飛行機や自動車や電車等の操縦において、本第1実施形態に係るイベント識別システムを適用すれば、事故が起きた際に、当該事故の何秒前から運転手が危険を感じていたか等を正確に知ることができる。また、実際の事故等に至らなかった場合であっても、本第1実施形態に係るイベント識別システムを適用することで一連の作業行為における発生イベントは全て記録且つ分析される為、従来のように所謂ヒヤリハットが報告されずに看過されてしまい、その後に実際の事故等に繋がってしまうという問題を解決することができる。
本第1実施形態に係るイベント識別システムによれば、各種情報を時系列に沿って記録する為、前記に例示したような作業行為において、例えば異常状態等の何らかのイベントが発生した時間帯を一目瞭然で把握することができる。
また、以上説明したように、本第1実施形態に係るイベント識別システムによれば、図13に示すように呼吸停止頻度、会話頻度、及び動作頻度についての経時的な情報を得ることができる。つまり、前記接触型マイクロフォン300Aの装着者の作業状態が経時的に一覧表示によって提示される。
(変形例)
さらに、本第1実施形態に係るイベント識別システムに、音声認識技術を組み合わせることで、或る作業行為中に発される特定の重要なキーワードが、当該作業行為が行われた全体の中でどの時点に発されたかを一覧表示することができる。
なお、音声認識技術を用いた手術の分析等は過去に試みられている技術であるが、成功に至っていない。成功に至っていない理由としては、従来の音声認識技術では、環境雑音や他の話者の発話等が、分析対象の音響データに混入してしまうと、音声認識の成功率が極めて低くなる為である。更には、例えば手術室や作業場などでは反響音が大きかったり、器械等が生じる雑音が大きい為、音声認識を正確に行うこと自体が困難である。
ところで、従来の音声認識技術では、音声認識対象語彙の辞書に存在するテンプレートとのマッチングによる音声認識を行っている。しかしながら、手術等の作業行為中においては、ほとんどの場合、発話としては符牒や掛け声(“それ”、“はい”、“やって”等)のみで意思疎通ができてしまう。そして、このような掛け声等は、当然ながら冗長性が少なく、上述したテンプレートとのマッチングを高精度で行うことはできない。このような事情も、音声認識の成功率が低いことの一因として挙げることができる。
さらに言えば、従来の音声認識技術においては、音声データに基づいてテキスト(文字列)データを作成することを目的としている。しかしながら、上述したような掛け声等では音声認識が成功しても意味のあるテキストデータは得られない。
一方、本第1実施形態においては、上述したように被験者に直接装着させる接触型マイクロフォン300Aを利用することで、反響音や他の話者や機器等に起因する雑音による悪影響を非常に少なくすることができる。この為、高品質の音声データを得ることができる。つまり、本第1実施形態に係るイベント識別システムと、既存の音声認識技術とを組み合わせることで、或る程度の正確さで重要なキーワードを拾い出す(抽出する)ことが可能となる。
さらに、例えば手術等の作業においては、例えば“待って”、“危ない”、“止めろ”等の重要な意味を有する発話については特に明瞭に発話されることが多い。従って、このような重要な意味を有する発話(キーワード)音声認識で発見できる見込みが比較的高い。
そこで、本変形例では、発話の内容を認識することを目的にするのではなく、重要な発話が行われた可能性が高い時刻又は時間帯を検出することを目的として、既存の音声認識技術を利用する。つまり、既存の音声認識技術を本第1実施形態に適用することで、重要な発話に係るキーワードを検出する。なお、このようにして検出した箇所にマーク(いわゆるキュー)を付して、後の検索性を高めても勿論よい。
[第2実施形態]
以下、本発明の第2実施形態に係るイベント識別システムについて説明する。詳細は後述するが、本第2実施形態においては、後述する医療現場表示システムに前記第1実施形態に係るイベント識別システムを適用する。これにより、時刻を正確に合わせて収集した多様なセンサの情報に基づいて作業状態を示す情報を抽出し、該抽出した情報に基づいて、映像等の記録のうち重要な部分を推定してマーク(いわゆるキュー)を付することができる。以下、詳細に説明する。
図14は、医療現場を記録して表示する医療現場表示システム101の機能構成を示す図である。
医療現場表示システム101は、手術室等の医療現場を映像によって記録するとともに、医療現場のスタッフが誰であるかをその存在位置と共に識別し、記録した映像上で医療現場内のスタッフを識別表示するシステムである。医療現場を映像によって再現して医療の質及び安全向上に関わる分析等を行うために用いられる。
この医療現場表示システム101は、撮影装置102と、識別部103と、位置計測部104と、映像加工装置105と、表示装置106と、入力装置107とにより構成されている。撮影装置102と識別部103と位置計測部104と入力装置107は、映像加工装置105に対して信号入力が可能に接続されている。映像加工装置105は、表示装置106に対しては信号入力が可能に接続されている。
撮影装置102は、医療現場に設置されており、医療現場の映像を撮影する。撮影装置102は、複数台設置される場合もある。この撮影装置102は、例えばビデオカメラである。識別部103は、医療現場内に存在するスタッフが誰であるかを識別する。位置計測部104は、識別部103でその存在が確認されたスタッフの位置座標を識別部103の設置位置を原点とした計測系で計測する。映像加工装置105は、位置計測部104で計測された位置が映像上のどの画素に対応するか計算し、識別部103で識別されたスタッフのスタッフ識別情報をこの計算された画素に対応させて重ね合わせた映像を生成して表示装置106に表示させる。表示装置106は、液晶ディスプレイやCRTディスプレイ等のモニタである。入力装置107は、映像加工装置105に対して操作信号を入力するキーボードやマウスである。
図15は、識別部103と位置計測部104の構成の具体例を示すブロック図である。
識別部103は、RFタグ121と無線送受信部122とから構成される。位置計測部104は、超音波発振器131と超音波センサ132と計測系位置計算部133とから構成される。
RFタグ121と超音波発信器131とは、信号発信体181に内蔵されている。信号発信体181は、スタッフに装着されている。無線送受信部122と超音波センサ132と計測系位置計算部133は、発信体計測装置182に内蔵される。この発信体計測装置182は、さらに制御信号発信部183を備える。発信体計測装置182は、医療現場内に設置される。
RFタグ121は、ICチップとアンテナを含み構成される。ICチップには、信号発信体81を装着しているスタッフの識別符号が予め記憶されている。スタッフの識別符号は、スタッフ毎に一意に割り当てられたIDであり、スタッフ識別情報の一種である。RFタグ121は、外部から発せられた電波をアンテナで受信する。外部から電波を受信すると共振作用によってICチップに供給される起電力が生じ、RFタグ121は、ICチップが記憶しているスタッフの識別符号をアンテナを介して送信する。
また、RFタグ121は、外部からスタッフの識別符号が含まれた制御信号を受信し、受信したスタッフの識別符号がICチップ内に記憶されていると、超音波発信器131にトリガ信号を出力する。
無線送受信部122は、アンテナを含み構成される。無線送受信部122は、RFタグ121に起電力を生じさせる電波を発信し、またRFタグ121から送信されたスタッフの識別符号を受信する。
識別部103では、RFタグ121から無線送受信部122にスタッフの識別符号が送信されることにより、その識別符号で表されるスタッフが特定される。
制御信号発信部183は、信号発信体181に対して制御信号を送信する。制御信号には、位置計測するスタッフの識別符号が含まれる。制御信号発信部183は、無線送受信部122がスタッフの識別符号を受信すると、その受信を契機にこの受信したスタッフの識別符号を制御信号に含めて送信する。複数のスタッフの識別符号を受信していると、混信をさけるために所定間隔おいて順次制御信号に含めて送信する。
超音波発振器131は、RFタグ121からのトリガ信号の入力を契機に超音波信号を外部へ発振する。
超音波センサ132は、超音波発振器131が発振した超音波信号を受信する。この超音波センサ132は、所定距離離間して複数個が医療現場に設置されている。各超音波センサ132は、設置された位置と信号発信体181との距離関係によって位相差が異なった超音波を受信する。
計測系位置計算部133は、各超音波センサ132が受信した超音波の位相差から、超音波センサ132を原点とした計測系座標(Xs,Ys,Zs)で表された信号発信体181の計測系位置情報を算出する。
位置計測部104は、存在が確認されたスタッフが装着している信号発信体181にそれが記憶しているスタッフの識別符号を送信することで、その信号発信体181のみを呼応させて超音波を発振させ、受信した超音波からその信号発信体181の位置を計算することで、位置計算された信号発信体181を装着しているスタッフの位置を計測系座標において取得する。
発信体計測装置182は、識別部3が取得したスタッフを識別する識別符号と、計測系位置計算部133が取得したスタッフの計測系位置情報とを対にして映像加工装置105に出力する。
図16は、映像加工装置5の構成の具体例を示すブロック図である。
映像加工装置105は、映像記録部151と位置記憶部152と映像系位置計算部153と映像系位置記憶部154と表示制御部155とスタッフデータベース156とにより構成される。
映像記録部151は、例えばHDD等の磁気記憶回路やフラッシュメモリ等を含み構成される。この映像記録部151は、撮影装置102から出力された映像信号を映像フレーム毎に記憶しておく。映像信号の記録の際には、その映像フレームが撮影された時刻を表す時刻情報を映像フレーム毎に付して記憶しておく。
位置記憶部152は、例えばRAM等の半導体記憶回路を含み構成される。図17に示すように、位置記憶部152は、発信体計測装置82から出力されたスタッフの識別符号とそのスタッフの計測系位置情報との対を記憶しておく。このスタッフの識別符号とそのスタッフの計測系位置情報の対には、計測された時刻を表す時刻情報が付されて記憶される。
映像系位置計算部153は、発信体計測装置182から出力された計測系位置情報から、信号発信体181、即ち信号発信体181を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報を計算する。映像系位置計算部153は、まず発信体計測装置182から出力されたスタッフの計測系位置情報を撮影装置102を原点とした撮影系座標(Xv,Yv,Zv)に変換し、さらにその撮影系座標で表される空間が投影される画素(Xn,Yn)を算出することで、映像系位置情報を取得する。
映像系位置記憶部154は、例えばHDD等の磁気記憶回路やフラッシュメモリ等を含み構成される。映像系位置記憶部154は、図18に示すように、映像系位置計算部153で計算して得られた映像系位置情報を記憶する。また、映像系位置記憶部154は、映像系位置情報の記憶に際し、算出元となった計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を算出先の映像系位置情報に関連づけて記憶する。尚、生データとして算出元となった計測系位置情報も関連づけて記憶するようにしてもよい。
表示制御部155は、映像系位置計算部153で計算された映像系位置情報に対応させて、位置記憶部152に記憶されたスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重ね合わせた映像を生成し、表示装置6に表示させる。
図19は、この医療現場表示システム101の動作を示すフローチャートである。
撮影装置102は、医療現場を撮影し(S01)、医療現場の映像を映像加工装置105に出力する(S02)。映像加工装置5では、撮影装置102から出力された映像に対して映像フレーム毎に時刻情報を付していき(S03)、映像を映像フレーム毎に時系列で映像記録部151に記憶する(S04)。
この撮影装置102の医療現場の撮影と並行して、発信体計測装置182では、無線送受信部122が医療現場内に存在する信号発信体181に起電力を生じさせる電波を発信する(S05)。この電波発信は一定間隔毎に行う。
発信体計測装置182から電波が発せられると、信号発信体181では、RFタグ121がその電波を受信して共振作用によってICチップに起電力を供給し、ICチップに予め記憶されているスタッフの識別符号を読み出して信号として送信する(S06)。
発信体計測装置182では、無線送受信部122がスタッフの識別符号が含まれた信号を受信すると、この受信したスタッフの識別符号を一時記憶しておく(S07)。発信体計測装置182では、スタッフの識別符号を取得すると、制御信号発信部183がこの受信したスタッフの識別符号を含んだ制御信号を医療現場内に発信する(S08)。
信号発信体181では、RFタグ121により、この制御信号に含まれるスタッフの識別符号が予め記憶しているスタッフの識別符号と同一か否かが判断され(S09)、受信した制御信号に含まれるスタッフの識別符号をICチップに記憶していなければ(S09,No)、この制御信号を破棄して処理を終了する。発信体計測装置82による電波の発信は所定間隔毎に繰り返し行われ、その度にこのS05からS09の処理が繰り返される。
一方、受信した制御信号に含まれるスタッフの識別符号をICチップに記憶していれば(S09,Yes)、RFタグ121は、超音波発振器131にトリガ信号を出力する(S10)。超音波発振器131は、トリガ信号の入力を契機として超音波信号を発振する(S11)。即ち、信号発信体181によるスタッフの識別符号の送信によってスタッフの存在が識別され、このスタッフの識別符号を制御信号として用いることで、存在が識別されたスタッフの信号発信体181のみが呼応して位置計測のための超音波信号を発振する。
発信体計測装置182では、信号発信体181から発せられた超音波信号を超音波センサ132が受信すると、計測系位置計算部133がこの受信した超音波の位相差から信号発信体181を装着したスタッフの計測系位置情報を算出する(S12)。
そして、発信体計測装置182では、一時記憶しておいたスタッフの識別符号と計測系位置情報とを対にして映像加工装置105に出力する(S13)。
映像加工装置105では、入力されたスタッフの識別符号と計測系位置情報の対に時刻情報を付していき(S14)、時系列で位置記憶部52に記憶させていく(S15)。
映像加工装置105では、映像系位置計算部153が計測系位置情報を位置記憶部152から読み出して、読み出した計測系位置情報を、信号発信体181を装着しているスタッフが映像上のどの画素に映っているかを表す映像系位置情報に変換する(S16)。そして、映像系位置計算部153は、変換元の計測系位置情報に関連づけられていたスタッフの識別符号及び時刻情報を、映像系位置情報に関連づけつつ、この映像系位置情報を映像系位置記憶部154に記憶させる(S17)。
映像系位置情報を取得すると、映像加工装置105では、表示制御部155が、映像記録部151から映像フレームを順次読み出し、映像系位置記憶部154から映像フレームと同時刻の映像系位置情報とスタッフの識別情報を読み出し、映像系位置情報が表す画素に対応させてスタッフの識別符号又はこれに加えて他のスタッフ識別情報を重畳させた映像を生成する(S18)。表示制御部155は、この生成した映像を表示装置106に出力し表示装置106に表示させる(S19)。
以上の動作が撮影装置102で映像を撮影し、信号発信体181及び信号受信体182でスタッフの識別及び位置計測を行っている間、順次繰り返される。尚、映像記録部151と映像系位置記憶部154に記憶された両データは、この医療現場表示システム101でいつでも再生が可能となるように、対にしてHDD等の不揮発性メモリに記憶され、又は対にしてDVDやHD DVD等の可搬記憶媒体に記憶される。
映像系位置計算部153による計測系座標(Xs,Ys,Zs)で表現された計測系位置情報から映像系座標(Xn,Yn)で表現された映像系位置情報への変換についてさらに詳細に説明する。
図20は、撮影装置102と位置計測部104の受信側である超音波センサ132の設置状態を示す模式図である。
撮影装置102と超音波センサ132とは物理的な都合上別箇所に設置されているため、撮影装置102が撮影した空間の撮影系座標(Xv,Yv,Zv)と位置計測部104が計測したスタッフの計測系座標(Xs,Ys,Zs)とは、座標系が一致していない。
位置計測部104で測定したスタッフの位置が、撮影装置102で撮影した映像上のどの画素に対応するかを算出するためには、計測系座標(Xs,Ys,Zs)と撮影系座標(Xv,Yv,Zv)との関係、及び撮影系座標(Xv,Yv,Zv)と撮影装置102の撮像素子面の映像系座標(Xn,Yn)との関係が既知でなければならない。
まず、計測系座標s=(Xs,Ys,Zs)と撮影系座標(Xv,Yv,Zv)とは、平行移動と、X軸とY軸とZ軸を中心とする回転で関係付けられ、それぞれ以下の行列で表すことができる。
ここで、θzはZ軸まわりの回転角。
上記の(数1)〜(数4)により、計測系座標(Xs,Ys,Zs)と撮影系座標(Xv,Yv,Zv)との関係は、以下の(数5)のように表すことができる。
(数5)式中のx0、y0、z0、θx、θy、θzが未知数であり、これらの値が分かれば、計測系と撮影系が完全に対応付けられる。
さらに、撮影系座標(Xv,Yv,Zv)とその映像系座標(Xn,Yn)との関係は、図21のように示され、撮影装置102のピンホールを撮影系の原点とし、ピンホールと撮影装置102の撮像素子表面との距離をZ0とした場合、撮影系座標(Xv,Yv,Zv)とその映像系座標(Xn,Yn)とは以下(数6)及び(数7)により表される。
尚、ここでは簡単のためにピンホールカメラの例を挙げたが、複数のレンズを組み合わせたより複雑なビデオカメラの場合であってもレンズ系に応じて焦点距離等を加味して計算する。
映像系位置計算部153は、予め(数5)、(数6)、(数7)、及び距離Z0とから得られる映像系座標(Xn,Yn)と未知数x0、y0、z0、θx、θy、θzとの関係式E1を記憶している。
医療現場表示システム101の設置時には、医療現場内にマーカが置かれて位置計測及び撮影されることによってマーカの計測系座標と映像系座標とを取得しておく。映像系位置計算部153は、このマーカの計測系座標と映像系座標との関係から、未知数x0、y0、z0、θx、θy、θzの具体的値をこの予め記憶している関係式E1を用いて計算し、映像系座標(Xn,Yn)と計測系座標(Xs,Ys,Zs)との関係式E2を取得する。そして、この投影系座標(Xn,Yn)と計測系座標(Xs,Ys,Zs)との関係式E2と、位置計測部104で測定して得たスタッフの計測系位置情報が表す計測系の具体的な座標(Xs,Ys,Zs)とを用いて、映像画面上でのスタッフの位置情報を計算する。尚、1点のマーカを測定することにより、2つの式が得られる(Xn=・・・、Yn=・・・)ため、マーカは3点に置かれ、それぞれ測定される。
この医療現場表示システム101で表示される映像を図22に示す。
表示制御部155は、映像記録部151から表示装置106に表示させる映像フレームを読み出したとき、その映像フレームと対になっている時刻情報も読み出す。そして、読み出した時刻情報と同一の時刻情報を映像系位置記憶部154から検索し、該当する時刻情報と関連づけられている映像系位置情報及びスタッフの識別符号を読み出す。映像系位置情報及びスタッフの識別符号を読み出すと、表示制御部155は、読み出した映像系位置情報に該当する映像フレーム上の画素を例えば黒色等の識別色で塗り潰し、読み出したスタッフの識別符号を表す文字列をこの塗り潰した画素を指し示して重畳表示させる。
表示制御部155は、次の映像フレームを表示装置106に表示させる度に、このスタッフの識別符号の表示処理を行う。このスタッフ識別符号の表示は、新たな映像フレームを表示させる毎に更新していく。ある信号発信体181において、表示させる映像フレームと対になった時刻情報に関連づけられた新たな映像系位置情報がない場合は、塗り潰す画素をそのまま維持しておく。そして、新たな映像系位置情報があれば、新たな映像フレームを表示させるときに、その映像系位置情報に対応する新たな画素を塗り潰してその画素を指し示すスタッフの識別符号を重畳表示し、前の映像フレームまでに塗り潰していた画素の塗りつぶしを解除させる。
図23にこの医療現場表示システム101で表示される映像の変形例を示す。また、図24は、スタッフデータベース156のデータ構造を表す図である。
表示制御部155は、図23に示すように、スタッフ識別符号の他、このスタッフ識別符号で表されるスタッフの他の識別情報を表示させるようにしてもよい。
図24に示すように、スタッフデータベース56には、スタッフの識別符号に対応付けて、スタッフの氏名、年齢、所属、職務、現職経験年数等のスタッフの他の識別情報が記憶されている。表示制御部155は、映像系位置記憶部154から読み出したスタッフの識別符号でスタッフデータベース156を検索し、読み出したスタッフの識別符号に対応付けられているスタッフの他の識別情報を取得する。そして、表示制御部155は、スタッフの識別符号とともにこの取得したスタッフの他の識別情報を表示装置6に重畳表示させる。
スタッフデータベース156から取得するスタッフの他の識別情報は、入力装置107から入力された操作信号に依る。入力装置107を用いて映像上に表示させるスタッフ識別情報を選択する操作が行われると、表示制御部155は、選択されたスタッフの他の識別情報をスタッフデータベース156から読み出して重畳表示させる。何れの識別情報も選択されなければ、スタッフの識別符号のみが重畳表示される。また、入力装置107を用いてスタッフの識別符号を表示させない操作が行われると、表示制御部155は、映像フレームを映像記録部151から順次読み出して表示装置106に表示させる処理のみを行う。
このように、この医療現場表示システム101では、医療現場に存在するスタッフを存在位置と共に識別し、その存在位置を医療現場を撮影して得た映像上にプロットし、プロットした画素に対応付けてスタッフを識別するIDや氏名等の識別情報を表示するようにした。これにより、映像上でスタッフを個々に識別することができ、スタッフ毎にそのスタッフが誰でどのような行為をしたのかの映像分析を行い易くなる。
また、スタッフの識別符号でスタッフを識別してその存在位置を計測するようにしたため、超音波信号を発振させた信号発信体181を誰が装着しているか判断する必要もなく、管理がシンプルになる。
次に、この医療現場表示システム101で取得したスタッフを識別表示した映像を用いた映像分析を支援する医療現場分析システム109について説明する。図25は、医療現場表示システム101で記録した映像の分析を支援する医療現場分析システム109の構成を示す図である。
医療現場分析システム109は、映像加工装置105から、医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組みとを取得し、スタッフの動き量を算出する。この医療現場分析システム109は、医療現場情報記憶部191、ROI設定部192、動き量計測部193、動き量記憶部194、キュー設定部195、キューインデックス記憶部196、及び頭出し制御部197により構成される。
医療現場情報記憶部191は、医療現場表示システム101で記録された医療現場を撮影して得た映像と時刻情報の対と、スタッフの識別符号と映像系位置情報と時刻情報との組み合わせとを記憶する。医療現場表示システム101と医療現場分析システム109は、ネットワークで接続された一体のシステムとして構成されていても、それぞれが独立したシステムとして構成されていてもよい。
ROI設定部192は、主にCPUを含み構成される。このROI設定部192は、入力装置107を用いて表示装置106に表示されている画面上に関心領域が指定されると、その関心領域を記憶しておく。
動き量計測部193は、主にCPUを含み構成される。この動き量計測部193は、映像上のスタッフ画像の形状変化から映像に映る各スタッフの動き量を個々に算出する。動き量計測部193は、ROI設定部192で関心領域が設定されているときは、映像上、関心領域内にスタッフが存在するか否かを判断し、関心領域内にスタッフが存在するときに限って動き量を算出する。
動き量記憶部194は、主にRAM等の半導体記憶回路を含み構成される。動き量記憶部194は、動き量計測部193で計測された各スタッフの動き量を時系列で記憶する。
キュー設定部195は、主にCPUを含み構成される。このキュー設定部195は、スタッフの動き量の時系列のうち、特に動きが激しいことを示す動き量が検出された時刻をキューインデックス記憶部196に記憶させる。
キューインデックス記憶部196は、キュー設定部95で検出された時刻を表す時刻情報の集合を時系列順にインデックス化してスタッフ毎のキューインデックスとして記憶しておく。また、関心領域が設定されているときには、動き量計測部193の判断結果である関心領域内にスタッフが存在する期間も関心領域内情報としてキューインデックスに含めて記憶しておく。
頭出し制御部197は、キューインデックスをグラフ化して表示装置106に表示させる。そして、入力装置107を用いてキューインデックス中のキューマークが指定されると、指定されたキューマークに対応する時刻情報を表示制御部155に出力し、この時刻情報と対になった映像フレームを医療現場情報記憶部191から検索させ、該当する映像フレームから頭出し再生させる。キューマークは、キュー設定部195で検出された動き量が激しい時刻を示すマークである。
図26は、この医療現場分析システム109の動き量計測及びキュー設定の動作を示すフローチャートである。
まず、ROI設定部192は、入力装置107を用いて映像内に関心領域を指定する操作がなされた場合(S31,Yes)、指定された関心領域を記憶しておく(S32)。
動き量計測部193は、順番に映像フレームを読み出し(S33)、関心領域が記憶されていれば(S34,Yes)、読み出した映像フレームに映るスタッフの画像領域が関心領域内に含まれているか否かを判断する(S35)。
関心領域内にスタッフの画像領域が含まれていない場合は(S35,No)、読み出した映像フレーム及び関心領域に含まれていないスタッフについての動き量計測を終了する(S36)。
一方、関心領域内にスタッフの画像領域が含まれている場合は(S35,Yes)、読み出した映像フレームとその前又は後の映像フレームとに含まれているスタッフの画像領域のサブストラクションを行う(S37)。そして、動き量として、読み出した映像フレームにおいて前又は後の映像フレームと重ならないスタッフの画像領域の画素数をカウントする(S38)。動き量を計測すると、この動き量をスタッフ毎に時系列で動き量記憶部194に記憶させる(S39)。
読み出した映像フレームについて映像に映る全てのスタッフの動き量を計測し(S40,Yes)、かつ全映像フレームについて動き量を計測すると(S41,Yes)、動き量計測の処理は終了する(S42)。全てのスタッフの動き量を算出していなければ(S40,No)、S34〜S39を全てのスタッフについて繰り返す。前衛増フレームについて動き量の計測が完了していなければ(S41,No)、次の映像フレームについてS33〜S39を繰り返す。
スタッフ毎の動き量が時系列的に計測されると、キュー設定部195は、動き量記憶部194に記憶された動き量のうち、所定以上の動きの激しさを表す動き量を検索し(S43)、該当する動き量に対応するスタッフとその動きがあった時刻とを動き量記憶部194から読み出してキューインデックス記憶部196に記憶させる(S44)。
図27及び図28は、S31〜32におけるROI設定部92による関心領域の設定を示す模式図である。図27は、関心領域を表示画面上に表示した態様を示す模式図である。図28は、表示された関心領域に対応してこの関心領域の範囲を示す情報を取得する態様を示した模式図である。
図27に示すように、表示装置106の表示画面には、医療現場を撮影して得た映像が表示されている。オペレータが入力装置107を用いて表示画面上に一本の対角線を描くようにカーソルを操作すると、ROI設定部192は、その対角線を有する四角形状の関心領域を表示画面上に表示する。複数箇所に一本の対角線を描くことにより、それぞれの対角線を有する複数の関心領域が表示される。そして、ROI設定部192は、図28に示すように、表示した関心領域内に含まれる各画素に対応する描画メモリ上のアドレスを記憶しておく。この関心領域を構成する各画素に対応する描画メモリ上のアドレスが、映像上における関心領域の範囲を示す。
図29及び図30は、S33〜S39における動き量計測部193による動き量計測を示す模式図である。図29は、動き量を計測する対象となるスタッフを映像上で抽出する過程を示した模式図である。図30は、抽出した各映像フレームのスタッフの画像領域からスタッフの動き量を計測する過程を示した模式図である。
図29の(a)に示すように、各映像フレームには、動き量を分析する対象となるスタッフの画像領域が含まれており、この画像領域内には、信号発信体181の所在として映像系位置情報で表される画素が含まれている。動き量計測部193は、読み出した映像フレームに付帯する時刻に最も近く、かつこの時刻以前を表す時刻情報と対になった映像系位置情報を医療現場情報記憶部191から読み出す。読み出した映像フレームに付帯する時刻と同一の時刻情報と対になった映像系位置情報が存在すれば、その映像系位置情報を読み出す。この映像系位置情報の読み出しは、医療現場情報記憶部191に記憶されているスタッフの識別符号別に行う。
そして、動き量計測部193は、図29の(b)に示すように、読み出した映像系位置情報が表す画素が含まれる領域の輪郭を抽出する。輪郭抽出は、エッジ抽出法によって抽出したエッジのうち、映像系位置情報で表される画素が含まれているエッジ領域を抽出する。または、映像上位置情報で表される画素から領域拡張法により抽出する。この抽出された領域がスタッフの画像領域に相当する。
スタッフの画像領域の輪郭が抽出されると、動き量計測部193は、ROI設定部192が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれるか否かを判断する。関心領域の範囲にスタッフの画像領域の全てが存在することを以て含まれると判断しても良いし、関心領域の範囲にスタッフの画像領域の一部が存在することを以て含まれると判断しても良い。
ROI設定部192が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、このスタッフの画像領域を抽出した映像フレームに付帯している時刻情報と、関心領域に含まれているスタッフの画像領域に含まれる映像系位置情報と対になっているスタッフの識別情報とを対応付けて、関心領域内情報として保持しておく。即ち、関心領域内情報は、誰がいつ関心領域内にいたかを示す。
ROI設定部192が記憶している関心領域の範囲に、抽出したスタッフの画像領域が含まれている場合は、図29の(c)に示すように、輪郭抽出したスタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。
動き量計測部193は、図30の(a)に示すように、このスタッフの画像領域の抽出を動き量の計測対象となった映像フレームの前又は後の映像フレームについても行い、前又は後の映像フレームについても、スタッフの画像領域を構成する全ての画素に対応する描画メモリ上のアドレスを一時的に記憶しておく。
動き量の計測対象となった映像フレームとその前又は後の映像フレームについてスタッフの画像領域を特定すると、図30の(b)に示すように、動き量計測部193は、この2枚の映像フレームにおけるスタッフの画像領域のサブストラクションを行う。この2枚の映像フレームを重ね合わせ、動き量の計測対象の映像フレームのスタッフの画像領域のうち、その前又は後の映像フレームで抽出されたスタッフの画像領域と重なっていない領域の画素数をカウントする。即ち、2枚の映像フレームにおいて記憶したスタッフの画像領域を示すアドレスを比較し、前又は後の映像フレームにはないアドレスの数をカウントする。フレームレートの関係上、2枚の映像フレームでスタッフの画像領域が全く重ならない場合は、動きの計測対象となった映像フレームのスタッフの画像領域の全ての画素数をカウントする。このカウントされた画素数が動き量に相当する。
動き量計測部193は、このカウントされた画素数を動き量として動き量記憶部194に記憶させる。このとき、動き量の計測対象となったスタッフの画像領域に対応するスタッフの識別符号と、動き量の計測対象となった映像フレームに付帯した時刻情報とを、この動き量と対応付けておく。また、動き量計測部193は、関心領域内情報も動き量記憶部194に記憶しておく。
動き量計測部193は、各映像フレームについて、かつ医療現場に存在すると識別された各スタッフについて、この動き量を算出し、動き量記憶部194に記憶させる。
図31は、S39において動き量記憶部194に記憶させた動き量を表すデータ構成の模式図である。
動き量記憶部194には、図31の(a)に示すように、スタッフの識別符号と時刻情報と動き量とが組になって記憶されている。即ち、識別符号で表されるスタッフの各時刻の動き量が記憶されている。尚、医療現場内に複数の撮影装置102が設置されている場合には、映像が複数種類存在することになり、動き量計測部193は、各撮影装置102で撮影されて得られたそれぞれの映像フレームについてスタッフの動き量を計測し、それぞれ動き量記憶部194に記憶させる。
また、図31の(b)に示すように、関心領域内情報としてスタッフの識別符号と関心領域内にいた時間帯とが組みになって記憶されている。
図32は、動き量計測部193による動き量計測の変形例を示す模式図である。
図32の(a)に示すように、スタッフの画像領域は、領域拡張法やエッジ抽出法等によって厳密に抽出するほか、確実にスタッフが存在するとわかる信号発信体181の存在箇所、即ち計測系位置情報が表す画素から所定範囲の領域をスタッフの画像領域とみなして抽出しても良い。動き量計測部193は、予めこの所定範囲を表す情報を記憶し、計測系位置情報が表す画素を中心にこの所定範囲を表す情報を適用し、スタッフの画像領域とみなして抽出する。
そして、図32の(b)に示すように、動き量の計測対象となっている映像フレームとその前の映像フレームを重ね合わせ、スタッフの画像領域が重複していない部分の画素数をカウントして動き量とする。
図33は、S43〜S44においてキュー設定部195が動きの激しい時刻を記憶させる態様を示すグラフである。
図33に示すように、動き量計測部193によって、医療現場に存在する各スタッフの動き量が時系列順に計測される。キュー設定部195は、予め動き量の閾値を記憶しており、この閾値と各時刻の動き量とを比較する。そして、キュー設定部195は、閾値を超えた動き量を検出すると、その動き量に対応する時刻情報とスタッフの識別符号とを動き量記憶部194から読み出し、読み出した時刻情報とスタッフの識別符号との対をキューインデックス記憶部196に記憶させておく。
図34は、キューインデックス記憶部196に記憶されたキューインデックスを示すデータ構造図である。
図34に示すように、キュー設定部195は、キューインデックス記憶部196として確保された記憶領域内に記憶されているキューインデックスに時刻情報を記憶させる。このとき、キュー設定部195は、動き量記憶部194から時刻情報を読み出すときにこの時刻情報と対になっているスタッフの識別符号も読み出し、対応付けてキューインデックスに記憶させる。
尚、キューインデックスには、この時刻情報とスタッフの識別符号の他、動き量、及び算出元となった映像フレームの出所、即ち撮影した撮影装置102の識別情報や閾値の種類等を含むプロパティを一つのフラグに記憶させるようにしてもよい。
図35は、S43〜S44においてキュー設定部195が動きの激しい時刻を記憶させる態様の変形例を示すグラフである。
図35に示すように、閾値は、入力装置107を用いたオペレータの操作に応じて生成されるようにしてもよい。入力装置107からは、閾値を設定する時間軸上の範囲と倍率を指定する操作信号が入力される。キュー設定部195は、指定された時間軸上の範囲における動き量の平均値を算出し、平均値にこの指定された倍率を掛けて閾値を生成する。キュー設定部195は、指定された時間軸上の範囲においてこの生成した閾値を用いる。時間軸上の範囲が複数指定された場合には、それぞれの範囲について指定された倍率を用いて、それぞれの範囲について閾値を生成する。
この変形例では、キュー設定部195は、動き量を順次読み出す際に時刻情報も読み出し、読み出した時刻情報が含まれる時間軸上の範囲に対応する閾値を用いて、読み出した動き量と閾値とを比較する。
図36は、この医療現場分析システム109で行われた動き量計測及びキュー設定に基づき、映像を再生させる動作を示すフローチャートである。
頭出し制御部197は、入力装置107を用いて映像を再生する操作がなされると(S51)、キューインデックス記憶部196からキューインデックスを読み出し(S52)、このキューインデックスに含まれている時刻情報とスタッフの識別情報とに対応する箇所にキューマークを付したグラフを生成し(S53)、このグラフを表示制御部155に表示させる(S54)。
頭出し制御部197は、グラフ上のキューマークが入力装置107を用いて指定されると(S55)、指定されたキューマークに対応する時刻情報をキューインデックス記憶部196から読み出し(S56)、表示制御部155に出力する。表示制御部155は、入力された時刻情報が対応付けられた映像フレームを読み出し(S57)、その映像フレームからスタッフを識別表示した映像をスタートさせる(S58)。
図37は、頭出し制御部197が表示制御部155に表示させたキューインデックスの表示態様を示す模式図である。
図37に示すように、頭出し制御部197は、キューインデックス記憶部196に記憶させたキューインデックスQiから、横軸を時間軸とし縦軸を各スタッフの識別符号としたグラフを生成し、グラフ形式で表示装置106に表示させる。キューインデックスQは、例えば表示されている映像の下側に並べて表示される。
頭出し制御部197は、キューインデックス記憶部196に記憶されたスタッフの識別符号と時刻情報との対を読み出し、この読み出したスタッフの識別符号と時刻情報とに対応する箇所にキューマークQmを表示させる。また、頭出し制御部197は、関心領域内情報を読み出し、関心領域内情報に含まれるスタッフの識別符号と時刻情報の分布範囲とに対応する箇所に太線矢印Arを引き、関心領域内に存在したことを識別表示させる。
また、頭出し制御部197は、キューインデックスQiに動き量も記憶されている場合には、所定時間間隔毎に全てのスタッフの動き量や関心領域内にいるスタッフの動き量を合算し、合算した動き量を時間軸にプロットした全体量グラフGも表示させる。
この表示装置106に表示された表示画面によって、例えば、時刻Aでカメラ助手の太線矢印Arが途切れていることから、カメラ助手がこの時刻Aで関心領域から外れた、すなわち持ち場を離れたことがわかる。また、時刻Bで全体量グラフGが激しい波形を描き、各スタッフにキューマークQmが表示され、かつ外科医が新たに加わっていることから、この時刻Bで医療事故につながりうる何らかの事象が起き、外科医が応援に駆け付けたことが推定できる。また、時刻Cで執刀医の太線矢印Arが途切れて、そのごの太線矢印Arが存在しないことから、執刀医が時刻Cで医療現場を離れたことがわかり、手術がおおかた完了したことが推測される。
従って、この時刻B上のキューマークQmを指定し、この時刻Bから映像を頭出し再生することにより、何らかの事象について検証することが可能となる。また、このとき、映像上で執刀医や外科医の動きを観察する場合、執刀医や外科医を表す識別情報が指し示している画素を含むスタッフが執刀医や外科医であることを映像上で即座に認識することができる。
このように、医療現場で事故に繋がりうる何らかの事象が発生した場合、緊急の対処を行うためにスタッフの動きは激しくなる。例えば手術中に大きな出血が起きた場合、外科医は急いで吸引(場合によっては洗浄)し、出血箇所を特定し止血を行う。その際、必要となる余分なガーゼなどは器械台看護師から手渡しで受け取る。また、麻酔医は血圧低下が起きているかどうかを確認し、また、直接患者に触れて診断の上、薬剤カートから昇圧剤を取り出し、必要に応じて調剤の上、チューブ操作を行って投与する。こうした作業は、緊急を要することが多いために通常作業時に比べてスタッフの動きが多くなる。よって、この実施形態に係る医療現場分析システム109によると、映像記録の中からスタッフの動きの量を計測するため、その動きに量から映像上のどの時間帯を重点的に検証すればよいか把握しやすくなり、効率的に映像分析を行うことができる。
以上説明した医療現場分析システムに対して、前記第1実施形態に係るイベント識別システムを、例えば次のように適用することができる。
すなわち、分析対象の作業に係るスタッフの各々に、前記接触型マイクロフォン3A及び前記送信機3Bを装着させる。そして、各々のスタッフ毎に収集した音響データについて、第1実施形態において説明したイベント識別の推定処理を行う。
ここで、前記キュー設定部195は、上述したようにスタッフの動き量の時系列のうち、特に動きが激しいことを示す動き量が検出された時刻をキューインデックス記憶部196に記憶させると共に、前記接触型マイクロフォン3Aによって収集した音響データを分析処理した結果に基づいて所定のイベントが発生したと推定した時刻をキューインデックス記憶部196に記憶させる。
このようなシステム構成を採ることで、本第2実施形態によれば、第1実施形態と同様の効果を奏する上に、時刻を正確に合わせて収集した多様なセンサの情報に基づいて作業状態を示す情報を抽出し、該抽出した情報に基づいて、映像等の記録のうち重要な部分を推定してマーク(いわゆるキュー)を付することができるイベント識別システムを提供することができる。また、医療現場を撮影して得た映像に映るスタッフを誰であるか識別でき、以て誰がどのような行為をしていたのか視覚的に把握することのできるイベント識別システムを提供することができる。
(変形例)
さらには、会話が行われた時間帯のみを抽出することで、一連の作業行為中において会話が行われた時間のみを記録したテープ等を作成することができる。複数人が各々前記接触型マイクロフォン300Aを装着している場合、それら前記接触型マイクロフォン300Aの全てが人間の声を検出している時間帯のみを抽出することで、当該複数人による会話が行われた時間のみを記録したテープ等を作成することができる。さらに、各々の発話における発話者を、前記接触型マイクロフォン300Aの装置番号等により特定することも可能である。従って、記録された映像/音声のうち、特定の発話者が発話をした時間帯のみを即座に検索して参照することが可能となる。
ところで、作業中の会話では、第一の発話者の発話完了から、第二の発話者の発話が開始されるまでの時間が0.3秒乃至0.8秒程度であることが多い。その後、第二の発話者の発話に対して第一の話者がさらに応答する頻度が高い。
従って、発話相互のタイミングから、それが会話(受け答え)であるか否かを推定することが可能である。ここで、一連の(複数の発話者による)発話を“会話”としてグループ化して認識し、当該会話にマーク(いわゆるキュー)を付しても勿論よい。
このような処理によって会話に付したマークを利用することで、記録された映像/音声の中から会話の部分をすばやく検索することができる。そして、当該検索に係る会話のみを再生することで、一連の作業行為中に生じた問題等を素早く且つ容易に知ることができる。
なお、本第2実施形態に係るイベント識別システムを実際に運用する際には、各々の接触型マイクロフォン300Aにおける時刻を正確に合わせることが必要となる。
[第3実施形態]
以下、本発明の第3実施形態に係るイベント識別システムについて説明する。詳細は後述するが、本第3実施形態においては、後述する個体情報識別システムに前記第1実施形態に係るイベント識別システムを適用する。これにより、本第3実施形態によれば、スタッフの位置、映像、発話、及び心拍音データを時系列に沿って容易に一覧で把握することができ、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、映像等に記録された各人を同定して精密に且つ時系列に沿って容易に一覧で把握することを簡易な装置構成で実現するイベント識別システムを提供することができる。以下、詳細に説明する。
図38は、個体情報識別システムの一構成例を示す図である。図38に示すように、個体情報識別システムは、ID識別カメラ1と、図38に示す統括装置6とを具備する。
なお、図38に示す光学系は、前記ID識別カメラ1の原理を説明する為に便宜的に簡略化して示す光学系である。つまり、現実の実施においては、当然ながら種々の収差を補正する光学系や絞り等を適宜付加することが好ましい。
同図に示すように、前記ID識別カメラ1は、所定の領域を撮影して映像情報を取得する為の撮影手段2と、ID信号(詳細は後述)の発信場所を特定する為の空間分解能を有しており、該ID信号を受信する受信装置4と、を有する。
また、前記撮影手段2及び前記受信装置4は、前記撮影手段2によって取得した映像情報と、前記受信装置4によって受信された前記ID信号の発信場所とを対応付ける前記統括装置6に接続されている。
そして、前記撮影手段2及び前記受信装置4に、撮影対象からの光束を導く為の光学系として、撮影レンズ11とビームスプリッタ13とを備える光学系8が設けられている。
前記撮影手段2は、例えばCCD(Charge Coupled Device )等の撮像素子であるカメラ受光面2Aと、前記カメラ受光面2Aから出力される電気信号を映像信号に変換して出力するカメラ制御装置(Camera Control Unit ;以降、CCUと称する)2Bと、を備える。この撮影手段2によって取得されるデジタル動画映像(以降、単に映像情報と称する)は、例えば図39に示すような映像である。
前記受信装置4は、複数のID信号受信装置4A(図41を参照して詳細に説明する)を備える。そして、ID信号受光面4A11は、図40に示すようにID信号を受信する為の光検出デバイスの集合体であり、各々のID信号受信装置4Aの受光面であるID信号検出面4A1を複数配列して構成される。
なお、図40(a)は、受信装置4が9チャネルのID信号受信装置4Aによって構成されている場合の構成を示しており、このようにID信号検出面4A1を並べてID信号受光面4A11を構成する。ここでは9チャネル分のID信号検出面4A1を格子状に並べ、且つそれらID信号検出面4A1に対応する各々のID信号受信装置4Aに対して図40(b)に示すようにチャネル番号を割り当てている例を示している。
前記ビームスプリッタ13は、前記撮影レンズ11を介して当該ID識別カメラ1に入射した光を、前記カメラ受光面2Aと前記ID信号受光面4A11とに同一の光軸を有するように入射させる為の部材である。
なお、前記撮影レンズ11を介して当該ID識別カメラ1に入射した光を、前記カメラ受光面2Aと前記ID信号受光面4A11とに同一の光軸を有するように入射させる為に、ハーフミラー等を用いても勿論よい。また、現実の実施においては、前記撮影レンズ11を介して当該ID識別カメラ1に入射した光を、前記カメラ受光面2Aと前記ID信号受光面4A11とに全く同一の光軸を有するように入射させる必要性は無く、略同一の光軸を有するように入射させればよい。
このように、前記撮影レンズ11を介して入射した光を、前記カメラ受光面2Aと前記ID信号受光面4A11とに同一又は略同一の光軸を有するように入射させることで、前記統括装置6は、前記撮影手段2によって取得した映像上における各々の像の位置と、前記受信装置4で受信したID信号の発信元の位置とを正確に対応づけることができる。
以下、前記ID信号受信装置4Aの一構成例を説明する。図41は、前記ID信号受信装置4Aの一構成例を示す図である。
同図に示すように、前記ID信号受信装置4Aは、ID信号検出面4A1と、感光素子4A2と、ハイパスフィルタ4A3と、デモジュレータ4A4と、バッファメモリ4A5と、MPU4A6と、を備える。
前記ID信号検出面4A1としては、例えば図42を参照して後述するID信号送信装置21における発光素子21Dとして赤外線発光ダイオードを用いる場合には、可視光を遮断する光学フィルタを用いる。これにより、ID信号光と当該環境における可視光とが分離される。つまり、前記ID信号検出面4A1は、ID信号光とその他の光とを分離して、ID信号光のみを抽出する為の部材である。
前記感光素子4A2は、前記ID信号検出面4A1を通過した光信号を電圧信号に変換する。
前記ハイパスフィルタ4A3は、前記感光素子4A2から出力された電圧信号について、低周波の成分を遮断する処理を行い、高周波成分のみを残す。この処理によって、バックグラウンドやそのゆっくりとした変動等の影響を除去する。
前記デモジュレータ4A4は、前記ハイパスフィルタ4A3から送信された信号の波形を再現してデジタル化する。
前記バッファメモリ4A5は、前記デモジュレータ4A4によってデジタル化された信号を一時格納する。
前記MPU4A6は、前記バッファメモリ4A5から信号を読み出して、デコード処理によって誤り検出をおこなう。ここで、もし誤りが検出されない場合には、ID情報を抽出して、該ID情報を前記統括装置6に送信する。
以下、図42を参照して、前記受信装置4によって受信されるID信号を送信するID信号送信装置の一構成例を説明する。
同図に示すように、ID信号送信装置21は、電源21Aと、ROM21Bと、ドライバ回路21Cと、発光素子2IDと、散乱板21Eと、を有する。
前記電源21Aは、当該ID信号送信装置21の動作に要する電力を供給する。
前記ROM21Bは、後述するドライバ回路21Cによって所定の発光パターンに変換されるID情報を保持している。なお、このROM21Bが保持しているID情報は、各々のID信号送信装置21ごとに互いに異なるID情報である。
前記ドライバ回路21Cは、前記ROM21Bが保持しているID情報を読み取り、発光素子2IDの発光パターンに変換して、前記発光素子2IDを点滅させる。従って、各々のID信号送信装置21における発光素子2IDは、互いに異なる経時的パターンで発光する。そして、各々のID信号送信装置21は、この発光パターンによって、ID情報をID信号光として送信する。
前記散乱板21Eは、このID信号光をより広範囲の空間に発信する為の部材である。つまり、この散乱板21Eによって、当該発光素子2IDにおける発光面積を実質的に拡大し、より広範囲の空間にID信号光を飛ばすことが可能となる。換言すれば、この散乱板21Eにより、発光素子2IDからのID信号光が何らかの障害物によって遮られる確率が低くなる。従って、例えば当該ID信号送信装置21における発光素子2IDを監視対象者の肩部に取り付ける場合であっても、ID信号光が当該監視対象者の頭部等によって遮られることで通信不能となってしまうことを防ぐことができる。
なお、上述したように、発光素子2IDとして例えば赤外線発光ダイオードを用いた場合、前記ID信号受光面4A11に可視光を遮断するフィルタを用いることで、ID信号光と当該環境から来る可視光とを容易に分離することができる。
このような構成とした場合、小出力でもID信号光を送信することが可能であり、送信の為の電力が少なくてすむ。従って、前記電源21Aとして、例えばソーラーセルを用いることも可能となり、この場合には電池交換が不要となる。
さらに、赤外線は、生地が薄手且つ薄い色の衣服であれば透過できる為、当該ID信号送信装置21を、監視対象者の衣服の下に装着させることも可能である。従って、例えば清潔な衣服を着用しなければならない場合(例えば手術室やクリーンルーム等)に、当該ID信号送信装置21を特に滅菌処理や清浄化処理せずに衣服の下に取り付けることが可能となる。
以下、前記ID信号送信装置21によるID信号光の送信タイミングの一例を、図43に示すタイミングを参照して説明する。
図43に示すように、ID信号送信装置21がID信号光を送信する際には、送信休止時間をランダムに設ける。具体的には、図43に示す送信タイミングのように、常時送信を続けずに、例えば数十ミリ秒乃至百数十ミリ秒程度の休止期間を挿入して、送信を行なう。
これにより、複数のID信号送信装置21が常に同時に送信を行ってしまうことに起因して、それらID信号送信装置21が送信するID情報を、前記受信装置4が受信できないという事態が生じないようにする。
換言すれば、図43に示すようなID信号光の送信タイミング制御を行うことで、或るID信号送信装置21がID信号光の送信を繰り返し実行している間に、他のID信号送信装置21が休止中となり、前記或るID信号送信装置21が単独でID信号光の送信を行うという事象が生じる。このとき、ID信号が正しく前記受信装置4によって受信される。
なお、ID信号送信装置21が送信するID信号光は、個々のID信号送信装置21ごとに付与されたID情報を、誤り検出符号でコード化(エンコード処理)した信号光である。このID信号光は僅かな情報量であるため、送信には例えば数ミリ秒あれば十分である。従って、図43に示すような送信タイミングが可能となる。
また、図43に示す送信タイミングのように常時送信を続けないで、例えば数十ミリ秒乃至百数十ミリ秒程度の休止期間を挿入することによって、当該ID信号送信装置21の消費電力を大幅に低減するという効果も生じる。
その結果、前記電源21Aとして例えば電池を用いる場合には、電池交換無しに連続使用できる時間を伸ばすことができる。他方、前記電源21Aとして例えばソーラーセルを用いる場合には、ソーラーセルの面積を小さくして当該ID信号送信装置21を小型化し、監視対象者に装着しやすく構成することが可能となる。
なお、図44は、前記撮影手段2によって取得した映像と、前記ID信号光の発光位置とを重ねて示した図である。換言すれば、図44は、前記撮影手段2によって取得した映像と、ID信号光との対応を示す図である。ここで、例えばID信号光が赤外線である場合、当然ながら前記撮影手段2によって取得した映像上ではID信号光を認識することは出来ない。
また、図45は、図44に示す例においてID信号受光面4A11に投影されるID信号光を模式的に示す図である。この図45においては、ID信号受光面4A11は、3×3=9チャネルのID信号受信装置4Aに対応している。
具体的には、図45は全部で4個のID信号送信装置21からのID信号光が投影される位置を示しており、同図における左上のチャネルでは2つのID信号光を受光している。そして、そのうちの一方は、当該ID信号送信装置21を装着している人間の頭部によって部分的に隠されている為に一部欠けており且つ少し暗くなっている。
それぞれのチャネルのID信号検出面4A1に投影されたID信号光は、そのチャネルによって検出される。ただし、一つのチャネルにおいて、当該チャネル内における何れの位置にID信号光が投影されているかを検知することまではできない。しかしながら、チャネル数を増加させる(ID信号受信装置4Aの数を増加させる)ことで、当該受信装置の空間分解能を向上させることは勿論可能である。
なお、詳細は後述するが、図45に示す図は説明の為に便宜的に示した図であって、実際には複数のID信号光を同時に受信することは無い。
以下、前記ID信号受信装置4Aにおける前記MPU4A6による処理を、図46に示すフローチャートを参照して説明する。
まず、特定の周波数の変動成分が入力されるまで待つ(ステップS1)。続いて、入力された信号をID信号であると仮定して誤り検出を行う(ステップS2)。そして、このステップS2において実行した誤り検出の結果に基づいて、誤りがあるか否かを判断する(ステップS3)。このステップS3をYESに分岐する場合は、当該信号を受信しなかったものとみなし(ステップS5)、前記ステップS1へ戻る。一方、前記ステップS3をNOに分岐する場合は、当該信号からID識別情報を取り出して前記統括装置6に送信し(ステップS4)、前記ステップS1へ戻る。
このように、前記ID信号受信装置4Aは、ID信号光を正しく受信できなかった場合や、複数のID信号送信装置21からのID信号光を同時に受けてしまった場合には、当該ID信号光を誤りとして検出し、当該ID信号光を受信しなかったものとみなす。これにより、誤りやコリジョン(複数のID信号光が同時に発信されてしまって混乱すること)が生じる可能性を排除する。
以下、前記統括装置6による処理について説明する。
前記統括装置6はコンピュータにより構成されており、前記撮影手段2から送信される映像情報をリアルタイムで受信する。さらに、統括装置6は、全てのID信号受信装置4Aから送信されるID識別情報を受信し、当該ID識別情報が何れのID信号受信装置(チャネル)4AからのID識別情報であるかを、いつ当該ID識別情報が得られたか(時刻)と共に、統括装置6内に設けられたメモリに一時的に記録する。
そして、これらの情報を使ってID信号送信装置21の最新の位置を判定する(図47を参照して詳述する)。なお、この判定結果は記録しても良いし、また判定結果を前記映像情報上に重畳して表示しても良いし、更にこの重畳により作成した映像を記録しても勿論良い。
以下、統括装置6によるID信号送信装置21の最新の位置を判定する方法の一例を説明する。
図47(a)は、各々のID信号検出面4A1に付与されたチャネル番号を示す図であり、図47(b)は、統括装置6によるID信号送信装置21の最新の位置を判定する方法の一例を示す図である。
すなわち、統括装置6は、各々のID信号送信装置21からのID信号光がどのID信号検出面4A1(チャネル)によりいつ検出されたかを示すデータを、例えば図47(b)に示すように保持しておく。なお、図47(b)では、最新のデータから過去3秒分のデータまでを示している。
そして、統括装置6は、各々のID信号送信装置21の位置を判定する際には、例えば図47(b)に示すような各々のID信号送信装置21からのID信号光の検出記録を、時系列的に最新のデータから順次遡っていき、各々のID信号送信装置21からのID信号光が検出された最新のデータを用いて、各々のID信号送信装置21の位置を判定する。
すなわち図47(b)に示す例では、統括装置6は、
・ID129のID信号送信装置21は、チャネル8のID信号受信装置4Aで検出された。
・ID026のID信号送信装置21は、チャネル1のID信号受信装置4Aで検出された。
・ID315のID信号送信装置21は、チャネル1のID信号受信装置4Aで検出された。
・ID108のID信号送信装置21は、チャネル6のID信号受信装置4Aで検出された。
と判定する。この判定結果を、図47(a)に示す各チャネルの位置に対応させて矩形内に表現すると、図48に示すようになる。そして、さらに前記撮影手段2によって取得した映像情報と重畳して表現すると、例えば図49に示すようになる。
この図49に示すように映像とID識別情報の位置とを重ね合わせて表示することで、“映像中の個々の人が誰であるか”を容易に一覧できる。
具体的には、図49に示す例においては、ID026のID信号送信装置21を装着している人間とID315のID信号送信装置21を装着している人間とが、共にチャネル1のID信号受信装置4Aによる検出範囲内に位置している。この為、当該映像に映っているどちらの人間がどちらのID番号のID信号送信装置21を装着している人間であるかまでは識別できないが、時間が経ってこれらの人間が移動すれば、識別可能となる。
なお、図49は、受信装置4が9つのID信号受信装置4Aを有している例、つまりチャネル数が9チャネルの例を示しているが、より多くのID信号受信装置4Aを設けてチャネル数を増加させて空間分解能を向上させることで、多数の人間が密集して位置している場合であっても、各々の人間を個別に識別できる可能性を高めることができる。
図50は、ID番号の代わりに当該ID信号送信装置21を装着している人間の氏名を、前記撮影手段2により取得した映像上の当該人間の像に重畳して表示する例を示している。
このようにID番号を表示する代わりに氏名を表示するには、予めID信号送信装置21のID番号と、それを装着する人間の氏名との対応表(データベース)を作成しておく必要がある。例えば、各個人が常にそれぞれ専用のID信号送信装置21を装着するとした場合、当該データベースを一度作成すれば良い。
ところで、個体情報識別システムの現実の運用に際しては、監視対象者はID信号送信装置21を必要な時だけ装着する方が便利であり、またID信号送信装置21の故障及び交換が必要になる可能性があることを鑑みると、同一人物が常に同一のID番号を付与されたID信号送信装置21を装着するとは限らない。
このような事情を鑑みると、現実の運用に際して前記データベースを作成する為には、各々のID信号送信装置21に付与されたID番号と、それを装着する人間の氏名との対応表を随時作成する必要がある。
以下、各々のID信号送信装置21に付与されたID番号と、それを装着する人間の氏名との対応表を容易に作成する為の登録装置について、図51を参照して説明する。
同図に示すように、登録装置31は、ID信号受信装置4Aと、磁気カード読み取りスロット31Aとを有する。そして、登録装置31は、個体情報識別システムが適用されたエリアへの出入り口扉における電磁ロック及びその解除を行う。
実際の運用においては、ID信号送信装置21を肩部等に装着した監視対象者41は、個体情報識別システムが適用されたエリアへの入室に際して、出入り口扉の電磁ロックを解除する為に、例えば身分証カード等の磁気カード33を登録装置31の磁気カード読み取りスロット31Aに通し、且つID信号受信装置4AによりID信号送信装置21からのID信号光が受信されると、当該登録装置31は電磁ロックの解除を行うと共に、ID信号受信装置4Aが検出したID信号送信装置21からのID情報と、磁気カード33から読み出した個人特定情報(氏名等)とを対応付けて作成したID対応情報を、統括装置6に送信する。
このID対応情報により、統括装置6は、上述した監視対象者の同定処理の際に、ID信号送信装置21から得られるID情報のみに基づいて、それぞれのID信号送信装置21を装着している人間の氏名等を特定することができる。
以上説明したように、上述した個体情報識別システムによれば、監視用カメラで撮影して取得した映像中に映っている人物等を、単に当該映像を目視することのみで同定できることができる個体情報識別システムを提供することができる。
具体的には、上述した個体情報識別システムによれば、例えば手術室や工場等、複数の人間や機器等が動きながら共同作業する場面を映像によって監視する場合、つまり監視用カメラの映像だけからは当該映像に映っている人間や物が何であるかを同定するのが容易でない場合であっても、当該映像中に写っている人間や物が何であるかを自明に同定できるようになる。
以上説明した個体情報識別システムに対して、上述した第1実施形態に係るイベント識別システムを、例えば次のように適用することができる。
すなわち、分析対象の作業に係るスタッフの各々に、前記接触型マイクロフォン3A及び前記送信機3Bを装着させる。ここで、前記ID信号送信装置21と前記送信機3Bとを一体に構成する。そして、各々のスタッフ毎に収集した音響データについて、第1実施形態において説明した分析処理を行う。
このようなシステム構成を採ることで、本第3実施形態によれば、スタッフの位置、映像、発話、及び心拍音データを時系列に沿って容易に一覧で把握することができ、例えば手術等の一連の作業行為において、いつ誰が何を行ったかを、精密に且つ時系列に沿って容易に一覧で把握することを簡易な装置構成で実現するイベント識別システムを提供することができる。
以上、第1実施形態乃至第3実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び応用が可能なことは勿論である。
さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
1…ID識別カメラ、 2…撮影手段、 2A…カメラ受光面、 2B…カメラ制御装置、 2ID…発光素子、 3…識別部、 3A…接触型マイクロフォン、 3B…送信機、 4…受信装置、 4A…ID信号受信装置、 4A11…ID信号受光面、 4A1…ID信号検出面、 4A2…感光素子、 4A3…ハイパスフィルタ、 4A4…デモジュレータ、 4A5…バッファメモリ、 4A6…MPU、 5…映像加工装置、 11…撮影レンズ、 13…ビームスプリッタ、 21…ID信号送信装置、 21D…発光素子、 21A…電源、 21B…ROM、 21C…ドライバ回路、 21E…散乱板、 31…登録装置、 31A…取りスロット、 33…磁気カード、 41…監視対象者、 52…位置記憶部、 56…スタッフデータベース、 81…信号発信体、 82…発信体計測装置、 92…ROI設定部、 95…キュー設定部、 96…キューインデックス記憶部、 101…医療現場表示システム、 102…撮影装置、 103…識別部、 104…位置計測部、 105…映像加工装置、 106…表示装置、 107…入力装置、 109…医療現場分析システム、 121…RFタグ、 122…無線送受信部、 131…超音波発振器、 132…超音波センサ、 133…計測系位置計算部、 151…映像記録部、 152…位置記憶部、 153…映像系位置計算部、 154…映像系位置記憶部、 155…表示制御部、 156…スタッフデータベース、 181…信号発信体、 182…信号受信体、 183…制御信号発信部、 191…医療現場情報記憶部、 192…ROI設定部、 193…動き量計測部、 194…動き量記憶部、 195…キュー設定部、 196…キューインデックス記憶部、 197…制御部、 300…音響データ収集手段、 300A…接触型マイクロフォン、 300C…受信機、 300B…送信機、 500…フィルタ手段、 700A…心拍音データ処理手段、 700B…心拍音除去データ処理手段。