以下、本発明の実施の形態について図面を参照しながら詳細に説明する。第1の実施例として想定する応用は、展示会における展示対象の注目度評価である。評価対象としてより具体的には、展示説明者毎、または複数の展示説明者を含む展示物毎、さらにまたは複数の展示物を含む展示担当企業/機関毎、などである。
<名札型センサノードによる第1の実施例>
図1に、本発明におけるシステム構成例を示す。
展示の説明者あるいは被説明者である展示参加者WKR1は、腕輪型や名札型に実装されたセンサノードSN0を保持する。センサノードSN0は、プロセッサ回路CPU0、アンテナANT0が接続される無線回路RF0、音・加速度・温度・赤外線などのセンサSNS0、センシングプログラムMS0を格納するメモリMEM0、ボタンなどの入力装置IN0、LCD・LED・ブザーなどの出力装置OUT0で構成され、これらはバスBUS0で接続される。
赤外線センサにより、腕輪型の場合には脈拍、名札型の場合には正対する赤外線デバイスとの対面が検出できる。つまり展示参加者WKR1(例えば展示説明者)と別な展示参加者WKR2(例えば被説明者)が二人とも名札型のセンサノードSN0を装着して対面した場合、赤外線通信CV1により、互いの対面状態を検出できる。
また、加速度センサにより、その値の変化量から展示参加者WKR1やWKR2の行動の活発度が検出できる。センサノードSN0でセンシングした情報は無線通信WC1により、もしくは、中継機RT1を介した無線通信WC2およびWC3により、基地局BS1に送られる。基地局BS1が受け取った情報は、ネットワークLAN1を介して、管理サーバSV1のセンサデータベースSD1に格納される。管理サーバSV1は、センサデータベースSD1に格納される情報を読み出し、分析処理することにより、展示対象毎の注目度を算出する。またLAN1には、注目度の算出結果を表示するためのコンピュータPC1、システムの各種設定データを登録するためのコンピュータPC2が有線もしくは無線LANにて接続される。
赤外線発信装置BC1およびBC2は、赤外線BIR1およびBIR2を一定間隔で発信する装置であり、展示対象毎に設定し、あるいは会議室や実験室、喫茶室などの場所に設置し、管理サーバSV1でその位置を管理する。赤外線発信装置BC1あるいはBC2の正面に名札型のセンサデバイスSN0を装着した展示会参加者WKR1が立っていると、センサノードSN0により赤外線BIR1およびBIR2を検出できる。赤外線には少なくとも赤外線発信装置BC1あるいはBC2が識別可能な識別情報が含まれており、その情報をセンサノードSN0が無線通信WC1経由で管理サーバSV1まで送信することで、各展示会参加者の場所を知ることが可能になる。
また管理サーバSV1には時刻を管理するNTPサーバNTPSが格納され、インターネット上の標準時刻などを定期的に参照するなどして正確な時刻を管理する。
データ分析手段(プログラム)ANAL1〜ANAL4は、センサデータベースSD1から、対面、活性度、積極性、発言、などの特徴量を計算し、分析データベースSD2に格納する。SD1、SD2内の各テーブルの内容は後述する。表示上データベースSD2はSD1と別にしているが、同じデータベースに格納されても構わない。また、テーブルも表示上すべて別のものとしているが、時刻の情報をベースに外部結合を行って一つのテーブルにすることも可能である。
分析データベースSD2の値は、さらに別のデータ分析手段(プログラム)ANAL5からANAL6により注目度に変換され、注目度可視化手段ANAL7では、評価対象毎の注目度の値を表示するためのレイアウトなどを生成する。データ分析手段ANAL1〜ANAL6に詳細な分析手順については後述する。
図2は、図1のセンサネットワークシステムで用いられるセンサノードSN0のハードウェア構成のより詳細な具体例を示した図である。
センサノードSN0は無線送受信を行う無線送受信部(RF Transceiver)201、表示部(Display)202、ボタン(Button)203、センサ(Sensor(s))204、処理部であるマイコン(MicroProcessor)205、絶対時刻を持つリアル・タイム・クロック(Real-time Clock)206、記憶部である揮発性メモリ(Volatile Memory)207と不揮発性メモリ(Nonvolatile Memory)208と読み出し専用メモリ(Read-Only Memory)209、及びセンサノードの各部に電力を供給するバッテリ(Battery)210、スピーカー(Speaker)211、マイク(Microphone)212 とから構成される。
センサノードSN0は、そのハードウェアにおいてReal-Time Clock206以外のマイコン、無線送受信部等を低電力モードで休眠させる。センサノードSN0は、この一部を低電力モードにする休眠状態と、全ての回路の電源をON状態にする起動状態の2種類の動作状態を一定周期ごとに使い分ける。センサノードSN0は起動状態において、Timerからの信号を受けたInterrupt Controllerにより各種入力デバイスの状態をチェックし、その状態に基づいて所定の動作を実行する。例えば、様々なセンサSensor(s)204を用いてセンシングを行う。センシングされた情報はReal-Time Clock206の時刻情報と共にMicroProcessor205にてパケットに格納され、RF Transceiver201からAntennaを介して、中継機RT1あるいは基地局BS1に無線で送信されると共に、Nonvolatile Memory208の観測値テーブル613へ格納される。観測値テーブル613は、無線送信が失敗した場合などに備えてデータを記憶するものであり、観測値の通し番号であるシーケンス番号614と、観測値が時刻設定済みか否かを記憶している時刻未確定フラグ615と、観測値616と、該観測値の時刻617が保存される。
操作ボタンButton203は、ユーザの操作を受け付ける入力デバイスであり、特定のボタン操作により、センサノードSN0の特定の動作を起動したり、動作パラメータを設定したりすることができる。
表示部Display202は、ユーザに対して情報を表示するための出力デバイスである。例えば、センサノードSN0が環境計測用に室内または室外に設置する用途である場合には、センサ部Sensor(s)204により計測した最新の測定値を表示することができる。その際、低電力化のために、通常時は何も表示せず、特定のボタン操作を行った時のみ、該最新測定値を表示するといった活用が好適である。
また、センサノードSN0が名札型や腕時計型等の携帯センサノードである場合には、通常時は時刻情報を表示し、管理サーバSV1からテキストメッセージを受信した場合には該メッセージを表示したり、音声メッセージを受信した際には該着信情報を表示したりするといった活用が好適である。
また、ユーザのボタン操作に連動して、階層化された操作メニューを表示することができる。該操作メニューに従ってボタン操作を行うことにより、アプリケーションユーザ(Application User)やシステム管理者(System Manager)は、センサノードの動作パラメータを設定したり、通信失敗時のエラー情報を確認したりすることができる。
図3は図1のセンサネットワークシステムにおける中継機RT1のハードウェア構成の一具体例を示した図である。
中継機RT1はAntennaを介して無線送受信を行う無線送受信部(RF Transceiver)301、表示部(Display)302、ボタン(Button)303、センサ(Sensor(s))304、マイコン(MicroProcessor)305、絶対時刻を持つリアル・タイム・クロック(Real-time Clock)306、揮発性メモリ(Volatile Memory)307、不揮発性メモリ(Nonvolatile Memory)308、読み出し専用メモリ(Read-Only Memory)309とから構成される。
中継機RT1は、センサノードSN0へのコマンド送信および時刻同期の目的で、揮発性メモリ307に記憶された時刻設定要管理テーブル311を用いる。基地局から無線で配信されたセンサノードへのコマンドをRF Transceiver301にて受信し、テーブル311に存在するセンサノードに対し無線で配送する。また、センサノードから無線で送信されたセンシング情報を受信し、受信したセンシング情報を基地局へ無線で送信する。時刻設定要ノード管理テーブル311には、センサノード毎に別々に割り振られるセンサノードID709と、ノードID709のセンサノードが時刻設定済みか否かを判定するための時刻設定要フラグ710が保存される。
中継機RT1をセンサノードSN0と基地局BS1の間に設置することにより両者の通信距離を延ばすことができるが、いつ送信されてくるか分からないセンサノードや基地局からのデータを受信するためには、常時待ち受けていなければならない。そのため、センサノードと異なり、バッテリではなく外部給電により動作することが望ましい。電源線(Power Line)より供給される電力を、電源回路(Power Supply Circuit)310により整流等を行った上で各機能部へ供給する。これにより、消費電力の心配をする必要がないため、中継機RT1のマイコン305はセンサノードSN0の場合のように休眠状態を持つ必要はない。そのため割り込み制御部(Interrupt Controller)やタイマ部(Timer)は図中では省略してあるが、これらの機能は一般的なデータ送受信アルゴリズムの範囲内で活用される。
図4は図1のセンサネットワークシステムにおける基地局BS1のハードウェア構成の一具体例を示した図である。
基地局BS1の構成は、IPネットワーク(IP Network)を介して管理サーバSV1と通信を行うためのLAN通信インタフェース(LAN I/F)412を備える以外は、中継機RT1の構成と同様であるため、説明を省略する。なお、図4における数番401〜410は図3における数番301〜310に対応する。なお、揮発性メモリ407中には、現在稼動中のノードとその種類を把握し管理するために必要な、バインディング・テーブル(Binding Table)411が記憶される。バインディング・テーブル411には、登録されているノードが中継機かセンサノードかを記憶しておく種類記憶域809と、ノード毎に個別に与えられるノードID810が保存されている。
図5は図1のセンサネットワークシステムの管理サーバSV1のハードウェア構成の一具体例を示したブロック図である。
管理サーバSV1は、処理部(CPU)501、外部通信部502、電源503、ハードディスクドライブ504、ユーザからの命令をするための入力装置であるキーボード505、表示装置であるディスプレイ506、メモリ507からなる。
管理サーバSV1は、外部通信部502を経由し、基地局BS1が中継機RT1を介してセンサノードSN0から収集したデータの受信、および基地局BS1へコマンドの送信を行う。CPU501はメモリ507に記憶されたミドルウェア等のプログラムを読み込み、プログラムの指示に従って外部通信部502を通じて取得した観測値などのデータの加工を行い、ハードディスクドライブ504へデータを蓄積したり、ディスプレイ506に表示したりする。この管理サーバSV1で実行される加工・表示の具体例は後で詳述する。またCPU501は、キーボード505から入力されたユーザコマンドの解釈を行い、外部通信部502を通じて基地局BS1などへと配信する。
図6は、管理サーバSV1に格納されたセンサデータのデータベースSD1の構成とデータの例を示す図である。データベースSD1では、センサデータ、展示参加者が利用するセンサデバイスの識別情報、展示参加者の識別情報などが対応付けて管理される。
テーブルTIRは、センサノードSN0で観測した赤外線検出データ、あるいは温度データや照度データを観測した時刻(Timestamp)と対応付けて格納するテーブルである。
列RMACIDには、センサノード(例えばSN0)の識別子(例えばネットワークアドレス)を格納する。
列RUPTMには、データをテーブルSD1に格納した時刻を記録する。
列RGWADには、無線でデータを受信した基地局(たとえばBS1)の識別子(例えばIPアドレスとポート番号)を格納する。
列RAPHDには、センサノードSN0の種別を格納する。たとえば腕輪型デバイスでは“1”、名札型デバイスでは“2”などを格納する。
列RDATYには、無線パケットに格納したデータの種類を格納する。たとえば温度データ、照度データ、および赤外線の検出データをセットで格納したデータには“1”、後述するテーブルTACC1に格納する加速度データには“2”、後述するテーブルTVO1に格納する音声データには“3”などを格納する。
列RSENUには、センサノードでフレームの送信順に0000からFFFFまで付与し、FFFFの次は0000にリセットする周期的カウンタの値が格納される。分割フレームが結合した場合は、最初のフレームのシーケンス番号を格納する。
列RSAIDには、同一センシング周期にサンプリングしたデータを含む分割フレームには、同一のサンプリング識別子を付与する。
列ROBPEには、温度や加速度などのデータのセンシング間隔を格納する。
列RSEPEには、センサノードの現在の無線送信間隔を格納する。間隔を表す数値でも良いし、センシング間隔の何倍かという値でも良い。
列RSARAには、センサノードにおけるセンサデータのサンプリング周期を格納する。
列RSANUには、センサノードにおける現在のサンプリング回数を格納する。
列RUSIDには、そのセンサノードを携帯し利用している利用者の識別IDを格納す 。
列RFRNUには、フレームが複数に分割された場合に、合計n分割フレームなら、n、n-1、n-2、…3、2、1と降順の値を格納する。1の場合は最終分割フレームを表し、0は、256番目を表す、とする。
列RFRSIには、分割して送信される一連のフレームの合計個数を格納する。
列RTISTには、温度や加速度などのデータをセンサで取得した時のセンサノードの時刻を格納する。
列RTEMPには、センサノードが温度センサで取得した温度データを格納する。
列RLUXには、センサノードが照度センサで取得した照度データを格納する。
列RBALEには、センサノードのバッテリ残量を示す値、たとえば電源電圧を格納する。
列RLQIには、センサノードと中継機あるいは基地局間の無線通信品質を示す値、たとえばLQI(LINK QUALITY INDICATOR)を格納する。
列RIRDSには、列RIRに格納する赤外線データの検出数を格納する。
列RIRには、センサノードが赤外線センサで取得した赤外線データ(赤外線発信元の識別子)を格納する。
テーブルTACC1は、テーブルTIRの赤外線などのデータの替わりに、加速度センサのデータを格納する。列RMACIDから列RTISTまでの間は、テーブルTIR1と同様の内容を格納する。
列RACDSには、列RACCに格納する加速度データの数を格納する。
列RACCには、センサノードの加速度センサで取得した加速度データを格納する。
テーブルTVO1は、テーブルTIRの赤外線などのデータの替わりに、音声データを格納する。列RMACIDから列RTISTまでの間は、テーブルTIR1と同様の内容を格納する。
列RVODSには、列RVODAに格納する音声データの数を格納する。
列RVODAには、センサノードのマイクで取得した音声データを格納する。
このように、センサデータ、センサノードの識別情報、展示参加者の識別情報などの対応関係を記録することにより、各展示参加者が複数のセンサノードを利用した場合であっても、各展示参加者のセンサノードが取得するセンサデータを正しく管理することができる。また、センサデータベースSD1を参照することにより、後述する展示参加者の対面活発度や注目度を算出し、品質データベースSD2に格納される各テーブルを作成することができる。
次に、展示会場における参加者同士(説明者及び被説明者)の対面、会話などの行動の活発度、評価対象毎の注目度を求める方法を示す。図7にシステムでの大まかな処理の流れを、管理サーバでのデータ分析処理を中心に示す。
まず、人の行動を含む展示会場の現場での様々な物理現象が、センサノードSN0に搭載された赤外線センサ、加速度センサ、音声センサ(マイク)により、赤外線データに含まれる識別子リスト、加速度データ、音声データに変換され、少なくとも時刻データを付与され管理サーバSV1に送信される。
管理サーバSV1ではまず、展示説明者や被説明者が携帯しているセンサ端末毎に各時間帯における赤外線データに含まれる識別子の有無を分析する。評価対象特定手段ANAL1は、テーブルTIR1を参照して、該識別子が展示会場の展示物に隣接されて設置された赤外線発信機からの識別子であるかを特定して、参加者が見学している評価対象リストSD201を出力する。対面者識別手段ANAL2は並行して、テーブルTIR1を参照し、識別子が対面相手の携帯するセンサ端末からの識別子であるかを識別して、展示会見学中に参加者が対面した対面者リストSD202を出力する。管理サーバSV1では並行して、動作識別手段ANAL3がテーブルTACC1を参照し、センサ端末毎(説明者毎あるいは被説明者毎)に各時間帯における加速度データを分析して活発動作リストSD203を出力する。また並行して、発言識別手段ANAL4がテーブルTV01を参照し、センサ端末毎(説明者毎あるいは被説明者毎)に各時間帯における音声データを分析して発言リストSD204を出力する。
次に、対面活発度評価手段ANAL5が対面者リストSD202と活動動作リストSD203と発言リストSD204からセンサ端末毎(説明者毎あるいは被説明者毎)に各時間帯における対面活発度リストSD205を出力する。なお、図8において説明するが、対面者リスト及び活発動作リストに基づいて対面活発度リストを出力することができる。そして、音声データTVO1及び発言リストSD204を補足的に用いることにより、その精度を高めるとともに発言内容を考慮して注目度リストを出力することもできる。さらに注目度算出手段ANAL6が、評価対象リストSD201と対面活発度リストSD205を分析し、評価対象毎の各時間帯における注目度リストSD206を出力する。
さらに、注目度可視化手段ANAL7が注目度リストSD207を表形式、グラフ形式、フロア図形式などの注目度を表現する注目度コンテンツSD207を出力する。その結果は、ネットワークLAN1で接続されたコンピュータのモニタや大画面ディスプレイである注目度表示手段PC1で表示される。なお、注目度表示手段は説明者や被説明者が携帯しているセンサ端末SN0であってもよい。
このように、赤外線検出データ及び加速度データに基づいて、評価対象毎の注目度を算出して表示する。これにより、参加者が意識的に特定の操作をすることなく評価指標を得ることができ、評価結果に偏りが出るおそれを防ぐことができる。さらに、参加者と説明者の対話行動に直接起因する身体の動作等を検出することができ、他人の影響を考慮した客観的評価指標を得ることができる。
また、音声データを用いて注目度を算出することによって、その精度を高めることができるとともに、発言内容に基づいて評価指標を算出することができる。
次に管理サーバSV1におけるデータ分析について、図8などを用いてさらに詳細に説明する。
まず、動作識別手段ANAL3が活発動作リストSD203を生成する手順について説明する。図8に示す手順で、以下の加速度周波数計算(A301)と、活発動作判定(A302)、ノイズ除去(A303)を行う。
加速度周波数計算(A301)は、時系列に並んだ加速度データ(TACC1)から周波数を求める処理である。周波数は一秒間の波の振動数と定義され、つまり加速度でモニタ可能な振動の激しさを表している指標である。フーリエ変換によって周波数成分の大きさを堅実に計算してもよいが、本応用例では、計算を簡略化するために、周波数にする指標として、ゼロクロス値を用いる。これにより、管理サーバの処理負荷が低減され、センサノードの数の増加によるサーバの計算量の増加に対する対策としても有効である。
ゼロクロス値とは、一定の時間期間内における時系列データの値がゼロとなった回数、より正確には、時系列データが正の値から負の値へ、又は負の値から正の値へと変化した回数を計数したものである。例えば、加速度の値が正から負に変化してから、次にその値が再び正から負に変化するまでの期間を1周期とみなすと、計数されたゼロクロスの回数から、1秒間当たりの振動数を算出することができる。このようにして算出された一秒間当たりの振動数を、加速度の近似的な周波数として使用することができる。
さらに、本応用例のセンサノードSN0は、三軸方向の加速度センサを備えているため、同じ期間の三軸方向のゼロクロス値を合計することによって一つのゼロクロス値が算出される。これによって、特に左右及び前後方向の細かい振り子運動を検出し、振動の激しさを表す指標として用いることができる。
ゼロクロス値を計数する「一定の期間」として、連続したデータの間隔(つまり元のサンプリング間隔)よりも大きな値が設定される。たとえば1秒毎のゼロクロス値や1分毎のゼロクロス値を求めることとなる。
加速度周波数計算(A301)の結果、各時間におけるゼロクロス値、およびそこから算出された秒単位の振動数が、加速度リストとしてメモリ上に、もしくはファイルとして生成される。
次にこの加速度リストを対象に、活発動作判定(A302)を実施する。ここで、ビデオ観察などの結果から、図9に示す通り、加速度データの周波数で表される行動リズムと動作パターンの関係に傾向があることがわかった。例えば、発話を行っている時には、2Hzから3Hzの周波数成分が高くなる。そこで、加速度データの周波数がある閾値を上回っている時間帯を、活発な行動をしている状態とする。実データの分析の結果、典型的には、加速度の周波数の閾値は2Hzであることがわかったが、この閾値は人や会場の環境によって異なるため、状況に応じて設定変更可能である。
加速度リストを順に走査し、振動数が閾値を上回っている行には活発である状態として判定値に”1”、下回った行には活発でない状態として”0”を挿入する。この結果、各時間帯において活発な動作をしているか否か秒単位で求められた活発動作リストが生成される。
ここで、ある瞬間的にみると閾値以下であっても、前後の時間は閾値以上で活発な状態、逆にある瞬間では閾値以上であったが、前後の時間は閾値以下で実は活発でないこともあり得る。このような瞬間的なノイズを除去する機構が必要となる。
そこで、次にこの活発動作リストを対象に、ノイズ除去(A303)を実施する。ノイズ除去の役割は、上記で求めた集中度の時系列変化、たとえば”0001000111111001111”といった系列に対し、前後関係を加味して瞬間的な変化を取り除いた、たとえば”0000000111111111111”という系列を生成することである。このようなノイズ除去処理を行うことにより、その前後の時間帯を考慮して活発度を算出することができ、より実際の状況を反映した活発度を把握することが可能となる。なお、以下に説明する対面判定等のノイズ除去の処理の効果も同様である。
ノイズを除去する処理はローパスフィルタにより高周波の成分を除去することによっても可能であるが、ここではより単純な方法として、多数決的な方法を説明する。本方法では、時系列順に最初から最後までひとつずつ判定の対象とする。現在i番目の時間帯が判定の対象であるとする。ここで、i-n番目の時間帯から、i+n番目の時間帯までの合計2n+1個の時間帯に関し、活発である個数と、活発でない個数を数える。ここでもし活発である個数の方が多く、かつ、i番目の時間帯が活発でないという状態になっている場合、i番目の状態を活発である状態に変更する。逆に活発でない状態の個数の方が多ければ、i番目の状態を活発でない状態に変更する。例えば、”0001000111111001111”という系列に、n=2としてこの方法を適用すると、”0000000111111111111”という系列が生成される。nが小さければ前後短時間のみ反映したノイズが除去され、nが大きければより長時間を反映したノイズが除去される。nをどの程度にするかは人や動作の種類によるが、最初に小さいnで細かいノイズを除去したあと、再度大きいnで少し長めのノイズを除去することも可能である。このように多数決的な方法を実行することにより、管理サーバの計算量を減らし、処理負荷を低減することができる。
この結果、各時間帯において活発であるか否か秒単位で求められた活発動作リスト(SD203)が生成される。
このように、センサ端末の加速度センサが取得する加速度データに基づいて、参加者が活発な行動をしているか否かを判定することが可能となる。
次に、評価対象特定手段ANAL1及び対面者識別手段ANAL2が、展示物との対面及び人同士の対面(対面している時間)を求める手順を説明する。ある人がある時間帯にある展示物の前にいるかどうかは、当該時間帯においてその人が装着するセンサ端末SN0が展示物に設置されている赤外線発信機BC1からBCnから発信された赤外線データを検出しているか否かによって判定できる。
また、ある人がある時間帯に他の人と対面しているかどうかは、当該時間帯において、その人が装着するセンサ端末が他のセンサ端末から発信された赤外線データを検出しているか否かによって判定できる。
ただし、この場合も上述の活発度判定と同様に、ある瞬間だけを見ると誤判定する可能性があるため、前後の時間帯を見てノイズを除去する必要がある。したがって下記の対面判定(A101)と、ノイズ除去(A102、A202)によって判定する。図8にフローを示す。
対面判定(A101)では、判定対象とする人が、各時間において赤外線データに含まれる識別子を検出しているか否かを、所定時間単位(たとえば秒単位)で求める。赤外線データベース(TIR1)から、ある時間帯の検出データが存在するか否かを順に見てゆき、検出していれば判定値に”1”、検出してないければ”0”を挿入する。また、検出されている識別子が、赤外線発信機BCxの識別子か、他の人の携帯しているセンサ端末SNxの識別子かによって、評価対象リストとして出力するか、対面者リストとして出力するかを切り替える。
対面判定(A101)の結果、各時間において対面しているか否かが所定時間単位(例えば、秒単位)で求められた評価対象リストあるいは対面者リストがメモリ上に、もしくはファイルとして生成される。
次に、これら評価対象リスト及び対面者リストを対象に、ノイズ除去(A102、A202)を実施する。ノイズ除去の役割は、上述の活発度計算におけるノイズ除去(A303)と同様に、対面の時系列変化、例えば”0001000111111001111”といった系列に対し、前後関係を加味して瞬間的な変化を取り除いた、たとえば“0000000111111111111”という系列を生成することである。これにはノイズ除去(A303)と同様な方法が適用可能である。
この結果、各時間において対面しているか否かが所定時間単位(例えば、秒単位)で求められた評価対象リスト(SD201)と対面者リスト(SD202)が生成される。図8では、ある参加者が10時0分1秒、20秒に展示物A06と対面し、他人WKR3と対面している例を示している。
このように、センサノードの赤外線センサが取得するデータに基づいて、各参加者がある時間帯にどの展示物あるいはどの人と対面しているか、及び、その対面時間を求めることができる。
次に人との対面における積極性を示す対面活発度を求める手順を説明する。対面時に積極的であると、体の動きの量が増える、発話の量が増えるなどの行動に表れる。そこでここでは積極的か否かを、既に説明した加速度の周波数がある閾値を上回っているか否かにより判定した活発動作リスト(SD203)、および、対面している時に発言しているか否かの発言リスト(SD204)という2つの指標から判定する。
ここでは図8のフローに沿って、発言区間検出(A401)とそのノイズ除去(A402)から生成される発言リスト(SD204)、既に説明した対面者リスト(SD202)と活発動作リスト(SD203)とを組合せて対面活発度リスト(SD205)を生成する対面活発度評価(ANAL5)の手順を説明する。
発言区間検出(A401)は、センサ端末SNxで取得した音声信号から、人が発話している区間を特定する。音声信号から発話区間を検出する方法としては、短時間の音声パワーを利用した手法や、音素認識結果による手法などを用いることができる。
センサ端末SNxは前述の通り低電力指向で間欠的に動作を行うことが多く、すべての時間帯の音声信号を取得することは難しい。そのため音素認識は部分的にしか適用できない。そこでここでは、ある時間帯1秒間の音声パワーが、一定の閾値を超えているか否かによって、発言しているか否かを判定することとする。音声信号を時系列的に操作し、一定期間の間の音声パワーが閾値を超えていた時、発話しているとして”1”、超えていなければ発話していないとして”0”を挿入する。
図8の通り、この発言区間検出(A401)の結果、各時間において発言しているか否かが所定時間単位(例えば、秒単位)で求められた発言リストがメモリ上に、もしくはファイルとして生成される。
次のノイズ除去(A402)は、前述の加速度に基づく活発動作リストのノイズ除去(A303)と同等の処理である。時系列的な変化から、瞬間的なノイズを検出し、訂正する。この結果、各時間において発言しているか否かが所定時間単位(例えば、秒単位)で求められた発言リスト(SD204)が生成される。
次に、生成された対面者リスト(SD202)、活発動作リスト(SD203)、発言リスト(SD204)を用いて、対面活発度評価(ANAL5)を行い、各時刻における対面活発度リスト(SD205)を算出する。対面活発度は、対面している時に活性的であるか否かにより判断できる。例えば図8に示すように、対面者リスト、活発動作リストを時系列的に順に走査し、ある同じ時間帯に関して、対面者リストのデータが対面状態であり、活発動作リストのデータが活性状態である場合、積極的であるとみなし、判定値“2”とする。一方、対面者リストのデータが対面状態であり、活発動作リストのデータが非活性状態である場合、積極的でないとみなし、判定値“1”とする。また、対面者リストのデータが非対面状態であった場合、判定する必要がないとして判定値“0”とする。
このように、赤外線データから得られる対面者リスト及び加速度データから得られる活発動作リストを用いて対面時の活発度を算出できる。
さらに、発言リストを用いることにより、つまり、実際に対話しているか否かを判定することにより、対面時の活発度の精度を高めることができる。図示はしないが、例えば、対面者リスト、活発動作リスト、及び発言リストを時系列的に順に走査し、ある同じ時間帯に関し、対面者リストのデータが対面状態であり、活発動作リストのデータが活性状態かつ発言リストのデータが発言状態であった場合には、積極的であるとみなし、判定値を”3”とする。対面者リストのデータが対面状態、活性リストのデータが活性状態、発言リストのデータが非発言状態であった場合には判定値を”2”とする。対面者リストのデータが対面状態、活性リストのデータが非活性状態、発言リストのデータが非発言状態であった場合、判定値を“1”とする。対面者リストのデータが非対面状態であった場合、判定する必要がないとして判定値を”0”とする。
さらにまた、音素認識結果を用いることにより、対面時の活発度の精度を高めることができる。具体的には、音素認識結果により、参加者が説明者と雑談している、あるいは、言い争いになっている等と判定された場合には、対面活発度を判定する必要がないとして判定値を“0”とすればよい。これにより、他人との雑談や争い等による影響を排除することができる。
次に注目度を算出する手順を図8に沿って説明する。注目度算出(ANAL6)は、前述の評価対象リスト(SD201)に基づいて、ある参加者が見学している展示物が特定されている時間帯に、その人の対面活発度リスト(SD205)で活発度が検知されているかどうかにより、その人の注目度リスト(SD206)を作成する。図8の例では、注目度判定欄に対面活発度判定値が記録され、対象欄に評価対象リストの対象判定と対面活発度リストの対象とを組み合わせたものが記録される。つまり、評価対象リストが(0、“A06”、“A06”)という系列であった時間に対して、対面活発度リストが(0、“2、WKR3”、“1、WKR3”)であり、注目度リストとして、(0、“2、A06+WKR3”、“1、A06+WKR3”)という系列が生成される。同様の処理を各参加者に対して行い、参加者ごとに注目度リストが生成される。
さらに、注目度算出(ANAL6)では、複数の参加者それぞれについて求まる注目度リストを展示物毎に集計することによって、展示物毎の各時間帯の注目度リストに変換できる。このとき例えば、注目度リストの対象欄が“A06”+“WKR3”のように展示物の検出と展示説明者との対話活発度の検出が重なっている場合には2点として、対応する注目度判定値との合計値を求める。“A06”のように展示物のみが検出されている場合を1点として、対応する注目度判定値との合計値を求める。これらを積算することにより、展示物毎の注目度を数値として算出する。
さらにまた、注目度算出処理(ANAL6)では、複数の参加者それぞれについて求まる注目度を、展示説明者毎に集計することによって、展示説明者毎の各時間帯の注目度リストに変換できる。
さらにまた、算出した展示物毎の注目度を用いて、展示出展社企業あるいは機関毎に集計することによって、展示出展社企業あるいは機関毎の各時間帯の注目度リストに変換することもできる。
また、時間帯は、10分後と、1時間毎、1日毎など適宜設定できる。これにより、いろいろな条件での注目度の可視化をし、展示状況の分析が可能となる。
図7における注目度可視化手段(ANAL7)は、前述した注目度を表形式やグラフ形式の注目度コンテンツ(SD207)に変換したり、この展示物毎に数値化された注目度の大小によって、注目度の順位付けをして表形式などに変換したりできる。さらに順位付けは時間帯ごとに作成し、その順位の推移を表形式や折れ線グラフ形式に変換することも可能である。
図10に注目度コンテンツの一例を示す。図10の上半分は、展示注目度ランキングを示した例である。展示物を識別する展示番号、展示物の名称、展示物の出展者名が表形式で示されたものである。図10の下半分は、展示会場を想定したフロア図上の各展示の位置に、その注目度の数値の大きさを四角形の大きさで表現して可視化した例である。
図11は、携帯しているセンサ端末SN0などに簡易的に表示する画面の一例であり、展示の説明者自身が自分の展示の注目度を確認するシナリオを想定した表示例である。同図は、注目度算出(ANAL6)が、展示説明者毎の注目度を集計した結果であり、展示説明者の注目度の順位付けをして作成することにより表示される。
これにより、展示会における被説明者(見学者)は、評価対象(展示)毎の注目度のフィードバックを受けることで、客観的な注目度を参考にして、自分の行動に反映できる。例えば、自分の興味の上に、展示毎の注目度に参考にして、優先的に見学すべき展示対象を決め、効果的かつ効率良く展示会を見学できる。
また展示会における説明者は、自身が説明している展示物の注目度のフィードバックを受けることで、説明活動のモチベーションの再構築を促すのに役立つ。例えば、展示会などでは、自分の説明の良し悪しをほぼリアルタイムに把握でき、その後の説明の仕方の工夫に繋げることができる。
また展示会における出展企業や機関は、自社あるいは自機関の製品に類似した注目度から関連市場分野の動向が把握できる。
さらにまた展示会などの催事の主催者にとっては、全評価対象の注目度を把握することで、開催期間中に催事がより盛況で品質の高い催事になるように運営の仕方を工夫することができる。あるいは、催事の品質を定量化でき投資対効果の検証にも活用できる。
<カメラ映像を連動させた第2の実施例>
次に、第2の実施例を説明する。本実施例に開示するシステムは、図17や図18に示すように、展示会場にカメラを設置したシステムである。固定ノードが、図1における赤外線発信装置BC1およびBC2に相当し、移動ノードが、図1におけるセンサノードに相当する。
本システムでは、交流活動の活発度を求める際に、加速度データや赤外線データだけでなく、カメラ映像を画像処理して補完する。これにより、交流活動の活発度の信頼度を上げることができる。また、優先度が高いと判断したカメラからの画像、具体的には注目度の高い評価対象付近に設置されたカメラの映像データを優先的に伝送し、優先的に表示端末に表示することを特徴とする。これにより、注目度の大きさに応じて映像データを扱う優先度を変更することが可能となる。以下、図12〜22を用いて詳細に説明する。
図19は、本発明を適用する映像ネットワークシステムの構成の一例を示すブロック図である。図19において、映像ネットワークシステムは、複数のカメラ220を含むカメラ群2−0、2−1と、複数のカメラ220を制御し、所望のカメラ220の画像を表示するセンタ1と、センタ1と各カメラ群2−0、2−1を接続するネットワーク100と、センタ1のセンサ情報変換装置7に接続されてセンサノードからの情報(センサ情報)を転送するセンサネットワーク8を主体に構成される。また、図12は、本実施形態の映像ネットワークシステムの構成要素間の通信概要を示すブロック図である。
<映像ネットワークシステムの構成>
本実施形態の映像ネットワークシステムは、複数のカメラ220、カメラに接続されたカメラPC210、本システムで取り扱われる画像を検索する画像検索装置6、カメラ220によって撮影された画像を蓄積する画像蓄積装置4、カメラ220によって撮影された画像の転送を制御する伝送制御装置20、画像蓄積装置4からの画像要求を中継するリクエスト変換装置3、及び、カメラ220によって撮影された画像を表示する画像表示装置5(及び、モニタ50)を備える。
さらに、本実施形態の映像ネットワークシステムは、複数のノードを無線ネットワークによって接続したセンサネットワーク8を備える。センサネットワーク8は、移動ノード810、移動ノード810と赤外線通信をする固定ノード820、移動ノード810と無線通信をする無線基地局800、ノード810、820から送信された情報を収集するセンサ情報変換装置7(図1の管理サーバSV1に相当する)、及び、移動ノードの位置を表示する位置情報表示端末9を備える。
本実施形態の映像ネットワークシステムによると、建造物内などに複数のカメラ220が設置される。画像蓄積装置4は、各カメラ220によって取得された画像を格納する。画像表示装置5は、監視センタに設置され、管理者または監視員が画像監視装置5(モニタ50)を用いて、複数のカメラ220の画像を監視する。
画像表示装置5は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部を備え、本映像ネットワークシステムの管理者が操作する計算機であり、複数のカメラ1によって撮影された画像データから選択された又は全ての画像データをモニタ画面50に表示する。具体的には、画像表示装置5は、複数のカメラ220によって撮影された画像のサムネイル画像(縮小画像)を表示し、選択されたカメラ220によって撮影された画像を高精細度によって表示する。
また、画像表示装置5は、ノード810、820からのイベントを受信すると、イベントに関係する固定ノード820の位置に対応するカメラ220の画像をモニタ画面50に優先的に表示する。固定ノード820は、既知の位置に固定されており、カメラ220と対応付けられている。そして、ノード810、820から送信されたイベントに基づいて、画像表示装置5がイベント発生位置に対応するカメラ220の画像を表示させることによって、人や物の通過などを監視することができる。ここで、イベントとは、移動ノード810あるいは固定ノード820による赤外線データの検出、移動ノードと基地局との接続を示す。
また、画像表示装置5は、管理者が操作部の操作によって選択したカメラ220によって撮影された画像を画像蓄積装置4から取得して、選択されたカメラ220によって撮影された画像を高精細度で表示する。このとき、選択されたカメラ220の識別子を選択カメラIDとして直接伝送制御装置20へ送信し、伝送制御装置20で対応するカメラの画像データの優先度が高くなるように、転送を制御してもよい。
前述の機能を実現するため、監視センタ1には、画像表示装置5、画像蓄積装置4、画像検索装置6、リクエスト変換装置3及びセンサ情報変換装置7が設置される。
<カメラ群の構成>
複数のカメラ220は、複数のカメラ群に区分されており、各カメラ群は建造物などの所定の領域(例えば、各フロア)毎、または、所定台数のカメラ220毎に設定されている。そして、カメラ群毎に1台あるいは複数のカメラPC210及び1台の伝送制御装置20が設置される。カメラPC210の台数はシステム規模や各構成要素間の処理性能の関係に応じて決まる。
カメラ220は、レンズを含む光学系、画像を電気信号に変換する撮像部及び通信インターフェースを備える。例えば、カメラ220は、IPネットワークに直接接続可能なIPカメラや、シリアルバスで接続可能なUSBカメラを用いることができる。カメラ220は、撮影対象領域に設置され、撮影対象領域の画像を撮影し、撮影された画像データを、所定のフレームレート及び解像度で出力する。カメラ220は、ネットワーク又はシリアルバスを介してカメラPC210に接続される。
カメラPC210(情報生成装置)は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。
カメラPC210は、カメラ220によって撮影された動画を画像蓄積装置4からの要求に応じて所定の単位毎(例えば、1フレーム毎、1GOP毎)に画像蓄積装置4へ送信する。従って、カメラPC210は、画像蓄積装置4からの画像要求があったときにのみ、最新の画像(例えば、1フレームの画像)を画像蓄積装置4へ送信し、その他の画像(例えば、過去のフレームの画像)は、後述するサムネイル画像の生成及び特徴量の抽出が完了すると、破棄する。
カメラPC210は、画像登録プログラムを実行することによって、カメラ220によって撮影された画像データから画像特徴量を抽出する。抽出される画像特徴量の抽出は動き検出、顔検出の技術が用いられ、予め定められた動きや、予め定められた顔を撮影された画像データから抽出してもよい。さらに、カメラPC210は、画像登録プログラムを実行することによって、撮影された画像データから低精細度の画像データ(サムネイル画像)を生成する。
サムネイル画像は、カメラ220によって撮影された動画の解像度を小さくしたものである。例えば、カメラ220が640×480ドット(VGA)の解像度の画像を出力する場合には、カメラPC210はサムネイル画像として128×96ドットの画像を生成する。
なお、以下の説明では、カメラ220によって撮影された原画像またはサムネイル画像よりも高解像度の画像を高精細度画像という。
そして、抽出された画像特徴量及び生成された低精細度画像データはネットワークを介して画像検索装置6に送られる。
図12には、1台のカメラPC210を図示したが、複数のカメラPC210が備わってもよい。また、1台のカメラPC210に接続されるカメラの数は、カメラPC210に備わるリソースの容量によって任意に選択することができる。なお、カメラ220に備わるプロセッサが画像登録プログラムを実行することによって、カメラPC210の機能を備えてもよい。
カメラPC210から画像蓄積装置4宛に送信される情報と、画像蓄積装置4からカメラPC210宛に送信される情報は、伝送制御装置20を介して転送される。
各カメラPC210には所定の識別子(例えば、IPアドレス)が予め付与されている。画像蓄積装置4は、カメラPC210に付与された識別子によって、あるいは、1台のカメラPC210に複数のカメラ220が対応付けられている場合は各カメラ220に付与された識別子との組合せによって、カメラ220を特定する。
画像蓄積装置4は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機である。画像蓄積装置4は、画像蓄積サーバプログラムを実行することによって、カメラPC210に対して高精細度画像要求を送信し、カメラ220によって撮影された画像(動画)データを取得し、取得した画像データを記憶装置に格納する。具体的には、画像蓄積装置4は、画像を取得するカメラPC210のIPアドレスを指定して画像要求をリクエスト変換装置3へ送信する。
また、画像蓄積装置4は、画像表示装置5からの画像要求に基づいて、格納されている画像データを画像表示装置5に送信する。図12には、1台の画像蓄積装置4を図示したが、複数の画像蓄積装置4が備わってもよい。
リクエスト変換装置3は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機である。なお、アドレス変換機能を有するネットワーク機器(例えば、スイッチ、ルータ)であってもよい。
リクエスト変換装置3は、画像蓄積装置4から画像要求を受信すると、受信した画像要求の宛先を、後述するように各カメラ群の伝送制御装置20のアドレスとポート番号に変換してネットワークに送信する。
伝送制御装置20は、リクエスト変換装置3からネットワークを介して画像要求を受信すると、画像要求の宛先ポート番号からカメラPC210を特定し、画像要求を特定したカメラPC210へ転送する。このため、伝送制御装置20は、ポート番号とカメラPC210の対応関係を示す転送先テーブルを備える。転送テーブルは、画像要求を受信したポートと、画像要求の転送先の宛先(例えば、URL)の対応が設定される。
カメラPC210は、伝送制御装置20からの画像要求に対して最新の画像(高精細度画像)を優先度を示す情報(例えば、前記画像の特徴量)と共に所定の単位(例えば、1フレーム)だけ返信する。伝送制御装置20は、画像の送信元のカメラPC210を特定するポート番号を宛先ポート番号に設定して、カメラPC210から受信した画像をリクエスト変換装置3へ送信する。リクエスト変換装置3は、受信した画像の宛先ポート番号から画像送信元のカメラPC210を特定し、特定されたカメラPC210のIPアドレスを送信元アドレスに設定して、リクエスト変換装置3から受信した画像を画像蓄積装置4へ送信する。画像蓄積装置4は、受信した画像の送信元のIPアドレスからカメラPC210を特定して画像を格納する。
伝送制御装置20はカメラPC210から返信メッセージを受信し、この返信メッセージ内に含まれる優先度の情報と、センサ情報変換装置7および画像表示装置5からの情報(センサ情報)に従って当該高精細度画像を含む返信メッセージの送信の優先度を決定する。伝送制御装置20が管理するカメラPC210毎の優先度は、図20に示す優先度履歴テーブル240に格納される。図20に示す優先度履歴テーブル240は、伝送制御装置20に予め設定されたものであり、ひとつのエントリにカメラPC210の識別子を格納するカメラID2401と、当該カメラPC210の画像の最新の優先度を格納する最新優先度2402と、画像の優先度の平均値を格納する平均優先度2403と、センサ情報変換装置7や表示PC5から受信した情報を格納するセンサ情報2404とを含む。
センサ情報2404には、センサ情報変換装置7からの検出情報(優先カメラID)と、画像表示装置5からのカメラPC210の優先度の指示が格納される。例えば、図20において、カメラID2401=Camera3のエントリのセンサ情報2404には、画像表示装置5からの優先度を高める指示があったことを示す情報として”disp”という情報が格納されている。
また、図20において、カメラID2401=Camera2のエントリのセンサ情報2404には、センサ情報変換装置7からの移動ノード810の識別子として、”Nameid1”と”Nameid2”が格納されており、これらの識別子を有する移動ノード810が固定ノード820の近傍を通過したことを示す。このようにセンサ情報2404に何らかの値が入っている場合、伝送制御装置20は該当カメラIDの情報を最高の優先度で送信する。
図21は、伝送制御装置20で行われる処理の一例を示し、リクエスト変換装置3から画像要求メッセージを受信したときに実行される処理のフローチャートである。
まず、伝送制御装置20は、リクエスト変換装置3から画像要求メッセージを受信すると、上述のように受信ポートをキーとして転送先テーブル230を検索して転送先のカメラPC210を決定し、画像要求を転送する(S11)。
そして、伝送制御装置20はカメラPC210からの返信メッセージを受信し、返信メッセージのヘッダに含まれる画像の優先度、およびカメラ220またはカメラPC210のIDを抽出する(S12)。そして、画像の優先度は変数Pnowに代入しておく。
次に伝送制御装置20は、カメラPC210のIDをキーとして優先度履歴テーブル240を検索する(S13)。検索されたエントリ内にセンサ情報が存在していた場合、このカメラPC210の画像は最高の優先度として扱うため、遅延を挿入せずに転送処理を行う(S14、S24、S20)。
ステップS20の転送処理では、返信メッセージのヘッダに優先度の情報とセンサ情報を追加して、リクエスト変換装置3に送信する。このとき、返信メッセージ内だけでなくその下位レイヤであるIPレイヤのパケットの優先度の情報として画像の優先度を書き込むことで、伝送制御装置20とリクエスト変換装置3の間のIPネットワークにおいて、IPレベルの優先度制御に利用することも可能である。
一方、ステップS14の判定で、検索されたエントリ内にセンサ情報が無かった場合、ステップS15以降で通常の送信優先度決定処理を行う。ステップS15では、返信メッセージに含まれている画像の優先度が0であるか否かを判定する。この判定の結果、返信メッセージに含まれている画像の優先度が0であった場合にはステップS21へ進み、そうでない場合にはステップS16へ進む。
ステップS21では、画像の優先度が0であるため、当該画像の優先度は非常に低いと判定し、再度転送先のカメラPC210に画像要求を行う。このとき、画像要求の繰り返しが長期間に及んで蓄積装置4への返信が中断されることを防止するため、繰り返しの回数が所定の上限値である10回未満の時のみ繰り返し処理を行い(S23、S11)、繰り返し回数が10回に達した時点で、優先度を最低にした上で前述の転送処理を行う(S22、S20)。なお、カメラPC210に画像要求を繰り返す際には、ステップS23で所定の遅延(例えば、200msec)を挿入する。
一方、ステップS15の判定で、画像の優先度が正の値であった場合は、ステップS16に進んで、上記ステップS12で抽出した現在の画像の優先度Pnowから、優先度履歴テーブル240に格納された平均優先度2403を差し引いた値を、最新の優先度2402として計算する。最新の優先度をP’nowとし、平均優先度をPaveとすると、
P’now=Pnow−Pave
となる。この処理によって、一旦優先度を高く設定したカメラPC210の画像は、センサ情報や画像表示装置5からの指示がない場合には、時間の経過とともに徐々に優先度が低下することになる。
次に、伝送制御装置20はステップ17で、優先度履歴テーブル240内の平均優先度および最新優先度の値の更新を行う。ここでは、前回までの優先度の平均と画像の最新の優先度の間で加重平均を取ることで、新しい平均優先度2403を求める。すなわち、新たな平均優先度をP’aveとすると、
P’ave=(99×Pave+Pnow)÷100
となる。伝送制御装置20は新たな平均優先度P’aveを現在着目しているカメラID2401のエントリの平均優先度2403に格納し、ステップS16で求めた最新の優先度Pnowを最新優先度2402に格納する。
次に、ステップS18では、上記ステップS16で求めた最新優先度2402と、優先度履歴テーブル240内の他のカメラIDの最新優先度2402とを比較して、現在着目しているカメラIDの優先度の順位を求める。次に、ステップS19では、当該カメラPC210の送信の優先度が上位3位までに入った場合は、遅延を挿入せずに転送処理に進む。一方、上位4位以下であった場合、当該カメラPC210の送信の優先度の順位が前回の値から下がる毎に所定の遅延(例えば、20msの)を挿入してステップS20の転送処理に進む(すなわち、遅延時間[ms]=(順位−3)*20)。
以上の処理により、優先度履歴テーブル240のセンサ情報2404に移動ノード810のIDや表示PC5からの表示の指示が設定されている場合には、カメラPC210から受信した画像(高精細度画像)をそのままリクエスト変換装置3に転送するが、優先度が低下するにつれて遅延が大きくなるため、カメラPC210の画像のフレームレートは低下することになる。
すなわち、本実施形態の蓄積装置4は、ひとつのカメラPC210に対して画像の要求を行う際に、1フレームずつ高精細画像を取得するので、高精細度画像が返信されてから、次の画像要求を行うことになり、遅延が大きくなれば一枚の画像を取得する時間がかかり、蓄積装置4に蓄積されるカメラPC210への画像要求の頻度が低下する。この結果、蓄積装置4に蓄積されるカメラPC210からの画像のフレームレートは低下することになる。
また、カメラ220の画像の過去の優先度の平均値と最新の優先度の差によって送信の優先度を評価することにより、恒常的に高い優先度を送信してくるカメラ220の画像の優先度を相対的に低下させることができる。
このように、本実施の形態では、伝送制御装置20を経由して画像要求を転送するので、当該要求に対する返信である高精細度画像も伝送制御装置20を経由する。このように、伝送制御装置20を経由して高精細度画像を転送するために、画像蓄積装置4からの画像要求をリクエスト変換装置3を経由させ、リクエスト変換装置3にて宛先を変換して転送する。
伝送制御装置20は、プロセッサ、メモリ及びネットワークインターフェースを備えるネットワーク機器(例えば、スイッチ、ルータ)であり、その配下に少なくとも1台のカメラPC210が接続されている。
伝送制御装置20は、リクエスト変換装置3から転送された画像要求をカメラPC210に転送し、画像要求に対する返答である画像データの転送を優先度に基づいて制御する。この優先度は、画像表示装置5から送信される選択カメラ情報や、センサ情報変換装置7から送信される優先カメラ情報に基づいて決定される。伝送制御装置20によって転送される画像データが優先制御されることによって、優先度が低い画像データは転送されづらくなる。そして、本実施の形態では、画像データが転送されないと次の画像要求が送信されないので、優先度が低い画像データの単位時間当たりに転送されるフレーム数は低下する。よって、優先度が低い画像データのフレームレートを低下させることができる。
本実施の形態では、伝送制御装置20はモニタリング対象の拠点側(すなわち、カメラ220側)、リクエスト変換装置3は集約モニタリングを行う監視センタ側に設置される。また、伝送制御装置20とリクエスト変換装置3との間は、ネットワークによって接続されている。このように、伝送制御装置20及びリクエスト変換装置3が協働することによって、ネットワーク100によって転送されるトラフィックを削減することができる。
<監視センタの構成>
次に、監視センタの構成要素について説明する。
画像蓄積装置4は、前述したように、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ220によって撮影された画像データを記憶装置に格納する。
センサ情報変換装置7は、プロセッサ、メモリ及び通信インターフェースを備えた計算機であり、センサネットワーク8から送られてくる情報を、伝送制御装置20及び画像検索装置6が解釈可能な形式および送信手順に変換して、変換されたメッセージを伝送制御装置20及び画像検索装置6に送信する。
センサ情報変換装置7は、固定ノード820の識別子とカメラPC210の識別子との対応を示すセンサ・カメラ管理テーブルを備える。センサ情報変換装置7は、このセンサ−カメラ管理テーブルを参照して、固定ノード820の識別子から、当該ノードに対応するカメラPC210の識別子を特定する。これによって、例えば、固定ノード820の近傍を通過する人や物体を撮影可能なカメラ220に接続されたカメラPC210のIPアドレスを特定することができる。
センサ情報変換装置7は、移動ノード810の位置情報を保持し、無線基地局800及び固定ノード820との接続(接近)/解除(離脱)を検出すると、位置情報を更新する。センサ情報変換装置7に保持される位置情報は、移動ノード810最新の位置情報の他、過去の位置情報の履歴を含めてもよい。センサ情報変換装置7は、移動ノード810の位置情報に基づいて、カメラ220が撮影した画像の転送の優先度を決定する。さらに、算出した展示物の注目度に基づいて、その展示物に対応するカメラの画像転送の優先度を決定する。
画像検索装置6は、プロセッサ、メモリ、記憶装置及びネットワークインターフェースを備える計算機であり、カメラ220によって撮影された画像データの画像特徴量及び低精細度画像データ(サムネイル画像)を記憶装置に格納する。さらに、センサ情報変換装置7から受信したセンサ情報を格納する。
画像検索装置6は、画像表示装置5からの検索要求に基づいて、画像蓄積装置4に蓄積された画像データの特徴量を検索し、検索結果(画像データの識別子及び低精細度画像データ)を画像表示装置5に返信する。なお、複数の画像検索装置6が、検索サーバ群を構成するとよい。
リクエスト変換装置3は、プロセッサ、メモリ及びネットワークインターフェースを備える計算機であり、画像蓄積装置4とカメラPC210の間の論理的な通信経路上に配置される。リクエスト変換装置3は、画像蓄積装置4からカメラPC210に送信される画像要求を中継する際に、伝送制御装置20を経由するようメッセージの送信元と宛先を変更し、かつ、伝送制御装置20から画像蓄積装置4に向かうメッセージの送信元と宛先を変更する。
具体的には、リクエスト変換装置3は、画像蓄積装置4から送信される画像要求に含まれる宛先(カメラPC210のIPアドレス)を伝送制御装置20のIPアドレスとポート番号(カメラPC210のIPアドレスに対応するポート番号)に変換し、送信元をリクエスト変換装置3に置き換えた画像要求を伝送制御装置20に送信する。また、リクエスト変換装置3は、伝送制御装置20から返信された高精細度画像データの宛先を画像蓄積装置4に変換し、送信元を返信された高精細度画像データの送信元であるカメラPC210のIPアドレスに変換した画像データを画像蓄積装置4に送信する。このため、リクエスト変換装置3は、カメラPC210のIPアドレスとポート番号を変換するためのアドレス変換テーブル30を備える。
画像表示装置5は、プロセッサ、メモリ、ネットワークインターフェース、操作部、及び表示部(モニタ50)を備え、本映像ネットワークシステムの管理者が操作する計算機であり、複数のカメラ220のサムネイル画像と、所望のカメラ220の画像を高精細度の画像でモニタ50に表示する。なお、操作部50は、ディスプレイとキーボードやマウスなどで構成される。
画像表示装置5は、画像検索装置を経由して受信する検知情報に基づいて、優先度の高いと判断したカメラからの画像を優先的に高精細度で表示する。ここで、検知情報とは、特定の特徴(動きや顔)を含む画像の特徴量と、そのサムネイル画像と、その画像の撮影元であるカメラIDを含む情報、あるいは、ある特定の移動ノード810の識別子と、その移動ノード810の位置を特定する固定ノード820の識別子と、その固定ノード820に対応したカメラ220のカメラIDを含む情報である。また、例えば注目度の高い展示物に対応するカメラのカメラIDを含む情報である。また、画像表示装置5は、管理者が操作部の操作によって選択したカメラ220によって撮影された画像を画像蓄積装置4から取得して、選択されたカメラ220によって撮影された画像を表示する優先度を上げるように制御してもよい。
位置情報表示端末9は、プロセッサ、メモリ、通信インターフェース、及び表示部を備える計算機である。位置情報表示端末9は、無線基地局800及び固定ノード820の位置(地図上の座標)を保持しており、移動ノード810と無線基地局800との接続/解除、及び、移動ノード810と固定ノード820との接続/解除の情報を受信し、無線基地局800又は固定ノード820の位置に、移動ノードに対応するアイコンを表示する。これによって、移動ノード810の位置情報を可視化することができる。
<センサネットワーク>
次に、センサネットワーク8について説明する。
センサネットワーク8は、センサ情報変換装置7に接続された無線基地局800、無線ネットワークを介して無線基地局800に接続されたノード810、820を備える。
本実施形態のノードには、位置が既知の固定ノード820、及び、人や物体に装着される移動ノード810が含まれる。
固定ノード820は、予め設定された識別子を赤外線発信機から送信するノードである。固定ノード820は、予め設定された固定ノードの識別子を格納するID格納部、識別子を発信する赤外線通信部を備える。なお、固定ノード820は無線基地局800と通信する通信部を備えてもよい。
移動ノード810は、固定ノード820から赤外線通信によって送信された識別子を受信する赤外線通信部、予め設定された移動ノードの識別子を格納するID格納部、及び、赤外線通信部によって受信した固定ノード820の識別子を無線基地局800へ送信する無線通信部を備える。なお、無線通信部は、受信した固定ノード820の識別子と共に、移動ノードの識別子を無線基地局800へ送信する。
移動ノード810が固定ノード820の近傍を通過すると、赤外線通信部は固定ノード820から赤外線通信によって送信された識別子を受信し、受信した固定ノード820の識別子及び移動ノード810の識別子を無線基地局800へ送信する。無線基地局800は、移動ノード810が固定ノード820の近傍を通過したことを、センサ情報変換装置7に通知することができる。
なお、固定ノード820が赤外線送受信機能及び/又は無線通信機能を備えてもよい。固定ノード820が備える赤外線送受信機能によって、固定ノード820と移動ノード810とが赤外線通信によって相互に識別子を送受信することができる。
また、移動ノード810が、所定範囲外の加速度を検出した場合に、センサ情報変換装置7において、当該移動ノード810が通信中の固定ノード820に対応するカメラ220によって撮影された画像の転送の優先度を上げることができる。このようにすると、移動ノード810を携帯している者の不審な行動を検出することができる。
<カメラ、ノードの配置>
図17及び図18は、本実施形態のカメラ220、無線基地局800及び固定ノード820の配置例を示し、図17はその全体図、図18は部屋1の拡大図である。なお、図17では、カメラ220を省略した。
各部屋には、1台の無線基地局800が設けられており、無線基地局800は、無線通信可能範囲に存在する移動ノード810と無線通信をする。各部屋内には、複数の固定ノード820が設けられており、各固定ノード820は、赤外線通信可能範囲に存在する移動ノード810と赤外線通信をする。
例えば、図17に示すように、移動ノード810が部屋1から部屋5に移動した場合、移動ノード810は、部屋1の無線基地局800との通信を切断し(接続を解除し)、部屋5の無線基地局800との通信を開始する(接続する)。
また、図18に示すように、固定ノード820の通信範囲を撮影範囲に含むように複数のカメラ220が設けられる。各カメラ220と固定ノード820とは対応付けられている。また、室内には部屋俯瞰用カメラ221が設けられる。部屋俯瞰用カメラ221と無線基地局800とは対応付けられている。この対応付けは、センサ情報変換装置7に保持されている基地局IDとカメラIDの対応テーブル(図15参照)に記録されている。
図17及び図18に示すように、無線通信は検出範囲が広いため、部屋単位等の広めで粗い位置単位で移動ノード810の位置を把握することができる。このため、無線通信によると、早期に移動ノード810の位置を把握することができる。一方、赤外線通信は検出範囲が狭いため、部屋内の狭く細かい位置単位で移動ノード810の位置を把握することができる。このため、赤外線通信によると、無線通信より遅れて移動ノード810の位置を把握することができる。
図15は、本実施形態の基地局IDとカメラIDの対応テーブル700を示す。この対応テーブル700は、前述したように、センサ情報変換装置7に保持されている。
基地局IDとカメラIDの対応テーブル700は、無線基地局800の識別子710及びカメラ220の識別子720を含み、無線基地局800の識別子710及びカメラ220の識別子720が対応して記録されている。
なお、無線基地局800の識別子は、本実施形態の映像ネットワークシステムに備わる無線基地局800に付与された一意の識別子である。なお、本実施の形態の映像ネットワークシステムに備わる固定ノード820にも一意の識別子が付与されており、対応テーブル700には、固定ノード820の識別子とカメラ220の識別子720との対応も記録されている。
固定ノード820とカメラ220との対応、及び、無線基地局800とカメラ220との対応は1対1の対応でなくてもよい。例えば、特定の位置を撮影している複数のカメラ220に一つの固定ノード820を対応させてもよい。
<移動ノードの状態>
図13は、本実施形態の移動ノード810の状態の遷移図である。
移動ノード810の位置は、センサ情報変換装置7によって管理される。移動ノード810の状態は、部屋及び位置の2変数において、各々「不明」又は「確定」の2状態があり、4種類の状態が発生する。
これらの状態間は、下記の四つのイベントによって遷移する。
GW−IN :移動ノード810と無線基地局800とが接続された。
GW−OUT:移動ノード810と無線基地局800との接続が解除された。
IR−IN :移動ノード810と固定ノード820とが接続された(移動ノード810が固定ノード820へ接近した)。
IR−OUT:移動ノード810と固定ノード820との接続が解除された(移動ノード810が固定ノード820から遠ざかった)。
また、移動ノード810の4種類の状態は以下のように定義される。
[状態1]
状態1は、GW−OUT及びIR−OUTの状態であり、移動ノード810が存在する部屋が不明で、かつ、移動ノード810の位置も不明な状態である。状態1では、移動ノード810に対応するアイコンを表示しない。状態1は、「移動ノードと無線基地局との接続が解除された」イベントを受信した場合に状態2から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態4から遷移する。
[状態2]
状態2は、GW−IN及びIR−OUTの状態であり、移動ノード810が存在する部屋は確定しているが、移動ノード810の部屋内の位置は不明な状態である。状態2では、移動ノード810に対応するアイコンが、移動ノード810と接続された基地局8が設置されている部屋の中心の位置に表示される。
なお、状態2では、アイコンの背景色は表示されない。状態2は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態1から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態3から遷移する。
[状態3]
状態3は、GW−IN及びIR−INの状態であり、移動ノード810が存在する部屋は確定しており、かつ、移動ノード810の部屋内の位置も確定している状態である。状態3では、移動ノード810と接続された固定ノード820が設置されている位置に、移動ノード810に対応するアイコンが表示される。このとき、移動ノード810のアイコンをアニメーションによって(例えば、アイコンによって表された人が歩くように)、アイコンの表示位置を移動させるとよい。
なお、状態3では、移動ノード810のアイコンは、固定ノード820のアイコンの背景と同じ背景色で表示される。状態3は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態2から遷移し、「移動ノードと固定ノードとが接続された」イベントを受信した場合に状態4から遷移する。
[状態4]
状態4は、GW−OUT及びIR−INの状態であり、移動ノード810が存在する部屋は不明であるが、移動ノード810の位置が確定している状態である。状態4では、移動ノード810と接続された固定ノード820が設置されている位置に、移動ノード810に対応するアイコンが表示される。
なお、状態4では、移動ノード810のアイコンは、固定ノード820のアイコンの背景と同じ背景色で表示される。すなわち、状態3から状態4に遷移した場合、アイコンの表示は変更されない。状態4は、「移動ノードと無線基地局とが接続された」イベントを受信した場合に状態1から遷移し、「移動ノードと固定ノードとの接続が解除された」イベントを受信した場合に状態3から遷移する。
<無線通信の有無から位置を把握する動作>
次に、無線通信によって移動ノード810の位置を把握する動作について説明する。
図18に示すように、室内に配置された部屋俯瞰用カメラ221は無線基地局800と対応付けられている。
センサ情報変換装置7は、移動ノード810が部屋毎に配置されている無線基地局800と接続したことを検出し、移動ノード810の位置を把握する。さらに、センサ情報変換装置7は、検出された移動ノード810の位置(例えば、移動ノード810が接続した無線基地局800が設けられた部屋の識別子)及び移動ノード810の位置に対応するカメラ220の識別子とを含む優先度情報を生成する。そして、センサ情報変換装置7は、生成された優先度情報を伝送制御装置20及び画像検索装置6へ送信する。
移動ノード810は、いずれかの無線基地局800と接続している間は、所定のタイミングで(例えば、周期的に)無線通信によって何らかのデータ、例えば図14(詳細は後述する)に示す赤外線観測データ、を送信する。この場合、赤外線通信によって固定ノードの識別子を受信していなかった場合、自移動ノードの識別子のみ含む赤外線観測データを送信する。 無線基地局800は、移動ノード810から無線通信で送られてくる赤外線観測データを受信すると、受信した赤外線観測データ及び当該無線基地局800に割り当てられた固有IDをセンサ情報変換装置7へ送信する。
センサ情報変換装置7は、移動ノード810毎にどの無線基地局800と接続しているか、又はいずれの基地局8にも接続していないかを表すフラグを管理している。具体的には、いずれかの無線基地局800と接続している場合は、接続先の無線基地局800の識別子がフラグに設定される。一方、いずれの無線基地局800にも接続していない場合は、「null」がフラグに設定される。
このように設定されたフラグ、無線基地局800から受信した移動ノード810の識別子及び無線基地局800の識別子を用いて、下記の位置情報生成処理を行う。
1)無線基地局Aに移動ノードXが接続し、移動ノードXの接続先フラグが「null」の場合、移動ノードXの接続先フラグに無線基地局Aの識別子を設定し、「移動ノードXが無線基地局Aに接続した」情報を生成する。
2)移動ノードXの接続先フラグが「A」で、無線基地局Aから移動ノードXの観測値が所定時間(例えば、5秒間)受信できなかった場合、移動ノードXの接続先フラグを「null」に設定し、「移動ノードXが無線基地局Aの通信範囲から離脱した」情報を生成する。
3)移動ノードXのフラグが「A」であり、移動ノードXが無線基地局Bに接続した場合、移動ノードXの接続先フラグに無線基地局Bの識別子を設定し、「移動ノードXが無線基地局Aから離脱した」情報、及び「移動ノードXが無線基地局Bに接続した」情報を、続けて生成する。
生成された接続情報は、伝送制御装置20及び画像検索装置6に送信される。生成された接続情報には、少なくとも、接続又は離脱した時刻、移動ノード810の識別子、接続または離脱した無線基地局800の識別子、無線基地局800に対応する部屋俯瞰用のカメラ220の識別子を含む。あるいは、該当する部屋にある全てのカメラの識別子を含んでもよい。
<赤外線観測データから位置を把握する動作>
図18に示すように、赤外線を発信する固定ノード820はカメラ220とペアで配置される。
移動ノード810は、固定ノード820から送信される固定ノードの識別子を受信すると、受信した固定ノードの識別子を含むデータを無線基地局800に送信する。すなわち、移動ノード810は、新たな固定ノード820から識別子を受信すると、無線基地局に送信するデータに、新たな固定ノードの識別子を含める。
センサ情報変換装置7は、移動ノード810から送信されたデータに新たな受信ノードIDが含まれるように変化したことを検出すると、移動ノード810(当該移動ノード810を保持した人物)が、ある固定ノード820の前に来たことを検出し、移動ノード810の位置を把握する。さらに、センサ情報変換装置7は、移動ノード810の位置情報及び移動ノード810の位置に対応するカメラの識別子を含む優先度情報を生成し、生成された優先度情報を伝送制御装置20及び画像検索装置6へ送信する。
より具体的には、固定ノード820は、所定のタイミングで(例えば、0.25秒等の所定の時間間隔で)自ノードに付与された識別子を赤外線を用いて送信する。
移動ノード810は、所定時間(例えば、2秒間)赤外線を受信し、受信した固定ノードの識別子を含む赤外線観測データを無線基地局800へ送信する
図14は、本実施形態の移動ノード810が無線通信によって送信する赤外線観測データ600の形式を示す説明図である。
赤外線観測データ600は、前記所定時間内に受信したノードのID数630、受信したノードのID640、及び、各IDの2秒間の受信回数650を含む。さらに、赤外線観測データ600は、前記移動ノードから赤外線観測データを無線送信した時刻610及び自ノードの識別子620を含む。 なお、前記所定時間内に固定ノードの識別子を受信しなかった場合、赤外線観測データ600は送信時刻610及び自ノードの識別子620のみを含む。
無線基地局800は、移動ノード810から送信された赤外線観測データ600を受信すると、受信した赤外線観測データ600を自無線基地局の識別子と共に、センサ情報変換装置7へ送信する。
センサ情報変換装置7は、無線基地局800から送信された赤外線観測データ600を受信すると、受信した赤外線観測データ600から、移動ノード810が通信している固定ノード820の識別子を抽出する。そして抽出された固定ノード識別子に基づいて、移動ノード810毎に設けられた固定ノード820との通信状態を表す通信先フラグを設定する。具体的には、いずれかの固定ノード820と接続している場合は、接続先の固定ノード820の識別子がフラグに設定される。一方、いずれの固定ノード820にも接続していない場合は、「null」がフラグに設定される。
センサ情報変換装置7は、前述したように固定ノードIDとカメラIDの対応表700(図15参照)を保持している。なお、本実施形態では、固定ノードIDとカメラIDの対応表は、基地局IDとカメラIDの対応テーブル700に含まれているが、基地局IDとカメラIDの対応テーブル700とは別個に、固定ノードIDとカメラIDの対応表を設けてもよい。
センサ情報変換装置7は、移動ノード810が固定ノード820と接続した又は接続を解除した場合に、接続/解除時刻、移動ノードの識別子及びカメラの識別子を含む接続/離脱メッセージ900(図16参照)を、伝送制御装置20及び画像検索装置6へ送信する。
なお、赤外線通信による「固定ノードへ接続」と、無線通信による「無線基地局へ接続」が同時に到来した場合、「固定ノードへ接続」が優先される。
図16は、本実施形態の接続/離脱メッセージ900の形式を示す説明図である。
接続/離脱メッセージ900は、メッセージ長910、メッセージ種別920、移動ノードの識別子930、固定ノードの識別子/無線基地局の識別子940、カメラの識別子950及びタイムスタンプ960を含む。メッセージ種別920は、「接続通知」又は「離脱通知」に対応するコードが設定される。
画像検索装置6は、接続/離脱メッセージ900を受信すると、受信した接続/離脱メッセージ900を記憶する。画像検索装置6が、移動ノードの識別子930とカメラの識別子950と対応させて記憶することによって、移動ノードが特定された画像を(例えば、Aさんの写っている画像)を検索することが可能になる。
画像表示装置5は、受信したカメラの識別子に基づいて、表示の優先度を決定する。特定の位置を撮影している複数のカメラ220に一つの固定ノード820が対応している場合、当該固定ノード820に対応する複数のカメラ220の優先度を全て上げることができる。
また、前述したように、固定ノード820が赤外線送受信機能及び/又は無線通信機能を備える場合には、固定ノード820と移動ノード810とが赤外線通信によって相互に識別子を送受信することができる。そして、固定ノード820は、移動ノード810の識別子を受信した場合に、受信した移動ノードの識別子を含む赤外線観測データを、無線基地局800を経由して、センサ情報変換装置7に送る。このようにすれば、無線通信が不安定な場合にも、センサ情報変換装置7は、固定ノード820又は移動ノード810のどちらか一方から赤外線観測データが届けば、移動ノードの位置を認識することができ、信頼性を向上することができる。
<想定する応用先>
実施例では、展示会における、展示企業・機関毎、展示毎、あるいは展示説明者毎の注目度評価を例に説明したが、他の応用先もあり得る。例えば、学校やセミナーにおけるクラス(講師)毎の評価、共同就職説明会における企業毎の評価、企業側説明者毎の評価、学会発表会場における、発表(発表者)毎、ポスター毎、あるいはポスター説明者毎の評価、百貨店、量販店などの店舗における、売り場毎、あるいは販売員毎の評価、自動車販売店における、車種毎、あるいは販売員毎の評価、等も想定される。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものでなく、種々変形実施可能であり、上述した各実施形態を適宜組み合わせることが可能であることは、当業者に理解されよう。
BS1、BS2…基地局デバイス、WC1、WC2、WC3…無線通信、LAN1…有線ネットワーク、SV1…管理サーバ、PC1、PC2…コンピュータ、KE1…キーボード、MO1…マウス、CV1…赤外線通信、PH1…IP電話、DO1…バーコード・タグ付媒体、RD2…バーコード・ICタグ読み込み、RD1…バーコード・ICタグリーダ、CO1…カメラ、MI1…マイク、WKR1、WKR2…展示参加者、SNS1…音声センシング、SD1…センサデータ、SN0…センサノード、CPU0…プロセッサ回路、RF0…無線回路、SNS0…音・加速度・温度・赤外線センサ、MS2…センサデバイス制御プログラム、MEM0…メモリ、IN0…ボタン、OUT0…LCD・LED・ブザー、MAILSV1…メール管理サーバ、NTPS…時刻管理サーバ、BC1、BC2…赤外線信号発信機、BIR1、BIR2…赤外線信号