JP2018195194A - 情報処理システム、情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザの動作と周囲の状況に応じて適切に警告を行う情報処理システム、情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】情報処理システ１は、画像を取得する取得装置１００と、警告を出力する警告装置３００と、情報処理装置２００とを備える。取得装置は、取得した画像を情報処理装置に送信する。前記警告装置は、情報処理装置から受信した警告の内容に基づいて警告を出力する。情報処理装置は、取得装置から受信した画像に基づいて、ユーザの動作を表す動作情報とユーザの周辺環境を表す周辺情報とを特定し、動作情報と周辺情報とに基づいて、ユーザの動作に関する警告の内容を特定し、特定した警告の内容を警告装置に送信する。
【選択図】図１

Description

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。

スマートフォン等の携帯型電子機器の普及に伴い、歩きながらスマートフォン等の閲覧、操作等を行う、いわゆる「歩きスマホ」が増加している。歩きスマホ中のユーザが、前方不注意により、転倒したり、他者と衝突したりする場合もあり、社会的にも問題となっている。このように移動しながら電子機器を閲覧、操作するユーザに対しては、警告を行い、転倒、衝突等の事故を未然に防ぐことが好ましい。しかし、周囲の状況によっては、危険性が少なく、警告を行う必要がない場合もあり、ユーザの動作と周囲の状況に応じて適切に警告を行うことが求められている。

例えば、特許文献１には、監視対象が写った映像を基に、監視対象の移動軌跡と滞在時間とに基づいて、監視対象が所定の動作を実行したか否かを判定する監視システムが開示されている。

特開２０１１−３４４５８号公報

しかしながら、特許文献１に記載の技術は、監視対象の動作を判定するものであり、監視対象の周辺の状況を監視し、警告内容を判定することについては検討されていない。つまり、ユーザの動作と周囲の状況に応じて適切に警告を行うことができないという課題があった。

本発明は上記の点に鑑みてなされたものであり、ユーザの動作と周囲の状況に応じて適切に警告を行うことができる情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像を取得する取得装置と、警告を出力する警告装置と、情報処理装置とを備える情報処理システムであって、前記取得装置は取得した前記画像を前記情報処理装置に送信し、前記警告装置は前記情報処理装置から受信した警告の内容に基づいて警告を出力し、前記情報処理装置は、前記取得装置から受信した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定し、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定し、特定した前記警告の内容を前記警告装置に送信する、情報処理システムである。

また、本発明の一態様は、画像を取得する取得部と、警告を出力する警告部と、制御部とを備え、前記制御部は、前記取得部が取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定し、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定し、特定した前記警告の内容に基づいて、前記警告部に警告を出力させる、情報処理装置である。

また、本発明の一態様は、画像を取得する取得ステップと、警告を出力する警告ステップと、前記取得ステップにおいて取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定するステップと、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定するステップと、特定した前記警告の内容に基づいて、前記警告部に警告を出力させるステップと、を有する情報処理方法である。

また、本発明の一態様は、コンピュータに、画像を取得する取得手順と、警告を出力する警告手順と、前記取得手順において取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定する手順と、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定する手順と、特定した前記警告の内容に基づいて、前記警告部に警告を出力させる手順と、を実行させるためのプログラムである。

本発明によれば、ユーザの動作と周囲の状況に応じて適切に警告を行うことができる。

第１の実施形態に係る情報処理システムの構成例を示すブロック図である。 第１の実施形態に係るユーザ検出の一例を示す図である。 第１の実施形態に係る危険度算出の一例を示す第１の図である。 第１の実施形態に係る危険度算出の一例を示す第２の図である。 第１の実施形態に係る警告テーブルの一例を示す図である。 第１の実施形態に係る情報処理システムの処理の一例を示すフローチャートである。 第２の実施形態に係る情報処理システムの構成例を示すブロック図である。 第２の実施形態に係る情報処理システムの処理の一例を示すフローチャートである。 第３の実施形態に係る危険度の算出式の変更例を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。
＜第１の実施形態＞
まず、本発明の第１の実施形態に係る情報処理システム１の構成について説明する。
図１は、第１の実施形態に係る情報処理システム１の構成を示すブロック図である。情報処理システム１は、取得装置１００と、情報処理装置２００と、警告装置３００とを備える。情報処理装置２００と、取得装置１００および警告装置３００は有線または無線の通信回線を介して接続されている。なお、取得装置１００または警告装置３００は、情報処理装置２００内において取得装置１００または警告装置３００と同様の機能を有する取得部または警告部として構成されてもよい。

取得装置１００は、ユーザの動作を表す動作情報とユーザの周辺環境を表す周辺情報とを取得する。本実施形態では、取得装置１００はＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ、ＣＣＤ（Charge Coupled Device）カメラ等の撮像装置であり、所定の範囲におけるユーザおよびユーザ周辺の画像を撮像する。取得装置１００は、撮像した画像からなる撮像データ（静止画または動画）を情報処理装置２００へ送信する。なお、取得装置１００は、複数存在してもよい。また、取得装置１００は、撮像装置に限らず、赤外線センサ等の各種センサにより、ユーザの動作を表す動作情報とユーザの周辺環境を表す周辺情報とを取得するものであってもよい。また、取得装置１００は、例えばネットワーク経由で取得装置から画像を取得する通信機能を提供するものであってもよい。

情報処理装置２００は、情報処理機能を有するコンピュータ装置であり、例えば、サーバ装置、パーソナルコンピュータ等である。情報処理装置２００は、制御部２１０と、記憶部２２０と、通信部２３０とを備える。

制御部２１０は、情報処理装置２００の各種機能を制御する。制御部２１０が有する機能の一部または全ては、例えば、制御部２１０が備えるＣＰＵ（Central Processing Unit）等の１以上のプロセッサが記憶部２２０に記憶されている各種プログラムを実行することにより実現されてもよい。制御部２１０は、ユーザ検出部２１１と、周辺検出部２１２と、危険度算出部２１３と、警告特定部２１４とを備える。

ユーザ検出部２１１は、予め定められた条件を満たして移動しているユーザ（以降、第１ユーザとも称する）を検出する。本実施例では、ユーザ検出部２１１は、記憶部２２０から、取得装置１００から取得した撮像データを取得する。ユーザ検出部２１１は、取得した撮像データを解析し、撮像データに含まれるユーザ（人物）を抽出する。そして、ユーザ検出部２１１は、抽出したユーザが、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行しているか否かを判定する。ユーザ検出部２１１は、当該判定を、例えば、ユーザの体の部位（頭、顔、手、腕等）の位置、向き、移動方向、角度の情報やユーザの体の部位（手、腕等）付近の物体（電子機器等）の外観、形状等に基づいて行う。ユーザ検出部２１１は、当該判定により予め定められた条件を満たして移動していると判定された第１ユーザについての情報（位置、移動方向、移動速度等）を動作情報として特定し、周辺検出部２１２および危険度算出部２１３に出力する。
ユーザ検出部２１１による第１ユーザの検出の例については後述する。

周辺検出部２１２は、ユーザ検出部２１１から入力された第１ユーザの周辺に存在する物体を検出する。当該物体は、例えば、第１ユーザ周辺の人物や動物、車、電車等の乗り物、ショッピングカートや自動販売機等の各種物体が含まれる。本実施形態では、周辺検出部２１２は、第１ユーザの周辺に存在するユーザ（以降、第２ユーザとも称する）を検出する。周辺検出部２１２は、記憶部２２０から、取得装置１００から取得した撮像データを取得する。周辺検出部２１２は、取得した撮像データを解析し、第１ユーザから所定の範囲内に存在する第２ユーザを抽出する。周辺検出部２１２は、第２ユーザについての情報（位置、移動方向、移動速度等）を周辺情報として特定し、危険度算出部２１３に出力する。
周辺検出部２１２による第２ユーザの検出の例については後述する。なお、ユーザ検出部２１１または周辺検出部２１２は複数の取得装置１００から得られた撮像データに基づいて、上述の処理を行ってもよい。

危険度算出部２１３は、ユーザ検出部２１１および周辺検出部２１２の検出結果に基づいて、危険度を算出する。危険度とは、第１ユーザの行動が第１ユーザまたは第２ユーザに対して及ぼす危険（影響）の度合いを表す情報である。本実施形態では、危険度は、第１ユーザについての危険の度合いを表す第１危険度と、第２ユーザについての危険の度合いを表す第２危険度に基づいて算出される。第１危険度および第２危険度を算出するための要素は、第１ユーザの周辺に存在する人（第２ユーザ）の数、第１ユーザおよび第２ユーザの移動速度、移動方向、位置、第１ユーザおよび第２ユーザ周辺の移動体（自動車、ショッピングカート等）の情報、第１ユーザおよび第２ユーザ周辺の設置物、障害物等の情報等を含む。危険度算出部２１３は、第１危険度および第２危険度に基づいて危険度を算出し、警告特定部２１４に出力する。
危険度算出部２１３による危険度の算出の例については後述する。

警告特定部２１４は、危険度算出部２１３から入力された危険度に基づいて、第１ユーザの動作に関する警告の内容を特定する。警告の内容には、警告の対象、内容（メッセージ等）および警告手段を表す情報が含まれる。警告の内容は、警告を実施する場所およびタイミングを表す情報を含んでもよい。警告特定部２１４は、記憶部２２０が保持する警告テーブルに基づいて、警告の内容を特定する。その後、警告特定部２１４は、警告内容の特定結果を、通信部２３０を介して警告装置３００に送信する。
警告特定部２１４による警告内容の特定の例については後述する。

記憶部２２０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより構成される。記憶部２２０は、情報処理装置２００に関する各種情報やプログラムを記憶する。記憶部２２０は、例えば、取得装置１００から、通信部２３０を介して取得した撮像データや、警告テーブル、警告内容の特定結果等を記憶する。

通信部２３０は、有線または無線の通信回線を介して装置間の通信を行うための外部インターフェイスを備え、制御部２１０の制御に基づいて、取得装置１００やその他の外部装置と通信する。

警告装置３００は、情報処理装置２００から受信した警告情報に基づいて、各種の警告を行う。警告装置３００は、例えば、スピーカや指向性スピーカを備え、音声による警告を行う。指向性スピーカとは、音声の伝播する方向を制御し、音声を拡散させないスピーカである。指向性スピーカを用いることで、特定の狭い範囲にいる人に選択的に音声を流すことができる。つまり、警告の対象者にのみ警告音声を聞かせ、周囲の人には不要な警告音声を聞かせないようにすることができる。また、警告装置３００は、例えば、ディスプレイやＬＥＤ（Light Emitting Diode）ライトを備え、文字や映像、各種記号、ライトの点滅等により警告を行ってもよい。また、警告装置３００は、例えばネットワーク経由で警告装置に警告を与える通信機能を提供するものであってもよい。

次に、ユーザ検出部２１１および周辺検出部２１２による第１ユーザおよび第２ユーザの検出の例について説明する。
図２は、本実施形態におけるユーザ検出の一例を示す図である。図２の例では、取得装置１００が撮像した撮像データの撮像範囲（画角）をＡ１で示している。
ユーザ検出部２１１は、撮像範囲Ａ１内の画像を解析し、撮像範囲Ａ１に含まれる人物を抽出する。ユーザ検出部２１１は、種々の方法により人物の抽出を行ってよい。例えば、予め背景のみが撮影された映像と入力映像の差分により検出する背景差分による方法を用いてもよい。また、例えば、設定された大きさの検出ウィンドウ内の画像を切り出したパターン画像に対し、人物であるかの判別を行う方法を用いてもよい。

ユーザ検出部２１１は、抽出したユーザが、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行しているか否かを判定する。本実施例では、ユーザ検出部２１１は、ユーザの手、顔の位置を検出し、ユーザの手の位置に把持物があるかを判定する。把持物がある場合、ユーザ検出部２１１は、当該把持物が電子機器であるかを外観から判定する。また、ユーザ検出部２１１は、ユーザの顔が所定の時間以上、把持している電子機器の方向を向いているかを判定する。さらに、ユーザ検出部２１１は、ユーザが所定の速度以上で移動しているかを判定する。以上の条件に合致する場合、ユーザ検出部２１１は、ユーザが、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行していると判定する。ユーザ検出部２１１は、当該ユーザを第１ユーザとして管理し、第１ユーザの情報（位置、移動方向、移動速度等）を周辺検出部２１２に出力する。なお、その他の判定方法（視線検出等を用いて、上述の判定を行ってもよい。

周辺検出部２１２は、ユーザ検出部２１１から取得した第１ユーザの情報に基づいて、第１ユーザの周辺に存在するユーザを抽出する。図２の例では、第１ユーザであるユーザ１を中心として、半径Ｒの円内に存在するユーザ１、ユーザ２、ユーザ３を抽出し、第２ユーザとして管理する。周辺検出部２１２は、ユーザ４については、半径Ｒの円内に存在しないため抽出しない。第２ユーザを抽出する範囲は、ユーザ１を中心とする円に限らず、例えば、ユーザの進行方向の範囲を広く設定してもよいし、第１ユーザ周辺の地形や駅等の構内の形状に応じて変更してもよい。周辺検出部２１２は、抽出した第２ユーザの情報（位置、移動方向、移動速度等）を危険度算出部に出力する。
以上で、ユーザ検出部２１１および周辺検出部２１２による第１ユーザおよび第２ユーザの検出の例についての説明を終了する。

次に、危険度算出部２１３による危険度の算出の例について説明する。
図３は、本実施形態に係る危険度算出の一例を示す第１の図である。図３（ａ）は、第１危険度の算出例を示す図である。本実施形態では、第１危険度ｙは第２ユーザの人数ｘをパラメータとする関数ｙ＝ｆ（ｘ）で表される。危険度算出部２１３は、周辺検出部２１２から取得した、第１ユーザ周辺の第２ユーザの人数を当該関数に入力して、第１危険度のレベルを取得する。この例では、第２ユーザの人数が３人であるため、ｆ（３）＝４が第１危険度のレベルとなる。

図３（ｂ）は第２危険度の算出例を示す図である。本実施形態では、第２危険度ｙは、図３（ａ）と同様に、第２ユーザの人数ｘをパラメータとする関数ｙ＝ｇ（ｘ）で表される。危険度算出部２１３は、周辺検出部２１２から取得した、第１ユーザ周辺の第２ユーザの人数を当該関数に入力して、第２危険度のレベルを取得する。この例では、第２ユーザの人数が３人であるため、ｇ（３）＝２が第２危険度のレベルとなる。

なお、関数ｙ＝ｆ（ｘ）およびｙ＝ｇ（ｘ）は、各種条件により設定され、種々の関数となりえる。また、パラメータも第２ユーザの人数に限らず種々のパラメータを使用可能である。また、危険度算出部２１３は、関数によらず、予め定められた条件に基づいて第１危険度を取得してもよい。

図４は、本実施形態に係る危険度算出の一例を示す第２の図である。危険度算出部２１３は、算出した第１危険度および第２危険度に基づいて危険度を算出する。本実施形態では、危険度算出部２１３は、図４に示す通り、横軸を第１危険度、縦軸を第２危険度として、危険度を４つ（Ａ、Ｂ、Ｃ、Ｄ）に分類する。図４の例では、第１危険度がレベル４、第２危険度がレベル２であるため、危険度はＢに分類される。なお、危険度の算出は、上記の象限（マトリクス）による分類だけに限られず、その他の方法により行われてもよい。
以上で、危険度算出部２１３による危険度の算出の例についての説明を終了する。

次に、警告特定部２１４による警告内容の特定の例について説明する。
警告特定部２１４は、危険度算出部２１３から入力された危険度と、記憶部２２０が保持する警告テーブルに基づいて、警告の内容を特定する。

図５は、本実施形態に係る警告テーブルの一例を示す図である。図５に示す通り、警告テーブルは、危険度毎のレコードを有し、各レコードは、危険度の「説明」および「警告内容」のフィールドを有する。

「説明」フィールドは、各危険度の説明を示すフィールドである。例えば、危険度“Ａ”は、“本人、周辺ともに危険度が高く、警告が必要なレベル”であることを示している。
「警告内容」のフィールドは、「警告対象」、「警告メッセージ」、「警告手段」のフィールドを有する。

「警告対象」フィールドは、警告すべき対象を示すフィールドである。
「警告メッセージ」フィールドは、音声、映像等で警告対象に通知する警告の内容を示すフィールドである。
「警告手段」フィールドは、警告を行う手段を示すフィールドである。警告を行う手段には、スピーカや指向性スピーカを用いた音声による警告や、ディスプレイを用いた文字や映像による警告が含まれる。

例えば、危険度“Ａ”の場合は、“第１ユーザ”に対して、“「歩きスマホをやめてください。危険です。」”、“第２ユーザ”に対して、“「周辺に歩きスマホユーザがいます。危険です。」”と音声（スピーカ）により警告を行うことを示している。
また、図４の例では、危険度が“Ｂ”であるため、“第１ユーザ”に対して、“「歩きスマホをやめてください。危険です。」”と“音声（指向性スピーカ）”により警告を行うことを示している。この場合、警告装置３００は、警告音声を、指向性スピーカにより、第１ユーザに向けて発する。

警告特定部２１４は、上述したように警告テーブルに基づいて、警告内容（警告対象、警告メッセージ、警告手段）を特定し、特定した結果を警告装置３００へ、通信部２３０を介して送信する。
以上で、警告特定部２１４による警告内容の特定の例についての説明を終了する。

次に、情報処理システム１の処理の流れについて説明する。
図６は、本実施形態に係る情報処理システム１の処理の一例を示すフローチャートである。

（ステップＳ１０１）情報処理装置２００は、取得装置１００が撮像した所定の範囲における撮像データを、通信部２３０を介して取得する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）ユーザ検出部２１１は、取得した撮像データを解析し、撮像データに含まれる人物を抽出する。その後、ステップＳ１０３の処理に進む。

（ステップＳ１０３）ユーザ検出部２１１は、抽出したユーザが、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行しているか（すなわち第１ユーザであるか）を判定する。第１ユーザと判定された場合（ステップＳ１０３／ＹＥＳ）、ステップＳ１０４の処理に進む。ユーザが抽出されない場合、または抽出されたユーザが第１ユーザと判定されない場合（ステップＳ１０３／ＮＯ）、ステップＳ１０１の処理に戻る。
（ステップＳ１０４）周辺検出部２１２は、撮像データを解析し、第１ユーザの周辺の情報（物体、第２ユーザ等）を抽出する。その後、ステップＳ１０５の処理に進む。

（ステップＳ１０５）危険度算出部２１３は、ユーザ検出部２１１から入力された第１ユーザの動作情報と周辺検出部２１２から入力された第１ユーザの周辺情報に基づいて、危険度を算出する。具体的には、図３および図４の例で説明したように、第１危険度および第２危険度を算出し、算出した第１危険度および第２危険度に基づいて、危険度を算出する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）警告特定部２１４は、危険度算出部２１３から入力された危険度に基づいて、警告の内容（警告対象、警告メッセージ、警告手段等）を特定する。警告特定部２１４は、特定結果を、通信部２３０を介して警告装置３００に送信する。その後、ステップＳ１０７の処理に進む。

（ステップＳ１０７）警告装置３００は、情報処理装置２００から受信した特定結果に基づいて、警告を行う。具体的には、特定結果に記述された警告対象（第１ユーザ、第２ユーザ等）に対して、警告メッセージの内容（「注意してください。」等）を、警告手段（スピーカ出力、ディスプレイ表示）によって警告する。その後、処理を終了する。
以上で、情報処理システム１の処理の流れの説明を終了する。

以上説明したように、本実施形態に係る情報処理システム１は、画像を取得する取得装置１００と、警告を出力する警告装置３００と、情報処理装置２００とを備える情報処理システムであって、取得装置１００は取得した画像を情報処理装置２００に送信し、警告装置３００は情報処理装置２００から受信した警告の内容に基づいて警告を出力し、情報処理装置２００は、取得装置１００から受信した画像に基づいてユーザの動作を表す動作情報とユーザの周辺環境を表す周辺情報とを特定し、動作情報と周辺情報とに基づいて、ユーザの動作に関する警告の内容を特定し、特定した警告の内容を警告装置３００に送信する。
これにより、ユーザの動作と周囲の状況に応じて適切に警告を行うことができる。

また、本実施形態に係る情報処理装置２００は、画像を取得する取得部と、警告を出力する警告部と、制御部２１０とを備え、制御部２１０は、取得部が取得した画像に基づいてユーザの動作を表す動作情報とユーザの周辺環境を表す周辺情報とを特定し、動作情報と周辺情報とに基づいて、ユーザの動作に関する警告の内容を特定し、特定した警告の内容に基づいて、警告部に警告を出力させる。
これにより、ユーザの動作と周囲の状況に応じて適切に警告を行うことができる。

また、制御部２１０は、動作情報に基づいて、予め定められた条件を満たして移動している第１ユーザを検出し、周辺情報に基づいて、第１ユーザの周辺に存在する物体を検出し、第１ユーザと物体の検出結果に基づいて、危険度を算出し、危険度に基づいて第１ユーザの動作に関する警告の内容を特定する。
これにより、危険度に基づいて、危険を及ぼすユーザの動作に関して適切に警告の内容を特定することができる。

また、制御部２１０は、周辺情報に基づいて、前記第１ユーザの周辺に存在する第２ユーザを検出し、危険度に基づいて前記第１ユーザまたは第２ユーザに対する警告の内容を特定する。
これにより、危険度に基づいて、危険を及ぼす動作中のユーザまたはその周辺のユーザに適切に警告を行うことができる。

また、制御部２１０は、第１ユーザについての第１危険度と、第２ユーザについての第２危険度に基づいて、危険度を算出する。
これにより、危険を及ぼす動作中のユーザと、その周辺のユーザのそれぞれの危険度を用いて、より精度よく危険度を算出することができる。

また、制御部２１０は、前記第２ユーザの数に基づいて前記危険度を算出する。
これにより、危険を及ぼす動作中のユーザの周辺の混雑具合に応じて、適切に警告の内容を判定することができる。

また、制御部２１０は、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行しているユーザを第１ユーザとして検出する。
これにより、いわゆる歩きスマホをしているユーザを検出し、当該周囲の状況に応じて適切に警告を行うことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付し、その説明を援用する。

図７は、本実施形態に係る情報処理システム２の構成を示すブロック図である。情報処理システム２は、取得装置１００と、情報処理装置２００と、警告装置３００と、第２取得装置４００と、第２情報処理装置５００と、第２警告装置６００とを備える。

取得装置１００、情報処理装置２００および警告装置３００の構成は、第１の実施形態と同様である。ただし、本実施形態では、警告特定部２１４は、危険度に基づいて、警告を実施する場所またはタイミングを特定する。これにより、即時に警告する必要はないが、事後的に本人に対して注意喚起する（例えば、ユーザが改札通過時に改札機の表示画面に警告メッセージを表示する）等の柔軟な警告が可能となる。

警告特定部２１４は、警告場所として特定した装置（本実施形態では第２警告装置６００で警告）に対して、通信部２３０を介して、特定結果を送信する。特定結果には、警告対象ユーザを特定するための情報を含めてもよい。ユーザを特定するための情報とは、例えば、服装、体格、所持品等を表す特徴量であってもよい。

第２情報処理装置５００は、有線または無線の通信回線を介して、情報処理装置２００、第２取得装置および第２警告装置と接続されている。なお、第２取得装置４００または第２警告装置６００は、第２情報処理装置５００内において、第２取得装置４００または第２警告装置６００と同様の機能を有する第２取得部または第２警告部として構成されてもよい。

第２取得装置４００は、本実施形態では、取得装置１００と同様の機能を有する撮像装置である。第２取得装置４００は、所定の範囲におけるユーザおよびユーザ周辺の画像を撮像する。第２取得装置４００は、撮像した画像からなる撮像データ（静止画または動画）を第２情報処理装置５００へ送信する。

第２情報処理装置５００は、情報処理機能を有するコンピュータ装置であり、例えば、サーバ装置やパーソナルコンピュータである。第２情報処理装置５００は、第２制御部５１０と、第２記憶部５２０と、第２通信部５３０とを備える。

第２制御部５１０は、第２情報処理装置５００の各種機能を制御する。第２制御部５１０が有する機能の一部または全ては、例えば、第２制御部５１０が備えるＣＰＵ（Central Processing Unit）等の１以上のプロセッサが第２記憶部５２０に記憶されている各種プログラムを実行することにより実現されてもよい。第２制御部５１０は、第２ユーザ検出部５１１と、第２警告特定部５１２とを備える。

第２ユーザ検出部５１１は、第２取得装置４００から取得した撮像データを解析し、撮像データに、警告対象の第１ユーザが含まれるか否かを判定する。第２ユーザ検出部５１１は、例えば、情報処理装置２００から受信したユーザの特徴量が所定の基準以上に合致する場合に警告対象の第１ユーザであると判定する。第２ユーザ検出部５１１は、警告対象の第１ユーザを抽出した場合、その結果を第２警告特定部５１２に出力する。

第２警告特定部５１２は、第２通信部５３０を介して、情報処理装置２００から警告内容の特定結果を取得する。警告内容の特定結果には、警告対象、警告メッセージ、警告手段、警告場所、警告タイミングが含まれる。第２警告特定部５１２は、警告特定結果に基づいて、警告の内容を決定し、第２警告装置６００に警告を実施させる。例えば、警告対象が“ユーザＡ”、警告メッセージが“「歩きスマホをやめてください。危険です。」”、警告手段が“第２警告装置（改札機表示画面）”、警告場所が“駅改札”、警告タイミングが“改札通過時”であるとする。この場合、第２警告特定部５１２は、第２ユーザ検出部から取得したユーザの情報に基づいて、ユーザＡが駅改札において改札を通過するタイミングにおいて、第２警告装置（改札機表示画面）に「歩きスマホをやめてください。危険です。」と表示するよう制御する。

第２記憶部５２０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより構成される。第２記憶部５２０は、第２情報処理装置５００に関する各種情報やプログラムを記憶する。第２記憶部５２０は、例えば、第２取得装置４００から取得した撮像データや、情報処理装置２００から取得した警告特定結果等を記憶する。

第２通信部５３０は、有線または無線の通信回線を介して装置間の通信を行うための外部インターフェイスを備え、第２制御部５１０の制御に基づいて、第２取得装置４００やその他の外部装置と通信する。

第２警告装置６００は、取得装置１００による撮像範囲と異なる場所に設置され、第２情報処理装置５００の制御に基づいて、各種の警告を行う。第２警告装置６００は、前述の通り改札機表示画面であってもよいし、警告装置３００と同様に、スピーカや指向性スピーカであって、音声による警告をおこなってもよいし、ディスプレイやＬＥＤ（Light Emitting Diode）ライトを備え、文字や映像、各種記号、ライトの点滅等により警告を行ってもよい。

次に、情報処理システム２の処理の流れについて説明する。
図８は、本実施形態に係る情報処理システム２の処理の一例を示すフローチャートである。図８において、ステップＳ１０１からステップＳ１０７の処理については、第１の実施形態と同様であるため、説明を省略し、ステップＳ２０１から説明を行う。

（ステップＳ２０１）警告特定部２１４は、警告のタイミングが即時であるか否かを判定し、即時の警告である場合（ステップＳ２０１／ＹＥＳ）、ステップＳ１０７の処理に進む。即時の警告でない場合（ステップＳ２０１／ＮＯ）、ステップＳ２０２の処理に進む。
（ステップＳ２０２）警告特定部２１４は、警告実施場所に設置された警告装置（この例では第２警告装置に接続する第２情報処理装置）に、特定結果を送信する。その後、ステップＳ２０３の処理に進む。

（ステップＳ２０３）第２情報処理装置５００は、第２取得装置４００が撮像した所定の範囲の撮像データを、第２通信部５３０を介して取得する。その後、ステップＳ２０４の処理に進む。
（ステップＳ２０４）第２ユーザ検出部５１１は、取得した撮像データを解析し、警告対象のユーザを抽出する。第２ユーザ検出部５１１は、警告対象のユーザを抽出した場合、警告対象を抽出した旨を第２警告特定部５１２に通知する。その後、ステップＳ２０５の処理に進む。

（ステップＳ２０５）第２警告特定部５１２は、警告場所および警告タイミングが特定結果と合致するかを判定する。警告場所および警告タイミングが特定結果と合致する場合（ステップＳ２０５／ＹＥＳ）、第２警告特定部５１２は、第２警告装置６００に警告を実施するよう指示する。その後、ステップＳ２０６の処理に進む。警告場所または警告タイミングが特定結果と合致しない場合（ステップＳ２０５／ＮＯ）、ステップＳ２０３の処理に戻る。
（ステップＳ２０６）第２警告装置６００は、第２警告特定部５１２からの指示に基づき、警告を行う。その後、処理を終了する。
以上で、情報処理システム２の処理の一例の説明を終了する。

以上説明したように、本実施形態に係る情報処理システム２において、情報処理装置２００の制御部２１０は、危険度に基づいて、第１ユーザに対して警告を行うタイミングまたは場所を特定する。
これにより、警告のタイミングまたは場所を適切に特定することができる。

また、制御部２１０は、特定の結果に基づいて、第２警告装置６００に、前記画像に撮像されている場所とは異なる場所において、第１ユーザに対して警告を出力させる。
これにより、危険度に応じて、適切な場所で警告を行うことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付し、その説明を援用する。
本実施形態は、第１または第２の実施形態とシステム構成は同じである。本実施形態では、危険度算出部２１３は、ユーザ検出部２１１または周辺検出部２１２の検出結果に基づいて、第１危険度または第２危険度の算出式を変更する。

図９は、本実施形態に係る危険度の算出式の変更例を示す図である。危険度算出部２１３は、図９（ａ）に示すように、ユーザ検出部２１１または周辺検出部２１２の検出結果に基づいて、第１危険度の算出式をｙ＝ｆ（ｘ）からｙ＝ｆ’（ｘ）に変更する。また、危険度算出部２１３は、図９（ｂ）に示すように、ユーザ検出部２１１または周辺検出部２１２の検出結果に基づいて、第２危険度の算出式をｙ＝ｇ（ｘ）からｙ＝ｇ’（ｘ）に変更する。危険度算出部２１３が各危険度の算出式を変更する契機の例について以下説明する。

第１の例について説明する。この例では、ユーザ検出部２１１または周辺検出部２１２は、撮像データに基づいて、第１ユーザまたは第２ユーザの移動方向や移動速度を算出する。ユーザ検出部２１１または周辺検出部２１２は、所定の期間の撮像データ（映像）から、現在時刻のユーザの移動方向および移動速度を算出してもよいし、所定の時間後のユーザの移動方向および移動速度の予測値を算出してもよい。また、ユーザ検出部２１１または周辺検出部２１２は、ユーザの加速度や体の向き等を用いてユーザの移動方向や移動速度を算出してもよい。

危険度算出部２１３は、ユーザ検出部２１１または周辺検出部２１２から取得したユーザの移動方向や移動速度に基づいて、各危険度の算出式を変更する。具体的には、例えば、第１ユーザの移動方向と第２ユーザの移動方向から両ユーザが接触する可能性が低い場合（両ユーザがすれ違い、そのまま反対方向に移動している場合等）、危険度算出部２１３は、図９（ａ）に示すように、第１危険度の算出式をｙ＝ｆ（ｘ）よりも低い値をとるｙ＝ｆ’（ｘ）に変更する。また、例えば、第１ユーザの移動速度が所定の速度よりも早い場合に、危険度算出部２１３は、第１危険度の算出式をｙ＝ｆ（ｘ）よりも高い値をとる関数に変更してもよい。
このように、ユーザの移動方向や移動速度に基づいて、危険度の算出式を設定、変更することで、危険度をより適切に算出し、警告内容の特定に用いることができる。

第２の例について説明する。この例では、ユーザ検出部２１１または周辺検出部２１２は、第１ユーザまたは第２ユーザの現在地に関する情報を取得する。現在地に関する情報は、例えば、公園、駅のホーム、道路、橋等の場所を表す情報である。また、ユーザ検出部２１１または周辺検出部２１２は、地面が凸凹している、ぬかるんで滑りやすい等の現在地に付随する情報をあわせて取得してもよい。ユーザ検出部２１１または周辺検出部２１２は、取得装置１００から取得した撮像データを解析して、現在地に関する情報や付随情報を取得してもよい。また、ユーザ検出部２１１または周辺検出部２１２は、通信部２３０を介して、外部の装置（地図データサーバ等）から現在地に関する情報や付随情報を取得してもよい。

危険度算出部２１３は、ユーザ検出部２１１または周辺検出部２１２から取得したユーザの現在地に関する情報や付随情報に基づいて、各危険度の算出式を変更する。例えば、危険度算出部２１３は、ユーザの現在地は公園であり、自動車等の危険ないが、周辺に花壇の柵があり転倒時に刺さる危険性がある等の判断をし、危険度の算出式を変更する。
このように、ユーザの現在地に関する情報や場所に付随する情報に基づいて、危険度の算出式を設定、変更することで、危険度をより適切に算出し、警告内容の特定に用いることができる。

第３の例について説明する。この例では、周辺検出部２１２は、第１ユーザの周辺の人間以外の移動体についての情報を取得する。移動体とは、例えば、自動車、自転車、ベビーカー等の乗り物や、物品搬送用のキャリー等である。また、周辺検出部２１２は、移動体の移動方向や移動速度等の付随情報をあわせて取得してもよい。周辺検出部２１２は、取得装置１００から取得した撮像データを解析して、移動体に関する情報や付随情報を取得してもよい。また、周辺検出部２１２は、通信部２３０を介して、外部の装置から移動体に関する情報や付随情報を取得してもよい。

危険度算出部２１３は、周辺検出部２１２から取得した移動体に関する情報や付随情報に基づいて、各危険度の算出式を変更する。例えば、危険度算出部２１３は、周辺に人物は少ないが、車が第１ユーザに向かっている場合に、危険度の算出式を、より高い危険度が得られる算出式に変更する。
このように、ユーザ周辺の人間以外の移動体についての情報やそれに付随する情報に基づいて、危険度の算出式を設定、変更することで、危険度をより適切に算出し、警告内容の特定に用いることができる。

第４の例について説明する。この例では、周辺検出部２１２は、第１ユーザの周辺の設置物や障害物に関する情報を取得する。設置物や障害物とは、例えば、ごみ箱、ベンチ、ポスト、自動販売機、ガードレール等の各種物体である。周辺検出部２１２は、取得装置１００から取得した撮像データを解析して、設置物や障害物に関する情報を取得してもよい。また、周辺検出部２１２は、通信部２３０を介して、外部の装置から設置物や障害物に関する情報を取得してもよい。

危険度算出部２１３は、周辺検出部２１２から取得した設置物や障害物に関する情報に基づいて、各危険度の算出式を変更する。例えば、危険度算出部２１３は、周辺に人物は少ないが、第１ユーザが障害物の方向に速度を落とさずに進行している場合は、危険度の算出式を、より高い危険度が得られる算出式に変更する。
このように、設置物や障害物に関する情報に基づいて、危険度の算出式を設定、変更することで、危険度をより適切に算出し、警告内容の特定に用いることができる。

なお、上述した各実施形態における取得装置１００、情報処理装置２００、警告装置３００、第２取得装置４００、第２情報処理装置５００、第２警告装置６００の一部または全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、各装置に内蔵されたコンピュータシステムであって、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における取得装置１００、情報処理装置２００、警告装置３００、第２取得装置４００、第２情報処理装置５００、第２警告装置６００の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。各装置の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。

なお、本発明の一態様は以下の態様からも把握される。
（１）画像を取得する取得装置と、警告を出力する警告装置と、情報処理装置とを備える情報処理システムであって、前記取得装置は取得した前記画像を前記情報処理装置に送信し、前記警告装置は前記情報処理装置から受信した警告の内容に基づいて警告を出力し、前記情報処理装置は、前記取得装置から受信した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定し、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定し、特定した前記警告の内容を前記警告装置に送信する、情報処理システム。

（２）画像を取得する取得部と、警告を出力する警告部と、制御部とを備え、前記制御部は、前記取得部が取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定し、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定し、特定した前記警告の内容に基づいて、前記警告部に警告を出力させる、情報処理装置。

（３）前記制御部は、前記動作情報に基づいて、予め定められた条件を満たして移動している第１ユーザを検出し、前記周辺情報に基づいて、前記第１ユーザの周辺に存在する物体を検出し、前記第１ユーザと前記物体の検出結果に基づいて、危険度を算出し、前記危険度に基づいて前記第１ユーザの動作に関する警告の内容を特定する、（２）に記載の情報処理装置。

（４）前記制御部は、前記周辺情報に基づいて、前記第１ユーザの周辺に存在する第２ユーザを検出し、前記危険度に基づいて前記第１ユーザまたは第２ユーザに対する警告の内容を特定する、（３）に記載の情報処理装置。

（５）前記制御部は、前記第１ユーザについての第１危険度と、前記第２ユーザについての第２危険度に基づいて、前記危険度を算出する、（４）に記載の情報処理装置。

（６）前記制御部は、前記第２ユーザの数に基づいて前記危険度を算出する、（４）または（５）に記載の情報処理装置。

（７）前記制御部は、前記第１ユーザおよび前記物体の移動方向に基づいて、前記危険度を算出する、（３）から（６）のいずれか一項に記載の情報処理装置。

（８）前記制御部は、前記危険度に基づいて、前記第１ユーザに対して警告を行うタイミングまたは場所を特定する、（３）から（７）のいずれか一項に記載の情報処理装置。

（９）前記制御部は、前記特定の結果に基づいて、前記警告装置に、前記画像に撮像されている場所とは異なる場所において、前記第１ユーザに対して警告を出力させる、（８）に記載の情報処理装置。

（１０）前記制御部は、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行している前記ユーザを前記第１ユーザとして検出する、（３）から（９）のいずれか一項に記載の情報処理装置。

（１１）画像を取得する取得ステップと、警告を出力する警告ステップと、前記取得ステップにおいて取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定するステップと、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定するステップと、特定した前記警告の内容に基づいて、前記警告部に警告を出力させるステップと、を有する情報処理方法。

（１２）コンピュータに、画像を取得する取得手順と、警告を出力する警告手順と、
前記取得手順において取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定する手順と、前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定する手順と、特定した前記警告の内容に基づいて、前記警告部に警告を出力させる手順と、を実行させるためのプログラム。

１、２・・・情報処理システム、１００・・・取得装置、２００・・・情報処理装置、２１０・・・制御部、２１１・・・ユーザ検出部、２１２・・・周辺検出部、２１３・・・危険度算出部、２１４・・・警告特定部、２２０・・・記憶部、２３０・・・通信部、３００・・・警告装置、４００・・・第２取得装置、５００・・・第２情報処理装置、５１０・・・第２制御部、５１１・・・第２ユーザ検出部、５１２・・・第２警告特定部、５２０・・・第２記憶部、５３０・・・第２通信部、６００・・・第２警告装置

Claims (12)

1. 画像を取得する取得装置と、警告を出力する警告装置と、情報処理装置とを備える情報処理システムであって、
   前記取得装置は取得した前記画像を前記情報処理装置に送信し、
   前記警告装置は前記情報処理装置から受信した警告の内容に基づいて警告を出力し、
   前記情報処理装置は、
   前記取得装置から受信した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定し、
   前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定し、
   特定した前記警告の内容を前記警告装置に送信する、
   情報処理システム。
2. 画像を取得する取得部と、警告を出力する警告部と、制御部とを備え、
   前記制御部は、
   前記取得部が取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定し、
   前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定し、
   特定した前記警告の内容に基づいて、前記警告部に警告を出力させる、
   情報処理装置。
3. 前記制御部は、
   前記動作情報に基づいて、予め定められた条件を満たして移動している第１ユーザを検出し、
   前記周辺情報に基づいて、前記第１ユーザの周辺に存在する物体を検出し、
   前記第１ユーザと前記物体の検出結果に基づいて、危険度を算出し、
   前記危険度に基づいて前記第１ユーザの動作に関する警告の内容を特定する、
   請求項２に記載の情報処理装置。
4. 前記制御部は、
   前記周辺情報に基づいて、前記第１ユーザの周辺に存在する第２ユーザを検出し、
   前記危険度に基づいて前記第１ユーザまたは第２ユーザに対する警告の内容を特定する、
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記第１ユーザについての第１危険度と、前記第２ユーザについての第２危険度に基づいて、前記危険度を算出する、
   請求項４に記載の情報処理装置。
6. 前記制御部は、前記第２ユーザの数に基づいて前記危険度を算出する、
   請求項４または請求項５に記載の情報処理装置。
7. 前記制御部は、前記第１ユーザおよび前記物体の移動方向に基づいて、前記危険度を算出する、
   請求項３から請求項６のいずれか一項に記載の情報処理装置。
8. 前記制御部は、前記危険度に基づいて、前記第１ユーザに対して警告を行うタイミングまたは場所を特定する、
   請求項３から請求項７のいずれか一項に記載の情報処理装置。
9. 前記制御部は、前記特定の結果に基づいて、前記警告装置に、前記画像に撮像されている場所とは異なる場所において、前記第１ユーザに対して警告を出力させる、
   請求項８に記載の情報処理装置。
10. 前記制御部は、電子機器を把持し、当該電子機器を閲覧しながら歩行または走行している前記ユーザを前記第１ユーザとして検出する、
    請求項３から請求項９のいずれか一項に記載の情報処理装置。
11. 画像を取得する取得ステップと、
    警告を出力する警告ステップと、
    前記取得ステップにおいて取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定するステップと、
    前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定するステップと、
    特定した前記警告の内容に基づいて、前記警告部に警告を出力させるステップと、
    を有する情報処理方法。
12. コンピュータに、
    画像を取得する取得手順と、
    警告を出力する警告手順と、
    前記取得手順において取得した前記画像に基づいてユーザの動作を表す動作情報と前記ユーザの周辺環境を表す周辺情報とを特定する手順と、
    前記動作情報と前記周辺情報とに基づいて、前記ユーザの動作に関する警告の内容を特定する手順と、
    特定した前記警告の内容に基づいて、前記警告部に警告を出力させる手順と、
    を実行させるためのプログラム。

Images