JP7340176B2 - 危険性判定装置、危険性判定方法、及びプログラム - Google Patents

危険性判定装置、危険性判定方法、及びプログラム Download PDF

Info

Publication number
JP7340176B2
JP7340176B2 JP2019218165A JP2019218165A JP7340176B2 JP 7340176 B2 JP7340176 B2 JP 7340176B2 JP 2019218165 A JP2019218165 A JP 2019218165A JP 2019218165 A JP2019218165 A JP 2019218165A JP 7340176 B2 JP7340176 B2 JP 7340176B2
Authority
JP
Japan
Prior art keywords
sensor
sensor data
terminal device
information indicating
outlier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019218165A
Other languages
English (en)
Other versions
JP2021089484A (ja
Inventor
理基 鈴木
泰彦 稗圃
武 北原
弘純 山口
辰哉 天野
彰 内山
聡仁 廣森
輝夫 東野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
KDDI Corp
Original Assignee
Osaka University NUC
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, KDDI Corp filed Critical Osaka University NUC
Priority to JP2019218165A priority Critical patent/JP7340176B2/ja
Publication of JP2021089484A publication Critical patent/JP2021089484A/ja
Application granted granted Critical
Publication of JP7340176B2 publication Critical patent/JP7340176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、危険性判定装置、危険性判定方法、及びプログラムに関する。
日本で発生する事故は減少傾向にあるが、現在でも年間約50万件の交通事故が発生している。このような事故が発生する場所や時間帯では、事故には至らないが、事故に繋がりかねない事象(ヒヤリハット)が頻繁に発生していると考えられる。これに対し、ヒヤリハットのデータを収集し、分析することで、その後の事故の発生を未然に防ぐための取り組みがなされている。
ヒヤリハットのデータを収集し、分析する技術に関して、歩行者および車両それぞれの加速度データを個々に収集し、個別の異常行動として急な方向転換や急停止を捉える技術が知られている(例えば、非特許文献1参照)。
秋川亮太、内山彰、廣森聡仁、山口弘純、東野輝夫、鈴木理基、稗圃泰彦、北原武、「スマートフォンを活用した歩行者および車両のリアルタイム行動検知に関する検討」、情報処理学会、DICOMO2018、July、2018
前述した技術では、ヒヤリハットのデータとして、急な方向転換や急停止を収集した場合に、収集した急な方向転換や急停止は必ずしもヒヤリハットにはつながらない。つまり、個々の異常行動を高精度で捉えたとしても、歩行者および車両の危険性を判定するには、依然として擬陽性が高いことが懸念される。
本発明は、上記問題を解決すべくなされたもので、危険性を判定できる危険性判定装置、危険性判定方法、及びプログラムを提供することにある。
(1)本発明の一態様は、仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付ける受付部と、複数のセンサデータ通知を記憶する記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出する分析部と、前記分析部が異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する処理部とを備える、危険性判定装置である。
(2)本発明の一態様は、上記(1)に記載の危険性判定装置において、前記受付部は、複数のユーザの各々に取り付けた生体センサの検出値をさらに関連付けたセンサデータ通知を受け付ける。
(3)本発明の一態様は、上記(2)に記載の危険性判定装置において、前記分析部は、前記受付部が受け付けたセンサデータ通知に含まれる生体情報が、ヒヤリハットに該当するか否かを判定し、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定する。
(4)本発明の一態様は、上記(1)から上記(3)のいずれか一項に記載の危険性判定装置において、前記分析部は、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報と、前記外れ値であると判定した前記センサの前記検出値とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置のユーザの異常行動を導出する。
(5)本発明の一態様は、上記(1)から上記(4)のいずれか一項に記載の危険性判定装置において、前記分析部は、前記記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の識別情報と同じ識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるかを判定し、前記処理部は、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する。
(6)本発明の一態様は、上記(1)から上記(5)のいずれか一項に記載の危険性判定装置において、第1軸と、第2軸とを有する座標系で表される二次元で表したデータである二次元データにおいて、前記第1軸と前記第2軸との各々が複数に分割され、分割された前記第1軸及び前記第2軸によってセルが形成され、前記分析部は、前記位置に該当するセルに、前記異常行動を示す情報を表す。
(7)本発明の一態様は、上記(6)に記載の危険性判定装置において、前記処理部は、前記異常行動を示す情報を表したセルと、前記セルの周辺のセルである周辺セルとの各々に関連付けて記憶されている異常行動に基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する。
(8)本発明の一態様は、上記(1)から上記(7)のいずれか一項に記載の危険性判定装置において、前記処理部が判定した前記ユーザの危険性を、前記ユーザへ通知する通信部を備える。
)本発明の一態様は、危険性判定装置が実行する危険性判定方法であって、仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出するステップと、前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定するステップとを有する、危険性判定方法である。
10)本発明の一態様は、危険性判定装置のコンピュータに、仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出するステップと、前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定するステップとを実行させる、プログラムである。
本発明によれば、危険性を判定できる危険性判定装置、危険性判定方法、及びプログラムを提供できる。
本発明の実施形態の危険性判定システムの一例を示す図である。 仮想現実体験ユーザが装着する装置の一例を示す図である。 本発明の実施形態の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置の一例を示す図である。 本発明の実施形態の端末装置のDBに記憶される情報の一例を示す図である。 整形前のセンサデータの一例を示す模式図である。 整形後のセンサデータの一例を示す模式図である。 異常行動の一例を示す図である。 異常行動の表現方法の一例を示す図である。 歩行者環境特徴量行列と、自動車環境特徴量行列との一例を示す図である。 本実施形態の危険性判定装置の動作の一例を示す図である。 本実施形態の危険性判定装置の危険性の判定処理の一例を示す図である。 本実施形態の危険性判定装置のDBに記憶される情報の一例を示す図である。 本実施形態の危険性判定システムの動作の一例を示すシーケンスチャートである。 本発明の実施形態の変形例1の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置と、学習装置との一例を示す図である。 仮想現実体験ユーザが装着する装置の一例を示す図である。
次に、本実施形態の危険性判定装置、危険性判定方法、及びプログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(実施形態)
(危険性判定システム)
図1は、本発明の実施形態の危険性判定システムの一例を示す図である。本実施形態の危険性判定システム1は、危険性判定装置100と、自動車200-1から自動車200-k(kは、k>0の整数)と、端末装置300-1から端末装置300-n(nは、n>kの整数)とを備える。
自動車200-1から自動車200-kは、それぞれ端末装置300-1から端末装置300-kと、無線によって接続される。端末装置300-1から端末装置300-nの各々と、危険性判定装置100とは、通信網50を介して互いに、接続される。通信網50は、例えば、無線基地局、Wi-Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、通信網50は、一部にローカルなネットワークを含んでもよい。
本実施形態では、端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザは、それぞれ自動車200-1から自動車200-kに乗車している場合について説明を続ける。また、端末装置300-k+1を携帯するユーザから端末装置300-nを携帯するユーザは、自動車に乗車していない場合について説明を続ける。
端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザのうち、端末装置300-1を携帯するユーザから端末装置300-j(jは、j<kの整数)を携帯するユーザは、実空間に存在している。端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザのうち、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザは、仮想現実によって作成された環境を体験している。
端末装置300-k+1を携帯するユーザから端末装置300-nを携帯するユーザのうち、端末装置300-k+1を携帯するユーザから端末装置300-m(mは、k+1<m<nの整数)を携帯するユーザは、実空間に存在している。端末装置300-k+1を携帯するユーザから端末装置300-nを携帯するユーザのうち、端末装置300-m+1を携帯するユーザから端末装置300-nを携帯するユーザは、仮想現実によって作成された環境を体験している。
自動車200-1から自動車200-kは、センサを搭載し、搭載したセンサが検出したセンサの検出値を示す情報を、それぞれ端末装置300-1から端末装置300-kへ送信する。
端末装置300-1から端末装置300-kは、それぞれ自動車200-1から自動車200-kが送信したセンサの検出値を示す情報を受信した場合に、センサの検出値を示す情報を受信した時刻と位置とを取得する。端末装置300-1から端末装置300-kの各々は、受信したセンサの検出値を示す情報を、そのセンサの検出値を受信した時刻を示す情報及び位置を示す情報と関連付けて記憶する。
端末装置300-1から端末装置300-kの各々は、センサの検出値を示す情報と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100をあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100へ送信する。ここで、端末IDは、端末装置の識別情報である。
また、端末装置300-1から端末装置300-nの各々は、センサを搭載し、搭載したセンサが検出したセンサの検出値を示す情報を、そのセンサの検出値を受信した時刻を示す情報と関連付けて記憶する。ここで、センサの検出値には、端末装置の位置を示す情報が含まれる。端末装置300-1から端末装置300-nの各々は、センサの検出値と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100をあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100へ送信する。
危険性判定装置100は、端末装置300-1から端末装置300-nの各々が送信したセンサデータ通知を受信する。センサデータ通知に含まれるセンサの検出値は、自動車200-1から自動車200-kの各々に搭載されたセンサが検出した値と、端末装置300-1から端末装置300-nの各々に搭載されたセンサが検出した値とのいずれか一方又は両方が含まれる。危険性判定装置100は、受信したセンサデータ通知を受け付け、受け付けたセンサデータ通知に含まれるセンサデータを整形する。危険性判定装置100は、整形したセンサデータと、端末IDとを関連付けたセンサデータ通知を記憶する。
危険性判定装置100は、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータに含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。危険性判定装置100は、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100は、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100は、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動と自動車の異常行動とのいずれか一方又は両方を導出する。
危険性判定装置100は、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とに基づいて、端末装置を携帯しているユーザの危険性を判定する。危険性判定装置100は、判定したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置へ送信する。端末装置300-1から端末装置300-nの各々は、危険性判定装置100が送信した危険性通知を受信した場合に、受信した危険栓通知に含まれるユーザの危険性を示す情報を表示する。
前述したように、危険性判定装置100は、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータに含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出し、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。このため、判定のために大量のデータを事前に準備するのが好ましい。ヒヤリハットという事象の性質上、当該データを大量に用意することは容易ではない。そのため、危険性判定装置100は、実空間に位置するユーザが携帯する端末装置に加え、仮想現実によって作成された環境を体験するユーザが携帯する端末装置が送信するセンサデータを使用する。 次に、仮想現実によって作成された環境を体験するユーザについて説明する。つまり、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザと、端末装置300-m+1を携帯するユーザから端末装置300-nを携帯するユーザとについて説明する。以下、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザと、端末装置300-m+1を携帯するユーザから端末装置300-nを携帯するユーザとを、仮想現実体験ユーザという。
図2は、仮想現実体験ユーザが装着する装置の一例を示す図である。仮想現実体験ユーザが装着する装置の一例は、バーチャルリアリティヘッドセット400と、スピーカ500と、バーチャルリアリティトラッカー600とである。
バーチャルリアリティヘッドセット400は、仮想現実によって再現された映像を再生することによって、バーチャルリアリティヘッドセット400を装着している仮想現実体験ユーザに、仮想現実空間に再現された映像を見せることによって体験させる。仮想現実によって作成された映像の一例は、危険な状況を再現したシナリオが再生されたものである。具体的には、危険な状況を再現したシナリオの一例は、歩行者が飛び出して、自動車が急停止した状況を再現したものである。
スピーカ500は、仮想現実によって再現された音声を出力する。スピーカ500の一例は、ネックスピーカである。スピーカ500は、自動車などの接近物が発する音を立体音響で再生できるのが好ましい。このように構成することによって、音を再生する際に三次元的な音の方向や距離、拡がりなどを再生できる。このため、仮に、バーチャルリアリティヘッドセット400で、自動車が接近している映像が再生された場合には、自動車の走行音が立体音響で再現されるため、仮想現実体験ユーザに、自動車の接近を認知させることができる。
バーチャルリアリティトラッカー600は、仮想現実体験ユーザの所定の部位に装着することによって、装着した部位の位置を正確にトラッキングする。図2に示される例では、バーチャルリアリティトラッカー600が両足に装着されている。このように構成することによって、バーチャルリアリティトラッカー600は、仮想現実体験ユーザの足の動きを検出できるため、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザが自動車200-j+1から自動車200-kを運転している場合に、加速、減速、停止などの運転操作を検出できる。バーチャルリアリティヘッドセット400は、バーチャルリアリティトラッカー600が検出した運転操作に基づいて仮想現実によって再現された映像を再生する。このように構成することによって、バーチャルリアリティヘッドセット400を装着している仮想現実体験ユーザに、仮想現実空間に再現された映像を見せることによって体験させることができる。
また、このように構成することによって、バーチャルリアリティトラッカー600は、仮想現実体験ユーザの足の動きを検出できるため、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザの歩行を検出できる。バーチャルリアリティヘッドセット400は、バーチャルリアリティトラッカー600が検出した足の動きに基づいて仮想現実によって再現された映像を再生する。このように構成することによって、バーチャルリアリティヘッドセット400を装着している仮想現実体験ユーザに、仮想現実空間に再現された映像を見せることによって体験させることができる。
仮想現実によって作成された環境を体験するユーザは、バーチャルリアリティヘッドセット400と、スピーカ500と、バーチャルリアリティトラッカー600とを装着することによって、現実空間と同様に歩行者が移動、行動できるように物理空間を確保できるため、現実空間と同等のデータ取得が可能である。
以下、自動車200-1から自動車200-nのうち任意の自動車を、自動車200と記載する。端末装置300-1から端末装置300-nのうち任意の自動車を、端末装置300と記載する。
次に、自動車200と、端末装置300と、危険性判定装置100とについて、詳細に説明する。
(自動車)
図3は、本発明の実施形態の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置の一例を示す図である。
自動車200について説明する。自動車200は、センサ202と、情報処理部204と、通信部206とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
センサ202は、一又は複数のセンサによって構成される。具体的には、センサ202は、エンジンの回転数を検出するセンサ、車速度を検出するセンサ、スロットル開度を検出するセンサ、燃料残量を検出するセンサ、燃費を検出するセンサなどによって構成される。センサ202は、エンジンの回転数、車速度、スロットル開度、燃料残量、燃費などを検出し、検出したエンジンの回転数、車速度、スロットル開度、燃料残量、燃費などのセンサの検出値を示す情報を、情報処理部204へ出力する。
情報処理部204は、センサ202と接続される。情報処理部204は、時計部を備え、センサ202が出力したセンサの検出値を示す情報を取得した場合に、時計部から、そのセンサの検出値を示す情報を取得した時刻を取得する。情報処理部204は、センサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを含み、端末装置300をあて先とするセンサ検出値通知を作成し、作成したセンサ検出値通知を、通信部206へ出力する。
通信部206は、情報処理部204と接続される。通信部206は、通信モジュールによって実現される。具体的には、通信部206は、ブルートゥース(登録商標)、WiFi(登録商標)などの無線通信技術で無線通信を行う無線デバイスによって構成される。通信部206は、情報処理部204が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を、端末装置300へ送信する。
(端末装置)
端末装置300は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、眼鏡型端末装置、あるいはその他の情報処理機器として実現される。例えば、端末装置300が自動車200と接続する場合には、端末装置300は、車載あるいはドライバーが保持する。端末装置300が自動車200と接続しない場合には、端末装置300は、主に歩行者が保持する。端末装置300は、センサ302と、情報処理部304と、通信部306と、DB308と、表示部310と、通信部316とを備える。ここで、DB308記憶部の一例である。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
センサ302は、一又は複数のセンサによって構成される。具体的には、センサ302は、時計部、加速度センサ、角速度センサ、地磁気センサ、傾きセンサ、GPS(Global Positioning System)、気圧センサ、照度センサ、ステップセンサ、スクリーンロックオンオフセンサ、バッテリ温度残量センサなどによって構成される。ここで、GPSによって取得される情報には、GPS時刻を示す情報、緯度を示す情報、経度を示す情報、高度を示す情報、精度を示す情報、GPS速度を示す情報、衛星の数を示す情報、位置計測手段を示す情報などが含まれる。
センサ302は、時刻、加速度、角速度、地磁気、傾き、位置、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などを検出し、検出した時刻を示す情報と、加速度、角速度、地磁気、傾き、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などのセンサの検出値を示す情報と、位置を示す情報とを、情報処理部304へ出力する。
通信部306は、通信モジュールによって実現される。具体的には、通信部306は、ブルートゥース(登録商標)、WiFi(登録商標)などの無線通信技術で無線通信を行う無線デバイスによって構成される。通信部306は、自動車200が送信したセンサ検出値通知を受信し、受信したセンサ検出値通知を、情報処理部304へ出力する。
通信部316は、通信モジュールによって実現される。通信部316は、通信網50を経由して、LTE(Long Term Evolution)などの携帯電話の通信規格、無線LAN(登録商標)などの通信規格にしたがって、危険性判定装置100などの他の装置と通信を行う。具体的には、通信部316は、情報処理部304が出力したセンサデータ通知を取得し、取得したセンサデータ通知を、危険性判定装置100へ送信する。通信部316は、危険性判定装置100が送信した危険性通知を受信し、受信した危険性通知を、情報処理部304へ出力する。
情報処理部304は、センサ302と、通信部306と、通信部316と接続される。情報処理部304は、受付部312と、処理部314として機能する。
受付部312は、通信部306が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を受け付ける。受付部312は、センサ検出値通知を受け付けた場合に、センサ302に含まれるGPSから、端末装置300の位置を示す情報を取得する。情報処理部304は、取得した端末装置300の位置を示す情報と、センサ検出値通知に含まれるセンサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。
また、受付部312は、センサ302が出力したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを受け付ける。受付部312は、取得したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。
処理部314は、DB308に記憶されたセンサデータを取得し、取得したセンサデータと、端末IDとを含み、危険性判定装置100を宛先とするセンサデータ通知を作成する。処理部314は、作成したセンサデータ通知を、通信部316へ出力する。
処理部314は、通信部316が出力した危険性通知を取得し、取得した危険性通知に含まれるユーザの危険性を示す情報に基づいて、表示部310に文字と画像とのいずれか一方又は両方を表示することによって、端末装置300のユーザに、危険性を通知する。また、処理部314は、ユーザの危険性を示す情報に基づいて、音声を出力することによって、端末装置300のユーザに、危険性を通知する。
DB308は、情報処理部304と接続される。DB308は、センサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを記憶する。センサデータがクラウド上に記憶されていてもよい。
図4は、端末装置のDBに記憶される情報の一例を示す図である。図4に示される例では、DB308には、センサの検出値を示す情報1と位置を示す情報1と時刻を示す情報1とを関連付けた情報であるセンサデータ1と、センサの検出値を示す情報2と位置を示す情報2と時刻を示す情報2とを関連付けた情報であるセンサデータ2と、センサの検出値を示す情報3と位置を示す情報3と時刻を示す情報3とを関連付けた情報であるセンサデータ3とが記憶されている。図3に戻り説明を続ける。
表示部310は、情報処理部304と接続される。表示部310は、画像を表示したり、GUI(Graphical User Interface)などを介して画像、テキスト情報、アニメーションなどを表示したりする。具体的には、表示部310は、情報処理部304が出力したユーザの危険性を示す情報を取得し、取得したユーザの危険性を示す情報を処理することによって、文字と画像とのいずれか一方又は両方を表示する。
(危険性判定装置)
危険性判定装置100は、情報処理部104と、通信部106と、DB108とを備える。ここで、DB108記憶部の一例である。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
通信部106は、通信モジュールによって実現される。通信部106は、通信網50を経由して、LTEなどの携帯電話の通信規格、無線LAN(登録商標)などの通信規格にしたがって、端末装置300などの他の装置と通信を行う。具体的には、通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104へ出力する。通信部106は、情報処理部104が出力した危険性通知を取得し、取得した危険性通知を、端末装置300へ送信する。
情報処理部104は、通信部106と接続される。情報処理部104は、受付部112と、分析部113と、学習部115と、処理部114として機能する。
受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、分析部113へ出力する。
分析部113は、受付部112が出力したセンサデータ通知を取得し、取得したセンサデータ通知に含まれるセンサデータを取得する。前述したように、センサデータには、センサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とが含まれる。分析部113は、取得したセンサデータを整形する。
ここで、センサデータの整形の一例について説明する。
図5は、整形前のセンサデータの一例を示す模式図である。センサデータは、ユーザを示す軸と、時刻を示す軸と、センサによって測定される項目を示す軸との三軸によって表されている。項目を示す軸に、センサの検出値が表される。図5には、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータと、user3が携帯する端末装置300が送信したセンサデータとが示されている。さらに、図5には、一例として、センサデータに、3軸加速度センサによって計測されたセンサの検出値と、3軸角速度センサによって計測されたセンサの検出値と、2次元GPSによって計測された位置を示す情報とが含まれることが示されている。
センサの検出値は、端末装置300の状態と、センサとに応じて、異なるタイミングで取得されている。つまり、センサの検出値が取得されるタイミングは、端末装置300によっても、センサによっても異なる。
分析部113は、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータと、user3が携帯する端末装置300が送信したセンサデータとのフォーマットを揃えるために、時刻を示す軸を複数の時間間隔(タイムスロット)に分割する。分析部113は、タイムスロットに含まれるセンサの検出値をセンサ毎に平均化するなどの統計処理を行い、統計処理を行うことによって得られる統計処理の結果を、そのタイムスロットのセンサの検出値とすることによって、センサデータを整形する。
図6は、整形後のセンサデータの一例を示す模式図である。図6は、センサ毎に、タイムスロットに含まれるセンサの検出値を統計処理することによって導出される統計処理の結果を、そのタイムスロットのセンサの検出値とした結果を示す。図6に示すように、各センサにおいて、タイムスロットに含まれるセンサの検出値は一個となり、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータとのフォーマットが揃っていることが分かる。
分析部113は、センサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を、DB108へ出力する。図3に戻り説明を続ける。
分析部113は、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。分析部113は、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113は、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。つまり、分析部113は、普段どおり歩行、走行している状態を平常状態として、急停止、回避行動を異常状態として、平常状態で得らえたセンサの検出値から外れたセンサの検出値を検出し、検出したセンサの検出値を外れ値とする。
具体的には、分析部113は、取得したセンサデータ通知に含まれるセンサの検出値と、DB108から抽出したセンサの検出値とに基づいて、教師なし学習を行うことによって、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する。教師なし学習のアルゴリズムには、one-class SVM(support vector machine)、anomaly factorなどが含まれるが、いずれでもよい。
分析部113は、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出する。具体的には、分析部113は、その外れ値(センサの検出値)をクラスター分析し、クラスター分析した結果に該当する異常行動を示す情報を、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報から、導出する。
図7は、異常行動の一例を示す図である。図7には、歩行者P1の時間軸と、自動車V1の時間軸とが示されている。
図7に示される例では、分析部113は、時刻T1で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、歩行者P1が歩きスマホを行っていることを導出する。
また、分析部113は、時刻T2で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、自動車V1が生活道路を高速で走行していることを導出する。
また、分析部113は、時刻T3で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、歩行者P1が生活道路の中心付近にはみ出していることを導出する。分析部113は、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知とを、学習部115と、処理部114とへ出力する。図3に戻り説明を続ける。
処理部114は、分析部113が出力した異常行動の意味を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114は、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
処理部114は、取得した異常行動の意味を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、センサデータ通知に含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。
具体的には、処理部114は、取得した時刻を示す情報と、位置を示す情報とに基づいて、異常行動を時空間に表現する。異常行動を時空間に表現する方法については後述する。処理部114は、異常行動を起点として、その異常行動の位置を示す情報に基づいて、その位置から、空間的に半径Xメートルの範囲に存在するセル(周辺セル)から、起点に該当する異常行動以外の異常行動のデータを抽出する。さらに、処理部114は、抽出した異常行動のデータから、起点に該当する時刻から過去Y秒以内の異常行動を抽出する。
処理部114は、異常行動を抽出できなかった場合には、ユーザの危険性は低いと判定する。処理部114は、異常行動を抽出できた場合には、異常行動を抽出できなかった場合よりも、ユーザの危険性は高いと判定する。
学習部115は、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。学習部115は、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
ここで、異常行動を時空間に表現する方法の一例について説明する。具体的には、異常行動の位置を時空間に表現する。
図8は、異常行動の表現方法の一例を示す図である。
図8に示される例では、ある時刻における異常行動の位置が二次元で表現される。具体的には、学習部115は、ある時刻における異常行動が発生した位置を、第1軸を経度とし、第2軸を緯度とする座標系に表す。例えば、学習部115は、ある時刻における異常行動が発生した位置を、横軸を経度とし、縦軸を緯度とする二次元データに表す。さらに、学習部115は、格子状に横軸と縦軸との各々を複数に分割する。学習部115は、分割した横軸と分割した縦軸とによって、セルを形成する。学習部115は、形成した各セルの各々に、検出された異常行動(アクション)を多次元配列で表現する。
図8に示される例では、横軸が五区間に分割され、縦軸が五区間に分割され、5×5の25個のセルが形成される。図8に示される5×5のセルの各々を、「j」を、横軸を分割することによって得られる区間とし、「k」を、縦軸を分割することによって得られる区間として、「セル(j,k)(jは1~5の整数、kは1~5の整数)」で示す。
また、歩行者の異常行動が検出されたことを示す情報を、「歩行者l[o,p,q](lは歩行者を識別する情報、o,p,qは異常行動を識別する情報)」で表す。ここでは、「o」をアクション1と呼び、「p」をアクション2と呼び、「q」をアクション3と呼ぶ。
また、自動車の異常行動が検出されたことを示す情報を、「自動車r[s,t,u](rは自動車を識別する情報、s,t,uは異常行動を識別する情報)」で表す。ここでは、「s」をアクション1と呼び、「t」をアクション2と呼び、「u」をアクション3と呼ぶ。
図8の左図は、ある時刻に、セル(3,3)において、歩行者2のアクション1(歩行者2[1,0,0])と歩行者3のアクション3(歩行者3[0,0,1])とが、検出されたことを示している。この場合には、セル(3,3)に、アクション1とアクション3とが検出されたことを示す情報である[1,0,1]が示される。
さらに、図8の左図は、ある時刻に、セル(3,3)の北西方向のセル(1,5)において、歩行者1のアクション2(歩行者1[0,1,0])が検出されたことを示している。この場合には、セル(1,5)に、アクション2が検出されたことを示す情報である[0,1,0]が示される。
図8の右図は、ある時刻に、セル(3,3)において、自動車2のアクション1(自動車2[1,0,0])が、検出されたことを示している。この場合には、セル(3,3)に、アクション1が検出されたことを示す情報である[1,0,0]が示される。さらに、図8の右図は、ある時刻に、セル(3,2)において、自動車3のアクション3(自動車3[0,0,1])が、検出されたことを示している。この場合には、セル(3,2)に、アクション3が検出されたことを示す情報である[0,0,1]が示される。さらに、図8の右図は、ある時刻に、セル(1,4)において、自動車1のアクション2(自動車1[0,1,0])が、検出されたことを示している。この場合には、セル(1,4)に、アクション2が検出されたことを示す情報である[0,1,0]が示される。
図8の左図と右図とに示すように、横軸を経度とし、縦軸を緯度とする二次元データに、異常行動を表現することによって、どこで、どのような異常行動(アクション)が発生したのか表現できることが分かる。
学習部115は、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列する。歩行者の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって得られる時系列データを、「歩行者環境特徴量行列」という。
学習部115は、自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列する。自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって得られる時系列データを、「自動車環境特徴量行列」という。
図9は、歩行者環境特徴量行列と、自動車環境特徴量行列との一例を示す図である。図9の左図は、歩行者環境特徴量行列の一例を示す。図9の左図によれば、歩行者環境特徴量行列の一例は、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に4個配列することによって得られる。図9の右図は、自動車環境特徴量行列の一例を示す。図9の右図によれば、自動車環境特徴量行列の一例は、自動車の異常行動の位置を二次元データに表したデータを、時間方向に4個配列することによって得られる。
学習部115は、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習する。
学習部115は、歩行者環境特徴量行列と、自動車環境特徴量行列とを、ディープニューラルネットワークに入力することによって、異常行動を起こした歩行者の危険性を学習させる。
図10は、本実施形態の危険性判定装置の動作の一例を示す図である。
図10に示される例では、危険性判定装置100の学習部115が、異常行動を起こした歩行者の危険性を学習する処理を示す。
学習部115は、3次元畳み込み層A1と、3次元畳み込み層A2と、3次元畳み込み層B1と、3次元畳み込み層B2と、全結合層C1と、全結合層C2と、全結合層C3とを有する。ここでは、歩行者環境特徴量行列の一例として、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に四個配列することによって得られるデータ(以下「歩行者環境特徴量4次元行列」という)と、自動車環境特徴量行列の一例として、自動車の異常行動の位置を二次元データに表したデータを、時間方向に四個配列することによって得られるデータ(以下「自動車環境特徴量4次元行列」という)とを使用した場合について説明する。
歩行者環境特徴量4次元行列は、3次元畳み込み層A1に入力される。3次元畳み込み層A1は、歩行者環境特徴量4次元行列から特徴を抽出し、抽出した特徴を示す情報を、3次元畳み込み層A2へ出力する。3次元畳み込み層A2は、3次元畳み込み層A1が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴からさらに特徴を抽出し、抽出した特徴を示す情報を、全結合層C1へ出力する。全結合層C1は、3次元畳み込み層A2が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴を抽象化し、抽象化した特徴を示す情報を、全結合層C3へ出力する。
自動車環境特徴量4次元行列は、3次元畳み込み層B1に入力される。3次元畳み込み層B1は、自動車環境特徴量4次元行列から特徴を抽出し、抽出した特徴を示す情報を、3次元畳み込み層C2へ出力する。3次元畳み込み層C2は、3次元畳み込み層C1が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴からさらに特徴を抽出し、抽出した特徴を示す情報を、全結合層C2へ出力する。全結合層C2は、3次元畳み込み層B2が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴を抽象化し、抽象化した特徴を示す情報を、全結合層C3へ出力する。
全結合層C3は、3次元畳み込み層C1が出力した抽象化された特徴を示す情報と、3次元畳み込み層C2が出力した抽象化された特徴を示す情報とを取得し、取得した二つの抽象化された特徴を示す情報に基づいて、二つの抽象化された特徴を更に系列データとして抽象化する。学習部115は、抽象化した系列データに基づいて、歩行者の危険性を学習することによって、歩行者環境特徴量4次元行列と、自動車環境特徴量4次元行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを生成する。
また、処理部114は、学習部115が生成した学習モデルに基づいて、異常行動を起こした歩行者の危険性を判定してもよい。
図11は、危険性の判定処理の一例を示す図である。
図11(1)に示される例では、分析部113によって、時刻T1で外れ値が得られ、得られた外れ値に該当する異常行動として、歩きスマホが導出された場合について示す。この場合、時刻T1で導出された歩きスマホが起点となる。その起点を中心として、半径Xメートルで、且つ時刻T1から過去Y秒以内には、異常行動が存在しないため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、危険性は低いと判定する。
図11(2)に示される例では、分析部113によって、時刻T2で外れ値が得られ、得られた外れ値に該当する異常行動として、生活道路を高速で走行することが導出された場合について示す。この場合、時刻T2で導出された生活道路を高速で走行することが起点となる。起点を中心として、半径Xメートルで、且つ時刻T2から過去Y秒以内には、T2-T1<Yの場合には、時刻T1で導出された歩きスマホが存在するため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータと、生活道路を高速で走行することが検出された位置を二次元データに表したデータとの両方を含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として危険性を判定する場合よりも、危険性は高いと判定する。
図11(3)に示される例では、分析部113によって、時刻T3で外れ値が得られ、得られた外れ値に該当する異常行動として、生活道路の中心付近にはみ出すことが導出された場合について示す。この場合、時刻T3で導出された生活道路の中心付近にはみ出すことが起点となる。起点を中心として、半径Xメートルで、且つ時刻T3から過去Y秒以内には、T3-T1<Yの場合には、時刻T1で導出された歩きスマホと、時刻T1で導出された生活道路を高速で走行することとが存在するため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータと、生活道路を高速で走行することが検出された位置を二次元データに表したデータと、生活道路の中心付近にはみ出すことが検出された位置を二次元データに表したデータとを含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として危険性を判定する場合と、歩きスマホが検出された位置を二次元データに表したデータと生活道路を高速で走行することが検出された位置を二次元データに表したデータとの両方を含む時系列データを対象として危険性を判定する場合よりも、危険性は高いと判定する。
処理部114は、危険性が高いと判定した場合に、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。ここで、処理部114は、危険性が高いと判定した場合に、危険性が高いことを示す情報と、詳細情報を端末装置300に取得させるための情報である詳細情報取得情報とを含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力するようにしてもよい。ここで、詳細情報には、コンテンツが含まれる。この危険性通知を受信した端末装置300は、詳細情報取得情報に基づいて、危険性判定装置100へアクセスする。処理部114は、端末装置300によるアクセスに基づいて、通信部106から端末装置300へ、コンテンツを送信する。処理部114は、危険性が低いと判定した場合、処理を終了する。
学習部115は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを更新する。
DB108は、情報処理部104と接続される。DB108は、センサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータとを関連付けて記憶する。センサデータがクラウド上に記憶されていてもよい。
図12は、DB108に記憶される情報の一例を示す図である。図12に示される例では、DB108には、端末ID「0001」と、センサの検出値を示す情報1と位置を示す情報1と時刻を示す情報1とを関連付けた情報であるセンサデータ1とが関連付けて記憶されている。また、DB108には、端末ID「0002」と、センサの検出値を示す情報2と位置を示す情報2と時刻を示す情報2とを関連付けた情報であるセンサデータ2とが関連付けて記憶されている。また、DB108には、端末ID「0003」と、センサの検出値を示す情報3と位置を示す情報3と時刻を示す情報3とを関連付けた情報であるセンサデータ3とが関連付けて記憶されている。
(危険性判定システムの動作)
図13は、本実施形態の危険性判定システムの動作の一例を示すシーケンスチャートである。
(ステップS1)
自動車200において、センサ202は、センサの検出値を示す情報を、情報処理部204へ出力する。情報処理部204は、センサ202が出力したセンサの検出値を示す情報を取得した場合に、時計部から、そのセンサの検出値を示す情報を取得した時刻を取得する。情報処理部204は、センサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを含み、端末装置300をあて先とするセンサ検出値通知を作成し、作成したセンサ検出値通知を、通信部206へ出力する。
(ステップS2)
自動車200において、通信部206は、情報処理部204が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を、端末装置300へ送信する。
(ステップS3)
端末装置300において、通信部306は、自動車200が送信したセンサ検出値通知を受信し、受信したセンサ検出値通知を、情報処理部304へ出力する。情報処理部304の受付部312は、通信部306が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を受け付ける。受付部312は、センサ検出値通知を受け付けた場合に、センサ302に含まれるGPSから、端末装置300の位置を示す情報を取得する。受付部312は、取得した端末装置300の位置を示す情報と、センサ検出値通知に含まれるセンサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。DB308は、受付部312が出力したセンサデータを、記憶する。
また、端末装置300において、受付部312は、センサ302が出力したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを受け付ける。受付部312は、取得したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。DB308は、受付部312が出力したセンサデータを、記憶する。
(ステップS4)
端末装置300において、処理部314は、DB308に記憶されたセンサデータを取得し、取得したセンサデータと、端末IDとを含み、危険性判定装置100を宛先とするセンサデータ通知を作成する。処理部314は、作成したセンサデータ通知を、通信部316へ出力する。
(ステップS5)
端末装置300において、通信部316は、情報処理部304が出力したセンサデータ通知を取得し、取得したセンサデータ通知を、危険性判定装置100へ送信する。
(ステップS6)
危険性判定装置100において、通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104へ出力する。情報処理部104の受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、分析部113へ出力する。分析部113は、受付部112が出力したセンサデータ通知を取得し、取得したセンサデータ通知に含まれるセンサデータを取得する。分析部113は、取得したセンサデータを整形する。分析部113は、受け付けたセンサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を、DB108へ出力する。DB108は、分析部113が出力した端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を取得し、取得したセンサデータ通知を記憶する。
(ステップS7)
危険性判定装置100において、分析部113は、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。分析部113は、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113は、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。ここでは、分析部113が、センサの検出値を、外れ値であると判定した場合について、説明を続ける。分析部113が、センサの検出値を、外れ値でないと判定した場合には、処理を終了する。
(ステップS8)
危険性判定装置100において、分析部113は、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を示す情報を導出する。分析部113は、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知とを、学習部115と、処理部114とへ出力する。
(ステップS9)
危険性判定装置100において、処理部114は、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114は、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。処理部114は、取得した異常行動を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、学習部115に機械学習を行わせることによって、センサデータに含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。ここでは、処理部114が、ユーザの危険性が高いと判定した場合について説明を続ける。処理部114は、危険性が低いと判定した場合、処理を終了する。
処理部114は、危険性が高いと判定した場合、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。
(ステップS10)
危険性判定装置100において、通信部106は、情報処理部104が出力した危険性通知を取得し、取得した危険性通知を、端末装置300へ送信する。
(ステップS11)
端末装置300において、通信部316は、危険性判定装置100が送信した危険性通知を受信し、受信した危険性通知を、情報処理部304へ出力する。情報処理部304の処理部314は、通信部316が出力した危険性通知を取得し、取得した危険性通知に含まれるユーザの危険性を示す情報に基づいて、表示部310に文字と画像とのいずれか一方又は両方を表示することによって、端末装置300のユーザに、危険性を通知する。また、処理部314は、ユーザの危険性を示す情報に基づいて、音声を出力することによって、端末装置300のユーザに、危険性を通知する。
(ステップS12)
危険性判定装置100において、学習部115は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを更新する。
前述した実施形態では、端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザが、それぞれ自動車200-1から自動車200-kに乗車している場合について説明したがこの限りでない。例えば、端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザのうち、少なくとも一部のユーザは、自動車200に乗車していたが、途中で下車してもよい。この場合、下車したユーザが携帯する端末装置300は、自動車200に搭載されたセンサが検出したセンサの検出値を取得できないため、端末装置300のセンサが検出したセンサの検出値を、危険性判定装置100へ送信する。また、端末装置300は、その端末装置300を携帯するユーザが、自動車200に乗車している場合でも、自動車200に搭載されたセンサが検出したセンサの検出値を取得できない場合には、自動車200に搭載されたセンサが検出したセンサの検出値を含むセンサデータ通知を通知しないで、端末装置300に搭載されたセンサが検出したセンサの検出値を含むセンサデータ通知を送信してもよい。
前述した実施形態では、自動車200の情報処理部204が、センサ202が出力したセンサの検出値を示す情報を取得する場合について説明したがこの限りでない。例えば、自動車200の情報処理部204は、OBD(On-board diagnostics)IIから、センサの検出値を示す情報を取得してもよい。この場合、情報処理部204は、OBDIIから、センサの検出値を示す情報を取得できる場合には、エンジンの回転数を示す情報、車速度を示す情報、スロットル開度を示す情報、燃料残量を示す情報、燃費などを取得し、取得したエンジンの回転数を示す情報、車速度を示す情報、スロットル開度を示す情報、燃料残量を示す情報、燃費などを含むセンサ検出値通知を作成する。また、情報処理部204は、OBDIIから、センサの検出値を示す情報を取得できない場合には、センサ検出値通知を作成しない。
前述した実施形態では、実空間に存在しているユーザが携帯する端末装置300と、仮想現実によって作成された環境を体験しているユーザが携帯する端末装置300とが送信するセンサデータ通知を、危険性判定装置100へ送信する場合について説明したが、この例に限られない。例えば、実空間に存在しているユーザが携帯する端末装置300と、仮想現実によって作成された環境を体験しているユーザが携帯する端末装置300とのいずれか一方が送信するセンサデータ通知を、危険性判定装置100へ送信するようにしてもよい。
前述した実施形態では、危険性判定装置100の分析部113が、センサデータを整形する場合について説明したが、この限りでない。例えば、端末装置300の処理部314が、センサデータを整形してもよい。このように構成することによって、危険性判定装置100は、センサデータを整形する処理を省略できるため、処理負荷を低減できる。
前述した実施形態では、危険性判定装置100の分析部113が、教師なし学習を用いて、センサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する場合について説明したが、この例に限られない。例えば、分析部113は、モデルベース判定によって、センサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定してもよい。また、分析部113は、教師なし学習と、モデルベース判定とを併用してもよい。モデルベース判定によって、センサの検出値が外れ値であるか否かを判定することによって、教師なし学習によってセンサの検出値が外れ値であるか否かを判定する場合よりも処理時間を短縮できる。
前述した実施形態では、異常行動を示す情報の例として、歩行者P1が歩きスマホを行っている場合、自動車V1が生活道路を高速で走行している場合と、歩行者P1が生活道路の中心付近にはみ出している場合とについて説明したが、この限りでない。例えば、異常行動を示す情報の例として、自動車が停車した場合、歩行者が飛び出した場合等が含まれてもよい。
前述した実施形態では、異常行動の表現方法の一例として、第1軸を経度とし、第2軸を緯度とする座標系において、横軸が五区間に分割され、縦軸が五区間に分割され、5×5の25個のセルが形成される場合について説明したがこの限りでない。例えば、横軸が二区間から四区間に分割されてもよいし、六区間以上に分割されてもよい。縦軸が二区間から四区間に分割されてもよいし、六区間以上に分割されてもよい。また、横軸と縦軸との区間の数は、同じであってもよいし、異なっていてもよい。
前述した実施形態では、危険性判定装置100の学習部115が、歩行者環境特徴量4次元行列を処理する3次畳み込み層が二段である場合について説明したが、この限りでない。例えば、3次畳み込み層が一段であってもよいし、三段以上であってもよい。
前述した実施形態では、危険性判定装置100の学習部115が、自動車環境特徴量4次元行列を処理する3次畳み込み層が二段である場合について説明したが、この限りでない。例えば、3次畳み込み層が一段であってもよいし、三段以上であってもよい。
前述した実施形態では、端末装置300は、通信網50を経由して、センサデータ通知を、危険性判定装置100へ送信する場合について説明したが、この例に限られない。例えば、端末装置300は、通信網50を経由して、センサデータ通知を、クラウド、エッジクラウド、専用サーバへ送信してもよい。この場合、危険性判定装置100は、クラウド、エッジクラウド、専用サーバから、センサデータ通知を取得する。
前述した実施形態では、危険性判定装置100が、センサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出する場合について説明したがこの限りでない。例えば、危険性判定装置100は、外れ値に加えて、端末装置300のユーザのプロファイルと、環境情報とのいずれか一方又は両方に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出してもよい。ここで、プロファイルには、ユーザの年齢と性別とが含まれる。また、環境情報には、天候(天気・気温)と、時刻と、ユーザが乗車している自動車200が走行している道路のレーンの数と、ユーザの近傍の建物の有無と、ユーザの周辺のPoI(point of interest)とが含まれる。
本実施形態の危険性判定システム1によれば、危険性判定装置100は、仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置300が送信したセンサデータ通知を取得し、取得したセンサデータ通知に基づいて、端末装置300のユーザの危険性を判定する。端末装置300は、撮像装置が取得する視覚情報に加え、撮像装置では死角となるために取得できないデータを収集できる。このため、危険性判定装置100は、従来では取得できないヒヤリハットのデータに基づいて、端末装置300のユーザの危険性を判定できる。また、複数のユーザの各々に、仮想現実によって作成された環境を体験させることによって、実空間で、ユーザにヒヤリハットを体験させることなく、端末装置300は、ヒヤリハットのデータを収集できる。つまり、物理的にユーザ(被験者)の安全性を容易に確保したうえで、端末装置300は、ヒヤリハットのデータを収集できる。例えば、VR空間上に交通環境を再現し、VRゴーグル(バーチャルリアリティヘッドセット400)を装着した被験者(歩行者)に対して危険な状況を疑似的に体験させることにより、安全性を確保できる。
また、ヒヤリハットにつながるシナリオを多く用意することによって、複数のユーザの各々は、仮想現実によって、任意のシナリオで再現された現象を体験できる。このため、シナリオを増加させることによって、ヒヤリハットのバリエーションを増加させることができる。また、ユーザの危険性を判定するための学習データを、十分に用意できる。また、類似する現象を再現したシナリオを複数用意し、類似する現象を繰り返し試行することによって、複数のユーザの各々に、仮想現実によって、類似するシナリオで再現された現象を体験させることができる。例えば、VR空間上においては、道路環境ならびに自動車の走行状況はシナリオ作成者が自在に作成することが可能である。このため、何度も類似する現象を繰り返し試行することが可能である。
端末装置300は、実空間でヒヤリハットを体験したユーザから取得されるセンサの検出値と同等のセンサの検出値を、仮想現実によって作成された環境を体験しているユーザから取得することができる。例えば、VRゴーグル(バーチャルリアリティヘッドセット400)を装着した被験者を物理的に十分なスペースに配置し、VRトラッカー(バーチャルリアリティトラッカー600)を装着することで、物理空間上でのアクションをVR空間上のアバターのアクションと同期することが可能となり、VR空間を利用した実験においても物理空間と同等のデータを取得することが可能となる。
また、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とに基づいて、端末装置300のユーザの危険性を判定する。このように構成することによって、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とのいずれかに基づいて、端末装置300のユーザの危険性を判定する場合よりも、擬陽性を低減できる。
また、危険性判定装置100は、センサデータ通知に含まれるセンサの検出値と、DB108から抽出したセンサの検出値とに基づいて、教師なし学習とモデルベース判定とのいずれかを用いて、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する。このように構成することによって、事前に策定したルールに依存せず、個人や状況に対する汎化性を向上できる。
また、危険性判定装置100は、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、その入力と、歩行者の危険性との関係を表す学習モデルを用いて、異常行動を起こした歩行者の危険性を判定する。このように構成することによって、事前に策定したルールに依存せず、個人や状況に対する汎化性を向上できる。
さらに、機械学習を多段とし、センサの検出値が外れ値であるか否かと、端末装置300のユーザの危険性の判定とを行うことで、前段処理を何度も実行するような無駄を省くことができるため、処理負荷を低減できる。また、判定するには処理遅延が大きすぎるため実用化できない処理について、精度を維持しつつ、処理を高速化できる。
また、危険性判定装置100は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、その入力と、歩行者の危険性との関係を表す学習モデルを更新する。このように構成することによって、適宜ルールを更新(アップデート)できるため、個人や状況に応じたルールを適用できる。このため、方式としての汎化性を高めることができる。
また、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とを、端末装置300から取得する。このように、端末装置300から取得することによって、専用デバイスを必要とせず、一定以上普及率を見込めるアプローチを適用できるため、現実世界での実行可能性を向上できる。また、一般的なデバイスのみでシステムを構成できる。
(変形例1)
本発明の実施形態の変形例1の危険性判定システムについて説明する。本発明の実施形態の変形例1の危険性判定システムは、図1を参照して説明した危険性判定システムにおいて、危険性判定装置100の代わりに、危険性判定装置100aと、学習装置100bとを備えるようにしたものである。
本実施形態の変形例の危険性判定システム1aは、危険性判定装置100aと、学習装置100bと、自動車200-1から自動車200-kと、端末装置300-1から端末装置300-nとを備える。
端末装置300-1から端末装置300-nの各々と、危険性判定装置100aと、学習装置100bとは、通信網50を介して互いに、接続される。
端末装置300-1から端末装置300-kの各々は、自動車200-1から自動車200-kが送信したセンサの検出値を示す情報と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100aと、学習装置100bとをあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100aと、学習装置100bとへ送信する。
端末装置300-1から端末装置300-nの各々は、搭載したセンサが検出したセンサの検出値と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100aと、学習装置100bとをあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100aと、学習装置100bとへ送信する。
危険性判定装置100aは、端末装置300-1から端末装置300-nの各々が送信したセンサデータ通知を受信する。危険性判定装置100aは、受信したセンサデータ通知を受け付け、受け付けたセンサデータ通知に含まれるセンサデータを整形する。危険性判定装置100aは、整形したセンサデータと、端末IDとを関連付けたセンサデータ通知を記憶する。
危険性判定装置100aは、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。危険性判定装置100aは、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100aは、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100aは、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動を導出する。
危険性判定装置100aは、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とを含み、学習装置100bを宛先とする危険性判定要求を作成し、作成した危険性判定要求を、学習装置100bへ送信する。
学習装置100bは、危険性判定装置100aが送信した危険性判定要求を受信し、受信した危険性判定要求に含まれる異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とを取得し、取得した異常行動を示す情報と、外れ値を含むセンサデータに含まれる時刻を示す情報及び位置を示す情報とに基づいて、センサデータ通知を送信した端末装置を携帯しているユーザの危険性を判定する。学習装置100bは、端末装置を携帯しているユーザの危険性を示す情報を含み、危険性判定装置100aを宛先とする危険性判定応答を作成し、作成した危険性判定応答を、危険性判定装置100aへ送信する。
危険性判定装置100aは、学習装置100bが送信した危険性判定応答を受信し、受信した危険性判定応答に含まれる端末装置を携帯しているユーザの危険性を示す情報を取得し、取得したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置300をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置300へ送信する。
次に、実施形態の危険性判定システム1と異なる危険性判定装置100aと、学習装置100bとについて、詳細に説明する。
図14は、本発明の実施形態の変形例1の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置と、学習装置との一例を示す図である。
(危険性判定装置)
危険性判定装置100aは、情報処理部104aと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部104aは、通信部106と接続される。情報処理部104aは、受付部112と、分析部113と、処理部114aとして機能する。
通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータを、情報処理部104aへ出力する。通信部106は、情報処理部104aが出力した危険性判定要求を取得し、取得した危険性判定要求を、学習装置100bへ送信する。通信部106は、学習装置100bが送信した危険性判定応答を取得し、取得した危険性判定応答を、情報処理部104bへ出力する。
処理部114aは、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114aは、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
処理部114aは、取得した異常行動の意味を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、センサデータに含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。具体的には、処理部114aは、異常行動を示す情報と、時刻を示す情報と、位置を示す情報とを含み、学習装置100bを宛先とする危険性判定要求を作成し、作成した危険性判定要求を、通信部106から、学習装置100bへ送信する。
処理部114aは、危険性判定要求に対して、学習装置100bが送信した危険性判定応答を取得し、取得した危険性判定応答に含まれる危険性の判定結果に基づいて、危険性が高いと判定した場合に、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。ここで、処理部114aは、危険性が高いと判定した場合に、危険性が高いことを示す情報と、詳細情報を端末装置300に取得させるための情報である詳細情報取得情報とを含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力するようにしてもよい。ここで、詳細情報には、コンテンツが含まれる。この危険性通知を受信した端末装置300は、詳細情報取得情報に基づいて、危険性判定装置100へアクセスする。処理部114aは、端末装置300によるアクセスに基づいて、通信部106から端末装置300へ、コンテンツを送信する。処理部114aは、危険性が低いと判定した場合、処理を終了する。
(学習装置)
学習装置100bは、情報処理部104bと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104bへ出力する。通信部106は、危険性判定装置100aが送信した危険性判定要求を受信し、受信した危険性判定要求を情報処理部104bへ出力する。通信部106は、情報処理部104bが出力した危険性判定応答を取得し、取得した危険性判定応答を、危険性判定装置100aへ送信する。
情報処理部104bは、通信部106と接続される。情報処理部104bは、受付部112と、学習部115bとして機能する。
受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、学習部115bへ出力する。受付部112は、通信部106が出力した危険性判定要求を取得し、取得した危険性判定要求を受け付ける。受付部112は、受け付けた危険性判定要求を、学習部115bへ出力する。
学習部115bは、受付部112が出力した危険性判定要求を取得し、取得した危険性判定要求に含まれる外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
学習部115bは、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって、歩行者環境特徴量行列を作成する。
学習部115bは、自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって自動車環境特徴量行列を作成する。
学習部115bは、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習する。
学習部115bは、歩行者環境特徴量行列と、自動車環境特徴量行列とを、ディープニューラルネットワークに入力することによって、異常行動を起こした歩行者の危険性を学習させる。
学習部115bは、異常行動を起こした歩行者の危険性を学習させることによって得られた危険性の判定結果を含み、危険性判定装置100aを宛先とする危険性判定応答を作成し、作成した危険性判定応答を、通信部106へ出力する。
通信部106は、学習部115bが出力した危険性判定応答を取得し、取得した危険性判定応答を、危険性判定装置100aへ送信する。
危険性判定システム1aの動作は、図13を適用できる。ただし、ステップS9の処理が、学習装置100bによって行われる。
実施形態の変形例1の危険性判定システムによれば、学習装置100bに、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習によって生成させることによって、実施形態の危険性判定システム1と比較して、危険性判定装置100aの処理負荷を低減できる。
(変形例2)
本発明の実施形態の変形例2の危険性判定システムについて説明する。本発明の実施形態の変形例2の危険性判定システム1cは、図1を参照して説明した危険性判定システム1において、危険性判定装置100の代わりに危険性判定装置100cを備え、端末装置300の代わりに端末装置300cを備える点で、実施形態の危険性判定システム1と異なる。
本実施形態の変形例2の危険性判定システム1cは、危険性判定装置100cと、自動車200-1から自動車200-kと、端末装置300c-1から端末装置300c-nとを備える。
自動車200-1から自動車200-kは、それぞれ端末装置300c-1から端末装置300c-kと、無線によって接続される。端末装置300c-1から端末装置300c-nの各々と、危険性判定装置100cとは、通信網50を介して互いに、接続される。
危険性判定装置100cは、端末装置300c-1から端末装置300c-nの各々が送信したセンサデータ通知を受信する。センサデータ通知に含まれるセンサの検出値は、自動車200-1から自動車200-kの各々に搭載されたセンサが検出した値と、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値とのいずれか一方又は両方が含まれる。端末装置300c-1から端末装置300c-nに搭載されたセンサが検出した値には、生体情報が含まれる。危険性判定装置100cは、受信したセンサデータ通知を受け付け、受け付けたセンサデータ通知に含まれるセンサデータを整形する。危険性判定装置100cは、整形したセンサデータと、端末IDとを関連付けたセンサデータ通知を記憶する。
危険性判定装置100cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定する。危険性判定装置100cは、記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。危険性判定装置100cは、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100cは、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100cは、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動と自動車の異常行動とのいずれか一方又は両方を導出する。
危険性判定装置100cは、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とに基づいて、端末装置を携帯しているユーザの危険性を判定する。危険性判定装置100cは、判定したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置へ送信する。端末装置300c-1から端末装置300c-nの各々は、危険性判定装置100cが送信した危険性通知を受信した場合に、受信した危険栓通知に含まれるユーザの危険性を示す情報を表示する。
前述した実施形態では、危険性判定装置100は、実空間に位置するユーザが携帯する端末装置に加え、仮想現実によって作成された環境を体験するユーザが携帯する端末装置が送信するセンサデータを使用することによって、判定のために大量のデータを事前に準備する場合について説明した。この場合に、事前に策定したシナリオに対応するデータが取得されるが、現実的には、ヒヤリハットのシチュエーションは無数にバリエーションが考えられるため、汎用性を実現するためには、より柔軟にヒヤリハットを検出する必要がある。仮に、ヒヤリハットであるか否かを、当事者(ユーザ)あるいは映像の視聴者が主観的に判断する場合に、イベントごとにどの程度危険であったかを判断することは容易ではない。そのため、実施形態の変形例2では、危険性判定装置100cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定する。
端末装置300c-j+1を携帯するユーザから端末装置300-kを携帯するユーザと、端末装置300-m+1を携帯するユーザから端末装置300-nを携帯するユーザとについて説明する。
図15は、仮想現実体験ユーザが装着する装置の一例を示す図である。仮想現実体験ユーザが装着する装置の一例は、バーチャルリアリティヘッドセット400と、スピーカ500と、バーチャルリアリティトラッカー600とに加え、生体センサ700が含まれる。
仮想現実体験ユーザ以外のユーザ、つまり端末装置300a-1を携帯するユーザから端末装置300a-jを携帯するユーザと、端末装置300a-k+1を携帯するユーザから端末装置300a-mを携帯するユーザとは、生体センサ700を装着している。
生体センサ700の一例は、心拍センサである。生体センサ700は、心臓の拍動(心拍)を測定する。本実施形態の変形例1では、端末装置300aが、生体センサ700を搭載している場合について説明を続ける。
次に、実施形態の危険性判定システム1と異なる端末装置300cと、危険性判定装置100cとについて、図3を参照して説明する。
(端末装置)
端末装置300cは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、眼鏡型端末装置、あるいはその他の情報処理機器として実現される。例えば、端末装置300cが自動車200と接続する場合には、端末装置300cは、車載あるいはドライバーが保持する。端末装置300cが自動車200と接続しない場合には、端末装置300cは、主に歩行者が保持する。端末装置300cは、センサ302cと、情報処理部304と、通信部306と、DB308と、表示部310と、通信部316とを備える。
センサ302cは、センサ302に加え、心拍センサなどの生体センサ700を含んで構成される。センサ302cは、時刻、加速度、角速度、地磁気、傾き、位置、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などに加え、生体情報を検出し、検出した時刻を示す情報と、加速度、角速度、地磁気、傾き、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値、生体情報などのセンサの検出値を示す情報と、位置を示す情報とを、情報処理部304へ出力する。
(危険性判定装置)
危険性判定装置100cは、情報処理部104cと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。情報処理部104cは、受付部112と、分析部113cと、学習部115と、処理部114として機能する。
分析部113cは、分析部113を適用できる。ただし、分析部113cは、センサデータ通知に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定する。分析部113cは、センサデータ通知に含まれる生体情報が、ヒヤリハットが発生したユーザから得られる生体情報に該当するか否かを判定する。具体的には、分析部113cは、センサデータ通知に含まれる生体情報が、生体情報閾値以上である場合にはヒヤリハットに該当すると判定し、生体情報閾値未満である場合にはヒヤリハットに該当しないと判定する。ここで、生体情報閾値は、ヒヤリハットが発生していないユーザから得られる生体情報と、ヒヤリハットが発生したユーザから得られる生体情報とに基づいて決定される。
例えば、生体情報として心拍数を使用した場合には、分析部113cは、センサデータ通知に含まれる心拍数を示す情報が、心拍数閾値以上である場合にはヒヤリハットに該当すると判定し、心拍数閾値未満である場合にはヒヤリハットに該当しないと判定する。ここで、心拍数閾値は、ヒヤリハットが発生していないユーザから得られる心拍数と、ヒヤリハットが発生したユーザから得られる心拍数とに基づいて決定される。
分析部113cは、DB108に記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。分析部113cは、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113cは、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。
本実施形態の変形例2の危険性判定システムの動作の一例は、図13を適用できる。ただし、ステップS7では、危険性判定装置100cにおいて、分析部113cは、センサデータ通知に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定する。分析部113cは、記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。分析部113cは、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113cは、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。分析部113cが、センサの検出値を、外れ値でないと判定した場合には、処理を終了する。
前述した実施形態の変形例2では、生体センサ700が端末装置300cに搭載されている場合について説明したが、この限りでない。例えば、生体センサ700と、端末装置300cとが、別の装置として実現されてもよい。この場合、生体センサ700は、検出することによって得られた生体情報を、端末装置300cへ送信する。
前述した実施形態の変形例2では、危険性判定装置100cにおいて、分析部113cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、その生体情報が、ヒヤリハットに該当するか否かを判定し、記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する場合について説明したが、この限りでない。例えば、分析部113cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定することなく、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出するようにしてもよい。また、例えば、分析部113cは、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出し、抽出したセンサデータ通知に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定してもよい。
実施形態の変形例2の危険性判定システム1cによれば、危険性判定装置100cは、仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置300cが送信したセンサデータ通知を取得し、取得したセンサデータ通知に基づいて、端末装置300cのユーザの危険性を判定する。端末装置300cは、撮像装置が取得する視覚情報と、撮像装置では死角となるために取得できないデータとに加え、生体情報を収集できる。このため、危険性判定装置100cは、従来では取得できないヒヤリハットのデータに基づいて、端末装置300cのユーザの危険性を、生体情報を使用して判定できるため、ユーザの危険性の判定精度を向上できる。
また、危険性判定装置100cにおいて、分析部113cは、受付部112が受け付けたセンサデータ通知に含まれる生体情報が、ヒヤリハットに該当するか否かを判定し、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末装置300の識別情報と同じ端末装置の識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。このように構成することによって、生体情報などの客観的な指標、閾値に基づいてヒヤリハットを検出できる。また、客観的な指標を用いてヒヤリハットの危険性を評価できる。例えば、被験者には生体センサー(例えば心拍センサ)を装着する。生体センサを装着した被験者を、VR空間に没入することによって外乱要因を排除することが可能となる。また、心拍数がある閾値を超えた場合を検出することで、ヒヤリハットのイベントを正確に検出することが可能となる。観測された生体データ(例えば心拍数)を指標とすることで、ヒヤリハットのイベントごとに、そのイベントがどの程度危険であったかを客観的に記録することが可能となる。
以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。例えば、実施形態の変形例2を、実施形態の変形例1に提供してもよい。具体的には、実施形態の変形例2の危険性判定装置100cの学習部115を、危険性判定装置100cとは異なる装置で実現してもよい。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、上述した危険性判定システム1に含まれる自動車200と、端末装置300と、危険性判定装置100と、危険性判定システム1aに含まれる自動車200と、端末装置300と、危険性判定装置100aと、学習装置100bと、危険性判定システム1cに含まれる自動車200と、端末装置300cと、危険性判定装置100cとは、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROMなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、FPGA(Field Programmable Gate Array)である。
1、1a、1c…危険性判定システム、50…通信網、100、100a、100c…危険性判定装置、100b…学習装置、104、104a、104b、104c…情報処理部、106…通信部、108…DB、112…受付部、113、113c…分析部、114、114a…処理部、115、115b…学習部、200-1~200-k、200…自動車、202…センサ、204…情報処理部、206…通信部、300-1~300-j、300-j+1~300-k、300-k+1~300-m、300-m+1~300-n、300c-1~300c-j、300c-j+1~300c-k、300c-k+1~300c-m、300c-m+1~300c-n、300、300c…端末装置、302、302c…センサ、304…情報処理部、306…通信部、308…DB、310…表示部、312…受付部、314…処理部、316…通信部、400…バーチャルリアリティヘッドセット、500…スピーカ、600…バーチャルリアリティトラッカー、700…生体センサ

Claims (10)

  1. 仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付ける受付部と、
    複数のセンサデータ通知を記憶する記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出する分析部と、
    前記分析部が異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する処理部と
    を備える、危険性判定装置。
  2. 前記受付部は、複数のユーザの各々に取り付けた生体センサの検出値をさらに関連付けたセンサデータ通知を受け付ける、請求項1に記載の危険性判定装置。
  3. 前記分析部は、前記受付部が受け付けたセンサデータ通知に含まれる生体情報が、ヒヤリハットに該当するか否かを判定し、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定する、請求項2に記載の危険性判定装置。
  4. 前記分析部は、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報と、前記外れ値であると判定した前記センサの前記検出値とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置のユーザの異常行動を導出する、請求項1から請求項3のいずれか一項に記載の危険性判定装置。
  5. 前記分析部は、前記記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の識別情報と同じ識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるかを判定し、
    前記処理部は、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する、請求項1から請求項4のいずれか一項に記載の危険性判定装置。
  6. 第1軸と、第2軸とを有する座標系で表される二次元で表したデータである二次元データにおいて、前記第1軸と前記第2軸との各々が複数に分割され、分割された前記第1軸及び前記第2軸によってセルが形成され、
    前記分析部は、前記位置に該当するセルに、前記異常行動を示す情報を表す、請求項1から請求項5のいずれか一項に記載の危険性判定装置。
  7. 前記処理部は、前記異常行動を示す情報を表したセルと、前記セルの周辺のセルである周辺セルとの各々に関連付けて記憶されている異常行動に基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する、請求項6に記載の危険性判定装置。
  8. 前記処理部が判定した前記ユーザの危険性を、前記ユーザへ通知する通信部
    を備える、請求項1から請求項のいずれか一項に危険性判定装置。
  9. 危険性判定装置が実行する危険性判定方法であって、
    仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、
    複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出するステップと、
    前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定するステップと
    を有する、危険性判定方法。
  10. 危険性判定装置のコンピュータに、
    仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、
    複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出するステップと、
    前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定するステップと
    を実行させる、プログラム。
JP2019218165A 2019-12-02 2019-12-02 危険性判定装置、危険性判定方法、及びプログラム Active JP7340176B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019218165A JP7340176B2 (ja) 2019-12-02 2019-12-02 危険性判定装置、危険性判定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019218165A JP7340176B2 (ja) 2019-12-02 2019-12-02 危険性判定装置、危険性判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021089484A JP2021089484A (ja) 2021-06-10
JP7340176B2 true JP7340176B2 (ja) 2023-09-07

Family

ID=76220642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019218165A Active JP7340176B2 (ja) 2019-12-02 2019-12-02 危険性判定装置、危険性判定方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7340176B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150038A (ja) 2001-11-08 2003-05-21 Sega Corp 運転模擬装置及び方法
JP2007047914A (ja) 2005-08-08 2007-02-22 Denso Corp 危険反応地点記録システム及び運転支援システム
JP2013061597A (ja) 2011-09-15 2013-04-04 Japan Automobile Research Institute 車両用危険場面再現装置
JP2016057836A (ja) 2014-09-09 2016-04-21 株式会社日立製作所 移動体分析システムおよび移動体の方向軸推定方法
JP2016157178A (ja) 2015-02-23 2016-09-01 株式会社エヌ・ティ・ティ・データ 判定装置、携帯端末及び判定方法
JP2018073326A (ja) 2016-11-04 2018-05-10 アイシン・エィ・ダブリュ株式会社 出力システム、及び出力プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977258B1 (ko) * 2018-07-19 2019-05-10 주식회사 테크노블러드코리아 가상현실 영상의 피드백 분석방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150038A (ja) 2001-11-08 2003-05-21 Sega Corp 運転模擬装置及び方法
JP2007047914A (ja) 2005-08-08 2007-02-22 Denso Corp 危険反応地点記録システム及び運転支援システム
JP2013061597A (ja) 2011-09-15 2013-04-04 Japan Automobile Research Institute 車両用危険場面再現装置
JP2016057836A (ja) 2014-09-09 2016-04-21 株式会社日立製作所 移動体分析システムおよび移動体の方向軸推定方法
JP2016157178A (ja) 2015-02-23 2016-09-01 株式会社エヌ・ティ・ティ・データ 判定装置、携帯端末及び判定方法
JP2018073326A (ja) 2016-11-04 2018-05-10 アイシン・エィ・ダブリュ株式会社 出力システム、及び出力プログラム

Also Published As

Publication number Publication date
JP2021089484A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
CA2848995C (en) A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services
US11787413B2 (en) Baseline event detection system
US11055544B2 (en) Electronic device and control method thereof
US9618359B2 (en) Wearable sensor data to improve map and navigation data
JP6246829B2 (ja) ヘッドマウントディスプレイのリソース管理
US10408626B2 (en) Information processing apparatus, information processing method, and program
US20220014895A1 (en) Spatiotemporal analysis for emergency response
US9639978B2 (en) Method and system for avatar replay based on mobile sensor information
US20210021957A1 (en) Method and apparatus for presenting pivacy-respectful and personalized location-based comments based on passenger context and vehicle proximity to the location
CN104978024A (zh) 用可佩戴计算设备来检测驾驶
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2014010496A (ja) ドライブレコーダ及びドライブレコード管理システム
Sila-Nowicka et al. Multi-sensor movement analysis for transport safety and health applications
KR102658770B1 (ko) 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
JP7340176B2 (ja) 危険性判定装置、危険性判定方法、及びプログラム
Kashevnik et al. Context-based driver support system development: Methodology and case study
JP7182167B2 (ja) 危険性判定装置、危険性判定方法、及びプログラム
US11620862B1 (en) Method and system for reconstructing information about an accident
KR102408560B1 (ko) 인공지능 블랙박스 시스템
US11881065B2 (en) Information recording device, information recording method, and program for recording information
WO2022029894A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US20220383256A1 (en) Post-vehicular incident reconstruction report
CN118405085A (zh) 监控方法、装置、车辆、电子设备及计算机程序产品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230816

R150 Certificate of patent or registration of utility model

Ref document number: 7340176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150