JP7340176B2 - 危険性判定装置、危険性判定方法、及びプログラム - Google Patents
危険性判定装置、危険性判定方法、及びプログラム Download PDFInfo
- Publication number
- JP7340176B2 JP7340176B2 JP2019218165A JP2019218165A JP7340176B2 JP 7340176 B2 JP7340176 B2 JP 7340176B2 JP 2019218165 A JP2019218165 A JP 2019218165A JP 2019218165 A JP2019218165 A JP 2019218165A JP 7340176 B2 JP7340176 B2 JP 7340176B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- sensor data
- terminal device
- information indicating
- outlier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
ヒヤリハットのデータを収集し、分析する技術に関して、歩行者および車両それぞれの加速度データを個々に収集し、個別の異常行動として急な方向転換や急停止を捉える技術が知られている(例えば、非特許文献1参照)。
本発明は、上記問題を解決すべくなされたもので、危険性を判定できる危険性判定装置、危険性判定方法、及びプログラムを提供することにある。
(2)本発明の一態様は、上記(1)に記載の危険性判定装置において、前記受付部は、複数のユーザの各々に取り付けた生体センサの検出値をさらに関連付けたセンサデータ通知を受け付ける。
(3)本発明の一態様は、上記(2)に記載の危険性判定装置において、前記分析部は、前記受付部が受け付けたセンサデータ通知に含まれる生体情報が、ヒヤリハットに該当するか否かを判定し、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定する。
(4)本発明の一態様は、上記(1)から上記(3)のいずれか一項に記載の危険性判定装置において、前記分析部は、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報と、前記外れ値であると判定した前記センサの前記検出値とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置のユーザの異常行動を導出する。
(5)本発明の一態様は、上記(1)から上記(4)のいずれか一項に記載の危険性判定装置において、前記分析部は、前記記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の識別情報と同じ識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるかを判定し、前記処理部は、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する。
(6)本発明の一態様は、上記(1)から上記(5)のいずれか一項に記載の危険性判定装置において、第1軸と、第2軸とを有する座標系で表される二次元で表したデータである二次元データにおいて、前記第1軸と前記第2軸との各々が複数に分割され、分割された前記第1軸及び前記第2軸によってセルが形成され、前記分析部は、前記位置に該当するセルに、前記異常行動を示す情報を表す。
(7)本発明の一態様は、上記(6)に記載の危険性判定装置において、前記処理部は、前記異常行動を示す情報を表したセルと、前記セルの周辺のセルである周辺セルとの各々に関連付けて記憶されている異常行動に基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する。
(8)本発明の一態様は、上記(1)から上記(7)のいずれか一項に記載の危険性判定装置において、前記処理部が判定した前記ユーザの危険性を、前記ユーザへ通知する通信部を備える。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(危険性判定システム)
図1は、本発明の実施形態の危険性判定システムの一例を示す図である。本実施形態の危険性判定システム1は、危険性判定装置100と、自動車200-1から自動車200-k(kは、k>0の整数)と、端末装置300-1から端末装置300-n(nは、n>kの整数)とを備える。
自動車200-1から自動車200-kは、それぞれ端末装置300-1から端末装置300-kと、無線によって接続される。端末装置300-1から端末装置300-nの各々と、危険性判定装置100とは、通信網50を介して互いに、接続される。通信網50は、例えば、無線基地局、Wi-Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、通信網50は、一部にローカルなネットワークを含んでもよい。
本実施形態では、端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザは、それぞれ自動車200-1から自動車200-kに乗車している場合について説明を続ける。また、端末装置300-k+1を携帯するユーザから端末装置300-nを携帯するユーザは、自動車に乗車していない場合について説明を続ける。
端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザのうち、端末装置300-1を携帯するユーザから端末装置300-j(jは、j<kの整数)を携帯するユーザは、実空間に存在している。端末装置300-1を携帯するユーザから端末装置300-kを携帯するユーザのうち、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザは、仮想現実によって作成された環境を体験している。
端末装置300-k+1を携帯するユーザから端末装置300-nを携帯するユーザのうち、端末装置300-k+1を携帯するユーザから端末装置300-m(mは、k+1<m<nの整数)を携帯するユーザは、実空間に存在している。端末装置300-k+1を携帯するユーザから端末装置300-nを携帯するユーザのうち、端末装置300-m+1を携帯するユーザから端末装置300-nを携帯するユーザは、仮想現実によって作成された環境を体験している。
端末装置300-1から端末装置300-kは、それぞれ自動車200-1から自動車200-kが送信したセンサの検出値を示す情報を受信した場合に、センサの検出値を示す情報を受信した時刻と位置とを取得する。端末装置300-1から端末装置300-kの各々は、受信したセンサの検出値を示す情報を、そのセンサの検出値を受信した時刻を示す情報及び位置を示す情報と関連付けて記憶する。
端末装置300-1から端末装置300-kの各々は、センサの検出値を示す情報と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100をあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100へ送信する。ここで、端末IDは、端末装置の識別情報である。
また、端末装置300-1から端末装置300-nの各々は、センサを搭載し、搭載したセンサが検出したセンサの検出値を示す情報を、そのセンサの検出値を受信した時刻を示す情報と関連付けて記憶する。ここで、センサの検出値には、端末装置の位置を示す情報が含まれる。端末装置300-1から端末装置300-nの各々は、センサの検出値と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100をあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100へ送信する。
危険性判定装置100は、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータに含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。危険性判定装置100は、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100は、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100は、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動と自動車の異常行動とのいずれか一方又は両方を導出する。
危険性判定装置100は、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とに基づいて、端末装置を携帯しているユーザの危険性を判定する。危険性判定装置100は、判定したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置へ送信する。端末装置300-1から端末装置300-nの各々は、危険性判定装置100が送信した危険性通知を受信した場合に、受信した危険栓通知に含まれるユーザの危険性を示す情報を表示する。
図2は、仮想現実体験ユーザが装着する装置の一例を示す図である。仮想現実体験ユーザが装着する装置の一例は、バーチャルリアリティヘッドセット400と、スピーカ500と、バーチャルリアリティトラッカー600とである。
バーチャルリアリティヘッドセット400は、仮想現実によって再現された映像を再生することによって、バーチャルリアリティヘッドセット400を装着している仮想現実体験ユーザに、仮想現実空間に再現された映像を見せることによって体験させる。仮想現実によって作成された映像の一例は、危険な状況を再現したシナリオが再生されたものである。具体的には、危険な状況を再現したシナリオの一例は、歩行者が飛び出して、自動車が急停止した状況を再現したものである。
スピーカ500は、仮想現実によって再現された音声を出力する。スピーカ500の一例は、ネックスピーカである。スピーカ500は、自動車などの接近物が発する音を立体音響で再生できるのが好ましい。このように構成することによって、音を再生する際に三次元的な音の方向や距離、拡がりなどを再生できる。このため、仮に、バーチャルリアリティヘッドセット400で、自動車が接近している映像が再生された場合には、自動車の走行音が立体音響で再現されるため、仮想現実体験ユーザに、自動車の接近を認知させることができる。
また、このように構成することによって、バーチャルリアリティトラッカー600は、仮想現実体験ユーザの足の動きを検出できるため、端末装置300-j+1を携帯するユーザから端末装置300-kを携帯するユーザの歩行を検出できる。バーチャルリアリティヘッドセット400は、バーチャルリアリティトラッカー600が検出した足の動きに基づいて仮想現実によって再現された映像を再生する。このように構成することによって、バーチャルリアリティヘッドセット400を装着している仮想現実体験ユーザに、仮想現実空間に再現された映像を見せることによって体験させることができる。
仮想現実によって作成された環境を体験するユーザは、バーチャルリアリティヘッドセット400と、スピーカ500と、バーチャルリアリティトラッカー600とを装着することによって、現実空間と同様に歩行者が移動、行動できるように物理空間を確保できるため、現実空間と同等のデータ取得が可能である。
以下、自動車200-1から自動車200-nのうち任意の自動車を、自動車200と記載する。端末装置300-1から端末装置300-nのうち任意の自動車を、端末装置300と記載する。
(自動車)
図3は、本発明の実施形態の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置の一例を示す図である。
自動車200について説明する。自動車200は、センサ202と、情報処理部204と、通信部206とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部204は、センサ202と接続される。情報処理部204は、時計部を備え、センサ202が出力したセンサの検出値を示す情報を取得した場合に、時計部から、そのセンサの検出値を示す情報を取得した時刻を取得する。情報処理部204は、センサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを含み、端末装置300をあて先とするセンサ検出値通知を作成し、作成したセンサ検出値通知を、通信部206へ出力する。
通信部206は、情報処理部204と接続される。通信部206は、通信モジュールによって実現される。具体的には、通信部206は、ブルートゥース(登録商標)、WiFi(登録商標)などの無線通信技術で無線通信を行う無線デバイスによって構成される。通信部206は、情報処理部204が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を、端末装置300へ送信する。
端末装置300は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、眼鏡型端末装置、あるいはその他の情報処理機器として実現される。例えば、端末装置300が自動車200と接続する場合には、端末装置300は、車載あるいはドライバーが保持する。端末装置300が自動車200と接続しない場合には、端末装置300は、主に歩行者が保持する。端末装置300は、センサ302と、情報処理部304と、通信部306と、DB308と、表示部310と、通信部316とを備える。ここで、DB308記憶部の一例である。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
センサ302は、一又は複数のセンサによって構成される。具体的には、センサ302は、時計部、加速度センサ、角速度センサ、地磁気センサ、傾きセンサ、GPS(Global Positioning System)、気圧センサ、照度センサ、ステップセンサ、スクリーンロックオンオフセンサ、バッテリ温度残量センサなどによって構成される。ここで、GPSによって取得される情報には、GPS時刻を示す情報、緯度を示す情報、経度を示す情報、高度を示す情報、精度を示す情報、GPS速度を示す情報、衛星の数を示す情報、位置計測手段を示す情報などが含まれる。
センサ302は、時刻、加速度、角速度、地磁気、傾き、位置、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などを検出し、検出した時刻を示す情報と、加速度、角速度、地磁気、傾き、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などのセンサの検出値を示す情報と、位置を示す情報とを、情報処理部304へ出力する。
通信部316は、通信モジュールによって実現される。通信部316は、通信網50を経由して、LTE(Long Term Evolution)などの携帯電話の通信規格、無線LAN(登録商標)などの通信規格にしたがって、危険性判定装置100などの他の装置と通信を行う。具体的には、通信部316は、情報処理部304が出力したセンサデータ通知を取得し、取得したセンサデータ通知を、危険性判定装置100へ送信する。通信部316は、危険性判定装置100が送信した危険性通知を受信し、受信した危険性通知を、情報処理部304へ出力する。
受付部312は、通信部306が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を受け付ける。受付部312は、センサ検出値通知を受け付けた場合に、センサ302に含まれるGPSから、端末装置300の位置を示す情報を取得する。情報処理部304は、取得した端末装置300の位置を示す情報と、センサ検出値通知に含まれるセンサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。
また、受付部312は、センサ302が出力したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを受け付ける。受付部312は、取得したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。
処理部314は、DB308に記憶されたセンサデータを取得し、取得したセンサデータと、端末IDとを含み、危険性判定装置100を宛先とするセンサデータ通知を作成する。処理部314は、作成したセンサデータ通知を、通信部316へ出力する。
処理部314は、通信部316が出力した危険性通知を取得し、取得した危険性通知に含まれるユーザの危険性を示す情報に基づいて、表示部310に文字と画像とのいずれか一方又は両方を表示することによって、端末装置300のユーザに、危険性を通知する。また、処理部314は、ユーザの危険性を示す情報に基づいて、音声を出力することによって、端末装置300のユーザに、危険性を通知する。
図4は、端末装置のDBに記憶される情報の一例を示す図である。図4に示される例では、DB308には、センサの検出値を示す情報1と位置を示す情報1と時刻を示す情報1とを関連付けた情報であるセンサデータ1と、センサの検出値を示す情報2と位置を示す情報2と時刻を示す情報2とを関連付けた情報であるセンサデータ2と、センサの検出値を示す情報3と位置を示す情報3と時刻を示す情報3とを関連付けた情報であるセンサデータ3とが記憶されている。図3に戻り説明を続ける。
表示部310は、情報処理部304と接続される。表示部310は、画像を表示したり、GUI(Graphical User Interface)などを介して画像、テキスト情報、アニメーションなどを表示したりする。具体的には、表示部310は、情報処理部304が出力したユーザの危険性を示す情報を取得し、取得したユーザの危険性を示す情報を処理することによって、文字と画像とのいずれか一方又は両方を表示する。
危険性判定装置100は、情報処理部104と、通信部106と、DB108とを備える。ここで、DB108記憶部の一例である。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部104は、通信部106と接続される。情報処理部104は、受付部112と、分析部113と、学習部115と、処理部114として機能する。
受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、分析部113へ出力する。
ここで、センサデータの整形の一例について説明する。
図5は、整形前のセンサデータの一例を示す模式図である。センサデータは、ユーザを示す軸と、時刻を示す軸と、センサによって測定される項目を示す軸との三軸によって表されている。項目を示す軸に、センサの検出値が表される。図5には、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータと、user3が携帯する端末装置300が送信したセンサデータとが示されている。さらに、図5には、一例として、センサデータに、3軸加速度センサによって計測されたセンサの検出値と、3軸角速度センサによって計測されたセンサの検出値と、2次元GPSによって計測された位置を示す情報とが含まれることが示されている。
センサの検出値は、端末装置300の状態と、センサとに応じて、異なるタイミングで取得されている。つまり、センサの検出値が取得されるタイミングは、端末装置300によっても、センサによっても異なる。
分析部113は、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータと、user3が携帯する端末装置300が送信したセンサデータとのフォーマットを揃えるために、時刻を示す軸を複数の時間間隔(タイムスロット)に分割する。分析部113は、タイムスロットに含まれるセンサの検出値をセンサ毎に平均化するなどの統計処理を行い、統計処理を行うことによって得られる統計処理の結果を、そのタイムスロットのセンサの検出値とすることによって、センサデータを整形する。
図6は、整形後のセンサデータの一例を示す模式図である。図6は、センサ毎に、タイムスロットに含まれるセンサの検出値を統計処理することによって導出される統計処理の結果を、そのタイムスロットのセンサの検出値とした結果を示す。図6に示すように、各センサにおいて、タイムスロットに含まれるセンサの検出値は一個となり、user1が携帯する端末装置300が送信したセンサデータと、user2が携帯する端末装置300が送信したセンサデータとのフォーマットが揃っていることが分かる。
分析部113は、センサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を、DB108へ出力する。図3に戻り説明を続ける。
具体的には、分析部113は、取得したセンサデータ通知に含まれるセンサの検出値と、DB108から抽出したセンサの検出値とに基づいて、教師なし学習を行うことによって、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する。教師なし学習のアルゴリズムには、one-class SVM(support vector machine)、anomaly factorなどが含まれるが、いずれでもよい。
図7は、異常行動の一例を示す図である。図7には、歩行者P1の時間軸と、自動車V1の時間軸とが示されている。
図7に示される例では、分析部113は、時刻T1で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、歩行者P1が歩きスマホを行っていることを導出する。
また、分析部113は、時刻T2で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、自動車V1が生活道路を高速で走行していることを導出する。
また、分析部113は、時刻T3で得られたセンサの検出値が外れ値であると判断する。分析部113は、その外れ値をクラスター分析することによって、そのセンサの検出値をクラスター分析した結果に該当する異常行動を示す情報として、歩行者P1が生活道路の中心付近にはみ出していることを導出する。分析部113は、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知とを、学習部115と、処理部114とへ出力する。図3に戻り説明を続ける。
処理部114は、取得した異常行動の意味を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、センサデータ通知に含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。
具体的には、処理部114は、取得した時刻を示す情報と、位置を示す情報とに基づいて、異常行動を時空間に表現する。異常行動を時空間に表現する方法については後述する。処理部114は、異常行動を起点として、その異常行動の位置を示す情報に基づいて、その位置から、空間的に半径Xメートルの範囲に存在するセル(周辺セル)から、起点に該当する異常行動以外の異常行動のデータを抽出する。さらに、処理部114は、抽出した異常行動のデータから、起点に該当する時刻から過去Y秒以内の異常行動を抽出する。
処理部114は、異常行動を抽出できなかった場合には、ユーザの危険性は低いと判定する。処理部114は、異常行動を抽出できた場合には、異常行動を抽出できなかった場合よりも、ユーザの危険性は高いと判定する。
ここで、異常行動を時空間に表現する方法の一例について説明する。具体的には、異常行動の位置を時空間に表現する。
図8は、異常行動の表現方法の一例を示す図である。
図8に示される例では、ある時刻における異常行動の位置が二次元で表現される。具体的には、学習部115は、ある時刻における異常行動が発生した位置を、第1軸を経度とし、第2軸を緯度とする座標系に表す。例えば、学習部115は、ある時刻における異常行動が発生した位置を、横軸を経度とし、縦軸を緯度とする二次元データに表す。さらに、学習部115は、格子状に横軸と縦軸との各々を複数に分割する。学習部115は、分割した横軸と分割した縦軸とによって、セルを形成する。学習部115は、形成した各セルの各々に、検出された異常行動(アクション)を多次元配列で表現する。
図8に示される例では、横軸が五区間に分割され、縦軸が五区間に分割され、5×5の25個のセルが形成される。図8に示される5×5のセルの各々を、「j」を、横軸を分割することによって得られる区間とし、「k」を、縦軸を分割することによって得られる区間として、「セル(j,k)(jは1~5の整数、kは1~5の整数)」で示す。
また、歩行者の異常行動が検出されたことを示す情報を、「歩行者l[o,p,q](lは歩行者を識別する情報、o,p,qは異常行動を識別する情報)」で表す。ここでは、「o」をアクション1と呼び、「p」をアクション2と呼び、「q」をアクション3と呼ぶ。
また、自動車の異常行動が検出されたことを示す情報を、「自動車r[s,t,u](rは自動車を識別する情報、s,t,uは異常行動を識別する情報)」で表す。ここでは、「s」をアクション1と呼び、「t」をアクション2と呼び、「u」をアクション3と呼ぶ。
さらに、図8の左図は、ある時刻に、セル(3,3)の北西方向のセル(1,5)において、歩行者1のアクション2(歩行者1[0,1,0])が検出されたことを示している。この場合には、セル(1,5)に、アクション2が検出されたことを示す情報である[0,1,0]が示される。
図8の右図は、ある時刻に、セル(3,3)において、自動車2のアクション1(自動車2[1,0,0])が、検出されたことを示している。この場合には、セル(3,3)に、アクション1が検出されたことを示す情報である[1,0,0]が示される。さらに、図8の右図は、ある時刻に、セル(3,2)において、自動車3のアクション3(自動車3[0,0,1])が、検出されたことを示している。この場合には、セル(3,2)に、アクション3が検出されたことを示す情報である[0,0,1]が示される。さらに、図8の右図は、ある時刻に、セル(1,4)において、自動車1のアクション2(自動車1[0,1,0])が、検出されたことを示している。この場合には、セル(1,4)に、アクション2が検出されたことを示す情報である[0,1,0]が示される。
図8の左図と右図とに示すように、横軸を経度とし、縦軸を緯度とする二次元データに、異常行動を表現することによって、どこで、どのような異常行動(アクション)が発生したのか表現できることが分かる。
学習部115は、自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列する。自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって得られる時系列データを、「自動車環境特徴量行列」という。
図9は、歩行者環境特徴量行列と、自動車環境特徴量行列との一例を示す図である。図9の左図は、歩行者環境特徴量行列の一例を示す。図9の左図によれば、歩行者環境特徴量行列の一例は、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に4個配列することによって得られる。図9の右図は、自動車環境特徴量行列の一例を示す。図9の右図によれば、自動車環境特徴量行列の一例は、自動車の異常行動の位置を二次元データに表したデータを、時間方向に4個配列することによって得られる。
学習部115は、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習する。
学習部115は、歩行者環境特徴量行列と、自動車環境特徴量行列とを、ディープニューラルネットワークに入力することによって、異常行動を起こした歩行者の危険性を学習させる。
図10に示される例では、危険性判定装置100の学習部115が、異常行動を起こした歩行者の危険性を学習する処理を示す。
学習部115は、3次元畳み込み層A1と、3次元畳み込み層A2と、3次元畳み込み層B1と、3次元畳み込み層B2と、全結合層C1と、全結合層C2と、全結合層C3とを有する。ここでは、歩行者環境特徴量行列の一例として、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に四個配列することによって得られるデータ(以下「歩行者環境特徴量4次元行列」という)と、自動車環境特徴量行列の一例として、自動車の異常行動の位置を二次元データに表したデータを、時間方向に四個配列することによって得られるデータ(以下「自動車環境特徴量4次元行列」という)とを使用した場合について説明する。
歩行者環境特徴量4次元行列は、3次元畳み込み層A1に入力される。3次元畳み込み層A1は、歩行者環境特徴量4次元行列から特徴を抽出し、抽出した特徴を示す情報を、3次元畳み込み層A2へ出力する。3次元畳み込み層A2は、3次元畳み込み層A1が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴からさらに特徴を抽出し、抽出した特徴を示す情報を、全結合層C1へ出力する。全結合層C1は、3次元畳み込み層A2が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴を抽象化し、抽象化した特徴を示す情報を、全結合層C3へ出力する。
自動車環境特徴量4次元行列は、3次元畳み込み層B1に入力される。3次元畳み込み層B1は、自動車環境特徴量4次元行列から特徴を抽出し、抽出した特徴を示す情報を、3次元畳み込み層C2へ出力する。3次元畳み込み層C2は、3次元畳み込み層C1が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴からさらに特徴を抽出し、抽出した特徴を示す情報を、全結合層C2へ出力する。全結合層C2は、3次元畳み込み層B2が出力した特徴を示す情報を取得し、取得した特徴を示す情報に基づいて、取得した特徴を抽象化し、抽象化した特徴を示す情報を、全結合層C3へ出力する。
全結合層C3は、3次元畳み込み層C1が出力した抽象化された特徴を示す情報と、3次元畳み込み層C2が出力した抽象化された特徴を示す情報とを取得し、取得した二つの抽象化された特徴を示す情報に基づいて、二つの抽象化された特徴を更に系列データとして抽象化する。学習部115は、抽象化した系列データに基づいて、歩行者の危険性を学習することによって、歩行者環境特徴量4次元行列と、自動車環境特徴量4次元行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを生成する。
図11は、危険性の判定処理の一例を示す図である。
図11(1)に示される例では、分析部113によって、時刻T1で外れ値が得られ、得られた外れ値に該当する異常行動として、歩きスマホが導出された場合について示す。この場合、時刻T1で導出された歩きスマホが起点となる。その起点を中心として、半径Xメートルで、且つ時刻T1から過去Y秒以内には、異常行動が存在しないため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、危険性は低いと判定する。
図11(2)に示される例では、分析部113によって、時刻T2で外れ値が得られ、得られた外れ値に該当する異常行動として、生活道路を高速で走行することが導出された場合について示す。この場合、時刻T2で導出された生活道路を高速で走行することが起点となる。起点を中心として、半径Xメートルで、且つ時刻T2から過去Y秒以内には、T2-T1<Yの場合には、時刻T1で導出された歩きスマホが存在するため、処理部114は、学習部115に、歩きスマホが検出された位置を二次元データに表したデータと、生活道路を高速で走行することが検出された位置を二次元データに表したデータとの両方を含む時系列データを対象として機械学習を行わせることによって、危険性を判定する。この場合、例えば、処理部114は、歩きスマホが検出された位置を二次元データに表したデータを含む時系列データを対象として危険性を判定する場合よりも、危険性は高いと判定する。
処理部114は、危険性が高いと判定した場合に、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。ここで、処理部114は、危険性が高いと判定した場合に、危険性が高いことを示す情報と、詳細情報を端末装置300に取得させるための情報である詳細情報取得情報とを含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力するようにしてもよい。ここで、詳細情報には、コンテンツが含まれる。この危険性通知を受信した端末装置300は、詳細情報取得情報に基づいて、危険性判定装置100へアクセスする。処理部114は、端末装置300によるアクセスに基づいて、通信部106から端末装置300へ、コンテンツを送信する。処理部114は、危険性が低いと判定した場合、処理を終了する。
学習部115は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを更新する。
図12は、DB108に記憶される情報の一例を示す図である。図12に示される例では、DB108には、端末ID「0001」と、センサの検出値を示す情報1と位置を示す情報1と時刻を示す情報1とを関連付けた情報であるセンサデータ1とが関連付けて記憶されている。また、DB108には、端末ID「0002」と、センサの検出値を示す情報2と位置を示す情報2と時刻を示す情報2とを関連付けた情報であるセンサデータ2とが関連付けて記憶されている。また、DB108には、端末ID「0003」と、センサの検出値を示す情報3と位置を示す情報3と時刻を示す情報3とを関連付けた情報であるセンサデータ3とが関連付けて記憶されている。
図13は、本実施形態の危険性判定システムの動作の一例を示すシーケンスチャートである。
(ステップS1)
自動車200において、センサ202は、センサの検出値を示す情報を、情報処理部204へ出力する。情報処理部204は、センサ202が出力したセンサの検出値を示す情報を取得した場合に、時計部から、そのセンサの検出値を示す情報を取得した時刻を取得する。情報処理部204は、センサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを含み、端末装置300をあて先とするセンサ検出値通知を作成し、作成したセンサ検出値通知を、通信部206へ出力する。
(ステップS2)
自動車200において、通信部206は、情報処理部204が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を、端末装置300へ送信する。
(ステップS3)
端末装置300において、通信部306は、自動車200が送信したセンサ検出値通知を受信し、受信したセンサ検出値通知を、情報処理部304へ出力する。情報処理部304の受付部312は、通信部306が出力したセンサ検出値通知を取得し、取得したセンサ検出値通知を受け付ける。受付部312は、センサ検出値通知を受け付けた場合に、センサ302に含まれるGPSから、端末装置300の位置を示す情報を取得する。受付部312は、取得した端末装置300の位置を示す情報と、センサ検出値通知に含まれるセンサの検出値を示す情報と、そのセンサの検出値を取得した時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。DB308は、受付部312が出力したセンサデータを、記憶する。
また、端末装置300において、受付部312は、センサ302が出力したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを受け付ける。受付部312は、取得したセンサの検出値を示す情報と、位置を示す情報と、時刻を示す情報とを関連付けた情報であるセンサデータを、DB308へ出力する。DB308は、受付部312が出力したセンサデータを、記憶する。
端末装置300において、処理部314は、DB308に記憶されたセンサデータを取得し、取得したセンサデータと、端末IDとを含み、危険性判定装置100を宛先とするセンサデータ通知を作成する。処理部314は、作成したセンサデータ通知を、通信部316へ出力する。
(ステップS5)
端末装置300において、通信部316は、情報処理部304が出力したセンサデータ通知を取得し、取得したセンサデータ通知を、危険性判定装置100へ送信する。
(ステップS6)
危険性判定装置100において、通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104へ出力する。情報処理部104の受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、分析部113へ出力する。分析部113は、受付部112が出力したセンサデータ通知を取得し、取得したセンサデータ通知に含まれるセンサデータを取得する。分析部113は、取得したセンサデータを整形する。分析部113は、受け付けたセンサデータ通知に含まれる端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を、DB108へ出力する。DB108は、分析部113が出力した端末IDと、整形後のセンサデータとを関連付けた情報であるセンサデータ通知を取得し、取得したセンサデータ通知を記憶する。
(ステップS7)
危険性判定装置100において、分析部113は、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。分析部113は、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113は、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。ここでは、分析部113が、センサの検出値を、外れ値であると判定した場合について、説明を続ける。分析部113が、センサの検出値を、外れ値でないと判定した場合には、処理を終了する。
危険性判定装置100において、分析部113は、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を示す情報を導出する。分析部113は、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知とを、学習部115と、処理部114とへ出力する。
(ステップS9)
危険性判定装置100において、処理部114は、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114は、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。処理部114は、取得した異常行動を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、学習部115に機械学習を行わせることによって、センサデータに含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。ここでは、処理部114が、ユーザの危険性が高いと判定した場合について説明を続ける。処理部114は、危険性が低いと判定した場合、処理を終了する。
処理部114は、危険性が高いと判定した場合、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。
(ステップS10)
危険性判定装置100において、通信部106は、情報処理部104が出力した危険性通知を取得し、取得した危険性通知を、端末装置300へ送信する。
(ステップS11)
端末装置300において、通信部316は、危険性判定装置100が送信した危険性通知を受信し、受信した危険性通知を、情報処理部304へ出力する。情報処理部304の処理部314は、通信部316が出力した危険性通知を取得し、取得した危険性通知に含まれるユーザの危険性を示す情報に基づいて、表示部310に文字と画像とのいずれか一方又は両方を表示することによって、端末装置300のユーザに、危険性を通知する。また、処理部314は、ユーザの危険性を示す情報に基づいて、音声を出力することによって、端末装置300のユーザに、危険性を通知する。
(ステップS12)
危険性判定装置100において、学習部115は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを更新する。
前述した実施形態では、自動車200の情報処理部204が、センサ202が出力したセンサの検出値を示す情報を取得する場合について説明したがこの限りでない。例えば、自動車200の情報処理部204は、OBD(On-board diagnostics)IIから、センサの検出値を示す情報を取得してもよい。この場合、情報処理部204は、OBDIIから、センサの検出値を示す情報を取得できる場合には、エンジンの回転数を示す情報、車速度を示す情報、スロットル開度を示す情報、燃料残量を示す情報、燃費などを取得し、取得したエンジンの回転数を示す情報、車速度を示す情報、スロットル開度を示す情報、燃料残量を示す情報、燃費などを含むセンサ検出値通知を作成する。また、情報処理部204は、OBDIIから、センサの検出値を示す情報を取得できない場合には、センサ検出値通知を作成しない。
前述した実施形態では、実空間に存在しているユーザが携帯する端末装置300と、仮想現実によって作成された環境を体験しているユーザが携帯する端末装置300とが送信するセンサデータ通知を、危険性判定装置100へ送信する場合について説明したが、この例に限られない。例えば、実空間に存在しているユーザが携帯する端末装置300と、仮想現実によって作成された環境を体験しているユーザが携帯する端末装置300とのいずれか一方が送信するセンサデータ通知を、危険性判定装置100へ送信するようにしてもよい。
前述した実施形態では、危険性判定装置100の分析部113が、センサデータを整形する場合について説明したが、この限りでない。例えば、端末装置300の処理部314が、センサデータを整形してもよい。このように構成することによって、危険性判定装置100は、センサデータを整形する処理を省略できるため、処理負荷を低減できる。
前述した実施形態では、異常行動を示す情報の例として、歩行者P1が歩きスマホを行っている場合、自動車V1が生活道路を高速で走行している場合と、歩行者P1が生活道路の中心付近にはみ出している場合とについて説明したが、この限りでない。例えば、異常行動を示す情報の例として、自動車が停車した場合、歩行者が飛び出した場合等が含まれてもよい。
前述した実施形態では、異常行動の表現方法の一例として、第1軸を経度とし、第2軸を緯度とする座標系において、横軸が五区間に分割され、縦軸が五区間に分割され、5×5の25個のセルが形成される場合について説明したがこの限りでない。例えば、横軸が二区間から四区間に分割されてもよいし、六区間以上に分割されてもよい。縦軸が二区間から四区間に分割されてもよいし、六区間以上に分割されてもよい。また、横軸と縦軸との区間の数は、同じであってもよいし、異なっていてもよい。
前述した実施形態では、危険性判定装置100の学習部115が、歩行者環境特徴量4次元行列を処理する3次畳み込み層が二段である場合について説明したが、この限りでない。例えば、3次畳み込み層が一段であってもよいし、三段以上であってもよい。
前述した実施形態では、危険性判定装置100の学習部115が、自動車環境特徴量4次元行列を処理する3次畳み込み層が二段である場合について説明したが、この限りでない。例えば、3次畳み込み層が一段であってもよいし、三段以上であってもよい。
前述した実施形態では、端末装置300は、通信網50を経由して、センサデータ通知を、危険性判定装置100へ送信する場合について説明したが、この例に限られない。例えば、端末装置300は、通信網50を経由して、センサデータ通知を、クラウド、エッジクラウド、専用サーバへ送信してもよい。この場合、危険性判定装置100は、クラウド、エッジクラウド、専用サーバから、センサデータ通知を取得する。
前述した実施形態では、危険性判定装置100が、センサの検出値が外れ値であると判定した場合に、その外れ値に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出する場合について説明したがこの限りでない。例えば、危険性判定装置100は、外れ値に加えて、端末装置300のユーザのプロファイルと、環境情報とのいずれか一方又は両方に基づいて、その外れ値を含むセンサデータ通知に含まれる端末IDに該当する端末装置のユーザの異常行動を導出してもよい。ここで、プロファイルには、ユーザの年齢と性別とが含まれる。また、環境情報には、天候(天気・気温)と、時刻と、ユーザが乗車している自動車200が走行している道路のレーンの数と、ユーザの近傍の建物の有無と、ユーザの周辺のPoI(point of interest)とが含まれる。
また、ヒヤリハットにつながるシナリオを多く用意することによって、複数のユーザの各々は、仮想現実によって、任意のシナリオで再現された現象を体験できる。このため、シナリオを増加させることによって、ヒヤリハットのバリエーションを増加させることができる。また、ユーザの危険性を判定するための学習データを、十分に用意できる。また、類似する現象を再現したシナリオを複数用意し、類似する現象を繰り返し試行することによって、複数のユーザの各々に、仮想現実によって、類似するシナリオで再現された現象を体験させることができる。例えば、VR空間上においては、道路環境ならびに自動車の走行状況はシナリオ作成者が自在に作成することが可能である。このため、何度も類似する現象を繰り返し試行することが可能である。
また、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とに基づいて、端末装置300のユーザの危険性を判定する。このように構成することによって、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とのいずれかに基づいて、端末装置300のユーザの危険性を判定する場合よりも、擬陽性を低減できる。
また、危険性判定装置100は、センサデータ通知に含まれるセンサの検出値と、DB108から抽出したセンサの検出値とに基づいて、教師なし学習とモデルベース判定とのいずれかを用いて、取得したセンサデータ通知に含まれるセンサの検出値が外れ値であるか否かを判定する。このように構成することによって、事前に策定したルールに依存せず、個人や状況に対する汎化性を向上できる。
また、危険性判定装置100は、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、その入力と、歩行者の危険性との関係を表す学習モデルを用いて、異常行動を起こした歩行者の危険性を判定する。このように構成することによって、事前に策定したルールに依存せず、個人や状況に対する汎化性を向上できる。
さらに、機械学習を多段とし、センサの検出値が外れ値であるか否かと、端末装置300のユーザの危険性の判定とを行うことで、前段処理を何度も実行するような無駄を省くことができるため、処理負荷を低減できる。また、判定するには処理遅延が大きすぎるため実用化できない処理について、精度を維持しつつ、処理を高速化できる。
また、危険性判定装置100は、判定結果に基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、その入力と、歩行者の危険性との関係を表す学習モデルを更新する。このように構成することによって、適宜ルールを更新(アップデート)できるため、個人や状況に応じたルールを適用できる。このため、方式としての汎化性を高めることができる。
また、危険性判定装置100は、自動車200が取得したセンサの検出値と、端末装置300が取得したセンサの検出値とを、端末装置300から取得する。このように、端末装置300から取得することによって、専用デバイスを必要とせず、一定以上普及率を見込めるアプローチを適用できるため、現実世界での実行可能性を向上できる。また、一般的なデバイスのみでシステムを構成できる。
本発明の実施形態の変形例1の危険性判定システムについて説明する。本発明の実施形態の変形例1の危険性判定システムは、図1を参照して説明した危険性判定システムにおいて、危険性判定装置100の代わりに、危険性判定装置100aと、学習装置100bとを備えるようにしたものである。
本実施形態の変形例の危険性判定システム1aは、危険性判定装置100aと、学習装置100bと、自動車200-1から自動車200-kと、端末装置300-1から端末装置300-nとを備える。
端末装置300-1から端末装置300-nの各々と、危険性判定装置100aと、学習装置100bとは、通信網50を介して互いに、接続される。
端末装置300-1から端末装置300-kの各々は、自動車200-1から自動車200-kが送信したセンサの検出値を示す情報と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100aと、学習装置100bとをあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100aと、学習装置100bとへ送信する。
端末装置300-1から端末装置300-nの各々は、搭載したセンサが検出したセンサの検出値と、センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータと、端末IDとを含み、危険性判定装置100aと、学習装置100bとをあて先とするセンサデータ通知を作成し、作成したセンサデータ通知を、危険性判定装置100aと、学習装置100bとへ送信する。
危険性判定装置100aは、記憶している複数のセンサデータ通知のうち、受け付けたセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。危険性判定装置100aは、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100aは、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100aは、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動を導出する。
危険性判定装置100aは、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とを含み、学習装置100bを宛先とする危険性判定要求を作成し、作成した危険性判定要求を、学習装置100bへ送信する。
学習装置100bは、危険性判定装置100aが送信した危険性判定要求を受信し、受信した危険性判定要求に含まれる異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とを取得し、取得した異常行動を示す情報と、外れ値を含むセンサデータに含まれる時刻を示す情報及び位置を示す情報とに基づいて、センサデータ通知を送信した端末装置を携帯しているユーザの危険性を判定する。学習装置100bは、端末装置を携帯しているユーザの危険性を示す情報を含み、危険性判定装置100aを宛先とする危険性判定応答を作成し、作成した危険性判定応答を、危険性判定装置100aへ送信する。
危険性判定装置100aは、学習装置100bが送信した危険性判定応答を受信し、受信した危険性判定応答に含まれる端末装置を携帯しているユーザの危険性を示す情報を取得し、取得したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置300をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置300へ送信する。
図14は、本発明の実施形態の変形例1の危険性判定システムを構成する自動車と、端末装置と、危険性判定装置と、学習装置との一例を示す図である。
(危険性判定装置)
危険性判定装置100aは、情報処理部104aと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
情報処理部104aは、通信部106と接続される。情報処理部104aは、受付部112と、分析部113と、処理部114aとして機能する。
通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータを、情報処理部104aへ出力する。通信部106は、情報処理部104aが出力した危険性判定要求を取得し、取得した危険性判定要求を、学習装置100bへ送信する。通信部106は、学習装置100bが送信した危険性判定応答を取得し、取得した危険性判定応答を、情報処理部104bへ出力する。
処理部114aは、分析部113が出力した異常行動を示す情報と、外れ値を含むセンサデータ通知とを取得する。処理部114aは、取得した外れ値を含むセンサデータ通知から時刻を示す情報と、位置を示す情報とを取得する。
処理部114aは、取得した異常行動の意味を示す情報と、時刻を示す情報と、位置を示す情報とに基づいて、センサデータに含まれる端末IDに該当する端末装置を携帯しているユーザの危険性を判定する。具体的には、処理部114aは、異常行動を示す情報と、時刻を示す情報と、位置を示す情報とを含み、学習装置100bを宛先とする危険性判定要求を作成し、作成した危険性判定要求を、通信部106から、学習装置100bへ送信する。
処理部114aは、危険性判定要求に対して、学習装置100bが送信した危険性判定応答を取得し、取得した危険性判定応答に含まれる危険性の判定結果に基づいて、危険性が高いと判定した場合に、危険性が高いことを示す情報を含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力する。ここで、処理部114aは、危険性が高いと判定した場合に、危険性が高いことを示す情報と、詳細情報を端末装置300に取得させるための情報である詳細情報取得情報とを含み、端末装置300を宛先とする危険性通知を作成し、作成した危険性通知を、通信部106へ出力するようにしてもよい。ここで、詳細情報には、コンテンツが含まれる。この危険性通知を受信した端末装置300は、詳細情報取得情報に基づいて、危険性判定装置100へアクセスする。処理部114aは、端末装置300によるアクセスに基づいて、通信部106から端末装置300へ、コンテンツを送信する。処理部114aは、危険性が低いと判定した場合、処理を終了する。
学習装置100bは、情報処理部104bと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
通信部106は、端末装置300が送信したセンサデータ通知を受信し、受信したセンサデータ通知を、情報処理部104bへ出力する。通信部106は、危険性判定装置100aが送信した危険性判定要求を受信し、受信した危険性判定要求を情報処理部104bへ出力する。通信部106は、情報処理部104bが出力した危険性判定応答を取得し、取得した危険性判定応答を、危険性判定装置100aへ送信する。
情報処理部104bは、通信部106と接続される。情報処理部104bは、受付部112と、学習部115bとして機能する。
受付部112は、通信部106が出力したセンサデータ通知を取得し、取得したセンサデータ通知を受け付ける。受付部112は、受け付けたセンサデータ通知を、学習部115bへ出力する。受付部112は、通信部106が出力した危険性判定要求を取得し、取得した危険性判定要求を受け付ける。受付部112は、受け付けた危険性判定要求を、学習部115bへ出力する。
学習部115bは、歩行者の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって、歩行者環境特徴量行列を作成する。
学習部115bは、自動車の異常行動の位置を二次元データに表したデータを、時間方向に一又は複数配列することによって自動車環境特徴量行列を作成する。
学習部115bは、歩行者環境特徴量行列と、自動車環境特徴量行列とに基づいて、歩行者環境特徴量行列と、自動車環境特徴量行列とを入力とし、この入力と、ユーザの危険性との関係を表す学習モデルを学習する。
学習部115bは、歩行者環境特徴量行列と、自動車環境特徴量行列とを、ディープニューラルネットワークに入力することによって、異常行動を起こした歩行者の危険性を学習させる。
学習部115bは、異常行動を起こした歩行者の危険性を学習させることによって得られた危険性の判定結果を含み、危険性判定装置100aを宛先とする危険性判定応答を作成し、作成した危険性判定応答を、通信部106へ出力する。
通信部106は、学習部115bが出力した危険性判定応答を取得し、取得した危険性判定応答を、危険性判定装置100aへ送信する。
危険性判定システム1aの動作は、図13を適用できる。ただし、ステップS9の処理が、学習装置100bによって行われる。
本発明の実施形態の変形例2の危険性判定システムについて説明する。本発明の実施形態の変形例2の危険性判定システム1cは、図1を参照して説明した危険性判定システム1において、危険性判定装置100の代わりに危険性判定装置100cを備え、端末装置300の代わりに端末装置300cを備える点で、実施形態の危険性判定システム1と異なる。
本実施形態の変形例2の危険性判定システム1cは、危険性判定装置100cと、自動車200-1から自動車200-kと、端末装置300c-1から端末装置300c-nとを備える。
自動車200-1から自動車200-kは、それぞれ端末装置300c-1から端末装置300c-kと、無線によって接続される。端末装置300c-1から端末装置300c-nの各々と、危険性判定装置100cとは、通信網50を介して互いに、接続される。
危険性判定装置100cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定する。危険性判定装置100cは、記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出する。危険性判定装置100cは、抽出したセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。危険性判定装置100cは、外れ値でないと判定した場合には、処理を終了する。危険性判定装置100cは、外れ値であると判定した場合にはその外れ値に基づいて、端末装置のユーザの異常行動と自動車の異常行動とのいずれか一方又は両方を導出する。
危険性判定装置100cは、異常行動を導出した場合に、導出した異常行動を示す情報と、外れ値を含むセンサデータ通知に含まれる時刻を示す情報及び位置を示す情報とに基づいて、端末装置を携帯しているユーザの危険性を判定する。危険性判定装置100cは、判定したユーザの危険性を示す情報を含み、外れ値を含むセンサデータ通知を送信した端末装置をあて先とする危険性通知を作成し、作成した危険性通知を、その端末装置へ送信する。端末装置300c-1から端末装置300c-nの各々は、危険性判定装置100cが送信した危険性通知を受信した場合に、受信した危険栓通知に含まれるユーザの危険性を示す情報を表示する。
端末装置300c-j+1を携帯するユーザから端末装置300-kを携帯するユーザと、端末装置300-m+1を携帯するユーザから端末装置300-nを携帯するユーザとについて説明する。
図15は、仮想現実体験ユーザが装着する装置の一例を示す図である。仮想現実体験ユーザが装着する装置の一例は、バーチャルリアリティヘッドセット400と、スピーカ500と、バーチャルリアリティトラッカー600とに加え、生体センサ700が含まれる。
仮想現実体験ユーザ以外のユーザ、つまり端末装置300a-1を携帯するユーザから端末装置300a-jを携帯するユーザと、端末装置300a-k+1を携帯するユーザから端末装置300a-mを携帯するユーザとは、生体センサ700を装着している。
生体センサ700の一例は、心拍センサである。生体センサ700は、心臓の拍動(心拍)を測定する。本実施形態の変形例1では、端末装置300aが、生体センサ700を搭載している場合について説明を続ける。
(端末装置)
端末装置300cは、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレット端末装置、腕時計型端末装置、眼鏡型端末装置、あるいはその他の情報処理機器として実現される。例えば、端末装置300cが自動車200と接続する場合には、端末装置300cは、車載あるいはドライバーが保持する。端末装置300cが自動車200と接続しない場合には、端末装置300cは、主に歩行者が保持する。端末装置300cは、センサ302cと、情報処理部304と、通信部306と、DB308と、表示部310と、通信部316とを備える。
センサ302cは、センサ302に加え、心拍センサなどの生体センサ700を含んで構成される。センサ302cは、時刻、加速度、角速度、地磁気、傾き、位置、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値などに加え、生体情報を検出し、検出した時刻を示す情報と、加速度、角速度、地磁気、傾き、気圧、照度、ステップセンサの値、スクリーンロックオンオフセンサの値、バッテリ温度残量センサの値、生体情報などのセンサの検出値を示す情報と、位置を示す情報とを、情報処理部304へ出力する。
危険性判定装置100cは、情報処理部104cと、通信部106と、DB108とを備える。これらの構成要素は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。情報処理部104cは、受付部112と、分析部113cと、学習部115と、処理部114として機能する。
分析部113cは、分析部113を適用できる。ただし、分析部113cは、センサデータ通知に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定する。分析部113cは、センサデータ通知に含まれる生体情報が、ヒヤリハットが発生したユーザから得られる生体情報に該当するか否かを判定する。具体的には、分析部113cは、センサデータ通知に含まれる生体情報が、生体情報閾値以上である場合にはヒヤリハットに該当すると判定し、生体情報閾値未満である場合にはヒヤリハットに該当しないと判定する。ここで、生体情報閾値は、ヒヤリハットが発生していないユーザから得られる生体情報と、ヒヤリハットが発生したユーザから得られる生体情報とに基づいて決定される。
例えば、生体情報として心拍数を使用した場合には、分析部113cは、センサデータ通知に含まれる心拍数を示す情報が、心拍数閾値以上である場合にはヒヤリハットに該当すると判定し、心拍数閾値未満である場合にはヒヤリハットに該当しないと判定する。ここで、心拍数閾値は、ヒヤリハットが発生していないユーザから得られる心拍数と、ヒヤリハットが発生したユーザから得られる心拍数とに基づいて決定される。
分析部113cは、DB108に記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する。分析部113cは、抽出したセンサデータ通知に含まれるセンサの検出値を示す情報を取得する。分析部113cは、取得したセンサの検出値を示す情報に基づいて、取得したセンサデータ通知に含まれるセンサの検出値が、外れ値であるか否かを判定する。
前述した実施形態の変形例2では、生体センサ700が端末装置300cに搭載されている場合について説明したが、この限りでない。例えば、生体センサ700と、端末装置300cとが、別の装置として実現されてもよい。この場合、生体センサ700は、検出することによって得られた生体情報を、端末装置300cへ送信する。
前述した実施形態の変形例2では、危険性判定装置100cにおいて、分析部113cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、その生体情報が、ヒヤリハットに該当するか否かを判定し、記憶している複数のセンサデータ通知のうち、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を抽出する場合について説明したが、この限りでない。例えば、分析部113cは、端末装置300c-1から端末装置300c-nの各々に搭載されたセンサが検出した値に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定することなく、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出するようにしてもよい。また、例えば、分析部113cは、センサデータ通知に含まれる端末IDと同じ端末IDを含むセンサデータ通知を、DB108から抽出し、抽出したセンサデータ通知に含まれる生体情報に基づいて、ヒヤリハットに該当するか否かを判定してもよい。
また、危険性判定装置100cにおいて、分析部113cは、受付部112が受け付けたセンサデータ通知に含まれる生体情報が、ヒヤリハットに該当するか否かを判定し、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる端末装置300の識別情報と同じ端末装置の識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けたセンサの検出値が外れ値であるか否かを判定する。このように構成することによって、生体情報などの客観的な指標、閾値に基づいてヒヤリハットを検出できる。また、客観的な指標を用いてヒヤリハットの危険性を評価できる。例えば、被験者には生体センサー(例えば心拍センサ)を装着する。生体センサを装着した被験者を、VR空間に没入することによって外乱要因を排除することが可能となる。また、心拍数がある閾値を超えた場合を検出することで、ヒヤリハットのイベントを正確に検出することが可能となる。観測された生体データ(例えば心拍数)を指標とすることで、ヒヤリハットのイベントごとに、そのイベントがどの程度危険であったかを客観的に記録することが可能となる。
なお、上述した危険性判定システム1に含まれる自動車200と、端末装置300と、危険性判定装置100と、危険性判定システム1aに含まれる自動車200と、端末装置300と、危険性判定装置100aと、学習装置100bと、危険性判定システム1cに含まれる自動車200と、端末装置300cと、危険性判定装置100cとは、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROMなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、FPGA(Field Programmable Gate Array)である。
Claims (10)
- 仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付ける受付部と、
複数のセンサデータ通知を記憶する記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出する分析部と、
前記分析部が異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する処理部と
を備える、危険性判定装置。 - 前記受付部は、複数のユーザの各々に取り付けた生体センサの検出値をさらに関連付けたセンサデータ通知を受け付ける、請求項1に記載の危険性判定装置。
- 前記分析部は、前記受付部が受け付けたセンサデータ通知に含まれる生体情報が、ヒヤリハットに該当するか否かを判定し、ヒヤリハットに該当する生体情報を含むセンサデータ通知に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた前記センサの前記検出値が外れ値であるか否かを判定する、請求項2に記載の危険性判定装置。
- 前記分析部は、センサの検出値と、異常行動を示す情報とを関連付けた異常行動関連情報と、前記外れ値であると判定した前記センサの前記検出値とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置のユーザの異常行動を導出する、請求項1から請求項3のいずれか一項に記載の危険性判定装置。
- 前記分析部は、前記記憶部に記憶されている複数の前記センサデータ通知のうち、前記受付部が受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の識別情報と同じ識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるかを判定し、
前記処理部は、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方に基づいて、モデルベース判定と、機械学習とのいずれか一項又は両方によって、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する、請求項1から請求項4のいずれか一項に記載の危険性判定装置。 - 第1軸と、第2軸とを有する座標系で表される二次元で表したデータである二次元データにおいて、前記第1軸と前記第2軸との各々が複数に分割され、分割された前記第1軸及び前記第2軸によってセルが形成され、
前記分析部は、前記位置に該当するセルに、前記異常行動を示す情報を表す、請求項1から請求項5のいずれか一項に記載の危険性判定装置。 - 前記処理部は、前記異常行動を示す情報を表したセルと、前記セルの周辺のセルである周辺セルとの各々に関連付けて記憶されている異常行動に基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定する、請求項6に記載の危険性判定装置。
- 前記処理部が判定した前記ユーザの危険性を、前記ユーザへ通知する通信部
を備える、請求項1から請求項7のいずれか一項に危険性判定装置。 - 危険性判定装置が実行する危険性判定方法であって、
仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、
複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出するステップと、
前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定するステップと
を有する、危険性判定方法。 - 危険性判定装置のコンピュータに、
仮想現実によって作成された環境を体験している複数のユーザの各々が携帯する端末装置が送信する前記端末装置の識別情報とセンサの検出値と前記センサの検出値を取得した時刻を示す情報及び位置を示す情報とを関連付けた情報であるセンサデータ通知を受け付けるステップと、
複数のセンサデータ通知を記憶する記憶部に記憶している複数の前記センサデータ通知のうち、受け付けた複数のセンサデータ通知の各々に含まれる前記端末装置の前記識別情報と同じ前記端末装置の前記識別情報を含むセンサデータ通知に含まれるセンサの検出値に基づいて、受け付けた複数の前記センサデータ通知の各々に含まれる前記センサの前記検出値が外れ値であるか否かを判定し、外れ値であると判定したセンサの検出値を送信した端末装置のユーザの異常行動を導出するステップと、
前記異常行動を導出した場合に、前記外れ値を含むセンサデータ通知に含まれる時刻を示す情報と、位置を示す情報とのいずれか一方又は両方と、導出した前記異常行動を示す情報とに基づいて、外れ値であると判定したセンサの検出値を送信した前記端末装置を携帯しているユーザの危険性を判定するステップと
を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218165A JP7340176B2 (ja) | 2019-12-02 | 2019-12-02 | 危険性判定装置、危険性判定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218165A JP7340176B2 (ja) | 2019-12-02 | 2019-12-02 | 危険性判定装置、危険性判定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021089484A JP2021089484A (ja) | 2021-06-10 |
JP7340176B2 true JP7340176B2 (ja) | 2023-09-07 |
Family
ID=76220642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218165A Active JP7340176B2 (ja) | 2019-12-02 | 2019-12-02 | 危険性判定装置、危険性判定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7340176B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150038A (ja) | 2001-11-08 | 2003-05-21 | Sega Corp | 運転模擬装置及び方法 |
JP2007047914A (ja) | 2005-08-08 | 2007-02-22 | Denso Corp | 危険反応地点記録システム及び運転支援システム |
JP2013061597A (ja) | 2011-09-15 | 2013-04-04 | Japan Automobile Research Institute | 車両用危険場面再現装置 |
JP2016057836A (ja) | 2014-09-09 | 2016-04-21 | 株式会社日立製作所 | 移動体分析システムおよび移動体の方向軸推定方法 |
JP2016157178A (ja) | 2015-02-23 | 2016-09-01 | 株式会社エヌ・ティ・ティ・データ | 判定装置、携帯端末及び判定方法 |
JP2018073326A (ja) | 2016-11-04 | 2018-05-10 | アイシン・エィ・ダブリュ株式会社 | 出力システム、及び出力プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101977258B1 (ko) * | 2018-07-19 | 2019-05-10 | 주식회사 테크노블러드코리아 | 가상현실 영상의 피드백 분석방법 |
-
2019
- 2019-12-02 JP JP2019218165A patent/JP7340176B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150038A (ja) | 2001-11-08 | 2003-05-21 | Sega Corp | 運転模擬装置及び方法 |
JP2007047914A (ja) | 2005-08-08 | 2007-02-22 | Denso Corp | 危険反応地点記録システム及び運転支援システム |
JP2013061597A (ja) | 2011-09-15 | 2013-04-04 | Japan Automobile Research Institute | 車両用危険場面再現装置 |
JP2016057836A (ja) | 2014-09-09 | 2016-04-21 | 株式会社日立製作所 | 移動体分析システムおよび移動体の方向軸推定方法 |
JP2016157178A (ja) | 2015-02-23 | 2016-09-01 | 株式会社エヌ・ティ・ティ・データ | 判定装置、携帯端末及び判定方法 |
JP2018073326A (ja) | 2016-11-04 | 2018-05-10 | アイシン・エィ・ダブリュ株式会社 | 出力システム、及び出力プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021089484A (ja) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2848995C (en) | A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services | |
US11787413B2 (en) | Baseline event detection system | |
US11055544B2 (en) | Electronic device and control method thereof | |
US9618359B2 (en) | Wearable sensor data to improve map and navigation data | |
JP6246829B2 (ja) | ヘッドマウントディスプレイのリソース管理 | |
US10408626B2 (en) | Information processing apparatus, information processing method, and program | |
US20220014895A1 (en) | Spatiotemporal analysis for emergency response | |
US9639978B2 (en) | Method and system for avatar replay based on mobile sensor information | |
US20210021957A1 (en) | Method and apparatus for presenting pivacy-respectful and personalized location-based comments based on passenger context and vehicle proximity to the location | |
CN104978024A (zh) | 用可佩戴计算设备来检测驾驶 | |
WO2016181670A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2014010496A (ja) | ドライブレコーダ及びドライブレコード管理システム | |
Sila-Nowicka et al. | Multi-sensor movement analysis for transport safety and health applications | |
KR102658770B1 (ko) | 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
JP7340176B2 (ja) | 危険性判定装置、危険性判定方法、及びプログラム | |
Kashevnik et al. | Context-based driver support system development: Methodology and case study | |
JP7182167B2 (ja) | 危険性判定装置、危険性判定方法、及びプログラム | |
US11620862B1 (en) | Method and system for reconstructing information about an accident | |
KR102408560B1 (ko) | 인공지능 블랙박스 시스템 | |
US11881065B2 (en) | Information recording device, information recording method, and program for recording information | |
WO2022029894A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
US20220383256A1 (en) | Post-vehicular incident reconstruction report | |
CN118405085A (zh) | 监控方法、装置、车辆、电子设备及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7340176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |