JP2023158528A - 情報処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】運転画像の保存に関する技術を改善する。【解決手段】情報処理装置２０は、車両１０の周辺が撮像された画像を保存し、車両１０の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、車両１０の挙動に異常があると判定された場合、画像の保存を維持すると決定し、車両１０の挙動に異常があると判定されなかった場合、画像を削除すると決定する制御部２３を備える。【選択図】図１

Description

本開示は、情報処理装置、方法、及びプログラムに関する。

従来より、車両の運転状況の評価・保存に関する技術が求められている。例えば、特許文献１には、運転状況を評価する技術が開示されている。また、事故発生時の運転画像の保存に関する技術が知られている。

特開２０１７－１８７８１６号公報

従来の運転画像の保存は、事故を検知したとき（大きな加速度を検知したとき）のみ画像が保存されるものであり、運転画像の保存に関する技術には改善の余地があった。

かかる事情に鑑みてなされた本開示の目的は、運転画像の保存に関する技術を改善することにある。

本開示の一実施形態に係る情報処理装置は、
情報処理装置であって、
車両の周辺が撮像された画像を保存し、
前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定する制御部を備える。

本開示の一実施形態に係る方法は、
情報処理装置が実行する方法であって、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を含む。

本開示の一実施形態に係るプログラムは、
情報処理装置に、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を実行させる。

本開示の一実施形態によれば、運転画像の保存に関する技術が改善される。

本開示の一実施形態に係るシステムの概略構成を示すブロック図である。 車両の概略構成を示すブロック図である。 情報処理装置の概略構成を示すブロック図である。 情報処理装置の動作を示すフローチャートである。

以下、本開示の実施形態について説明する。

＜実施形態の概要＞
図１を参照して、本開示の実施形態に係るシステム１の概要について説明する。システム１は、車両１０と、情報処理装置２０と、を備える。車両１０及び情報処理装置２０は、例えばインターネット及び移動体通信網等を含むネットワーク３０と通信可能に接続される。

車両１０は、例えば自動車であるが、これに限られず任意の車両であってもよい。自動車は、例えばガソリン車、ディーゼル車、ＨＥＶ（hybrid electric vehicle）、ＰＨＥＶ（plug-in hybrid electric vehicle）、ＢＥＶ（battery electric vehicle）、又はＦＣＥＶ（fuel cell electric vehicle）等の任意の種類の自動車である。車両１０は、本実施形態では運転手によって運転されるが、任意のレベルで運転が自動化されていてもよい。自動化のレベルは、例えば、ＳＡＥ（Society of Automotive Engineers）のレベル分けにおけるレベル１からレベル５の何れかである。車両１０は、ＭａａＳ（Mobility as a Service）専用車両でもよい。システム１が備える車両１０の数は、任意に定め得る。

本実施形態において車両１０は、車両１０の周辺が撮像された画像を取得し、保存及び／又は送信する機能を有する。また、車両１０は、車両１０の挙動を示す情報（指標）を取得し、送信する。

情報処理装置２０は、例えばサーバ装置等のコンピュータである。情報処理装置２０は、ネットワーク３０を介して車両１０と通信可能である。

まず、本実施形態の概要について説明し、詳細については後述する。情報処理装置２０は、車両１０の周辺が撮像された画像を保存する。情報処理装置２０は、車両１０の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、車両１０の挙動に異常があるか否かを判定する。情報処理装置２０は、車両１０の挙動に異常があると判定された場合、画像の保存を維持すると決定する。情報処理装置２０は、車両１０の挙動に異常があると判定されなかった場合、画像を削除すると決定する。

このように、本実施形態によれば、加速度以外の少なくとも１つの指標に基づいて、車両１０の挙動に異常があると判定された場合、車両１０の周辺が撮像された画像の保存が維持される。ここで、車両１０の挙動には、加速度（Ｇ値）に基づいて危険と判定される挙動だけでなく、加速度では危険と判定されない挙動であっても危険な運転に繋がるおそれのある挙動（例えば、車両１０の異常音が発生したこと、又はユーザが驚いた声を発したこと等）も存在する。いずれの挙動も同等に、ユーザが画像の保存を必要とする可能性の高い挙動といえる。しかしながら、従来のドライブレコーダ等のカメラでは、加速度に基づいて危険と判定されない挙動については、画像が削除されてしまう。このため、ユーザが画像の保存を必要とする可能性の高い挙動について画像の保存を漏れなく維持することが困難であった。一方、本実施形態によれば、加速度に関わらず危険な運転に繋がるおそれのある挙動について、画像の保存が維持されやすくなる。したがって、ユーザが画像の保存を必要とする可能性の高い挙動について画像を漏れなく保存しやすくなる点で、運転画像の保存に関する技術が改善される。

次に、システム１の各構成について詳細に説明する。

＜車両の構成＞
図２に示すように、車両１０は、通信部１１と、取得部１２と、撮像部１３と、出力部１４と、入力部１５と、記憶部１６と、制御部１７と、を備える。

通信部１１は、ネットワーク３０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信規格に対応するが、これらに限られない。本実施形態において、車両１０は、通信部１１及びネットワーク３０を介して情報処理装置２０と通信する。

取得部１２は、車両１０の位置情報を取得する１つ以上の装置を含む。具体的には、取得部１２は、例えばＧＰＳ（Global Positioning System）に対応する受信機を含むが、これに限られず、任意の衛星測位システムに対応する受信機を含んでもよい。また、取得部１２は、車両１０の状態を示す情報を取得可能な任意のセンサモジュールも含む。例えば、センサモジュールは、振動センサ、赤外線センサ、速度センサ、角速度センサ、加速度センサ、地磁気センサ、ＬｉＤＡＲ（light detection and ranging）等の距離センサ、又はこれらの組合せを含む。

撮像部１３は、１つ以上のカメラを含む。撮像部１３に含まれる各カメラは、例えば車外又は車内の被写体を撮像可能となるように車両１０に設けられてもよい。本実施形態において撮像部１３は、車両１０の前方の被写体を撮像可能なフロントカメラと、車両１０の後方の被写体を撮像可能なリアカメラと、車両１０の車内の被写体を撮像可能な車内カメラと、を含む。或いは、撮像部１３は、車両１０の周辺の被写体を撮像可能な全方位カメラを含んでもよい。また、撮像部１３は、車外又は車内の被写体を撮像可能となるように車両１０に設置されたドライブレコーダ等のカメラと通信可能な入力インタフェースを含み、車両１０に乗車する複数のユーザの画像を当該カメラから取得可能であってもよい。

出力部１４は、情報を出力してユーザに通知する１つ以上の出力装置を含んでもよい。当該出力装置は、例えば情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限られない。出力部１４は、外部の出力装置を接続するためのインタフェースを含んでもよい。

入力部１５は、ユーザ入力を検出する１つ以上の入力装置を含む。本実施形態において、入力部１５は、ユーザの発声する音声及び車両１０の発する音の入力を受け付けるマイクロフォンを含む。しかしながら、当該入力装置は、これらの例に限られず、例えば物理キー、静電容量キー、又はディスプレイと一体的に設けられたタッチスクリーン等を含んでもよい。入力部１５は、外部の入力装置を接続するためのインタフェースを含んでもよい。

記憶部１６は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１６に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１６は、車両１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１６は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部１６に記憶された情報は、例えば通信部１１を介してネットワーク３０から取得される情報で更新可能であってもよい。本実施形態において、記憶部１６は、車両１０の周辺が撮像された画像（又は映像）を保存してもよい。

制御部１７は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばＦＰＧＡ（Field-Programmable Gate Array）であるがこれに限られない。専用回路は、例えばＡＳＩＣ（Application Specific Integrated Circuit）であるがこれに限られない。制御部１７は、車両１０全体の動作を制御する。

＜情報処理装置の構成＞
図３に示すように、情報処理装置２０は、通信部２１と、記憶部２２と、制御部２３と、を備える。

通信部２１は、ネットワーク３０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば移動体通信規格、有線ＬＡＮ（Local Area Network）規格、又は無線ＬＡＮ規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、情報処理装置２０は、通信部２１及びネットワーク３０を介して車両１０と通信する。

記憶部２２は、１つ以上のメモリを含む。記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２２は、情報処理装置２０の動作に用いられる任意の情報を記憶する。例えば、記憶部２２は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部２２に記憶された情報は、例えば通信部２１を介してネットワーク３０から取得される情報で更新可能であってもよい。本実施形態において、記憶部２２は、車両１０から受信した車両１０の周辺が撮像された画像（又は映像）を保存することができる。

制御部２３は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。制御部２３は、情報処理装置２０全体の動作を制御する。

＜情報処理装置の動作フロー＞
図４を参照して、本実施形態に係る情報処理装置２０の動作について説明する。図４の動作は、本実施形態に係る方法に相当する。図４の動作は、例えば所定の周期で、繰り返し実行される。所定の周期は、任意に定めることができる。

ステップＳ１００：情報処理装置２０の制御部２３は、車両１０の周辺が撮像された画像を保存する。

具体的には、情報処理装置２０の制御部２３は、通信部２１及びネットワーク３０を介して車両１０から、車両１０の撮像部１３により任意のフレームレートで撮像された、車両１０の周辺の画像（以下、「撮像画像」ともいう。）を受信する。制御部２３は、受信された撮像画像を記憶部２２に記憶することで、車両１０の周辺が撮像された画像を保存する。しかしながら、撮像画像の保存には、これに限られず任意の手法が採用可能である。また、撮像画像は、本実施形態では記憶部２２に記憶されるが、これに限られない。例えば、撮像画像は、外部のストレージに記憶され情報処理装置２０に接続されてもよく、車両１０の記憶部１６に記憶されてもよい。

さらに、本実施形態では、車両１０の撮像部１３による撮像と同時に、入力部１５による、車両１０に乗車中のユーザの挙動の記録及び車両１０の発する音の録音、並びに、取得部１２による、車両１０の発する振動の測定及び車両１０と車両１０の周辺に位置する物体との距離の測定も行われる。そして、情報処理装置２０の制御部２３は、通信部２１及びネットワーク３０を介して車両１０から、上述の撮像画像に加えて、撮像画像に付随する以下の（１）から（４）の情報を受信する。
（１）車両１０に乗車中のユーザの挙動を示す情報（以下、「第１情報」ともいう。）
（２）車両１０の異常音の有無を示す情報（以下、「第２情報」ともいう。）
（３）車両１０の異常振動の有無を示す情報（以下、「第３情報」ともいう。）
（４）車両１０と車両１０の周辺に位置する物体との距離を示す情報（以下、「第４情報」ともいう。）

上記（１）の第１情報は、車両１０に乗車中のユーザの発声又は身体の動き等、ユーザの挙動を示す任意の情報を含み得る。車両１０に乗車中のユーザは、１人であることも複数人であることもあるが、以下の説明では１人のユーザ、即ち車両１０の運転者のみが車両１０に乗車中であるものとする。ユーザの挙動は、任意の挙動を含み得るが、本実施形態ではユーザがユーザの平静音声である第１音声又は第１音声とは異なる第２音声を発声したことである。したがって、本実施形態に係る第１情報は、車両１０の入力部１５を介して録音されるユーザの音声を示す情報である。入力部１５を介して録音されるユーザの音声は、第１音声又は第２音声を含む。ユーザの平静音声である第１音声とは異なる第２音声は、ユーザの危機的状況を示唆する任意の音声であり得るが、本実施形態ではユーザの驚いた声（典型的には、悲鳴）である。

上記（２）の第２情報は、車両１０の発する音を示す任意の情報を含み得るが、本実施形態では車両１０の入力部１５を介して録音される車両１０の発する音を示す情報である。入力部１５を介して録音される車両１０の発する音は、正常音又は異常音を含む。正常音とは、車両１０の事故又は故障が生じていない状況で、車両１０の構成部品が発する音のことである。異常音とは、車両１０の事故又は故障が生じたときに、車両１０の構成部品が発する音のことである。例えば、異常音としては、車両１０と他の物体との衝突若しくは接触による音、急ブレーキ時のタイヤの摩擦音、又はエンジントラブル等の車両故障による音が挙げられる。

上記（３）の第３情報は、車両１０の発する振動を示す任意の情報を含み得るが、本実施形態では車両１０の取得部１２を介して測定される車両１０の発する振動の測定値である。取得部１２を介して測定される車両１０の発する振動は、正常振動又は異常振動を含む。正常振動とは、車両１０の事故又は故障が生じていない状況で、車両１０の構成部品が発する振動のことである。異常振動とは、車両１０の事故又は故障が生じたときに、車両１０の構成部品が発する振動のことである。例えば、異常振動としては、車両１０と他の物体との衝突若しくは接触による振動、急ブレーキ時の車体の振動、又はエンジントラブル等の車両故障による振動が挙げられる。

上記（４）の第４情報は、車両１０と車両１０の周辺に位置する物体との距離を示す任意の情報を含み得るが、本実施形態では車両１０の取得部１２を介して測定される車両１０と車両１０の周辺に位置する物体との距離の測定値（以下、「距離Ｄ」ともいう。）である。物体は、例えば別の車両、障害物、人、動物、又はこれらの組合せを含む。距離Ｄの算出には、任意の手法が採用可能である。例えば、車両１０の制御部１７は、取得部１２を介して取得される車両１０の位置情報、距離センサ等から取得される周囲の物体との距離情報、及び／又は車両１０の撮像部１３を介して取得される撮像画像を解析することで、距離Ｄを算出してもよい。

制御部２３は、受信された第１情報から第４情報を記憶部２２に記憶しておく。そして、制御部２３は、図４の動作を実行する度に、任意のフレーム数の撮像画像に付随する、第１情報、第２情報、第３情報、又は第４情報を、記憶部２２から読み出すことで取得する。なお、ここで取得される第１情報から第４情報は、後述する車両挙動判定において、加速度以外の少なくとも１つの指標として使用され得る。しかしながら、第１情報から第４情報の取得には、これらの例に限られず任意の手法が採用可能である。

ステップＳ１０１：制御部２３は、車両１０の挙動を示す、加速度以外の少なくとも１つの指標を取得する。少なくとも１つの指標は、車両１０の挙動を特定し得る、加速度以外の任意の情報を含む。少なくとも１つの指標は、車両１０の外部から取得される指標、車両１０に内在する指標、又はその両方であり得る。

具体的には、制御部２３は、ステップＳ１００で記憶部２２に記憶された第１情報から第４情報のうちの少なくとも１つを記憶部２２から読み出すことで、少なくとも１つの指標として取得する。なお、以下の説明から分かるように、ここで取得される指標の数が多いほど、加速度に関わらず危険な運転に繋がるおそれのある挙動について、画像の保存が維持されやすくなる。したがって、ユーザが画像の保存を必要とする可能性の高い挙動について画像を漏れなく保存しやすくなる。よって、取得される指標の数は、多いほど好ましい。以下では、少なくとも１つの指標は、第１情報から第４情報の全てを含むものとして説明を行う。

次に、情報処理装置２０の制御部２３は、ステップＳ１０１で取得された少なくとも１つの指標に基づいて、車両１０の挙動に異常があるか否かを判定する（以下、「車両挙動判定」ともいう）。具体的には、制御部２３は、後述するステップＳ１０２からＳ１０５の動作を実行することで、車両挙動判定を行う。車両挙動判定の概要は、次のとおりである。ステップＳ１０２からＳ１０５の何れかのステップで判定結果が肯定的である場合、制御部２３は、車両１０の挙動に異常があると判定する。この場合、ステップＳ１００で記憶部２２に保存された撮像画像の保存が維持される（後述するステップＳ１０７）。一方、ステップＳ１０２からＳ１０５の全てのステップで判定結果が否定的である場合、制御部２３は、車両１０の挙動に異常があると判定しない。この場合、ステップＳ１００で記憶部２２に保存された撮像画像が削除される（後述するステップＳ１０６）。

以下、本実施形態に係る車両挙動判定について詳述する。なお、従来は撮像画像の保存の維持が困難であった期間について撮像画像の保存を維持しやすくなることに焦点をあてるために、以下では、車両１０の加速度が閾値以下である期間に車両挙動判定を実行することを前提に説明を行う。車両１０の加速度が閾値を超えた期間については、従来と同様の処理が実行されてもよい。例えば、制御部２３は、車両１０の加速度が閾値を超えたことが検知された場合、記憶部２２における所定のフレーム数（例えば、検知時点の前後数秒間）の撮像画像の保存を維持すると決定してもよい。一方、車両１０の加速度が閾値以下であり、且つ、ステップＳ１０２からＳ１０５の各ステップで判定結果が否定的である場合、制御部２３は、記憶部２２に保存された撮像画像を削除すると決定してもよい。

ステップＳ１０２：制御部２３は、ステップＳ１０１で取得された第１情報に基づいて、ユーザの挙動に異常があるか否かを判定する（以下、「ユーザ挙動判定」ともいう。）。ユーザの挙動に異常があると判定された場合（ステップＳ１０２－Ｙｅｓ）、プロセスはステップＳ１０７に進む。一方、ユーザの挙動に異常があると判定されなかった場合（ステップＳ１０２－Ｎｏ）、プロセスはステップＳ１０３に進む。

具体的には、制御部２３は、ステップＳ１０１で取得されたユーザの音声が第１音声であるのか第２音声であるのかを判定する（以下、「音声判定」ともいう）。音声判定には、任意の手法が採用可能である。例えば、情報処理装置２０の制御部２３は、平静音声と危機的状況を示唆する音声とを分類するモデルを構築してもよい、モデルの構築には、任意の手法が採用可能である。例えば、複数の男女の平静音声と危機的状況を示唆する音声とを収録して多数のサンプルを収集し、各音声のスペクトログラム又はケプストログラム等の物理的特徴量を抽出してディープラーニング等の機械学習を行うことで、モデルを構築してもよい。制御部２３は、構築されたモデルに基づいて、受信されたユーザの音声を音声解析し、音声解析の結果に基づいて、当該音声がユーザの第１音声であるのか第２音声であるのかを判定し得る。音声解析の結果、受信されたユーザの音声が第２音声であると判定された場合、制御部２３は、ユーザの挙動に異常があると判定する。

ステップＳ１０３：ユーザの挙動に異常があると判定されなかった場合（ステップＳ１０２－Ｎｏ）、制御部２３は、ステップＳ１０１で取得された第２情報に基づいて、車両１０の異常音が検知されたか否かを判定する。車両１０の異常音が検知された場合（ステップＳ１０３－Ｙｅｓ）、プロセスはステップＳ１０７に進む。一方、車両１０の異常音が検知されなかった場合（ステップＳ１０３－Ｎｏ）、プロセスはステップＳ１０４に進む。

具体的には、制御部２３は、ステップＳ１０１で取得された車両１０の発する音が正常音であるのか異常音であるのかを判定する（以下、「車両音判定」ともいう）。制御部２３は、当該音が異常音である場合、車両１０の異常音が検知されたと判定する。車両音判定には、任意の手法が採用可能である。例えば、情報処理装置２０の制御部２３は、車両１０の発する音の大きさを示す値（例えば、ｄＢ単位）が所定の閾値以下である場合、車両１０の発する音が正常音であると判定し、当該値が所定の閾値を超える場合、車両１０の発する音が異常音であると判定してもよい。所定の閾値は、任意に設定可能であり、例えば、高音／低音等の周波数帯域ごとに閾値を設定してもよい。

ステップＳ１０４：車両１０の異常音が検知されなかった場合（ステップＳ１０３－Ｎｏ）、制御部２３は、ステップＳ１０１で取得された第３情報に基づいて、車両１０の異常振動が検知されたか否かを判定する。車両１０の異常振動が検知された場合（ステップＳ１０４－Ｙｅｓ）、プロセスはステップＳ１０７に進む。一方、車両１０の異常振動が検知されなかった場合（ステップＳ１０４－Ｎｏ）、プロセスはステップＳ１０５に進む。

具体的には、制御部２３は、ステップＳ１０１で取得された車両１０の発する振動が正常振動であるのか異常振動であるのかを判定する（以下、「振動判定」ともいう）。制御部２３は、当該振動が異常振動である場合、車両１０の異常振動が検知されたと判定する。振動判定には、任意の手法が採用可能である。例えば、情報処理装置２０の制御部２３は、車両１０の発する弾性振動の周波数を示す値（例えば、Ｈｚ単位）が所定の閾値範囲である場合、車両１０の発する振動が正常振動であると判定し、当該値が所定の閾値範囲を超える場合、車両１０の発する振動が異常振動であると判定してもよい。所定の閾値範囲は、任意に設定可能である。或いは、情報処理装置２０の制御部２３は、車両１０の発する弾性振動の振動強度（例えば、振動振幅）を示す値が所定の閾値以下である場合、車両１０の発する振動が正常振動であると判定し、当該値が所定の閾値を超える場合、車両１０の発する振動が異常振動であると判定してもよい。所定の閾値は、任意に設定可能である。

ステップＳ１０５：車両１０の異常振動が検知されなかった場合（ステップＳ１０４－Ｎｏ）、制御部２３は、ステップＳ１０１で取得された第４情報に基づいて、所定の閾値以下の距離に接近した物体（以下、「接近物体」ともいう。）が検知されたか否かを判定する。接近物体が検知された場合（ステップＳ１０５－Ｙｅｓ）、プロセスはステップＳ１０７に進む。一方、接近物体が検知されなかった場合（ステップＳ１０５－Ｎｏ）、プロセスはステップＳ１０６に進む。

具体的には、制御部２３は、ステップＳ１０１で取得された距離Ｄが所定の閾値以下であるか否かを判定する（以下、「距離判定」ともいう）。制御部２３は、距離Ｄが所定の閾値以下である場合、接近物体が検知されたと判定する。想定される接近物体は、上述のとおり、別の車両、障害物、人、動物、又はこれらの組合せであり得る。所定の閾値は、任意に設定可能であり、例えば想定される接近物体ごとに又は車両１０の走行速度ごとに異なる値が設定されてもよい。例えば、別の車両に関する所定の閾値として、日本の道路交通法に規定される車間距離保持義務に違反しない任意の距離が設定されてもよい。

ステップＳ１０６：接近物体が検知されなかった場合（ステップＳ１０５－Ｎｏ）、制御部２３は、ステップＳ１００で記憶部２２に記憶された撮像画像を削除すると決定する。その後、プロセスは終了する。

具体的には、制御部２３は、ステップＳ１００で記憶部２２に記憶された撮像画像を記憶部２２から削除する。撮像画像の削除には、任意の手法が採用可能である。例えば、制御部２３は、撮像画像が記憶部２２に保存された時点から所定時間経過後に、撮像画像を記憶部２２から削除してもよい。

ステップＳ１０７：ユーザの挙動に異常があると判定された場合（ステップＳ１０２－Ｙｅｓ）、車両１０の異常音が検知された場合（ステップＳ１０３－Ｙｅｓ）、車両１０の異常振動が検知された場合（ステップＳ１０４－Ｙｅｓ）、又は接近物体が検知された場合（ステップＳ１０５－Ｙｅｓ）、制御部２３は、ステップＳ１００で記憶部２２に記憶された撮像画像の保存を維持すると決定する。その後、プロセスは終了する。

具体的には、ステップＳ１０２からＳ１０５の各ステップの判定結果の何れかが肯定的である場合、制御部２３は、車両１０の挙動に異常があると判定し、ステップＳ１００で記憶部２２に記憶された撮像画像の保存を維持すると決定する。制御部２３は、記憶部２２から当該撮像画像を削除せず、記憶部２２における当該撮像画像の保存を維持する。撮像画像の保存の維持には、任意の手法が採用可能である。例えば、制御部２３は、記憶部２２における所定のフレーム数（例えば、車両１０の挙動に異常があると判定された時点の前後数秒間）の撮像画像について保存を維持してもよい。なお、図４のフローチャートにおいては、ステップＳ１０２からＳ１０５の順に判定を行ったが、ステップＳ１０２からＳ１０５の各ステップは、どのような順に配列されてもよく、任意の順番で各ステップの判定を行ってよい。また、各ステップを並行して実行してもよい。

このように、ステップＳ１０１からＳ１０７を経て、制御部２３は、車両１０の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、車両１０の挙動に異常があると判定された場合、ステップＳ１００で記憶部２２に記憶された撮像画像の保存を維持すると決定し、車両１０の挙動に異常があると判定されなかった場合、当該撮像画像を削除すると決定する。

以上述べたように、本実施形態に係る情報処理装置２０は、車両１０の周辺が撮像された画像を保存する。情報処理装置２０は、車両１０の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、車両１０の挙動に異常があると判定された場合、画像の保存を維持すると決定し、車両１０の挙動に異常があると判定されなかった場合、画像を削除すると決定する。

かかる構成によれば、従来とは異なり、加速度に関わらず危険な運転に繋がるおそれのある挙動について画像の保存が維持されやすくなる。したがって、ユーザが画像の保存を必要とする可能性の高い挙動について画像を漏れなく保存しやすくなる点で、運転画像の保存に関する技術が改善される。

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、本実施形態の一変形例において、情報処理装置２０の制御部２３は、少なくとも１つの指標に加えて、車両１０の加速度に基づいて、車両１０の挙動に異常があるか否かを判定してもよい。つまり、制御部２３は、本実施形態に係る車両挙動判定に基づく撮像画像の保存と、従来の加速度に基づく撮像画像の保存とを、並行処理してもよい。この場合、ステップＳ１０１で、制御部２３は、通信部２１及びネットワーク３０を介して車両１０から、少なくとも１つの指標に加えて、車両１０の取得部１２を介して測定された、車両１０の加速度を示す情報（例えば、加速度の測定値）も受信する。制御部２３は、受信された加速度を示す情報に基づいて、車両１０の挙動に異常があるか否かを判定し得る。加速度に基づく車両挙動判定には、任意の手法が採用可能である。例えば、車両１０において所定の閾値を超える加速度が検知された場合（例えば、急ブレーキ時）、制御部２３は、車両１０の挙動に異常があると判定してもよい。

また例えば、上述の実施形態では、ユーザ挙動判定として音声判定を実行するものとして説明したが、制御部２３は、音声判定に加えて又はその代わりに、ユーザの挙動に異常があるか否かを判定する別の処理を実行してもよい。例えば、制御部２３は、通信部２１及びネットワーク３０を介して車両１０から、車両１０の車内カメラ等により任意のフレームレートで撮像された、ユーザの身体の動きを示す画像を受信してもよい。制御部２３は、ステップＳ１０２で説明したディープラーニング等の機械学習を行うことで、平静時の身体の動きと危機的状況下にあることを示唆する身体の動きとを分類するモデルを構築してもよい。制御部２３は、構築されたモデルに基づいて、受信された画像で示されるユーザの身体の動きを画像解析し、画像解析の結果に基づいて、ユーザ挙動判定を行ってもよい。

また例えば、上述した実施形態において、情報処理装置２０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。また例えば、情報処理装置２０の一部又は全部の構成要素を車両１０に設けた実施形態も可能である。例えば、車両１０に搭載されるドライブレコーダが、情報処理装置２０の一部又は全部の構成要素を備えてもよい。

また、例えば汎用のコンピュータを、上述した実施形態に係る情報処理装置２０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置２０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
［付記１］
情報処理装置であって、
車両の周辺が撮像された画像を保存し、
前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定する制御部を備える、情報処理装置。
［付記２］
付記１に記載の情報処理装置であって、
前記少なくとも１つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記制御部は、前記ユーザの挙動に異常があると判定された場合、前記車両の挙動に異常があると判定する、情報処理装置。
［付記３］
付記２に記載の情報処理装置であって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第１音声又は前記第１音声とは異なる第２音声を発声したことであり、
前記制御部は、前記ユーザによる前記第２音声の発声が検知された場合、前記ユーザの挙動に異常があると判定する、情報処理装置。
［付記４］
付記１から３の何れか一項に記載の情報処理装置であって、
前記少なくとも１つの指標は、前記車両の異常音の有無を示す情報を含み、
前記制御部は、前記異常音が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
［付記５］
付記１から４の何れか一項に記載の情報処理装置であって、
前記少なくとも１つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記制御部は、前記異常振動が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
［付記６］
付記１から５の何れか一項に記載の情報処理装置であって、
前記少なくとも１つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
前記制御部は、所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
［付記７］
付記１から６の何れか一項に記載の情報処理装置であって、
前記制御部は、前記少なくとも１つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定する、情報処理装置。
［付記８］
情報処理装置が実行する方法であって、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を含む、方法。
［付記９］
付記８に記載の方法であって、
前記少なくとも１つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを更に含む、方法。
［付記１０］
付記９に記載の方法であって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第１音声又は前記第１音声とは異なる第２音声を発声することであり、
前記ユーザによる前記第２音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを更に含む、方法。
［付記１１］
付記８から１０の何れか一項に記載の方法であって、
前記少なくとも１つの指標は、前記車両の異常音の有無を示す情報を含み、
前記異常音が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
［付記１２］
付記８から１１の何れか一項に記載の方法であって、
前記少なくとも１つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
［付記１３］
付記８から１２の何れか一項に記載の方法であって、
前記少なくとも１つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
［付記１４］
付記８から１３の何れか一項に記載の方法であって、
前記少なくとも１つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定することを更に含む、方法。
［付記１５］
情報処理装置に、
車両の周辺が撮像された画像を保存すること、及び
前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
を実行させるプログラム。
［付記１６］
付記１５に記載のプログラムであって、
前記少なくとも１つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
［付記１７］
付記１６に記載のプログラムであって、
前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第１音声又は前記第１音声とは異なる第２音声を発声することであり、
前記ユーザによる前記第２音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
［付記１８］
付記１５から１７の何れか一項に記載のプログラムであって、
前記少なくとも１つの指標は、前記車両の異常音の有無を示す情報を含み、
前記異常音が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
［付記１９］
付記１５から１８の何れか一項に記載のプログラムであって、
前記少なくとも１つの指標は、前記車両の異常振動の有無を示す情報を含み、
前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
［付記２０］
付記１５から１９の何れか一項に記載のプログラムであって、
前記少なくとも１つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。

１ システム
１０ 車両
１１ 通信部
１２ 取得部
１３ 撮像部
１４ 出力部
１５ 入力部
１６ 記憶部
１７ 制御部
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
３０ ネットワーク

Claims (20)

1. 情報処理装置であって、
   車両の周辺が撮像された画像を保存し、
   前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定する制御部を備える、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記少なくとも１つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
   前記制御部は、前記ユーザの挙動に異常があると判定された場合、前記車両の挙動に異常があると判定する、情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第１音声又は前記第１音声とは異なる第２音声を発声したことであり、
   前記制御部は、前記ユーザによる前記第２音声の発声が検知された場合、前記ユーザの挙動に異常があると判定する、情報処理装置。
4. 請求項１から３の何れか一項に記載の情報処理装置であって、
   前記少なくとも１つの指標は、前記車両の異常音の有無を示す情報を含み、
   前記制御部は、前記異常音が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
5. 請求項１から３の何れか一項に記載の情報処理装置であって、
   前記少なくとも１つの指標は、前記車両の異常振動の有無を示す情報を含み、
   前記制御部は、前記異常振動が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
6. 請求項１から３の何れか一項に記載の情報処理装置であって、
   前記少なくとも１つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
   前記制御部は、所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定する、情報処理装置。
7. 請求項１から３の何れか一項に記載の情報処理装置であって、
   前記制御部は、前記少なくとも１つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定する、情報処理装置。
8. 情報処理装置が実行する方法であって、
   車両の周辺が撮像された画像を保存すること、及び
   前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
   を含む、方法。
9. 請求項８に記載の方法であって、
   前記少なくとも１つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
   前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを更に含む、方法。
10. 請求項９に記載の方法であって、
    前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第１音声又は前記第１音声とは異なる第２音声を発声することであり、
    前記ユーザによる前記第２音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを更に含む、方法。
11. 請求項８から１０の何れか一項に記載の方法であって、
    前記少なくとも１つの指標は、前記車両の異常音の有無を示す情報を含み、
    前記異常音が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
12. 請求項８から１０の何れか一項に記載の方法であって、
    前記少なくとも１つの指標は、前記車両の異常振動の有無を示す情報を含み、
    前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
13. 請求項８から１０の何れか一項に記載の方法であって、
    前記少なくとも１つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
    所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを更に含む、方法。
14. 請求項８から１０の何れか一項に記載の方法であって、
    前記少なくとも１つの指標に加えて、前記車両の加速度に基づいて、前記車両の挙動に異常があるか否かを判定することを更に含む、方法。
15. 情報処理装置に、
    車両の周辺が撮像された画像を保存すること、及び
    前記車両の挙動を示す、加速度以外の少なくとも１つの指標に基づいて、前記車両の挙動に異常があると判定された場合、前記画像の保存を維持すると決定し、前記車両の挙動に異常があると判定されなかった場合、前記画像を削除すると決定すること
    を実行させるプログラム。
16. 請求項１５に記載のプログラムであって、
    前記少なくとも１つの指標は、前記車両に乗車中のユーザの挙動を示す情報を含み、
    前記ユーザの挙動に異常があると判定された場合、前前車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
17. 請求項１６に記載のプログラムであって、
    前記ユーザの挙動は、前記ユーザが前記ユーザの平静音声である第１音声又は前記第１音声とは異なる第２音声を発声することであり、
    前記ユーザによる前記第２音声の発声が検知された場合、前記ユーザの挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
18. 請求項１５から１７の何れか一項に記載のプログラムであって、
    前記少なくとも１つの指標は、前記車両の異常音の有無を示す情報を含み、
    前記異常音が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
19. 請求項１５から１７の何れか一項に記載のプログラムであって、
    前記少なくとも１つの指標は、前記車両の異常振動の有無を示す情報を含み、
    前記異常振動が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。
20. 請求項１５から１７の何れか一項に記載のプログラムであって、
    前記少なくとも１つの指標は、前記車両と前記車両の周辺に位置する物体との距離を含み、
    所定の閾値以下の距離に接近した物体が検知された場合、前記車両の挙動に異常があると判定することを前記情報処理装置に更に実行させる、プログラム。

Images