JP7361957B2 - 映像データ収集解析装置 - Google Patents

Description

本開示技術は、映像データ収集解析装置に関する。

従来技術にかかるドライブレコーダーは、カメラから走行映像を取得し、取得した映像をＳＤなどのストレージに保存する。ストレージには記憶容量の上限があるため、記憶容量を超えて録画する場合、ドライブレコーダーは古い情報を削除することにより記憶容量を確保する。

ところで最近では、ドライブレコーダーで撮影した走行映像から、路面劣化や道路異常などを検知し、通信機能を用いて検知情報を外部サーバへアップロードするといったことが検討されている。この技術分野において、例えば特許文献１には、センターサーバによって生成されるデータベースの更新に役立つ画像データに絞ったアップロードを行うことで、通信量や通信に使用する帯域を節約して画像データをアップロードする技術が開示されている。

特開２０１８－１９８００４号公報

特許文献１に例示される従来技術においては、映像解析部の処理能力が十分であれば走行映像を連続的に解析できるが、映像解析部の処理能力が十分ではなく追いつかないことが生じ得る。この状態が続くとストレージの記憶容量が圧迫され、古い情報が削除される。削除される古い情報の中には、重要なデータが存在することがある。

本開示技術は、上記課題に鑑み、記憶容量確保のための情報削除が行われても、重要なデータが削除されない映像データ収集解析装置を提供することを目的とする。

本開示技術にかかる映像データ収集解析装置は、車両に搭載されたセンサから車両についてのセンサ値を取得するセンサ値取得部と、車両の外部を撮影した車外映像を取得する映像取得部と、外部サーバと通信を行う車外通信部と、センサ値取得部が取得したセンサ値から、車両が走行する道路の異常度合を判定する異常度合判定部と、判定された異常度合に基づいて、車外映像を解析する際の優先度を決定する解析優先度決定部と、優先度に基づいて、車外映像に映る道路の路面状態を解析する映像解析部と、を備え、映像解析部は、車外映像の中で優先度が予め定められた閾値を超えたときに取得されたものを、優先度が高い順に解析する、というものである。

本開示技術にかかる映像データ収集解析装置は上記構成を備えるため、カメラ映像以外から取得されるセンサ情報に基づいて判断された道路異常の特徴及びサーバ情報から解析する映像の優先順位を決定し、優先順位の高いものから解析を実施する。その結果、本開示技術にかかる映像データ収集解析装置は、映像解析部の処理が間に合わなくなる場合でも、重要な映像データが消去されることを防ぐ。

図１は、本開示技術にかかる映像データ収集解析装置をそなえた映像データ収集解析システムの構成例を示す概略図である。 図２は、実施の形態１にかかる映像データ収集解析装置の機能を示すブロック図である。 図３は、実施の形態１にかかる映像データ収集解析装置の処理フローを示すフローチャートである。 図４は、図３のフローチャートにおける解析優先度を決定するステップ（ＳＴ３）内部処理を表した部分フローチャートである。 図５は、本開示技術にかかる映像データ収集解析装置が想定している道路異常の例を示した模式図である。図５Ａは、道路における異常と対応する加速度センサーの時系列信号を表した模式図である。図５Ｂは、道路における異常の種類と各種センサの解析結果とを対応させた表の一例である。 図６は、図３のフローチャートにおける映像データを解析するステップ（ＳＴ４）の内部処理を表した部分フローチャートである。

開示技術にかかる映像データ収集解析装置１は、以下の図に沿った説明により明らかにされる。

実施の形態１．
図１は、本開示技術にかかる映像データ収集解析装置１をそなえた映像データ収集解析システムの構成例を示す概略図である。図１が示すとおり、映像データ収集解析システムは、車両内に搭載された映像データ収集解析装置１と、車両に搭載され車外を撮像するカメラ２と、車両に搭載され各種の状態を検知するセンサ３と、から構成される。

図１におけるカメラ２は車両に搭載されたものであり、前方、後方、及び左右などの車外を撮影する。車外を撮影した映像は、以下「車外映像」と呼ぶ。図１におけるセンサ３は車両に搭載されたものであり、車両の状態を検知するものと、車両の周辺を検知するものと、その他時刻などを得るためのものが考えられる。車両の状態を検知するものとしては、加速度計、ジャイロ、マイク、車輪速度計などが挙げられる。車両の周辺を検知するものとしては、コーナーセンサ、LiDAR、レーザ変位計などが挙げられる。その他のものとしては、ＧＮＳＳなどが挙げられる。

図２は、実施の形態１にかかる映像データ収集解析装置１の機能を示すブロック図である。図２が示すとおり映像データ収集解析装置１は、メモリ１０と、車外通信部１１と、映像取得部１２と、センサ値取得部１３と、映像解析部１４と、異常度合判定部１５と、解析優先度決定部１６と、サーバ情報取得部１７とを備える。

メモリ１０は、カメラ２及びセンサ３から取得したデータを記憶する。車外通信部１１は、公衆回線及びＷｉＦｉ等の無線通信を介して、外部サーバと各種情報を通信する。より具体的に車外通信部１１は、映像解析部１４から送信された解析結果を外部サーバへ送信する。また車外通信部１１は、外部サーバから送信されたサーバ情報をサーバ情報取得部１７へ送信する。

映像取得部１２は、カメラ２から送信された車外映像の映像データを取得し、映像解析部１４へ送信する。センサ値取得部１３は、センサ３から出力されたセンサデータを取得し、異常度合判定部１５へ出力する。

映像解析部１４は、映像取得部１２から送信された映像データを解析し、道路の異常の度合を判定する。映像解析部１４は、解析優先度決定部１６により決定された優先度に従って、解析優先度の高い順に処理を進める。なお、映像解析部１４が解析する映像データの単位は、画像フレームの単位であっても、時間の単位であってもよく、ユーザがあらかじめ設定できるような構成としてよい。

異常度合判定部１５は、センサ値取得部１３から出力されたセンサデータに演算処理を施し、センサデータに対応する道路について異常の度合を判定する。センサデータへの演算処理とは、閾値との比較、平均値の算出、ピーク値の算出、スペクトル周波数の算出、等が挙げられる。上記の映像データの単位は、センサデータへの演算処理の種類によって決定してもよい。異常度合判定部１５で判定した異常度合の情報は、解析優先度決定部１６へ出力される。

解析優先度決定部１６は、異常度合判定部１５から出力された異常度合の情報とサーバ情報取得部１７から出力されたサーバ情報とに基づいて、各映像の解析優先度を決定する。決定した映像ごとの解析優先度は、映像解析部１４へ出力される。解析優先度決定部１６が行う解析優先度の決定は、映像解析部１４が解析する映像データの単位と同じ単位で行ってよく、画像フレームの単位であっても、時間の単位であってもよい。

サーバ情報取得部１７は、車外通信部１１から送信されたサーバ情報を、解析優先度決定部１６へ出力する。ここでのサーバ情報は、どの道路異常を優先的に解析したいか、といった情報が含まれる。

図３は、実施の形態１にかかる映像データ収集解析装置１の処理フローを示すフローチャートである。図３が示すとおり、映像データ収集解析装置１の処理には、センサ値を取得するステップ（ＳＴ１）と、センサ値を解析するステップ（ＳＴ２）と、解析優先度を決定するステップ（ＳＴ３）と、映像データを解析するステップ（ＳＴ４）とを有する。

センサ値を取得するステップ（ＳＴ１）は、センサ値取得部１３によって実施され、センサ３から出力されたセンサデータを取得する、すなわちサンプリングする処理ステップである。

センサ値を解析するステップ（ＳＴ２）は、異常度合判定部１５によって実施され、道路にて発生する異常の度合が判定される。ここで道路にて発生する異常には、ポットホール、ひび割れ、轍（わだち）掘れ、落下物、障害物、人動物、等が想定される。

解析優先度を決定するステップ（ＳＴ３）は、解析優先度決定部１６によって実施される。解析優先度を決定するステップ（ＳＴ３）の詳細は、以降の説明により明らかにされる。

映像データを解析するステップ（ＳＴ４）は、映像解析部１４によって実施される。映像データを解析するステップ（ＳＴ４）の詳細も、以降の説明により明らかにされる。

図４は、図３のフローチャートにおける解析優先度を決定するステップ（ＳＴ３）の内部処理を表した部分フローチャートである。図４が示すとおり解析優先度を決定するステップ（ＳＴ３）は、異常検出の有無を判定するステップ（ＳＴ３０１）と、検出した異常についての位置情報と時刻とを取得するステップ（ＳＴ３０２）と、異常の特徴を取得するステップ（ＳＴ３０３）と、サーバ情報を取得するステップ（ＳＴ３０４）と、サーバ情報と異常の特徴に基づいて解析優先度を決定するステップ（ＳＴ３０５）と、解析優先度を最低に設定するステップ（ＳＴ３０６）と、を有する。

異常検出の有無を判定するステップ（ＳＴ３０１）は、解析優先度を決定するステップ（ＳＴ３）のうちの最初のステップであり、解析優先度決定部１６によって実施される。ここでの処理は、異常度合判定部１５から出力された異常度合の情報に基づいて行われる。異常度合が既定値よりも低ければ、処理は解析優先度を最低に設定するステップ（ＳＴ３０６）へと進む。それ以外の場合は、処理は検出した異常についての位置情報と時刻とを取得するステップ（ＳＴ３０２）へと進む。

検出した異常についての位置情報と時刻とを取得するステップ（ＳＴ３０２）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、異常度合が既定値よりも超えたときの時刻とその位置情報を取得する処理である。なお、本開示技術にかかる映像データ収集解析装置１は、カメラ２による映像の対象が、本装置が搭載されている車両の前方の路面の映像であることを考慮してもよい。すなわち解析優先度決定部１６は、異常を検出した時刻と、関連づけるカメラ２で撮像した時刻との間に、遅れ時間を考慮してもよい。

異常の特徴を取得するステップ（ＳＴ３０３）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、異常度合が既定値よりも超えたときの異常の特徴を取得する処理である。図５は、本開示技術にかかる映像データ収集解析装置１が想定している道路異常の例を示した模式図である。異常の特徴を取得するステップ（ＳＴ３０３）は、図５に沿った以下の説明により明らかにされる。

図５が示すように、本開示技術にかかる映像データ収集解析装置１が想定している道路異常には、ポットホール、大きなひび割れ、小さなひび割れ、大きな障害物、小さな障害物、等が挙げられる。図５Ａは、道路における異常と対応する加速度センサの時系列信号を表した模式図である。図５Ａは、例えば加速度センサの時系列信号を解析することによって、ポットホール及びひび割れを検出できることを示している。また図５Ｂは、複数種類のセンサ３のセンサデータから得られる特徴量を観測することにより、道路の異常の種別を判別できることを示している。ここで特徴量とは、信号のピーク値、ピーク値の間隔、スペクトル周波数、平均値、最大値、最小値、等が考えられる。

複数のセンサ３のセンサデータから得られる特徴量が全部でＮ種類（Ｎは１以上の整数）あったとする。すると道路異常は、種類ごとにカテゴライズしてＮ次元の特徴量空間にプロットすることができる。ここで参照データとして、正常な道路の場合もカテゴライズしてＮ次元の特徴量空間にプロットすることが望ましい。過去の蓄積データから得られたＮ次元の特徴量空間でのプロット情報は、道路異常の種類ごとにカテゴライズした特徴量空間マップへと作り変えることができる。特徴量空間マップは、特徴量のプロットから当該プロットが属する蓋然性の高い道路異常の種類を導くことができる。本開示技術にかかる映像データ収集解析装置１は、オフラインで作成された特徴量空間マップを備えていてもよい。また、本開示技術にかかる映像データ収集解析装置１は、学習機能を備えていてもよく、学習により特徴量空間マップを更新する構成を備えていてもよい。さらに、特徴量のプロットから蓋然性の高い道路異常の種類を導く方法は、決定木を用いたものでもよい。

図５Ｂが示すように、本開示技術にかかる映像データ収集解析装置１は、特徴量空間マップから導いた蓋然性の高い道路異常の種類に対して、深刻度と信頼度とを設定してもよい。深刻度とは、道路異常が原因となって生じる事故の深刻度であって、例えばポットホールであればその深さと幅とによって決め、例えば障害物であればその大きさによって決める。信頼度とは、例えば特徴量空間マップから導く道路異常の種類の蓋然性によって決める。

サーバ情報を取得するステップ（ＳＴ３０４）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、サーバ情報取得部１７から送信されたサーバ情報を取得する処理である。サーバ情報の例は、道路異常の種類ごとにサーバ側が映像データを取得したい度合を示したものである。例えばサーバ側が映像データを取得したい度合（以下「要求度合」という）は、０以上１以下の数値で表すことができる。ここでの例は、優先度の高いものほど１に近く、優先度の低いものほど０に近い値とする。

サーバ情報と異常の特徴に基づいて解析優先度を決定するステップ（ＳＴ３０５）は、解析優先度を決定するステップ（ＳＴ３）の内部ステップであり、解析優先度決定部１６によって実施される。ここでの処理は、最終的な映像データの解析優先度を決定する処理である。ここで用いる情報は、サーバ情報を取得するステップ（ＳＴ３０４）で取得した０以上１以下の数値で表した要求度合である。解析優先度は、要求度合をそのまま用いてもよい。また、解析優先度の決定は、この要求度合とともに、図５Ｂで示した深刻度と信頼度とを用いてもよい。深刻度及び信頼度も、それぞれ０以上１以下の数値で表し、最終的な映像データの解析優先度を、これら３つの数値を重み付けして掛け合わせることによって求めてもよい。このときの重みは、使用者によって適宜設定できるようにしてもよい。

図６は、図３のフローチャートにおける映像データを解析するステップ（ＳＴ４）の内部処理を表した部分フローチャートである。図６が示すとおり映像データを解析するステップ（ＳＴ４）は、カメラ映像を取得するステップ（ＳＴ４０１）と、解析優先度が一番高い映像を選択するステップ（ＳＴ４０２）と、解析優先度が閾値以上であるか否かを判断するステップ（ＳＴ４０３）と、映像を解析するステップ（ＳＴ４０４）と、解析結果を送信するステップ（ＳＴ４０５）と、を有する。

カメラ映像を取得するステップ（ＳＴ４０１）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、車両に搭載されたカメラ２から映像データを取得する処理である。

解析優先度が一番高い映像を選択するステップ（ＳＴ４０２）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、解析優先度決定部１６で決定した解析優先度のうち一番優先度の高い映像を解析対象として選択する処理である。

解析優先度が閾値以上であるか否かを判断するステップ（ＳＴ４０３）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、或る条件に基づいて判断を行う処理であり、判断の結果によってフローの行き先が異なる。ここでの条件とは、解析対象として選択された映像の解析優先度が、あらかじめ決めておいた閾値以上であることである。解析優先度が閾値以上であれば、処理は映像を解析するステップ（ＳＴ４０４）へと進む。条件を満たさない場合は、当該映像についての映像データを解析するステップ（ＳＴ４）を終了する。

解析優先度が閾値以上であるか否かを判断するステップ（ＳＴ４０３）において、条件に用いる閾値は、以下のように考えて設定する。閾値を０と設定することは、閾値を設定しないことと同義になり、すべての映像が解析対象となり解析優先度の順位解析がなされていく。閾値を１に近づけると映像解析部１４での解析する映像の数が減るため、解析の負荷を軽減させることにつながる。

映像を解析するステップ（ＳＴ４０４）は、映像データを解析するステップ（ＳＴ４）のコアとなる内部ステップであり、映像解析部１４によって実施される。ここでの処理は、映像の解析を実施する処理である。より具体的には、映像データを解析するステップ（ＳＴ４）は、車外映像に映る道路の路面状態を、画像解析により解析する。映像解析部１４は、画像解析に機械学習を用いてもよい。

解析結果を送信するステップ（ＳＴ４０５）は、映像データを解析するステップ（ＳＴ４）の内部ステップであり、映像解析部１４によって実施される。ここでの処理は、映像を解析するステップ（ＳＴ４０４）での解析結果を受けて、必要に応じて解析結果及び映像データを車外通信部１１へ出力する。出力された解析結果及び映像データは、外部サーバへアップロードされる。

以上のように実施の形態１にかかる映像データ収集解析装置１は上記構成を備えるため、映像解析部１４の処理が間に合わなくなる場合でも、重要な映像データが消去されることを防ぐ。

実施の形態２．
実施の形態１にかかる映像データ収集解析装置１は、１台の車両で用いた態様であったが、これに限定するものではない。実施の形態２にかかる映像データ収集解析装置１は、複数の車両で用いられる。

複数の車両で１つの目的を達成するシステムは、コネクテッドカーシステムとよばれることがある。実施の形態２にかかる映像データ収集解析装置１は、コネクテッドカーシステムの一例として考えることができる。

コネクテッドカーシステムにおいては、複数の車両が実施の形態２にかかる映像データ収集解析装置１をそれぞれ備える。実施の形態２にかかる映像データ収集解析装置１は、車外通信部１１を介して、それぞれの映像データ収集解析装置１が算出した映像解析の結果と、異常度合判定の結果と、解析優先度の決定結果とを、共有できる構成を備える。

以上の構成を備えることにより実施の形態２にかかる映像データ収集解析装置１は、コネクテッドカーシステムにおいても使用でき、情報を共有し、映像解析部１４の処理が間に合わなくなる場合でも、重要な映像データが消去されることを防ぐ。

１ 映像データ収集解析装置、 ２ カメラ、 ３ センサ、 １０ メモリ、 １１ 車外通信部、 １２ 映像取得部、 １３ センサ値取得部、 １４ 映像解析部、 １５ 異常度合判定部、 １６ 解析優先度決定部、 １７ サーバ情報取得部。

Claims (2)

1. 車両に搭載されたセンサから前記車両についてのセンサ値を取得するセンサ値取得部と、
   前記車両の外部を撮影した車外映像を取得する映像取得部と、
   外部サーバと通信を行う車外通信部と、
   前記センサ値取得部が取得したセンサ値から、前記車両が走行する道路の異常度合を判定する異常度合判定部と、
   判定された前記異常度合に基づいて、前記車外映像を解析する際の優先度を決定する解析優先度決定部と、
   前記優先度に基づいて、前記車外映像に映る道路の路面状態を解析する映像解析部と、を備え、
   前記映像解析部は、前記車外映像の中で前記優先度が予め定められた閾値を超えたときに取得されたものを、前記優先度が高い順に解析する、
   映像データ収集解析装置。
2. 車両に搭載されたセンサから前記車両についてのセンサ値を取得するセンサ値取得部と、
   前記車両の外部を撮影した車外映像を取得する映像取得部と、
   外部サーバと通信を行う車外通信部と、
   前記センサ値取得部が取得したセンサ値から、前記車両が走行する道路の異常度合を判定する異常度合判定部と、
   判定された前記異常度合に基づいて、前記車外映像を解析する際の優先度を決定する解析優先度決定部と、
   前記優先度に基づいて、前記車外映像に映る道路の路面状態を解析する映像解析部と、
   前記車外通信部からサーバ情報を取得するサーバ情報取得部と、を備え、
   前記解析優先度決定部は、前記異常度合と前記サーバ情報に基づいて、前記優先度を決定する、
   映像データ収集解析装置。

Images