JP7358872B2 - 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置 - Google Patents

撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置 Download PDF

Info

Publication number
JP7358872B2
JP7358872B2 JP2019171221A JP2019171221A JP7358872B2 JP 7358872 B2 JP7358872 B2 JP 7358872B2 JP 2019171221 A JP2019171221 A JP 2019171221A JP 2019171221 A JP2019171221 A JP 2019171221A JP 7358872 B2 JP7358872 B2 JP 7358872B2
Authority
JP
Japan
Prior art keywords
video data
occurrence
time
video
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019171221A
Other languages
English (en)
Other versions
JP2021047772A (ja
Inventor
真那夢 高橋
英樹 竹原
明昇 須山
立巳 長沼
智 廣瀬
雄士 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019171221A priority Critical patent/JP7358872B2/ja
Priority to US17/023,450 priority patent/US11580751B2/en
Publication of JP2021047772A publication Critical patent/JP2021047772A/ja
Application granted granted Critical
Publication of JP7358872B2 publication Critical patent/JP7358872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置に関する。
従来、例えば交通事故などが発生した際に、車両に搭載されたドライブレコーダーが撮影した映像を関連施設に送信する技術が提案されている(例えば、特許文献1参照)。この種の従来技術では、ドライブレコーダーを備えた自車両が事故現場に居合わせた場合、事故を撮影した映像データが関連施設に送信されるため、この映像データを直接手渡す必要がなく、該映像データから事故車両を容易に割り出すことができる。
国際公開第2017/179182号
しかし、自車両が事故現場に居合わせていなければ、事故の前後に事故車両を撮影していたとしても、撮影された映像データを有効に利用することができない。
本発明は、上記の課題に鑑みてなされたものであり、事故の前後に撮影された映像データの有効利用を図る撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、映像データを撮影する撮影部と、撮影した映像データを記録する映像記録部と、所定のイベントが発生した日時と、所定のイベントが発生した場所とを含むイベント情報を受信するイベント情報受信部と、前記映像記録部に記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在するかを判定する映像検索部と、を備え、前記映像検索部は、前記映像記録部に記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在しない場合には、前記発生した日時を含む第1の期間で撮影された映像データが存在するかを判定し、前記映像記録部に記録された映像データの中に、前記発生した日時を含む第1の期間で撮影された映像データが存在すると判定した場合には、前記発生した場所から一定の範囲内の第1の領域で撮影された映像データが存在するかを判定し、前記映像検索部は、前記映像記録部に記録された映像データの中に、前記第1の期間及び前記第1の領域で撮影された映像データが存在しないと判定する場合には、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在するかを判定し、前記イベント情報は、色、種類、形状またはブランドマークに関する情報を含み、前記映像検索部は、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む前記所定の領域で撮影された映像データが存在すると判定した場合には、存在すると判定された映像データに、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在するかを判定し、前記色、前記種類、前記形状または前記ブランドマークのうち合致する項目が多い移動体ほど高いスコアを付与し、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在すると判定された場合には、移動体が存在する映像データを撮影した時刻、場所及び前記スコアに関する情報を送信する制御を行う管理部を、さらに備えた。
本発明によれば、映像検索部が受信したイベント情報に基づき、映像データにイベントに関連する移動体が含まれているかを検索するため、例えば事故などのイベントの前後に撮影された映像データを有効に利用できる。
図1は、本実施形態に係るドライブレコーダーを備えた車両捜索システムの概略構成を示す図である。 図2は、ドライブレコーダーの機能構成を示すブロック図である。 図3は、クラウドの機能構成を示すブロック図である。 図4は、コマンドセンターの機能構成を示すブロック図である。 図5は、車両捜索システムの動作手順を示すフローチャートである。 図6は、映像検索処理の動作手順を示すフローチャートである。
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
図1は、本実施形態に係るドライブレコーダーを備えた車両捜索システムの概略構成を示す図である。図2は、ドライブレコーダーの機能構成を示すブロック図である。図3は、クラウドの機能構成を示すブロック図である。図4は、コマンドセンターの機能構成を示すブロック図である。
車両捜索システム(移動体捜索システム)100は、例えば、ひき逃げ事故(イベント)などが発生した場合に、逃走した事故車両(移動体)を捜索するものである。車両捜索システム100は、事故が発生した日時や場所、被害者が目にした車両情報などを含む事故情報(イベント情報)をもとに、予め接続された複数のドライブレコーダーの撮影映像から事故に関連する新たな情報を集める。車両捜索システム100は、図1に示すように、複数台(図1では3台)のドライブレコーダー(撮像装置)1と、クラウド(情報収集装置)2と、コマンドセンター(指示端末)3とを備える。ドライブレコーダー1及びコマンドセンター3は、それぞれLAN(Local Area Network)4を介して、クラウド2にネットワーク接続されている。LAN4は、各ドライブレコーダー1とクラウド2、または、クラウド2とコマンドセンター3を中継するものであり、例えば、WI-FI(登録商標)などの無線LANが用いられる。
ドライブレコーダー1は、車両捜索システム100の一部を構成するように予め設定されており、クラウド2と通信可能に接続されている。ドライブレコーダー1は、自動車等の車両に搭載されて、車両の周辺を撮影し、撮影した映像(画像)データを記録する。本実施形態では、映像データの記録は、急ブレーキや衝突等の発生に関連なく、ドライブレコーダー1の駆動中に継続して行われる。
ドライブレコーダー1は、図2に示すように、レンズ11と、撮像部12と、映像記録部13と、外部記憶連携部14と、事故情報記憶部15と、映像検索部16と、管理部17と、ネットワーク接続部18とを有して構成される。
撮像部12は、レンズ11を介して車両の周辺を撮影し、レンズ11とともにカメラを構成する。映像記録部13は、例えば、RAMやフラッシュメモリを備えて構成され、撮影された映像データを一時的に保存する。外部記憶連携部14は、例えばSDカードなどの外部記憶媒体が挿入可能に構成され、この種の外部記憶媒体が挿入されている際に、該外部記憶媒体に対して映像データの保存を実行する。本実施形態では、映像データが保存された外部記憶媒体が存在する場合には、この外部記憶媒体も映像記録部に含まれる。
事故情報記憶部15は、例えば、RAMやフラッシュメモリを備えて構成され、交通事故などが発生した場合に、受信した事故に関する事故情報(イベント情報)を記憶する。この事故情報は、該事故が発生した日時や場所を少なくとも含み、さらに、被害者や目撃者が目にした車両情報があれば、該車両情報を含む。車両情報としては、車両の色、種類、ブランドマーク、形状の特徴点などを含む。車両の種類は、車両を区別するものであり、例えば、乗用車、トラック、バイクなどといった大分類でもよいし、ワンボックス、セダン、ハッチバックなどといった中分類でもよい。さらには、いわゆるペットネームと言われる車名による小分類でもよい。車両の種類は、車両を区別できるものであれば適宜に変更することができる。ブランドマークは、例えば、車両の前部に表示された車両メーカーを示すエンブレムである。また、形状の特徴点とは、被害者の怪我の程度や現場付近のガードレールや電柱などの破損状況から、対象の車両(逃走車)がどれだけ破損しているかを推測した外観情報であり、例えば、車両の右前部に凹みありといった情報である。
事故情報は、例えば、事故の発生場所から所定範囲内の車両(ドライブレコーダー1)に向けてコマンドセンター3から送信されるが、車両捜索システム100に含まれるすべての車両(ドライブレコーダー1)に送信してもよい。
映像検索部16は、事故情報記憶部15に記憶された事故情報に関連する車両が、映像記録部13に記録された映像データ内に含まれているかを検索する。具体的には、映像検索部16は、事故情報に含まれる事故の発生日時及び発生場所に基づき、この発生日時を含む所定期間内(例えば事故後30分内、または事故数日前の同時間帯)に発生場所を含む所定領域(例えば発生場所を中心とした半径3km)内で撮影された映像データに事故情報に関連する車両が含まれているかを検索する。通常、事故が発生した場合、目撃者がいないと事故車(逃走車)を特定することは困難である。本構成では、事故が発生した時刻を含む前後の時間帯における周辺領域の映像データから事故情報に関連する車両を検索するため、事故の発生時に現場に居合わせなくても、事故前後に撮影された映像データを有効に利用することができる。
映像検索部16は、例えば、車両検索用に予め学習されたAdaBoost、サポートベクトルマシンのような種別(例えば、車両の種類)ごとに設定された識別器(図示せず)を用いて対象となる車両を検索する。映像検索部16は、映像(画像)に対して検出ウィンドウを設定し、検出ウィンドウが設定された領域から、識別器で利用される特徴量を抽出する。そして、映像検索部16は、抽出した特徴量を識別器に入力することによって、検出ウィンドウが設定された領域に事故情報に関連する車両が存在するか否かの結果を得る。
本実施形態では、映像検索部16は、事故情報に含まれる車両情報(車両の色、種類、ブランドマーク、形状の特徴点)ごとにそれぞれ設定された識別器を用いて検索し、少なくとも車両の色、種類、ブランドマーク及び形状の特徴点の一つに合致すれば、事故情報に関連する車両が含まれるとする。事故情報記憶部15が、例えば、事故情報として『白いワンボックス』を含んでいる場合、『白い』色または『ワンボックス』の車種を含む車両は、すべて事故情報に関連する車両と判断する。この構成では、検索条件を広くすることにより、対象の車両が検索時に漏れてしまうことを防止できる。
また、映像検索部16は、検索した結果をスコア化してもよい。例えば、上記した車両情報(車両の色、種類、ブランドマーク、形状の特徴点)の各項目に対して、合致する項目数が多いほど高いスコアを付ける。これによれば、スコアによって映像データを利用する際の優先度を規定することができ、事故に関連する可能性の高い映像データから利用することができる。さらに、スコアを付ける際に、項目ごとにスコアの重み付けをしてもよい。例えば、形状の特徴点は、事故に関連する車両であるか否かを判定する際に重要な項目である。このため、例えば、形状の特徴点の項目が合致した場合には、他の項目よりも高いスコアを付けることで、より事故に関連する可能性の高い車両を含む映像データを優先的に利用できる。
管理部17は、上記した事故情報の記憶動作、及び、映像検索動作を統括し、これらの動作を管理する。映像検索部16及び管理部17は、制御部10として機能し、マイクロプロセッサまたはマイクロコンピュータといったハードウェアで構成することができる。また、映像検索部16及び管理部17は、ハードウェアの構成に限るものではなく、ソフトウェアで構成されていてもよいし、さらに、ソフトウェアとハードウェアとを組み合わせて構成してもよい。制御部10の各構成要素を動作させるソフトウェア(プログラム)は、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。ソフトウェアを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、ソフトウェアをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、ソフトウェアを、ROM等に予め組み込んで提供するように構成してもよい。
ネットワーク接続部18は、クラウド2と連携して各種の情報の送受信を行う。ネットワーク接続部18は、例えば、アンテナやコネクタである。具体的には、クラウド2から事故情報が送信された場合、ネットワーク接続部18は、この事故情報を受信する受信部(イベント情報受信部)として機能する。また、ネットワーク接続部18は、映像データに事故に関連する車両が含まれている場合、この車両を含む映像データの一部またはすべてをクラウド2に送信する送信部として機能する。この場合、送信する映像データに、該映像データを撮影した日時及び位置情報と、上記した検索結果のスコアとを付加することができる。
クラウド2は、各ドライブレコーダー1から送信された事故に関連する車両を含む映像データを収集して記憶するサービスを提供する。クラウド2は、図3に示すように、ネットワーク接続部21と、映像検索部22と、管理部23と、事故情報記憶部24と、映像記録部25とを有して構成される。
ネットワーク接続部21は、各ドライブレコーダー1及びコマンドセンター3と連携して各種の情報の送受信を行う。ネットワーク接続部21は、例えば、アンテナやコネクタである。具体的には、ネットワーク接続部21は、コマンドセンター3から送信された事故情報を受信するとともに、この事故情報を各ドライブレコーダー1に送信する。また、ネットワーク接続部21は、各ドライブレコーダー1からそれぞれ送信された映像データを受信する。映像検索部22は、映像記録部25に蓄積された過去の映像データに、事故情報に関連する車両が含まれているかを検索する。この映像検索部22は、ドライブレコーダー1の映像検索部16と同等の構成を備えるものであり、ここでは説明を省略する。
管理部23は、クラウド2全体の動作を管理し、コマンドセンター3からの起動命令を受け、LAN4を通して各ドライブレコーダー1との連携を開始する。管理部23は、例えば、マイクロプロセッサまたはマイクロコンピュータといったハードウェアで構成することができる。管理部23は、各ドライブレコーダー1に事故情報を送信する制御、及び、各ドライブレコーダー1から送信された映像データを映像記録部25に記録する制御を司る。事故情報記憶部24は、大容量のハードディスクなどの記憶媒体から構成され、コマンドセンター3から送信された事故情報を記憶する。映像記録部25は、大容量のハードディスクなどの記憶媒体から構成され、各ドライブレコーダー1から送信された映像データをクラウド2内のストレージとして記憶する。
コマンドセンター3は、事故情報の入力と、クラウド2内に保存された映像データの閲覧や管理を行う。コマンドセンター3は、例えばコンピュータ装置やスマートフォンなどの携帯端末で構成される。コマンドセンター3は、図4に示すように、記録部31と、管理部32と、ネットワーク接続部33とを備えて構成される。
ネットワーク接続部33は、クラウド2と連携した各種の情報の送受信を行う。ネットワーク接続部33は、例えば、アンテナやコネクタである。具体的には、ネットワーク接続部33は、事故の被害者や目撃者の証言を基に作成された事故情報をクラウド2に送信する。また、ネットワーク接続部33は、例えば、クラウド2に保存された映像データの閲覧権を受信する。そして、ネットワーク接続部33は、閲覧が許可されている場合、クラウド2内に保存された映像データを視聴するためにクラウド2と通信する。記録部31は、コマンドセンター3にて作成した事故情報やクラウド2から送信された閲覧権などを記憶する。
管理部32は、例えば、コマンドセンター3全体を動作させ、事故情報の入力や提供された映像データの閲覧などの動作を制御する。管理部32は、例えば、マイクロプロセッサまたはマイクロコンピュータといったハードウェアで構成され、アプリケーションを実行させることで機能する。管理部32には、ディスプレイインタフェース41を介して、操作パネル42及びディスプレイ装置43が接続されている。ユーザ(作業者)は、これら操作パネル42及びディスプレイ装置43を通じて、事故情報の入力や提供された映像データの閲覧などの操作を行い、映像データを利用して事故車(逃走車)の捜索や、事故車の走行ルートの推定を行うことができる。また、記録部31には、コマンドセンター3が送受信した情報を記憶することができる。記録部31は、例えば、SDカードなどの取り外しが可能な記録媒体であってもよく、またはコマンドセンター3に組み込まれたメモリであってもよい。なお、コマンドセンター3は、例えば、クラウド2からダウンロード権を受信して、クラウド2に保存された映像データの一部を、コマンドセンター3の記録部31にダウンロードし、事故車(逃走車)の捜索に利用する構成としてもよい。
次に、車両捜索システム100の動作について説明する。図5は、車両捜索システムの動作手順を示すフローチャートである。最初に、コマンドセンター3にて、事故の発生日時や場所、車両情報などを含む事故情報が入力される(ステップS1)と、コマンドセンター3の管理部32は、ネットワーク接続部33及びLAN4を介して、入力された事故情報をクラウド2に送信する(ステップS2)。クラウド2の管理部23は、事故情報を受信し、受信した事故情報を事故情報記憶部24に記憶する(ステップS3)。
次に、クラウド2の映像検索部22は、受信した事故情報に基づき、映像記録部25に記録された過去の映像データ内に、事故情報に関連する車両が含まれているかを検索する(ステップS4)。ここで、事故情報に関連する車両が含まれている映像データを関連映像データという。本実施形態では、映像記録部25の映像データ内には、事故情報に関連する車両が含まれていなかった(関連映像データが見つからなかった)と仮定する。関連映像データが見つからなかった場合には、クラウド2の管理部23は、ネットワーク接続部21及びLAN4を介して、事故情報を各ドライブレコーダー1に送信する(ステップS5)。
各ドライブレコーダー1では、事故情報を受信すると、それぞれ映像検索処理(ステップS6)を実行する。この映像検索処理については後述する。ドライブレコーダー1で、事故情報に関連する車両を含む映像データ(関連映像データ)が見つかった場合には、この関連映像データをクラウド2に送信し(ステップS7)、ドライブレコーダー1は処理を終了する。この関連映像データには、事故を直接撮影した映像データを含む。なお、関連映像データが見つからなかった場合には、図示は省略するが、関連映像データの代わりに関連映像データなしの信号をクラウド2及びコマンドセンター3に送信し、車両捜索システム100の動作を終了してもよい。
クラウド2の管理部23は、ドライブレコーダー1から送信された関連映像データを受信し、この受信した関連映像データを映像記録部25に記録する(ステップS8)。次に、クラウド2の管理部23は、ネットワーク接続部21及びLAN4を介して、映像記録部25に記録された関連映像データの閲覧権をコマンドセンター3に送信し(ステップS9)、クラウド2は処理を終了する。
コマンドセンター3の管理部32は、送信された閲覧権を受信し、この閲覧権を記録部31に記録(取得)する(ステップS10)。そして、取得した閲覧権を利用し、クラウド2の映像記録部25に記録された関連映像データを視聴(閲覧)及び確認する(ステップS11)。コマンドセンター3を操作するユーザ(作業者)は、映像データを利用して事故車(逃走車)の捜索や、事故車の走行ルートの推定を行い(ステップS12)、コマンドセンター3は処理を終了する。
次に、ドライブレコーダー1における映像検索処理(映像検索方法)の動作について説明する。図6は、映像検索処理の動作手順を示すフローチャートである。ドライブレコーダー1は、通常のドライブレコーダーと同様に、車両の周辺を撮影して映像データを映像記録部13に記録している(ステップS21)。ドライブレコーダー1の映像検索部16は、クラウド2から事故情報を受信すると(ステップS22)、この事故情報に基づいて、該事故を直接撮影した映像データが映像記録部13に記録されているかを検索する。事故情報には、事故が発生した日時と場所の位置情報が含まれる。このため、映像検索部16は、事故と同時刻に同一の位置で撮影された映像データが存在するかを判別する。この判別において、事故を直接撮影した映像データが存在している場合(ステップS23;Yes)、処理を終了する。なお、映像検索部16は、事故と同時刻に同一の位置で撮影された映像データが存在するかを判別するとしたが、必ずしも同一の位置とする必要はなく、事故情報により特定される場所近辺(例えば、200m以内)であってもよい。
一方、事故を直接撮影した映像データが存在していない場合(ステップS23;No)には、映像検索部16は、事故日時を含む一定時間内に撮影された映像データが映像記録部13に記録されているかを検索する(ステップS24)。この一定期間は、コマンドセンター3から指定することができ、本実施形態では事故発生時刻から所定時間(例えば30分)以内に指定されている。
事故発生時刻から所定時間(例えば30分)以内に撮影された映像データが存在しない場合(ステップS24;No)には、処理をステップS27に移行する。一方、事故発生時刻から所定時間(例えば30分)以内に撮影された映像データが存在する場合(ステップS24;Yes)には、映像検索部16は、この映像データが事故現場から一定の範囲内の場所で撮影されたものかどうかを確認する(ステップS25)。この一定の範囲も、コマンドセンター3から指定することができ、本実施形態では、事故現場から所定距離(例えば3km)以内に指定されている。
上記した映像データが事故現場から所定距離(例えば3km)以内で撮影されていなければ(ステップS25;No)、処理をステップS27に移行する。一方、上記した映像データが事故現場から所定距離(例えば3km)以内で撮影されていれば(ステップS25;Yes)、映像検索部16は、事故情報に関連する車両を含む映像データ(関連映像データ)が映像記録部13に記録されているかを検索する(ステップS26)。具体的には、映像検索部16は、事故情報に含まれる車両情報(車両の色、種類、ブランドマーク、形状の特徴点)ごとに検索する。具体的には、映像検索部16が種類、ブランドマーク、形状の特徴点で事故情報に関連する車両を検索する場合には、映像検索部16は、種類、ブランドマーク、形状の特徴点から検索対象となるテンプレートを作成し、そのテンプレートを用いて映像データに対しパターンマッチングを行うことで検索を行う。また、映像検索部16が色で事故情報に関連する車両を検索する場合には、車のテンプレートを用いて映像データに対しパターンマッチングを行い、車に該当すると判断されたオブジェクトの色を特定することで検索を行う。なお、これらの車両情報についても、コマンドセンター3から個別に指定することができ、例えば、車両の色や形といった曖昧な情報のみでも指定することができる。また、被害者の怪我の程度などから、事故車(逃走車)の破損状況が推測できる場合には、この推測に基づく形状の特徴点を指定することができる。映像検索部16は、これら車両の色、種類、ブランドマーク及び形状の特徴点のうち、少なくとも一つでも合致すれば、関連映像データが存在すると判断する。
関連映像データが存在する場合(ステップS26;Yes)には、映像検索処理を終了する。これに対して、関連映像データが存在しない場合(ステップS26;No)には、映像検索部16は、検索条件を異ならせて(広げて)映像検索を実施する。例えば、事故車(逃走車)が日常的に事故現場を走行していたことが予想される場合、事故前日や事故の一週間前などの事故現場付近の映像データに事故車を特定する手がかりが残されている可能性がある。このため、映像検索部16は、事故前の一定期間内に事故現場付近で、事故と同じ時間帯に撮影された映像データが存在するか検索する(ステップS27)。なお、同じ時間帯とは、異なる日にちの特定の時間を指し、例えば、9時から10時などを指す。
事故前の一定期間内に事故現場付近で、事故と同じ時間帯に撮影された映像データが存在しない場合(ステップS27;No)には、管理部17は、関連映像データはないとして(ステップS29)、映像検索処理を終了する。この場合、関連映像データがない旨をクラウド2及びコマンドセンター3に送信してもよい。一方、事故前の一定期間内に事故現場付近で、事故と同じ時間帯に撮影された映像データが存在する場合(ステップS27;Yes)には、映像検索部16は、事故情報に関連する車両を含む映像データ(関連映像データ)が映像記録部13に記録されているかを検索する(ステップS28)。ここで、関連映像データが存在しない場合(ステップS28;No)には、管理部17は処理をステップS29に移行する。また、関連映像データが存在する場合(ステップS28;Yes)、管理部17は、映像検索処理を終了する。この場合、管理部17は、対象となる映像データの撮影日時や撮影地点といった情報のみをクラウド2に送信することにより、コマンドセンター3側で捜査の手がかりとすることができる。
なお、本実施形態では、図6を用いて、映像検索処理の動作について説明したが、映像検索処理は、必ずしもステップS27及びステップS28の処理を要するものではない。この場合、ステップS26で関連映像データが存在しない場合には、そのまま映像検索処理を終了してもよい。
以上、本実施形態に係るドライブレコーダー1は、車両に搭載されて車両の周囲を撮影する撮像部12と、撮影した映像データを記録する映像記録部13と、事故が発生した日時及び場所を含む事故情報を受信するネットワーク接続部18と、映像記録部13に記録された映像データの中に、事故が発生した日時を含む所定の期間及び該事故が発生した場所を含む所定の領域で撮影された映像データが存在するかを判定する映像検索部16とを備えるため、事故の発生時に現場に居合わせなくても、事故前後に撮影された映像データを有効に利用することができる。
また、本実施形態によれば、映像検索部16は、映像記録部13に記録された映像データの中に、事故が発生した日時を含む所定の期間及び該事故が発生した場所を含む所定の領域で撮影された映像データが存在しないと判定する場合には、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在するかを判定するため、事故前日や事故の一週間前などの事故現場付近の映像データから事故に関連する手がかりを検索することができ、事故前後に撮影された映像データを有効に利用することができる。
また、本実施形態によれば、事故情報は、車両の色、種類、形状またはブランドマークに関する情報を含み、映像検索部16は、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ発生した場所を含む所定の領域で撮影された映像データが存在すると判定した場合には、存在すると判定された映像データに、上記した色、種類、形状またはブランドマークを有する車両が存在するかを判定し、これら色、種類、形状またはブランドマークを有する車両が存在すると判定された場合には、ドライブレコーダー1は、該車両が存在する映像データを撮影した時刻及び場所に関する情報を送信する制御を行う管理部17を備える。このため、例えば、コマンドセンター3は、対象となる映像データの撮影日時や撮影地点といった情報のみを受信することにより、コマンドセンター3側での該車両の捜査の手がかりとすることができる。
また、本実施形態によれば、映像データに事故に関連する車両が含まれている場合、ネットワーク接続部18は、この車両を含む映像データをクラウド2に送信するため、各ドライブレコーダー1からクラウド2への映像データの提供が容易に行われ、情報提供者の手間や負担が軽減される。また、クラウド2に映像データを集めることができ、このクラウド2にアクセスすることで対象車両の捜索を容易に実施することができる。
また、本実施形態に係るクラウド2は、映像データを記録する映像記録部25と、事故が発生した日時及び場所を含む事故情報を受信するネットワーク接続部21と、映像記録部25に記録された映像データの中に、事故が発生した日時を含む所定の期間及び該事故が発生した場所を含む所定の領域で撮影された映像データが存在するかを判定する映像検索部22と、を備えるため、事故前後に複数のドライブレコーダー1により撮影された多数の映像データを有効に利用することができる。また、本実施形態に係るクラウド2は、事故が発生した日時を含む所定の期間及び該事故が発生した場所を含む所定の領域で撮影された映像データが存在しないと判定された場合には、事故情報を送信する制御を行う管理部23を備えるため、例えば、コマンドセンター3は、対象となる映像データの撮影日時や撮影地点といった情報のみを受信することにより、コマンドセンター3側での該車両の捜査の手がかりとすることができる。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、本実施形態では、移動体はひき逃げ事故を起こした車両として説明したが、車両事故に限らず、通り魔事件などで逃走した犯人(移動体)の捜索にも利用することができる。
1 ドライブレコーダー(撮像装置)
2 クラウド(情報収集装置)
3 コマンドセンター(指示端末)
12 撮像部
13 映像記録部
15 事故情報記憶部
16 映像検索部
17 管理部
18 ネットワーク接続部(イベント情報受信部、送信部)
21 ネットワーク接続部(イベント情報受信部、送信部)
22 映像検索部
23 管理部
24 事故情報記憶部
25 映像記録部
31 記録部
32 管理部
33 ネットワーク接続部
42 操作パネル
43 ディスプレイ装置
100 車両捜索システム

Claims (4)

  1. 映像データを撮影する撮影部と、
    撮影した映像データを記録する映像記録部と、
    所定のイベントが発生した日時と、所定のイベントが発生した場所とを含むイベント情報を受信するイベント情報受信部と、
    前記映像記録部に記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在するかを判定する映像検索部と、を備え、
    前記映像検索部は、前記映像記録部に記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在しない場合には、前記発生した日時を含む第1の期間で撮影された映像データが存在するかを判定し、
    前記映像記録部に記録された映像データの中に、前記発生した日時を含む第1の期間で撮影された映像データが存在すると判定した場合には、前記発生した場所から一定の範囲内の第1の領域で撮影された映像データが存在するかを判定し、
    前記映像検索部は、前記映像記録部に記録された映像データの中に、前記第1の期間及び前記第1の領域で撮影された映像データが存在しないと判定する場合には、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在するかを判定し、
    前記イベント情報は、色、種類、形状またはブランドマークに関する情報を含み、
    前記映像検索部は、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む前記所定の領域で撮影された映像データが存在すると判定した場合には、存在すると判定された映像データに、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在するかを判定し、前記色、前記種類、前記形状または前記ブランドマークのうち合致する項目が多い移動体ほど高いスコアを付与し、
    前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在すると判定された場合には、移動体が存在する映像データを撮影した時刻、場所及び前記スコアに関する情報を送信する制御を行う管理部を、さらに備えた、
    撮像装置。
  2. 映像データを撮影するステップと、
    撮影した映像データを記録するステップと、
    所定のイベントが発生した日時と、所定のイベントが発生した場所と、色、種類、形状またはブランドマークに関する情報と、を含むイベント情報を受信するステップと、
    記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在するかを判定するステップと、を備え、
    前記映像データが存在するかを判定するステップは、前記記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在しない場合には、前記発生した日時を含む第1の期間で撮影された映像データが存在するかを判定し、
    前記記録された映像データの中に、前記発生した日時を含む第1の期間で撮影された映像データが存在すると判定した場合には、前記発生した場所から一定の範囲内の第1の領域で撮影された映像データが存在するかを判定し、
    前記映像データが存在するかを判定するステップは、前記記録された映像データの中に、前記第1の期間及び前記第1の領域で撮影された映像データが存在しないと判定する場合には、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在するかを判定し、
    前記映像データが存在するかを判定するステップは、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在すると判定した場合には、存在すると判定された映像データに、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在するかを判定し、前記色、前記種類、前記形状または前記ブランドマークのうち合致する項目が多い移動体ほど高いスコアを付与し、
    前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在すると判定された場合には、移動体が存在する映像データを撮影した時刻、場所及び前記スコアに関する情報を送信する制御を行う、
    映像検索方法。
  3. 映像データを撮影するステップと、
    撮影した映像データを記録するステップと、
    所定のイベントが発生した日時と、所定のイベントが発生した場所と、色、種類、形状またはブランドマークに関する情報と、を含むイベント情報を受信するステップと、
    記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在するかを判定するステップと、
    をコンピュータに実行させる映像検索プログラムであって、
    前記映像データが存在するかを判定するステップは、前記記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在しない場合には、前記発生した日時を含む第1の期間で撮影された映像データが存在するかを判定し、
    前記記録された映像データの中に、前記発生した日時を含む第1の期間で撮影された映像データが存在すると判定した場合には、前記発生した場所から一定の範囲内の第1の領域で撮影された映像データが存在するかを判定し、
    前記映像データが存在するかを判定するステップは、前記記録された映像データの中に、前記第1の期間及び前記第1の領域で撮影された映像データが存在しないと判定する場合には、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在するかを判定し、
    前記映像データが存在するかを判定するステップは、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在すると判定した場合には、存在すると判定された映像データに、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在するかを判定し、前記色、前記種類、前記形状または前記ブランドマークのうち合致する項目が多い移動体ほど高いスコアを付与し、
    前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在すると判定された場合には、移動体が存在する映像データを撮影した時刻、場所及び前記スコアに関する情報を送信する制御を行う、
    映像検索プログラム。
  4. 映像データを記録する映像記録部と、
    所定のイベントが発生した日時と、所定のイベントが発生した場所とを含むイベント情報を受信するイベント情報受信部と、
    前記映像記録部に記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在するかを判定する映像検索部と、
    前記発生した日時及び前記発生した場所で撮影された映像データが存在しないと判定された場合には、前記イベント情報を送信する制御を行う管理部と、を備え、
    前記映像検索部は、前記映像記録部に記録された映像データの中に、前記発生した日時及び前記発生した場所で撮影された映像データが存在しない場合には、前記発生した日時を含む第1の期間で撮影された映像データが存在するかを判定し、
    前記映像記録部に記録された映像データの中に、前記発生した日時を含む第1の期間で撮影された映像データが存在すると判定した場合には、前記発生した場所から一定の範囲内の第1の領域で撮影された映像データが存在するかを判定し、
    前記映像検索部は、前記映像記録部に記録された映像データの中に、前記第1の期間及び前記第1の領域で撮影された映像データが存在しないと判定する場合には、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む所定の領域で撮影された映像データが存在するかを判定し、
    前記イベント情報は、色、種類、形状またはブランドマークに関する情報を含み、
    前記映像検索部は、発生した日とは異なる日であって発生した時刻を含む所定の時間帯、かつ前記発生した場所を含む前記所定の領域で撮影された映像データが存在すると判定した場合には、存在すると判定された映像データに、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在するかを判定し、前記色、前記種類、前記形状または前記ブランドマークのうち合致する項目が多い移動体ほど高いスコアを付与し、
    前記管理部は、前記色、前記種類、前記形状または前記ブランドマークを有する移動体が存在すると判定された場合には、移動体が存在する映像データを撮影した時刻、場所及び前記スコアに関する情報を送信する制御を行う、
    情報収集装置。
JP2019171221A 2019-09-20 2019-09-20 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置 Active JP7358872B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019171221A JP7358872B2 (ja) 2019-09-20 2019-09-20 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置
US17/023,450 US11580751B2 (en) 2019-09-20 2020-09-17 Imaging device, video retrieving method, video retrieving program, and information collecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019171221A JP7358872B2 (ja) 2019-09-20 2019-09-20 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置

Publications (2)

Publication Number Publication Date
JP2021047772A JP2021047772A (ja) 2021-03-25
JP7358872B2 true JP7358872B2 (ja) 2023-10-11

Family

ID=74876403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019171221A Active JP7358872B2 (ja) 2019-09-20 2019-09-20 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置

Country Status (2)

Country Link
US (1) US11580751B2 (ja)
JP (1) JP7358872B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010158038A (ja) 2010-02-04 2010-07-15 Yasuaki Iwai 車載画像記録装置
JP2015230579A (ja) 2014-06-05 2015-12-21 トヨタ自動車株式会社 事故画像取得システム
JP2017182757A (ja) 2016-03-31 2017-10-05 日本電気株式会社 画像収集装置、画像収集システム、車載システム、画像収集方法、画像要求処理方法及びプログラム
JP2018102762A (ja) 2016-12-27 2018-07-05 株式会社カプコン ゲームシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102704A1 (en) * 2003-11-07 2005-05-12 Rudy Prokupets Multiregional security system integrated with digital video recording and archiving
WO2017179182A1 (ja) 2016-04-15 2017-10-19 株式会社オプティム ドライブレコーダ撮像画像送信システム、ドライブレコーダ撮像画像送信方法及びプログラム
TWI698121B (zh) * 2018-11-05 2020-07-01 緯創資通股份有限公司 網路裝置、影像處理方法及電腦可讀媒體

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010158038A (ja) 2010-02-04 2010-07-15 Yasuaki Iwai 車載画像記録装置
JP2015230579A (ja) 2014-06-05 2015-12-21 トヨタ自動車株式会社 事故画像取得システム
JP2017182757A (ja) 2016-03-31 2017-10-05 日本電気株式会社 画像収集装置、画像収集システム、車載システム、画像収集方法、画像要求処理方法及びプログラム
JP2018102762A (ja) 2016-12-27 2018-07-05 株式会社カプコン ゲームシステム

Also Published As

Publication number Publication date
US11580751B2 (en) 2023-02-14
JP2021047772A (ja) 2021-03-25
US20210089789A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
KR101783982B1 (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
US10399438B2 (en) Data processing apparatus
JP2012098105A (ja) 事故発生場所周辺の映像収集システム
DE112018004953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und sich bewegender körper
US10306188B2 (en) Photographic image exchange system, imaging device, and photographic image exchange method
JP2021176235A (ja) 画像処理方法
CN114267144A (zh) 一种车辆报警方法、装置、汽车及存储介质
JP2016207004A (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
JP5049551B2 (ja) Etc通信監視装置及びetc通信監視方法
JP2006202000A (ja) 車両監視方法及び特定文字パターン認識装置及び車両監視システム
JP7358872B2 (ja) 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置
JP2007048129A (ja) 車両周囲状況表示システム、車両周囲状況表示方法、およびプログラム
KR20160005149A (ko) 차량용 블랙박스를 이용한 교통위반 신고 시스템 및 그 신고 방법
JP2002190013A (ja) 画像認識による渋滞検知システム及び渋滞検知方法
KR101391909B1 (ko) 차량용 블랙박스의 영상데이터와 gis 연동 서비스 방법
KR20130051691A (ko) 차량충돌 통보 시스템 및 방법
CN107306384B (zh) 一种车辆丢失处理的方法、装置以及服务器
EP3352450A1 (en) Vehicle image recording apparatus and method of recording image data of an environment proximate to a vehicle
JP2023144233A (ja) 車室内監視システム
TWI752332B (zh) 行車記錄器及畫像記憶系統
KR20190007277A (ko) 무인 비행체를 이용한 차량용 블랙박스 영상 촬영 장치 및 그 방법
CN110910532A (zh) 一种行驶状态的拍摄方法、装置、车辆及***
US20200084369A1 (en) Control device, imaging device, control method, and program
CN110722982A (zh) 试驾车辆的超载处理方法、装置、电子设备与存储介质
CN111614887B (zh) 车辆周边图像合成方法及***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7358872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150