JP2020021398A - 情報処理システム、プログラム、及び制御方法 - Google Patents

情報処理システム、プログラム、及び制御方法 Download PDF

Info

Publication number
JP2020021398A
JP2020021398A JP2018146632A JP2018146632A JP2020021398A JP 2020021398 A JP2020021398 A JP 2020021398A JP 2018146632 A JP2018146632 A JP 2018146632A JP 2018146632 A JP2018146632 A JP 2018146632A JP 2020021398 A JP2020021398 A JP 2020021398A
Authority
JP
Japan
Prior art keywords
vehicle
moving image
position information
section
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018146632A
Other languages
English (en)
Other versions
JP7073972B2 (ja
Inventor
西村 和也
Kazuya Nishimura
和也 西村
義博 大栄
Yoshihiro Daiei
義博 大栄
後藤 淳
Atsushi Goto
淳 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018146632A priority Critical patent/JP7073972B2/ja
Priority to US16/397,504 priority patent/US11068727B2/en
Priority to CN201910360961.6A priority patent/CN110795979B/zh
Publication of JP2020021398A publication Critical patent/JP2020021398A/ja
Application granted granted Critical
Publication of JP7073972B2 publication Critical patent/JP7073972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/005Electro-mechanical devices, e.g. switched

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】センターに記憶される交通情報の詳細化を可能にする。【解決手段】情報処理システム1は、車両10とサーバ20を備える。車両10は、道路を走行中に車外の風景を撮像した複数の撮像静止画像を生成し、複数の撮像静止画像のそれぞれが生成されたときの位置情報を取得する。車両10又はサーバ20は、複数の撮像静止画像を含む撮像動画像上の所定被写体を検出する検出処理を開始し、撮像動画像のうち動画区間において検出される所定被写体の検出数を、撮像動画像における動画区間の位置を変化させながら監視し、所定被写体の検出数が第1基準数を超えたときの動画区間に含まれる少なくとも1つの撮像静止画像が生成されたときの車両10の位置情報に基づいて、道路上の交通障害区間の候補始点の位置情報を決定する。サーバ20は、候補始点の位置情報に基づいて、交通障害区間の始点の位置情報を決定し、出力する。【選択図】図1

Description

本発明は、情報処理システム、プログラム、及び制御方法に関する。
従来、センターに記憶された交通情報の提供が一般的に行われている。例えば、特許文献1には、交通情報センターから受信した情報を用いて、渋滞傾向を地図画面上に表示する装置が開示されている。
特開2001−124577号公報
センターに記憶される交通情報には、例えば道路工事等の交通障害を示す情報が含まれる。しかしながら、従来の交通情報には、道路工事が行われているおおよその地点を示す情報が含まれ得る一方、工事区間を示す詳細な情報までは含まれていない。このため、従来の交通情報を利用して、例えば道路工事が行われているおおよその地点を地図上に表示してユーザに提示しても、ユーザは工事区間を正確に把握できない。このように、従来の交通情報では、正確な工事区間をユーザに提示することができない。したがって、センターに記憶される交通情報の詳細化が望まれている。
かかる事情に鑑みてなされた本発明の目的は、センターに記憶される交通情報の詳細化を可能にすることにある。
本発明の一実施形態に係る情報処理システムは、
車両と、前記車両と通信可能なサーバと、を備える情報処理システムであって、
前記車両は、
道路を走行中に車外の風景を撮像した複数の撮像静止画像を生成し、
前記複数の撮像静止画像のそれぞれが生成されたときの前記車両の位置情報を取得し、
前記車両又は前記サーバは、
前記複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の所定被写体を検出する検出処理を開始し、
前記撮像動画像のうち所定時間分の動画区間において検出される前記所定被写体の検出数を、前記撮像動画像における前記動画区間の位置を変化させながら監視し、
前記所定被写体の検出数が第1基準数を超えたときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定し、
特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記道路上の交通障害区間の候補始点の位置情報を決定し、
前記サーバは、
前記車両について決定された前記候補始点の位置情報に基づいて、前記交通障害区間の始点の位置情報を決定し、
前記交通障害区間の前記始点の位置情報を出力する。
本発明の一実施形態に係るプログラムは、
情報処理装置に、
道路を走行中の車両が車外の風景を撮像した複数の撮像静止画像を取得するステップと、
前記複数の撮像静止画像のそれぞれが生成されたときの前記車両の位置情報を取得するステップと、
前記複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の所定被写体を検出する検出処理を開始するステップと、
前記撮像動画像のうち所定時間分の動画区間において検出される前記所定被写体の検出数を、前記撮像動画像における前記動画区間の位置を変化させながら監視するステップと、
前記所定被写体の検出数が第1基準数を超えたときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定するステップと、
特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記道路上の交通障害区間の候補始点の位置情報を決定するステップと、を実行させる。
本発明の一実施形態に係る制御方法は、
情報処理装置の制御方法であって、
道路を走行中の車両が車外の風景を撮像した複数の撮像静止画像を取得するステップと、
前記複数の撮像静止画像のそれぞれが生成されたときの前記車両の位置情報を取得するステップと、
前記複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の所定被写体を検出する検出処理を開始するステップと、
前記撮像動画像のうち所定時間分の動画区間において検出される前記所定被写体の検出数を、前記撮像動画像における前記動画区間の位置を変化させながら監視するステップと、
前記所定被写体の検出数が第1基準数を超えたときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定するステップと、
特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記道路上の交通障害区間の候補始点の位置情報を決定するステップと、を含む。
本発明の一実施形態に係る情報処理システム、プログラム、及び制御方法によれば、センターに記憶される交通情報の詳細化が可能になる。
本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 車両の概略構成を示すブロック図である。 撮像動画像をタイムライン形式で上段に示し、動画区間の位置に応じた被写体の検出数の変化をグラフで下段に示す図である。 図3のシーンA及びEにおける撮像静止画像の例を示す図である。 図3のシーンBにおける撮像静止画像の例を示す図である。 図3のシーンCにおける撮像静止画像の例を示す図である。 図3のシーンDにおける撮像静止画像の例を示す図である。 サーバの概略構成を示すブロック図である。 サーバに記憶される情報の例を示す図である。 車両の動作を示すフローチャートである。 サーバの動作を示すフローチャートである。
以下、本発明の実施形態について説明する。
(情報処理システムの構成)
図1を参照して、本発明の一実施形態に係る情報処理システム1の概要について説明する。情報処理システム1は、1つ以上の車両10と、サーバ20と、を備える。車両10は、例えば自動車であるが、これに限られず任意の車両であってもよい。図1では説明の簡便のため、車両10については1つのみ図示している。サーバ20は、1つ又は互いに通信可能な複数のサーバ装置を含む。サーバ20は、例えば交通情報センターに設置されてもよい。サーバ20は、例えば移動体通信網及びインターネット等を含むネットワーク30を介してクライアントと通信可能である。本実施形態において、クライアントは1つ以上の車両10を含む。したがって、各車両10及びサーバ20は、ネットワーク30を介して通信可能である。しかしながら、サーバ20と通信可能なクライアントは車両10に限られず、例えばスマートフォン又はコンピュータ等の任意の情報処理装置を含んでもよい。
本実施形態では、車両10が走行する道路上の交通障害区間に亘って複数の所定の被写体40(例えば、ロードコーン)が設置されている場合を考える。「交通障害区間」は、例えば道路工事又は交通事故等によって、一部の車線の走行ができなくなっている道路上の区間であるが、これに限られない。かかる場合において、車両10は、道路上を走行中に、車外の風景(例えば、車両10の前方の風景)を撮像した複数の撮像静止画像と、各撮像静止画像が生成されたときの位置情報と、を生成する。当該複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像には、車両10が交通障害区間の始点に近付くと被写体40が写り始め、車両10が交通障害区間の終点を通過すると被写体40は写らなくなる。車両10は、撮像動画像上で検出される被写体40に基づいて、当該交通障害区間の候補始点及び候補終点の位置情報を決定する。車両10は、候補始点及び候補終点の位置情報を含むプローブデータをサーバ20へ送信する。
サーバ20は、1つ以上の車両10からプローブデータとしてそれぞれ受信した1つ以上の候補始点及び候補終点の位置情報に基づいて、当該交通障害区間の始点及び終点をそれぞれ決定し、例えば交通情報としてメモリに記憶する。サーバ20は、当該交通障害区間の始点及び終点を示す交通情報を、クライアントからの要求に応じて提供可能である。
このように、本実施形態によれば、例えば交通障害が発生しているおおよその地点又は道路リンクを示す交通情報ではなく、交通障害区間の始点及び終点を示す詳細な交通情報がサーバ20に記憶される。したがって、センターに記憶される交通情報の詳細化が可能である。
次に、情報処理システム1の各構成について、詳細に説明する。
(車両の構成)
図2に示すように、車両10は、通信装置11と、運転支援装置12と、撮像装置13と、画像処理装置14と、を備える。通信装置11、運転支援装置12、撮像装置13、及び画像処理装置14は、例えばCAN(Controller Area Network)等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。
通信装置11は、例えばDCM(Data Communication Module)等の車載通信機である。具体的には、通信装置11は、通信部111と、記憶部112と、制御部113と、を備える。
通信部111は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。また、通信部111は、ネットワーク30に接続する通信モジュールを含む。例えば、通信部111は、4G(4th Generation)及び5G(5th Generation)等の移動体通信規格に対応する通信モジュールを含んでもよい。本実施形態において、車両10は、通信部111を介してネットワーク30に接続される。
記憶部112は、1つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部112に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部112は、通信装置11の動作に用いられる任意の情報を記憶する。例えば、記憶部112は、システムプログラム、アプリケーションプログラム、組込みソフトウェア、及び車両10の識別情報等を記憶してもよい。ここで、車両10に備えられた通信装置11、運転支援装置12、撮像装置13、又は画像処理装置14の識別情報が、当該車両10の識別情報として用いられてもよい。記憶部112に記憶された情報は、例えば通信部111を介してネットワーク30から取得される情報で更新可能であってもよい。
制御部113は、1つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。制御部113は、通信装置11全体の動作を制御する。本実施形態では、制御部113によって制御される通信装置11を介して、車両10とサーバ20が通信する。
例えば、制御部113は、通信部111及びネットワーク30を介してプローブデータをサーバ20へ送信する。本実施形態において、プローブデータは、車両10の識別情報と、車両10が走行中の道路の識別情報と、当該道路上で車両10が通過した交通障害区間の候補始点及び候補終点の位置情報と、候補始点画像と、候補終点画像と、を含む。車両10が走行中の道路の識別情報は、運転支援装置12から取得される。道路の識別情報は、例えば道路地図上の道路リンクIDであるが、これに限られない。候補始点及び候補終点の位置情報、候補始点画像、並びに候補終点画像は、画像処理装置14から取得されるが、これらの情報の詳細については後述する。プローブデータは、上述した情報に限られず、例えば車両10の速度、加速度、ステアリング舵角、及び運転支援装置12によって決定される走行経路情報等、車両10に関する任意の情報を更に含んでもよい。
運転支援装置12は、車両10の運転支援を行う装置である。運転支援は、例えば、目的地までの走行経路案内又は自動運転であるが、これらに限られない。自動運転は、例えばSAE(Society of Automotive Engineers)において定義されるレベル1乃至5を含むが、これらに限られず、任意に定義されてもよい。運転支援は、例えば運転支援装置12と車両10のECU(Electronic Control Unit)等とが協働することによって実施されてもよい。運転支援装置12は、例えば車両10に搭載されるナビゲーション装置又は自動運転制御装置であるが、これに限られない。具体的には、運転支援装置12は、通信部121と、記憶部122と、位置情報生成部123と、出力部124と、入力部125と、制御部126と、を備える。
通信部121は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。
記憶部122は、1つ以上のメモリを含む。記憶部122に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部122は、運転支援装置12の動作に用いられる任意の情報を記憶する。例えば、記憶部122は、システムプログラム、アプリケーションプログラム、組込みソフトウェア、及び道路地図情報等を記憶してもよい。記憶部122に記憶された情報は、例えば通信装置11を介してネットワーク30から取得される情報で更新可能であってもよい。
位置情報生成部123は、任意の衛星測位システムに対応する1つ以上の受信機を含む。例えば、位置情報生成部123は、GPS(Global Positioning System)受信機を含んでもよい。位置情報生成部123は、衛星測位システムから受信する情報に基づいて、運転支援装置12が搭載された車両10の位置情報を生成する。位置情報には、当該位置情報の生成日時を示す情報が含まれる。
出力部124は、情報を出力してユーザに通知する1つ以上の出力インタフェースを含む。例えば、出力部124に含まれる出力インタフェースは、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限られない。例えば、ディスプレイは、パネルディスプレイ又はヘッドアップディスプレイ等であるが、これらに限られない。本実施形態において「映像」は、テキスト、静止画像、及び動画像を含んでもよい。
入力部125は、ユーザ入力を検出する1つ以上の入力インタフェースを含む。例えば、入力部125に含まれる入力インタフェースは、物理キー、静電容量キー、出力部124のパネルディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限られない。
制御部126は、1つ以上のプロセッサを含む。制御部126は、運転支援装置12全体の動作を制御する。
例えば、制御部126は、車両10の現在地から目的地までの走行経路情報を決定し、当該走行経路情報に基づく運転支援を実行する。また、制御部126は、車両10が走行中の道路の識別情報を、通信部121を介して通信装置11へ出力する。また、制御部126は、位置情報生成部123によって生成された車両10の位置情報を画像処理装置14へ出力する。
また、制御部126は、通信装置11を介して交通情報の取得要求をサーバ20へ送信する。取得要求の送信は、入力部125に対する所定のユーザ入力に応じて実行されてもよく、或いは自動的に実行されてもよい。制御部126は、当該取得要求に対してサーバ20から送信される交通情報を、通信装置11を介して受信する。後述するように、交通情報には、道路上の交通障害区間の始点及び終点の位置情報、当該始点の風景を示す始点画像、並びに当該終点の風景を示す終点画像等が含まれる。制御部126は、受信した交通情報を、出力部124により出力してユーザに通知する。例えば、出力部124のディスプレイに表示された道路地図上に、交通障害区間の始点及び終点が表示されてもよい。また例えば、道路地図上の始点又は終点を選択するユーザ入力に応じて、始点画像又は終点画像が表示されてもよい。
撮像装置13は、車外の風景を撮像した撮像静止画像を生成する装置である。本実施形態において、撮像装置13は、車外の風景を撮像可能となるように車両10に備えられる。撮像装置13は、例えば、車両10の運転支援に用いられる車載カメラ、又はドライブレコーダであるが、これらに限られない。具体的には、撮像装置13は、通信部131と、記憶部132と、撮像部133と、制御部134と、を備える。
通信部131は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。
記憶部132は、1つ以上のメモリを含む。記憶部132に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部132は、撮像装置13の動作に用いられる任意の情報を記憶する。例えば、記憶部132は、システムプログラム、アプリケーションプログラム、及び組込みソフトウェア等を記憶してもよい。記憶部132に記憶された情報は、例えば通信装置11を介してネットワーク30から取得される情報で更新可能であってもよい。
撮像部133は、レンズ等の光学素子及びイメージセンサを含む。本実施形態において「イメージセンサ」は、例えばCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charged-Coupled devices)イメージセンサ等であるが、これらに限られない。
制御部134は、1つ以上のプロセッサを含む。制御部134は、撮像装置13全体の動作を制御する。
例えば、制御部134は、所定のフレームレート(例えば、60fps)で車両10の車外の風景(例えば、車両10の前方の風景)を撮像した複数の撮像静止画像を、撮像部133により生成する。ここで、制御部134は、車両10が所定値以上の速度で走行中に、当該複数の撮像静止画像を生成してもよい。撮像静止画像には、当該撮像静止画像の生成日時を示す情報が含まれる。制御部134は、生成した複数の撮像静止画像を、通信部131を介して画像処理装置14へ出力する。ここで、複数の撮像静止画像は、当該複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像として出力されてもよい。換言すると、制御部134は、複数の撮像静止画像を、複数の静止画像ファイル(例えば、JPGファイル)として出力してもよく、或いは1つの動画像ファイル(例えば、AVIファイル)として出力してもよい。
画像処理装置14は、撮像装置13から取得される画像を処理する情報処理装置である。本実施形態において、画像処理装置14は、車両10が交通障害区間を通過する際に生成された撮像動画像に基づいて、当該交通障害区間の候補始点及び候補終点を決定する。具体的には、画像処理装置14は、通信部141と、記憶部142と、制御部143と、を備える。
通信部141は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。
記憶部142は、1つ以上のメモリを含む。記憶部142に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部142は、画像処理装置14の動作に用いられる任意の情報を記憶する。例えば、記憶部142は、システムプログラム、アプリケーションプログラム、及び組込みソフトウェア等を記憶してもよい。記憶部142に記憶された情報は、例えば通信装置11を介してネットワーク30から取得される情報で更新可能であってもよい。
制御部143は、1つ以上のプロセッサを含む。制御部143は、画像処理装置14全体の動作を制御する。
例えば、制御部143は、通信部141を介して撮像装置13から、上述した複数の撮像静止画像を取得する。制御部143は、通信部141を介して運転支援装置12から、当該複数の撮像静止画像のそれぞれが生成されたときの車両10の位置情報を取得する。具体的には、制御部143は、生成日時の異なる複数の位置情報を取得して、当該複数の位置情報のうち、生成日時が撮像静止画像と略一致する1つの位置情報を、当該撮像静止画像が生成されたときの車両10の位置情報として決定する。しかしながら、撮像静止画像が生成されたときの位置情報を取得する手法は、当該例に限られない。例えば、運転支援装置12における車両10の位置情報の生成タイミングと、撮像装置13における撮像静止画像の生成タイミングとを同期させておき、撮像動画像に含まれる各撮像静止画像と同一のタイミングで生成された位置情報を取得する手法も可能である。
制御部143は、複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の被写体40を検出する検出処理を開始する。上述したように被写体40は、例えばロードコーンであるがこれに限られず、道路上の交通障害区間に亘って複数設置される任意の物体であってもよい。被写体40の検出には、例えばパターンマッチング又は特徴点抽出等、任意の画像認識アルゴリズムが採用可能である。
制御部143は、撮像動画像のうち所定時間分の動画区間において検出される被写体40の検出数を、撮像動画像における当該動画区間の位置を変化させながら監視する。図3〜図7を参照して具体的に説明する。
図3の上段は、例えば図1に示すように左車線を走行する車両10が、右車線の走行が禁止された交通障害区間を通過する際に生成された撮像動画像50を、タイムライン形式で示す図である。タイムライン形式において、撮像動画像50における位置(再生位置)は、動画像の開始位置を基準(「00:00」)とした時刻で示される。本実施形態において、撮像動画像50の全体の長さ(図3に示す例では、5分)は、動画区間51の長さである上記の所定時間(図3に示す例では、30秒)に対して十分長いものとする。車両10が交通障害区間を通過する際に生成された撮像動画像50は、車両10と交通障害区間との位置関係に応じた5つのシーンA〜Eを含む。ここでは説明の簡便のため、交通障害区間に亘って被写体40が略等間隔に並んで設置されているものとする。
最初のシーンAは、車両10が交通障害区間の十分手前を走行しており、撮像装置13の視界(撮像範囲)に被写体40が含まれないシーンである。したがって、シーンAにおいて生成される各撮像静止画像には、例えば図4に示すように、被写体40は写り込まない。
続くシーンBは、車両10が交通障害区間の始点に近付いており、交通障害区間に設置されたn個の被写体40(40−1〜40−n)のうち先頭の被写体40−1が撮像装置13の視界に含まれるシーンである。したがって、シーンBにおいて生成される各撮像静止画像には、例えば図5に示すように、先頭の被写体40−1が写り込む。
シーンBからシーンCに切り替わる付近のタイミングで、車両10は交通障害区間の始点を通過する。シーンCは、交通障害区間の始点を通過した車両10が交通障害区間を走行中であり、先頭の被写体40−1及び最後尾の被写体40−nを除く1つ以上の被写体40が撮像装置13の視界に含まれ得るシーンである。したがって、シーンCにおいて生成される各撮像静止画像には、例えば図6に示すように、先頭の被写体40−1及び最後尾の被写体40−nを除く1つ以上の被写体40が映り込み得る。
続くシーンDは、車両10が交通障害区間の終点に近付いており、最後尾の被写体40−nが撮像装置13の視界に含まれるシーンである。したがって、シーンDにおいて生成される各撮像静止画像には、例えば図7に示すように、最後尾の被写体40−nが写り込む。
シーンDからシーンEに切り替わる付近のタイミングで、車両10は交通障害区間の終点を通過する。シーンEは、車両10が交通障害区間の終点を通過し、最後尾の被写体40−nが撮像装置13の視界に含まれないシーンである。したがって、シーンEにおいて生成される各撮像静止画像には、例えば図4に示すように、被写体40は写り込まない。
制御部143は、撮像動画像50のうち、所定時間分の動画区間51内に含まれる各撮像静止画像上の被写体40を検出し、検出された被写体40の数をカウントする。検出された被写体40の数をカウントする手法は、任意に定められてもよい。例えば、制御部143は、ある1つの被写体40がn枚(ただし、nは2以上の整数)の撮像静止画像に写っている場合、当該n枚の撮像静止画像上で検出された被写体40の数を「n個」と決定してもよく、或いは当該n枚の撮像静止画像上の被写体40が同一の物体であると認識して「1個」と決定してもよい。制御部143は、動画区間51における被写体40の検出数を決定すると、撮像動画像50における動画区間51の位置を時間が進む方向(図3において右方向)に移動させて、被写体40の検出数を決定する処理を繰り返す。このようにして、制御部143は、動画区間51における被写体40の検出数を、撮像動画像50における動画区間51の位置を変化させながら監視する。
撮像動画像50における動画区間51の位置が変化すると、被写体40の検出数も変化し得る。図3の下段を参照して、撮像動画像50における動画区間51の位置を変化させたときの被写体40の検出数の変化について説明する。図3の下段は、横軸を撮像動画像50における動画区間51の位置(図3の上段における動画区間51の左端の位置)、縦軸を動画区間51における被写体40の検出数とするグラフである。図3に示す例では、動画区間51の位置が「00:00」から「00:30」に変化するまでの間は、動画区間51の全体がシーンAに包含されているため、被写体40の検出数がゼロとなっている。続いて、動画区間51の位置が「00:30」から「01:30」に変化するまでの間は、シーンBの少なくとも一部が動画区間51に包含されているため、被写体40の検出数が増加している。続いて、動画区間51の位置が「01:30」から「03:00」に変化するまでの間は、動画区間51の全体がシーンCに包含されているため、被写体40の検出数が実質的に変化していない。続いて、動画区間51の位置が「03:00」から「04:00」に変化するまでの間は、シーンDの少なくとも一部が動画区間51に包含されているため、被写体40の検出数が減少している。そして、動画区間51の位置が「04:00」から「04:30」に変化するまでの間は、動画区間51の全体がシーンEに包含されているため、被写体40の検出数がゼロとなっている。
制御部143は、被写体40の検出数の監視結果に基づいて、交通障害区間の候補始点の位置情報を決定する。候補始点は、始点から一定の距離範囲内に位置する任意の地点であってもよい。即ち、制御部143によって決定される交通障害区間の候補始点の位置情報は、当該交通障害区間の始点の位置情報と厳密に一致する必要はない。図3を参照して詳細に説明する。
例えば、撮像動画像50上のある位置の動画区間51が、車両10が交通障害区間の始点を通過したタイミングで生成された撮像静止画像(図3に示す例では、シーンBからシーンCに切り替わる位置「01:30」に対応する撮像静止画像)を含む場合、当該動画区間51内の各撮像静止画像が生成されたときの車両10の位置情報は、交通障害区間の候補始点の位置情報とみなすことができる。本実施形態では、制御部143は、監視している被写体40の検出数が第1基準数を超えたか否かを判定する。ここで「第1基準数」は、被写体40の検出数が第1基準数を超えたときの動画区間51に、車両10が交通障害区間の始点を通過したタイミングで生成された撮像静止画像が含まれるように、実験又はシミュレーションによって予め決定可能である。
制御部143は、被写体40の検出数が第1基準数を超えたと判定すると、検出数が第1基準数を超えたときの動画区間51に含まれる少なくとも1つの撮像静止画像を特定する。制御部143は、特定された当該少なくとも1つの撮像静止画像が生成されたときの車両10の位置情報に基づいて、交通障害区間の候補始点の位置情報を決定する。具体的には、制御部143は、動画区間51に含まれる1つの撮像静止画像を特定した場合、当該1つの撮像静止画像が生成されたときの車両10の位置情報を、交通障害区間の候補始点の位置情報として決定してもよい。或いは、制御部143は、動画区間51に含まれる2つ以上の撮像静止画像を特定した場合、当該2つ以上の撮像静止画像のそれぞれが生成されたときの車両10の位置情報の平均を、交通障害区間の候補始点の位置情報として決定してもよい。また、制御部143は、特定した少なくとも1つの撮像静止画像のうち、いずれか1つの撮像静止画像を候補始点画像として決定する。候補始点画像は、後述するように交通障害区間の始点の風景を示す始点画像を決定するために、サーバ20によって用いられる。
また、制御部143は、被写体40の検出数の監視結果に基づいて、交通障害区間の候補終点の位置情報を決定する。候補終点は、終点から一定の距離範囲内に位置する任意の地点であってもよい。即ち、制御部143によって決定される交通障害区間の候補終点の位置情報は、当該交通障害区間の終点の位置情報と厳密に一致する必要はない。候補終点の位置情報の決定は、上述した候補始点の位置情報の決定と同様にして実行可能である。
具体的には、撮像動画像50上のある位置の動画区間51が、車両10が交通障害区間の終点を通過したタイミングで生成された撮像静止画像(図3に示す例では、シーンDからシーンEに切り替わる位置「04:00」に対応する撮像静止画像)を含む場合、当該動画区間51内の各撮像静止画像が生成されたときの車両10の位置情報は、交通障害区間の候補終点の位置情報とみなすことができる。本実施形態では、制御部143は、監視している被写体40の検出数が第2基準数以下になったか否かを判定する。ここで「第2基準数」は、被写体40の検出数が第2基準数以下になったときの動画区間51に、車両10が交通障害区間の終点を通過したタイミングで生成された撮像静止画像が含まれるように、実験又はシミュレーションによって予め決定可能である。例えば、第2基準数は、ゼロ以上第1基準数以下であってもよい。
制御部143は、被写体40の検出数が第2基準数以下になったと判定すると、検出数が第2基準数以下になったときの動画区間51に含まれる少なくとも1つの撮像静止画像を特定する。制御部143は、特定された当該少なくとも1つの撮像静止画像が生成されたときの車両10の位置情報に基づいて、交通障害区間の候補終点の位置情報を決定する。具体的には、制御部143は、動画区間51に含まれる1つの撮像静止画像を特定した場合、当該1つの撮像静止画像が生成されたときの車両10の位置情報を、交通障害区間の候補終点の位置情報として決定してもよい。或いは、制御部143は、動画区間51に含まれる2つ以上の撮像静止画像を特定した場合、当該2つ以上の撮像静止画像のそれぞれが生成されたときの車両10の位置情報の平均を、交通障害区間の候補終点の位置情報として決定してもよい。また、制御部143は、特定したいずれか1つの撮像静止画像を、候補終点画像として決定する。候補終点画像は、後述するように交通障害区間の終点の風景を示す終点画像を決定するために、サーバ20によって用いられる。
制御部143は、上述のように決定した候補始点及び候補終点の位置情報、候補始点画像、並びに候補終点画像を、通信部141を介して通信装置11へ出力する。出力されたこれらの情報は、上述したように車両10の識別情報とともに、プローブデータとして通信装置11からサーバ20へ送信される。
(サーバの構成)
図8に示すように、サーバ20は、サーバ通信部21と、サーバ記憶部22と、サーバ制御部23と、を備える。
サーバ通信部21は、ネットワーク30に接続する通信モジュールを含む。例えば、サーバ通信部21は、有線LAN(Local Area Network)規格に対応する通信モジュールを含んでもよい。本実施形態において、サーバ20は、サーバ通信部21を介してネットワーク30に接続される。
サーバ記憶部22は、1つ以上のメモリを含む。サーバ記憶部22に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部22は、サーバ20の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部22は、システムプログラム、アプリケーションプログラム、道路地図情報、及び車両10から受信したプローブデータを格納するデータベース等を記憶してもよい。サーバ記憶部22に記憶された情報は、例えばサーバ通信部21を介してネットワーク30から取得される情報で更新可能であってもよい。
サーバ制御部23は、1つ以上のプロセッサを含む。サーバ制御部23は、サーバ20全体の動作を制御する。例えば、サーバ制御部23は、サーバ記憶部22に記憶されたデータベースを参照することにより、各車両10の走行状態を認識可能であってもよい。
また、サーバ制御部23は、サーバ通信部21を介して車両10からプローブデータを受信すると、当該プローブデータをサーバ記憶部22のデータベースに記憶する。図9に示すデータベースでは、説明の簡便のため、プローブデータに含まれる情報のうち、道路の識別情報と、車両10の識別情報と、候補始点の位置情報と、候補終点の位置情報と、候補始点画像と、候補終点画像と、を図示している。また図9では、道路(R1)を走行した2つの車両10(V1、V2)からそれぞれ受信した2つのプローブデータを図示している。
サーバ制御部23は、データベースを参照して、道路毎に交通障害区間の始点及び終点それぞれの位置情報を決定する。具体的には、サーバ制御部23は、データベースにおいてある1つの道路に対応付けられた1つ以上の車両10を特定する。サーバ制御部23は、特定した1つ以上の車両10について決定された候補始点及び候補終点の位置情報(即ち、データベースにおいて当該1つ以上の車両10に対応付けられた候補始点及び候補終点の位置情報)に基づいて、当該道路上の交通障害区間の始点及び終点の位置情報を決定する。例えば、サーバ制御部23は、1つ以上の車両10に対応づけられた候補始点の位置情報の平均及び候補終点の位置情報の平均を、それぞれ始点及び終点の位置情報として決定する。しかしながら、始点及び終点の位置情報の決定手法はこれに限られず、任意の統計的手法が採用可能であってもよい。
サーバ制御部23は、データベースを参照して、交通障害区間の始点及び終点にそれぞれ対応する始点画像及び終点画像を決定する。具体的には、サーバ制御部23は、データベースにおいて当該交通障害区間の存在する道路に対応付けられたいずれか1つの車両10を特定し、当該1つの車両10に対応付けられた候補始点画像を始点画像として決定する。ここで、データベースにおいて当該道路に対応付けられた複数の車両10が存在する場合、当該複数の車両10の中から無作為に1つの車両10が特定されてもよく、或いは当該複数の車両10の中から候補始点の位置情報が始点の位置情報に最も近い1つの車両10が特定されてもよい。同様に、サーバ制御部23は、データベースにおいて当該交通障害区間の存在する道路に対応付けられたいずれか1つの車両10を特定し、当該1つの車両10に対応付けられた候補終点画像を終点画像として決定する。ここで、データベースにおいて当該道路に対応付けられた複数の車両10が存在する場合、当該複数の車両10の中から無作為に1つの車両10が特定されてもよく、或いは当該複数の車両10の中から候補終点の位置情報が終点の位置情報に最も近い1つの車両10が特定されてもよい。
サーバ制御部23は、各道路について交通障害区間の始点及び終点の位置情報、始点画像、並びに終点画像を決定すると、これらの情報を交通情報としてサーバ記憶部22に記憶する。サーバ制御部23は、サーバ記憶部22に記憶された交通情報を、サーバ通信部21を介してクライアントへ出力する。交通情報は、例えばクライアントからの要求に応じてプル配信されてもよく、或いはサーバ20からプッシュ配信されてもよい。
サーバ制御部23は、道路上の交通障害区間の始点及び終点の位置情報、始点画像、並びに終点画像を決定した後に、当該交通障害区間を通過した車両10からプローブデータを新たに受信した場合、当該プローブデータをデータベースに記憶し、交通障害区間の始点及び終点の位置情報、始点画像、並びに終点画像を再決定することにより、交通情報を更新してもよい。
(車両の動作フロー)
図10を参照して、車両10の動作フローについて説明する。ここでは、交通障害区間を有する道路を車両10が走行中であるものとする。
ステップS100:車両10は、運転支援装置12により、車両10の位置情報を生成する。
ステップS101:車両10は、撮像装置13により、車外の風景を撮像した複数の撮像静止画像を生成する。なお、ステップS100及びS101は、車両10が所定値以上の速度で走行中に実施される。
ステップS102:車両10は、画像処理装置14により、複数の撮像静止画像を撮像装置13から取得する。
ステップS103:車両10は、画像処理装置14により、複数の撮像静止画像のそれぞれが生成されたときの車両10の位置情報を運転支援装置12から取得する。
ステップS104:車両10は、画像処理装置14により、複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像50上の所定の被写体40を検出する検出処理を開始する。
ステップS105:車両10は、画像処理装置14により、撮像動画像50のうち所定時間分の動画区間51において検出される被写体40の検出数を、撮像動画像50における動画区間51の位置を変化させながら監視する。撮像動画像50における動画区間51の位置が変化すると、被写体40の検出数も変化し得る。
ステップS106:車両10は、画像処理装置14により、被写体40の検出数が第1基準数を超えたか否かを判定する。被写体40の検出数が第1基準数を超えたと判定した場合(ステップS106−Yes)、プロセスはステップS107に進む。一方、被写体40の検出数が第1基準数を超えないと判定した場合(ステップS106−No)、プロセスはステップS106を繰り返す。
ステップS107:車両10は、画像処理装置14により、被写体40の検出数が第1基準数を超えたときの動画区間51に含まれる少なくとも1つの撮像静止画像を特定する。
ステップS108:車両10は、画像処理装置14により、ステップS107で特定した少なくとも1つの撮像静止画像が生成されたときの車両10の位置情報に基づいて、道路上の交通障害区間の候補始点の位置情報を決定する。
ステップS109:車両10は、画像処理装置14により、ステップS107で特定した少なくとも1つの撮像静止画像のうち、いずれか1つの撮像静止画像を候補始点画像として決定する。
ステップS110:車両10は、画像処理装置14により、被写体40の検出数が第2基準数以下になったか否かを判定する。被写体40の検出数が第2基準数以下になったと判定した場合(ステップS110−Yes)、プロセスはステップS111に進む。一方、被写体40の検出数が第2基準数以下になっていないと判定した場合(ステップS110−No)、プロセスはステップS110を繰り返す。
ステップS111:車両10は、画像処理装置14により、被写体40の検出数が第2基準数以下になったときの動画区間51に含まれる少なくとも1つの撮像静止画像を特定する。
ステップS112:車両10は、画像処理装置14により、ステップS111で特定した少なくとも1つの撮像静止画像が生成されたときの車両10の位置情報に基づいて、道路上の交通障害区間の候補終点の位置情報を決定する。
ステップS113:車両10は、画像処理装置14により、ステップS111で特定した少なくとも1つの撮像静止画像のうち、いずれか1つの撮像静止画像を候補始点画像として決定する。
ステップS114:車両10は、通信装置11により、プローブデータをサーバ20へ送信する。プローブデータは、車両10の識別情報と、車両10が走行中の道路の識別情報と、交通障害区間の候補始点及び候補終点の位置情報と、候補始点画像と、候補終点画像と、を含む。
(サーバの動作フロー)
図11を参照して、サーバ20の動作フローについて説明する。
ステップS200:サーバ20は、道路上の交通障害区間を通過した1つ以上の車両10からプローブデータを受信し、データベースに記憶する。データベースには、道路の識別情報、車両10の識別情報、候補始点の位置情報、候補終点の位置情報、候補始点画像、及び候補終点画像が含まれる。
ステップS201:サーバ20は、データベースを参照し、1つ以上の車両10について決定された候補始点及び候補終点の位置情報(即ち、データベースにおいて当該1つ以上の車両10に対応付けられた候補始点及び候補終点の位置情報)に基づいて、交通障害区間の始点及び終点の位置情報を決定する。
ステップS202:サーバ20は、データベースを参照し、1つ以上の車両10のうちいずれか1つの車両10に対応付けられた候補始点画像を、交通障害区間の始点に対応する始点画像として決定する。同様に、サーバ20は、1つ以上の車両10のうちいずれか1つの車両10に対応付けられた候補終点画像を、交通障害区間の終点に対応する終点画像として決定する。
ステップS203:サーバ20は、ステップS201で決定した交通障害区間の始点及び終点の位置情報、並びにステップS202で決定した始点画像及び終点画像を、交通情報として記憶する。
ステップS204:サーバ20は、交通情報をクライアントへ出力する。
以上述べたように、本実施形態に係る情報処理システム1は、車両10の車外の風景を撮像した複数の撮像静止画像を生成し、当該複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像50上の被写体40を検出する検出処理を開始し、撮像動画像50のうち所定時間分の動画区間51において検出される被写体40の検出数を、撮像動画像50における動画区間51の位置を変化させながら監視する。情報処理システム1は、被写体40の検出数が第1基準数を超えたときの動画区間51に含まれる少なくとも1つの撮像静止画像を特定し、当該少なくとも1つの撮像静止画像が生成されたときの車両10の位置情報に基づいて、道路上の交通障害区間の候補始点の位置情報を決定する。そして、情報処理システム1は、1つ以上の車両10について決定された候補始点の位置情報に基づいて、交通障害区間の始点の位置情報を決定する。
かかる構成によれば、道路上の交通障害区間を実際に通過した車両10からの情報に基づいて当該交通障害区間の始点の位置情報が決定される。このため、例えば交通障害が発生しているおおよその地点又は道路リンクを示す交通情報ではなく、交通障害区間の始点の位置情報を示す詳細な交通情報がサーバ20に記憶される。したがって、センターに記憶される交通情報の詳細化が可能である。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、車両10が備える通信装置11、運転支援装置12、撮像装置13、及び画像処理装置14それぞれの構成及び機能の一部を他の装置が有する構成であってもよい。また例えば、通信装置11、運転支援装置12、撮像装置13、及び画像処理装置14の構成及び機能を、1つの情報処理装置が有する構成であってもよく、或いは2つ以上の任意の数の情報処理装置が有する構成も可能である。また例えば、上述した実施形態において車両10において実行される一部の処理動作がサーバ20において実行されてもよく、サーバ20において実行される一部の処理動作が車両10において実行されてもよい。例えば、上述した実施形態において車両10により実行される検出処理、撮像動画像50のうち動画区間51において検出される被写体40の検出数の監視、交通障害区間の候補始点及び候補終点の位置情報の決定、並びに候補始点画像及び候補終点画像の決定を、サーバ20が実行する構成も可能である。
また、上述した実施形態において、撮像動画像50のうち動画区間51において被写体40の検出数を監視し、被写体40の検出数が第1基準数を超えた後、第2基準数以下になったときの動画区間51に基づいて交通障害区間の候補終点の位置情報を決定する手法について説明した。しかしながら、交通障害区間の候補終点の位置情報を決定する手法は、上述した例に限られない。例えば、情報処理システム1は、撮像動画像50に含まれる撮像静止画像上で被写体40が検出されるか否かを監視し、上述した実施形態と同様にして交通障害区間の候補始点の位置情報を決定した後、被写体40が検出されなくなったときの撮像静止画像が生成されたときの車両10の位置情報を、交通障害区間の候補終点の位置情報として決定してもよい。
また、上述した実施形態において、例えば道路工事又は交通事故等による交通障害区間に亘って、ロードコーン等の被写体40が設置されている状況について説明した。しかしながら、交通障害区間及び被写体40は、上述した例に限られない。例えば、路上駐車する複数の車両によって、一部の車線の走行ができなくなっている道路上の区間を交通障害区間としてもよい。かかる場合、当該交通障害区間に亘って路上駐車している各車両を被写体40としてもよい。
また、上述した実施形態において、サーバ20から受信した交通情報に基づいて、車両10の運転支援装置12が備えるディスプレイに表示された道路地図上に交通障害区間の始点及び終点が表示される例について説明した。ここで、運転支援装置12の出力部124は、当該交通障害区間において走行ができなくなっている車線を示す情報を映像又は音声により出力して、ユーザに通知してもよい。かかる場合、車両10がサーバ20へ送信するプローブデータには、走行ができなくなっている車線を示す情報が更に含まれる。また、サーバ20からクライアント(例えば、車両10)へ送信される交通情報には、交通障害区間の始点及び終点の位置情報等に加え、当該交通障害区間において走行ができなくなっている車線の情報が更に含まれる。
また、上述した実施形態において、撮像動画像50のうち動画区間51において被写体40の検出数を監視し、監視結果に基づいて交通障害区間の候補始点及び候補終点の位置情報を決定する手法について説明した。しかしながら、交通障害区間の候補始点及び候補終点の位置情報を決定する手法は、上述した例に限られない。例えば、道路上の交通障害区間に亘って、車両10の侵入を阻止するテープ等の物体が延在している場合が考えられる。かかる場合、情報処理システム1は、撮像動画像50において検出される、当該テープ又はポール等の被写体40の長さを監視してもよい。情報処理システム1は、検出された被写体40の長さが所定の基準値を超えたときのフレームに対応する1つの撮像静止画像を特定し、当該撮像静止画像が生成されたときの車両10の位置情報を、交通障害区間の候補始点の位置情報として決定してもよい。また、情報処理システム1は、被写体40が検出されなくなったときのフレームに対応する1つの撮像静止画像を特定し、当該撮像静止画像が生成されたときの車両10の位置情報を、交通障害区間の候補終点の位置情報として決定してもよい。
また、上述した実施形態において、情報処理システム1が備える各車両10は、例えばプローブカー等の専用車両であってもよく、或いは一般ユーザが使用する一般車両であってもよい。
また、例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る通信装置11、運転支援装置12、撮像装置13、又はサーバ20として機能させる構成も可能である。具体的には、実施形態に係る通信装置11等の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
1 情報処理システム
10 車両
11 通信装置
111 通信部
112 記憶部
113 制御部
12 運転支援装置
121 通信部
122 記憶部
123 位置情報生成部
124 出力部
125 入力部
126 制御部
13 撮像装置
131 通信部
132 記憶部
133 撮像部
134 制御部
14 画像処理装置
141 通信部
142 記憶部
143 制御部
20 サーバ
21 サーバ通信部
22 サーバ記憶部
23 サーバ制御部
30 ネットワーク
40 被写体
50 撮像動画像
51 動画区間

Claims (10)

  1. 車両と、前記車両と通信可能なサーバと、を備える情報処理システムであって、
    前記車両は、
    道路を走行中に車外の風景を撮像した複数の撮像静止画像を生成し、
    前記複数の撮像静止画像のそれぞれが生成されたときの前記車両の位置情報を取得し、
    前記車両又は前記サーバは、
    前記複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の所定被写体を検出する検出処理を開始し、
    前記撮像動画像のうち所定時間分の動画区間において検出される前記所定被写体の検出数を、前記撮像動画像における前記動画区間の位置を変化させながら監視し、
    前記所定被写体の検出数が第1基準数を超えたときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定し、
    特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記道路上の交通障害区間の候補始点の位置情報を決定し、
    前記サーバは、
    前記車両について決定された前記候補始点の位置情報に基づいて、前記交通障害区間の始点の位置情報を決定し、
    前記交通障害区間の前記始点の位置情報を出力する、情報処理システム。
  2. 請求項1に記載の情報処理システムであって、
    前記車両又は前記サーバは、
    前記所定被写体の検出数が前記第1基準数を超えたときの前記動画区間に含まれるいずれか1つの前記撮像静止画像を、前記始点に対応する始点画像として決定し、
    前記サーバは、前記始点画像を出力する、情報処理システム。
  3. 請求項1又は2に記載の情報処理システムであって、
    前記車両は、所定値以上の速度で走行中に前記複数の撮像静止画像を生成する、情報処理システム。
  4. 請求項1から3のいずれか一項に記載の情報処理システムであって、
    複数の前記車両を備え、
    前記サーバは、前記複数の車両についてそれぞれ決定された複数の前記候補始点の位置情報に基づいて、前記交通障害区間の前記始点の位置情報を決定する、情報処理システム。
  5. 請求項1から4のいずれか一項に記載の情報処理システムであって、
    前記車両又は前記サーバは、
    前記所定被写体の検出数が第2基準数以下になったときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定し、
    特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記交通障害区間の候補終点の位置情報を決定し、
    前記サーバは、
    前記車両について決定された前記候補終点の位置情報に基づいて、前記交通障害区間の終点の位置情報を決定し、
    前記交通障害区間の前記終点の位置情報を出力する、情報処理システム。
  6. 請求項5に記載の情報処理システムであって、
    前記車両又は前記サーバは、
    前記所定被写体の検出数が前記第2基準数以下になったときの前記動画区間に含まれるいずれか1つの前記撮像静止画像を、前記終点に対応する終点画像として決定し、
    前記サーバは、前記終点画像を出力する、情報処理システム。
  7. 請求項5又は6に記載の情報処理システムであって、
    前記第2基準数は、前記第1基準数以下である、情報処理システム。
  8. 請求項5から7のいずれか一項に記載の情報処理システムであって、
    複数の前記車両を備え、
    前記サーバは、前記複数の車両についてそれぞれ決定された複数の前記候補終点の位置情報に基づいて、前記交通障害区間の前記終点の位置情報を決定する、情報処理システム。
  9. 情報処理装置に、
    道路を走行中の車両が車外の風景を撮像した複数の撮像静止画像を取得するステップと、
    前記複数の撮像静止画像のそれぞれが生成されたときの前記車両の位置情報を取得するステップと、
    前記複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の所定被写体を検出する検出処理を開始するステップと、
    前記撮像動画像のうち所定時間分の動画区間において検出される前記所定被写体の検出数を、前記撮像動画像における前記動画区間の位置を変化させながら監視するステップと、
    前記所定被写体の検出数が第1基準数を超えたときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定するステップと、
    特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記道路上の交通障害区間の候補始点の位置情報を決定するステップと、
    を実行させる、プログラム。
  10. 情報処理装置の制御方法であって、
    道路を走行中の車両が車外の風景を撮像した複数の撮像静止画像を取得するステップと、
    前記複数の撮像静止画像のそれぞれが生成されたときの前記車両の位置情報を取得するステップと、
    前記複数の撮像静止画像のそれぞれをフレームとして含む撮像動画像上の所定被写体を検出する検出処理を開始するステップと、
    前記撮像動画像のうち所定時間分の動画区間において検出される前記所定被写体の検出数を、前記撮像動画像における前記動画区間の位置を変化させながら監視するステップと、
    前記所定被写体の検出数が第1基準数を超えたときの前記動画区間に含まれる少なくとも1つの前記撮像静止画像を特定するステップと、
    特定された前記少なくとも1つの撮像静止画像が生成されたときの前記車両の位置情報に基づいて、前記道路上の交通障害区間の候補始点の位置情報を決定するステップと、
    を含む、制御方法。
JP2018146632A 2018-08-03 2018-08-03 情報処理システム、プログラム、及び制御方法 Active JP7073972B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018146632A JP7073972B2 (ja) 2018-08-03 2018-08-03 情報処理システム、プログラム、及び制御方法
US16/397,504 US11068727B2 (en) 2018-08-03 2019-04-29 Information processing system, non-transitory storage medium storing program, and control method
CN201910360961.6A CN110795979B (zh) 2018-08-03 2019-04-30 信息处理***、存储程序的非暂时性存储介质和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018146632A JP7073972B2 (ja) 2018-08-03 2018-08-03 情報処理システム、プログラム、及び制御方法

Publications (2)

Publication Number Publication Date
JP2020021398A true JP2020021398A (ja) 2020-02-06
JP7073972B2 JP7073972B2 (ja) 2022-05-24

Family

ID=69227520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018146632A Active JP7073972B2 (ja) 2018-08-03 2018-08-03 情報処理システム、プログラム、及び制御方法

Country Status (3)

Country Link
US (1) US11068727B2 (ja)
JP (1) JP7073972B2 (ja)
CN (1) CN110795979B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023152960A1 (ja) * 2022-02-14 2023-08-17 日産自動車株式会社 工事区間判定方法及び工事区間判定装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086659A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
US11328599B2 (en) 2020-02-07 2022-05-10 Micron Technology, Inc. Crowdsourcing road conditions from abnormal vehicle events
JP7380443B2 (ja) * 2020-06-22 2023-11-15 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009156784A (ja) * 2007-12-27 2009-07-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP2016224553A (ja) * 2015-05-27 2016-12-28 トヨタ自動車株式会社 車両用交通情報表示システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3562406B2 (ja) 1999-10-28 2004-09-08 トヨタ自動車株式会社 経路探索装置
JP5057183B2 (ja) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
CN103493005B (zh) * 2011-03-25 2016-08-24 Lg电子株式会社 图像处理装置和用于控制图像处理装置的方法
US9784843B2 (en) * 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
CN104508722B (zh) * 2012-07-27 2016-08-24 歌乐株式会社 车载用周围环境识别装置
US10585409B2 (en) * 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009156784A (ja) * 2007-12-27 2009-07-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP2016224553A (ja) * 2015-05-27 2016-12-28 トヨタ自動車株式会社 車両用交通情報表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023152960A1 (ja) * 2022-02-14 2023-08-17 日産自動車株式会社 工事区間判定方法及び工事区間判定装置

Also Published As

Publication number Publication date
CN110795979B (zh) 2023-09-01
CN110795979A (zh) 2020-02-14
US11068727B2 (en) 2021-07-20
JP7073972B2 (ja) 2022-05-24
US20200042802A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7073972B2 (ja) 情報処理システム、プログラム、及び制御方法
JP6368651B2 (ja) 走行環境認識システム
KR101783982B1 (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
JP6083752B2 (ja) 運転支援方法、センタ装置、運転支援システム
JP7192443B2 (ja) 情報提供システム、サーバ、車載装置、車両、プログラム及び情報提供方法
CN111319560B (zh) 信息处理***、程序和信息处理方法
US11189048B2 (en) Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region
JP5633494B2 (ja) 情報処理システム、情報処理装置、及びセンターサーバ
US20120166083A1 (en) Navigation device, navigation method, and navigation program
JP2020086659A (ja) 情報処理システム、プログラム、及び情報処理方法
JP2009237945A (ja) 動画情報収集システム及び車載機
CN111323041B (zh) 信息处理***、存储介质和信息处理方法
KR101070882B1 (ko) 리얼 맵 정보 제공 방법 및 그 시스템
JP2013239087A (ja) 情報処理システム及び移動体
JP7139967B2 (ja) サーバ、サーバ制御方法、及びサーバ制御プログラム
US11023750B2 (en) Video output system
JP7348724B2 (ja) 車載装置および表示方法
JP7463120B2 (ja) 情報処理装置、配信システムおよび情報処理方法
JP2012216919A (ja) 移動体周辺撮像システム、移動体周辺撮像装置、移動体周辺撮像方法及びコンピュータプログラム
JP2021005286A (ja) 車載装置、及び車載装置の制御方法
JP2019009599A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017172986A (ja) ナビゲーションシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R151 Written notification of patent or utility model registration

Ref document number: 7073972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151