JP7331929B2 - 画像データ収集装置、方法、プログラムおよび画像データ送信装置 - Google Patents

画像データ収集装置、方法、プログラムおよび画像データ送信装置 Download PDF

Info

Publication number
JP7331929B2
JP7331929B2 JP2021537547A JP2021537547A JP7331929B2 JP 7331929 B2 JP7331929 B2 JP 7331929B2 JP 2021537547 A JP2021537547 A JP 2021537547A JP 2021537547 A JP2021537547 A JP 2021537547A JP 7331929 B2 JP7331929 B2 JP 7331929B2
Authority
JP
Japan
Prior art keywords
image data
vehicle
photographing
range
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537547A
Other languages
English (en)
Other versions
JPWO2021024490A1 (ja
Inventor
純 塩田
雅 高木
和哉 松尾
リドウィナ アユ アンダリニ
亮太 中田
航哉 森
裕之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021024490A1 publication Critical patent/JPWO2021024490A1/ja
Application granted granted Critical
Publication of JP7331929B2 publication Critical patent/JP7331929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Description

本発明の実施形態は、画像データ収集装置、方法、プログラムおよび画像データ送信装置に関する。
近年、自動車の走行データをリアルタイムにインターネット上のクラウド環境へ送信するコネクティッドカー（Connected car）が注目を集めている。コネティッドカーが普及していくと、多くの車両からネットワーク（Network）を介して、サーバ上に車両の状態、および車両の周辺状況などの情報を収集できるようになる。特に、車載カメラにより撮影された画像データ（単に画像と称することがある）は応用の幅が広く、様々なアプリケーションプログラム（以下、アプリケーション）への適用が期待されている。適用先としては、例えば、ダイナミックマップ（Dynamic Maps）又は静的地図（Static Maps）の生成、路面診断、障害物の検知、通知、又はモニタリングなどが挙げられる。
また、数珠つなぎに走行する複数の車両の間では、走行データが重複または類似する可能性が高いことを利用して、エッジ（Edge）サーバ上で車両間の距離、位置情報、進行方向、速度を管理し、この管理される情報を用いて、上記数珠つなぎに走行する複数の車両をグループ化して、このグループの中の代表車両のみからデータを収集するシステムがある（例えば、非特許文献１を参照）。
KDDI, "Successful PoCdemonstration of data flows control function by edge computing ", https://www.kddi-research.jp/english/newsrelease/2018/022301.html,2018
しかしながら、アプリケーションの種別によっては、多数の車両から大量かつ高頻度に画像データを収集する必要があり、通信トラヒック量が膨大になるケースがある。このときは、画像データの通信に係る遅延が発生する。
このようなケースで、既存の通信設備が利用されたときは、通信に係る輻輳が発生し、通信に係る遅延の程度が高い。結果としてアプリケーションの動作速度が低下する。
特に、無線区間（モバイル（Mobile）網）では、有線区間と比較して通信速度が低いため、通信トラヒック量を削減することが重要である。
この発明は、上記事情に着目してなされたもので、その一側面としては、画像データの通信に係る遅延を低減し、当該画像を取り扱うアプリケーションを円滑に動作させることができるようにした技術を提供することにある。
本発明の一態様に係る画像データ収集装置は、撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された各情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する選択手段と、前記選択された移動体に、当該移動体に搭載される前記撮影装置による撮影結果である画像データの収集指示を送信する送信手段と、前記収集指示を受けた前記移動体から送信された画像データを受信する受信手段と、を備える。
本発明の一態様に係る画像データ収集方法は、画像データ収集装置が実行する画像データ収集方法であって、撮影装置が搭載される複数の移動体の位置情報を取得することと、前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択することと、前記選択された移動体に、当該移動体に搭載される撮影装置による撮影結果である画像データの収集指示を送信することと、前記収集指示を受けた前記移動体から送信された画像データを受信することと、を備える。
本発明によれば、画像データの通信に係る遅延を低減し、当該画像を取り扱うアプリケーションの動作を円滑にすることができる。
図１は、本発明の第１の実施形態に係る画像データ収集システムの全体構成の一例を示す図である。 図２は、本発明の第１の実施形態に係る画像データ収集システムのサーバのハードウェア構成の一例を示すブロック図である。 図３は、本発明の第１の実施形態に係る画像データ収集システムのサーバのソフトウェア構成の一例を示すブロック図である。 図４は、本発明の第１の実施形態に係る画像データ収集システムの車載器のハードウェア構成の一例を示すブロック図である。 図５は、本発明の第１の実施形態に係る画像データ収集システムの車載器のソフトウェア構成の一例を示すブロック図である。 図６は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用された例を示す図である。 図７Ａは、障害物の定義と分類の一例を表形式で示す図である。 図７Ｂは、障害物の定義と分類の一例を表形式で示す図である。 図７Ｃは、障害物の定義と分類の一例を表形式で示す図である。 図８は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。 図９は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。 図１０は、カメラによる撮影範囲の算出の一例を説明する図である。 図１１は、静的地図の生成の一例を説明する図である。 図１２は、収集された車載カメラ画像の一例を示す図である。 図１３は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。 図１４は、本発明の第１の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。 図１５は、本発明の第２の実施形態に係る画像データ収集システムによる車両選択の一例を示す図である。 図１６は、本発明の第２の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。 図１７は、本発明の第３の実施形態に係る画像データ収集システムによる車両選択の一例を説明する図である。 図１８は、本発明の第３の実施形態に係る画像データ収集システムによる優先度のスコアの算出について説明する図である。 図１９は、撮影範囲の画角の類似度による優先度のスコアリングの第１の状態を示す図である。 図２０は、撮影範囲の画角の類似度による優先度のスコアリングの第２の状態を示す図である。 図２１は、撮影範囲の画角の類似度による優先度のスコアリングの第３の状態を示す図である。 図２２は、撮影範囲の画角の類似度による優先度のスコアリングの第４の状態を示す図である。 図２３は、撮影範囲の画角の類似度による優先度のスコアリングの第５の状態を示す図である。 図２４は、撮影範囲の画角の類似度による優先度のスコアリングの第６の状態を示す図である。 図２５は、撮影範囲の画角の類似度による優先度のスコアリングの第７の状態を示す図である。 図２６は、本発明の第３の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。 図２７は、本発明の第３の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。 図２８は、本発明の第４の実施形態に係る画像データ収集システムによる画像データ量の削減の一例を説明する図である。 図２９は、本発明の第４の実施形態に係る画像データ収集システムのサーバのソフトウェア構成の一例を示すブロック図である。 図３０は、本発明の第４の実施形態に係る画像データ収集システムの車載器のソフトウェア構成の一例を示すブロック図である。 図３１は、本発明の第４の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。
以下、図面を参照しながら、この発明に係わる一実施形態を説明する。
（第１の実施形態）
（構成）
（１）システム
図１は、本発明の第１の実施形態に係る画像データ収集システムの全体構成の一例を示す図である。
このシステムは、サーバ１と、移動体６に搭載された通信機能を有する車載器６０との間で、通信ネットワークＮＷであるインターネットを介して通信可能であるシステムである。サーバ１は、例えばＷｅｂ上またはクラウド（Cloud）上に備えられるクラウドサーバである。ここでは、サーバ１は、画像データ収集装置として機能する。なお、図１では簡単のためにサーバ１が１つの移動体６と通信可能である例が示されるが、サーバ１は、複数の移動体６との間で通信可能である。また、図１では簡単のためにサーバ１の数が１台である例が示されるが、この数は複数であってもよい。
また、サーバ１は、アクセスネットワークを介して移動体６との間で通信可能であるエッジサーバであってもよい。エッジサーバは、小規模データセンターまたは基地局などに設置されるものである。また、サーバ１は、クラウドサーバとエッジサーバとの組み合わせであってもよい。
ネットワークＮＷは、例えば中継網と、この中継網に対しアクセスするための複数のアクセス網とから構成される。中継網としては、一般的なインターネットのような公衆網、または限られた機器などからのみアクセスできるよう制御された閉域網が用いられる。アクセス網としては、例えば、無線ＬＡＮ（Local Area Network）、携帯電話網、有線電話網等が用いられる。
図１では、移動体６の一例として自動車が示される。さらに、移動体６に搭載された車載器６０にはカメラＣＭとセンサＳＳとが付設される。図１では、車載器６０に付設されるカメラＣＭの数とセンサＳＳの数が１つずつである例が示されるが、この数は複数でもよい。なお、カメラＣＭおよびセンサＳＳは車載器６０に内蔵されたデバイスであってもよい。また、カメラＣＭとセンサＳＳとがあわせてセンシングデバイスと称されてもよい。
カメラＣＭは、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスが用いられ、移動体６の進行方向など、任意の方向の道路領域が撮像範囲に含まれるように、設置場所、向きおよび角度が設定される。カメラＣＭは、カメラ画像データを取得し、この取得したデータを車載器６０へ出力する。カメラ画像データには、カメラ識別情報（カメラＩＤ（識別情報））、撮影日時を示す情報が含まれる。
なお、カメラＣＭは、画像データ収集処理のために専用に設けられるものであってもよい。ただし、ドライブレコーダ（Drive recorder）のカメラ、又はその他の目的で搭載されている車載カメラ等、同等のデータを得ることができるものであれば、どのようなカメラでもカメラＣＭとして利用可能である。例えば、移動体６が二輪車又は自転車である場合には、ドライバが身に着けるヘルメットに設けられたカメラがカメラＣＭとして使用されてもよい。また、移動体６の同乗者が所持するスマートフォン（Smart phone）又はタブレット（Tablet）端末等の携帯端末に設けられたカメラがカメラＣＭとして使用されてもよい。さらに、カメラＣＭは赤外線カメラであってもよい。また、カメラＣＭによって取得されるデータは、動画像（映像）データでもよく、一定の時間間隔で撮像される静止画像データでもよい。
センサＳＳは、（１）LiDAR（Light Detecting And Ranging）などの距離・方向センサ、（２）ＧＰＳ（Global Positioning System）を利用して自車両の位置情報（緯度経度）を算出する位置センサ（以下、ＧＰＳセンサと称することがある）、（３）レーダ、（４）および速度センサを含み得る。センサＳＳは、画像データ収集処理のために専用に設けられるものであってもよいし、ＣＡＮ（Controller Area Network）など、移動体６の動作制御またはログデータ収集のために通常設けられるセンサであってもよい。またセンサＳＳは、スマートフォンのようなモバイル端末であってもよい。
位置センサは、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信して測距演算を行なうことにより移動体６の緯度経度を算出するもので、この算出された緯度経度を含むＧＰＳデータを車載器６０へ出力する。ＧＰＳデータは、位置情報に加えて、ＧＰＳを用いた位置計測の確からしさを表す情報も含むことができる。ＧＰＳを用いた位置計測の確からしさは、例えば、ＧＰＳ衛星の配置状況に応じて決定される。なお、位置情報の取得は、ＧＰＳ衛星からの信号による方法に限定されるものではなく、同等の機能が発揮されるのであれば、無線基地局またはＷｉＦｉアクセスポイントの位置情報を利用するなど、他の方法であってもよい。
速度センサは、例えば車輪速センサであり、ドライブシャフトをはじめとする回転部に設置され、回転部の回転速度に基づいて移動体６の速度を計測する。速度センサは、計測した速度データを車載器６０へ出力する。
車載器６０は、例えば、自動車のダッシュボード上に取り付けられる無線装置である。車載器６０は、カメラＣＭとセンサＳＳから種々のデータを受け取って、この受け取ったデータを、日時情報、および車載器６０（またはそれに挿入されたＥＴＣ（Electronic Toll Collection system）カード等）の識別情報とともに、ネットワークＮＷを介してサーバ１に送信することができる。なお、車載器６０は必須の構成ではなく、カメラＣＭおよびセンサＳＳがサーバ１にデータを直接送信するように構成されてもよい。また、カメラＣＭおよびセンサＳＳは別個のデバイスである必要はなく、これらが１つのデバイスに組み込まれることができ、車載器に一体化されることもできる。
サーバ１は、例えば、画像データ収集センターに設けられたサーバ装置であり、対象とする領域内の画像を収集する処理を行なう。
サーバ１は、移動体６によって収集された、移動体データ（以下、「走行データ」と言う。）を、ネットワークＮＷを介して受信する。移動体データは、カメラ映像データ（画像データ）、ＧＰＳデータおよび速度データを含むサーバ１は、この受信したデータをもとに、例えば定期的に、またはオペレータ等の要求に応じて、移動体６にて撮影された画像データを収集する。
また、サーバ１は、収集された画像データを外部機器に出力することができる。例えば、サーバ１は、収集された画像データを移動体６の運転者に通知するために、この移動体６に搭載された車載器６０に送信し、この車載器６０の表示部に表示させることができ、または、収集された画像データを画像データ収集センターの制御下にある道路情報表示装置（図示せず）等に送信して表示させることもできる。
サーバ１は、例えば、車載器６０から定期的にまたは任意のタイミングで送信される走行データを直接受信してもよいし、車載器６０にアクセスすることによって、この車載器６０から必要なデータを取得してもよい。
あるいは、サーバ１は、車載器６０からデータベースサーバ（図示せず）等に一旦送信されて蓄積されたデータに任意のタイミングでアクセスすることによって走行データを取得してもよいし、外部媒体に保存された走行データを後述される入力デバイス２を介して取得してもよい。
なお、移動体６として例示された自動車は、特定の自動車に限定されず、様々な個人、車種、メーカーに係る自動車であってよい。以下では、一例として移動体６が車両であるとして説明するが、移動体６には、自動車、二輪車、自転車、パーソナルモビリティ、馬車等の家畜が牽引する車両など、道路の利用に対する課金対象となり得る、あらゆる移動体が含まれてよく、さらには車両に限定されず、歩行者であってもよい。したがって、図１に示された車載器は一例にすぎず、スマートフォンなどの情報処理端末に置き換えられてもよい。
（２）サーバ
（２－１）ハードウェア構成
図２は、本発明の第１の実施形態に係る画像データ収集システムのサーバ１のハードウェア構成の一例を示すブロック図である。
サーバ１は、例えばサーバコンピュータ（Server computer）またはパーソナルコンピュータ（Personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ（Hardware processor）１１Ａを有する。そして、サーバ１では、このハードウェアプロセッサ１１Ａに対し、プログラムメモリ１１Ｂ、データメモリ（Data memory）１２、入出力インタフェース１３、および通信インタフェース１４が、バス（Bus）２０を介して接続される。
通信インタフェース１４は、例えば１つ以上の有線または無線の通信インタフェースを含み、移動体６に搭載された車載器６０を含む外部機器との間で情報の送受信を可能にする。有線インタフェースとしては、例えば有線ＬＡＮが使用される。また、無線インタフェースとしては、例えば無線ＬＡＮ、又はＢｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格が採用されたインタフェースが使用される。
入出力インタフェース１３には、サーバ１に付設される入力デバイス２および出力デバイス３が接続される。入力デバイス２は、キーボード、タッチパネル、タッチパッド、マウス等である。出力デバイス３は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示デバイス、および音声を出力するスピーカを含み得る。入出力インタフェース１３は、入力デバイス２を介してオペレータにより入力された操作データを取り込む処理、および出力データを出力デバイス３へ出力して表示させる処理を行なう。なお、入力デバイス２および出力デバイス３はサーバ１に内蔵されたデバイスであってもよく、ネットワークＮＷを介して通信可能な他の情報端末の入力デバイスおよび出力デバイスであってもよい。
プログラムメモリ１１Ｂは、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組み合わせて使用されたものである。このプログラムメモリ１１Ｂには、一実施形態に係る各種制御処理が実行されるために必要なプログラムが格納される。
データメモリ１２は、有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとが組み合わせられて使用されたものである。このデータメモリ１２は、データ収集処理が行なわれる過程で取得および作成された各種データが格納されるために用いられる。
（２－２）ソフトウェア構成
図３は、本発明の第１の実施形態に係る画像データ収集システムのサーバ１のソフトウェア構成の一例を示すブロック図である。
サーバ１は、制御ユニット１１と、データメモリ１２と、入出力インタフェース１３と、通信インタフェース１４とが備えられるデータ処理装置として構成できる。
通信インタフェース１４は、制御ユニット１１による制御の下、ネットワークＮＷを介して車載器６０との間でデータの送受信を行なう。通信プロトコルはネットワークＮＷで規定されるプロトコルが使用される。
データメモリ１２の記憶領域には、センサデータ（Sensor data）記憶部１２１、アプリケーション用データ記憶部１２２、および設定情報記憶部１２３が設けられる。
ただし、上記記憶部１２１～１２３は必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウドに配置されたデータベースサーバ（Database server）等の記憶装置に設けられたものであってもよい。
センサデータ記憶部１２１は、車載器６０内のセンサＳＳから収集されたセンサデータが格納されるために使用される。このセンサデータは、センサデータ収集元の車載器６０が搭載される移動体６のＩＤ、位置情報、走行速度、進行方向、および時刻情報などである。センサデータは、移動体６のＩＤに紐づけられる、移動体６に搭載されるセンサＳＳの種類、機種名、数、スペックなどを含み得る。
アプリケーション用データ記憶部１２２は、車載器６０から収集された、映像データなどが含まれるアプリケーション用データが格納されるために使用される。アプリケーション用データは、画像データ収集元の車載器６０が搭載される移動体６のＩＤ、位置情報、走行速度、進行方向、および時刻情報、カメラＣＭの種類、機種名、数、スペック情報を含み得る。このスペック情報は、（１）カメラＣＭの画角、（２）撮影対象物を撮影可能な最大距離（以下、撮影可能距離）、（３）解像度、（４）フレームレート（Frame Rate）などを含み得る。
設定情報記憶部１２３は、画像データ収集に係る設定情報が格納されるために使用される。
制御ユニット１１は、上記ハードウェアプロセッサ１１Ａと、プログラムメモリ１１Ｂとから構成され、ソフトウェアによる処理機能部として、設定処理部１１１、センサデータ受信処理部１１２、データ収集条件判定部１１３、収集指示送信処理部１１４、およびアプリケーション用データ受信処理部１１５を有する。
これらの各部における処理機能部は、いずれもプログラムメモリ１１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ１１Ａに実行させることにより実現される。制御ユニット１１は、また、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式で実現されてもよい。なお、これらの処理機能は、プログラムメモリ１１Ｂに格納されたプログラムが用いられることで実現されるのではなく、通信ネットワークを通して提供されるプログラムが用いられることで実現されてもよい。
設定処理部１１１は、システム管理者による操作により入力された、画像データ収集処理の条件を表す情報（アルゴリズムと閾値等）を、例えばシステム管理者により使用される管理用端末から入出力インタフェース１３または通信インタフェース１４を介して受け取り、この受け取った情報を設定情報記憶部１２３に格納する処理を行なう。
センサデータ受信処理部１１２は、車載器６０内のセンサＳＳから送られたセンサデータを通信インタフェース１４を介して受信する処理を行ない、このセンサデータをセンサデータ記憶部１２１に格納する。
データ収集条件判定部１１３は、移動体撮影範囲算出部１１３Ａおよび移動体選択部１１３Ｂを有する。移動体撮影範囲算出部１１３Ａは、センサデータ記憶部１２１に格納されるセンサデータの収集元であるセンサＳＳが搭載された移動体６に搭載されたカメラＣＭによる撮影範囲を判定する。
この撮影範囲は、（１）上記センサデータで示される、当該センサデータの収集元であるセンサＳＳが搭載された移動体６の位置情報、（２）上記搭載されるカメラＣＭの画角、および（３）撮影対象物に係る撮影可能距離、に基づいて算出されることで判定されることができる。
移動体選択部１１３Ｂは、移動体撮影範囲算出部１１３Ａにより算出された撮影可能距離を用いて、適切な画像データ収集先である、カメラＣＭが搭載される移動体６を選択し、この移動体６に係る画像データ収集指示内容を出力する。この画像データ収集指示内容は、選択された移動体６に固有のＩＤ（識別情報）、この移動体６から収集されるセンサデータの種類、形式、収集対象のカメラ画像データの撮影時刻などを含み得る。適切な画像データ収集先は、収集された画像データが利用されるアプリケーションの種別により異なる。
収集指示送信処理部１１４は、移動体選択部１１３Ｂにより選択された移動体６内の車載器６０に対し、この車載器６０に付設されるカメラＣＭにより撮影される画像データの収集指示を通信インタフェース１４を介して送信する処理を行なう。
アプリケーション用データ受信処理部１１５は、収集指示送信処理部１１４による収集指示先である車載器６０に付設されるカメラＣＭにより撮影されて送信された画像データを車載器６０の識別情報、撮影時刻などと紐づけて通信インタフェース１４を介して受信する処理を行なう。アプリケーション用データ受信処理部１１５は、この受信したデータをアプリケーション用データとしてアプリケーション用データ記憶部１２２に格納する処理を行なう。
（３）車載器
（３－１）ハードウェア構成
図４は、本発明の第１の実施形態に係る画像データ収集システムの車載器６０のハードウェア構成の一例を示すブロック図である。
車載器６０は、例えば小型コンピュータにより構成され、ＣＰＵ等のハードウェアプロセッサ６１Ａを有する。そして、車載器６０では、このハードウェアプロセッサ６１Ａに対し、プログラムメモリ６１Ｂ、データメモリ６２、入出力インタフェース６３、および通信インタフェース６４が、バス７０を介して接続される。
通信インタフェース６４は、例えば１つ以上の有線または無線の通信インタフェースを含み、（１）サーバ１との間、および（２）他の移動体６に搭載された他の車載器６０を含む外部機器、との間で情報の送受信を可能にする。
入出力インタフェース６３には、車載器６０に付設されるカメラＣＭおよびセンサＳＳが接続される。
プログラムメモリ６１Ｂは、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとが組み合わせて使用されたものである。このプログラムメモリ６１Ｂには、一実施形態に係る各種制御処理が実行されるために必要なプログラムが格納される。
データメモリ６２は、有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとが組み合わせて使用されたものである。このデータメモリ６２は、データ収集処理が行なわれる過程で取得および作成された各種データが格納されるために用いられる。
（３－２）ソフトウェア構成
図５は、本発明の第１の実施形態に係る画像データ収集システムの車載器６０のソフトウェア構成を示すブロック図である。
車載器６０は、移動体６に搭載された小型コンピュータなどからなり、制御ユニット６１と、データメモリ６２と、入出力インタフェース６３と、通信インタフェース６４とを備える。
入出力インタフェース６３は、上記カメラＣＭから出力された映像データ、およびｊ台のセンサであるセンサＳＳ１～ＳＳｊから出力されたセンサデータを受信する機能を有する。
通信インタフェース６４は、制御ユニット６１による制御の下、ネットワークＮＷを介して（１）サーバ１との間、および（２）他の移動体６に搭載された他の車載器６０を含む外部機器、との間でデータの送受信を行なう。
データメモリ６２の記憶領域には、カメラ映像記憶部６２１、センサデータ記憶部６２２、および設定情報記憶部６２３が設けられる。
カメラ映像記憶部６２１は、上記カメラＣＭから収集された映像データが格納されるために使用される。センサデータ記憶部６２２は、上記映像データの撮影時に上記センサＳＳ１～ＳＳｊから収集されたセンサデータが格納されるために使用される。カメラ映像記憶部６２１またはセンサデータ記憶部６２２には、映像データと、この映像データの撮影時にセンサＳＳ１～ＳＳｊから収集されたセンサデータとの関連を示す関連情報が格納される。以下では、この関連情報はセンサデータ記憶部６２２に格納されるとする。設定情報記憶部６２３は、後述する画像データ収集処理の条件を示す情報が格納さるために使用される。
ただし、上記記憶部６２１～６２３は必須の構成ではなく、例えば、ＵＳＢメモリなどの外付け記憶媒体、又はクラウドに配置されたデータベースサーバ等の記憶装置に設けられたものであってもよい。
制御ユニット６１は、上記ハードウェアプロセッサ６１Ａと、プログラムメモリ６１Ｂとから構成され、ソフトウェアによる処理機能として、カメラ映像取得処理部６１１と、センサデータ取得処理部６１２と、設定処理部６１３と、センサデータ送信処理部６１４と、収集指示受信処理部６１５と、アプリケーション用データ取得処理部６１６と、アプリケーション用データ送信処理部６１７とを有する。
これらの各部における処理機能部は、いずれもプログラムメモリ６１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ６１Ａに実行させることにより実現される。制御ユニット６１は、また、ＡＳＩＣ、ＦＰＧＡなどの集積回路を含む、他の多様な形式で実現されてもよい。なお、これらの処理機能は、プログラムメモリ６１Ｂに格納されたプログラムが用いられて実現されるのではなく、通信ネットワークを通して提供されるプログラムが用いられて実現されてもよい。
カメラ映像取得処理部６１１は、上記カメラＣＭから出力された映像データを入出力インタフェース６３を介して取得し、この取得された映像データをカメラ映像記憶部６２１に格納する処理を行なう。
センサデータ取得処理部６１２は、上記センサＳＳ１～ＳＳｊから出力されたセンサデータを入出力インタフェース６３を介してそれぞれ取得し、この取得されたセンサデータをセンサデータ記憶部６２２に格納する処理を行なう。
設定処理部６１３は、例えば車載器６０の取扱者による操作により入力された、画像データ収集処理の条件を表す情報（アルゴリズムと閾値等）を、車載器６０の取扱者により使用される管理用端末から、入出力インタフェース６３または通信インタフェース６４を介して受け取り、この情報を設定情報記憶部６２３に格納する処理を行なう。なお、入出力部ＩＯとしては、キーボードおよびマウスを有する入力デバイス、音声入力デバイス、独立したディスプレイ等が使用されることができる。
センサデータ送信処理部６１４は、センサデータ記憶部６２２に格納されたデータを通信インタフェース６４を介してサーバ１へ送信する処理を行なう。
収集指示受信処理部６１５は、サーバ１から送信された、画像データの収集指示を、通信インタフェース６４を介して受信する処理を行なう。
アプリケーション用データ取得処理部６１６は、収集指示受信処理部６１５により受信された画像データ収集指示に応じた、（１）カメラ映像記憶部６２１に格納されたカメラ映像データ、および（２）センサデータ記憶部６２２に格納されたセンサデータのうち当該カメラ映像データの撮影時にセンサＳＳ１～ＳＳｊから収集されたセンサデータ、をそれぞれ取得する。なお、収集対象の画像データが、撮影元の車両の位置情報、撮影時刻の情報など、画像データを識別できる情報を含んでいれば、センサデータ記憶部６２２に格納されたセンサデータは取得対象でなくともよい。
アプリケーション用データ送信処理部６１７は、アプリケーション用データ取得処理部６１６により取得されたデータを、アプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する処理を行なう。
複数台のサーバが存在する場合、ネットワークの混雑度合い、および遅延の大きさなどをもとに、送信先として最適なサーバが選択されてもよい。
（動作）
次に、以上のように構成されたシステムの動作を説明する。
本実施形態では、画像データ収集システムは、移動体６とサーバ１との間のモバイル網における画像データに係る通信トラヒック（以下、画像トラヒックと称することがある）を削減することで、通信の遅延を低減し、アプリケーションの動作を円滑にする。
画像データ収集システムは、画像トラヒックを削減しつつも、情報量をなるべく減らさずに、アプリケーションに必要なデータを収集する。
アプリケーションの例として、道路上の障害物をモニタリングするアプリケーションと、静的地図を生成するアプリケーションとが挙げられる。また、画像データ収集システムのアプリケーションは、上記に限られない。
アプリケーションが、道路上の障害物をモニタリングするアプリケーションであるとき、画像データ収集システムは、画像データの収集の対象である移動体６を複数の移動体から絞り込む。
アプリケーションが、静的地図を生成するアプリケーションであるとき、画像データ収集システムは、収集される画像データのデータ量を削減する。
障害物をモニタリングするアプリケーションについて説明する。このアプリケーションは、車載カメラにより撮影された画像データを取得して、道路上の障害物の移動、障害物の状態の変化などをモニタリングすることができる。
このモニタリングは、例えば、障害物が移動したことを、当該障害物の周辺を走行する車両に通知する安全運転支援技術、または車両と障害物との衝突を避けるように自動運転する自動運転技術などへの応用が期待されている。
本実施形態では、事前に道路上の障害物が発見され、サーバ１上で障害物の種類および大まかな位置情報が管理されていると仮定する。
本実施形態では、障害物が映っている画像データが収集されること、および、障害物が様々な角度から捉えられた画像データが収集されることが望ましい。
図６は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用された例を示す図である。
画像データ収集システムは、サーバ１上で車両のメタデータを管理し、このデータを用いて、障害物をモニタリングするアプリケーションの個体ごとに、画像データの収集先である車両を選定する。
メタデータは、例えば、車両の位置情報、車載センサの種類、スペック、およびこれらが用いられて算出されたデータである。
図６に示された例では、道路上の一車線に車両ａが走行しており、この車両ａからみて、進行方向における、一定距離だけ前方の位置に障害物ｂが存在している。
また、同一車線において、車両ａと障害物ｂとの間に車両ｃが走行しており、車両ａの後方に車両ｄが走行している。車両ａ，ｃ，ｄの進行方向は同じである。また、車両ｄに搭載されるカメラのスペックは、車両ａ，ｃに搭載されるカメラのスペックと比較して低い。
また、車両ａ，ｃ，ｄが走行する車線に対向する反対車線における、車両ａの近傍に車両ｅが走行している。
各々の車両はサーバｆにメタデータを送信する。サーバｆは、各車両からのメタデータに基づいて、障害物ｂをモニタリングするための画像データの送信の要求先として適切な車両を選択する。ここでは、搭載されるカメラの撮影範囲内に障害物ａが位置する車両ａが選択され、当該車両ａに画像データの送信指示ｇが送信される。
一方で、車両ｃは、障害物ｂに近すぎる為、要求先として選択されない。車両ｄは、搭載されるカメラのスペックが上記のように低いため、要求先として選択されない。車両ｉは、搭載されるカメラの撮影範囲内に障害物ａが位置しないため、要求先として選択されない。
上記送信指示ｇにしたがって、車両ａは、車載カメラにより撮影された画像データｈなどをサーバｆに送信する。
ここで障害物の定義と分類について説明する。図７Ａ、図７Ｂ、図７Ｃは、障害物の定義と分類の一例を表形式で示す図である。
ここでは、障害物とは、道路周辺に存在し、かつ運転または移動を妨げる、あらゆるものであると定義される。
図７Ａ、図７Ｂ、図７Ｃでは、停止の時間は５分以内であり、駐車の時間は５分を超えると仮定する。
障害物の行動パターンには、移動体が「常に停止・駐車」の状態は含まれないと仮定する。これは、障害物自体は静的であっても、人手の介入によって除去されることが殆どである為である。
頻繁に移動する障害物が存在するため、行動パターンが「常に移動」であることも考えられるが、この障害物は、いずれは静止するので、上記の「常に移動」は、図７Ａ、図７Ｂ、図７Ｃ「一定時間静止し、その後移動」における「停止・駐車時間」が「数秒またはそれ以下」のパターンに包含されるとする。
歩行者、バイクの運転者（以降、運転者等、と称されることがある）がスマートフォンを所持しているとき、または、自動車に搭載されるＧＰＳセンサの機能がＯＮであるときに、運転者等または自動車が位置情報を取得および発信できると仮定する。
一方で、運転者等がスマートフォンを所持していない、または自動車のエンジンがＯＦＦになり、ＧＰＳセンサの機能がＯＦＦであるときは、運転者等または自動車は、位置情報の取得および発信はできないと仮定する。
障害物である、路上駐車される車両が動き出し、周辺の車両と同様の速度で走行したときは、当該車両は障害物ではなくなると仮定する。
救急車は障害物でないと仮定する。これは、救急車が他の車両の近くを走行する際には、この他の車両が停止するためである。
次に、車載カメラの撮影範囲に基づいた車両選択について説明する。図８は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。
アプリケーションが障害物のモニタリングに係るアプリケーションであるとき、サーバ１は、各車両の車載カメラの撮影範囲を推定し、この撮影範囲内に障害物が存在する場合、当該車両を画像データの収集先に選択し、この車両から画像データを収集する。
図８に示されたａで囲まれた車両の撮影範囲ｂ内には障害物ｃが存在しないため、この車両は収集先には選択されない。
一方、図８で示されたｄで囲まれた複数の車両の撮影範囲ｅ内に障害物ｃが存在するため、これらの車両は収集先に選択される。
車両を選択する際には、サーバ１は、車載カメラのスペックが高い車両を選択する等、車両の状態の情報を基に、画像データの収集先である車両を絞り込むことも可能である。それによって、障害物の周辺に位置する全車両から画像データを収集するよりも、通信トラヒック量を大幅に削減できる。
図８に示された例では、車載カメラが前方カメラであることが想定されるが、これに限らず、後方カメラ、全方位カメラ、全天球カメラ、複眼カメラも車載カメラとして適用可能である。
図８に示された例のように、撮影範囲内に障害物が存在するか否かに基づいて画像データの収集先が選択される場合、障害物が撮影範囲に含まれる画像データを収集できる可能性が高い。障害物が静的な物体であるときに、より有効である。
図９は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。
サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは、センサデータ記憶部１２１に常時格納される、（１）移動体６である各車両の位置情報、（２）位置情報に紐づいた、進行方向、カメラＣＭの画角、および（３）対象物の撮影可能距離、を取得し、この取得された結果を用いて、各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ１１）。
このとき、移動体撮影範囲算出部１１３Ａは、車両の位置、速度、進行方向などを示す情報に基づいて、指定時間、例えば数秒または数ミリ秒が経過したときに当該移動体６が存在する位置を予測し、この予測された位置情報を用いて、上記指定時間が経過したときのカメラＣＭの撮影範囲を算出してもよい。
次に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ１１で算出された、各車両の撮影範囲、および（２）障害物の位置情報、を用いて、カメラＣＭの撮影範囲内に障害物が存在する車両を選定する（Ｓ１２）。障害物の位置情報は、データメモリ１２に予め格納されるとする。
収集指示送信処理部１１４は、Ｓ１２で選定された車両に、データ収集の指示を通信インタフェース１４を介して送信する（Ｓ１３）。収集対象のデータには、上記選定された車両に搭載されるカメラＣＭにより撮影された画像データが含まれる。データ収集の指示の内容には、データ収集先である車両のＩＤ、収集されるデータの種類、形式、データ収集が実行される時間帯などが含まれる。
なお、Ｓ１１で、上記のように、データ収集の指示の内容に含まれる、データ収集が実行される時間帯の情報が用いられることで、位置情報が取得された時刻の前後のデータ収集の指示とされることもできる。
また、車載器６０のカメラ映像記憶部６２１に過去の画像データが蓄積されている場合には、撮影時刻として過去の時刻または時間帯がサーバ１の設定処理部１１１により設定されて設定情報記憶部１２３に格納されることで、過去における画像データを収集指示送信処理部１１４による収集指示の対象とすることもできる。
データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、データ収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ１４）。
指定された時間間隔、例えば１秒に１回などの時間間隔でＳ１１からＳ１４までの処理が繰り返される。
次にＳ１１での撮影範囲の算出の具体例を説明する。図１０は、カメラによる撮影範囲の算出の一例を説明する図である。
各車両の位置情報、カメラＣＭの画角、および対象物の撮影可能距離の情報、進行方向はサーバ１により逐次取得されて、このサーバ上で保有されると仮定する。
ここでは、カメラＣＭの位置情報（x_c, y_c）、カメラＣＭの画角α、対象物の撮影可能距離lが用いられて、撮影範囲の端点(x_a, y_a),(x_b, y_b)が算出される手順を以下に示す。
（算出手順）
車両の進行方向の単位ベクトルを
Figure 0007331929000001
とし、Ｘ軸方向の単位ベクトルを
Figure 0007331929000002
とし、両ベクトルが成す角度をθとする。そのとき、以下の式（１）からcosθが算出される。
Figure 0007331929000003
端点(x_a, y_a)が算出される手順を説明する。Ｘ軸方向の単位ベクトルと半径rとでなす角度をβとすると、以下の式（２）が成り立つ。
cosβ＝cos(θ－α／２)（三角関数の加法定理より）
＝cosθcosα＋sinθsinα …式（２）
カメラＣＭの位置である中心Ｃ(x_c, y_c)と、半径rの円の方程式x＝a＋r・cosθ，y＝b＋r・sinθとにより、以下の式（３），（４）が成り立つ。
x_a＝r・cosβ＋x_c …式（３）
y_a＝r・sinβ＋y_c …式（４）
上記の式（２）では、以下の式（５）が成り立つ。
β＝θ－２／α …式（５）
そして、上記の式（３），（４）のβに式（５）の右辺が代入されると、端点(x_a, y_a)は以下の式（６）で表される。
(x_a, y_a)＝((r・cos(θ－α／２)＋x_c, r・sin(θ－２／α)＋y_c) …式（６）
この式（６）に従って、移動体撮影範囲算出部１１３Ａは、端点(x_a, y_a)を算出できる。
次に、端点(x_b, y_b)が算出される手順を説明する。
(x_b, y_b)は(x_c, y_c)を中心として(x_a, y_a)をα度回転させた座標点である。
回転移動の１次変換より、以下の式（７），（８）が成り立つ。
x_b＝cosα(x_a－x_c)－sinα(y_a－y_c)＋x_c …式（７）
y_b＝sinα(x_a－x_c)＋cosα(y_a－y_c)＋y_c …式（８）
上記式（７），（８）より、端点(x_b, y_b)は、以下の式（９）で表される。
(x_b, y_b)＝
((x_a－x_c)cosα－(y_a－y_c)sinα＋x_c, (x_a－x_c)sinα－(y_a－y_c)cosα＋y_c) …式（９）
上記の半径rが算出される手順を説明する。
三角形の定理より、以下の式（１０）が成り立つ。
r／l＝cos(α／２) …式（１０）
よって、半径rは、以下の式（１１）により算出される。
r＝l・cos(２／α) …式（１１）
上記に従って、移動体撮影範囲算出部１１３Ａは、撮影範囲を算出できる。
次に、Ｓ１４でのデータ送信について補足する。
Ｓ１４のデータ送信では、前処理（Preprocessing）が行われてもよい。
画像データに対する前処理は、例えば圧縮符号化などが挙げられるが、間引き処理または障害物の部分のみをトリミングする処理などが前処理として行われてもよい。
間引き処理としては、例えば、車載器６０のアプリケーション用データ取得処理部６１６は、カメラ映像記憶部６２１に格納される画像データにおいて、障害物の位置が変化している、すなわち障害物が移動しているとき画像データを選択する。アプリケーション用データ送信処理部６１７は、この選択された画像データをサーバ１に送信する。この結果、カメラ映像記憶部６２１に格納されるデータのうち、上記選択されなかった画像データはサーバ１に送信されない。これにより、間引き処理が行われなかったときと比較して、サーバ１へ送信される画像データのデータ量が大幅に削減される。
障害物の位置の変化を検出する方法は複数の方法が挙げられ、例えば以下の方法が挙げられる。
例えば、アプリケーション用データ取得処理部６１６は、車両内で障害物の位置を推定し、この推定した位置とサーバ１から予め取得した障害物の位置情報とを比較する。
この、障害物の位置を推定方法も複数の方法が挙げられる。例えば、（１）ＧＰＳセンサで取得された位置情報、（２）画像データから取得された、画像上の障害物の位置、および（３）レーダから取得された障害物との距離と、を用いて、公知の方式、例えば「T. Vincenty, “Direct and Inverse Solutions of Geodesics on the Ellipsoid with application of nested equations,” Survey Review, vol. 23, no. 176, pp. 88-93, 1975.
」により、障害物の位置の推定値を算出する。
この算出された値と、サーバ１から予め取得された、障害物の位置情報とを比較して、差分が一定値以上である場合、障害物の位置の明らかな変化が生じている、すなわち障害物が移動したと判定する。
障害物の位置は、例えば、画像データのオブジェクト検出の結果とカメラのスペック情報から推定されてもよいし、LiDARにより得られた点群データと画像データのオブジェクト検出の結果とが照合されることで推定されてもよい。
第１の実施形態では、図７Ａ、図７Ｂ、図７Ｃに示された行動パターンにおける「停止時間」が「数十分」、「数時間」、「数日以上」に係る障害物がカメラＣＭの撮影範囲に含まれる可能性が高く、撮影範囲の算出において有効である。
この可能性への影響が大きいパターンの例として、障害物が静止する時間が長いほど、撮影範囲の算出に有効である。つまり、上記の行動パターンが「一定時間静止し、その後移動」の「静止時間」が長いほど有効である。
その他に、上記の可能性への影響があるものの例として、事前に得られる、障害物の位置情報の精度が正確であるほど、撮影範囲の算出に有効である。つまり図７Ａ、図７Ｂ、図７Ｃに示された障害物の種別が「位置情報を自ら取得、提供するもの」、「位置情報を自ら取得できるが、提供しないもの」、「位置情報を自ら取得、提供できないもの」の順に撮影範囲の算出に係る有効性が高い。
次に、静的地図を生成するアプリケーションについて説明する。このアプリケーションは、各車両からの車載カメラ画像で示される路面画像データを加工して、これらの画像をつなぎ合わせることで、サーバ１上で路面の状況を静的地図として再現することができる。
この静的地図を用いて、路面の状況、例えば路面のくぼみ、ひび割れなどの把握、白線又は歩道の車線が変更されたときの把握に有効である。
例えば、路面の状態が悪い場合に、ドライバへの警告を出力する安全運転支援技術、または、路面の状態が悪い場合に走行速度を落とすように自動運転する自動運転技術などへの応用が期待されている。
収集される車載カメラ画像は、この画像に映る路面に遮蔽物などが無く、可能か限り広範囲の路面が画像に映っていることが望ましい。また、画像上部に表れることがある風景は路面の状況などの把握などのための情報としては不要である。
図１１は、静的地図の生成の一例を説明する図である。
図１１に示されるａは、各車両から収集された車載カメラ画像の一例を示し、図１１に示されるｂは、生成された静的地図の一例を示す。この静的地図では、例えば路面のくぼみ、および、ひび割れなどが示されることがある。
図１２は、収集された車載カメラ画像の一例を示す図である。
図１２に示されるａは、望ましくない車載カメラ画像の一例である。この画像では路面上の遮蔽物が比較的多く、画像に写っている路面の範囲が比較的狭いので、静的地図を構成する画像としては適していない。
図１２に示されるｂは、望ましい車載カメラ画像の一例である。この画像では、路面上の遮蔽物が比較的少なく、当該画像に写っている路面の範囲が比較的広いので、静的地図を構成する画像として適している。
次に、車載カメラの撮影範囲に基づいた車両選択について説明する。図１３は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。
アプリケーションが静的地図の生成に係るアプリケーションであるとき、ある車両で撮影される車載カメラ画像データにおいて、遮蔽物、例えば他の車両などが存在しないとき、この画像の撮影元の車両を、静的地図を構成する画像データの収集先として特定し、この車両で撮影された画像が静的地図を構成する画像として収集される。
以下では、車載カメラ画像データにおいて、遮蔽物、例えば他の車両などが存在しないとき、この画像の撮影元の車両が特定される例を説明するが、これに限らず、例えば車載カメラ画像データに写っている遮蔽物の数が所定の条件を満たして少ない画像の撮影元の車両が上記収集先として特定されてもよいし、車載カメラ画像データにおける遮蔽物の占有範囲が所定の条件を満たして少ない画像の撮影元の車両が上記収集先として特定されてもよい。
図１３に示されたａで囲まれた車両からの撮影範囲ｂ内には遮蔽物が存在しないため、この車両は、静的地図を構成する画像データの収集先に選択される。
一方、図１３に示されたａで囲まれない車両からの撮影範囲には、遮蔽物が存在するため、これらの車両は、静的地図を構成する画像データの収集先に選択されない。
静的地図を構成する画像データの収集先である車両が選択される際には、サーバ１は、車載カメラのスペックが高い車両を選択する等、車両の状態の情報を基に、画像データの収集先である車両をさらに絞り込むことも可能である。それによって、遮蔽物の周辺に位置する全車両から画像データを収集するよりも、通信トラヒック量を大幅に削減できる。
図１３に示された例では、車載カメラが前方カメラであることが想定されるが、これに限らず、後方カメラ、全方位カメラ、全天球カメラ、複眼カメラも車載カメラとして適用可能である。
図１３に示された例のように、撮影範囲内に遮蔽物が存在するか否かに基づいて画像データの収集先が選択される場合、静的地図の生成に適した画像として、遮蔽物がなく路面診断しやすい画像を収集することができる。
図１４は、本発明の第１の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。ここでは遮蔽物は、画像データの撮影元の車両に対する、他の車両であると仮定するが、位置情報が把握できる物体であれば、遮蔽物となりうる他の物体でもよい。
まず、上記のＳ１１と同様に、サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは、各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ２１）。
次に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ２１で算出された各車両の撮影範囲、および（２）遮蔽物である他の車両の位置情報、を用いて、カメラＣＭの撮影範囲内に遮蔽物が存在しない車両を選定する（Ｓ２２）。
このとき、Ｓ２１で、Ｓ１１で述べた、予測された位置情報を用いて、遮蔽物の位置情報の予測情報がＳ２２で利用されてもよい。
Ｓ１３と同様に、収集指示送信処理部１１４は、Ｓ２２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ２３）。
次に、Ｓ１４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ２４）。
指定された時間間隔、例えば１秒に１回などの時間間隔でＳ２１からＳ２４までの処理が繰り返される。
以上説明したように、本発明の第１の実施形態では、サーバは、各車両に搭載されるカメラの撮影範囲と位置情報などに基づいて、画像データの収集先として適した車両を選択し、この車両から画像データを収集する。よって、車載器とサーバとの画像データの通信に係るトラヒックを削減できるので、通信の遅延を低減することができる。
加えて、トラヒックを削減しつつ、情報量をできるだけ維持した上で、アプリケーションに必要な画像データなどを収集できる。よって、アプリケーションに必要なデータを効率的に収集して、アプリケーションの動作を円滑にすることができる。
（第２の実施形態）
次に、第２の実施形態について説明する。以降の各実施形態において、第１の実施形態と同様の構成および動作の詳細な説明は省略する。この第２の実施形態に係る画像データ収集システムの構成は、第１の実施形態と同様である。
ただし、第２の実施形態では、サーバ１の移動体選択部１１３Ｂは、投機的実行を用いることにより、画像データの収集先である車両を選択する。
投機的実行は、例えばネットワーク対戦ゲームにおける遅延削減に利用される。
ネットワーク対戦ゲームでは、相手プレイヤーの操作内容が通信で受信されて、画面上の自分および相手のキャラクターの動きが描画される。この時、通信の遅延に加えて、描画処理の遅延も生じるため、遠隔地の相手プレイヤーと対戦したときは遅延が目立つ。そこで、相手プレイヤーが次の瞬間に行なう操作の全パターンを予測し、各パターンにおける予測結果に基づいて事前に相手プレイヤーの描画処理を行なうことで、画面表示の遅延を低減する。
図１５は、本発明の第２の実施形態に係る画像データ収集システムによる車両選択の一例を示す図である。
アプリケーションが障害物をモニタリングするアプリケーションであるとき、サーバ１の移動体選択部１１３Ｂは、障害物の種類、現在位置、速度、進行方向などを示す情報に基づいて、障害物の未来位置を予測する。さらに、移動体選択部１１３Ｂは、障害物を撮影できる位置にいる可能性が高い車両を予測して、この車両を画像データの収集先として選択する。
図１５に示されたａは障害物に該当する路上停止車両（以下、障害物車両ａ）である。図１５に示されたｂで囲まれる車両の車載カメラの撮影範囲ｃ内に、現在における障害物車両ａが入るので、上記ｂで囲まれる車両は画像データの収集先として選択される。
加えて、所定時間後の未来において、図１５に示されたｄ１で囲まれる車両の車載カメラの撮影範囲ｅ１内には、同じく所定時間後の未来における障害物車両ａが入るため、上記ｄ１で囲まれる車両は画像データの収集先として選択される。
同様に、同じ所定時間後の未来において、図１５に示されたｄ２で囲まれる車両の車載カメラの撮影範囲ｅ２内には、同じく所定時間後の未来における障害物車両ａが入るため、上記ｄ２で囲まれる車両は画像データの収集先として選択される。
これにより、第２に実施形態では、第１の実施形態と比較して、障害物が映る画像データを収集できる可能性が高い。特に、障害物が移動する場合に有効である。
図１６は、本発明の第２の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。
第２の実施形態では、障害物の種類ごとに、当該障害物の全ての移動パターンがサーバ１のデータメモリ１２に事前に記憶されていると仮定する。
例えば、障害物が路駐車両であれば、この車両は静止、前進または右折、左折、バックをする可能性があり、それぞれのパターンは、所定の時間経過後における障害物の現在位置からの移動方向および移動距離を示す情報を含み得る。
サーバ１のデータ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）予め取得された障害物の種類、位置情報と、（２）データメモリ１２に事前に格納された、障害物ごとの移動パターンと、を照合して、全ての障害物の予測位置を導出する（Ｓ３１）。
移動体選択部１１３Ｂは、（１）Ｓ３１で導出された、対象障害物の全ての予測位置と、（２）各車両から常時収集されてデータメモリ１２に格納される、各車両の位置情報を用いて移動体撮影範囲算出部１１３Ａにより算出された撮影範囲と、を用いて、撮影範囲内に障害物が含まれる車両を画像データの収集先として選定する（Ｓ３２）。第１の実施形態と同様に、（他の車両も含んだ）車両の位置情報は予測された情報であってもよい。
Ｓ１３と同様に、収集指示送信処理部１１４は、Ｓ３２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ３３）。
Ｓ１４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ３４）。
指定された時間間隔、例えば１秒に１回などの時間間隔でＳ３１からＳ３４までの処理が繰り返される。
第２の実施形態では、障害物の種類によって、障害物が撮影範囲に含まれる可能性が高く、車両選択において有効である。
この可能性への影響が大きいパターンの例として、障害物の静止時間が長いときよりも、障害物の移動の頻度が高い方が、無駄な画像データを収集する頻度が低いので、車両選択において有効である。つまり、図７Ａ、図７Ｂ、図７Ｃに示された、障害物の行動パターンが「一定時間静止し、その後移動」の「静止時間」が短いほど、車両選択において有効である。また、障害物の行動パターンが上記の「常に移動」に該当するときも同様である。
上記の可能性への影響が中程度であるパターンの例として、障害物の移動が道路に沿わないときよりも、道路に沿う方が、無駄な画像データを収集する頻度が低いので、車両選択において有効である。つまり、図７Ａ、図７Ｂ、図７Ｃに示された、障害物の行動パターンが「道路に沿う」である方が車両選択において有効である。
（第３の実施形態）
次に、第３の実施形態について説明する。この第３の実施形態に係る画像データ収集システムの構成は、第１の実施形態と同様である。
ただし、第３の実施形態では、車両選択において、車載カメラの画角の類似度による優先度スコアリングが行なわれる。
図１７は、本発明の第３の実施形態に係る画像データ収集システムによる車両選択の一例を説明する図である。
第３の実施形態では、例えば図１７に示される、車載カメラの扇形の撮影範囲ａ，ｂ，ｃ，ｄ，ｅ，ｆのそれぞれの面積を基本スコアとする。また、周辺車両などで遮蔽されて画像に写らない部分が分かる場合には、上記扇形の撮影範囲から、遮蔽された部分が取り去られた面積を基本スコアとする。
そして各撮影範囲のうち、サーバ１により既に収集された画像である回収済み画像の撮影範囲と重複する部分は、さらなる収集の対象から除外されるようにする処理がなされる。
ただし、各撮影範囲における撮影角度の差異に基づく類似度の高低に応じて、上記除外の要件は緩和される。
図１７にされる撮影範囲ａとｂの角度差は１８０度、つまり正反対に相当する角度であり、撮影範囲ａとｂの重複範囲内に存在する障害物の撮影結果の類似度は低い。
図１７にされる撮影範囲ｃとｄの角度差は９０度であり、撮影範囲ｃとｄの重複範囲内に存在する障害物の撮影結果の類似度は中程度である。
図１７にされる撮影範囲ｅとｆは、角度差が９０度より小さく、撮影範囲ｅとｆの重複範囲内に存在する障害物の撮影結果の類似度は高い。
第３の実施形態では、上記のうち類似度が低い撮影範囲に係る画像データは、収集の優先度が高い画像データである。また、類似度が高い撮影範囲に係る画像データは、収集の優先度が低い画像データである。
次に、上記のスコアの定式化（時刻差あり）について説明する。優先度スコアリングに用いられるスコアは、例えば以下の式（１２），（１３），（１４），（１５）で表される。また、下記の時間経過、方位差、時刻差をパラメータとすることができれば、スコアの計算式は特に限られない。
Figure 0007331929000004
式（１２）の「Ｗ経過時間」は、新しい画像データを優先的に回収するための重みパラメータであり、時間経過に従って単調減少する関数である。
式（１２）の「Ｗ方位差」は、回収済みの画像データと未回収の画像データとの類似度を表現する重みパラメータであり、撮影範囲の方位差の増加に従って単調減少する関数である。
式（１２）の「Ｗ時刻差」は、回収済みデータとの類似度を表現する重みパラメータであり、撮影時刻の時刻差の増加に従って単調減少する関数である。
式（１３）のτは、アプリケーションにより設定される有効期間である。式（１３）では、経過時間に応じてスコアが減算されることが示される。
式（１４）では、撮影方位角の差分がスコアの除外度に反映されることが示される。例えば、差分が０度であればなら除外度は１００％であり、差分が１８０度であれば除外度は０％である。
式（１５）では、アプリケーションにより設定された有効期間τに基づいて時刻差が撮影範囲の重複部分のスコア除外度に反映されることが示される。
図１８は、本発明の第３の実施形態に係る画像データ収集システムによる優先度のスコアの算出について説明する図である。
図１８に示されるａは、回収前の画像データを撮影可能である移動体である回収前移動体について、式（１２）で示される撮影範囲の面積に対応する。
図１８に示されるｂは、式（１２）で示されるＷ経過時間に対応する。
図１８に示されるｃは、回収前移動体、および回収済みの画像データを得るカメラが搭載される１つ目の移動体について、式（１２）で示される、重複部分の面積に対応する。
図１８に示されるｄは、回収前移動体、および上記１つ目の移動体について、式（１２）で示されるＷ方位差に対応する。
図１８に示されるｅは、回収前移動体、および上記１つ目の移動体について、式（１２）で示されるＷ時刻差に対応する。
図１８に示されるｆは、回収前移動体、および回収済みの画像データを得るカメラが搭載される２つ目の移動体について、式（１２）で示される、重複部分の面積に対応する。
図１８に示されるｇは、回収前移動体、および上記２つ目の移動体について、式（１２）で示されるＷ方位差に対応する。
図１８に示されるｈは、回収前移動体、および上記２つ目の移動体について、式（１２）で示されるＷ時刻差に対応する。
次に、撮影範囲の画角の類似度による優先度スコアリングの一例について説明する。
車両が少ない時間帯では、撮影範囲の重複は生じにくい。
優先度スコアが同一である、回収前の画像データに係る撮影範囲の数が複数であるときは、回収対象である画像データに係る撮影範囲がランダムに選択される。
また、サーバおよび通信回線のキャパシティに応じて、回収される画像データの数が調整されてもよい。
図１９は、撮影範囲の画角の類似度による優先度のスコアリングの第１の状態を示す図である。
図１９に示された例では、第１の車両に搭載されるカメラによる撮影範囲ａ、第２の車両に搭載されるカメラによる撮影範囲ｂ、および第３の車両に搭載されるカメラによる撮影範囲ｃとの間に重複する範囲はない。
この時点で、撮影範囲ａ，ｂ，ｃは、未回収の画像データに係る撮影範囲であり、各撮影範囲について算出された優先度スコアは最も高い１００であるとする。
図２０は、撮影範囲の画角の類似度による優先度のスコアリングの第２の状態を示す図である。
図２０に示された例では、図１９に示された、未回収の画像データに係る撮影範囲ａ，ｂ，ｃについて算出された優先度スコアが同じ１００であるため、ランダムに撮影範囲ａが選択され、この撮影範囲に係る画像データが新たにサーバ１に回収されたことが示される。
図２１は、撮影範囲の画角の類似度による優先度のスコアリングの第３の状態を示す図である。
図２１に示された例では、図２０に示された、未回収の画像データに係る撮影範囲ｂ，ｃについて算出された優先度スコアが同じ１００であり、ランダムに撮影範囲ｃが選択され、この撮影範囲に係る画像データが新たにサーバ１に回収されたことが示される。
図２２は、撮影範囲の画角の類似度による優先度のスコアリングの第４の状態を示す図である。
図２２に示された例では、第１の車両の近傍に新たな第４の車両が位置し、第２の車両の近傍に新たな第５の車両が位置し、第３の車両の近傍に新たな第６の車両が位置することが示される。
ここで、撮影範囲ａの一部分と、第４の車両に搭載されるカメラによる撮影範囲ｄの一部分とが重複し、撮影範囲ｂの一部分と、第５の車両に搭載されるカメラによる撮影範囲ｅの一部分とが重複し、撮影範囲ｃの一部分と、第６の車両に搭載されるカメラによる撮影範囲ｆの一部分とが重複していると仮定する。
ここで、撮影範囲ｄについて算出された優先度スコアは９０であり、撮影範囲ｅについて算出された優先度スコアは１００であり、撮影範囲ｆについて算出された優先度スコアは５０であると仮定する。なお、撮影範囲ｂと撮影範囲ｅの間には、回収済み画像に係る撮影範囲がないため、撮影範囲ｅについて算出された優先度スコアは上記のように１００である。
図２３は、撮影範囲の画角の類似度による優先度のスコアリングの第５の状態を示す図である。
図２３に示された例では、未回収の画像データに係る撮影範囲ｂ，ｄ，ｅ，ｆにおける優先度が最も高い撮影範囲ｂ，ｅのうち、ランダムに撮影範囲ｂが選択され、この撮影範囲に係る画像データが新たにサーバ１に回収されたことが示される。この回収後において、上記のように撮影範囲ｂと重複する撮影範囲ｅについて優先度スコアが改めて算出される。この優先度スコアは上記の１００から７０に変更されたと仮定する。
図２４は、撮影範囲の画角の類似度による優先度のスコアリングの第６の状態を示す図である。
図２４に示された例では、未回収の画像データに係る撮影範囲ｄ，ｅ，ｆのうち優先度が最も高い撮影範囲ｄに係る画像データが新たにサーバ１に回収されたことが示される。
図２５は、撮影範囲の画角の類似度による優先度のスコアリングの第７の状態を示す図である。
図２５に示された例では、未回収の画像データに係る撮影範囲ｅ，ｆのうち優先度が最も高い撮影範囲ｅに係る画像データが新たにサーバ１に回収されたことが示される。なお、残りの撮影範囲ｆに係る画像データは、この回収後にサーバ１に回収される。
図２６は、本発明の第３の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。
まず、上記のＳ１１と同様に、サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは、各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ４１）。
次に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ４１で算出された各車両の撮影範囲、および（２）障害物の位置情報、を用いて、カメラＣＭの撮影範囲内に障害物が存在する車両を選定する。障害物の位置情報は、データメモリ１２に予め格納されるとする。
さらに、移動体選択部１１３Ｂは、ある車両から回収済みである画像データに係る撮影位置、撮影時刻、をアプリケーション用データ記憶部１２２から読み出して参照し、回収済みの画像データに係る撮影範囲との重複が少ない撮影範囲に係るカメラＣＭが搭載された車両を上記式（１２），（１３），（１４），（１５）を用いた優先度スコアにより選定する（Ｓ４２）。
Ｓ１３と同様に、収集指示送信処理部１１４は、Ｓ４２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ４３）。
Ｓ１４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ４４）。
指定された時間間隔、例えば１秒に１回などの時間間隔でＳ４１からＳ４４までの処理が繰り返される。
第３の実施形態では、第１の実施形態と比較して、画像データの収集対象である車両により得られた画像データと、他車両により既に得られた画像データの重複、類似性を考慮し、回収済みの画像データとの類似度が高い画像データの収集に係る優先度を低くする。これにより、アプリケーションに有用な画像データを効率的に収集することができる。
第１の実施形態と同様に、第３の実施形態では、図７Ａ、図７Ｂ、図７Ｃに示された行動パターンにおける「停止時間」が「数十分」、「数時間」、「数日以上」に係る障害物がカメラＣＭの撮影範囲に含まれる可能性が高く、撮影範囲の算出において有効である。
図２７は、本発明の第３の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。
まず、上記のＳ４１と同様に、サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ５１）。
次に、Ｓ２２と同様に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ２１で算出された各車両の撮影範囲、および（２）他の車両の位置情報、を用いて、カメラＣＭの撮影範囲内に遮蔽物が存在しない車両を選定する。
そして、この選定された車両について、移動体選択部１１３Ｂは、（１）Ｓ４１で算出された各車両の撮影範囲、および（２）ある車両から回収済みである画像データに係る撮影位置、撮影時刻、をアプリケーション用データ記憶部１２２から読み出して参照し、回収済みの画像データに係る撮影範囲との重複が少ない撮影範囲に係るカメラＣＭが搭載された車両を上記式（１２），（１３），（１４），（１５）を用いた優先度スコアにより選定する（Ｓ５２）。
Ｓ４３と同様に、収集指示送信処理部１１４は、Ｓ５２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ５３）。
Ｓ４４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ５４）。
指定された時間間隔、例えば１秒に１回などの時間間隔でＳ５１からＳ５４までの処理が繰り返される。
（第４の実施形態）
次に、第４の実施形態について説明する。
図２８は、本発明の第４の実施形態に係る画像データ収集システムによる画像データ量の削減の一例を説明する図である。
この第４の実施形態では、車間距離を用いて、サーバ１により収集される画像データのデータ量を削減する。
適用先のアプリケーションが静的地図を生成するアプリケーションである場合、図２８に示されるａで囲まれる範囲に位置する各車両について、データ収集対象の車両と、この車両に対する前方に位置する前方車両、またはデータ収集対象の車両に対する後方に位置する後方車両との車間距離に応じて、データ収集対象の車両から収集される画像のうち無駄な範囲がトリミングされる。
車間距離が比較的短いときは、データ収集対象に車両に搭載されるカメラの撮影範囲に対し、上記前方または後方車両が占める割合が比較的高いため、図２８に示されるｂのように、上記トリミングの範囲は比較的大きい範囲に設定される。
一方で、車間距離が比較的長いときは、データ収集対象に車両に搭載されるカメラの撮影範囲に対し、上記前方または後方車両が占める割合が比較的低いため、図２８に示されるｃのように上記のトリミングの範囲が比較的小さい範囲に設定される、または、図２８に示されるｄのように上記トリミングが行われないように設定される。
第４の実施形態では、遮蔽物などが含まれない、静的地図に適した路面画像を収集することを、低い処理コストにより可能とする。
図２９は、本発明の第４の実施形態に係る画像データ収集システムのサーバ１のソフトウェア構成の一例を示すブロック図である。
図３に示された、第１の実施形態に係る画像データ収集システムのサーバ１のソフトウェア構成と比較して、第４の実施形態に係る画像データ収集システムのサーバ１の制御ユニット１１のデータ収集条件判定部１１３は、第１の実施形態で示された移動体撮影範囲算出部１１３Ａ、移動体選択部１１３Ｂに代えて、データ削減判別部１１３Ｃを有する。
このデータ削減判別部１１３Ｃは、車載器６０から受け取ったデータを用いて、この車載器６０から収集予定である画像データの無駄な範囲であるトリミング範囲を判別する。
図３０は、本発明の第４の実施形態に係る画像データ収集システムの車載器６０のソフトウェア構成の一例を示すブロック図である。
図５に示された、第１の実施形態に係る画像データ収集システムの車載器６０のソフトウェア構成と比較して、第４の実施形態に係る画像データ収集システムの車載器６０の制御ユニット６１は、データ削減処理部６１８を有する。
このデータ削減処理部６１８は、データ削減判別部１１３Ｃにより判別されたトリミング範囲が反映されたデータ収集指示に従って、アプリケーション用データ取得処理部６１６により取得された後にトリミングされた、つまり一部範囲が削除された画像データをアプリケーション用データとしてアプリケーション用データ送信処理部６１７に送る。
図３１は、本発明の第４の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。ここでは車間距離は、データ収集対象の車両と前方車両との車間距離であるとする。
サーバ１のデータ収集条件判定部１１３のデータ削減判別部１１３Ｃは、センサデータ記憶部１２１に常時格納される、各車両の位置情報を用いて、データ収集対象の車両と前方車両との車間距離を算出する（Ｓ６１）。
具体的には、上記位置情報を用いて、データ削減判別部１１３Ｃは、データ収集対象車両から指定範囲内、例えば半径２０メートル以内に位置する車両を選定する。その中でも、前方車両のうち、データ収集対象車両の進行方向に存在する最も近い車両を前方車両とする。
データ削減判別部１１３Ｃは、前方車両の位置情報と、データ収集対象車両の位置情報とに基づいて、これらの車両の車間距離を推定する。また、データ収集対象車両に前方車両との車間距離を測定するセンサが搭載される場合、このデータ収集対象のデータがサーバ１により取得されてもよい。
サーバ１のデータメモリ１２には、各車両に搭載されるカメラＣＭの画角、機種名、および車間距離に応じた画像データのトリミング範囲が事前に格納されるとする。
データ削減判別部１１３Ｃは、（１）上記格納される情報、（２）Ｓ６１で算出された車間距離、および（３）データ収集対象車両に搭載されるカメラＣＭの画角、機種名に基づいて、このカメラＣＭにより得られた画像データのトリミング範囲を導出する（Ｓ６２）。また、公知の手法、例えば「トヨタ中央研究所, “ビデオ画像による先行車両位置計測”,
https://www.tytlabs.com/japanese/review/rev323pdf/323_0111tange.pdf,2015」、「李博, 張暁林, 佐藤誠, “車間距離計測のための車載単眼カメラを用いたピッチ角推定”,
https://www.jstage.jst.go.jp/article/itej/69/4/69_J169/_article/-char/ja/,2015」などに基づいて、Ｓ６１で算出された車間距離を利用して、画像上に前方車両が写っている座標位置を求めて、トリミングする範囲が導出されてもよい。
収集指示送信処理部１１４は、Ｓ６２でデータ削減判別部１１３Ｃにより導出されたトリミング範囲と、この導出に用いられた位置情報が得られたときの時刻を含むデータ収集指示を、通信インタフェース１４を介してデータ収集対象車両の車載器６０に送信する（Ｓ６３）。
データ収集対象車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、データ収集指示で示される時刻に対応する画像データをカメラ映像記憶部６２１から取得する。
この取得された画像データについて、データ削減処理部６１８は、データ収集指示で指定されたトリミング範囲に応じたトリミングを行なう。アプリケーション用データ送信処理部６１７は、このトリミングされた画像データをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ６４）。
指定された時間間隔、例えば１秒に１回などの時間間隔でＳ６１からＳ６４までの処理が繰り返される。
上記説明した、サーバ１の制御ユニット１１のデータ削減判別部１１３Ｃによる処理はデータ収集対象車両に搭載される車載器６０の制御ユニット６１内で実行されてもよい。このとき、データ収集車両に、前方車両との距離を測定できるセンサを搭載しておき、このセンサにより得られた車間距離がＳ６２などで用いられる。そして、この車間距離に応じたトリミング範囲が車載器６０のデータメモリ６２に格納された状態で、この格納されたトリミング範囲と、上記得られた車間距離とが照らし合わされることでトリミング範囲が導出される。
上記説明した各実施形態のソフトウェア構成は、１つのシステムに組み入れられて、制御ユニット１１などによる各処理が必要に応じて切り替えられて実行されてもよい。また、サーバ１と車載器６０との間の通信の遅延状況が考慮されて、例えば遅延が少ない順にデータ収集対象の車両が選択されてもよい。
また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
１…サーバ
２…入力デバイス
３…出力デバイス
６…移動体
１１，６１…制御ユニット
１１Ａ，６１Ａ…ハードウェアプロセッサ
１１Ｂ，６１Ｂ…プログラムメモリ
１２，６２…データメモリ
１３，６３…入出力インタフェース
１４，６４…通信インタフェース
２０，７０…バス
６０…車載器
１１１，６１３…設定処理部
１１２…センサデータ受信処理部
１１３…データ収集条件判定部
１１３Ａ…移動体撮影範囲算出部
１１３Ｂ…移動体選択部
１１３Ｃ…データ削減判別部
１１４…収集指示送信処理部
１１５…アプリケーション用データ受信処理部
１２１，６２２…センサデータ記憶部
１２２…アプリケーション用データ記憶部
１２３，６２３…設定情報記憶部
６１１…カメラ映像取得処理部
６１２…センサデータ取得処理部
６１４…センサデータ送信処理部
６１５…収集指示受信処理部
６１６…アプリケーション用データ取得処理部
６１７…アプリケーション用データ送信処理部
６１８…データ削減処理部
６２１…カメラ映像記憶部

Claims (10)

  1. 撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、
    前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された各情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する選択手段と、
    前記選択された移動体に、当該移動体に搭載される前記撮影装置による撮影結果である画像データの収集指示を送信する送信手段と、
    前記収集指示を受けた前記移動体から送信された画像データを受信する受信手段と、
    を備える、画像データ収集装置。
  2. 前記選択手段は、
    前記取得された位置情報、前記複数の移動体に搭載される前記撮影装置による撮影範囲、および前記移動体の移動に係る障害物の位置情報を移動体ごとに取得し、この取得された情報に基づいて、前記撮影範囲内に前記障害物が存在する撮影結果としての画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    請求項１に記載の画像データ収集装置。
  3. 前記選択手段は、
    １つの前記移動体について取得された位置情報、当該移動体に搭載される前記撮影装置による撮影範囲、および前記移動体に係る遮蔽物の位置情報を移動体ごとに取得し、この取得された情報に基づいて、前記撮影範囲内に前記遮蔽物が存在しない撮影結果、又は前記撮影範囲内における前記遮蔽物の数または占有範囲が所定の条件を満たす少なさである撮影結果としての画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    請求項１に記載の画像データ収集装置。
  4. 現在から先のタイミングにおける前記障害物の位置情報を予測する予測手段をさらに備え、
    前記選択手段は、
    前記取得された位置情報、前記複数の移動体に搭載される前記撮影装置による撮影範囲、および前記予測された前記障害物の位置情報に基づいて、前記撮影範囲内に前記障害物が存在する撮影結果として画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    請求項２に記載の画像データ収集装置。
  5. 前記選択手段は、
    前記複数の移動体から受信していない画像データに係る撮影範囲、および前記受信手段によりすでに受信した画像データに係る撮影範囲が重複するときに、前記すでに受信した画像データに係る撮影範囲との重複が少ない撮影範囲における撮影結果として画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    請求項１に記載の画像データ収集装置。
  6. 撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、
    前記取得された位置情報に基づいて、前記複数の移動体のうち画像データの収集対象である移動体と他の移動体との間の距離を算出する第１の算出手段と、
    前記算出された距離に基づいて、前記収集対象である移動体に搭載される撮影装置による撮影結果の無駄な範囲を算出する第２の算出手段と、
    前記算出された無駄な範囲が削除された画像データを収集する収集手段と、
    を備える、画像データ収集装置。
  7. 画像データ収集装置が実行する、画像データ収集方法であって、
    撮影装置が搭載される複数の移動体の位置情報を取得することと、
    前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択することと、
    前記選択された移動体に、当該移動体に搭載される撮影装置による撮影結果である画像データの収集指示を送信することと、
    前記収集指示を受けた前記移動体から送信された画像データを受信することと、
    を備える方法。
  8. 請求項１乃至６のいずれか１項に記載の画像データ収集装置に備えられる前記各手段としてハードウェアプロセッサを機能させる画像データ収集プログラム。
  9. 移動体に搭載される画像データ送信装置であって、
    画像データ収集装置からの、前記移動体に搭載される撮影装置による撮影結果である画像データの収集指示を受信し、前記収集指示に従い、収集対象である、前記撮影装置による撮影範囲内に障害物が存在する撮影結果である画像データのうち前記障害物の位置が変化しているときの画像データを選択して前記画像データ収集装置に送信する、画像データ送信装置。
  10. 移動体に搭載される画像データ送信装置であって、
    画像データ収集装置からの、前記移動体に搭載される撮影装置による撮影結果である画像データの収集指示を受信し、前記収集指示に従い、収集対象である、前記撮影装置による撮影範囲内の、前記収集指示で指定された範囲に応じた削除処理が施された画像データを前記画像データ収集装置に送信する、画像データ送信装置。
JP2021537547A 2019-08-08 2019-08-08 画像データ収集装置、方法、プログラムおよび画像データ送信装置 Active JP7331929B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031514 WO2021024490A1 (ja) 2019-08-08 2019-08-08 画像データ収集装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021024490A1 JPWO2021024490A1 (ja) 2021-02-11
JP7331929B2 true JP7331929B2 (ja) 2023-08-23

Family

ID=74502628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537547A Active JP7331929B2 (ja) 2019-08-08 2019-08-08 画像データ収集装置、方法、プログラムおよび画像データ送信装置

Country Status (3)

Country Link
US (1) US20220377283A1 (ja)
JP (1) JP7331929B2 (ja)
WO (1) WO2021024490A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7533372B2 (ja) 2021-06-17 2024-08-14 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
CN113923330B (zh) * 2021-10-11 2022-07-01 中国人民解放军63921部队 多目标测量***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075050A (ja) 2017-10-19 2019-05-16 株式会社豊田中央研究所 情報処理装置、情報処理システム、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5146482B2 (ja) * 2010-03-29 2013-02-20 株式会社デンソー 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
JP2014137750A (ja) * 2013-01-17 2014-07-28 Hitachi Solutions Ltd 情報処理装置、情報処理システム及び情報処理プログラム
US11432697B2 (en) * 2018-09-06 2022-09-06 Lg Electronics Inc. Robot cleaner and a controlling method for the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075050A (ja) 2017-10-19 2019-05-16 株式会社豊田中央研究所 情報処理装置、情報処理システム、及びプログラム

Also Published As

Publication number Publication date
US20220377283A1 (en) 2022-11-24
JPWO2021024490A1 (ja) 2021-02-11
WO2021024490A1 (ja) 2021-02-11

Similar Documents

Publication Publication Date Title
JP6894471B2 (ja) 自動運転車（ａｄｖ）のサブシステムによるパトロールカーのパトロール
US11077850B2 (en) Systems and methods for determining individualized driving behaviors of vehicles
CN108732589B (zh) 利用3d lidar和定位自动采集用于对象识别的训练数据
CN111061261B (zh) 使用标准导航地图与基于车辆的先前轨迹确定的车道配置的自动驾驶方法
US11427211B2 (en) Methods for handling sensor failures in autonomous driving vehicles
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
US10943485B2 (en) Perception assistant for autonomous driving vehicles (ADVs)
US10916135B2 (en) Similarity learning and association between observations of multiple connected vehicles
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
CN108496178B (zh) 用于估计未来路径的***和方法
WO2020062031A1 (en) A pedestrian interaction system for low speed scenes for autonomous vehicles
US10849543B2 (en) Focus-based tagging of sensor data
US11230297B2 (en) Pedestrian probability prediction system for autonomous vehicles
US10963706B2 (en) Distributable representation learning for associating observations from multiple vehicles
JP2019175451A (ja) 交通状況のリアルタイム検出
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
US20210331670A1 (en) Method of and system for controlling operation of self-driving car
JPWO2018230492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7276435B2 (ja) 交通流推定装置、交通流推定方法、交通流推定プログラムおよび交通流推定プログラムを記憶した記憶媒体
JP7331929B2 (ja) 画像データ収集装置、方法、プログラムおよび画像データ送信装置
EP3815061B1 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
US11433893B2 (en) Methods and processors for controlling operation of self-driving car
JP7233386B2 (ja) 地図更新装置、地図更新システム、及び地図更新方法
US20240182080A1 (en) Method of and system for predicting a maneuver of an object
US20230316539A1 (en) Feature detection device, feature detection method, and computer program for detecting feature

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7331929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150