JP7238738B2 - 画像処理システム、処理装置、中継装置及びプログラム - Google Patents

画像処理システム、処理装置、中継装置及びプログラム Download PDF

Info

Publication number
JP7238738B2
JP7238738B2 JP2019208883A JP2019208883A JP7238738B2 JP 7238738 B2 JP7238738 B2 JP 7238738B2 JP 2019208883 A JP2019208883 A JP 2019208883A JP 2019208883 A JP2019208883 A JP 2019208883A JP 7238738 B2 JP7238738 B2 JP 7238738B2
Authority
JP
Japan
Prior art keywords
image
captured
image information
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019208883A
Other languages
English (en)
Other versions
JP2021081996A (ja
Inventor
亮太 尾首
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019208883A priority Critical patent/JP7238738B2/ja
Priority to CN202011259000.5A priority patent/CN112908031A/zh
Priority to US17/096,240 priority patent/US11301699B2/en
Publication of JP2021081996A publication Critical patent/JP2021081996A/ja
Application granted granted Critical
Publication of JP7238738B2 publication Critical patent/JP7238738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、画像の処理を行う画像処理システム、処理装置、中継装置及びプログラムに関する。
特許文献１には、外界認識手段による認識結果に基づいて制御されるコネクティッドカーである車両に対し、適切な情報を提供することを目的とする情報処理装置が開示されている。
特開２０１７－１７４２４４号公報
ここで、路上障害物を特定すべく、特許文献１の情報処理装置において車両で撮像された撮像画像に対する画像処理が実行される場合、当該情報処理装置において車両側から送信された全ての撮像画像を画像処理すると、情報処理装置側の負荷が高くなる。
本発明は、車両における撮像画像を基に障害物を特定する画像処理を行う場合に、処理側の装置において処理の対象となる撮像画像を低減でき、処理負荷を低減可能な画像処理システム、処理装置、中継装置及びプログラムを提供することを目的とする。
請求項１に記載の画像処理システムは、車両に設けられた撮像装置と、前記撮像装置で撮像された撮像画像を画像情報として前記車両から送信する送信部と、複数の前記車両から送信された画像情報を受信する受信部と、既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出部と、閾値を下回る類似度の撮像画像に対して障害物を特定する画像処理を行う処理部と、を備え、前記基準画像は、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像であり、前記算出部は、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を前記受信部が新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新し、前記送信部を有する前記車両に搭載された制御装置と、複数の前記制御装置から送信された画像情報を受信する前記受信部と、前記算出部とを有し、前記閾値を下回る類似度に係る画像情報を送信する中継装置と、前記中継装置から送信された画像情報を受信すると共に、前記処理部を有する処理装置と、を備え、前記中継装置は、障害物を特定したことに基づいて前記処理装置から送信される障害物情報を受信した時点で、前記受信部による画像情報の受信及び前記算出部による画像情報に係る撮像画像の類似度の算出を終了する。
請求項１に記載の画像処理システムは、車両に撮像装置と送信部が設けられており、車外の装置において受信部が複数の車両から画像情報を受信し、算出部が撮像画像の類似度を算出し、処理部が閾値を下回る類似度の撮像画像に対して画像処理を実行する。ここで、撮像画像の類似度は、既に受信されている基準画像に対する値として算出される。当該画像処理システムでは、閾値以上の類似度の撮像画像を基準画像に類似する画像として扱い、画像処理の実行が行われないように構成した。これにより、車両における撮像画像を基に障害物を特定する画像処理を行う場合に、画像処理を行う装置において処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
また、請求項１に記載の画像処理システムは、車両が搭載する制御装置と、画像処理が実行される処理装置と、制御装置及び処理装置を中継する中継装置と、により構成されている。当該画像処理システムによれば、中継装置において、類似度に基づいて処理装置に送信される撮像画像が選択されるため、中継装置と処理装置との間の通信回線における通信量を低減することができる。
第２態様の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記受信部は、前記画像情報と共に、前記撮像画像に付与された位置情報及び他の車両の他の位置情報を受信し、前記他の位置情報を有する前記他の車両が前記位置情報に対応する前記障害物に近づいたかを判定する判定部と、前記判定部が前記障害物に近づいたと判定した場合に前記他の車両に向けて危険情報を通知する通知部と、を備えている。
第２態様の画像処理システムでは、受信部が撮像画像の位置情報及び他の車両の他の位置情報を受信し、判定部は他の車両が障害物に近づいたかを判定する。そして、他の車両が障害物に近づいたと判定した場合、通知部は他の車両に向けて危険情報を通知する。当該画像処理システムによれば、障害物の位置情報に基づいて他の車両に対して路上の障害物に対する注意を喚起することができる。
第４態様の画像処理システムは、請求項１に記載の画像処理システムにおいて、前記中継装置は、前記閾値を下回る類似度に係る画像情報を前記処理装置に送信すると共に、前記閾値以上の類似度に係る画像情報を破棄する。
第４態様の画像処理システムによれば、中継装置において基準画像に類似するとされた画像が保存されないため、中継装置のリソースの消費を抑制することができる。
請求項２に記載の処理装置は、車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信部と、既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出部と、閾値を下回る類似度の撮像画像に対して障害物を特定する画像処理を行う処理部と、を備え、前記基準画像は、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像であり、前記算出部は、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を前記受信部が新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新し、前記受信部は、前記処理部が障害物を特定したことに基づいて、前記車両からの画像情報の受信を終了し、前記算出部は、前記処理部が障害物を特定したことに基づいて、画像情報に係る撮像画像の類似度の算出を終了する。
請求項２に記載の処理装置は、受信部が複数の車両から画像情報を受信し、算出部が撮像画像の類似度を算出し、処理部が閾値を下回る類似度の撮像画像に対して画像処理を実行する。上記のとおり、撮像画像の類似度は、既に受信されている基準画像に対する値として算出される。当該処理装置では、閾値以上の類似度の撮像画像を基準画像に類似する画像として扱い、画像処理の実行が行われないように構成した。これにより、車両における撮像画像を基に障害物を特定する画像処理を行う場合に、処理装置において処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
請求項３に記載の中継装置は、車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信部と、既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出部と、閾値を下回る類似度に係る画像情報を、障害物を特定する画像処理を行う処理装置に向けて送信する送信部と、を備え、前記基準画像は、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像であり、前記算出部は、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を前記受信部が新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新し、前記受信部は、障害物を特定したことに基づいて前記処理装置から送信される障害物情報を受信した時点で、前記車両からの画像情報の受信を終了し、前記算出部は、前記障害物情報を受信した時点で、画像情報に係る撮像画像の類似度の算出を終了する。
請求項３に記載の中継装置は、撮像装置を有する車両と、障害物を特定する画像処理を行う処理装置と、を中継する装置である。当該中継装置は、受信部が複数の車両から画像情報を受信し、算出部が撮像画像の類似度を算出し、送信部が閾値を下回る類似度の撮像画像を処理装置に送信する。上記のとおり、撮像画像の類似度は、既に受信されている基準画像に対する値として算出される。当該中継装置によれば、車両における撮像画像を基に障害物を特定する画像処理を行う場合に、処理装置において処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
請求項４に記載のプログラムは、車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信ステップと、既に受信されている画像情報に係る、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像である基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出ステップと、閾値を下回る類似度の撮像画像に対して障害物を特定する画像処理を行う処理ステップと、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新する更新ステップと、障害物を特定したことに基づいて、前記車両からの画像情報の受信及び画像情報に係る撮像画像の類似度の算出を終了する終了ステップと、を含む処理をコンピュータに実行させる。
請求項４に記載のプログラムは、コンピュータにおいて複数の車両から画像情報を受信し、撮像画像の類似度を算出し、閾値を下回る類似度の撮像画像に対して画像処理を実行するステップを有している。上記のとおり、撮像画像の類似度は、既に受信されている基準画像に対する値として算出される。当該プログラムは、閾値以上の類似度の撮像画像を基準画像に類似する画像として扱い、画像処理の実行が行われないようにコンピュータを制御する。これにより、車両における撮像画像を基に障害物を特定する画像処理を行う場合に、画像処理を行うコンピュータにおいて処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
請求項５に記載のプログラムは、車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信ステップと、既に受信されている画像情報に係る、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像である基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出ステップと、閾値を下回る類似度に係る画像情報を、障害物を特定する画像処理を行う処理装置に向けて送信する送信ステップと、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新する更新ステップと、障害物を特定したことに基づいて前記処理装置から送信される障害物情報を受信した時点で、前記車両からの画像情報の受信及び画像情報に係る撮像画像の類似度の算出を終了する終了ステップと、を含む処理をコンピュータに実行させる。
本発明によれば、車両における撮像画像を基に障害物を特定する画像処理を行う場合に、処理側の装置において処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
第１の実施形態に係る画像処理システムの概略構成を示す図である。 障害物を通過する通過車両を説明する図である。 第１の実施形態の車両のハードウェア構成を示すブロック図である。 第１の実施形態の制御装置におけるＣＰＵの機能構成の例を示すブロック図である。 第１の実施形態のサーバのハードウェア構成を示すブロック図である。 第１の実施形態のエッジサーバであって、（Ａ）はストレージに記憶されたデータの例を示すブロック図であり、（Ｂ）はＣＰＵの機能構成の例を示すブロック図である。 第１の実施形態のセンタサーバであって、（Ａ）はストレージに記憶されたデータの例を示すブロック図であり、（Ｂ）はＣＰＵの機能構成の例を示すブロック図である。 第１の実施形態の制御装置において実行される画像提供処理の流れを示すフローチャートである。 第１の実施形態のエッジサーバにおいて実行される画像選択処理の流れを示すフローチャートである。 第１の実施形態のセンタサーバにおいて実行される情報化処理の流れを示すフローチャートである。 第１の実施形態のセンタサーバにおいて実行される通知処理の流れを示すフローチャートである。 通知処理が実行される状態を説明する図である。 第２の実施形態のセンタサーバであって、ＣＰＵの機能構成の例を示すブロック図である。
［第１の実施形態］
図１に示されるように、本実施形態の画像処理システム１０は、複数の車両１２と、複数のサーバ３０と、を含んで構成されている。各車両１２には制御装置２０が搭載されている。サーバ３０は、中継装置としてのエッジサーバ３２と、処理装置としてのセンタサーバ３４と、を含んでいる。エッジサーバ３２は制御装置２０とセンタサーバ３４との通信を中継する機能を有している。
図２に示されるように、車両１２は、走行路Ｔを走行する通過車両１２Ａと、通過車両１２Ａの周辺を走行する周辺車両１２Ｂ（図１２参照）とを有している。ここで、通過車両１２Ａは障害物Ｏが何かが特定される前に障害物Ｏを通過する車両１２とし、周辺車両１２Ｂは障害物Ｏが特定された後に障害物Ｏに接近した車両１２とする。
本実施形態では、通過車両１２Ａが本発明の「車両」に相当し、周辺車両１２Ｂが本発明の「他の車両」に相当する。なお、周辺車両１２Ｂは、走行路Ｔにおいて通過車両１２Ａと同じ車線を走行する後続車両に限らず、対向車線を走行する対向車両や、走行路Ｔに接続される他の走行路を走行する車両を含む。
各車両１２の制御装置２０とエッジサーバ３２とは、ネットワークＮ１を介して相互に接続されている。また、エッジサーバ３２とセンタサーバ３４とは、ネットワークＮ２を介して相互に接続されている。
なお、図１の画像処理システム１０は、一台のセンタサーバ３４に対して二台のエッジサーバ３２が接続され、各エッジサーバ３２に対して３台の車両１２がそれぞれ接続されているが、この限りではない。すなわち、一台のセンタサーバ３４に対しては、一又は複数台のエッジサーバ３２が接続可能であり、各エッジサーバ３２に対しては、それぞれ一又は複数台の車両１２（詳しくは、制御装置２０）が接続可能である。
（車両）
図３に示されるように、本実施形態に係る車両１２は、制御装置２０と、撮像装置としてのカメラ２２と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機２４と、報知装置２６とを含んで構成されている。
制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅ及び入出力Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、バス２０Ｇを介して相互に通信可能に接続されている。
ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。
ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、制御プログラム２００及び画像データ２１０が記憶されている。制御プログラム２００は、後述する画像提供処理を行うためのプログラムである。画像データ２１０はカメラ２２により撮像された撮像画像に係る画像情報が記憶されている。なお、画像データ２１０は、制御装置２０に接続されたＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等に記憶してもよい。
ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。
通信Ｉ／Ｆ２０Ｅは、エッジサーバ３２と通信するためにネットワークＮ１に接続するためのインタフェースである。エッジサーバ３２との通信には、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。
入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるカメラ２２、ＧＰＳ受信機２４、及び報知装置２６と通信するためのインタフェースである。
カメラ２２は、例えば、車両１２のフロントウインドウの上部に固定され、車両１２の前方を撮像する。なお、カメラ２２は、車両１２の前方を撮像するだけでなく、車両１２の後方や車室内を撮像してもよい。
ＧＰＳ受信機２４は、複数のＧＰＳ衛星からＧＰＳ信号を受信して車両１２の現在位置を測位する。
報知装置２６は、車両１２の車室内に設けられ、運転者に対して障害物Ｏに係る情報を報知する装置である。報知装置２６は、メータユニット又はカーナビケーションシステムであってもよいし、独立した装置であってもよい。
図４は、制御装置２０の機能構成の例を示すブロック図である。各機能構成は、ＣＰＵ２０ＡがＲＯＭ２０Ｂに記憶された制御プログラム２００を読み出し、これを実行することによって実現される。本実施形態のＣＰＵ２０Ａは、制御プログラム２００の実行により取得部２５０、送信部２６０、通知受付部２７０及び報知部２８０として機能する。
取得部２５０は、カメラ２２において撮像された撮像画像に係る画像情報、ＧＰＳ受信機２４が検知した車両１２の位置情報、及び現在時刻等を取得する機能を有している。取得部２５０は、カメラ２２が走行路Ｔ上の障害物Ｏを撮像した場合、運転者による撮像指示（例えば、撮像用のスイッチの操作）を契機に画像情報、位置情報、及び現在時刻等の情報を取得する。なお、本実施形態では、通過車両１２Ａの位置情報が本発明の「位置情報」に相当し、周辺車両１２Ｂの位置情報が本発明の「他の位置情報」に相当する。また、本実施形態において取得される撮像画像は動画でも静止画でもよい。
送信部２６０は、取得部２５０において取得された画像情報をエッジサーバ３２に送信する機能を有している。ここで、送信部２６０において送信される画像情報には、画像情報に対応する付属情報が付与されている。この付属情報には、撮像画像が撮像されたときの車両１２の位置情報、走行する走行路Ｔの情報、走行方向、走行時刻が含まれている。
通知受付部２７０は、センタサーバ３４から送信された後述する危険情報を受け付ける機能を有している。危険情報は、車両１２が周辺車両１２Ｂである場合に、通過車両１２Ａにおいて撮像された撮像画像に基づいて特定された障害物Ｏに接近した場合にセンタサーバ３４からエッジサーバ３２を経由して通知される。
報知部２８０は、センタサーバ３４から受け付けた危険情報を基に、障害物Ｏに接近している旨を運転者に対して報知する機能を有している。報知部２８０は、危険情報を受け付けたタイミングで報知装置２６を作動させる。
（サーバ）
図５に示されるようにサーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ、及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、バス３０Ｇを介して相互に通信可能に接続されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ及びＲＡＭ３０Ｃの機能は、上述した制御装置２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ及びＲＡＭ２０Ｃと同じである。
ストレージ３０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。
通信Ｉ／Ｆ３０Ｅは、制御装置２０や他のサーバ３０と通信するためのインタフェースである。エッジサーバ３２の通信Ｉ／Ｆ３０Ｅは、ネットワークＮ１及びネットワークＮ２の双方に接続可能なインタフェースである。なお、ネットワークＮ２は専用回線であってもよいし、５Ｇ、ＬＴＥ等の通信規格による回線であってもよい。また、センタサーバ３４の通信Ｉ／Ｆ３０Ｅは、少なくともネットワークＮ２に接続可能なインタフェースである。
ＣＰＵ３０Ａは、ストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。本実施形態のＣＰＵ３０Ａは、エッジサーバ３２とセンタサーバ３４とで異なる機能が実現される。
（エッジサーバ）
本実施形態のエッジサーバ３２には、図６（Ａ）に示されるように、ストレージ３０Ｄに中継プログラム３００及び画像データ３１０が記憶されている。中継プログラム３００は、後述する画像選択処理を行うためのプログラムである。エッジサーバ３２のＣＰＵ３０Ａは、中継プログラム３００を実行することで、図６（Ｂ）に示す受信部３５０、算出部３５２、選択部３５４及び送信部３５６として機能する。
受信部３５０は、複数の制御装置２０から送信された、付属情報が付与された画像情報を受信する機能を有している。
算出部３５２は、既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する機能を有している。基準画像に係る画像情報は、ストレージ３０Ｄにおける画像データ３１０に記憶されている。基準画像は、通過車両１２Ａから取得した撮像画像のうち、当該撮像画像の撮像場所において最初に撮像された画像である。ここで、類似度の算出は、公知の方法が用いられる。例えば、撮像画像の特徴点及び基準画像の特徴点をそれぞれ抽出し、両者の特徴点の合致度合いから類似度を算出することができる。
選択部３５４は、算出部３５２により算出された類似度を予め設定された閾値と対比してセンタサーバ３４に送信する撮像画像を選択する機能を有している。具体的に、選択部３５４は、閾値を下回る類似度に係る画像情報を「センタサーバ３４に送信する情報」として選択し、送信部３５６に提供する。また、選択部３５４は、閾値以上の類似度に係る画像情報を「破棄する情報」として選択し、ＲＡＭ３０Ｃから消去する。さらに、選択部３５４は、新たに基準画像が設定された場合、当該基準画像を画像データ３１０に記憶する。
送信部３５６は、選択部３５４により選択された画像情報をセンタサーバ３４に送信する機能を有している。送信部３５６において送信される画像情報には、画像情報に対応する付属情報が付与されている。
（センタサーバ）
本実施形態のセンタサーバ３４には、図７（Ａ）に示されるように、ストレージ３０Ｄに処理プログラム３２０、学習済みモデル３３０、及び障害物データベース３４０が記憶されている。処理プログラム３２０は、後述する情報化処理及び通知処理を行うためのプログラムである。センタサーバ３４のＣＰＵ３０Ａは、処理プログラム３２０を実行することで、図７（Ｂ）に示す受信部３６０、画像処理部３６２、判定部３６４及び通知部３６６として機能する。
受信部３６０は、一又は複数のエッジサーバ３２から送信された、付属情報が付与された画像情報を受信する機能を有している。
処理部としての画像処理部３６２は、閾値を下回る類似度の撮像画像に対して障害物Ｏを特定する画像処理を行う機能を有している。画像処理では、予め既知の障害物を教師データとして機械学習を行った学習済みモデル３３０に対して画像情報を入力することで実行される。画像処理の結果、障害物Ｏが何であるかが特定できた場合、障害物情報として障害物Ｏの形状や大きさの情報、及び位置情報等が障害物データベース３４０に記憶される。
判定部３６４は、周辺車両１２Ｂが障害物Ｏに近づいたかを判定する機能を有している。判定部３６４は、障害物Ｏに付与された位置情報から所定距離（例えば、距離Ｒの範囲内、図１２参照）に周辺車両１２Ｂが存在する場合に障害物Ｏに近づいたと判定する。
通知部３６６は、周辺車両１２Ｂに向けて危険情報を通知する機能を有している。本実施形態の通知部３６６は、判定部３６４により障害物Ｏに近づいたと判定された場合に、周辺車両１２Ｂに向けて危険情報を通知する。つまり、センタサーバ３４は、エッジサーバ３２を経由して周辺車両１２Ｂの制御装置２０に危険情報を送信する。
（制御の流れ）
本実施形態の画像処理システム１０において実行される処理の流れの例を図８～図１１のフローチャートを用いて説明する。
まず、走行路Ｔに障害物Ｏが落下している場合に障害物Ｏを回避する等して通過した通過車両１２Ａ（図２参照）の制御装置２０において実行される画像提供処理の流れは以下のとおりである。
図８のステップＳ１００において、ＣＰＵ２０Ａはカメラ２２から撮像画像を取得する。
ステップＳ１０１において、ＣＰＵ２０Ａは、付属情報として車両１２（通過車両１２Ａ）の位置情報、走行する走行路Ｔの情報、走行方向、走行時刻を撮像画像に対して付与する。
ステップＳ１０２において、ＣＰＵ２０Ａは付属情報が付与された画像情報をエッジサーバ３２に向けて送信する。そして、画像提供処理は終了する。
次に、エッジサーバ３２において実行される画像選択処理の流れは以下のとおりである。
図９のステップＳ２００において、ＣＰＵ３０Ａは制御装置２０から画像情報を受信したか否かの判定を行う。ＣＰＵ３０Ａは画像情報を受信したと判定した場合、ステップＳ２０１に進む。一方、ＣＰＵ３０Ａは画像情報を受信していないと判定した場合、画像選択処理を終了させる。
ステップＳ２０１において、ＣＰＵ３０Ａは類似度を算出する撮像画像に対して前処理を実行する。具体的には、ＣＰＵ３０Ａは撮像画像に対して領域分割やエッジ検出を行う。
ステップＳ２０２において、ＣＰＵ３０Ａは前処理を実行した撮像画像について、基準画像に対する類似度を算出する。
ステップＳ２０３において、ＣＰＵ３０Ａは類似度が低いか否かの判定を行う。具体的には、算出された類似度が、予め設定された閾値を下回るか否かを判定する。なお、対比の対象となる基準画像が無い場合、つまり、障害物Ｏを最初に撮像した撮像画像についても、ＣＰＵ３０Ａは類似度が低いと判定する。ＣＰＵ３０Ａは類似度が低いと判定した場合、つまり、類似度が閾値を下回ると判定した場合、ステップＳ２０４に進む。一方、ＣＰＵ３０Ａは類似度が低くないと判定した場合、つまり、類似度が閾値以上であると判定した場合、ステップＳ２０６に進む。
ステップＳ２０４において、ＣＰＵ３０Ａは類似度が低いとされた撮像画像に係る画像情報を画像データ３１０に記憶する。ここで、障害物Ｏを最初に撮像した撮像画像である場合、当該撮像画像は基準画像として画像データ３１０に記憶される。
ステップＳ２０５において、ＣＰＵ３０Ａは類似度が低いとされた撮像画像に係る画像情報をセンタサーバ３４に対して送信する。そして、画像選択処理は終了する。
ステップＳ２０６において、ＣＰＵ３０Ａは類似度が低くないとされた撮像画像を破棄する。つまり、ＣＰＵ３０Ａは、ＲＡＭ２０Ｃにある当該撮像画像に係る画像情報を画像データ３１０に記憶させずに消去する。そして、画像選択処理は終了する。
なお、エッジサーバ３２において実行される画像選択処理は、センタサーバ３４から障害物情報を受信した時点で終了する。障害物Ｏが特定できたため、画像処理を行うためにセンタサーバ３４に向けて送信する撮像画像を選択する必要が無くなるからである。
次に、センタサーバ３４において実行される情報化処理の流れは以下のとおりである。
図１０のステップＳ３００において、ＣＰＵ３０Ａはエッジサーバ３２から画像情報を受信したか否かの判定を行う。ＣＰＵ３０Ａは画像情報を受信したと判定した場合、ステップＳ３０１に進む。一方、ＣＰＵ３０Ａは画像情報を受信していないと判定した場合、情報化処理を終了させる。
ステップＳ３０１において、ＣＰＵ３０Ａは画像処理を実行する。すなわち、ＣＰＵ３０Ａは学習済みモデル３３０に画像情報を入力し、障害物Ｏの特定を試みる。
ステップＳ３０２において、ＣＰＵ３０Ａは障害物Ｏを特定したか否かの判定を行う。ＣＰＵ３０Ａは障害物Ｏを特定したと判定した場合、ステップＳ３０３に進む。一方、ＣＰＵ３０Ａは障害物Ｏを特定していない判定した場合、情報化処理を終了させる。
ステップＳ３０３において、ＣＰＵ３０Ａは障害物情報を保存する。具体的にＣＰＵ３０Ａは障害物情報として、特定された障害物Ｏの種類や大きさに係る情報、及び位置情報を障害物データベース３４０に記憶する。そして、情報化処理は終了する。
一方、障害物Ｏが特定された後、センタサーバ３４において実行される通知処理の流れは以下のとおりである。
図１１のステップＳ３１０において、ＣＰＵ３０Ａは周辺車両１２Ｂの位置情報を取得する。
ステップＳ３１１において、ＣＰＵ３０Ａは周辺車両１２Ｂが障害物Ｏに接近したか否かの判定を行う。例えば、図１２に示されるように、走行路Ｔ上に角材、段ボール箱、コンテナボックス等、車両１２の走行に支障が生じる可能性がある障害物Ｏがある場合、当該障害物Ｏから距離Ｒの範囲内に入った周辺車両１２Ｂがあるか否かの判定が行われる。ＣＰＵ３０Ａは周辺車両１２Ｂが障害物Ｏに接近したと判定した場合、図１１のステップＳ３１２に進む。一方、ＣＰＵ３０Ａは周辺車両１２Ｂが障害物Ｏに接近していないと判定した場合、通知処理を終了させる。
ステップＳ３１２において、ＣＰＵ３０Ａは障害物Ｏに接近した周辺車両１２Ｂに対して、危険情報として障害物情報を通知する。そして、通知処理は終了する。なお、本実施形態のセンタサーバ３４は、エッジサーバ３２を経由して周辺車両１２Ｂの制御装置２０に障害物情報を送信するが、エッジサーバ３２を介さずに制御装置２０に対して障害物情報を直接送信してもよい。
以上の通知処理により、障害物情報を受信した周辺車両１２Ｂでは、運転者に向けて障害物Ｏに対する注意喚起が行われる。
（まとめ）
本実施形態の画像処理システム１０は、車両１２が搭載する制御装置２０と、画像処理が実行されるセンタサーバ３４と、制御装置２０及びセンタサーバ３４を中継するエッジサーバ３２と、により構成されている。本実施形態では、通過車両１２Ａが走行路Ｔ上の障害物Ｏを撮像すると、エッジサーバ３２が複数の通過車両１２Ａの制御装置２０から画像情報を受信し、エッジサーバ３２の算出部３５２が撮像画像の類似度を算出する。そして、センタサーバ３４では、画像処理部３６２が閾値を下回る類似度の撮像画像に対して画像処理を実行して障害物Ｏを特定する。
ここで、撮像画像の類似度は、基準画像に対する値として算出される。そして、エッジサーバ３２では、閾値以上の類似度の撮像画像を基準画像に類似する画像として扱い、センタサーバ３４に送信しないように構成した。すなわち、基準画像に類似する画像はセンタサーバ３４で受信されず、画像処理の実行が行われない。
以上のように、本実施形態によれば、車両１２における撮像画像を基に障害物Ｏを特定する画像処理を行う場合に、センタサーバ３４において処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
また、本実施形態によれば、エッジサーバ３２において、類似度に基づいてセンタサーバ３４に送信される撮像画像が選択されるため、エッジサーバ３２とセンタサーバ３４との間のネットワークＮ２における通信量を低減することができる。
また、本実施形態によれば、エッジサーバ３２において基準画像に類似するとされた画像が破棄され、ストレージ３０Ｄに保存されないため、エッジサーバ３２のリソースの消費を抑制することができる。
さらに、本実施形態によれば、障害物Ｏの位置情報に基づいて周辺車両１２Ｂに対して走行路Ｔ上の障害物Ｏに対する注意を喚起することができる。
［第２の実施形態］
第１の実施形態ではエッジサーバ３２において画像選択処理が実行されるように構成されていたが、第２の実施形態は、エッジサーバ３２を廃し、センタサーバ３４において画像選択処理の実行を可能としている。以下、第１の実施形態との相違点について説明する。なお、第１の実施形態と同一の構成には同一の符号を付しており、説明は割愛する。
本実施形態の画像処理システム１０は、複数の車両１２と、各車両１２に搭載された制御装置２０と、センタサーバ３４と、により構成されている。
図１３は、本実施形態のセンタサーバ３４における機能構成の例を示すブロック図である。図１３に示されるように、ＣＰＵ３０Ａは受信部３６０、算出部３５２、選択部３５４、画像処理部３６２、判定部３６４及び通知部３６６を有している。各機能構成は、ストレージ３０Ｄから処理プログラム３２０を読み出し、これを実行することによって実現される。
本実施形態のセンタサーバ３４では、制御装置２０から画像情報を受信した場合、まず画像選択処理が実行され、続いて情報化処理が実行される。そして、障害物Ｏが特定された後、通知処理が実行される。
本実施形態においても第１の実施形態と同様に、車両１２における撮像画像を基に障害物Ｏを特定する画像処理を行う場合に、センタサーバ３４において処理の対象となる撮像画像を低減でき、処理負荷を低減できる。
［備考］
上記各実施形態では、通過車両１２Ａから取得した撮像画像のうち、当該撮像画像の撮像場所において最初に撮像された画像を基準画像としたが、この限りではない。例えば、通過車両１２Ａのカメラ２２による撮像画像のうち、最も画質が良い撮像画像を基準画像としてもよい。また例えば、各通過車両１２Ａのうち、解像度が最も良いカメラ２２で撮像した撮像画像を基準画像としてもよい。
また、類似度を算出する際に対比する基準画像よりも画質の良い撮像画像を受信した場合は、当該撮像画像を新たな基準画像として更新してもよい。
なお、上記各実施形態でＣＰＵ２０Ａ、３０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、制御装置２０において制御プログラム２００は、ＲＯＭ２０Ｂに予め記憶されている。また例えば、エッジサーバ３２における中継プログラム３００、及びセンタサーバ３４における処理プログラム３２０は、それぞれのサーバ３０のストレージ３０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
１０ 画像処理システム
１２ 車両
１２Ａ 通過車両（車両）
１２Ｂ 周辺車両（他の車両）
２０ 制御装置
２２ カメラ（撮像装置）
３２ エッジサーバ（中継装置）
３４ センタサーバ（処理装置）
２６０ 送信部
３２０ 処理プログラム（プログラム）
３５０ 受信部
３５２ 算出部
３５６ 送信部
３６０ 受信部
３６２ 画像処理部（処理部）
３６４ 判定部
３６６ 通知部
Ｏ 障害物

Claims (5)

  1. 車両に設けられた撮像装置と、
    前記撮像装置で撮像された撮像画像を画像情報として前記車両から送信する送信部と、
    複数の前記車両から送信された画像情報を受信する受信部と、
    既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出部と、
    閾値を下回る類似度の撮像画像に対して障害物を特定する画像処理を行う処理部と、
    を備え、
    前記基準画像は、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像であり、
    前記算出部は、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を前記受信部が新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新し、
    前記送信部を有する前記車両に搭載された制御装置と、
    複数の前記制御装置から送信された画像情報を受信する前記受信部と、前記算出部とを有し、前記閾値を下回る類似度に係る画像情報を送信する中継装置と、
    前記中継装置から送信された画像情報を受信すると共に、前記処理部を有する処理装置と、
    を備え、
    前記中継装置は、
    障害物を特定したことに基づいて前記処理装置から送信される障害物情報を受信した時点で、前記受信部による画像情報の受信及び前記算出部による画像情報に係る撮像画像の類似度の算出を終了する、
    画像処理システム。
  2. 車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信部と、
    既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出部と、
    閾値を下回る類似度の撮像画像に対して障害物を特定する画像処理を行う処理部と、
    を備え、
    前記基準画像は、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像であり、
    前記算出部は、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を前記受信部が新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新し、
    前記受信部は、前記処理部が障害物を特定したことに基づいて、前記車両からの画像情報の受信を終了し、
    前記算出部は、前記処理部が障害物を特定したことに基づいて、画像情報に係る撮像画像の類似度の算出を終了する、
    処理装置。
  3. 車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信部と、
    既に受信されている画像情報に係る基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出部と、
    閾値を下回る類似度に係る画像情報を、障害物を特定する画像処理を行う処理装置に向けて送信する送信部と、
    を備え、
    前記基準画像は、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像であり、
    前記算出部は、既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を前記受信部が新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新し、
    前記受信部は、障害物を特定したことに基づいて前記処理装置から送信される障害物情報を受信した時点で、前記車両からの画像情報の受信を終了し、
    前記算出部は、前記障害物情報を受信した時点で、画像情報に係る撮像画像の類似度の算出を終了する、
    中継装置。
  4. 車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信ステップと、
    既に受信されている画像情報に係る、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像である基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出ステップと、
    閾値を下回る類似度の撮像画像に対して障害物を特定する画像処理を行う処理ステップと、
    既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新する更新ステップと、
    障害物を特定したことに基づいて、前記車両からの画像情報の受信及び画像情報に係る撮像画像の類似度の算出を終了する終了ステップと、
    を含む処理をコンピュータに実行させるためのプログラム。
  5. 車両に設けられた撮像装置で撮像された撮像画像に係る画像情報を前記車両から受信する受信ステップと、
    既に受信されている画像情報に係る、前記撮像装置で撮像された撮像画像のうち、最も画質が良い撮像画像である基準画像に対して、新たに受信された画像情報に係る撮像画像の類似度を算出する算出ステップと、
    閾値を下回る類似度に係る画像情報を、障害物を特定する画像処理を行う処理装置に向けて送信する送信ステップと、
    既に受信されている画像情報に係る前記基準画像よりも画質の良い撮像画像の画像情報を新たに受信した場合、新たに受信された画像情報に係る撮像画像を新たな前記基準画像として更新する更新ステップと、
    障害物を特定したことに基づいて前記処理装置から送信される障害物情報を受信した時点で、前記車両からの画像情報の受信及び画像情報に係る撮像画像の類似度の算出を終了する終了ステップと、
    を含む処理をコンピュータに実行させるためのプログラム。
JP2019208883A 2019-11-19 2019-11-19 画像処理システム、処理装置、中継装置及びプログラム Active JP7238738B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019208883A JP7238738B2 (ja) 2019-11-19 2019-11-19 画像処理システム、処理装置、中継装置及びプログラム
CN202011259000.5A CN112908031A (zh) 2019-11-19 2020-11-12 图像处理***、处理装置、中继装置以及记录介质
US17/096,240 US11301699B2 (en) 2019-11-19 2020-11-12 Image processing system, processing device, relay device, and recording medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019208883A JP7238738B2 (ja) 2019-11-19 2019-11-19 画像処理システム、処理装置、中継装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021081996A JP2021081996A (ja) 2021-05-27
JP7238738B2 true JP7238738B2 (ja) 2023-03-14

Family

ID=75909516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019208883A Active JP7238738B2 (ja) 2019-11-19 2019-11-19 画像処理システム、処理装置、中継装置及びプログラム

Country Status (3)

Country Link
US (1) US11301699B2 (ja)
JP (1) JP7238738B2 (ja)
CN (1) CN112908031A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006091974A (ja) 2004-09-21 2006-04-06 Sumitomo Electric Ind Ltd 交通流計測方法およびその装置
JP2017163374A (ja) 2016-03-10 2017-09-14 株式会社デンソー 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム
JP2019022205A (ja) 2017-07-11 2019-02-07 日本電信電話株式会社 センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム
JP2019040539A (ja) 2017-08-29 2019-03-14 アルパイン株式会社 走行支援システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3688939B2 (ja) * 1999-06-10 2005-08-31 株式会社日立製作所 情報提供方法及びその実施装置並びにその処理プログラムを記録した記録媒体
JP2004191093A (ja) * 2002-12-09 2004-07-08 Yamaha Corp 交通危険個所通知システム
JP4895931B2 (ja) * 2007-06-27 2012-03-14 株式会社エヌ・ティ・ティ・ドコモ 交通事故防止システム、サーバ装置及び交通事故防止方法
JP4913683B2 (ja) * 2007-07-03 2012-04-11 株式会社エヌ・ティ・ティ・ドコモ 危険度管理システム、サーバ装置及び危険度管理方法
JP4760902B2 (ja) * 2008-12-17 2011-08-31 ソニー株式会社 情報処理装置および方法
US20110210835A1 (en) * 2010-03-01 2011-09-01 Denso Corporation Emergency notification system and method for notifying emergency
JP2013149191A (ja) * 2012-01-23 2013-08-01 Masahiro Watanabe 交通安全支援システム
EP2839770A4 (en) * 2012-04-18 2015-12-30 Olympus Corp Image processing device, program and image processing method
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
KR20150033810A (ko) * 2013-09-24 2015-04-02 삼성에스디에스 주식회사 Ｗａｖｅ 기반의 교통정보 수집 유효성과 교통정보 제공의 적합성 처리방법
JPWO2015107672A1 (ja) * 2014-01-17 2017-03-23 富士通株式会社 画像処理プログラム、画像処理方法、および画像処理装置
US20160217333A1 (en) * 2015-01-26 2016-07-28 Ricoh Company, Ltd. Information processing apparatus and information processing system
JP6500724B2 (ja) * 2015-09-24 2019-04-17 株式会社デンソー 危険情報報知システム、サーバ及びコンピュータプログラム
CN105389566B (zh) * 2015-11-13 2018-09-11 广东欧珀移动通信有限公司 指纹识别方法、指纹模板的更新方法、装置和移动终端
JP2017174244A (ja) 2016-03-25 2017-09-28 株式会社日立製作所 情報提供装置
JP6493434B2 (ja) * 2017-03-02 2019-04-03 株式会社デンソー 位置情報共有システム
WO2019000417A1 (en) * 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS OF GENERATING CARDS
JP6958252B2 (ja) * 2017-11-07 2021-11-02 トヨタ自動車株式会社 遠隔監視システム及び自律走行車両並びに遠隔監視方法
CN107958220B (zh) * 2017-12-06 2021-03-12 杭州魔点科技有限公司 一种基于人脸识别的人脸库压缩处理方法及其智能装置
US10916135B2 (en) * 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
CN110400478B (zh) * 2019-02-25 2022-05-06 北京嘀嘀无限科技发展有限公司 一种路况通知方法及装置
CN110084829A (zh) * 2019-03-12 2019-08-02 上海阅面网络科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006091974A (ja) 2004-09-21 2006-04-06 Sumitomo Electric Ind Ltd 交通流計測方法およびその装置
JP2017163374A (ja) 2016-03-10 2017-09-14 株式会社デンソー 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム
JP2019022205A (ja) 2017-07-11 2019-02-07 日本電信電話株式会社 センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム
JP2019040539A (ja) 2017-08-29 2019-03-14 アルパイン株式会社 走行支援システム

Also Published As

Publication number Publication date
JP2021081996A (ja) 2021-05-27
CN112908031A (zh) 2021-06-04
US20210150229A1 (en) 2021-05-20
US11301699B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN112997227B (zh) 交通辅助***、服务器及方法、车载装置及其动作方法、记录介质、计算机及半导体集成电路
CN107727106B (zh) 动态地图构成方法、动态地图构成***以及移动终端
JP7009834B2 (ja) 収集システム及びセンタ
CN112908032B (zh) 信息收集***、中继装置、收集装置以及记录介质
US20210287035A1 (en) Image and lidar segmentation for lidar-camera calibration
US10759444B2 (en) Resource optimization in vehicles
US20180224296A1 (en) Image processing system and image processing method
CN111417561B (zh) 实现移动运输工具的自动远程控制的服务器及移动运输工具的自动远程控制方法
CN110648539B (zh) 车载装置以及控制方法
CN112712608B (zh) 用于通过车辆收集性能数据的***和方法
JP2020149323A (ja) 情報処理装置及び情報処理装置を備える自動走行制御システム
US20200035093A1 (en) Systems and methods for managing vehicles using pattern recognition
JP7238738B2 (ja) 画像処理システム、処理装置、中継装置及びプログラム
CN109691063B (zh) 用于接收、处理和传输数据的方法和设备
WO2021000787A1 (zh) 道路几何识别方法及装置
US11373414B2 (en) Image processing system, image processing device, image processing method and program storage medium
JP7187784B2 (ja) 車両情報処理システム、管理装置、車両情報処理方法および車両情報処理プログラム
KR101875517B1 (ko) 영상 처리 방법 및 장치
CN110995981B (zh) 图像处理装置及其控制方法、非暂时性可读记录介质、信息处理***
JP7271638B1 (ja) 通信装置及び通信方法
US20240177600A1 (en) Information processing device and non-transitory storage medium
JP2023072448A (ja) 制御装置、制御システム、制御方法、制御プログラム
JP2021076938A (ja) 情報処理装置
CN118366327A (zh) 信息处理装置、车辆、以及***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151