JP2020183166A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2020183166A
JP2020183166A JP2019087844A JP2019087844A JP2020183166A JP 2020183166 A JP2020183166 A JP 2020183166A JP 2019087844 A JP2019087844 A JP 2019087844A JP 2019087844 A JP2019087844 A JP 2019087844A JP 2020183166 A JP2020183166 A JP 2020183166A
Authority
JP
Japan
Prior art keywords
camera
vehicle
image
dimensional information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019087844A
Other languages
English (en)
Inventor
亮平 須田
Ryohei Suda
亮平 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2019087844A priority Critical patent/JP2020183166A/ja
Priority to US16/833,821 priority patent/US11132817B2/en
Priority to EP20171822.8A priority patent/EP3736768B1/en
Priority to CN202010371180.XA priority patent/CN111918020A/zh
Publication of JP2020183166A publication Critical patent/JP2020183166A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】後方車両が至近距離まで近づいたときでも、後方車両の３次元情報を用いて、第１のカメラで撮影した画像と第２のカメラで撮影した画像とを合成することを容易にする。【解決手段】画像処理装置は、第１〜３のカメラが撮影した画像を取得する画像取得部と、第１のカメラで撮影された画像の死角領域に第２のカメラで撮影された死角領域画像を合成する合成部と、を備えた画像処理装置であって、第２のカメラと第３のカメラとのステレオ視により後方車両の３次元情報を取得する３次元情報取得部と、後方車両の全体がステレオ視の範囲内にあるときに後方車両の車両形状情報を保持する保持部と、を備え、後方車両の一部がステレオ視の範囲外になった場合、３次元情報取得部が取得する３次元情報と保持部が保持する車両形状情報とを用いて、後方車両の一部に対応する３次元情報を決定し、画像を合成する。【選択図】図８

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
自動車等の車両に搭載されるカメラモニタリングシステム（CMS: Camera Monitoring System）において、サイドカメラの映像の自車両部分に、リアカメラの映像を合成して、車体が透けているように見せる手法（以下、シースルービューと呼ぶ）がある。
例えば、後方を撮影するサイドカメラで撮影した画像と、広角で後方を撮影するリアカメラで撮影した画像とを、後方車両までの距離の情報に基づいて視点変換して合成し、合成された画像を表示する車両周辺監視装置が知られている（例えば、特許文献１参照）。
特開２０１６−１７５５８６号公報
このようなシースルービューにおいて、サイドカメラで撮影した画像と、広角のリアカメラで撮影した画像とをきれいに合成するためには、後方車両の３次元情報（例えば、後方車両上の複数の点までの距離等）を用いて２つの画像を合成することが望ましい。
しかし、特許文献１に開示された技術では、サイドカメラで撮影した画像とリアカメラで撮影した画像とに基づいて、後方車両との間の距離を測定しているので、後方車両がサイドカメラの死角に入り、後方車両の３次元情報を取得することは困難である。
また、別の方法として、後方を撮影する広角カメラ（駐車時のリアモニタ用等）と、通常のカメラ（ルームモニタの置き換え用等）とを利用して、後方車両の３次元情報を取得する方法が考えられる。しかし、この方法でも、通常のカメラは、例えば、後方車両が至近距離まで近づいてきたときには、後方車両の一部が死角に入るため、後方車両の全体の３次元情報を取得することは困難である。
このように、従来の技術では、後方車両が至近距離まで近づいたときに、後方車両の３次元情報を用いて、サイドカメラで撮影した画像とリアカメラで撮影した画像とを合成することには困難を伴っていた。
なお、このような問題は、サイドカメラとリアカメラに限られず、撮影範囲に車両の一部が含まれる第１のカメラの画像と、前記第１のカメラの死角を撮影する第２のカメラの画像とを、後方車両の３次元情報を用いて合成する画像処理システムに、共通に存在する。
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、後方車両が至近距離まで近づいたときでも、後方車両の３次元情報を用いて、第１のカメラで撮影した画像と第２のカメラで撮影した画像とを合成することを容易にする。
上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラが撮影した画像と、前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラが撮影した画像とを取得する画像取得部と、前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する合成部と、を備えた画像処理装置であって、前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得部と、前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持部と、を備え、前記合成部は、前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得部が取得する前記３次元情報と、前記保持部が保持する前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定し、決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する。
本発明の一実施形態によれば、後方車両が至近距離まで近づいたときでも、後方車両の３次元情報を用いて、第１のカメラで撮影した画像と第２のカメラで撮影した画像とを合成することが容易になる。
一実施形態に係る画像処理システムのシステム構成の一例を示す図である。 仮想投影面を用いたシースルービューについて説明するための図（１）である。 仮想投影面を用いたシースルービューについて説明するための図（２）である。 本発明の一実施形態に係るシースルービューについて説明するための図である。 ３次元情報を用いたシースルービューの課題について説明するための図である。 一実施形態に係る画像処理装置の処理の概要について説明するための図である。 一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 一実施形態に係る画像処理装置の機能構成の例を示す図である。 一実施形態に係る画像処理装置の処理の例を示すフローチャートである。 一実施形態に係る３次元情報の取得処理の例を示すフローチャートである。
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
＜システム構成＞
図１は、一実施形態に係る画像処理システムのシステム構成の一例を示す図である。図１の例では、画像処理システム１は、自動車等の車両１０に搭載される、画像処理装置１００、第１のカメラ１０１、第２のカメラ１０２、及び第３のカメラ１０３等を含む。
画像処理装置１００は、例えば、自動車等の車両１０に搭載されるカメラモニタリングシステム（CMS: Camera Monitoring System）を実現する情報処理装置である。画像処理装置１００は、車両１０に予め搭載された車載ＥＣＵ（Electronic Control Unit）であっても良いし、後から車両１０に搭載可能な情報処理装置であっても良い。
第１のカメラ１０１は、撮影範囲に車両１０の車体の一部が含まれるように配置され、車両の後方の画像（映像）を撮影して、画像処理装置に出力するカメラである。例えば、第１のカメラ１０１は、図２（Ａ）に例示されるように、車両１０の側方に配置され、図２（Ｂ）に示すように、車両１０の車体２１１の一部が含まれる後方の画像２１０を撮影するサイドカメラ等である。
第２のカメラ１０２、及び第３のカメラ１０３は、第１のカメラ１０１で撮影された後方の画像２１０において、車体２１１の一部により死角となる領域（以下、死角領域と呼ぶ）を含む画像（映像）を撮影して、画像処理装置に出力するカメラである。
第２のカメラ１０２は、例えば、図２（Ａ）に例示されるように、車両１０の後方に配置され、図２（Ｃ）に示すように、第１のカメラ１０１より広い画角で、後方の画像２２０を撮影する広角カメラや魚眼カメラ等を適用することができる。
第３のカメラ１０３は、例えば、車両１０の後方等に配置され、第２のカメラ１０２より狭い画角で車両１０の後方の画像を撮影するカメラである。第３のカメラ１０３は、例えば、ルームミラーの置き換え用の画像を撮影するカメラ等を適用することができる。第３のカメラ１０３は、例えば、第２のカメラと所定の距離だけ離れて配置され、第２のカメラが撮影した画像と、第３のカメラが撮影した画像とを用いて、ステレオ視により、距離を測定するため等に用いられる。
画像処理装置１００は、第１のカメラ１０１で撮影された画像において、車体２１１の一部より死角となる死角領域に、第２のカメラ１０２で撮影された画像のうち、死角領域に対応する死角領域画像を合成して、後方の画像を表示する表示部に表示させる。これにより、画像処理装置１００は、車両１０に搭載されるカメラモニタリングシステムにおいて、例えば、サイドカメラの映像の自車両部分に、リアカメラの映像を合成して、車体が透けているように見せるシースルービューを実現する。
なお、図１に示す画像処理システム１のシステム構成は一例である。例えば、第１のカメラ１０１、第２のカメラ１０２、及び第３のカメラのうち、少なくとも一部は、画像処理装置１００に含まれていても良い。また、サイドカメラ、リアカメラ、ルームミラー置き換え用のカメラ等は、第１〜３のカメラの一例であり、これに限定されない。
＜仮想投影面を用いたシースルービュー＞
ここで、本実施形態に係る３次元情報を用いたシースルービューについて説明する前に、仮想投影面を用いたシースルービューについて簡単に説明する。
図２、３は、仮想投影面を用いたシースルービューについて説明するための図である。図２（Ａ）に示すように、車両１０には、第１のカメラ１０１と第２のカメラ１０２とが配置されているものとする。
第１のカメラ１０１は、一例として、図２（Ａ）に示されるように、車両１０のサイドミラーに対応する位置等に配置され、図２（Ｂ）に示すように、一般的なサイドミラーと同様の撮影範囲２０１を撮影する。これにより、第１のカメラ１０１は、例えば、図２（Ｂ）に示すように、車両１０の車体２１１の一部を含む後方の画像２１０を撮影し、画像処理装置１００に出力する。
第２のカメラ１０２は、一例として、図２（Ａ）に示されるように、車両１０の後方に配置され、図２（Ｃ）に示すように、第１のカメラ１０１より画角が広い撮影範囲２０２を撮影する。これにより、第２のカメラ１０２は、例えば、図２（Ｃ）に示すように、第１のカメラ１０１が撮影した画像２１０において、車体２１１の一部により死角となる死角領域を含む、より広い範囲の後方の画像２２０を撮影し、画像処理装置１００に出力する。
画像処理装置１００は、例えば、第２のカメラ１０２が撮影した画像２２０を用いて画像認識処理を行い、後方車両２０を検出すると、図３（Ａ）に示すように、後方車両２０までの距離ｄを測定する。例えば、画像処理装置１００は、特許文献１に開示された技術と同様に、第１のカメラ１０１と第２のカメラ１０２とのステレオ視により、後方車両２０までの距離ｄを測定する。
また、画像処理装置１００は、車両１０から距離ｄだけ離れた位置に仮想投影面３０１を設定し、第２のカメラ１０２で撮影した画像２２０を、第１のカメラ１０１の視点に変換した画像３１０を仮想投影面３０１に投影する。
さらに、画像処理装置１００は、例えば、図３（Ｂ）に例示するような、仮想投影面３０１に投影した画像３１０と、第１のカメラ１０１が撮影した画像２１０とを合成する。これにより、例えば、図３（Ｃ）に示すように、車体が透けているように見せるシースルービューの後方画像３２０を作成することができる。作成された後方画像３２０は、例えば、車両１０のダッシュボードや、Ａピラー付近等に設けられた、後方画像を表示するための表示部等に出力され、表示される。
この方法により、例えば、図３（Ｃ）に示すように、シースルービューの後方画像３２０を表示することができるようになる。ただし、この方法では、例えば、第２のカメラ１０２で撮影した後方車両２０の画像を、第１のカメラ１０１で撮影した後方車両２０の画像と正しく（きれいに）合成できるのは、車両１０から距離ｄだけ離れた仮想投影面３０１上になる。例えば、図３（Ａ）に示すように、後方車両２０のフロントグリルの中央部分に仮想投影面３０１を設定した場合、車両１０のボンネット、フロントガラス、側面等までの距離は、距離ｄより遠くなるので、後方車両２０を正しく（きれいに）合成できない場合がある。
そこで、本実施形態では、後方車両２０の形状を表す３次元情報を取得し、取得した３次元情報を用いて、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを合成する。
＜３次元情報を用いたシースルービュー＞
図４は、本発明の一実施形態に係るシースルービューについて説明するための図である。本実施形態では、例えば、図４（Ａ）に示すように、車両１０に、第１のカメラ１０１、第２のカメラ１０２に加えて、第３のカメラ１０３が設けられている。
第３のカメラ１０３は、例えば、第２のカメラと所定の距離だけ離れて設置され、第２のカメラが撮影した画像と、第３のカメラが撮影した画像とを用いて、ステレオ視により後方車両２０上の任意の点までの距離を測定するために用いられる。
例えば、画像処理装置１００は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像のそれぞれから、例えば、図４（Ｂ）に示すように、複数の特徴点を抽出する。また、画像処理装置１００は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像に共通する複数の特徴点までの距離を、公知の三角測量の原理で測定する。
これにより、例えば、第２のカメラ１０２と第３のカメラ１０３とを、車両１０の後端に所定の距離だけ離して配置することにより、車両１０から、後方車両２０上の複数の特徴点（以下、複数の点と呼ぶ）までの距離を測定することができるようになる。なお、第２のカメラ１０２と第３のカメラ１０３とを、車両１０の後端に配置することは必須ではない。画像処理装置１００は、車両１０上の任意の点から、後方車両２０上の複数の点までの距離を測定することができれば良い。
本実施形態では、この車両１０上の任意の点から、後方車両２０上の複数の点までの距離情報、又は複数の点までの距離情報に基づいて決定した３次元座標情報を、後方車両２０の３次元情報と呼ぶ。
この後方車両２０の３次元情報により、画像処理装置１００は、後方車両２０の形状を把握することができる。また、画像処理装置１００は、この後方車両２０の３次元情報を用いて、第２のカメラ１０２で撮影した画像２２０を、第１のカメラ１０１で撮影した画像２１０と同じ平面上に投影して、拡大、縮小、回転等の任意の座標変換を行うことができるようになる。
例えば、図２、３で説明した画像投影面を用いたシースルービューでは、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを正しく（きれいに）合成できるのは、仮想投影面３０１上の部分だけであった。一方、本実施形態に係る３次元情報を用いたシースルービューでは、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを、後方車両２０上の複数の点で正しく合成することができるようになる。
＜課題について＞
図５は、３次元情報を用いたシースルービューの課題について説明するための図である。図５に示すように、車両１０に、後方車両２０が至近距離まで近づいた場合、第３のカメラ１０３の死角５０１に、後方車両２０の一部が入ってしまう場合がある。このような場合、画像処理装置１００は、後方車両２０上の３次元情報のうち、第３のカメラ１０３の死角５０１に入った部分の３次元情報を取得することができない。従って、画像処理装置１００は、第１のカメラ１０１で撮影した後方車両２０の画像と、第２のカメラ１０２で撮影した後方車両２０の画像とを合成する際に、第３のカメラ１０３の死角５０１に入った部分を正しく合成することができない場合がある。
＜画像処理装置の処理の概要＞
図６は、一実施形態に係る画像処理装置の処理の概要について説明するための図である。
図６（Ａ）に示すように、後方車両２０が、第３のカメラ１０３の死角５０１に入っていない場合、画像処理装置１００は、第２のカメラ１０２と第３のカメラ１０３とのステレオ視により、後方車両２０の全体の３次元情報を取得することができる。このとき、画像処理装置１００は、取得した後方車両２０の全体の３次元情報を、車両形状情報６０１として、画像処理装置１００の記憶部６１０等に保持しておく。
また、図６（Ｂ）に示すように、後方車両２０が、第３のカメラ１０３の死角５０１に入った場合、画像処理装置１００は、第２のカメラ１０２と第３のカメラ１０３とのステレオ視により、後方車両２０の３次元情報６０２を取得する。ただし、この場合、後方車両２０の３次元情報のうち、第２のカメラ１０２の死角５０１に入った、後方車両２０の一部の３次元情報６０３を取得することができない。
この場合、画像処理装置１００は、取得した後方車両２０の３次元情報６０２と、記憶部６１０に保持している後方車両２０の車両形状情報６０１とを用いて、第２のカメラ１０２の死角５０１に入った、後方車両２０の一部の３次元情報６０３を決定する。
例えば、記憶部６１０に保持している後方車両２０の車両形状情報６０１は、前述した後方車両２０の３次元情報と同様に、拡大／縮小、回転等の座標変換が可能である。従って、画像処理装置１００は、例えば、記憶部６１０に保持した車両形状情報６０１を、取得した後方車両の３次元情報６０２に合わせて座標変換することにより、後方車両２０の一部の３次元情報６０３を決定することができる。
画像処理装置１００は、取得した後方車両２０の３次元情報６０２と、決定した後方車両２０の一部の３次元情報６０３とを用いて、第２のカメラ１０２で撮影した画像２２０を、第１のカメラ１０１の視点に変換することができる。
このように、本実施形態によれば、後方車両２０が至近距離まで近づいたときでも、第１のカメラ１０１で撮影した画像２１０と第２のカメラ１０２で撮影した画像２２０とを、後方車両２０の３次元情報を用いて合成することが容易になる。
＜ハードウェア構成＞
ここで、画像処理装置１００のハードウェア構成の例について説明する。
図７は、一実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、一般的なコンピュータの構成を備えており、例えば、ＣＰＵ（Central Processing Unit）７０１、メモリ７０２、ストレージデバイス７０３、通信Ｉ／Ｆ（Interface）７０４、外部接続Ｉ／Ｆ７０５、表示装置７０６、入力装置７０７、ＧＰＵ（Graphics Processing Unit）７０８、及びシステムバス７０９等を有する。
ＣＰＵ７０１は、例えば、ストレージデバイス７０３、メモリ７０２等に記憶したプログラムを実行することにより、画像処理装置１００の各機能を実行する演算装置である。メモリ７０２には、例えば、ＣＰＵ７０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）や、画像処理装置１００の起動用のプログラム等を記憶する不揮発性のメモリであるＲＯＭ（Read Only Memory）等が含まれる。
ストレージデバイス７０３は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、及び各種のデータを記憶する大容量の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等によって実現される。
通信Ｉ／Ｆ７０４は、外部装置と通信するためのインタフェースである。例えば、通信Ｉ／Ｆ７０４は、画像処理装置１００を車載ネットワークに接続し、車両１０に搭載される１つ以上のＥＣＵや、カメラ等との通信を可能にする。また、通信Ｉ／Ｆ７０４は、無線ＬＡＮ（Local Area Network）や、近距離無線通信等により外部装置との通信を可能にするものであっても良い。
外部接続Ｉ／Ｆ７０５は、画像処理装置１００に外部装置を接続するためのインタフェースである。外部接続Ｉ／Ｆ７０５には、例えば、画像処理装置１００に、第１〜３のカメラを接続するためのインタフェース、後方の画像を表示する表示装置を接続するためのインタフェース、及び外部記憶装置を接続するためのインタフェース等が含まれ得る。
表示装置７０６には、例えば、画像処理装置１００が合成した後方の画像を表示するディスプレイや、動作状態、アラーム等の情報を表示するＬＥＤ（Light Emitting Diode）等の表示デバイスが含まれ得る。入力装置７０７には、利用者の入力操作を受け付けるタッチパネル、操作ボタン、電源ボタン等が含まれ得る。
ＧＰＵ７０８は、画像処理装置１００が実行する処理のうち、主に画像処理に関する演算を行う演算装置である。なお、画像処理装置１００は、画像処理をＣＰＵ７０１で実行しても良い。この場合、画像処理装置１００は、ＧＰＵ７０８を有していなくても良い。
システムバス７０９は、上記の各構成要素に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。なお、図７に示す画像処理装置１００のハードウェア構成は一例であり、画像処理装置１００は、コンピュータの構成を備えた様々なハードウェア構成であって良い。
＜機能構成＞
続いて、画像処理装置１００の機能構成について説明する。図８は、一実施形態に係る画像処理装置の機能構成の例を示す図である。画像処理装置１００は、例えば、画像取得部８０１、３次元情報取得部８０２、車両形状情報保持部８０３、合成部８０４、及び表示制御部８０５等を有する。
画像取得部８０１は、例えば、図７のＣＰＵ７０１で実行させるプログラムによって実現され、第１のカメラ１０１が撮影した画像２１０、第２のカメラ１０２が撮影した画像２２０、及び第３のカメラ１０３が撮影した画像（映像）を継続的に取得する。例えば、画像取得部８０１は、図７の外部接続Ｉ／Ｆ７０５、又は通信Ｉ／Ｆ７０４等を用いて、第１〜３のカメラから出力される画像を取得する。
３次元情報取得部８０２は、例えば、図７のＣＰＵ７０１で実行されるプログラム、ＧＰＵ７０８等によって実現され、第２のカメラ１０２と第３のカメラ１０３のステレオ視により、後方車両２０の３次元情報を取得する。例えば、３次元情報取得部８０２は、第２のカメラ１０２から取得した画像と、第３のカメラ１０３から取得した画像とを用いて、公知のステレオマッチングにより、後方車両２０上の複数の点（特徴点）までの距離を測定する。また、３次元情報取得部８０２は、後方車両２０上の複数の点までの距離情報、又は複数の点までの距離情報に基づいて決定した３次元座標を、後方車両２０の３次元情報として取得する。
車両形状情報保持部（保持部）８０３は、例えば、図７のＣＰＵ７０１で実行されるプログラムによって実現される。車両形状情報保持部８０３は、後方車両２０の全体が、第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲内であるときに、後方車両２０の車両形状情報６０１を、例えば、図７のメモリ７０２、ストレージデバイス７０３等の記憶部６１０に保持する。
例えば、３次元情報取得部８０２は、図６（Ａ）で説明したように、後方車両２０が第３のカメラ１０３の死角５０１に入っていない場合、第２のカメラ１０２と第３のカメラ１０３とのステレオ視により後方車両２０の全体の３次元情報を取得することができる。この場合、車両形状情報保持部８０３は、後方車両２０の全体が第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲内であると判断し、取得した後方車両２０の全体の３次元情報を、車両形状情報６０１として記憶部６１０に一時的に記憶する。
合成部８０４は、例えば、図７のＣＰＵ７０１で実行されるプログラム、ＧＰＵ７０８等によって実現され、第１のカメラ１０１で撮影された画像２１０の死角領域に、第２のカメラ１０２で撮影された画像２２０のうち、死角領域に対応する死角領域画像を合成する。
例えば、合成部８０４は、後方車両２０の全体がステレオ視の範囲内にある場合、３次元情報取得部８０２が取得した後方車両２０の全体の３次元情報を用いて、第２のカメラ１０２が撮影した画像２２０を、第１のカメラ１０１の視点に座標変換（視点変換）する。また、合成部８０４は、第１のカメラ１０１で撮影した画像２１０のうち、車体２１１で死角となる死角領域に、変換した画像のうち、死角領域に対応する死角領域画像を合成して、例えば、図３（Ｃ）に示すようなシースルービューの後方画像３２０を作成する。
一方、合成部８０４は、後方車両２０の一部がステレオ視の範囲外になった場合、図６で前述したように、取得した後方車両２０の３次元情報６０２と保持している後方車両２０の車両形状情報６０１とを用いて後方車両２０の一部の３次元情報６０３を決定する。
例えば、車両形状情報保持部８０３が保持している後方車両２０の車両形状情報６０１は、前述した後方車両２０の３次元情報と同様に、拡大／縮小、回転等の座標変換が可能である。従って、合成部８０４は、例えば、車両形状情報保持部８０３が保持している車両形状情報６０１を、取得した後方車両の３次元情報６０２の向き及び大きさに合わせて座標変換することにより、後方車両２０の一部の３次元情報６０３を決定することができる。
合成部８０４は、取得した後方車両２０の３次元情報６０２と、決定した後方車両２０の一部の３次元情報６０３とを用いて、第２のカメラ１０２が撮影した画像２２０を、第１のカメラ１０１の視点に座標変換（視点変換）する。また、合成部８０４は、第１のカメラ１０１で撮影した画像２１０のうち、車体２１１で死角となる死角領域に、変換した画像のうち、死角領域に対応する死角領域画像を合成して、例えば、図３（Ｃ）に示すようなシースルービューの後方画像３２０を作成する。
表示制御部８０５は、例えば、図７のＣＰＵ７０１で実行されるプログラムによって実現され、合成部８０４が作成した後方画像３２０を、後方画像を表示する表示部に出力して、表示させる。
＜処理の流れ＞
続いて、本実施形態に係る画像処理システム１による画像処理方法の処理の流れについて説明する。
（画像処理装置の処理）
図９は、一実施形態に係る画像処理装置の処理の例を示すフローチャートである。この処理は、例えば、車両１０が走行中に、画像処理装置１００が繰り返し実行する処理の例を示している。なお、この処理を実行している間、第１のカメラ１０１は、図２（Ｂ）に示すような後方の画像２１０（映像）を継続的に撮影し、出力しているものとする。また、第２のカメラ１０２は、図２（Ｃ）に示すような後方の画像２２０（映像）を継続的に撮影し、出力しているものとする。さらに、第３のカメラ１０３は、第２のカメラ１０２より狭い画角で、車両１０の後方の画像（映像）を継続的に撮影し、出力しているものとする。
ステップＳ９０１において、画像取得部８０１は、第１〜３のカメラが撮影した画像を取得する。
ステップＳ９０２において、３次元情報取得部８０２は、第２のカメラ１０２と第３のカメラ１０３のステレオ視により、車両１０の後方にある後方車両２０の３次元情報を取得する。なお、３次元情報取得部８０２による３次元情報の取得処理については、図１０で詳述する。
ステップＳ９０３において、画像処理装置１００は、後方車両２０があるか否かを判断する。例えば、画像処理装置１００は、３次元情報取得部８０２が、後方車両２０の３次元情報を取得できた場合、後方車両２０があると判断し、後方車両２０の３次元情報を取得できなかった場合、後方車両２０がないと判断しても良い。
後方車両２０がある場合、画像処理装置１００は、処理をステップＳ９０４に移行させる。一方、後方車両２０がない場合、画像処理装置１００は、処理をステップＳ９１０に移行させる。
ステップＳ９０４に移行すると、車両形状情報保持部８０３は、３次元情報取得部８０２が、後方車両２０の全体の３次元情報を取得できたか否かを判断する。
後方車両２０の全体の３次元情報を取得できた場合、車両形状情報保持部８０３は、後方車両２０の全体が、第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲内にあると判断し、処理をステップＳ９０５に移行させる。一方、後方車両２０の全部の３次元情報を取得できなかった場合、車両形状情報保持部８０３は、例えば、後方車両２０の一部が、第２のカメラ１０２と第３のカメラ１０３とによるステレオ視の範囲外になったと判断し、処理をステップＳ９０６に移行させる。
ステップＳ９０５に移行すると、車両形状情報保持部８０３は、３次元情報取得部８０２が取得した後方車両２０の３次元情報を、後方車両２０の車両形状情報６０１として、メモリ７０２、ストレージデバイス７０３等の記憶部６１０に保持（記憶）する。
一方、ステップＳ９０４からステップＳ９０６に移行すると、画像処理装置１００は、車両形状情報保持部８０３によって、後方車両２０の車両形状情報６０１が保持されているか否かを判断する。
車両形状情報６０１が保持されている場合、画像処理装置１００は、処理をステップＳ９０７に移行させる。一方、車両形状情報６０１が保持されていない場合、画像処理装置１００は、処理をステップＳ９１２に移行させる。
ステップＳ９０７に移行すると、合成部８０４は、３次元情報取得部８０２が取得した後方車両２０の３次元情報と、車両形状情報保持部８０３が保持している車両形状情報から、後方車両２０の全体の３次元情報を決定（推定）する。
例えば、合成部８０４は、図６（Ｂ）で死角５０１に入り、取得できなかった後方車両２０の一部の３次元情報６０３を、取得した後方車両２０の３次元情報６０２と、保持している後方車両２０の車両形状情報６０１とを用いて決定する。また、合成部８０４は、取得した後方車両２０の３次元情報６０２と、決定した後方車両２０の一部の３次元情報６０３とを組み合わせて、後方車両２０の全体の３次元情報を決定する。
或いは、合成部８０４は、保持している後方車両２０の車両形状情報６０１を、拡大／縮小、回転させて、取得した後方車両２０の３次元情報６０２と向き、大きさ等を一致させることにより、後方車両２０の全体の３次元情報を決定しても良い。
ステップＳ９０５又はステップＳ９０７からステップＳ９０８に移行すると、合成部８０４は、後方車両２０の全体の３次元情報を用いて、第２のカメラ１０２が撮影した画像を、第１のカメラ１０１の視点に視点変換（座標変換）する。
一方、ステップＳ９０６からステップＳ９０９に移行すると、合成部８０４は、ステップＳ９０２で取得した後方車両２０の一部の３次元情報を用いて、第２のカメラ１０２が撮影した画像を、第１のカメラ１０１の視点に座標変換（視点変換）する。
また、ステップＳ９０３からステップＳ９１０に移行すると、車両形状情報保持部８０３は、保持している車両形状情報があれば破棄する。また、ステップＳ９１１において、合成部８０４は、後方車両２０の３次元情報を用いないで、第２のカメラ１０２が撮影した画像を、第１のカメラ１０１の視点に座標変換（視点変換）する。
ステップＳ９１２において、合成部８０４は、第１のカメラで撮影した画像と、ステップＳ９０８、Ｓ９０９、Ｓ９１１で視点変換した第２のカメラ１０２の画像とを合成して、例えば、図３（Ｃ）に示すようなシースルービューの後方画像３２０を作成する。また、表示制御部８０５は、合成部８０４が作成した後方画像３２０を、車両１０が備える後方画像を表示する表示部に出力して、表示させる。
なお、例えば、図６（Ｂ）に示すように、車両１０の至近距離に後方車両２０が近づく前には、図６（Ａ）に示すように、後方車両２０の全体の３次元情報を取得できる場合が多いと考えられる。従って、画像処理装置１００は、図９の処理を繰り返し実行することにより、後方車両２０が至近距離まで近づいたときでも、後方車両２０の３次元情報を用いて、第１のカメラ１０１で撮影した画像と第２のカメラ１０２で撮影した画像とを容易に合成することができるようになる。
（３次元情報の取得処理）
図１０は、一実施形態に係る３次元情報の取得処理の例を示すフローチャートである。この処理は、例えば、図９のステップＳ９０２において、３次元情報取得部７０２が実行する次元情報の取得処理の例を示している。
ステップＳ１００１において、３次元情報取得部７０２は、第２のカメラ１０２、又は第３のカメラ１０３が撮影した画像を用いて、画像認識により後方車両２０を検出する。
ステップＳ１００２において、３次元情報取得部７０２は、後方車両２０を検出できた場合、ステップＳ１００３以降の処理を実行する。一方、３次元情報取得部７０２は、後方車両２０を検出できなかった場合、ステップＳ１００３以降の処理の実行を中止する。
ステップＳ１００３において、３次元情報取得部７０２は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像のそれぞれから、例えば、図４（Ｂ）に示すように、複数の特徴点を抽出する。
ステップＳ１００４において、３次元情報取得部７０２は、第２のカメラ１０２で撮影した後方車両２０の画像と、第３のカメラ１０３で撮影した後方車両２０の画像とに共通する複数の特徴点までの距離を、ステレオ視により測定する。
ステップＳ１００５において、３次元情報取得部７０２は、測定した複数の特徴点までの距離情報、又は複数の特徴点までの距離情報に基づく３次元座標情報を、後方車両２０の３次元情報として取得する。
上記の処理により、画像処理装置１００は、第２のカメラ１０２が撮影した画像と、第３のカメラ１０３が撮影した画像とを用いて、後方車両２０の形状を表す３次元情報を取得することができる。
また、画像処理装置１００は、後方車両２０の全体が、第２のカメラ１０２と第３のカメラ１０３とのステレオ視の範囲内にあるときに、後方車両２０の３次元情報を取得することにより、後方車両２０の車両形状を示す車両形状情報を取得することができる。
さらに、画像処理装置１００は、後方車両２０の一部が、第２のカメラ１０２の死角５０１に入ったとき、車両形状情報を用いて、死角５０１に入った後方車両２０の一部に対応する３次元情報を決定（推定）することができる。
従って、本実施形態に係る画像処理装置１００によれば、後方車両２０が至近距離まで近づいたときでも、後方車両２０の３次元情報を用いて、第１のカメラ１０１で撮影した画像と第２のカメラ１０２で撮影した画像とを合成することが容易になる。
以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形や変更が可能である。
１ 画像処理システム
１０ 車両
１００ 画像処理装置
１０１ 第１のカメラ
１０２ 第２のカメラ
１０３ 第３のカメラ
２１１ 車体
８０１ 画像取得部
８０２ ３次元情報取得部
８０３ 車両形状情報保持部（保持部）
８０４ 合成部
８０５ 表示制御部

Claims (10)

  1. 車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラが撮影した画像と、前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラが撮影した画像とを取得する画像取得部と、
    前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する合成部と、を備えた画像処理装置であって、
    前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得部と、
    前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持部と、
    を備え、
    前記合成部は、前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得部が取得する前記３次元情報と、前記保持部が保持する前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定し、決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する、画像処理装置。
  2. 前記合成部は、前記後方車両の一部が前記ステレオ視の範囲外になった場合、決定した前記後方車両の一部に対応する前記３次元情報と、前記３次元情報取得部が取得する前記後方車両の３次元情報とを用いて、前記第２のカメラが撮影した画像を前記第１のカメラの視点に変換し、前記第１のカメラで撮影された画像と合成する、請求項１に記載の画像処理装置。
  3. 前記後方車両の３次元情報は、前記ステレオ視により測定された後方車両上における複数の点までの距離情報、又は前記複数の点までの距離情報に基づく前記複数の点の３次元座標情報を含む、請求項１又は２に記載の画像処理装置。
  4. 前記車両形状情報は、前記後方車両の全体が前記ステレオ視の範囲内にあるときの前記後方車両の３次元情報を含む、請求項３に記載の画像処理装置。
  5. 前記合成部が合成した画像を、前記車両の後方画像を表示する表示部に表示させる表示制御部を有する、請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 前記第１のカメラ、前記第２のカメラ、及び前記第３のカメラを備える、請求項１乃至５のいずれか一項に記載の画像処理装置。
  7. 前記第１のカメラは、前記車両の側方から前記車両の後方を撮影するカメラであり、
    前記第２のカメラは、前記車両の後方から前記車両の後方を撮影する広角カメラであり、
    前記第３のカメラは、前記車両の後方から、前記第２のカメラより狭い画角で前記車両の後方を撮影するカメラである、請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラと、
    前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラと、
    前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する画像処理装置と、を備えた画像処理システムであって、
    前記画像処理装置は、
    前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得部と、
    前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持部と、
    前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得部が取得する前記後方車両の３次元情報と、前記保持部が保持する前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定し、決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する合成部と、
    を有する、画像処理システム。
  9. 車両に搭載され、撮影範囲に前記車両の車体の一部が含まれるように配置される第１のカメラと、
    前記第１のカメラで撮影された画像において前記車体の一部により死角となる死角領域を撮影する第２のカメラ及び第３のカメラと、
    前記第１のカメラで撮影された画像の前記死角領域に、前記第２のカメラで撮影された画像のうち、前記死角領域に対応する死角領域画像を合成する画像処理装置と、を備えた画像処理システムにおいて、
    前記画像処理装置が、
    前記第２のカメラと前記第３のカメラとのステレオ視により、後方車両の形状を表す３次元情報を取得する３次元情報取得処理と、
    前記後方車両の全体が、前記ステレオ視の範囲内にあるときに、前記後方車両の車両形状情報を保持する保持処理と、
    前記後方車両の一部が前記ステレオ視の範囲外になった場合、前記３次元情報取得処理で取得した前記後方車両の３次元情報と、前記保持処理で保持した前記車両形状情報とを用いて、前記後方車両の一部に対応する前記３次元情報を決定する決定処理と、
    決定した前記３次元情報を用いて前記死角領域に前記死角領域画像を合成する合成処理と、
    を実行する、画像処理方法。
  10. 請求項９に記載の画像処理方法を画像処理装置に実行させる、プログラム。
JP2019087844A 2019-05-07 2019-05-07 画像処理装置、画像処理システム、画像処理方法、及びプログラム Pending JP2020183166A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019087844A JP2020183166A (ja) 2019-05-07 2019-05-07 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US16/833,821 US11132817B2 (en) 2019-05-07 2020-03-30 Image processing apparatus, image processing system, and image processing method for generating a vehicle see-through rear view image
EP20171822.8A EP3736768B1 (en) 2019-05-07 2020-04-28 Image processing apparatus, image processing system, image processing method, and program
CN202010371180.XA CN111918020A (zh) 2019-05-07 2020-05-06 图像处理装置、以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019087844A JP2020183166A (ja) 2019-05-07 2019-05-07 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2020183166A true JP2020183166A (ja) 2020-11-12

Family

ID=70476018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019087844A Pending JP2020183166A (ja) 2019-05-07 2019-05-07 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11132817B2 (ja)
EP (1) EP3736768B1 (ja)
JP (1) JP2020183166A (ja)
CN (1) CN111918020A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234772B1 (ko) * 2020-12-30 2021-04-01 이형주 카메라 영상에 기반한 주행 보조 시스템
WO2022092172A1 (ja) 2020-10-30 2022-05-05 マックス株式会社 ステープル

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7347330B2 (ja) * 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
CN113306492A (zh) * 2021-07-14 2021-08-27 合众新能源汽车有限公司 一种生成汽车a柱盲区图像的方法和装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7543946B2 (en) * 2002-01-10 2009-06-09 Gentex Corporation Dimmable rearview assembly having a glare sensor
JP2006054503A (ja) * 2004-08-09 2006-02-23 Olympus Corp 画像生成方法および装置
JP2007302238A (ja) * 2007-05-29 2007-11-22 Equos Research Co Ltd 車両の画像処理装置
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2010218226A (ja) * 2009-03-17 2010-09-30 Suzuki Motor Corp 計測マップ生成装置及び走行環境確認装置
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
US10046700B2 (en) * 2012-05-22 2018-08-14 Mitsubishi Electric Corporation Image processing device
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
CN104798368B (zh) * 2012-11-27 2018-08-28 歌乐株式会社 车载图像处理装置
JP5984714B2 (ja) * 2013-02-27 2016-09-06 アルパイン株式会社 立体物検出装置、運転支援装置および立体物検出方法
US20150009010A1 (en) * 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
KR20150130818A (ko) * 2014-05-14 2015-11-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20150137799A (ko) * 2014-05-30 2015-12-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10449900B2 (en) * 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
KR20170036077A (ko) * 2014-07-24 2017-03-31 엠.브루베이커 커티스 모바일 광고, 미디어, 및 통신 플랫폼에 크리티컬 매스를 발생시키기 위한 시스템, 방법, 및 디바이스
GB2529408B (en) 2014-08-18 2019-01-30 Jaguar Land Rover Ltd Display system and method
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6392693B2 (ja) 2015-03-20 2018-09-19 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP6551211B2 (ja) * 2015-12-16 2019-07-31 株式会社デンソー ヘッドアップディスプレイ装置
WO2017180900A1 (en) * 2016-04-14 2017-10-19 Bcat, Llc System and apparatus for making, mounting and using externally-mounted digital displays on moving objects
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
CA3026231A1 (en) * 2016-06-08 2017-12-14 Sony Corporation Imaging control device and method, and vehicle
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
EP4160150A1 (en) * 2016-08-26 2023-04-05 Panasonic Intellectual Property Corporation of America Three-dimensional information processing method and three-dimensional information processing apparatus
WO2018051746A1 (ja) * 2016-09-16 2018-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ作成方法及び三次元データ作成装置
CN113008263B (zh) * 2016-11-01 2024-04-30 松下电器（美国）知识产权公司 数据生成方法及数据生成装置
JP2018092489A (ja) * 2016-12-06 2018-06-14 オムロン株式会社 分類装置、分類方法およびプログラム
KR20180066509A (ko) * 2016-12-09 2018-06-19 현대자동차주식회사 후방 차량의 시각화 정보 제공 장치 및 방법
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
GB2559758B (en) 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
US10390001B2 (en) * 2017-06-27 2019-08-20 He Li ZHOU Rear view vision system for a vehicle
US10366541B2 (en) * 2017-07-21 2019-07-30 Ford Global Technologies, Llc Vehicle backup safety mapping
CN107696970A (zh) * 2017-09-26 2018-02-16 华勤通讯技术有限公司 一种消除车辆视觉盲区的方法和装置
EP4227643A1 (en) * 2017-09-29 2023-08-16 Panasonic Intellectual Property Corporation of America Three-dimensional data creation method, client device and server
JP7237007B2 (ja) * 2017-10-19 2023-03-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
EP3703000A4 (en) * 2017-10-24 2020-09-23 Panasonic Intellectual Property Corporation of America THREE-DIMENSIONAL DATA CODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE, AND TRIDIMENSIONAL DATA DECODING DEVICE
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
CN109131080A (zh) * 2018-07-19 2019-01-04 信利光电股份有限公司 基于结构光的车辆后视切换装置、方法及可读存储介质
CN109131081A (zh) * 2018-07-19 2019-01-04 信利光电股份有限公司 基于tof的车辆后视切换装置、方法及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022092172A1 (ja) 2020-10-30 2022-05-05 マックス株式会社 ステープル
KR102234772B1 (ko) * 2020-12-30 2021-04-01 이형주 카메라 영상에 기반한 주행 보조 시스템

Also Published As

Publication number Publication date
EP3736768A1 (en) 2020-11-11
US20200357144A1 (en) 2020-11-12
US11132817B2 (en) 2021-09-28
EP3736768B1 (en) 2022-04-13
CN111918020A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
JP2020183166A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2004062758A (ja) 情報処理装置および方法
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP6882868B2 (ja) 画像処理装置、画像処理方法、システム
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2011028309A5 (ja)
JP2008140271A (ja) 対話装置及びその方法
JP2011155393A (ja) 車両周辺画像表示装置及び車両周辺画像表示方法
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP6582557B2 (ja) 描画装置、描画方法および描画プログラム
EP2753085A1 (en) Image processing for control of point of view
JP7279113B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
CN112954291B (zh) 处理车辆的3d全景图像或视频的方法、装置及存储介质
JP6625157B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2020184768A (ja) 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP5300645B2 (ja) 三次元温度分布表示装置、テクスチャ作成装置および三次元温度分布表示方法
US20240212226A1 (en) Image processing device and image processing method
JP2018142273A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2023006860A (ja) ビュー表示装置およびビュー表示方法