JP2014049848A - 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法 - Google Patents

画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法 Download PDF

Info

Publication number
JP2014049848A
JP2014049848A JP2012189604A JP2012189604A JP2014049848A JP 2014049848 A JP2014049848 A JP 2014049848A JP 2012189604 A JP2012189604 A JP 2012189604A JP 2012189604 A JP2012189604 A JP 2012189604A JP 2014049848 A JP2014049848 A JP 2014049848A
Authority
JP
Japan
Prior art keywords
image
state
vehicle
parameter
side mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012189604A
Other languages
English (en)
Other versions
JP6099333B2 (ja
Inventor
Naoyuki Okada
直之 岡田
Masahiro Yamada
正博 山田
Yasuyoshi Sawada
康嘉 澤田
Takumi Hayashida
巧 林田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2012189604A priority Critical patent/JP6099333B2/ja
Priority to US14/419,777 priority patent/US9931982B2/en
Priority to PCT/JP2013/070720 priority patent/WO2014034364A1/ja
Priority to DE112013004306.8T priority patent/DE112013004306B4/de
Priority to CN201380044961.6A priority patent/CN104584541B/zh
Publication of JP2014049848A publication Critical patent/JP2014049848A/ja
Application granted granted Critical
Publication of JP6099333B2 publication Critical patent/JP6099333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】サイドミラーの展開／格納のいずれの状態においても適切な合成画像を生成する。
【解決手段】画像表示システムでは、画像取得部が車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得し、画像合成部が複数の撮影画像それぞれの対象領域ＴＡを用いて、仮想視点からみた車両の周辺を示す合成画像を生成する。また、状態取得部がサイドミラーの展開／格納の状態を取得し、画像合成部はサイドミラーの展開／格納の状態に応じて対象領域ＴＡを変更する。このようにサイドミラーの状態に応じてサイドカメラで得られた撮影画像ＳＬ中の対象領域ＴＡを変更するため、サイドミラーの展開／格納のいずれの状態であっても適切な合成画像を生成することができる。
【選択図】図９

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。
従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。
また、近年では、複数の撮影画像を合成して仮想視点からみた車両の周辺を示す合成画像を生成し、その合成画像を表示する画像表示システムも提案されている（例えば、特許文献１参照。）。このような画像表示システムでは、例えば、車両の上部から車両の周辺を見下ろすような合成画像である俯瞰画像を生成することができる。ユーザは、このような合成画像を視認することで、車両の周辺の全体の様子を確認することができる。
特開２０１１−１５１７４号公報
ところで、複数の撮影画像のうち車両の側方を示す撮影画像を取得するサイドカメラは、一般に、展開した状態から格納した状態に移行できるサイドミラーに設けられる。このため、サイドミラーを展開した状態から格納した状態に移行した場合には、そのサイドミラーに設けられたサイドカメラの光軸の方向も変更される。
したがって、サイドミラーを展開した場合と同様の手法で、サイドミラーを格納した場合に得られた撮影画像に基づいて合成画像を生成したとすると、被写体の像が不整合に合成された不適切な合成画像が生成されることになる。
本発明は、上記課題に鑑みてなされたものであり、サイドミラーの展開／格納のいずれの状態においても適切な合成画像を生成する技術を提供することを目的とする。
上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する画像取得手段と、前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、前記車両のサイドミラーの展開／格納の状態を取得する状態取得手段と、を備え、前記生成手段は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更する。
また、請求項２の発明は、請求項１に記載の画像生成装置において、前記生成手段は、前記サイドミラーを展開した状態では、該サイドミラーを展開した状態における前記サイドカメラの光軸の方向の誤差を示す第１パラメータに基づく前記対象領域を用い、前記サイドミラーを格納した状態では、該サイドミラーを格納した状態における前記サイドカメラの光軸の方向の誤差を示す第２パラメータに基づく前記対象領域を用いる。
また、請求項３の発明は、請求項２に記載の画像生成装置において、前記サイドミラーを実際に展開した状態において、前記第１パラメータを取得する第１パラメータ取得手段と、前記サイドミラーを実際に格納した状態において、前記第２パラメータを取得する第２パラメータ取得手段と、をさらに備えている。
また、請求項４の発明は、請求項２または３に記載の画像生成装置において、前記生成手段は、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成する。
また、請求項５の発明は、請求項１に記載の画像生成装置において、前記生成手段は、前記サイドミラーの展開及び格納の一方の状態では、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成し、前記サイドミラーの展開及び格納の他方の状態では、前記合成画像における前記撮影画像同士の境界部分を、前記撮影画像を用いないラインとする。
また、請求項６の発明は、車両において用いられる画像表示システムであって、請求項１ないし５のいずれかに記載の画像生成装置と、前記画像生成装置から出力される前記合成画像を表示する表示装置と、を備えている。
また、請求項７の発明は、車両に設けられたカメラに関するパラメータを取得するパラメータ取得装置であって、サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する取得手段と、前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ取得手段と、前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ取得手段と、を備えている。
また、請求項８の発明は、車両において用いられる画像生成方法であって、（ａ）前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、（ｃ）前記車両のサイドミラーの展開／格納の状態を取得する工程と、を備え、前記工程（ｂ）は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更する。
また、請求項９の発明は、車両に設けられたカメラに関するパラメータを取得するパラメータ取得方法であって、（ａ）サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する工程と、（ｂ）前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ工程と、（ｃ）前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ工程と、を備えている。
請求項１ないし６及び８の発明によれば、サイドミラーの状態に応じてサイドカメラで得られた撮影画像中の対象領域を変更するため、サイドミラーの展開／格納のいずれの状態であっても適切な合成画像を生成することができる。
また、特に請求項２の発明によれば、サイドミラーの展開／格納の２つの状態それぞれでの光軸の方向の誤差に基づく対象領域を用いるため、サイドミラーの展開／格納のいずれの状態であっても被写体の像が整合して合成された合成画像を生成することができる。
また、特に請求項３の発明によれば、サイドミラーの展開／格納の２つの状態のそれぞれで適切な合成画像を生成するために必要な第１パラメータと第２パラメータとを適切に取得することができる。
また、特に請求項４の発明によれば、合成画像における撮影画像同士の境界部分を２つの撮影画像をブレンドして生成する場合において、合成画像において被写体の像を適切に重ね合わせることができる。
また、特に請求項５の発明によれば、サイドミラーの一方の状態では、合成画像における撮影画像同士の境界部分を２つの撮影画像をブレンドして生成するため、自然な画像を生成することができる。また、サイドミラーの他方の状態では、合成画像における撮影画像同士の境界部分をラインとすることで、被写体の像が不整合に重ねられることを防止できる。
また、請求項７及び９の発明によれば、サイドミラーの展開／格納の２つの状態のそれぞれで適切な合成画像を生成するために必要な第１パラメータと第２パラメータとを適切に取得することができる。
図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、カメラが撮影する方向を示す図である。 図３は、画像合成部が合成画像を生成する手法を説明する図である。 図４は、立体曲面の部分と撮影画像との対応関係を示す図である。 図５は、表示画像の例を示す図である。 図６は、サイドミラーを格納した状態を示す図である。 図７は、左サイドカメラによって取得された撮影画像の例を示す図である。 図８は、図７の撮影画像を取得した状況を説明する図である。 図９は、左サイドカメラの撮影画像中の対象領域を示す図である。 図１０は、第１の実施の形態の画像表示システムの動作の流れを示す図である。 図１１は、第２の実施の形態の画像表示システムの構成を示す図である。 図１２は、キャリブレーション処理を実行する場合の車両の様子を示す図である。 図１３は、標識体の外観を示す図である。 図１４は、キャリブレーション処理の流れを示す図である。 図１５は、キャリブレーション処理用の撮影画像の例を示す図である。 図１６は、第２の実施の形態の画像表示システムの動作の流れを示す図である。 図１７は、左サイドカメラの撮影画像中の対象領域を示す図である。 図１８は、左サイドカメラの撮影画像中の対象領域を示す図である。 図１９は、立体曲面の部分と撮影画像との対応関係を示す図である。 図２０は、合成画像の例を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３及び操作ボタン４を主に備えている。複数のカメラ５はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、車両の周辺を示す撮影画像を用いて、表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。
複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。
図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の直進方向に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の直進方向の逆方向に向けられる。
また、左サイドカメラ５Ｌは、車両９の左側面に配置された左サイドミラー９３Ｌに設けられる。一方、右サイドカメラ５Ｒは、車両９の右側面に配置された右サイドミラー９３Ｒに設けられる。これらのサイドミラー９３Ｌ，９３Ｒは、展開した状態（ドライバが車両９の側面後方を確認可能な状態）から格納した状態に移行することができる。左サイドミラー９３Ｌが展開した状態において、左サイドカメラ５Ｌの光軸５Ｌａは車両９の左側方（直進方向の略直交方向）に向けられる。また、右サイドミラー９３Ｒが展開した状態において、右サイドカメラ５Ｒの光軸５Ｒａは車両９の右側方（直進方向の略直交方向）に向けられる。
これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４は、４つのカメラ５のうちの２つのカメラ５によって重複して撮影可能となっている。
図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザが表示パネルの画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。また、表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。
操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。
画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像合成部２２と、画像調整部２３と、画像出力部２４とを備えている。
画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２２及び画像調整部２３に入力する。
画像合成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた車両９の周辺を示す合成画像を生成する。この合成画像を生成する手法の詳細については後述する。
画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、画像合成部２２で生成された合成画像、及び、画像取得部２１が取得した撮影画像を用いて、合成画像及び撮影画像を含む表示画像を生成する。
画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた車両９の周辺を示す合成画像が表示装置３に表示される。
また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。
操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から送出される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。
信号受信部２６は、画像生成装置２とは別に車両９に設けられる他の装置から送出される信号を受信して、制御部２０に入力する。信号受信部２６は、例えば、シフトセンサ９１及びミラー駆動部９２から送出される信号を受信する。
シフトセンサ９１は、車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を画像生成装置２に送出する。この信号に基づいて、制御部２０は、車両９の進行方向が前方あるいは後方のいずれであるかを判定することができる。
また、ミラー駆動部９２は、ユーザの指示に従って左右双方のサイドミラー９３Ｌ，９３Ｒを回転駆動し、サイドミラー９３Ｌ，９３Ｒを展開した状態及び格納した状態の一方から他方へ移行させる。ミラー駆動部９２は、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を示す信号を画像生成装置２に送出する。
記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、画像合成部２２が合成画像を生成するために用いる各種のデータを記憶する。このような合成画像の生成に用いるデータとして複数の対応テーブル２７ｂが含まれる。
制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される。図中に示す画像制御部２０ａ及び状態取得部２０ｂは、プログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。
画像制御部２０ａは、合成画像を生成する画像合成部２２、及び、表示画像を生成する画像調整部２３を制御する。画像制御部２０ａは、画像合成部２２及び画像調整部２３を制御して、車両９の状態やユーザの操作に応じた合成画像及び表示画像を生成させる。
また、状態取得部２０ｂは、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する。状態取得部２０ｂは、ミラー駆動部９２から送出される信号に基づいて、サイドミラー９３Ｌ，９３Ｒが展開した状態あるいは格納した状態のいずれであるかを取得する。
＜１−２．合成画像の生成＞
次に、画像合成部２２が、仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。図３は、画像合成部２２が合成画像を生成する手法を説明する図である。
フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。
画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における立体曲面ＴＳに投影する。立体曲面ＴＳは、車両９の周辺の領域に相当する仮想の投影面である。
立体曲面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。画像合成部２２は、立体曲面ＴＳのうち車両領域（車両９の位置）Ｒ０には撮影画像のデータを投影せず、車両領域Ｒ０の外側の領域である投影領域Ｒ１に撮影画像のデータを投影する。投影領域Ｒ１の各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかのデータと対応付けられる。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影領域Ｒ１の対応する位置に投影する。
図４に示すように、画像合成部２２は、投影領域Ｒ１において車両９の前方に相当する部分ＧＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影領域Ｒ１において車両９の後方に相当する部分ＧＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影領域Ｒ１において車両９の左側方に相当する部分ＧＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影領域Ｒ１において車両９の右側方に相当する部分ＧＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。
投影領域Ｒ１には、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲの全領域のデータが投影されるわけではなく、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの一部の対象領域ＴＡのデータが投影される。すなわち、画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する。
撮影画像中のデータと、そのデータを投影すべき投影領域Ｒ１の各位置とは、記憶部２７に予め記憶されたテーブルデータである対応テーブル２７ｂによって対応付けられる。したがって、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの対象領域（合成画像ＣＰの生成に用いられる領域）ＴＡは、対応テーブル２７ｂによって規定される。４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲそれぞれの対象領域ＴＡは、当該撮影画像において車両９の周辺の被写体の像が含まれる領域に定められる。
図３に戻り、このように立体曲面ＴＳの投影領域Ｒ１に撮影画像のデータを投影すると、次に、画像合成部２２は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。
次に、画像合成部２２は、画像制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２２は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２２は、立体曲面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部２２は、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２２は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す合成画像ＣＰを生成する。
例えば図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を俯瞰する合成画像（俯瞰画像）ＣＰａが生成される。また、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。本実施の形態の画像合成部２２は、仮想視点ＶＰとして、車両９の直上から見下ろすような仮想視点ＶＰａを主に設定する。これにより、画像合成部２２は、車両９及び車両９の周辺を俯瞰する合成画像である俯瞰画像を生成するようになっている。
このような合成画像ＣＰの生成の過程において、図４に示すように、立体曲面ＴＳの投影領域Ｒ１における部分ＧＦ，ＧＢ，ＧＬ，ＧＲ同士の境界部分ＢＡ１〜ＢＡ４については、当該境界部分を挟む２つの部分にそれぞれ投影すべき２つの撮影画像の双方のデータが投影される。そして、その境界部分ＢＡ１〜ＢＡ４のデータは、投影される２つの撮影画像のデータを同じ割合でアルファブレンドした値とされる。例えば、車両９の前方に相当する部分ＧＦと、投影領域Ｒ１において車両９の左側方に相当する部分ＧＬとの境界部分ＢＡ１のデータは、フロントカメラ５の撮影画像ＳＦのデータと左サイドカメラ５Ｌの撮影画像ＳＬのデータとをアルファブレンドした値となる。
画像合成部２２は、この立体曲面ＴＳのデータを切り出して合成画像ＣＰを生成することから、立体曲面ＴＳの境界部分ＢＡ１〜ＢＡ４は、合成画像ＣＰに用いられた撮影画像同士の境界部分に相当する。したがって、画像合成部２２は、合成画像ＣＰにおける撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成することになる。
＜１−３．表示画像＞
次に、画像調整部２３が生成する表示画像について説明する。図５は、画像調整部２３が生成する表示画像ＤＰの例を示す図である。図５に示す表示画像ＤＰは、ユーザが視認できるように表示装置３において表示される。
図５に示すように、表示画像ＤＰは、合成画像ＣＰと撮影画像ＳＰとを含んでいる。表示画像ＤＰに含まれる合成画像ＣＰは、車両９の直上から車両９の周辺を俯瞰する合成画像である俯瞰画像となっている。
また、表示画像ＤＰに含まれる撮影画像ＳＰは、車両９の進行方向に基いて選択される。車両９の進行方向が前方の場合は、フロントカメラ５Ｆで取得された撮影画像ＳＦが表示画像ＤＰの撮影画像ＳＰとして用いられる。一方、車両９の進行方向が後方の場合は、リアカメラ５Ｂで取得された撮影画像ＳＢが表示画像ＤＰの撮影画像ＳＰとして用いられる。車両９の進行方向は、シフトセンサ９１から送出される信号に基いて画像制御部２０ａが判定する。
ユーザは、このような表示画像ＤＰを視認することで、撮影画像ＳＰに基いて車両９の進行方向の様子が把握できるとともに、合成画像ＣＰに基いて車両９の周囲全体の様子を併せて把握できることになる。画像表示システム１０は、このような表示画像ＤＰに含まれる合成画像ＣＰを、サイドミラー９３Ｌ，９３Ｒを展開した状態だけでなく、サイドミラー９３Ｌ，９３Ｒを格納した状態においても生成できるようになっている。
＜１−４．サイドミラーの状態の移行＞
前述のように、サイドカメラ５Ｌ，５Ｒは、サイドミラー９３Ｌ，９３Ｒにそれぞれ設けられる。このため、サイドミラー９３Ｌ，９３Ｒが展開した状態から格納した状態へ移行すると、それに伴ってサイドカメラ５Ｌ，５Ｒの位置や光軸の方向も変化する。
図６は、サイドミラー９３Ｌ，９３Ｒを格納した状態を示している。前述のように、サイドミラー９３Ｌ，９３Ｒを展開した状態では、サイドカメラ５Ｌ，５Ｒの光軸５Ｌａ，５Ｌｂの方向は車両９の直進方向の略直交方向に向けられていた（図２参照。）。一方、図６に示すように、サイドミラー９３Ｌ，９３Ｒを格納した状態では、展開した状態と比較して、サイドカメラ５Ｌ，５Ｒの光軸５Ｌａ，５Ｌｂの方向は車両９の後方側へ向けられる。
また、サイドカメラ５Ｌ，５Ｒが設けられる位置は、サイドミラー９３Ｌ，９３Ｒの回転駆動における回転軸ではない。このため、サイドミラー９３Ｌ，９３Ｒが展開した状態から格納した状態へ移行すると、車両９に対する相対的なサイドカメラ５Ｌ，５Ｒの位置自体も変化することになる。
これらにより、サイドミラー９３Ｌ，９３Ｒが展開した状態から格納した状態へ移行すると、それに伴ってサイドカメラ５Ｌ，５Ｒによって得られる撮影画像に含まれる被写体の像の向きや範囲が変化する。
図７は、左サイドカメラ５Ｌによって取得された撮影画像ＳＬの例を示している。図７に示す２つの撮影画像ＳＬは、図８に示す同一の状況下で取得されたものである。図７の上側は左サイドミラー９３Ｌを展開した状態で取得された撮影画像ＳＬを示しており、図７の下側は左サイドミラー９３Ｌを格納した状態で取得された撮影画像ＳＬを示している。
これらの２つの撮影画像ＳＬは、図８に示すように、二色の正方形を交互に配した市松模様のパターンＰが車両９の左側の床面に存在する状況下で取得されている。このパターンＰは、車両９の前端よりも前方の位置から車両９の後端よりも後方の位置まで、車両９の前後方向に沿って延びている。
図７に示す２つの撮影画像ＳＬの双方には、このパターンＰの像Ｐａが含まれている。ただし、２つの撮影画像ＳＬにおいては、パターンＰの像Ｐａの向きや範囲が異なっている。図７の上側に示すように、左サイドミラー９３Ｌを展開した状態の撮影画像ＳＬでは、パターンＰの像Ｐａは撮影画像ＳＬ中を略水平方向に沿って延びている。これと比較して、図７の下側に示すように、左サイドミラー９３Ｌを格納した状態の撮影画像ＳＬでは、パターンＰの像Ｐａは撮影画像ＳＬ中を右側を下にした状態で傾斜して延びている。この例では、左サイドカメラ５Ｌについて説明したが、右サイドカメラ５Ｒについても同様である。
このように、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態が変化すると、サイドカメラ５Ｌ，５Ｒによって得られる撮影画像に含まれる被写体の像の向きや範囲が変化する。このため、仮にサイドミラー９３Ｌ，９３Ｒを格納した状態において、展開した状態と同じ手法で合成画像ＣＰを生成したとすると、被写体の像が不整合に合成された不適切な合成画像ＣＰが生成されることになる。
このような問題に対応するため、本実施の形態の画像表示システム１０は、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とで、サイドカメラ５Ｌ，５Ｒで得られた撮影画像中の対象領域ＴＡ（すなわち、合成画像ＣＰの生成に用いる領域）を変更する。
図９は、左サイドカメラ５Ｌの撮影画像ＳＬ中の対象領域ＴＡを示している。図９の上側は左サイドミラー９３Ｌを展開した状態における対象領域ＴＡａを示している。一方、図９の下側は左サイドミラー９３Ｌを格納した状態における対象領域ＴＡｂを示している。図に示すように、これらの２つの撮影画像ＳＬでは、撮影画像ＳＬ中の対象領域ＴＡが異なっている。
このように、左サイドミラー９３Ｌを展開した状態と格納した状態とで撮影画像ＳＬ中の対象領域ＴＡを変更することで、いずれの状態においても、撮影画像ＳＬにおいて車両９の周辺の被写体の像が含まれる領域を対象領域ＴＡとすることができる。その結果、いずれの状態においても、被写体の像が整合して合成された適切な合成画像ＣＰを生成できる。なお、この例では、左サイドカメラ５Ｌに関して説明したが、右サイドカメラ５Ｒの撮影画像ＳＲ中の対象領域ＴＡについても、右サイドミラー９３Ｒの状態に応じて同様に変更される。
サイドミラー９３Ｌ，９３Ｒを格納した状態の対象領域ＴＡｂは、展開した状態の対象領域ＴＡａに対して単純な座標変換（回転、平行移動など）をすることでは適切に定めることはできない。これは、サイドミラー９３Ｌ，９３Ｒの状態の移行に伴いサイドカメラ５Ｌ，５Ｒの位置自体が変化することや、魚眼レンズなどの広角レンズを介して得られる撮影画像には大きな歪曲収差（被写体の像が歪む現象）が生じるためである。このため、サイドミラー９３Ｌ，９３Ｒを展開した状態の対象領域ＴＡａ、及び、格納した状態の対象領域ＴＡｂはそれぞれ個別に、記憶部２７に予め記憶された対応テーブル２７ｂによって定められる。
画像表示システム１０の画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、その状態に応じた対応テーブル２７ｂである「展開時テーブル」を用いる。そして、画像合成部２２は、展開時テーブルによって定められる撮影画像中の対象領域ＴＡａを用いて合成画像ＣＰを生成する。一方、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、その状態に応じた対応テーブル２７ｂである「格納時テーブル」を用いる。そして、画像合成部２２は、格納時テーブルによって定められる撮影画像中の対象領域ＴＡｂを用いて合成画像ＣＰを生成する。
このように画像表示システム１０の画像合成部２２は、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態に応じて、合成画像ＣＰの生成に用いる対象領域ＴＡを変更する。これにより、画像表示システム１０は、サイドミラー９３Ｌ，９３Ｒの展開／格納のいずれの状態であっても適切な合成画像ＣＰを生成することができる。
＜１−５．表示画像の表示＞
次に、画像表示システム１０の動作の流れについて説明する。図１０は、表示画像ＤＰを表示するための画像表示システム１０の動作の流れを示す図である。図１０に示す動作は、ユーザによって動作の開始を指示する操作が操作ボタン４を介してなされた場合に開始される。また、図１０に示す動作は、ユーザによって動作の停止を指示する操作が操作ボタン４を介してなされるまで、所定の周期（例えば、１／３０秒周期）で繰り返し実行されることになる。
まず、車両９に設けられた４つのカメラ５のそれぞれが車両９の周辺を撮影する。そして、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１１）。
次に、状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する。状態取得部２０ｂは、サイドミラー９３Ｌ，９３Ｒを回転駆動するミラー駆動部９２から送出される信号に基づいて、サイドミラー９３Ｌ，９３Ｒが展開した状態あるいは格納した状態のいずれであるかを判断する（ステップＳ１２）。
サイドミラー９３Ｌ，９３Ｒが展開した状態の場合は（ステップＳ１２にてＹｅｓ）、画像合成部２２が、画像制御部２０ａの制御により、合成画像ＣＰの生成に用いる対応テーブルとして展開時テーブルを選択する（ステップＳ１３）。そして、画像合成部２２は、記憶部２７に記憶された複数の対応テーブル２７ｂの一つである展開時テーブルを記憶部２７から読み出す。
次に、画像合成部２２が、展開時テーブルを用いて、仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰを生成する（ステップＳ１５）。画像合成部２２は、展開時テーブルに基いて４つの撮影画像それぞれの対象領域ＴＡを定める。そして、画像合成部２２は、４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する。
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成する（ステップＳ１６）。画像調整部２３は、画像合成部２２が生成した合成画像ＣＰと、画像取得部２１が取得した撮影画像とを用いて表示画像ＤＰを生成する。画像調整部２３は、画像制御部２０ａの制御により、車両９の進行方向に応じた撮影画像を選択して表示画像ＤＰの生成に用いる。
次に、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
また、ステップＳ１２において、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は（ステップＳ１２にてＮｏ）、画像合成部２２が、画像制御部２０ａの制御により、合成画像ＣＰの生成に用いる対応テーブルとして格納時テーブルを選択する（ステップＳ１４）。そして、画像合成部２２は、記憶部２７に記憶された複数の対応テーブル２７ｂの一つである格納時テーブルを記憶部２７から読み出す。
次に、画像合成部２２が、格納時テーブルを用いて、仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰを生成する（ステップＳ１５）。画像合成部２２は、格納時テーブルに基いて４つの撮影画像それぞれの対象領域ＴＡを定める。これにより、サイドミラー９３Ｌ，９３Ｒを格納した状態であっても、サイドカメラＳＬ，ＳＲの撮影画像において、車両９の周辺の被写体の像が含まれる領域が対象領域ＴＡとして定められる。そして、画像合成部２２は、４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する。その結果、被写体の像が整合して合成された適切な合成画像ＣＰが生成される。
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成する（ステップＳ１６）。画像調整部２３は、画像合成部２２が生成した合成画像ＣＰと、画像取得部２１が取得した撮影画像とを用いて表示画像ＤＰを生成する。画像調整部２３は、画像制御部２０ａの制御により、車両９の進行方向に応じた撮影画像を選択して表示画像ＤＰの生成に用いる。
次に、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
以上のように第１の実施の形態の画像表示システム１０では、画像取得部２１が車両９のサイドミラー９３Ｌ，９３Ｒに設けられたサイドカメラ５Ｌ，５Ｒを含む複数のカメラ５で得られた複数の撮影画像を取得し、画像合成部２２が複数の撮影画像それぞれの対象領域ＴＡを用いて、仮想視点からみた車両９の周辺を示す合成画像ＣＰを生成する。また、状態取得部２０ｂがサイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得し、画像合成部２２はサイドミラー９３Ｌ，９３Ｒの展開／格納の状態に応じて対象領域ＴＡを変更する。このようにサイドミラー９３Ｌ，９３Ｒの状態に応じてサイドカメラ５Ｌ，５Ｒで得られた撮影画像中の対象領域ＴＡを変更するため、サイドミラー９３Ｌ，９３Ｒの展開／格納のいずれの状態であっても適切な合成画像ＣＰを生成することができる。
＜２．第２の実施の形態＞
＜２−１．概要＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態の画像表示システム１０は、キャリブレーション処理によって取得される各カメラ５の光軸の方向の誤差を示す光軸パラメータを用いて合成画像ＣＰを生成する。
カメラ５を車両９に設置した場合においては、車両９に対する相対的なカメラ５の光軸の方向に関して設計上の方向に対し僅かに誤差（設置誤差）が生じる。このような誤差に起因して、カメラ５で取得された撮影画像に含まれる被写体の像の位置は、設計上想定される位置からズレることになる。このため、このようなズレを考慮せずに、撮影画像中の設計上で定められた対象領域ＴＡを用いて合成画像ＣＰを生成した場合には、被写体の像が不整合に合成される可能性がある。
特に、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成する場合においては、被写体の像が不整合に合成されると、合成画像ＣＰのブレンドした部分において同一の物体の像が異なる位置に表れることがある。このような合成画像ＣＰを視認したユーザは、車両９の周辺に存在する物体の数や位置を誤解する可能性がある。
このため、第２の実施の形態の画像表示システム１０は、キャリブレーション処理を実行して、各カメラ５の実際の光軸の方向に関する光軸パラメータを取得する。光軸パラメータは、車両９に対する相対的なカメラ５の光軸の方向の設計上の方向に対する誤差を示しており、例えば、ロール角、チルト角及びパン角などである。そして、画像表示システム１０は、取得した光軸パラメータを用いて、合成画像ＣＰの生成に用いる対象領域ＴＡの撮影画像中の位置を補正する。これにより、画像表示システム１０は適切な合成画像ＣＰを生成するようになっている。
また、サイドカメラ５Ｌ，５Ｒは、サイドミラー９３Ｌ，９３Ｒの回転駆動に伴ってその位置及び光軸の方向が変化する。このようなサイドミラー９３Ｌ，９３Ｒの回転駆動においても回転角度等に個体差がある。このため、サイドカメラ５Ｌ，５Ｒの光軸の方向に関しては、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とでそれぞれ独立した誤差が生じる。したがって、画像表示システム１０は、サイドミラー９３Ｌ，９３Ｒに関しては、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態と実際に格納した状態とのそれぞれで、サイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を示す光軸パラメータを取得する。
第２の実施の形態の画像表示システム１０の画像生成装置２は、キャリブレーション処理において光軸パラメータを導出する機能を有している。このため、画像生成装置２は、車両９に設けられたカメラ５に関するパラメータを取得するパラメータ取得装置であるともいえる。画像表示システム１０は、車両工場や車両整備場などで車両９に複数のカメラ５が取り付けられた際に、キャリブレーション処理を実行する。キャリブレーション処理で得られた光軸パラメータは、画像生成装置２に記憶され、以降、画像生成装置２は合成画像ＣＰを生成する場合に利用する。
図１１は、第２の実施の形態の画像表示システム１０の構成を示す図である。第２の実施の形態の画像表示システム１０は、図１に示す第１の実施の形態の構成に加えて、光軸パラメータを導出するパラメータ導出部２０ｃをさらに備えている。パラメータ導出部２０ｃは、プログラム２７ａに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能部の一部である。
また、記憶部２７には、プログラム２７ａ及び複数の対応テーブル２７ｂとともに、複数の光軸パラメータ２７ｃが記憶されている。光軸パラメータ２７ｃは、キャリブレーション処理によって取得されるため、キャリブレーション処理の実行前は記憶部２７に記憶されていない。
光軸パラメータ２７ｃは、各カメラ５ごとに存在している。また、サイドカメラ５Ｌ，５Ｒに関しては、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とのそれぞれの光軸パラメータ２７ｃが個別に存在している。
＜２−２．キャリブレーション処理＞
図１２は、キャリブレーション処理を実行する場合における車両９の様子を示す図である。図１２に示すように、車両工場や車両整備場などキャリブレーション処理を実行する作業場には、４つの標識体７が配置される。
図１３に示すように、４つの標識体７はそれぞれ、直立可能な立体形状を有している。標識体７は、直立させたプラスチック板などの板状体７９を有している。板状体７９における車両９に対向する側の主面には、所定の模様のマーク７０が形成されている。マーク７０の模様は、例えば、市松模様である。この模様を形成する二色のうちの一方は相対的に暗い色（例えば、黒）、他方は相対的に明るい色（例えば、白）となっている。
キャリブレーション処理を実行する場合には、図１２に示すように、作業場の所定位置に略正確に車両９が正対装置などにより停車される。これにより、車両９に対する４つの標識体７の相対的な位置は一定となる。４つの標識体７は、車両９の左前方、右前方、左後方、及び、右後方の各領域Ａ１，Ａ２，Ａ３，Ａ４にそれぞれ配置される。したがって、４つの標識体７は全て、４つのカメラ５のうちの２つのカメラ５によって重複して撮影可能となっている（図２参照。）。
キャリブレーション処理は、図１２に示す状態で、作業員がタッチパネル３１等を介して所定の操作を行うことで実行される。キャリブレーション処理では、車両９に搭載されたカメラ５が、標識体７を含む車両９の周囲を撮影して撮影画像を取得する。画像生成装置２は、このようにして得られた撮影画像に基づいて、カメラ５の光軸の方向の誤差を示す光軸パラメータを取得する。
図１４は、画像表示システム１０のキャリブレーション処理の流れを示す図である。以下、キャリブレーション処理の流れについて説明する。このキャリブレーション処理においては、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態と実際に格納した状態とのそれぞれにおいて光軸パラメータが取得される。
まず、画像生成装置２の状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得し、サイドミラー９３Ｌ，９３Ｒが実際に展開した状態であることを確認する（ステップＳ２１）。この際、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は、サイドミラー９３Ｌ，９３Ｒが展開した状態となるまで、画像表示システム１０は処理を待機する。
なお、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は、表示装置３が警告等を表示して、サイドミラー９３Ｌ，９３Ｒを展開した状態にするように作業員を促してもよい。また、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は、画像生成装置２の制御部２０が、所定の信号をミラー駆動部９２へ送出して、サイドミラー９３Ｌ，９３Ｒを展開した状態に自動的に移行させてもよい。
サイドミラー９３Ｌ，９３Ｒが実際に展開した状態である場合は（ステップＳ２１にてＹｅｓ）、次に、パラメータ導出部２０ｃが、４つのカメラ５のうち一のカメラ５を処理の対象とする「注目カメラ」として選択する（ステップＳ２２）。
次に、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域を撮影して撮影画像を取得する（ステップＳ２３）。図１５は、このようにして取得されたキャリブレーション処理用の撮影画像ＧＣの一例を示す図である。図に示すように、撮影画像ＧＣには、２つのマーク７０の像（以下、「マーク像」という。）７１ａ，７２ａが含まれている。
次に、パラメータ導出部２０ｃが、撮影画像ＧＣに基いて、注目カメラ５の光軸の方向の誤差を示す光軸パラメータを取得する（ステップＳ２４）。パラメータ導出部２０ｃは、まず、撮影画像ＧＣに含まれる２つのマーク像７１ａ，７２ａの位置を特定し、これらの位置に基づいて、パン角、チルト角及びロール角等の光軸パラメータを導出する。
パラメータ導出部２０ｃは、例えば、ハリスオペレータなどの周知のコーナ検出法を用いて、撮影画像ＧＣ中の２つのマーク像７１ａ，７２ａの位置を特定する。また、パラメータ導出部２０ｃは、例えば、撮影画像ＧＣ中の２つのマーク像７１ａ，７１ｂの左右の位置に基づいてパン角、２つのマーク像７１ａ，７１ｂの上下の位置に基づいてチルト角、撮影画像ＧＣ中の２つのマーク像７１ａ，７１ｂの高さの差に基づいてロール角をそれぞれ導出する。なお、撮影画像ＧＣ中の２つのマーク像７１ａ，７２ａの位置は、作業員が手動で指定してもよい。
パラメータ導出部２０ｃは、このようにして取得した光軸パラメータを、注目カメラ５に関連付けて記憶部２７に記憶する。
次に、パラメータ導出部２０ｃは、４つのカメラ５の全てについて光軸パラメータを取得したか否かを判定する（ステップＳ２５）。そして、光軸パラメータの取得が完了していないカメラ５がある場合は（ステップＳ２５にてＮｏ）、注目カメラ５に設定されていない他のカメラ５が新たな注目カメラ５に設定されて、上述した処理が繰り返される。
このような処理が繰り返されることにより、４つのカメラ５の全ての光軸パラメータが取得され、記憶部２７に記憶される。この過程で取得された２つのサイドカメラ５Ｌ，５Ｒの光軸パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態において取得された光軸パラメータであり、以下、「展開時パラメータ」という。「展開時パラメータ」は、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態における、サイドカメラ５Ｌ，５Ｒの光軸の方向の設計上の方向に対する誤差を示す。
このように４つのカメラ５の光軸パラメータが取得されると（ステップＳ２５にてＹｅｓ）、次に、状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する。そして、サイドミラー９３Ｌ，９３Ｒが実際に格納した状態となるまで、画像表示システム１０は処理を待機する（ステップＳ２６）。
なお、この際、表示装置３が警告等を表示して、サイドミラー９３Ｌ，９３Ｒを格納した状態にするように作業員を促してもよい。また、画像生成装置２の制御部２０が、所定の信号をミラー駆動部９２へ送出して、サイドミラー９３Ｌ，９３Ｒを格納した状態に自動的に移行させてもよい。
サイドミラー９３Ｌ，９３Ｒが実際に格納した状態となった場合は（ステップＳ２６にてＹｅｓ）、次に、パラメータ導出部２０ｃが、左右２つのサイドカメラ５Ｌ，５Ｒのうちの一方を処理の対象とする「注目カメラ」として選択する（ステップＳ２７）。
次に、注目カメラ５が、２つの標識体７のマーク７０を含む車両９の周辺の領域を撮影して撮影画像を取得する（ステップＳ２８）。このとき取得された撮影画像ＧＣにも、２つのマーク像７１ａ，７２ａが含まれている。
次に、パラメータ導出部２０ｃが、撮影画像ＧＣに基いて、注目カメラ５の光軸の方向の誤差を示す光軸パラメータを取得する（ステップＳ２９）。パラメータ導出部２０ｃは、撮影画像ＧＣに含まれる２つのマーク像７１ａ，７２ａの位置を特定し、これらの位置に基づいて光軸パラメータを導出する。パラメータ導出部２０ｃは、取得した光軸パラメータを、注目カメラ５に関連付けて記憶部２７に記憶する。
次に、パラメータ導出部２０ｃは、左右２つのサイドカメラ５Ｌ，５Ｒの双方について光軸パラメータを取得したか否かを判定する（ステップＳ３０）。光軸パラメータの取得が完了していないサイドカメラ５がある場合は（ステップＳ３０にてＮｏ）、注目カメラ５に設定されていない他方のサイドカメラ５が新たな注目カメラ５に設定されて、上述した処理が繰り返される。
このような処理により、左右２つのサイドカメラ５Ｌ，５Ｒの双方の光軸パラメータが取得され、記憶部２７に記憶される。この過程で取得された２つのサイドカメラ５Ｌ，５Ｒの光軸パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態において取得された光軸パラメータであり、以下、「格納時パラメータ」という。「格納時パラメータ」は、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態における、サイドカメラ５Ｌ，５Ｒの光軸の方向の設計上の方向に対する誤差を示す。
以上のキャリブレーション処理により、２つのサイドカメラ５Ｌ，５Ｒに関しては「展開時パラメータ」と「格納時パラメータ」との双方が取得されることになる。
＜２−３．表示画像の表示＞
このようにして取得された光軸パラメータは、合成画像ＣＰを生成する際に利用される。図１６は、第２の実施の形態における、表示画像ＤＰを表示するための画像表示システム１０の動作の流れを示す図である。図１６に示す動作は、図１０に示す第１の実施の形態の動作におけるステップＳ１３の後にステップＳ１３ａを加えるとともに、ステップＳ１４の後にステップＳ１４ａを加えたものとなっている。
まず、画像取得部２１が４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１１）。次に、状態取得部２０ｂが、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得する（ステップＳ１２）。
サイドミラー９３Ｌ，９３Ｒが展開した状態の場合は（ステップＳ１２にてＹｅｓ）、画像合成部２２が、合成画像ＣＰの生成に用いる対応テーブルとして展開時テーブルを選択し、展開時テーブルを記憶部２７から読み出す（ステップＳ１３）。
次に、画像合成部２２が、展開時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸の方向の誤差を考慮して修正する（ステップＳ１３ａ）。画像合成部２２は、４つのカメラ５それぞれの光軸パラメータ２７ｃを記憶部２７から読み出す。この際、画像合成部２２は、２つのサイドカメラ５Ｌ，５Ｒに関しては「展開時パラメータ」を記憶部２７から読み出す。そして、画像合成部２２は、展開時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸パラメータ２７ｃを用いて修正する。これにより、サイドカメラ５Ｌ，５Ｒの撮影画像の対象領域ＴＡについては、サイドカメラ５Ｌ，５Ｒそれぞれの「展開時パラメータ」を用いて修正される。
図１７は、左サイドミラー９３Ｌを展開した状態における、左サイドカメラ５Ｌの撮影画像ＳＬ中の対象領域ＴＡの例を示している。仮に左サイドカメラ５Ｌの光軸の方向に関して誤差がないとした場合は、合成画像ＣＰの生成に用いる対象領域ＴＡは、展開時テーブルのみに基づく初期領域ＴＡ１となる。画像合成部２２は、左サイドミラー９３Ｌを実際に展開した状態における左サイドカメラ５Ｌの光軸の方向の誤差を示す展開時パラメータを用いて、対象領域ＴＡを初期領域ＴＡ１から修正領域ＴＡ２に修正する。
次に、画像合成部２２が、このように修正された４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する（ステップＳ１５）。これにより、４つのカメラ５それぞれの光軸の方向の誤差が考慮されて合成画像ＣＰが生成されることになるため、被写体の像が整合して合成された適切な合成画像ＣＰが生成される。２つの撮影画像をブレンドして生成される合成画像ＣＰにおける撮影画像同士の境界部分においても、被写体の像を適切に重ね合わせることができる。
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成し（ステップＳ１６）、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
また、ステップＳ１２において、サイドミラー９３Ｌ，９３Ｒが格納した状態の場合は（ステップＳ１２にてＮｏ）、画像合成部２２が、合成画像ＣＰの生成に用いる対応テーブルとして格納時テーブルを記憶部２７から読み出す（ステップＳ１４）。
次に、画像合成部２２が、格納時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸の方向の誤差を考慮して修正する（ステップＳ１４ａ）。画像合成部２２は、４つのカメラ５それぞれの光軸パラメータ２７ｃを記憶部２７から読み出す。この際、画像合成部２２は、２つのサイドカメラ５Ｌ，５Ｒに関しては「格納時パラメータ」を記憶部２７から読み出す。そして、画像合成部２２は、格納時テーブルに基いて定められる４つの撮影画像それぞれの対象領域ＴＡを、４つのカメラ５それぞれの光軸パラメータ２７ｃを用いて修正する。これにより、サイドカメラ５Ｌ，５Ｒの撮影画像の対象領域ＴＡについては、サイドカメラ５Ｌ，５Ｒそれぞれの「格納時パラメータ」を用いて修正される。
図１８は、左サイドミラー９３Ｌを格納した状態における、左サイドカメラ５Ｌの撮影画像ＳＬ中の対象領域ＴＡの例を示している。仮に左サイドカメラ５Ｌの光軸の方向に関して誤差がないとした場合は、合成画像ＣＰの生成に用いる対象領域ＴＡは、格納時テーブルのみに基づく初期領域ＴＡ３となる。画像合成部２２は、左サイドミラー９３Ｌを実際に格納した状態における左サイドカメラ５Ｌの光軸の方向の誤差を表す格納時パラメータを用いて、対象領域ＴＡを初期領域ＴＡ３から修正領域ＴＡ４に修正する。
次に、画像合成部２２が、このように修正された４つの撮影画像それぞれの対象領域ＴＡを用いて合成画像ＣＰを生成する（ステップＳ１５）。これにより、４つのカメラ５それぞれの光軸の方向の誤差が考慮されて合成画像ＣＰが生成されることになるため、被写体の像が整合して合成された適切な合成画像ＣＰが生成される。２つの撮影画像をブレンドして生成される合成画像ＣＰにおける撮影画像同士の境界部分においても、被写体の像を適切に重ね合わせることができる。
次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成し（ステップＳ１６）、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１７）。これにより、合成画像ＣＰを含む表示画像ＤＰが、表示装置３に表示される。
以上のように第２の実施の形態の画像表示システム１０では、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、展開時パラメータに基づく対象領域ＴＡを用いて合成画像ＣＰを生成する。また、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、格納時パラメータに基づく対象領域ＴＡを用いて合成画像ＣＰを生成する。展開時パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態におけるサイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を示している。一方、格納時パラメータは、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態におけるサイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を示している。
このように画像合成部２２は、サイドミラー９３Ｌ，９３Ｒの展開／格納の２つの状態それぞれでの光軸の方向の誤差に基づく対象領域ＴＡを用いて合成画像ＣＰを生成する。このため、サイドミラー９３Ｌ，９３Ｒの展開／格納のいずれの状態であっても被写体の像が適切に配置された合成画像ＣＰを生成することができる。また、合成画像ＣＰにおける撮影画像同士の境界部分を２つの撮影画像をブレンドして生成する場合であっても、合成画像ＣＰのブレンドした部分において被写体の像を適切に重ね合わせることができる。
また、キャリブレーション処理において、パラメータ導出部２０ｃは、サイドミラー９３Ｌ，９３Ｒを実際に展開した状態において展開時パラメータを取得し、サイドミラー９３Ｌ，９３Ｒを実際に格納した状態において格納時パラメータを取得する。このため、サイドミラー９３Ｌ，９３Ｒの展開／格納の２つの状態のそれぞれで適切な合成画像ＣＰを生成するために必要な展開時パラメータと格納時パラメータとを適切に取得することができる。
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成及び動作は、第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。
第２の実施の形態の画像表示システム１０は、キャリブレーション処理において、サイドミラー９３Ｌ，９３Ｒを展開／格納の２つの状態それぞれにおいて光軸パラメータを取得していた。適切な合成画像ＣＰを生成するには、このように２つの状態の双方において光軸パラメータを取得することが望ましいが、キャリブレーション処理に比較的長い時間が必要となる。
このため、第３の実施の形態の画像表示システム１０は、キャリブレーション処理において、サイドミラー９３Ｌ，９３Ｒを展開した状態のみにおいて光軸パラメータ（展開時パラメータ）を取得して、キャリブレーション処理に必要な時間を短縮している。そして、第３の実施の形態の画像表示システム１０は、格納時パラメータについては、取得した展開時パラメータに基づき所定の演算により導出するようにしている。
ただし、前述のようにサイドカメラ５Ｌ，５Ｒの光軸の方向に関しては、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とでそれぞれ独立した誤差が生じる。このため、このように格納時パラメータを演算で導出した場合には、光軸の方向の誤差を正確に示す格納時パラメータを取得することは難しい。したがって、演算で導出した格納時パラメータを用いて合成画像ＣＰを生成した場合には、被写体の像が不整合に合成される可能性がある。
特に、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成する場合においては、被写体の像が不整合に合成されると、合成画像ＣＰのブレンドした部分において同一の物体の像が異なる位置に表れることがある。このような合成画像ＣＰを視認したユーザは、車両９の周辺に存在する物体の数や位置を誤解する可能性がある。
このため、第３の実施の形態の画像表示システム１０は、サイドミラー９３Ｌを展開した状態（キャリブレーション処理で取得した展開時パラメータを用いる場合）では、第２の実施の形態と同様に、合成画像ＣＰにおける撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成する。その一方で、画像表示システム１０は、サイドミラー９３Ｌを格納した状態（演算で導出した格納時パラメータを用いる場合）では、合成画像ＣＰにおける合成画像における撮影画像同士の境界部分を、撮影画像を用いないラインとするようにしている。
第３の実施の形態の画像表示システム１０の構成は、図１１に示す第２の実施の形態と同様である。ただし、パラメータ導出部２０ｃは、キャリブレーション処理においてサイドミラー９３Ｌ，９３Ｒを展開した状態のみにおいて光軸パラメータ（展開時パラメータ）を取得する。そして、パラメータ導出部２０ｃは、取得した展開時パラメータに基づき、所定の演算により格納時パラメータを導出する。このような演算式は設計値により予め定められ、記憶部２７に記憶されている。
また、第３の実施の形態における、表示画像ＤＰを表示するための画像表示システム１０の動作の流れは、図１６に示す動作と同様である。ただし、ステップＳ１５において画像合成部２２が合成画像ＣＰを生成する際に、合成画像ＣＰにおける撮影画像同士の境界部分を生成する手法が、サイドミラー９３Ｌ，９３Ｒを展開した状態の場合と格納した状態の場合とで異なっている。
サイドミラー９３Ｌ，９３Ｒを展開した状態の場合では、画像合成部２２は、上述した実施の形態と同様に、合成画像ＣＰにおける撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成することになる（図４参照。）。
これに対して、サイドミラー９３Ｌ，９３Ｒを格納した状態の場合では、画像合成部２２は、合成画像ＣＰにおける撮影画像同士の境界部分を、撮影画像をブレンドして生成しない。この場合は、図１９に示すように、立体曲面ＴＳの投影領域Ｒ１において４つの撮影画像が投影される部分ＧＦ，ＧＢ，ＧＬ，ＧＲは互いに重ならずに、一定の間隔を開けて分断されている。このため、部分ＧＦ，ＧＢ，ＧＬ，ＧＲ同士の境界部分ＢＢ１〜ＢＢ４には、いずれの撮影画像のデータも投影されない隙間が形成されている。したがって、画像合成部２２は、合成画像ＣＰにおける撮影画像同士の境界部分を、撮影画像を用いないラインとすることになる。
図２０は、サイドミラー９３Ｌ，９３Ｒを展開した状態と格納した状態とのそれぞれで生成される合成画像ＣＰの例を示している。図２０の左側はサイドミラー９３Ｌ，９３Ｒを展開した状態で生成される合成画像ＣＰを示しており、図２０の右側はサイドミラー９３Ｌ，９３Ｒを格納した状態で生成される合成画像ＣＰを示している。図２０中では、合成画像ＣＰにおける撮影画像同士の境界部分に、図４または図１９において立体曲面ＴＳの部分ＧＦ，ＧＢ，ＧＬ，ＧＲ同士の境界部分に付した符号と同じ符号を付している。
図２０の左側に示すように、サイドミラー９３Ｌ，９３Ｒを展開した状態の合成画像ＣＰでは、合成画像ＣＰにおける撮影画像同士の境界部分ＢＡ１〜ＢＡ４がブレンドして生成される。このため、この境界部分ＢＡ１〜ＢＡ４にも被写体の像が含まれており、合成画像ＣＰは自然な画像となっている。この場合は、キャリブレーション処理で取得した展開時パラメータを用いて合成画像ＣＰを生成するため、合成画像ＣＰのブレンドした部分において被写体の像を適切に重ね合わせることができる。
これに対して、図２０の右側に示すように、サイドミラー９３Ｌ，９３Ｒを格納した状態の合成画像ＣＰでは、合成画像ＣＰにおける撮影画像同士の境界部分ＢＢ１〜ＢＢ４には撮影画像のデータが用いられておらず、無彩色のラインとなっている。このため、このラインＢＢ１〜ＢＢ４には被写体の像が含まれていない。
この場合は、演算で導出した格納時パラメータを用いて合成画像ＣＰを生成するため、被写体の像が不整合に合成されるおそれがある。このため、合成画像ＣＰにおける撮影画像同士の境界部分を被写体の像を含まないラインとすることで、被写体の像が不整合に重ねられることを防止することができる。また、合成画像ＣＰにおける撮影画像同士をラインで区切ることで、撮影画像間において被写体の像が不連続となることでユーザが感じる違和感を軽減することができる。
以上のように第３の実施の形態の画像表示システム１０では、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成する。その一方で、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を撮影画像を用いないラインとする。
サイドミラー９３Ｌ，９３Ｒを展開した状態では、サイドカメラ５Ｌ，５Ｒの光軸の方向の誤差を正確に考慮して合成画像ＣＰを生成できる。このため、合成画像ＣＰにおけるブレンドした部分において被写体の像を適切に重ね合わせることができ、自然な合成画像ＣＰを生成することができる。これに対し、サイドミラー９３Ｌ，９３Ｒを格納した状態では、サイドカメラ５Ｌ，５Ｒの光軸の方向の誤差が不正確となる。このため、合成画像ＣＰにおける撮影画像同士の境界部分をラインとすることで、被写体の像が不整合に重ねられることを防止できる。
なお、この第３の実施の形態では、キャリブレーション処理で展開時パラメータを取得し、取得した展開時パラメータに基づき所定の演算により格納時パラメータを導出すると説明した。これとは逆に、キャリブレーション処理で格納時パラメータを取得し、取得した格納時パラメータに基づき所定の演算により展開時パラメータを導出してもよい。この場合は、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを展開した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を撮影画像を用いないラインとする。その一方で、画像合成部２２は、サイドミラー９３Ｌ，９３Ｒを格納した状態では、合成画像ＣＰにおける撮影画像同士の境界部分を該境界部分を挟む２つの撮影画像をブレンドして生成することになる。
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態では、状態取得部２０ｂは、ミラー駆動部９２から送出される信号に基づいて、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得していた。これに対して、状態取得部２０ｂは、ユーザの入力操作に基いて、サイドミラー９３Ｌ，９３Ｒの展開／格納の状態を取得するようにしてもよい。この場合は、ユーザが、サイドミラー９３Ｌ，９３Ｒが展開した状態、及び、格納した状態のいずれであるかを、操作ボタン４やタッチパネル３１を介して入力することになる。
また、第２及び第３の実施の形態では、マーク７０は直立可能な標識体７に形成されていた。これに対して、マーク７０は、例えば、直立できない板状の標識体の主面に形成してもよく、また、作業場の床面に形成してもよい。
また、第２及び第３の実施の形態では、画像生成装置２は、光軸パラメータを取得するパラメータ取得装置としての機能を備えていなくてもよい。この場合、画像生成装置２は、別のパラメータ取得装置によって取得された光軸パラメータを記憶部２７に記憶しておき、合成画像ＣＰを生成する場合に利用すればよい。
また、画像表示システム１０は、上記で説明した車両９の周辺を示す表示画像を表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。画像表示システム１０がナビゲーション機能を備える場合は、通常はナビゲーション機能が有効化され、ユーザによって所定の操作がなされた場合に、上記の表示画像を表示する機能を有効化すればよい。ナビゲーション機能は、画像生成装置２が有していてもよく表示装置３が有していてもよい。
また、上記実施の形態の画像表示システム１０は、車両９の直上の仮想視点からみた合成画像（俯瞰画像）を生成するものであったが、他の位置の仮想視点からみた合成画像を生成するものであってもよい。
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能部が実現されると説明したが、これら機能部のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
１０ 画像表示システム
２ 画像生成装置
２０ｂ 状態取得部
２０ｃ パラメータ導出部
２２ 画像合成部
２７ｂ 対応テーブル
２７ｃ 光軸パラメータ
５ カメラ
９ 車両

Claims (9)

  1. 車両において用いられる画像生成装置であって、
    前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する画像取得手段と、
    前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
    前記車両のサイドミラーの展開／格納の状態を取得する状態取得手段と、
    を備え、
    前記生成手段は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更することを特徴とする画像生成装置。
  2. 請求項１に記載の画像生成装置において、
    前記生成手段は、
    前記サイドミラーを展開した状態では、該サイドミラーを展開した状態における前記サイドカメラの光軸の方向の誤差を示す第１パラメータに基づく前記対象領域を用い、
    前記サイドミラーを格納した状態では、該サイドミラーを格納した状態における前記サイドカメラの光軸の方向の誤差を示す第２パラメータに基づく前記対象領域を用いることを特徴とする画像生成装置。
  3. 請求項２に記載の画像生成装置において、
    前記サイドミラーを実際に展開した状態において、前記第１パラメータを取得する第１パラメータ取得手段と、
    前記サイドミラーを実際に格納した状態において、前記第２パラメータを取得する第２パラメータ取得手段と、
    をさらに備えることを特徴とする画像生成装置。
  4. 請求項２または３に記載の画像生成装置において、
    前記生成手段は、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成することを特徴とする画像生成装置。
  5. 請求項１に記載の画像生成装置において、
    前記生成手段は、
    前記サイドミラーの展開及び格納の一方の状態では、前記合成画像における前記撮影画像同士の境界部分を、該境界部分を挟む２つの撮影画像をブレンドして生成し、
    前記サイドミラーの展開及び格納の他方の状態では、前記合成画像における前記撮影画像同士の境界部分を、前記撮影画像を用いないラインとすることを特徴とする画像生成装置。
  6. 車両において用いられる画像表示システムであって、
    請求項１ないし５のいずれかに記載の画像生成装置と、
    前記画像生成装置から出力される前記合成画像を表示する表示装置と、
    を備えることを特徴とする画像表示システム。
  7. 車両に設けられたカメラに関するパラメータを取得するパラメータ取得装置であって、
    サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する取得手段と、
    前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ取得手段と、
    前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ取得手段と、
    を備えることを特徴とするパラメータ取得装置。
  8. 車両において用いられる画像生成方法であって、
    （ａ）前記車両のサイドミラーに設けられたサイドカメラを含む複数のカメラで得られた複数の撮影画像を取得する工程と、
    （ｂ）前記複数の撮影画像それぞれの対象領域を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
    （ｃ）前記車両のサイドミラーの展開／格納の状態を取得する工程と、
    を備え、
    前記工程（ｂ）は、前記サイドミラーの展開／格納の状態に応じて、前記サイドカメラで得られた前記撮影画像中の前記対象領域を変更することを特徴とする画像生成方法。
  9. 車両に設けられたカメラに関するパラメータを取得するパラメータ取得方法であって、
    （ａ）サイドカメラが設けられた前記車両のサイドミラーの展開／格納の状態を取得する工程と、
    （ｂ）前記サイドミラーを実際に展開した状態において、前記サイドカメラの光軸の方向の誤差を示す第１パラメータを取得する第１パラメータ工程と、
    （ｃ）前記サイドミラーを実際に格納した状態において、前記サイドカメラの光軸の方向の誤差を示す第２パラメータを取得する第２パラメータ工程と、
    を備えることを特徴とするパラメータ取得方法。
JP2012189604A 2012-08-30 2012-08-30 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法 Active JP6099333B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012189604A JP6099333B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
US14/419,777 US9931982B2 (en) 2012-08-30 2013-07-31 Image generating apparatus, image displaying system, parameter acquiring apparatus, image generating method and parameter acquiring method
PCT/JP2013/070720 WO2014034364A1 (ja) 2012-08-30 2013-07-31 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法
DE112013004306.8T DE112013004306B4 (de) 2012-08-30 2013-07-31 Bilderzeugungsgerät, Bildanzeigesystem, Parametererfassungsgerät, Bilderzeugungsverfahren und Parametererfassungsverfahren
CN201380044961.6A CN104584541B (zh) 2012-08-30 2013-07-31 图像生成设备、图像显示***、参数获取设备、图像生成方法和参数获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012189604A JP6099333B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法

Publications (2)

Publication Number Publication Date
JP2014049848A true JP2014049848A (ja) 2014-03-17
JP6099333B2 JP6099333B2 (ja) 2017-03-22

Family

ID=50183183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012189604A Active JP6099333B2 (ja) 2012-08-30 2012-08-30 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法

Country Status (5)

Country Link
US (1) US9931982B2 (ja)
JP (1) JP6099333B2 (ja)
CN (1) CN104584541B (ja)
DE (1) DE112013004306B4 (ja)
WO (1) WO2014034364A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002727A1 (en) * 2014-09-26 2016-04-06 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus and periphery monitoring system
KR20160073841A (ko) * 2014-12-17 2016-06-27 엘지이노텍 주식회사 접이식 사이드 미러 어라운드 뷰 모니터링 시스템
JP2016196217A (ja) * 2015-04-02 2016-11-24 アイシン精機株式会社 周辺監視装置
KR101762726B1 (ko) * 2015-11-16 2017-08-07 (주)캠시스 Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
KR20180066494A (ko) * 2016-12-09 2018-06-19 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
JP2023076996A (ja) * 2021-11-24 2023-06-05 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075247B (zh) 2013-02-28 2018-08-14 爱信精机株式会社 车辆的控制装置及存储介质
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
JP6507626B2 (ja) * 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
CN104960473B (zh) * 2015-07-03 2017-11-14 上海寅喆计算机科技有限公司 视角切换方法及装置
DE102015214611A1 (de) * 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
DE102017125101B4 (de) 2017-10-26 2021-03-25 Mekra Lang Gmbh & Co. Kg Haltevorrichtung für ein Kraftfahrzeug und Kamera-Monitor-System
JP6769500B2 (ja) * 2019-02-13 2020-10-14 株式会社Ｊｖｃケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
JP7380435B2 (ja) * 2020-06-10 2023-11-15 株式会社Ｊｖｃケンウッド 映像処理装置、及び映像処理システム
US11958419B2 (en) 2022-02-24 2024-04-16 Stoneridge, Inc. Collapsible vehicle camera arm assembly
CN117557660B (zh) * 2024-01-09 2024-04-12 北京集度科技有限公司 数据处理方法、装置、电子设备以及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08276787A (ja) * 1995-04-03 1996-10-22 Suzuki Motor Corp 車載用画像処理装置及び画像表示システム
JP2004306670A (ja) * 2003-04-02 2004-11-04 Toyota Motor Corp 車両用画像表示装置
JP2010069944A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両周囲監視装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP5087051B2 (ja) 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08276787A (ja) * 1995-04-03 1996-10-22 Suzuki Motor Corp 車載用画像処理装置及び画像表示システム
JP2004306670A (ja) * 2003-04-02 2004-11-04 Toyota Motor Corp 車両用画像表示装置
JP2010069944A (ja) * 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両周囲監視装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3002727A1 (en) * 2014-09-26 2016-04-06 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus and periphery monitoring system
CN105472317A (zh) * 2014-09-26 2016-04-06 爱信精机株式会社 周边监视装置及周边监视***
JP2016072703A (ja) * 2014-09-26 2016-05-09 アイシン精機株式会社 周辺監視装置、及び周辺監視システム
US9994157B2 (en) 2014-09-26 2018-06-12 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus and periphery monitoring system
KR20160073841A (ko) * 2014-12-17 2016-06-27 엘지이노텍 주식회사 접이식 사이드 미러 어라운드 뷰 모니터링 시스템
KR102321522B1 (ko) * 2014-12-17 2021-11-04 엘지이노텍 주식회사 접이식 사이드 미러 어라운드 뷰 모니터링 시스템
JP2016196217A (ja) * 2015-04-02 2016-11-24 アイシン精機株式会社 周辺監視装置
KR101762726B1 (ko) * 2015-11-16 2017-08-07 (주)캠시스 Avm 시스템에서의 탑뷰 영상 생성 방법 및 그 avm 시스템
KR20180066494A (ko) * 2016-12-09 2018-06-19 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
US10649461B2 (en) 2016-12-09 2020-05-12 Lg Electronics Inc. Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
JP2023076996A (ja) * 2021-11-24 2023-06-05 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
US9931982B2 (en) 2018-04-03
US20150183371A1 (en) 2015-07-02
JP6099333B2 (ja) 2017-03-22
CN104584541B (zh) 2018-06-19
CN104584541A (zh) 2015-04-29
WO2014034364A1 (ja) 2014-03-06
DE112013004306B4 (de) 2019-09-19
DE112013004306T5 (de) 2015-05-21

Similar Documents

Publication Publication Date Title
JP6099333B2 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP4975592B2 (ja) 撮像装置
JP2011182236A (ja) カメラキャリブレーション装置
WO2011111701A1 (ja) 車両用周囲監視装置
JP2009100095A (ja) 画像処理装置及び画像処理方法
JP5760999B2 (ja) 画像処理装置及び画像処理方法
JP2010246088A (ja) 車載カメラ装置の画像調整装置及び方法、並びに車載カメラ装置
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP6324665B2 (ja) 作業機械用周辺監視装置
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP2012023658A (ja) 車両用画像表示装置
JP2012156672A (ja) 車両周辺監視装置
CN104735403B (zh) 车用障碍物侦测显示***
JP5640155B2 (ja) 立体画像撮像装置及びその合焦状態確認用画像表示方法
JP2014165810A (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
JP2015201680A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP5827095B2 (ja) キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法
JP2009083744A (ja) 合成画像調整装置
JP6257918B2 (ja) ショベル
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2013207622A (ja) キャリブレーション装置及びキャリブレーション方法
JP6148896B2 (ja) 画像生成装置及び画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170221

R150 Certificate of patent or registration of utility model

Ref document number: 6099333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250