JP2012214083A - Image generating apparatus, image displaying system, and image generating method - Google Patents
Image generating apparatus, image displaying system, and image generating method Download PDFInfo
- Publication number
- JP2012214083A JP2012214083A JP2011079563A JP2011079563A JP2012214083A JP 2012214083 A JP2012214083 A JP 2012214083A JP 2011079563 A JP2011079563 A JP 2011079563A JP 2011079563 A JP2011079563 A JP 2011079563A JP 2012214083 A JP2012214083 A JP 2012214083A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 21
- 239000002131 composite material Substances 0.000 claims description 77
- 238000003860 storage Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 35
- 230000002093 peripheral effect Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本明細書で論じられる実施態様は、車両において画像を表示する技術に関する。 Embodiments discussed herein relate to techniques for displaying images in a vehicle.
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。 2. Description of the Related Art Conventionally, there is known an image display system that is mounted on a vehicle such as an automobile and displays a peripheral image indicating a region around the vehicle on a display in a vehicle interior based on a captured image obtained by an in-vehicle camera. By using this image display system, a user (typically a driver) can grasp the situation around the vehicle almost in real time.
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。 For example, the outer region of the front fender that is on the opposite side of the driver's seat is likely to be a blind spot from the driver's seat, and it is difficult for the user to grasp the clearance between the vehicle body and the obstacle. On the other hand, if an image display system is used, a peripheral image showing an outer region of the front fender can be displayed on a display in the vehicle interior based on a photographed image of an in-vehicle camera arranged on the side of the vehicle. As a result, the user can easily confirm the clearance between the vehicle body on the opposite side of the driver's seat and the obstacle, for example, when the vehicle is brought close.
なお、撮像部から出力されたカメラ画像を受けてマッピングテーブルを参照して合成画像を生成する画像処理システムが知られている。この画像システムでは、表示切替部は、ドアやボンネットなどの可動部分の表示を示す信号を受け、可動部分の状態変化がカメラ画像に影響を与えるとき、合成画像にそのカメラ画像が用いられないようにマッピングデータの書き換えを行う。 An image processing system that receives a camera image output from an imaging unit and generates a composite image with reference to a mapping table is known. In this image system, the display switching unit receives a signal indicating the display of a movable part such as a door or a bonnet, and when the change in the state of the movable part affects the camera image, the camera image is not used in the composite image. Rewrite the mapping data.
上記のような画像表示システムにおいて、車載カメラの撮影状態に異常が生じると適切な周辺画像をユーザに提供できなくなる。このような車載カメラの撮影状態の異常の例としては、車載カメラが設置されたサイドミラーの格納や、車載カメラ自体の故障がある。 In the image display system as described above, if an abnormality occurs in the shooting state of the in-vehicle camera, an appropriate peripheral image cannot be provided to the user. Examples of such abnormal shooting conditions of the in-vehicle camera include storage of a side mirror in which the in-vehicle camera is installed, and failure of the in-vehicle camera itself.
開示の装置及び方法は、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することを目的とする。 An object of the disclosed apparatus and method is to provide a user with an appropriate peripheral image corresponding to an abnormal state when an abnormal state occurs in the shooting state of the in-vehicle camera.
装置の一観点による画像生成装置は、車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域と異なる撮影画像の第２領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部を備える。 An image generation apparatus according to one aspect of the apparatus determines a storage state of a side mirror in which a camera that captures a side of a vehicle is disposed, and the state determination unit determines that the side mirror is in a storage state In this case, when at least a first region image in which the vehicle is reflected is selected from the captured images from the camera, and the state determination unit determines that the side mirror is in the unfolded state, the captured image is different from the first region. The image selection part which selects the image of a 2nd area | region, and the image generation part which produces | generates the display image by which the image selected by the image selection part is arrange | positioned are provided.
装置の一観点による画像表示システムは、車両のサイドミラーに配置されて車両の側方を撮影するカメラと、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第１領域と異なる撮影画像の第２領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、画像生成部から出力される画像を表示する表示部を備える。 An image display system according to one aspect of the apparatus includes a camera that is disposed on a side mirror of a vehicle and captures a side of the vehicle, a state determination unit that determines a storage state of the side mirror, and a side mirror that is stored in the state determination unit When it is determined that the image of the first region in which at least the vehicle is reflected is selected from the captured images from the camera, and the state determination unit determines that the side mirror is in the unfolded state, the first An image selection unit that selects an image in a second area of a captured image that is different from the area, an image generation unit that generates a display image in which an image selected by the image selection unit is arranged, and an image output from the image generation unit A display unit for displaying is provided.
装置の一観点による画像表示装置は、サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像を表示画面に表示する表示手段と、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を表示手段に表示する表示制御手段を備える。 An image display device according to one aspect of the device shows a state in which the vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on captured images obtained by a plurality of cameras arranged in a vehicle including a side camera installed in a side mirror. The composite image generation means for generating the composite image, the display means for displaying the composite image on the display screen, the state determination section for determining the storage state of the side mirror, and the state determination section determine that the side mirror is in the storage state. A display control means for displaying on the display means an image in which a part of the vehicle side surface is reflected from the photographed image from the side camera and cut out along the longitudinal direction of the vehicle side surface.
本件開示の装置又は方法によれば、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することが可能となる。 According to the device or method of the present disclosure, when an abnormal state occurs in the shooting state of the in-vehicle camera, it is possible to provide the user with an appropriate peripheral image corresponding to the abnormal state.
＜１．第１の実施の形態＞
＜１−１．システム構成＞
第１の実施の形態では、車載カメラが設置されたサイドミラーが格納された場合に、サイドミラーの展開時とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。まず始めに、周辺画像の処理が行われる画像表示システムの概要について説明する。
<1. First Embodiment>
<1-1. System configuration>
In the first embodiment, when a side mirror on which an in-vehicle camera is installed is stored, a more appropriate peripheral image is provided to the user by performing a display process different from that when the side mirror is deployed. First, an outline of an image display system that performs processing of peripheral images will be described.
図１は、第１の実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
FIG. 1 is a block diagram illustrating a configuration of an
図１に示すように、画像表示システム１２０は、車両の周辺の様子を示す周辺画像を生成する画像生成装置１００と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置２０とを主に備えている。画像生成装置１００で生成された周辺画像は、ナビゲーション装置２０において表示される。
As shown in FIG. 1, the
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行うハードスイッチなどの操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。
The
ユーザの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置２０は、画像生成装置１００と通信可能に接続され、画像生成装置１００との間で各種の制御信号の送受信や、画像生成装置１００で生成された画像の受信が可能となっている。
Various user instructions are received by the
ディスプレイ２１には、制御部２３の制御により、通常は、ナビゲーション装置２０単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置２０が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置２０が備えるＧＰＳ装置によって車両の位置（緯度、経度）が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ２１に表示される。表示する地図画像の縮尺はユーザの操作部２２の操作に応じて変更可能である。
Under the control of the
一方で、画像表示システム１２０の動作モードを変更した場合は、画像生成装置１００で生成された車両の周辺の様子を示す周辺画像が、ディスプレイ２１に表示される。これにより、ナビゲーション装置２０は、画像生成装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
On the other hand, when the operation mode of the
画像生成装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、車両の周辺を撮影する撮影部５とを備えている。本体部１０は、車両の所定の位置に配置され、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいてディスプレイ２１に表示するための周辺画像を生成する。
The
撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２、及び、バックカメラ５３を備えている。各車載カメラ５１〜５３は、レンズと撮像素子とを備えており電子的に画像を取得する。
The photographing
これらの複数の車載カメラ５１〜５３は、車両の異なる位置にそれぞれ配置される。図２は、車載カメラ５１〜５３が車両９に配置される位置を示す図である。
The plurality of in-
図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５３の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ５２は左右のサイドミラー９３にそれぞれ設けられ、その光軸５２ａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の外側に向けられている。
As shown in FIG. 2, the
これらの車載カメラ５１〜５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１〜５３は１８０度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部５は、４つの車載カメラ５１〜５３を利用することで車両９の全周囲の撮影が可能となっている。
A fish-eye lens or the like is adopted as the lens of these in-
図１に戻り、画像生成装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５の４つの車載カメラ５１〜５３それぞれの撮影画像を入力する入力端子４９と、表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２を主に備えている。
Returning to FIG. 1, the
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像生成装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像生成装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置、例えばステアリングやセンターコンソールに配置される。
Various instructions from the user received by the
画像生成部３は、各種の画像処理が可能なハードウェア回路であり、入力端子４９を介して撮影部５から入力される撮影画像を処理し、ディスプレイ２１に表示するための周辺画像を生成する。画像生成部３は、画像結合部３０、メモリ３１、画像調整部３２、合成画像生成部３４、画像配置部３５、及び表示付加部３６を主な構成要素として備えている。
The
画像結合部３０は、撮影部５で取得された撮影画像を１枚の結合画像に結合する。図３の（Ａ）及び図３の（Ｂ）は、画像結合部３０によって生成される結合画像Ｐｃｎの説明図である。撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。画像結合部３０は、これら４枚の撮影画像Ｐ１〜Ｐ４を結合することによって、図３の（Ｂ）に示すような結合画像Ｐｃｎを生成する。画像結合部３０によって生成された結合画像Ｐｃｎは、メモリ３１に格納される。
The
画像調整部３２は、画像結合部３０にて生成された結合画像Ｐｃｎを表示に利用するための調整を行うものである。具体的には、画像調整部３２は、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部３２は、画像選択部３３を備える。画像選択部３３は、画像調整部３２における画像処理において、結合画像Ｐｃｎに含まれる撮影画像Ｐ１〜Ｐ４から表示範囲の画像を切り出す範囲、すなわちディスプレイ２１への表示範囲を選択する。
尚、切り出しの設定（切り出し範囲の設定）や拡大縮小設定等は、装置（カメラ）取付時に行われるキャリブレーション（調整・設定作業）時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
The
In addition, for the setting of cutout (setting of the cutout range) and enlargement / reduction setting, these adjustment values, setting values, etc. are stored at the time of calibration (adjustment / setting work) performed when the device (camera) is attached. Is used to perform image processing such as the above-described adjustment processing.
合成画像生成部３４は、結合画像Ｐｃｎに基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の領域を示す合成画像を生成する。合成画像生成部３４が合成画像を生成する手法については後述する。
Based on the combined image Pcn, the composite
画像調整部３２により表示用に調整された撮影画像、及び合成画像生成部３４により生成された合成画像は、ナビ通信部４２によってナビゲーション装置２０に出力される。その際に、画像配置部３５は、以下に説明する画像表示システム１２０の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置２０へ出力する。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がナビゲーション装置２０のディスプレイ２１に表示されることになる。
The captured image adjusted for display by the
本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ５１〜５３のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点からみた周辺画像となる。
In this specification, the “peripheral image” means an image showing at least a part of the area around the vehicle, and is a concept that includes both a captured image adjusted for display and a composite image. The captured image adjusted for display is a peripheral image viewed from the viewpoint of the acquired lens position of the in-
表示付加部３６は、画像表示システム１２０がユーザへ所定の情報を提示するための表示を、画像配置部３５によって生成される表示画像上に付加する。この表示は、例えば特定の情報を示すアイコンでもよく、又はメッセージなどの文字情報であってよい。
The
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１、表示制御部１２、及び格納状態判定部１３は、このようにして実現される制御部１の機能のうちの一部を示している。
The control unit 1 is a computer including a CPU, a RAM, a ROM, and the like, and various control functions are realized by the CPU performing arithmetic processing according to a predetermined program. An
画像制御部１１は、画像生成部３によって実行される画像処理に係る制御を行う。例えば、画像制御部１１は、合成画像生成部３４が生成する合成画像の生成に必要な各種パラメータなどを指示する。
The
表示制御部１２は、ナビゲーション装置２０のディスプレイ２１に表示する表示内容に係る制御を行う。例えば、画像表示システム１２０の動作モードの変更に応じて、ディスプレイ２１の表示内容を切り替える。
The
格納状態判定部１３は、車両９のサイドミラーの格納状態を判定する。すなわち、格納状態判定部１３は、現在、サイドミラーの位置が展開位置であるのか、サイドミラーの位置が格納位置であるのかを判定する。サイドミラーの展開位置とは、サイドミラーのミラー面が車両後方に向きサイドミラーが使用状態になる位置であり、サイドミラーの格納位置とは、サイドミラーのミラー面が車両９の本体に対向する位置である。
The storage
格納状態判定部１３は、サイドミラーの開閉を操作する制御装置からの出力信号に基づいてサイドミラーの格納状態を判定してよい。格納状態判定部１３は、サイドミラーに設けられた位置センサの検出結果に基づいてサイドミラーの格納状態を判定してもよい。
The storage
画像生成装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
The
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、視点データ４ａが記憶されている。視点データ４ａは、合成画像の仮想視点を定める際に利用される。
The
カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置１００はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。
The
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、シフトセンサ７１及び舵角センサ７２からの信号が信号入力部４１を介して制御部１に入力される。
Moreover, the
シフトセンサ７１からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。舵角センサ７２からは、ドライバによるステアリングホイールの操作角が入力される。
From the
＜１−２．画像合成処理＞
次に、画像生成部３の合成画像生成部３４が、撮影部５で得られた複数の撮影画像Ｐ１〜Ｐ４に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図４は、合成画像を生成する手法を説明するための図である。
<1-2. Image composition processing>
Next, the composite
上述の通り、撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎには、撮影時点の車両９の全周囲を示す情報が含まれている。
As described above, when the
次に、結合画像Ｐｃｎの各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像Ｐｃｎの各画素の位置とこの立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像Ｐｃｎに含まれる各画素の値とに基づいて決定できる。
Next, each pixel of the combined image Pcn is projected onto the three-dimensional curved surface TS in the virtual three-dimensional space. The three-dimensional curved surface TS has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the
結合画像Ｐｃｎの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶されている。
The correspondence relationship between the position of each pixel of the combined image Pcn and the position of each pixel of the three-dimensional curved surface TS depends on the arrangement of the four in-
また、不揮発性メモリ４０に予め記憶された車体の形状やサイズを示すデータが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
Further, data indicating the shape and size of the vehicle body stored in advance in the
さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
Furthermore, the virtual viewpoint VP is set by the control unit 1 for the three-dimensional space where the three-dimensional curved surface TS exists. The virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set at an arbitrary viewpoint position corresponding to the vicinity of the
そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。
Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface TS is cut out as an image. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface TS is determined in advance, and is stored in advance in the
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。
For example, when a virtual viewpoint VPa is set in which the viewpoint position is just above the center of the position of the
なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。画像表示システム１２０では、このような合成画像生成部３４の機能を利用することで、車両９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ２１に表示する。
In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface TS, and only the values of the pixels in the area necessary corresponding to the set virtual viewpoint VP are photographed. By determining based on the images P1 to P4, the processing speed can be improved. In the
＜１−３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図５は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、ナビモードＭ０、フロントモードＭ１、サイドモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、ドライバの車両９への操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。
<1-3. Operation mode>
Next, the operation mode of the
ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内を行う動作モードである。ナビモードＭ０では、画像生成装置１００の機能が利用されず、ナビゲーション装置２０単体の機能でディスプレイ２１に各種の表示がなされる。具体的には、ディスプレイ２１には、車両９の周辺の地図画像ＮＰが主に表示される。
The navigation mode M0 is an operation mode in which navigation guidance is performed by the function of the
これに対し、フロントモードＭ１、サイドモードＭ２及びバックモードＭ３は、画像生成装置１００の機能を利用して、周辺画像をディスプレイ２１に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。
On the other hand, the front mode M1, the side mode M2, and the back mode M3 use the function of the
フロントモードＭ１は、車両９の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ２１の第２表示位置Ｌ２には、フロントカメラ５１で取得されて表示用に調整した撮影画像（以下、「フロント画像」という。）ＳＰ１が表示される。このフロント画像ＳＰ１は、車両９の前方の視点（フロントカメラ５１のレンズ位置）からみた周辺画像である。フロントモードＭ１では、表示中の周辺画像（すなわち、フロント画像）ＳＰ１の視点が車両９の前方であることを示すアイコンＣ１が表示される。
The front mode M1 is an operation mode for displaying the front of the
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
In addition, at the first display position L1, a composite image CPa that is generated by the composite
サイドモードＭ２は、車両９の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ２１の第３表示位置Ｌ３及び第４表示位置Ｌ４には、サイドカメラ５２で取得されて表示用に調整した撮影画像（以下、「サイド画像」という。）ＳＰ２が表示される。このサイド画像ＳＰ２は、車両９の側方の視点（サイドカメラ５２のレンズ位置）からみた周辺画像である。尚、この状態では前進中、今後前進が推測される状態（シフト「Ｒ」以外）のため、画像は車両側方画像から前方方向を切り出した画像であり、車体と道路（および車外の物体）との関係が分かりやすいように車体の一部が写り写り、かつ車両進行方向が略上下方向に一致するように画像処理（切り出し処理、回転処理等）がなされている。サイドモードＭ２では、表示中の周辺画像（すなわち、サイド画像）ＳＰ２の視点が車両９の側方であることを示すアイコンＣ２が表示される。
The side mode M2 is an operation mode for displaying the side of the
また、バックモードＭ３は、車両９の後方を表示する動作モードであり、後退時に利用される。ディスプレイ２１の第２表示位置Ｌ２には、バックカメラ５３で取得されて表示用に調整した撮影画像（以下、「バック画像」という。）ＳＰ３が表示される。このバック画像ＳＰ３は、車両９の後方の視点（バックカメラ５３のレンズ位置）からみた周辺画像である。バックモードＭ３では、表示中の周辺画像（すなわち、バック画像）ＳＰ３の視点が車両９の後方であることを示すアイコンＣ３が表示される。
The back mode M3 is an operation mode for displaying the rear of the
また、第１表示位置Ｌ１には、合成画像生成部３４により生成された、車両９の略直上から車両９を見下ろすように車両９とその周辺の領域を示す合成画像ＣＰａが表示される。
In addition, at the first display position L1, a composite image CPa that is generated by the composite
ナビモードＭ０において、ナビゲーション装置２０の操作部２２に所定の操作（周辺画像の表示操作）がなされると、フロントモードＭ１及びサイドモードＭ２のうちの最後に有効化された動作モード（いわゆる、ラストモード）に切り替わる。フロントモードＭ１とサイドモードＭ２とは、切替スイッチ４３を押下するごとに切り替えられる。また、フロントモードＭ１あるいはサイドモードＭ２において、ナビゲーション装置２０の操作部２２に所定の操作がなされると、ナビモードＭ０に戻る。
In the navigation mode M0, when a predetermined operation (peripheral image display operation) is performed on the
また、バックモードＭ３以外の動作モードにおいて、シフトセンサ７１から入力されるシフトポジションが”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、シフトポジションが”Ｒ（後退）”の場合は、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。また、バックモードＭ３の場合に、シフトポジションが”Ｒ（後退）”以外となったときは、バックモードＭ３に切り替えられる直前の動作モードに戻ることになる。
In the operation mode other than the back mode M3, when the shift position input from the
このように画像表示システム１２０は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ２１に表示可能となっている。
As described above, the
＜１−４．サイドミラー格納時の処理＞
次に、サイドミラーが格納された場合の画像表示システム１２０の処理について説明する。サイドカメラ５２の撮影画像は、合成画像ＣＰａの生成やサイド画像ＳＰ２に使用されている。これらの画像は、サイドミラーが展開している状態で撮影されることを前提にしている。このため、サイドミラーが格納されると、画像表示システム１２０は、合成画像ＣＰａ及びサイド画像ＳＰ２を正常に表示することができない。
<1-4. Processing when storing side mirror>
Next, processing of the
図６の（Ａ）は、サイドミラー展開時に生成される合成画像ＣＰａを示す図である。図６の（Ａ）において、参照符号２０１は、車両９の左側方に見られる白線を示し、参照符号２０２は、車両９の左側方に見られる側溝蓋を示す。
FIG. 6A shows a composite image CPa generated when the side mirror is expanded. In FIG. 6A,
なお、図６の（Ａ）及び図６の（Ｂ）における領域２１０〜２１３は、それぞれ合成画像ＣＰａのうち、フロントカメラ５１、バックカメラ５３、左側のサイドカメラ５２及び右側のサイドカメラ５２によって撮影された画像から生成された領域を示す。また、点線２１５〜２１８は、これら領域２１０〜２１３の境界を模式的に示す境界線であり、実際の合成画像ＣＰａ上には、これらの点線２１５〜２１８は表示されない。なお、これらの参照符号２１０〜２１５及び２１５〜２１８は、他の添付図面における合成画像ＣＰａの説明でも同様の意味で使用される。
6A and 6B are taken by the
図６の（Ｂ）は、左側のサイドミラーが格納されている時に生成される合成画像ＣＰａを示す図である。格納時の左側のサイドミラーの回転に伴い、車両９の左側領域２１２の画像が回転し、各画像の繋がりが乱れ、一種の異常画像となる。また参照符号２０３の部分には、車両９の車体の一部が映り込んでいる。このように、サイドミラーが格納されていると、適正な合成画像ＣＰａを生成することができない。このため、ユーザはこのような合成画像ＣＰａから車両側面の障害物に対するクリアランスを把握しにくい。
FIG. 6B is a diagram illustrating a composite image CPa generated when the left side mirror is stored. Along with the rotation of the left side mirror at the time of storage, the image of the
サイドミラーを格納しながら走行する状況としては、車両側面と障害物との間のクリアランスが非常に少なくなるような場所、すなわち幅が狭い場所を走行していることが想定される。したがってユーザにとっては、車両９周辺のある程度広い範囲を俯瞰する合成画像ＣＰａが表示されるよりも車両側方の狭い範囲の画像が大きく表示される方が、障害物とのクリアランスを把握しやすい。
また、俯瞰合成画像においては、合成処理の関係で車体近傍にマージンが発生するため、このマージンにより車体に近い部分では障害物を確認することができないという可能性がある。
As a situation of traveling while storing the side mirror, it is assumed that the vehicle is traveling in a place where the clearance between the vehicle side surface and the obstacle is very small, that is, a place where the width is narrow. Therefore, it is easier for the user to grasp the clearance from the obstacle when the image in the narrow range on the side of the vehicle is displayed larger than the composite image CPa overlooking the somewhat wide range around the
In addition, in the overhead view composite image, a margin occurs in the vicinity of the vehicle body due to the composition processing, and therefore there is a possibility that an obstacle cannot be confirmed in a portion near the vehicle body due to this margin.
そこで本実施形態は、サイドミラーの格納が検出された場合に、サイドミラーを格納しながら走行することが想定される場面に適した周辺画像の提示を行うことを目的とする。 Therefore, the present embodiment aims to present a peripheral image suitable for a scene that is assumed to travel while storing the side mirror when the storage of the side mirror is detected.
本実施形態では、サイドミラー格納時には、合成画像ＣＰａの代わりに、サイドカメラ５２の撮影画像から切り出した車両側方の直近の領域を大きく表示する。サイドミラーを格納しながら走行する場合には車両側方の直近の領域を大きく表示した方が、ユーザにとって障害物とのクリアランスを把握し易くなると考えられる。また、上述した俯瞰画におけるマージンの問題も発生することがない。
In the present embodiment, when the side mirror is stored, instead of the composite image CPa, the nearest region on the side of the vehicle cut out from the captured image of the
この車両側方の直近画像には、車両９の車体が一部に映り込んでいることが望ましい。車両９の車体が画像内に映り込んでいることにより、ユーザは車両９と障害物との間隔を把握しやすくなる。また、車両側方の画像は、左右両側方のうち助手席側の側方を映す画像であることが望ましい。運転手にとって、運転手側の側方よりも助手席側の側方の方が、障害物との間隔を把握しにくいからである。
It is desirable that the vehicle body of the
画像調整部３２がサイドカメラ５２の撮影画像を表示用に調整する際に、画像選択部３３は、サイドカメラ５２の撮影画像Ｐ２又はＰ３から表示用画像を切り出す範囲を選択する。なお、以下の実施例では、サイドミラー格納時における表示用画像として、車両左側の撮影画像が使用される場合について説明する。他の実施例では、車両左側の撮影画像に代えて又はこれに加えて右側の撮影画像を使用してもよい。
When the
画像選択部３３は、格納状態判定部１３によるサイドミラーの格納状態の判定結果に応じて、撮影画像Ｐ２から表示用画像を切り出す範囲を選択する。図７は、画像選択部３３による選択範囲の説明図である。参照符号２２０及び２２１は、サイドミラー格納時及び展開時のそれぞれの場合に撮影画像Ｐ２に写り込む範囲を模式的に示す。サイドミラー格納時と展開時とではサイドカメラ５２の光軸のパン角、チルト角及びロール角が異なり、この結果、範囲２２０は範囲２２１と異なる。また、範囲２２０は範囲２２１に対して回転している。すなわち、サイドミラー格納時の撮影画像はサイドミラー展開時の撮影画像に比べて回転している。
The
サイドミラー格納時において、画像選択部３３は、撮影画像Ｐ２の範囲２２０の中の矩形の第１領域Ｒ１の画像を表示範囲として選択する。サイドミラー展開時には、画像選択部３３は、撮影画像Ｐ２の範囲２２１の中の第２領域Ｒ２の画像を表示範囲として選択する。図示するとおり、範囲２２０における第１領域Ｒ１の画像の位置及び範囲は、範囲２２１における第２領域Ｒ２の画像の位置及び範囲と異なっている。
When the side mirror is stored, the
以下の説明において、サイドミラー格納時において撮影画像Ｐ２の第１領域Ｒ１から切り出される画像を「サイド画像ＳＲ１」と表記することがある。第１領域Ｒ１の前後方向の辺２２２及び２２３は、サイド画像ＳＲ１の垂直方向の辺に対応し、第１領域Ｒ１の左右方向の辺２２４及び２２５は、サイド画像ＳＲ１の水平方向の辺に対応する。一方で、サイドミラー展開時において撮影画像Ｐ２の第２領域Ｒ２から切り出される画像は、図５に示すサイド画像ＳＰ２と同様であってよいし、サイド画像ＳＲ１と同様であってもよい。
In the following description, an image cut out from the first region R1 of the captured image P2 when the side mirror is stored may be referred to as “side image SR1”. The front and
例えば、画像選択部３３は、車両９の側端、前端及び後端からそれぞれ長さＷ、Ｆ及びＢだけ離れた位置まで含む矩形領域を第１領域Ｒ１として選択してよい。このとき、画像選択部３３は、第１領域Ｒ１の一部分に車両９の車体の一部が映り込み、かつ車両９の車体の前後方向と、矩形の第１領域Ｒ１の前後方向の辺２２３とが揃うように第１領域Ｒ１を定めてよい。長さＷ、Ｆ及びＢの値は、例えばそれぞれ２ｍ、１ｍ及び１．５ｍであってよい。
For example, the
サイド画像ＳＲ１及びＳＰ２内の各画素の座標と、撮影画像Ｐ２の画像の各画素の座標との対応関係は、サイドカメラ５２の光軸のパン角、チルト角及びロール角に基づいて定まる。画像選択部３３は、サイドミラー格納時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像ＳＲ１内の各画素を、それぞれに対応する撮影画像Ｐ２内の画素からマッピングすることによりサイド画像ＳＲ１を生成する。
The correspondence between the coordinates of each pixel in the side images SR1 and SP2 and the coordinates of each pixel of the image of the captured image P2 is determined based on the pan angle, tilt angle, and roll angle of the optical axis of the
また、画像選択部３３は、サイドミラー展開時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像ＳＰ２内の各画素を、それぞれに対応する撮影画像Ｐ２内の画素からマッピングすることによりサイド画像ＳＰ２を生成する。これらパン角、チルト角及びロール角の情報は、不揮発性メモリ４０に格納されてよい。画像選択部３３は不揮発性メモリ４０からこれらの情報を読み出してよい。
Further, the
サイド画像ＳＲ及びＳＰ２内の各画素の座標と、撮影画像Ｐ２の各画素の座標との対応関係を、予め不揮発性メモリ４０に格納しておいてもよい。これら画素間の対応関係は、既知のサイドカメラ５２の光軸のパン角、チルト角及びロール角に基づいて予め決定しておく。画像選択部３３は、この対応関係を不揮発性メモリ４０から読み出して、サイド画像ＳＲ１及びＳＰ２内の各画素にそれぞれ対応する撮影画像Ｐ２内の画素を決定してよい。
The correspondence relationship between the coordinates of each pixel in the side images SR and SP2 and the coordinates of each pixel of the captured image P2 may be stored in the
図８の（Ａ）及び図８の（Ｂ）を参照して、サイドミラー格納時にディスプレイ２１の表示例を説明する。図８の（Ａ）は、車両９及びその周囲の状態と、第１領域Ｒ１の位置の説明図である。図８の（Ａ）に示すように、車両９の前方には他の車両２３０が駐車しており、車両９の助手席側である左側には複数の白線２３１と車止め２３２が存在する。第１領域Ｒ１は、図７にて例示した設定方法と同様に設定されており、参照符号２３３は、第１領域Ｒ１の前後方向の一辺を示す。
With reference to FIGS. 8A and 8B, a display example of the
図８の（Ｂ）は、画像表示システム１２０の動作モードがフロントモードＭ１である場合のディスプレイ２１の表示例を示す。図８の（Ｂ）に示すように、ディスプレイ２１に表示される表示画像の第１表示位置Ｌ１には、車両側方の第１領域Ｒ１を撮影したサイド画像ＳＲ１が表示される。また、第２表示位置Ｌ２には、フロント画像ＳＰ１が表示される。フロント画像ＳＰ１には、車両９の前方の車両２３０が写っている。また、サイド画像ＳＲ１には、第１領域Ｒ１内の白線２３１と車止め２３２と車両９の車体の側面２３４が写っている。
FIG. 8B shows a display example of the
上述の通り、第１領域Ｒ１の前後方向の辺２３３と車両９の車体の前後方向とが揃っているため、サイド画像ＳＲに映り込む車両９の車体の前後方向はサイド画像ＳＲの垂直方向に一致する。一方で、サイド画像ＳＲ１を切り出す撮影画像ＳＰ２上では、映り込んだ車両９の車体の前後方向と撮影画像Ｐ２の垂直方向とは一致しない。これは、サイドミラーを格納する際にサイドカメラ５２の光軸が回転するためである。このため、撮影画像Ｐ２からサイド画像ＳＲ１へのマッピング処理は、撮影画像の回転処理を伴う画像処理になる。このように、撮影画像を回転させて車体の前後方向をサイド画像ＳＲの垂直方向に一致させることにより、車両側方にある障害物の方向を把握することが容易になる。
As described above, since the
図１に示す画像配置部３５は、ナビゲーション装置２０へ出力する表示画像の第１表示位置Ｌ１にサイド画像ＳＲ１を配置する。フロントモードＭ１において画像配置部３５は、表示画像の第２表示位置Ｌ２へフロント画像ＳＰ１を配置する。このため、フロントモードＭ１では、サイド画像ＳＲ１及びフロント画像ＳＰ１が同時に表示画像に配置される。バックモードＭ３において画像配置部３５は、表示画像の第２表示位置Ｌ２へバック画像ＳＰ３を配置する。このため、バックモードＭ３では、サイド画像ＳＲ１及びバック画像ＳＰ３が同時に表示画像に配置される。
The
フロント画像ＳＰ１又はバック画像ＳＰ３に加えてサイド画像ＳＲ１を同時に表示することによって、前方又は後方の安全確認と車両側方の障害物までのクリアランスの確認を同時に確認できるようになる。このため、例えばサイドミラーを格納して通るような狭い場所を走行する場面において、運転手の確認作業がより容易になる。
また、俯瞰画像ではなく、サイド画像ＳＲ１を表示するので、俯瞰画像におけるマージンの問題を発生することを防ぐことができる。
By simultaneously displaying the side image SR1 in addition to the front image SP1 or the back image SP3, it is possible to simultaneously confirm the safety confirmation of the front or rear and the confirmation of the clearance to the obstacle on the side of the vehicle. For this reason, for example, in a scene of traveling in a narrow place where the side mirror is stored and passed, the driver's confirmation work becomes easier.
In addition, since the side image SR1 is displayed instead of the overhead image, it is possible to prevent a margin problem in the overhead image.
サイドミラー格納時に表示付加部３６は、第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示す表示を、ナビゲーション装置２０へ出力する表示画像に付加してよい。このような表示は、例えば、図８の（Ｂ）に示すようなアイコンＣ４であってよい。このような表示を付加することによって、ユーザは、車両周辺のどの位置が第１表示位置Ｌ１に表示されているか判断しやすくなる。第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示す表示はメッセージなどの文字情報でもよい。
At the time of storing the side mirror, the
続いて、画像表示システム１２０によって実行される処理を説明する。図９は、サイドミラー格納時における画像表示システム１２０の処理例の説明図である。なお、他の実施態様においては、下記のオペレーションＡＡ〜ＡＯの各オペレーションはステップであってもよい。
Next, processing executed by the
オペレーションＡＡにおいて車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＡＢにおいて画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。
In operation AA, the in-
オペレーションＡＣにおいて格納状態判定部１３は、車両９のサイドミラーの格納状態を判断する。サイドミラーが格納状態にある場合（オペレーションＡＤ：Ｙ）には、処理はオペレーションＡＥに進む。サイドミラーが展開状態にある場合（オペレーションＡＤ：Ｎ）には、処理はオペレーションＡＬへ進む。
In operation AC, the storage
オペレーションＡＥにおいて画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ２内の第１領域Ｒ１を表示範囲として選択する。画像選択部３３は、選択した範囲を撮影画像Ｐ２から切り出してサイド画像ＳＲ１を生成する。オペレーションＡＦにおいて画像配置部３５は、ナビゲーション装置２０へ出力する表示画像の第１表示位置Ｌ１にサイド画像ＳＲ１を配置する。
In operation AE, the
オペレーションＡＧにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードがフロントモードＭ１であるかバックモードＭ３であるかを判断する。動作モードがフロントモードＭ１である場合（オペレーションＡＧ：Ｙ）には、処理はオペレーションＡＨへ進む。動作モードがフロントモードＭ１でない場合（オペレーションＡＧ：Ｎ）には、処理はオペレーションＡＩへ進む。
In operation AG, the
オペレーションＡＨにおいて画像配置部３５は、表示画像の第２表示位置Ｌ２にフロント画像ＳＰ１を配置する。その後処理はオペレーションＡＪへ進む。オペレーションＡＩにおいて画像配置部３５は、表示画像の第２表示位置Ｌ２にバック画像ＳＰ３を配置する。その後処理はオペレーションＡＪへ進む。
In operation AH, the
オペレーションＡＪにおいて表示付加部３６は、第１表示位置Ｌ１にサイド画像ＳＲ１が表示されている旨を示すアイコンＣ４を表示画像に付加する。画像生成装置１００は、表示画像をナビゲーション装置２０へ出力する。ナビゲーション装置２０へ出力される表示画像には、サイド画像ＳＲと、フロント画像ＳＰ１及びバック画像ＳＰ３のいずれか一方と、アイコンＣ４が含まれる。その後、処理はオペレーションＡＫへ進む。
In operation AJ, the
オペレーションＡＬにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードがサイドモードＭ２であるかその他のモードであるかを判断する。動作モードがサイドモードＭ２である場合（オペレーションＡＬ：Ｙ）には、処理はオペレーションＡＮへ進む。動作モードがサイドモードＭ２でない場合（オペレーションＡＬ：Ｎ）には、処理はオペレーションＡＭへ進む。
In operation AL, the
オペレーションＡＭにおいて画像配置部３５は、現在の動作モード、すなわちフロントモードＭ１であるかバックモードＭ３であるかに応じて表示画像を生成する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。その後、処理はオペレーションＡＫへ進む。
In operation AM, the
オペレーションＡＮにおいて画像選択部３３は、結合画像Ｐｃｎに含まれる撮影画像Ｐ２内の第２領域Ｒ２を表示範囲として選択する。画像選択部３３は、選択した範囲を撮影画像Ｐ２から切り出してサイド画像ＳＰ２を生成する。オペレーションＡＯにおいて、画像配置部３５は、サイド画像ＳＰ２を表示画像に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。その後、処理はオペレーションＡＫへ進む。
In operation AN, the
オペレーションＡＫにおいてナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
In operation AK, the
本実施例によれば、サイドミラーを格納しながら走行するような場面、例えば車両側面と障害物との間の間隔が非常に少ない場面において、ディスプレイ２１上に車両側方の直近領域を大きく表示することが可能になる。このため、上記場面において、ユーザは、障害物と車両との間のクリアランスを把握しやすくなる。
According to the present embodiment, in a scene where the vehicle is traveling while retracting the side mirror, for example, a scene where the distance between the vehicle side surface and the obstacle is very small, the closest area on the side of the vehicle is displayed large on the
特に、助手席側の側方を表示することによって、ドライバは、運転席から死角になりやすい助手席側の側方において、障害物と車両とのクリアランスを把握しやすくなる。 In particular, displaying the side of the passenger seat makes it easier for the driver to grasp the clearance between the obstacle and the vehicle on the side of the passenger seat, which is likely to be a blind spot from the driver's seat.
また、表示画像の一部に車両側面を映し込むことによって、車両側面と障害物との距離の把握がより容易になる。また、撮影画像を回転させて、表示画面に映り込む車両の前後方向を表示画面の垂直方向に合わせることにより、ユーザは、障害物の方向を把握しやすくなる。 In addition, by reflecting the vehicle side surface in a part of the display image, it becomes easier to grasp the distance between the vehicle side surface and the obstacle. Further, by rotating the captured image so that the front-rear direction of the vehicle reflected on the display screen matches the vertical direction of the display screen, the user can easily grasp the direction of the obstacle.
＜２．第２の実施の形態＞
＜２−１．システム構成＞
続いて第２の実施の形態について説明する。第２の実施の形態では、車載カメラ５１〜５３のいずれかが故障した場合に、車載カメラ５１〜５３が正常に画像を出力している場合とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。
<2. Second Embodiment>
<2-1. System configuration>
Next, a second embodiment will be described. In the second embodiment, when any of the in-
車載カメラ５１〜５３のいずれかが故障し、故障したカメラからの映像信号の出力が停止すると、図１に示す合成画像生成部３４が、固着した画像を使用して合成画像ＣＰａを生成する可能性がある。車両移動中に固着した画像を表示すると、ユーザにより認識される障害物までの間隔が現実と相違する可能性がある。
If any of the in-
そこで第２の実施の形態は、車載カメラ５１〜５３のいずれかが故障した場合に、固着画像から合成画像ＣＰａが生成されることを防止する。
Therefore, the second embodiment prevents the composite image CPa from being generated from the fixed image when any of the in-
第２の実施の形態は、車載カメラ５１〜５３の故障を検出すると、合成画像ＣＰａに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲の画像を、予め定めた他の画像で置換する。このように故障したカメラの撮影画像を他の画像で置換することによって固着画像の表示を防止する。また、画像表示システム１２０は、予め定めた他の画像を合成画像ＣＰａ上に表示することによって、カメラの故障をユーザに通知する。図１０は、カメラの故障時にディスプレイ２１に表示される合成画像ＣＰａの第１例を示す図である。
In the second embodiment, when a failure of the in-
なお、以下の説明において、合成画像ＣＰａに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲を「故障カメラの範囲」と表記することがある。また、合成画像ＣＰａに含まれる画像のうち、故障していないカメラの撮影画像から生成される範囲を「故障していないカメラの範囲」と表記することがある。さらに、故障カメラの範囲の画像に置換される予め定めた他の画像を「置換用画像」と表記することがある。 In the following description, among the images included in the composite image CPa, a range generated from a captured image of a failed camera may be referred to as a “failed camera range”. In addition, among the images included in the composite image CPa, a range generated from a captured image of a camera that has not failed may be referred to as a “range of camera that has not failed”. Furthermore, another predetermined image that is replaced with an image in the range of the failed camera may be referred to as a “replacement image”.
図１０に示す例では、バックカメラ５３の故障のため、合成画像ＣＰａに含まれる画像のうちバックカメラ５３の撮影画像Ｐ４から生成された領域２１１が置換用画像で置換されている。置換用画像は、例えば黒一色などの単一色で塗りつぶされた画像であってよい。この場合、領域２１１はこの単一色で塗り潰される。置換用画像は、黒以外の単一色の画像でもよい。黒以外の色を使用することによって、車両９の周囲が暗く合成画像ＣＰａの輝度が低い場合であっても、正常な画像と置換用画像が混同されにくくなり、カメラの故障が発見しやすくなる。置換用画像は、単一色以外の画像、例えば所定の模様やアイコン、文字を含んだ画像であってもよい。
In the example illustrated in FIG. 10, due to the failure of the
図１１は、第２の実施の形態の画像表示システム１２０の構成例を示す図である。図１に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図１１に示す構成要素やその機能を他の実施例が備えていてもよい。
FIG. 11 is a diagram illustrating a configuration example of the
画像生成部３は、異常検出部３７と、画像置換部３８と、ガイド線付加部３９を備える。異常検出部３７は、車載カメラ５１〜５３の故障を検出する。例えば、異常検出部３７は、車載カメラ５１〜５３から出力される同期信号の異常を判断することによって、車載カメラ５１〜５３の故障を検出してよい。例えば、異常検出部３７は、車載カメラ５１〜５３から出力される画像信号が所定の期間に亘って変わらない場合に車載カメラ５１〜５３の故障を検出してよい。また、例えば異常検出部３７は、車載カメラ５１〜５３から出力される画像信号が白一色や黒一色などの異常値を示す場合に車載カメラ５１〜５３の故障を検出してよい。
The
画像置換部３８は、合成画像ＣＰａ内の故障カメラの範囲の画像を置換用画像に置き換える。図１２は、合成画像ＣＰａの一部を置換用画像で置き換える処理の一例の説明図である。画像置換部３８は、例えば、画像結合部３０により生成される結合画像Ｐｃｎのうち、故障したカメラの撮影画像を置換用画像で置き換えてよい。合成画像生成部３４が、この結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成すると、合成画像ＣＰａ内の故障カメラの範囲の画像も置換用画像に置き換えられる。図１２の例では、画像置換部３８は、結合画像Ｐｃｎのうちバックカメラ５３の撮影画像Ｐ４を置換用画像で置き換える。図１２に示すように撮影画像Ｐ４が置換用画像で置換されると、図１０に示す合成画像ＣＰａのように領域２１１が置換用画像に置き換えられる。
The
図１１を参照する。ガイド線付加部３９は、合成画像ＣＰａに各種ガイド線を付加する。ガイド線は、例えば、車両端が通過する軌跡を示す予想進路線であってよい。ガイド線付加部３９は、舵角センサ７２からの入力信号に従って合成画像ＣＰａ上に予想進路線を描画する描画位置を決定してよい。ガイド線付加部３９は、合成画像ＣＰａ上の描画位置に予想進路線を付加する。ガイド線は、例えば、車両後端を示す距離目安線や、車両側面に平行な車幅平行線であってもよい。
Refer to FIG. The guide
ガイド線付加部３９は、故障カメラの範囲の上にも継続してガイド線を描画する。図１３は、バックカメラ５３の故障時にディスプレイ２１に表示される合成画像ＣＰａの例を示す図である。ガイド線２４０は、車両９の後退時に左後端及び右後端が通る軌跡を示す予想進路線である。ガイド線２４１は、車両９の後退時に左前端が通る軌跡を示す予想進路線である。
The guide
予想進路線２４０は故障カメラの範囲２１１内にも描画される。また、予想進路線２４１は、故障していない左カメラ５２の撮影画像Ｐ２から生成される領域２１２と、故障カメラの範囲２１１との間に跨いで描画される。
The expected
このように、ガイド線付加部３９は、故障カメラの範囲２１１の上へのガイド線２４０及び２４１の描画を継続する、すなわち故障カメラの範囲２１１に描画されるガイド線２４０及び２４１を消さないため、故障していないカメラの範囲２１２へ跨いで描画されるガイド線２４１が継続して描画される。このため、ユーザは、故障していないカメラの範囲２１２において、ガイド線２４１を有効に利用することが可能になる。
As described above, the guide
＜２−２．カメラ故障時の処理＞
続いて、図１４を参照して、カメラ故障時における画像表示システム１２０の処理を説明する。なお、他の実施態様においては、下記のオペレーションＢＡ〜ＢＩの各オペレーションはステップであってもよい。
<2-2. Processing in case of camera failure>
Next, the processing of the
オペレーションＢＡにおいて車載カメラ５１〜５３は、それぞれ撮影画像Ｐ１〜Ｐ４を撮影する。オペレーションＢＢにおいて画像結合部３０は、これらの画像Ｐ１〜Ｐ４を結合した結合画像Ｐｃｎを生成し、メモリ３１に格納する。
In operation BA, the in-
オペレーションＢＣにおいて異常検出部３７は、車載カメラ５１〜５３が正常か否かを判断する。いずれの車載カメラ５１〜５３も正常である場合（オペレーションＢＤ：Ｙ）には、処理はオペレーションＢＦに進む。いずれかの車載カメラが故障している場合（オペレーションＢＤ：Ｎ）には、処理はオペレーションＢＥへ進む。
In operation BC, the
オペレーションＢＥにおいて画像置換部３８は、結合画像Ｐｃｎのうち故障したカメラの撮影画像の部分を置換用画像に置き換える。その後、処理はオペレーションＢＦへ進む。オペレーションＢＦにおいて合成画像生成部３４は、結合画像Ｐｃｎに基づいて合成画像ＣＰａを生成する。オペレーションＢＧにおいてガイド線付加部３９は、合成画像ＣＰａ上にガイド線を付加する。
In operation BE, the
オペレーションＢＨにおいて画像配置部３５は、現在の画像表示システム１２０の動作モードにしたがって、合成画像ＣＰａ及び撮影画像ＳＰ１〜ＳＰ３のいずれかを選択し、ナビゲーション装置２０へ出力する表示画像上に配置する。表示画像は、画像生成装置１００によってナビゲーション装置２０へ出力される。オペレーションＢＩにおいてナビゲーション装置２０は、画像生成装置１００から出力された表示画像をディスプレイ２１へ表示する。
In operation BH, the
本実施例によれば、車載カメラ５１〜５３が故障した場合に、固着した画像が合成画像ＣＰａに使用されることが防止される。このため、車両移動中に表示画像が固着してユーザが認識する障害物までの間隔を現実の間隔から相違させてしまうことを防止する。また、車載カメラ５１〜５３の故障をユーザに通知することが可能となる。
According to this embodiment, when the in-
次に、車載カメラ５１〜５３が故障から復旧した場合の処理について説明する。車載カメラ５１〜５３が故障から復旧した場合には、置換用画像での置き換えを停止してよい。しかしながら、異常検出部３７が検出する車載カメラの状態が、故障と復旧との間で頻繁に変化を繰り返すと、置換用画像の置換と停止が短い周期で発生しすることで画面のちらつきが生じ、合成画像ＣＰａが見にくくなる。
Next, processing when the in-
そこで、画像置換部３８は、車載カメラ５１〜５３が故障を検出した後は、切替スイッチ４３の押下やシフトレバーの切り換えによって画像表示システム１２０の動作モードの変更があるまでは、故障したカメラの復旧を検出しても置換用画像での置き換えを続行する。
Therefore, after detecting the failure of the in-
図１５は、カメラの故障時に表示される合成画像の状態遷移の説明図である。図１５の上段の画像は、車載カメラ５１〜５３が故障していない場合の合成画像ＣＰａである。上段の画像は、車載カメラ５１〜５３の故障によって置換用画像での置き換えが施された合成画像ＣＰａ’である。
FIG. 15 is an explanatory diagram of the state transition of the composite image displayed when the camera malfunctions. The upper image in FIG. 15 is a composite image CPa when the in-
車載カメラ５１〜５３が故障すると、即座に故障カメラの範囲が置換用画像で置き換えられ、表示画像は合成画像ＣＰａ’に変わる。その後、故障したカメラが復旧しても、表示画像はすぐに合成画像ＣＰａに戻らない。カメラの復旧後、画像表示システム１２０の動作モードの変更があった時に、表示画像が元の合成画像ＣＰａに戻る。
When the in-
本実施例によれば、カメラ故障時に即座に故障カメラの範囲を置換用画像で置き換えて、固着画像の表示が防止される一方で、車載カメラの故障の検出結果が頻繁に変わる場合の画像のちらつきが防止される。このため、車載カメラの撮影画像を使用する場合の安全性とユーザの利便性が両立される。 According to this embodiment, when a camera failure occurs, the range of the failed camera is immediately replaced with a replacement image, and the display of the fixed image is prevented, while the detection result of the in-vehicle camera failure changes frequently. Flickering is prevented. For this reason, both safety and user convenience when using a captured image of the in-vehicle camera are compatible.
１３ 格納状態判定部
３０ 画像選択部
３５ 画像配置部
３６ 表示付加部
１００ 画像生成装置
１２０ 画像表示システム
DESCRIPTION OF
Claims (6)
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第１領域と異なる前記撮影画像の第２領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。 A state determination unit for determining a storage state of a side mirror on which a camera for photographing the side of the vehicle is disposed;
When the state determining unit determines that the side mirror is in the retracted state, at least a first region image in which the vehicle is reflected is selected from the captured images from the camera, and the state determining unit is in the deployed state. An image selecting unit that selects an image in a second area of the captured image different from the first area when it is determined that
An image generation unit that generates a display image in which an image selected by the image selection unit is arranged;
An image generation apparatus comprising:
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第１領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第１領域と異なる前記撮影画像の第２領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
前記画像生成部から出力される画像を表示する表示部と、
を備える画像表示システム。 A camera that is placed on the side mirror of the vehicle and photographs the side of the vehicle;
A state determination unit that determines the storage state of the side mirror;
When the state determining unit determines that the side mirror is in the retracted state, at least a first region image in which the vehicle is reflected is selected from the captured images from the camera, and the state determining unit is in the deployed state. An image selecting unit that selects an image in a second area of the captured image different from the first area when it is determined that
An image generation unit that generates a display image in which an image selected by the image selection unit is arranged;
A display unit for displaying an image output from the image generation unit;
An image display system comprising:
前記合成画像を表示画面に表示する表示手段と、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、前記サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像表示装置。 A composite image generating means for generating a composite image showing a state in which the vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on captured images obtained by a plurality of cameras arranged in the vehicle including the side camera installed in the side mirror; ,
Display means for displaying the composite image on a display screen;
A state determination unit that determines the storage state of the side mirror;
When the state determination unit determines that the side mirror is in the retracted state, a part of the vehicle side surface is reflected from the captured image from the side camera, and an image cut out along the vehicle side front-rear direction is An image display device comprising: display control means for displaying on the display means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011079563A JP5697512B2 (en) | 2011-03-31 | 2011-03-31 | Image generation apparatus, image display system, and image display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011079563A JP5697512B2 (en) | 2011-03-31 | 2011-03-31 | Image generation apparatus, image display system, and image display apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012214083A true JP2012214083A (en) | 2012-11-08 |
| JP5697512B2 JP5697512B2 (en) | 2015-04-08 |
Family
ID=47267351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011079563A Active JP5697512B2 (en) | 2011-03-31 | 2011-03-31 | Image generation apparatus, image display system, and image display apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5697512B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014155954A1 (en) * | 2013-03-28 | 2014-10-02 | 株式会社デンソー | Vehicle display control device |
| JP2016042640A (en) * | 2014-08-15 | 2016-03-31 | 株式会社ソシオネクスト | Failure camera detection method and failure camera detection program of imaging apparatus, and image processing apparatus |
| US9449390B1 (en) | 2015-05-19 | 2016-09-20 | Ford Global Technologies, Llc | Detecting an extended side view mirror |
| CN106254763A (en) * | 2015-06-10 | 2016-12-21 | 富士通天株式会社 | Image processing apparatus and image processing method |
| JP2017081445A (en) * | 2015-10-29 | 2017-05-18 | 富士通テン株式会社 | Image processing device and image processing method |
| JP2018046500A (en) * | 2016-09-16 | 2018-03-22 | 株式会社コムテック | Video storage device |
| GB2562595A (en) * | 2017-03-24 | 2018-11-21 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
| GB2562844A (en) * | 2017-03-24 | 2018-11-28 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
| JP2019004229A (en) * | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | Information processing apparatus and image generating apparatus, and control method thereof, as well as program and image processing system |
| JP2020086491A (en) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | Information processing apparatus, information processing system and information processing method |
| JP2021022833A (en) * | 2019-07-26 | 2021-02-18 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
| KR102419828B1 (en) * | 2021-02-05 | 2022-07-13 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004194071A (en) * | 2002-12-12 | 2004-07-08 | Matsushita Electric Ind Co Ltd | Drive support image generator |
| JP2007022176A (en) * | 2005-07-13 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | Ocularly acknowledging device for surrounding area of vehicle |
| JP2010042727A (en) * | 2008-08-11 | 2010-02-25 | Nissan Motor Co Ltd | Surrounding situation indication device for vehicle |
-
2011
- 2011-03-31 JP JP2011079563A patent/JP5697512B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004194071A (en) * | 2002-12-12 | 2004-07-08 | Matsushita Electric Ind Co Ltd | Drive support image generator |
| JP2007022176A (en) * | 2005-07-13 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | Ocularly acknowledging device for surrounding area of vehicle |
| JP2010042727A (en) * | 2008-08-11 | 2010-02-25 | Nissan Motor Co Ltd | Surrounding situation indication device for vehicle |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014155954A1 (en) * | 2013-03-28 | 2014-10-02 | 株式会社デンソー | Vehicle display control device |
| JP2014191668A (en) * | 2013-03-28 | 2014-10-06 | Denso Corp | Vehicle display control device |
| JP2016042640A (en) * | 2014-08-15 | 2016-03-31 | 株式会社ソシオネクスト | Failure camera detection method and failure camera detection program of imaging apparatus, and image processing apparatus |
| US9449390B1 (en) | 2015-05-19 | 2016-09-20 | Ford Global Technologies, Llc | Detecting an extended side view mirror |
| RU2712397C2 (en) * | 2015-05-19 | 2020-01-28 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | System and method for detecting position of vehicle mirror |
| CN106254763A (en) * | 2015-06-10 | 2016-12-21 | 富士通天株式会社 | Image processing apparatus and image processing method |
| JP2017005497A (en) * | 2015-06-10 | 2017-01-05 | 富士通テン株式会社 | Image processing device and image processing method |
| US10037595B2 (en) | 2015-06-10 | 2018-07-31 | Fujitsu Ten Limited | Image processing device and image processing method |
| CN106254763B (en) * | 2015-06-10 | 2019-04-23 | 富士通天株式会社 | Image processing apparatus and image processing method |
| JP2017081445A (en) * | 2015-10-29 | 2017-05-18 | 富士通テン株式会社 | Image processing device and image processing method |
| JP2018046500A (en) * | 2016-09-16 | 2018-03-22 | 株式会社コムテック | Video storage device |
| US10220786B2 (en) | 2017-03-24 | 2019-03-05 | Ford Global Technologies, Llc | Controlling side-view mirrors in autonomous vehicles |
| US10220785B2 (en) | 2017-03-24 | 2019-03-05 | Ford Global Technologies, Llc | Controlling side-view mirrors in autonomous vehicles |
| GB2562844A (en) * | 2017-03-24 | 2018-11-28 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
| RU2708998C2 (en) * | 2017-03-24 | 2019-12-12 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | Method of controlling side-view mirrors in autonomous vehicles, computer and vehicle |
| GB2562595A (en) * | 2017-03-24 | 2018-11-21 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
| RU2716529C2 (en) * | 2017-03-24 | 2020-03-12 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | Method and computer for monitoring side mirrors in autonomous vehicles |
| JP2019004229A (en) * | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | Information processing apparatus and image generating apparatus, and control method thereof, as well as program and image processing system |
| JP2020086491A (en) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | Information processing apparatus, information processing system and information processing method |
| JP2021022833A (en) * | 2019-07-26 | 2021-02-18 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
| JP7279566B2 (en) | 2019-07-26 | 2023-05-23 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
| KR102419828B1 (en) * | 2021-02-05 | 2022-07-13 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
| KR20220113306A (en) * | 2021-02-05 | 2022-08-12 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
| KR102671731B1 (en) | 2021-02-05 | 2024-05-31 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5697512B2 (en) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5697512B2 (en) | Image generation apparatus, image display system, and image display apparatus | |
| JP5087051B2 (en) | Image generating apparatus and image display system | |
| US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
| JP5302227B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| JP5548002B2 (en) | Image generation apparatus, image display system, and image generation method | |
| JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
| JP5858650B2 (en) | Image generation apparatus, image display system, and image generation method | |
| JP4254887B2 (en) | Image display system for vehicles | |
| JP5743652B2 (en) | Image display system, image generation apparatus, and image generation method | |
| JP5813944B2 (en) | Image display system, image processing apparatus, and image display method | |
| JP2012216991A (en) | Image display system | |
| JP5658507B2 (en) | Image display system, image generation apparatus, and image display method | |
| US20120249796A1 (en) | Image processing device, image processing system, and image processing method | |
| JP2002019556A (en) | Monitoring system | |
| JP5914114B2 (en) | Parking assistance device and parking assistance method | |
| JP2005186648A (en) | Surrounding visualizing device for vehicle and displaying control device | |
| JP6073433B2 (en) | Image display system, image processing apparatus, and image display method | |
| JP5479639B2 (en) | Image processing apparatus, image processing system, and image processing method | |
| JP2012138876A (en) | Image generating apparatus, image display system, and image display method | |
| JP2012046124A (en) | Image display system, image processing device and image display method | |
| JP5677168B2 (en) | Image display system, image generation apparatus, and image generation method | |
| JP2004235986A (en) | Monitoring system | |
| JP5466743B2 (en) | Image generating apparatus and image display system | |
| JP6760129B2 (en) | Bird's-eye view image generation device, bird's-eye view image generation system, bird's-eye view image generation method and program | |
| US20240140311A1 (en) | Vehicle periphery monitoring system, vehicle periphery monitoring method and a non-transitory storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5697512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |