JP2013038794A - Image generating apparatus, and image display system - Google Patents
Image generating apparatus, and image display system Download PDFInfo
- Publication number
- JP2013038794A JP2013038794A JP2012195991A JP2012195991A JP2013038794A JP 2013038794 A JP2013038794 A JP 2013038794A JP 2012195991 A JP2012195991 A JP 2012195991A JP 2012195991 A JP2012195991 A JP 2012195991A JP 2013038794 A JP2013038794 A JP 2013038794A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- mode
- display
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002093 peripheral effect Effects 0.000 claims abstract description 29
- 239000002131 composite material Substances 0.000 claims description 98
- 238000013459 approach Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 25
- 238000000034 method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 230000007704 transition Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。 The present invention relates to a technique for generating an image to be displayed on a display device mounted on a vehicle.
従来より、自動車などの車両に搭載され、車載カメラを利用して車両の周辺の画像を生成する画像生成装置が知られている。画像生成装置で生成された画像は車室内のディスプレイに表示される。これにより、車両の周辺の様子がほぼリアルタイムにドライバに示される。 2. Description of the Related Art Conventionally, an image generation apparatus that is mounted on a vehicle such as an automobile and generates an image around the vehicle using an in-vehicle camera is known. The image generated by the image generation device is displayed on the display in the passenger compartment. As a result, the situation around the vehicle is shown to the driver almost in real time.
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすい。このため、車載カメラの撮影によりフロントフェンダの外側領域を示す画像を生成し、その画像を車室内のディスプレイに表示させる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをドライバは容易に確認できるようになる。 For example, the outer region of the front fender on the opposite side of the driver's seat tends to be a blind spot from the driver's seat. For this reason, the image which shows the outer area | region of a front fender is image | photographed by imaging | photography with a vehicle-mounted camera, and the image is displayed on the display in a vehicle interior. This makes it possible for the driver to easily check the clearance between the vehicle body on the opposite side of the driver's seat and the obstacle, for example, when the vehicle is brought close.
また、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の真上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してドライバに提供することなども提案されている(例えば、特許文献1参照。) Also, in recent years, using a plurality of captured images obtained by photographing the periphery of the vehicle with a plurality of in-vehicle cameras, a composition that shows the state of the periphery of the vehicle from an arbitrary virtual viewpoint such as directly above or behind the vehicle. It has also been proposed to generate an image and provide it to a driver (see, for example, Patent Document 1).
ところで、交差点への進入、すれ違い、幅寄せなど、車両の周辺の確認が特に必要な運転操作を行う場合においては、ドライバは車両の走行速度を低下させることが多い。このため、車両の走行速度が所定の閾値より低下した場合には、ドライバが周辺の確認が必要な状況であるとして、車両の周辺を示す周辺画像を車室内のディスプレイに自動的に表示させることが考えられる。 By the way, when performing a driving operation that particularly requires confirmation of the periphery of the vehicle, such as approaching an intersection, passing each other, and width-shifting, the driver often reduces the traveling speed of the vehicle. For this reason, when the driving speed of the vehicle falls below a predetermined threshold, it is assumed that the driver needs to check the surroundings, and a surrounding image showing the surroundings of the vehicle is automatically displayed on the display in the vehicle interior. Can be considered.
しかしながら、ドライバが車両の走行速度を低下させたときの状況に応じて、ドライバが確認を特に必要とする車両の周辺の領域は異なる。例えば、交差点へ進入する場面では、ドライバは車両の前方領域の確認が特に必要となる。一方で、すれ違いや幅寄せなどを行う場面では、ドライバは車両の側方領域の確認が特に必要となる。 However, depending on the situation when the driver reduces the traveling speed of the vehicle, the area around the vehicle that the driver particularly needs to check differs. For example, in the scene of entering an intersection, the driver needs to confirm the front area of the vehicle. On the other hand, the driver particularly needs to check the side area of the vehicle when passing or shifting.
このため、車両の走行速度が所定の閾値より低下した場合に、前方領域のみを示す表示モード、あるいは、側方領域のみを示す表示モードに一律に移行したのでは、ドライバが確認を所望する領域とは異なる領域が表示される場面がある。例えば、ドライバが交差点への進入を意図している状況では、車両の前方領域の確認が必要となるが、車両の側方領域を表示する表示モードに自動的に移行してしまう場面が生じる。このような場合では、ドライバは前方領域を表示する表示モードに切り替えなければならない。車両の周辺の確認が特に必要となる状況で、このような表示モードを切り替える操作を行うことは煩雑であり、利便性が損なわれる可能性がある。 For this reason, if the vehicle travel speed falls below a predetermined threshold value, the driver wants to confirm if the display mode is changed to the display mode indicating only the front area or the display mode indicating only the side area. There are scenes where different areas are displayed. For example, in a situation where the driver intends to enter an intersection, it is necessary to check the front area of the vehicle, but there is a situation in which the display mode automatically displays the side area of the vehicle. In such a case, the driver must switch to a display mode that displays the front area. In a situation where it is particularly necessary to check the periphery of the vehicle, it is troublesome to perform such an operation for switching the display mode, which may impair convenience.
本発明は、上記課題に鑑みてなされたものであり、車両の走行速度が所定の閾値より低くなった場合に、車両の周辺の必要な領域の状況をユーザに提供できる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a technique that can provide a user with a situation of a necessary area around the vehicle when the traveling speed of the vehicle becomes lower than a predetermined threshold. Objective.
上記課題を解決するため、請求項1の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記画像生成装置は、前記車両の周辺を示す周辺画像を表示するための複数の表示モードを有しており、前記車両の走行速度を取得する手段と、前記表示装置に画像を表示させる表示制御手段と、を備え、前記表示制御手段は、前記走行速度が所定の閾値より低くなった場合には、前記車両の前方領域を示す第1画像と、前記車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた第2画像とを表示する表示モードで、前記周辺画像を前記表示装置に表示させ、前記周辺画像の表示後に前記走行速度が所定の閾値より高くなった場合には、前記周辺画像を他の画像に切り替え、該他の画像を前記表示装置に表示させる。
In order to solve the above-described problem, the invention of
また、請求項2の発明は、請求項1に記載の画像生成装置において、前記表示制御手段は、前記車両の方向指示器からの信号に応じて、前記第2画像が示す前記車両の周辺の領域を変更する。 According to a second aspect of the present invention, in the image generating device according to the first aspect, the display control means is configured to detect the surroundings of the vehicle indicated by the second image in response to a signal from the direction indicator of the vehicle. Change the area.
また、請求項3の発明は、請求項1に記載の画像生成装置において、前記第1画像および前記第2画像の表示後に、前記表示モードを前記複数の表示モードのうちの他の表示モードに切り替え可能なモード切替手段、をさらに備えている。 According to a third aspect of the present invention, in the image generating apparatus according to the first aspect, after the first image and the second image are displayed, the display mode is changed to another display mode among the plurality of display modes. A switchable mode switching means;
また、請求項4の発明は、車両に搭載される画像表示システムであって、請求項1ないし3のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備えている。 According to a fourth aspect of the present invention, there is provided an image display system mounted on a vehicle, wherein the image generating device according to any one of the first to third aspects and a display for displaying an image generated by the image generating device. And a device.
請求項1ないし4の発明によれば、走行速度が閾値より低くなった場合は、車両の前方領域と合成画像との双方を表示する表示モードで周辺画像を表示装置に表示させるため、車両の周辺の必要な領域の状況をユーザに提供できる。また、周辺画像の表示後に走行速度が閾値より高くなった場合には、周辺画像を他の画像に切り替えるため、ユーザを走行に集中させることができる。 According to the first to fourth aspects of the present invention, when the traveling speed becomes lower than the threshold value, the peripheral image is displayed on the display device in the display mode in which both the front area of the vehicle and the composite image are displayed. It is possible to provide the user with the situation of the necessary area around. In addition, when the traveling speed becomes higher than the threshold after displaying the peripheral image, the peripheral image is switched to another image, so that the user can be concentrated on the traveling.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<1.第1の実施の形態>
<1−1.構成>
図1は、第1の実施の形態の画像表示システム100の構成を示すブロック図である。この画像表示システム100は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。画像表示システム100のユーザ(代表的にはドライバ)は、この画像表示システム100を利用することにより当該車両の周辺を容易に把握できるようになっている。
<1. First Embodiment>
<1-1. Configuration>
FIG. 1 is a block diagram illustrating a configuration of an
図1に示すように、画像表示システム100は、車両の周辺を撮影する撮影部5と、車両の周辺を示す周辺画像を生成する画像生成装置10と、車両に乗車するユーザに対して各種情報を提供するナビゲーション装置20とを備えている。画像生成装置10は、画像生成機能を有するECU(Electronic Control Unit)として構成され、車両の所定の位置に配置される。
As illustrated in FIG. 1, the
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行う操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
The
ナビゲーション装置20は、画像生成装置10と通信可能に接続され、画像生成装置10との間で各種の制御信号の送受信や、画像生成装置10で生成された周辺画像の受信が可能となっている。ディスプレイ21には、制御部23の制御により、通常はナビゲーション装置20単体の機能に基づく画像が表示されるが、所定の条件下で画像生成装置10で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置20は、画像生成装置10で生成された周辺画像を受信して表示する表示装置としても機能する。
The
撮影部5は、画像生成装置10に電気的に接続され画像生成装置10からの信号に基づいて動作する。撮影部5は、車載カメラであるフロントカメラ51、サイドカメラ52及びバックカメラ53を備えている。これらの車載カメラ51,52,53は、レンズと撮像素子とを備えており電子的に画像を取得する。
The photographing
図2は、車載カメラ51,52,53が車両9に配置される位置を示す図である。図2に示すように、フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向に向けられている。また、サイドカメラ52は、左右のドアミラー93にそれぞれ設けられており、その光軸52aは直進方向に対して直交するように車両9の外部方向に向けられている。バックカメラ53は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸53aは車両9の直進方向の逆方向に向けられている。なお、フロントカメラ51やバックカメラ53の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
FIG. 2 is a diagram illustrating positions where the in-
これらの車載カメラ51,52,53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51,52,53は180度以上の画角αを有している。このため、4つの車載カメラ51,52,53を利用することで、車両9の全周囲の撮影が可能となっている。
As the lenses of these in-
図1に戻り、画像生成装置10は、装置全体を制御する制御部1と、撮影部5で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部3と、ナビゲーション装置20との間で通信を行うナビ通信部42と、表示内容を切り替える指示をユーザから受け付ける切替スイッチ43とを備えている。
Returning to FIG. 1, the
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像生成装置10は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。
Various instructions from the user received by the
画像処理部3は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部31、及び、合成画像生成部32を主な機能として備えている。撮影画像調整部31は、撮影部5で取得された撮影画像について調整を行うものであり、撮影画像の明るさやコントラスト等の画質調整や歪み補正などを行う。合成画像生成部32は、撮影部5の複数の車載カメラ51,52,53で取得された複数の撮影画像に基づいて、車両9の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部32が仮想視点からみた合成画像を生成する手法については後述する。撮影画像や合成画像は、表示用の画像に調整された後、ナビ通信部42によってナビゲーション装置20に出力される。これにより、車両の周辺を示す周辺画像がナビゲーション装置20のディスプレイ21に表示される。
The
制御部1は、CPU、RAM及びROMなどを備えたコンピュータとして構成され、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。このようにして実現される制御部1の機能には、画像処理部3によって実行される画像処理を制御する機能などが含まれている。合成画像生成部32が生成する合成画像の生成に必要な各種パラメータは、この制御部1の機能によって指示される。
The
また、画像生成装置10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
The
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ40には、合成画像の生成に必要な各種のデータが予め記憶される。例えば、車両9の種別に応じた車種別データ7が、不揮発性メモリ40に予め記憶されている。不揮発性メモリ40に係るデータの読み出しや書き込みは、制御部1によって制御される。
The
カード読取部44は、可搬性の記録媒体であるメモリカード61の読み取りを行う。カード読取部44は、メモリカード61の着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカード61に記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。
The
メモリカード61は、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像生成装置10はメモリカード61に記憶された種々のデータを利用できる。例えば、メモリカード61にプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。また、メモリカード61に不揮発性メモリ40に記憶された車種別データ7とは異なる種別の車両に応じた車種別データ7を記憶させ、これを読み出して不揮発性メモリ40に記憶させることで、画像表示システム100を異なる種別の車両に対応させることも可能である。
The
また、信号入力部41は、車両9に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム100の外部からの信号が制御部1に入力される。具体的には、シフトセンサ81、車速度センサ82、及び、方向指示器83などから、各種情報を示す信号が制御部1に入力される。シフトセンサ81からは、車両9の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。車速度センサ82からは、その時点の車両9の走行速度(km/h)が入力される。
Further, the
また、方向指示器83からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両9のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向(左方向あるいは右方向)を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。
Further, a turn signal indicating a direction instruction based on the operation of the winker switch, that is, a direction instruction intended by the driver of the
<1−2.画像変換処理>
次に、画像処理部3の合成画像生成部32が、撮影部5で得られた複数の撮影画像に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ40に予め記憶された車種別データ7が利用される。図3は、合成画像を生成する手法を説明するための図である。
<1-2. Image conversion processing>
Next, a method in which the composite
撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方、及び、後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。すなわち、撮影部5で取得される4つの撮影画像P1〜P4には、撮影時点の車両9の全周囲を示す情報が含まれていることになる。
When the
次に、4つの撮影画像P1〜P4の各画素が、仮想的な三次元空間における立体曲面SPに投影される。立体曲面SPは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。撮影画像P1〜P4に含まれる各画素の位置と、この立体曲面SPの各画素の位置とは予め対応関係が定められている。このため、立体曲面SPの各画素の値は、この対応関係と撮影画像P1〜P4に含まれる各画素の値とに基づいて決定できる。
Next, each pixel of the four captured images P1 to P4 is projected onto a three-dimensional curved surface SP in a virtual three-dimensional space. The three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the
撮影画像P1〜P4の各画素の位置と立体曲面SPの各画素の位置との対応関係は、車両9における4つの車載カメラ51,52,53の配置(相互間距離、地上高さ、光軸角度等)に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ40に記憶された車種別データ7に含まれている。
The correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is determined by the arrangement of the four in-
また、車種別データ7に含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両9の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面SPが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
Further, polygon data indicating the shape and size of the vehicle body included in the vehicle type data 7 is used, and a vehicle image which is a polygon model indicating the three-dimensional shape of the
さらに、立体曲面SPが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
Further, the virtual viewpoint VP is set by the
そして、設定された仮想視点VPに応じて、立体曲面SPにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面SPにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface SP is cut out as an image. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface SP is determined in advance, and is stored in advance in the
例えば、視点位置が車両9の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点VP1を設定した場合は、略真上から車両9を見下ろすように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP1が生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方とした仮想視点VP2を設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9(実際には車両像)及び車両9の周辺の様子を示す合成画像CP2が生成される。
For example, when the virtual viewpoint VP1 is set in which the viewpoint position is a position just above the center of the position of the
なお、実際に合成画像を生成する場合においては、立体曲面SPの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。 In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface SP, and only the values of the pixels in the area necessary corresponding to the set virtual viewpoint VP are photographed. By determining based on the images P1 to P4, the processing speed can be improved.
<1−3.動作モード>
次に、画像表示システム100の動作モードについて説明する。図4は、画像表示システム100の動作モードの遷移を示す図である。画像表示システム100では、ナビモードM0とフロントモードM1とで動作モードが自動的に切り替えられるようになっている。なお、シフトレバーを”R”に操作したときに、車両9の後方領域を示す周辺画像を表示するバックモードを、動作モードとしてさらに有していてもよい。
<1-3. Operation mode>
Next, the operation mode of the
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内用の地図画像などをディスプレイ21に表示する動作モードである。ナビモードM0では、撮影部5及び画像生成装置10の機能が利用されず、ナビゲーション装置20単体の機能で各種の表示がなされる。このため、ナビゲーション装置20が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。
The navigation mode M0 is an operation mode in which a map image for navigation guidance is displayed on the
これに対して、フロントモードM1は、撮影部5及び画像生成装置10の機能を利用して、車両9の周辺の状況を示す周辺画像をディスプレイ21にほぼリアルタイムで表示する動作モードである。フロントモードM1では、前進時に必要となる車両9の前方領域や側方領域を示す周辺画像が表示される。
On the other hand, the front mode M1 is an operation mode in which a peripheral image indicating a situation around the
ナビモードM0の場合において、車速度センサ82から入力される走行速度が所定の閾値(本実施の形態では10km/h)より低くなったときは、制御部1の制御により、フロントモードM1に自動的に切り替えられる。一方で、フロントモードM1の場合において、走行速度が所定の閾値(本実施の形態では10km/h)以上になったときは、制御部1の制御により、ナビモードM0に自動的に切り替えられる。
In the case of the navigation mode M0, when the traveling speed input from the
車両9の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードM1が解除され、ナビモードM0となる。逆に、車両9の走行速度が比較的低い場合においては、見通しの悪い交差点への進入、対向車とのすれ違い、あるいは、道路の端に車体を寄せる幅寄せなど、ドライバは車両の周辺の確認が特に必要な運転操作を行っている場面が多い。このため、走行速度が比較的低い場合においては、車両9の前方領域や側方領域を主に示すフロントモードM1に自動的に切り替えられる。
When the traveling speed of the
なお、ナビモードM0からフロントモードM1に切り替える閾値と、フロントモードM1からナビモードM0に切り替える閾値とが異なっていてもよい。また、ユーザからの明示的な操作指示があった場合にも、ナビモードM0とフロントモードM1とで動作モードが切り替えられるようになっていてもよい。 The threshold value for switching from the navigation mode M0 to the front mode M1 may be different from the threshold value for switching from the front mode M1 to the navigation mode M0. Also, when there is an explicit operation instruction from the user, the operation mode may be switched between the navigation mode M0 and the front mode M1.
<1−4.フロントモード>
次に、フロントモードM1における車両9の周辺の表示態様について詳細に説明する。図5は、フロントモードM1における表示モードの遷移を示す図である。フロントモードM1では、前側方モードM11、すれ違いモードM12、及び、サイドカメラモードM13の3つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの表示モードは、ユーザが切替スイッチ43を押下するごとに、前側方モードM11、すれ違いモードM12、サイドカメラモードM13の順で制御部1の制御により切り替えられる。サイドカメラモードM13の場合に切替スイッチ43を押下すると、再び、前側方モードM11に戻るようになっている。
<1-4. Front mode>
Next, the display mode around the
前側方モードM11は、フロントカメラ51での撮影により得られるフロント画像FP1と、仮想視点VPからみた車両9の側方領域を示す合成画像FP2とを並べて含む画面をディスプレイ21に表示する表示モードである。すなわち、前側方モードM11では、車両9の前方領域を示すフロント画像FP1と、車両9の側方領域を示す合成画像FP2との二つの画像が同一画面上に示される。
The front side mode M11 is a display mode in which a screen including a front image FP1 obtained by photographing with the
また、すれ違いモードM12は、仮想視点VPからみた合成画像FP3を一つのみ含む画面をディスプレイ21に表示する表示モードである。さらに、サイドカメラモードM13は、サイドカメラ52での撮影により得られるサイド画像FP4を一つのみ含む画面をディスプレイ21に表示する表示モードである。
The passing mode M12 is a display mode in which a screen including only one composite image FP3 viewed from the virtual viewpoint VP is displayed on the
<1−4−1.前側方モード>
図6は、前側方モードM11においてディスプレイ21に表示される画面の一例を示す図である。図に示すように、前側方モードM11における画面では、上部にフロント画像FP1が配置され、下部に合成画像FP2が配置されている。フロント画像FP1は、仮想視点VPからの合成画像ではなく、フロントカメラ51での撮影により得られた撮影画像を撮影画像調整部31で表示用に調整したものである。一方、合成画像FP2は、車両9の後方位置から前方に向けた仮想視点VPからみた車両9の側方領域を主に示す合成画像である。
<1-4-1. Front side mode>
FIG. 6 is a diagram illustrating an example of a screen displayed on the
図7は、車両9の周辺における前側方モードM11で示される視野範囲を説明する図である。図中において、破線で示す範囲FV1が、フロント画像FP1で示される視野範囲である。一方、二点鎖線で示す範囲FV2が、合成画像FP2で示される視野範囲である。視野範囲FV1と視野範囲FV2とは、相互の境界となる領域A1において一部が重なっている。
FIG. 7 is a diagram for explaining the visual field range indicated by the front side mode M11 in the vicinity of the
フロント画像FP1では、車両9の前方領域において左右方向に広がる水平角度180°の領域が視野範囲FV1として設定されている。このため、ユーザはフロント画像FP1の閲覧により、見通しの悪い交差点に進入する場合に死角となりやすい車両9の前方領域における左右に延びる領域に存在する物体を確認できる。
In the front image FP1, a region having a horizontal angle of 180 ° that extends in the left-right direction in the front region of the
一方、合成画像FP2においては、車両9の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両9の後方領域とを含む範囲が視野範囲FV2として設定されている。このため、合成画像FP2の閲覧により、側方領域や後方領域に存在する物体を確認できる。運転席から死角となりやすい、ドアミラー93に映らないフロントフェンダ94の外側付近の領域なども、視野範囲FV2に含まれている。
On the other hand, in the composite image FP2, a range including both the left and right lateral regions from the front to the rear of the
前側方モードM11においては、このような視野範囲FV1,FV2の二つの画像FP1,FP2を画面を切り替えることなく同時に閲覧することができるため(図6も併せて参照。)、ユーザは車両9の前方領域及び側方領域の双方の状況を一目で確認できる。 In the front-side mode M11, the two images FP1 and FP2 in the visual field ranges FV1 and FV2 can be viewed at the same time without switching the screen (see also FIG. 6). The situation of both the front area and the side area can be confirmed at a glance.
合成画像FP2の仮想視点VPの視点位置は車両9の後方位置に設定され、視野方向は車両9の前方方向に設定されている。このため、図6に示すように、合成画像FP2では、車両9の後方位置から前方方向をみた状態で車両9の周辺の様子が車両9の像とともに示される。これにより、フロント画像FP1の視野の向きと、合成画像FP2の視野の向きと、ユーザ(代表的にはドライバ)自身の視野の向きとがおよそ一致することから、ディスプレイ21の画面に示された物体が存在する方向に関してユーザの混乱を招くことがない。また、ユーザは頭の中で座標変換を行うなどの複雑な思考過程を経ることもないため、ディスプレイ21に表示された物体と車両9との位置関係を直感的に把握できる。
The viewpoint position of the virtual viewpoint VP of the composite image FP2 is set to the rear position of the
<1−4−2.すれ違いモード>
次に、図5に戻って、すれ違いモードM12における表示態様について説明する。すれ違いモードM12は、細い道などにおいて対向車とすれ違う場合を想定し、その場合に特化した表示モードであり、合成画像FP3のみを含む画面がディスプレイ21に表示される。合成画像FP3の仮想視点VPの視点位置は車両9の後端の直上付近に設定され、視野方向は車両9の略中央付近に向けられている。このため、合成画像FP3では、車両9を上から見下ろすような状態で、車両9の左右双方の側方領域が示される。
<1-4-2. Passing mode>
Next, returning to FIG. 5, the display mode in the passing mode M12 will be described. The passing mode M12 is a display mode specialized for a case where the vehicle passes by an oncoming vehicle on a narrow road or the like, and a screen including only the composite image FP3 is displayed on the
図8は、車両9の周辺におけるすれ違いモードM12で示される視野範囲を説明する図である。図中において、二点鎖線で示す範囲FV3が、合成画像FP3で示される視野範囲である。合成画像FP3においては、車両9の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両9の後方領域とを含む範囲が視野範囲FV3として設定されている。
FIG. 8 is a diagram for explaining the visual field range indicated by the passing mode M12 around the
図7と図8とを比較して分かるように、合成画像FP3の視野範囲FV3と、前側方モードM11の合成画像FP2の視野範囲FV2とは類似しているが、視野範囲FV3は視野範囲FV2よりも車両9の前方に延びている。ただし、この視野範囲FV3に含まれ視野範囲FV2から外れる領域は、フロント画像FP1の視野範囲FV1に含まれる。すなわち、すれ違いモードM12の視野範囲FV3は、前側方モードM11の2つの視野範囲FV1,FV2のいずれかに含まれることになる。
As can be seen by comparing FIG. 7 and FIG. 8, the visual field range FV3 of the composite image FP3 and the visual field range FV2 of the composite image FP2 of the front side mode M11 are similar, but the visual field range FV3 is the visual field range FV2. Rather than the
細い道などにおいて対向車とすれ違う場合には、前方から進行してくる対向車とのクリアランスと、車体と側方の物体とのクリアランスとの双方を確認する必要がある。すなわち、車両9の前端よりも前方から車両9の後端にかけての左右双方の側方領域の確認が必要となる。一方で、対向車とすれ違う場合には、前側方モードM11のフロント画像FP1が示すような車両9の前方領域において左右に延びる領域についての確認は不要である。このため、すれ違いモードM12では、車両9の左右双方の側方領域のみを示す合成画像FP3を含む画面をディスプレイ21に表示させることで、対向車とすれ違う場合にユーザが確認すべき領域を確認しやすくなっている。
When passing on an oncoming vehicle on a narrow road, it is necessary to check both the clearance between the oncoming vehicle and the clearance between the vehicle body and the side object. That is, it is necessary to check both the left and right side regions from the front end of the
<1−4−3.サイドカメラモード>
次に、図5に戻って、サイドカメラモードM13における表示態様について説明する。サイドカメラモードM13は、道路の端に車体を寄せる幅寄せを行う場合などを想定し、その場合に特化した表示モードであり、サイド画像FP4のみがディスプレイ21に表示される。
<1-4-3. Side camera mode>
Next, returning to FIG. 5, the display mode in the side camera mode M13 will be described. The side camera mode M13 is a display mode specialized for the case where the vehicle body is brought close to the end of the road. The side camera mode M13 is a display mode specialized in that case, and only the side image FP4 is displayed on the
図9は、車両9の周辺におけるサイドカメラモードM13で示される視野範囲を説明する図である。図中において、二点鎖線で示す範囲FV4が、サイド画像FP4で示される視野範囲である。運転席(車両9では右側)の逆側(車両9では左側)における車両9のフロントフェンダ94の外側領域のみが視野範囲FV4として設定されている。このサイドカメラモードM13の視野範囲FV4は、図7に示す前側方モードM11の合成画像FP2の視野範囲FV2に含まれる。
FIG. 9 is a diagram for explaining the visual field range indicated by the side camera mode M13 around the
道路の端に車体を寄せる幅寄せを行う場合においては、幅寄せする側の車体とその側方の物体とのクリアランスを確認する必要がある。通常は、運転席の逆側に幅寄せすることになるが、運転席の逆側の側方領域、特に車両9のフロントフェンダ94の外側領域については死角になりやすい。このため、サイドカメラモードM13では、運転席の逆側のフロントフェンダ94の外側領域のみを示すサイド画像FP4を含む画面をディスプレイ21に表示させて当該領域を拡大して示すことで、幅寄せを行う場合にユーザが確認すべき領域を確認しやすくなっている。
In the case of performing the width adjustment for bringing the vehicle body to the end of the road, it is necessary to confirm the clearance between the vehicle body on the side of the road and the object on the side. Normally, the width is shifted to the opposite side of the driver's seat, but the side region on the opposite side of the driver's seat, particularly the outer region of the
<1−5.基本動作>
上記のように、すれ違いモードM12は対向車とすれ違う場合に特化した側方領域のみを示す周辺画像を一つのみ含む画面が表示され、サイドカメラモードM13は幅寄せを行う場合に特化した側方領域のみを示す周辺画像を一つのみ含む画面が表示される。
<1-5. Basic operation>
As described above, in the passing mode M12, a screen including only one peripheral image showing only the side area specialized when passing the oncoming vehicle is displayed, and the side camera mode M13 is specialized when performing width adjustment. A screen including only one peripheral image showing only the side area is displayed.
これに対して、前側方モードM11では、車両9の前方領域を示す画像と側方領域を示す画像との双方を含む画面が表示される。つまり、前側方モードM11では、車両9の前方領域と側方領域との双方を一度に確認できる。また、すれ違いモードM12の視野範囲FV3、及び、サイドカメラモードM13の視野範囲FV4は、前側方モードM11の2つの視野範囲FV1,FV2のいずれかに含まれる。これにより、前側方モードM11は、交差点への進入、すれ違い、あるいは、幅寄せなどの全ての場面で利用することが可能である。つまり、前側方モードM11は、他の表示モードと比較して視野範囲が最も広く、汎用性の高い表示モードであるといえる。
On the other hand, in the front side mode M11, a screen including both an image showing the front area of the
上記のように、画像表示システム100では、走行速度が低下した場合にはフロントモードM1に自動的に切り替えられるが、この場合においてドライバが意図している状況は、交差点への進入、すれ違い、及び、幅寄せのいずれの状況も想定される。このため、どのような状況でも対応可能なように、画像表示システム100では、走行速度が低下してフロントモードM1に自動的に切り替えられ、周辺画像を表示する動作となった直後には、表示モードを汎用性の高い前側方モードM11にするようになっている。すなわち、周辺画像を表示する動作を開始した時点から、前側方モードM11とされることになる。
As described above, in the
以下、このような画像表示システム100の動作について説明する。画像表示システム100は、車両9が備えるバッテリからACCスイッチを介して電力が供給されている。このため、画像表示システム100は、ACCスイッチがオンとなって電力が供給されると起動し、ACCスイッチがオフとなると起動停止する。図10は、このような画像表示システム100の起動中における基本的な動作の流れを示す図である。
Hereinafter, the operation of the
画像表示システム100が起動すると、まず、制御部1により各種の初期化処理がなされる。初期化処理では、例えば、不揮発性メモリ40から車種別データ7が読み出されて制御部1のRAMに記憶され、以降の処理に使用可能な状態とされる(ステップS11)。
When the
初期化処理が終了すると、制御部1により、車両9の走行速度が継続的に監視される(ステップS12)。そして、車両9の走行速度が10km/h以上の場合は(ステップS12にてNo)、制御部1の制御により動作モードがナビモードM0となり、ディスプレイ21においてナビゲーション装置20単体の機能で各種の表示がなされる(ステップS13)。
When the initialization process is finished, the traveling speed of the
一方、車両9の走行速度が10km/h未満の場合は(ステップS12にてYes)、制御部1の制御により動作モードがフロントモードM1となり、この時点で合成画像生成部32により合成画像の生成が開始される(ステップS14)。そして以降、車両9の走行速度が10km/h以上となるまで(ステップS19にてNoの間)、ディスプレイ21に車両9の周辺を示す周辺画像の表示がなされ(ステップS16)、車両9の周辺の状況がほぼリアルタイムでユーザ(代表的にはドライバ)に示されることになる。
On the other hand, when the traveling speed of the
車両9の走行速度が10km/h未満に低下してフロントモードM1となった直後は、制御部1の制御により表示モードが汎用性の高い前側方モードM11に設定される(ステップS15)。これにより、フロントモードM1の開始時点から前側方モードM11となり、車両の前方領域及び側方領域の双方が同時にディスプレイ21に表示されることになる。
Immediately after the traveling speed of the
また、フロントモードM1において切替スイッチ43が押下されると(ステップS17にてYes)、前側方モードM11、すれ違いモードM12、サイドカメラモードM13の順で制御部1の制御により表示モードが切り替えられる(ステップS18)。このため、ユーザは、まず汎用性の高い前側方モードM11の画面を利用して確認したい領域を確認した上で、意図した状況に特化した画面を閲覧したい場合は切替スイッチ43を押下して表示モードをすれ違いモードM12やサイドカメラモードM13に切り替えることになる。
When the
フロントモードM1において車両9の走行速度が10km/h以上となった場合は(ステップS19にてYes)、合成画像生成部32において合成画像の生成が停止される(ステップS20)。そして、処理はステップS12に戻り、再び、車両9の走行速度が10km/h未満となるかが監視されることになる。
When the traveling speed of the
以上のように、画像表示システム100では、車両9の走行速度が所定の閾値より低くなってフロントモードM1に移行し、周辺画像を表示する動作となった直後は、車両9の前方領域及び側方領域の双方を同時に表示可能な汎用性の高い前側方モードM11とされる。すなわち、フロントモードM1の開始時点から前側方モードM11とされる。前側方モードM11で示される画面は、交差点への進入、すれ違い、幅寄せなどの想定される様々な状況に対応可能であることから、ユーザは表示モードを切り替えることなく、車両9の周辺の必要な領域の状況を確認することができる。
As described above, in the
<1−6.方向指示器の操作の連動>
また、前側方モードM11では、ドライバの方向指示器83のウインカースイッチの操作に応答して、合成画像FP2の仮想視点VPの視点位置が、制御部1の制御により移動されるようになっている。
<1-6. Interlocking operation of direction indicators>
Further, in the front side mode M11, the viewpoint position of the virtual viewpoint VP of the composite image FP2 is moved under the control of the
図11は、前側方モードM11における画面の状態遷移を示す図である。また、図12は、仮想視点VPの位置の遷移を示す図である。方向指示器83から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点VPの視点位置は車両9の後方における左右略中央の位置VPC(図12参照)、視野方向は車両9の前方方向に設定される。これにより、図11の状態STCに示すように、車両9の左右双方の側方領域を略均等に含む合成画像FP2が生成される。
FIG. 11 is a diagram illustrating screen state transitions in the front-side mode M11. FIG. 12 is a diagram illustrating transition of the position of the virtual viewpoint VP. When the turn signal input from the
一方、方向指示器83から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点VPに関して視野方向は車両9の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。
On the other hand, when the turn signal input from the
具体的には、ターン信号が左方向を示すときは、仮想視点VPの視点位置は車両9の左サイドの位置VPLに設定される(図12参照)。これにより、図11の状態STLに示すように、方向指示器83のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像FP2が生成されて、ディスプレイ21に表示される。この場合も、合成画像FP2では、車両9の後方位置から前方方向をみた状態で車両9の周辺の様子が示される。
Specifically, when the turn signal indicates the left direction, the viewpoint position of the virtual viewpoint VP is set to the position VPL on the left side of the vehicle 9 (see FIG. 12). As a result, as shown in the state STL in FIG. 11, a composite image FP2 is generated that shows the left side area indicated by the turn signal of the
また、ターン信号が右方向を示すときは、仮想視点VPの視点位置は車両9の右サイドの位置VPRに設定される(図12参照)。これにより、図11の状態STRに示すように、方向指示器83のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像FP2が生成されて、ディスプレイ21に表示される。この場合も、合成画像FP2では、車両9の後方位置から前方方向をみた状態で車両9の周辺の様子が示される。
When the turn signal indicates the right direction, the viewpoint position of the virtual viewpoint VP is set to the position VPR on the right side of the vehicle 9 (see FIG. 12). As a result, as shown in the state STR of FIG. 11, a composite image FP2 is generated that shows the right side area indicated by the turn signal of the
方向指示器83で指示された方向は、方向変更や幅寄せのときに車両9が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器83で指示された方向の側方領域を大きく示すことで、ユーザ(代表的にはドライバ)の注意を接触する可能性のある物体に向けさせることができ、車両9と物体との接触を有効に防止できる。なお、方向指示が解除されると、図11の状態STCに示すように、車両9の左右双方の側方領域を略均等に含む合成画像FP2が表示される状態に戻ることになる。
In the direction indicated by the
また、既述のように画像表示システム100では、車両9の走行速度が10km/h未満となりフロントモードM1に移行すると、フロントモードM1の開始時点から自動的に前側方モードM11となる。そしてもし、車両9の走行速度が10km/h未満となった時点で、方向指示器83から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、前側方モードM11の開始時点から、方向指示器83で指示された方向の側方領域を大きく示す合成画像FP2が生成されて、ディスプレイ21に表示される。
Further, as described above, in the
具体的には、走行速度が10km/h未満となった時点でターン信号が左方向を示すときは、前側方モードM11の開始時点から図11の状態STLに示す状態になる。また、走行速度が10km/h未満となった時点でターン信号が右方向を示すときは、前側方モードM11の開始時点から図11の状態STRに示す状態になる。 Specifically, when the turn signal indicates the left direction when the traveling speed becomes less than 10 km / h, the state shown in the state STL in FIG. 11 is obtained from the start time of the front side mode M11. Further, when the turn signal indicates the right direction when the traveling speed becomes less than 10 km / h, the state shown in the state STR in FIG. 11 is obtained from the start time of the front side mode M11.
このように、方向指示が有る場合は、フロントモードM1の開始時点、すなわち、周辺画像を表示する動作を開始した時点から方向指示器83で指示された方向の側方領域を大きく示すことで、より迅速にユーザ(代表的にはドライバ)の注意を接触する可能性のある物体に向けさせることができる。
In this way, when there is a direction instruction, by showing the side region in the direction instructed by the
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。
<2. Second Embodiment>
Next, a second embodiment will be described. The configuration and processing of the image display system in the second embodiment are substantially the same as those in the first embodiment, but only a part thereof is different. Therefore, the differences from the first embodiment are described below. The explanation will be focused on.
第1の実施の形態では、フロントモードM1となった時点で合成画像生成部32により合成画像の生成が開始されていた。これによれば、合成画像を表示させる場合にのみ合成画像の生成を行うため、無駄な画像処理がなされず消費電力を低減させる観点では好ましい。一方で、合成画像の生成を開始してその合成画像をディスプレイ21に表示するまでにはある程度の時間がかかることから、フロントモードM1となったときに迅速に合成画像をディスプレイ21に表示させることができない場面もあり得る。このため、第2の実施の形態では、画像生成装置10の起動中は常時に合成画像を生成するようになっている。
In the first embodiment, generation of a composite image is started by the composite
図13は、第2の実施の形態の画像表示システム100の起動中における基本的な動作の流れを示す図である。この画像表示システム100も、ACCスイッチがオンとなって電力が供給されると起動し、ACCスイッチがオフとなると起動停止する。
FIG. 13 is a diagram illustrating a basic operation flow during activation of the
画像表示システム100が起動すると、まず、制御部1により各種の初期化処理がなされる(ステップS21)。初期化処理が終了すると、合成画像生成部32により合成画像の生成が開始される(ステップS22)。以降、画像表示システム100が起動停止するまで合成画像の生成が継続される。すなわち、画像表示システム100の起動中は常時に合成画像が生成されることになる。
When the
合成画像の生成が開始されると、制御部1により、車両9の走行速度が継続的に監視される(ステップS23)。そして、車両9の走行速度が10km/h以上の場合は(ステップS23にてNo)、動作モードがナビモードM0となる(ステップS24)。
When generation of the composite image is started, the traveling speed of the
一方、車両9の走行速度が10km/h未満の場合は(ステップS23にてYes)、動作モードがフロントモードM1となり前側方モードM11に設定されて(ステップS25)、合成画像がディスプレイ21に表示される(ステップS26)。この時点では、既に合成画像の生成がなされているため、フロントモードM1となったときにほぼ瞬時に合成画像をディスプレイ21に表示させることが可能である。
On the other hand, when the traveling speed of the
以降は、車両9の走行速度が10km/h以上となるまで(ステップS29にてNoの間)、ディスプレイ21に車両9の周辺を示す周辺画像の表示がなされる(ステップS26)。この間、フロントモードM1において切替スイッチ43が押下されると(ステップS27にてYes)、表示モードが切り替えられる(ステップS28)。
Thereafter, a peripheral image showing the periphery of the
また、車両9の走行速度が10km/h以上となった場合は(ステップS29にてYes)、処理はステップS22に戻り、再び、車両9の走行速度が10km/h未満となるかが監視される。この際、合成画像生成部32において合成画像の生成は停止されず、そのまま継続されることになる。
If the traveling speed of the
以上のように、第2の実施の形態の画像表示システム100では、起動中は常時に合成画像を生成するため、合成画像を表示すべき状態となったときに即座に合成画像を表示できる。
As described above, in the
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態における画像表示システムの構成・処理は、第1の実施の形態とほぼ同様であるが一部のみが相違しているため、以下、第1の実施の形態との相違点を中心に説明する。
<3. Third Embodiment>
Next, a third embodiment will be described. The configuration and processing of the image display system according to the third embodiment are substantially the same as those of the first embodiment, but only a part thereof is different. Therefore, the differences from the first embodiment are described below. The explanation will be focused on.
第1の実施の形態では、フロントモードM1となった時点で合成画像生成部32により合成画像の生成が開始されていたため、消費電力の低減の観点で好ましい。一方、第2の実施の形態では、画像生成装置10の起動中は常時に合成画像を生成していたため、必要なときに合成画像を迅速に表示できる観点で好ましい。
In the first embodiment, generation of a composite image is started by the composite
これに対して、第3の実施の形態では、車両9の走行速度が周辺画像を表示する第1閾値(例えば10km/h)より高い第2閾値(例えば20km/h)を設定し、その第2閾値よりも低くなった場合に合成画像を生成する。これにより、消費電力を低減しつつ、合成画像を迅速に表示できるようになっている。すなわち、第3の実施の形態では、消費電力と表示の素早さとのバランスをとって、第1及び第2の実施の形態の双方のメリットが得られるようになっている。
On the other hand, in the third embodiment, a second threshold value (for example, 20 km / h) higher than the first threshold value (for example, 10 km / h) at which the traveling speed of the
図14は、第3の実施の形態の画像表示システム100の起動中における基本的な動作の流れを示す図である。この画像表示システム100も、ACCスイッチがオンとなって電力が供給されると起動し、ACCスイッチがオフとなると起動停止する。
FIG. 14 is a diagram illustrating a basic operation flow during activation of the
画像表示システム100が起動すると、まず、制御部1により各種の初期化処理がなされる(ステップS31)。
When the
初期化処理が終了すると、制御部1により、車両9の走行速度が継続的に監視される(ステップS32)。そして、車両9の走行速度が第2閾値である20km/h未満の場合は(ステップS32にてYes)、合成画像生成部32により合成画像の生成が行われる(ステップS33)。一方、車両9の走行速度が第2閾値である20km/h以上の場合は(ステップS23にてNo)、合成画像生成部32において合成画像の生成が停止される(ステップS34)。
When the initialization process is completed, the traveling speed of the
さらに、制御部1により、車両9の走行速度が監視される(ステップS35)。車両9の走行速度が第1閾値である10km/h以上の場合は(ステップS35にてNo)、動作モードはナビモードM0となり(ステップS36)、処理はステップS32に戻る。すなわち、このナビモードM0では、制御部1により、車両9の走行速度が第2閾値(20km/h)、及び、第1閾値(10km/h)より低下したか否かがそれぞれ監視されることになる。
Further, the traveling speed of the
そして、走行速度が第2閾値(20km/h)より低下した時点で合成画像の生成が開始され(ステップS32,S33)、さらに、走行速度が第1閾値(10km/h)より低下した時点で動作モードがフロントモードM1となることになる(ステップS35にてYes)。したがって、フロントモードM1となって前側方モードM11に設定され(ステップS37)、合成画像がディスプレイ21に表示する時点では(ステップS38)、既に合成画像の生成がなされている。このため、フロントモードM1となったときに迅速に合成画像をディスプレイ21に表示させることが可能である。
And generation | occurrence | production of a composite image is started when driving speed falls from the 2nd threshold value (20 km / h) (step S32, S33), and also when driving speed falls from the 1st threshold value (10 km / h). The operation mode is the front mode M1 (Yes in step S35). Accordingly, the front mode M1 is set and the front side mode M11 is set (step S37), and when the composite image is displayed on the display 21 (step S38), the composite image has already been generated. For this reason, it is possible to quickly display the composite image on the
以降は、車両9の走行速度が10km/h以上となるまで(ステップS41にてNoの間)、ディスプレイ21に車両9の周辺を示す周辺画像の表示がなされる(ステップS38)。この間、フロントモードM1において切替スイッチ43が押下されると(ステップS39にてYes)、表示モードが切り替えられる(ステップS40)。
Thereafter, a peripheral image showing the periphery of the
また、車両9の走行速度が10km/h以上となった場合は(ステップS41にてYes)、処理はステップS32に戻り、再び、車両9の走行速度と第2閾値(20km/h)とが比較される。そして、車両9の走行速度が第2閾値(20km/h)となるまでは合成画像の生成は継続され、車両9の走行速度が第2閾値(20km/h)以上となると合成画像の生成は停止されることになる。
If the traveling speed of the
以上のように、第3の実施の形態の画像表示システム100では、車両9の走行速度が第2閾値(20km/h)よりも低くなった時点で合成画像の生成を開始することで、車両9の走行速度が第1閾値(10km/h)より低くなったときには、迅速に合成画像を表示できることになる。また、車両9の走行速度が第2閾値以上のときは、合成画像の生成を停止するため、消費電力も有効に低減できる。したがって、消費電力を低減しつつ、必要なときに合成画像を迅速に表示できることになる。
As described above, in the
<4.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。もちろん、以下で説明する形態を適宜に組み合わせてもよい。
<4. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. Of course, you may combine the form demonstrated below suitably.
上記実施の形態では、画像生成装置10とナビゲーション装置20とは別の装置であるとして説明したが、画像生成装置10とナビゲーション装置20とが同一のハウジング内に配置されて一体型の装置として構成されてもよい。
In the above-described embodiment, the
また、上記実施の形態では、画像生成装置10で生成された画像を表示する表示装置はナビゲーション装置20であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
In the above embodiment, the display device that displays the image generated by the
また、上記実施の形態において、画像生成装置10の制御部1によって実現されると説明した機能の一部は、ナビゲーション装置20の制御部23によって実現されてもよい。
In the above embodiment, some of the functions described as being realized by the
また、シフトセンサ81、車速度センサ82、及び、方向指示器83からの信号は画像生成装置10に入力されるものとしていたが、これらの信号の一部または全部はナビゲーション装置20に入力されるようになっていてもよい。
In addition, the signals from the
また、上記実施の形態では、車両9のドライバが意図する方向指示を方向指示器83から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。
Moreover, in the said embodiment, although the direction instruction | indication which the driver of the
また、上記実施の形態では、前側方モードM11では、側方領域を示す画像として合成画像を採用していたが、左右双方あるいは一方のサイドカメラ52での撮影により得られるサイド画像を採用してもよい。ただし、任意の仮想視点からみた車両の周辺の様子を提供でき、より汎用性の高い情報を提供できる点で、合成画像を採用することが望ましい。
Further, in the above-described embodiment, in the front side mode M11, the composite image is adopted as the image indicating the side region, but the side image obtained by the photographing with both the left and right or one
また、上記実施の形態では、前側方モードM11以外の表示モードは、側方領域のみを示す画像を表示するようになっていたが、上記のフロント画像FP1のような前方領域のみを示す画像を表示するものであってもよい。すなわち、前側方モードM11以外の表示モードは、特定の状況に特化するように、前方領域及び側方領域のいずれかのみを示す画像を表示するものであればよい。 In the above embodiment, the display modes other than the front side mode M11 display an image showing only the side area. However, an image showing only the front area such as the front image FP1 is displayed. It may be displayed. That is, display modes other than the front side mode M11 may be any display mode that displays an image showing only one of the front area and the side area so as to be specialized for a specific situation.
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。 Further, in the above-described embodiment, it has been described that various functions are realized in software by the arithmetic processing of the CPU according to the program. However, some of these functions are realized by an electrical hardware circuit. Also good. Conversely, some of the functions realized by the hardware circuit may be realized by software.
1 制御部
5 撮影部
9 車両
10 画像生成装置
21 ディスプレイ
32 合成画像生成部
40 不揮発性メモリ
43 切替スイッチ
DESCRIPTION OF
Claims (4)
前記画像生成装置は、前記車両の周辺を示す周辺画像を表示するための複数の表示モードを有しており、
前記車両の走行速度を取得する手段と、
前記表示装置に画像を表示させる表示制御手段と、
を備え、
前記表示制御手段は、
前記走行速度が所定の閾値より低くなった場合には、前記車両の前方領域を示す第1画像と、前記車両に搭載された複数のカメラで得られる複数の画像を用いて生成された合成画像に車両像を含めた第2画像とを表示する表示モードで、前記周辺画像を前記表示装置に表示させ、
前記周辺画像の表示後に前記走行速度が所定の閾値より高くなった場合には、前記周辺画像を他の画像に切り替え、該他の画像を前記表示装置に表示させることを特徴とする画像生成装置。 An image generation device that generates an image to be displayed on a display device mounted on a vehicle,
The image generation device has a plurality of display modes for displaying a peripheral image showing the periphery of the vehicle,
Means for obtaining a traveling speed of the vehicle;
Display control means for displaying an image on the display device;
With
The display control means includes
When the traveling speed is lower than a predetermined threshold, a composite image generated using a first image indicating a front area of the vehicle and a plurality of images obtained by a plurality of cameras mounted on the vehicle. In the display mode for displaying the second image including the vehicle image on the display device, the peripheral image is displayed on the display device,
When the traveling speed becomes higher than a predetermined threshold after displaying the peripheral image, the peripheral image is switched to another image, and the other image is displayed on the display device. .
前記表示制御手段は、前記車両の方向指示器からの信号に応じて、前記第2画像が示す前記車両の周辺の領域を変更することを特徴とする画像生成装置。 The image generation apparatus according to claim 1,
The display control means changes an area around the vehicle indicated by the second image in accordance with a signal from a direction indicator of the vehicle.
前記第1画像および前記第2画像の表示後に、前記表示モードを前記複数の表示モードのうちの他の表示モードに切り替え可能なモード切替手段、
をさらに備えることを特徴とする画像生成装置。 The image generation apparatus according to claim 1,
Mode switching means capable of switching the display mode to another display mode of the plurality of display modes after displaying the first image and the second image;
An image generation apparatus further comprising:
請求項1ないし3のいずれかに記載の画像生成装置と、
前記画像生成装置で生成された画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。 An image display system mounted on a vehicle,
An image generation apparatus according to any one of claims 1 to 3,
A display device for displaying an image generated by the image generation device;
An image display system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195991A JP5466743B2 (en) | 2012-09-06 | 2012-09-06 | Image generating apparatus and image display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012195991A JP5466743B2 (en) | 2012-09-06 | 2012-09-06 | Image generating apparatus and image display system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009157368A Division JP5087051B2 (en) | 2009-07-02 | 2009-07-02 | Image generating apparatus and image display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013038794A true JP2013038794A (en) | 2013-02-21 |
JP5466743B2 JP5466743B2 (en) | 2014-04-09 |
Family
ID=47887907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012195991A Active JP5466743B2 (en) | 2012-09-06 | 2012-09-06 | Image generating apparatus and image display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5466743B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021051432A (en) * | 2019-09-24 | 2021-04-01 | スズキ株式会社 | Operation support device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001055100A (en) * | 1999-08-18 | 2001-02-27 | Matsushita Electric Ind Co Ltd | Multi-function on-board camera system and image display method of multi-function on-board camera system |
JP2003078907A (en) * | 2001-08-30 | 2003-03-14 | Tokai Rika Co Ltd | Surveillance apparatus for vehicle |
JP2006270586A (en) * | 2005-03-24 | 2006-10-05 | Aisin Aw Co Ltd | Vehicle periphery recognizing apparatus |
-
2012
- 2012-09-06 JP JP2012195991A patent/JP5466743B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001055100A (en) * | 1999-08-18 | 2001-02-27 | Matsushita Electric Ind Co Ltd | Multi-function on-board camera system and image display method of multi-function on-board camera system |
JP2003078907A (en) * | 2001-08-30 | 2003-03-14 | Tokai Rika Co Ltd | Surveillance apparatus for vehicle |
JP2006270586A (en) * | 2005-03-24 | 2006-10-05 | Aisin Aw Co Ltd | Vehicle periphery recognizing apparatus |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021051432A (en) * | 2019-09-24 | 2021-04-01 | スズキ株式会社 | Operation support device |
JP7415393B2 (en) | 2019-09-24 | 2024-01-17 | スズキ株式会社 | Driving support device |
Also Published As
Publication number | Publication date |
---|---|
JP5466743B2 (en) | 2014-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5087051B2 (en) | Image generating apparatus and image display system | |
JP5271154B2 (en) | Image generating apparatus and image display system | |
JP5302227B2 (en) | Image processing apparatus, image processing system, and image processing method | |
US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
JP5503259B2 (en) | In-vehicle illumination device, image processing device, and image display system | |
JP5604146B2 (en) | On-vehicle illumination device, image processing device, image display system, and illumination method | |
WO2010137684A1 (en) | Image generation device and image display system | |
JP5548002B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP5697512B2 (en) | Image generation apparatus, image display system, and image display apparatus | |
JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
WO2011078183A1 (en) | Image processing device, image processing system, and image processing method | |
JP5914114B2 (en) | Parking assistance device and parking assistance method | |
US10793069B2 (en) | Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination | |
JP2016063390A (en) | Image processing system and image display system | |
JP5479639B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2012046124A (en) | Image display system, image processing device and image display method | |
JP5466743B2 (en) | Image generating apparatus and image display system | |
JP5677168B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP2012061954A (en) | Image display system, image processing device and image display method | |
JP2006051874A (en) | Device for visual recognition around vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5466743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |