JP7353111B2 - External monitor device - Google Patents
External monitor device Download PDFInfo
- Publication number
- JP7353111B2 JP7353111B2 JP2019169885A JP2019169885A JP7353111B2 JP 7353111 B2 JP7353111 B2 JP 7353111B2 JP 2019169885 A JP2019169885 A JP 2019169885A JP 2019169885 A JP2019169885 A JP 2019169885A JP 7353111 B2 JP7353111 B2 JP 7353111B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- range
- image
- superimposed
- density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 75
- 230000008859 change Effects 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 31
- 238000012806 monitoring device Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 12
- 238000002834 transmittance Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 206010052128 Glare Diseases 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Instrument Panels (AREA)
Description
本発明は、車外モニタ装置に関する。 The present invention relates to an outside vehicle monitor device.
自動車などの車両では、従来から後方確認のために、車室に設けられるルームミラー、車体の側面に設けられるドアミラー、などが用いられている。
近年、車両では、これらのルームミラーなどのリアミラーの替わりにカメラが用いられ、ドアミラーの替わりにカメラが用いられることが考えられている（特許文献１）。
そして、特許文献１では、複数のカメラで撮像される画像を重ねた画像をモニタに表示することができる。
このように従来のミラーをモニタ化することにより、ミラーでは死角となっていた方向や範囲についても画像により確認できたり、移動体が視認し易くなるように画像の明るさを調整したり、後方の移動体のヘッドライトの光を弱めるように防眩処理をしたり、することができる。
2. Description of the Related Art In vehicles such as automobiles, rear view mirrors installed in the passenger compartment, door mirrors installed on the sides of the vehicle body, etc. have been used to check the rear view.
In recent years, in vehicles, cameras are being used in place of rear mirrors such as room mirrors, and cameras are being considered in place of door mirrors (Patent Document 1).
In
By converting a conventional mirror into a monitor in this way, you can check the direction and range that would otherwise be a blind spot with a mirror, adjust the brightness of the image to make it easier to see moving objects, and It is possible to apply anti-glare treatment to weaken the light from the headlights of moving objects.
しかしながら、特許文献１では、たとえば後方の画像と側方の画像との双方に同じ障害物が撮像されていると特定できる場合に、単にそれらの画像を重ねて表示する。
この場合、障害物が移動体であり、一方の画像から他方の画像へ向かって動くように移動している場合、たとえば撮像に対する向きが変化している場合、後方の画像と側方の画像とに共に移動体が撮像されているとしても、同じ移動体が双方に撮像されていると判断できない可能性がある。また、同じ移動体が双方に撮像されていると特定できたとしても、移動体の撮像サイズや向きが異なることにより、双方の画像を重ね合わせることによりかえって画像が不鮮明となる可能性がある。移動する移動体の背景は、移動体の移動により常に変化する。特に、複数の画像が車両において互いに離間する位置に設けられている複数のカメラにより撮像されたものである場合、それらの撮像位置や撮像方向の違いにより、重畳される画像部分における被写体やその背景の撮像状態が互いに異なるものとなる。このように移動体が共通していることのみを特定して画像同士を重ね合わせてしまうと、重畳範囲における移動体や背景が表示画像においてはっきりと表示され難くなる。
However, in
In this case, if the obstacle is a moving object and is moving from one image to the other, for example, if the orientation with respect to imaging is changing, the rear image and the side image Even if a moving object is imaged in both directions, it may not be possible to determine that the same moving object is imaged in both directions. Furthermore, even if it is possible to identify that the same moving object is captured in both images, the images may become unclear due to the difference in the captured size and orientation of the moving objects, resulting in the overlapping of both images. The background of a moving object constantly changes as the object moves. In particular, when multiple images are captured by multiple cameras installed at positions apart from each other in a vehicle, differences in the imaging positions and imaging directions may cause differences in the subject and its background in the overlapping image portions. The imaging states of the images are different from each other. In this way, if images are superimposed with only the common moving objects identified, it becomes difficult for the moving objects and background in the superimposed range to be clearly displayed in the displayed image.
このように車外モニタ装置は、重畳範囲における移動体を適切に表示できるように改善することが求められている。 As described above, there is a need for improvements in the outside-vehicle monitor device so that it can appropriately display moving objects in the overlapping range.
本発明に係る車外モニタ装置は、車両の周囲を複数に分けて撮像する複数の撮像デバイスと、複数の前記撮像デバイスにより撮像される画像を合成して表示画像を生成する生成部と、前記生成部により生成される表示画像を表示する表示デバイスと、を有し、複数の前記撮像デバイスは、他の前記撮像デバイスと撮像範囲が重なるように前記車両の周囲を撮像し、前記生成部は、複数の前記撮像デバイスによる撮像画像を重ねて表示する表示画像を生成する際に、重畳範囲における移動体の位置の変化に応じて、前記重畳範囲における複数の撮像画像の重畳濃さを変化させる。 The outside monitor device according to the present invention includes: a plurality of imaging devices that divide images of the surroundings of a vehicle into a plurality of parts; a generation unit that generates a display image by synthesizing images captured by the plurality of imaging devices; a display device that displays a display image generated by a unit, the plurality of imaging devices capture images of the surroundings of the vehicle so that their imaging ranges overlap with the other imaging devices, and the generation unit includes: When generating a display image in which images captured by a plurality of imaging devices are displayed in a superimposed manner, the superimposition density of the plurality of captured images in the superimposition range is changed in accordance with a change in the position of a moving object in the superimposition range.
好適には、前記生成部は、前記重畳範囲において重なる第一の撮像画像の側から第二の撮像画像の側へ向かって移動体の位置が変化する場合、前記重畳範囲における第一の撮像画像の濃度を第二の撮像画像より高くしている状態から、前記第二の撮像画像の濃度を前記第一の撮像画像より高くする状態へ変化させる、とよい。 Preferably, the generation unit generates the first captured image in the superimposed range when the position of the moving object changes from the side of the first captured image that overlaps in the superimposed range toward the side of the second captured image. The density of the second captured image may be changed from a state where the density is higher than that of the second captured image to a state where the density of the second captured image is higher than the first captured image.
好適には、前記車両の周囲で移動する移動体を検出する移動体検出部、を有し、前記生成部は、前記移動体検出部により検出される前記重畳範囲の移動体についての画像中の位置の変化を判断し、前記重畳範囲における移動体の位置の変化に応じて、前記重畳範囲における第一の撮像画像の濃度と第二の撮像画像の濃度との中の少なくとも一方を変化させる、とよい。 Preferably, the generator includes a moving object detection section that detects a moving object moving around the vehicle, and the generation section includes a moving object detection section that detects a moving object in the superimposed range detected by the moving object detection section. determining a change in position, and changing at least one of the density of the first captured image and the density of the second captured image in the superimposed range according to the change in the position of the moving object in the superimposed range; Good.
好適には、複数の前記撮像デバイスは、車両の後方から側方にかけての撮像範囲を車幅方向において複数に分けて撮像し、前記生成部は、後方の撮像画像と側方の撮像画像とを重ねて合成する表示画像を生成する際に、前記重畳範囲の移動体が前記後方の撮像画像の側から前記側方の撮像画像の側へ向かって位置を変化する場合、前記重畳範囲における前記移動体の位置に応じて、前記重畳範囲における前記後方の撮像画像の濃度を前記側方の撮像画像より高くしている状態から、前記側方の撮像画像の濃度を前記後方の撮像画像より高くする状態へ切り替え、前記重畳範囲の移動体が前記側方の撮像画像の側から前記後方の撮像画像の側へ向かって位置を変化する場合、前記重畳範囲における前記移動体の位置に応じて、前記重畳範囲における前記側方の撮像画像の濃度を前記後方の撮像画像より高くしている状態から、前記後方の撮像画像の濃度を前記側方の撮像画像より高くする状態へ切り替える、とよい。 Preferably, the plurality of imaging devices divide the imaging range from the rear to the sides of the vehicle into a plurality of parts in the vehicle width direction, and the generation unit divides the rear and side images into a plurality of images. When generating display images to be superimposed and combined, if the moving object in the superimposition range changes its position from the side of the rear captured image to the side of the side captured image, the movement in the superimposition range Depending on the position of the body, the density of the rear captured image in the superimposed range is made higher than the side captured image, and then the density of the lateral captured image is made higher than the rear captured image. state, and when the moving body in the superimposed range changes its position from the side of the side captured image to the side of the rear captured image, depending on the position of the moving body in the superimposed range, It is preferable to switch from a state where the density of the side captured image in the superimposed range is higher than the rear captured image to a state where the density of the rear captured image is higher than the side captured image.
好適には、前記生成部は、前記移動体が前記重畳範囲の中央より前記後方の撮像画像の側に位置する場合には、前記重畳範囲における前記後方の撮像画像の濃度を前記側方の撮像画像より高くし、前記移動体が前記重畳範囲の中央より前記側方の撮像画像の側に位置する場合には、前記重畳範囲における前記側方の撮像画像の濃度を前記後方の撮像画像より高くするように、前記重畳範囲における複数の撮像画像の重畳濃さを変化させる、とよい。 Preferably, when the moving object is located closer to the rear captured image than the center of the superimposed range, the generation unit converts the density of the rear captured image in the superimposed range into the side captured image. and when the moving object is located closer to the side captured image than the center of the superimposed range, the density of the side captured image in the superimposed range is higher than the rear captured image. It is preferable that the superimposition density of the plurality of captured images in the superimposition range is changed so that the superimposition density of the plurality of captured images in the superimposition range is changed.
好適には、複数の前記撮像デバイスは、前記車両において互いに離間させて設けられている、とよい。 Preferably, the plurality of imaging devices are provided spaced apart from each other in the vehicle.
本発明では、車両の周囲を複数の撮像デバイスにより複数に分けて撮像する。そして、複数の撮像デバイスにより撮像される画像を合成して表示画像を生成する際に、複数の撮像デバイスによる撮像画像を重ねて表示する表示画像を生成し、表示デバイスに表示する。しかも、重畳範囲における複数の撮像画像の重畳濃さは、表示画像についての重畳範囲における移動体の位置の変化に応じて変化する。たとえば、重畳範囲において重なる第一の撮像画像の側から第二の撮像画像の側へ向かって移動体の位置が変化する場合、重畳範囲における第一の撮像画像の濃度を第二の撮像画像より高くしている状態から、第二の撮像画像の濃度を第一の撮像画像より高くする状態へ変化させる。この際、たとえば、車両の周囲で移動する移動体についての画像中の位置の変化を判断する移動体検出部により、重畳範囲における移動体の位置の変化を判断して、これに応じて、重畳範囲における第一の撮像画像の濃度と第二の撮像画像の濃度との中の少なくとも一方を変化させればよい。
これにより、重畳範囲の画像では、重畳範囲における移動体の位置の変化に応じて、複数の撮像画像の重畳濃さが変化し、たとえば第一の撮像画像および第二の撮像画像の中の一方が優先的に表示に現れるようになる。その結果、重畳範囲において複数の画像が重ねて表示されるとしても、優先して表示される画像における移動体が重畳範囲において明瞭に表示されるようになる。
これに対して、仮にたとえば重畳範囲において複数の画像を同じ濃度で重ねて表示する場合、重畳範囲における移動体は複数の画像の間での位置ずれや大きさの相違などにより、全体的に二重の画像となってぼやけて表示されるようになり易い。本発明では、このような事態が生じ難くなり、移動体は、複数の画像が重畳される重畳範囲においても優先される一方の画像により明瞭に表示され得る。移動体は、重畳範囲においても、それ以外の範囲に表示される場合と同様に、明瞭に表示され得る。
しかも、重畳範囲における移動体の位置の変化に応じて、重畳される複数の画像の間で濃度の比を切り換えるため、移動体は、重畳範囲から一方の画像のみに撮像される範囲へ位置を変化させる前から、一方の画像により優先的に表示されている。その結果、移動体は、重畳範囲から一方の画像のみに撮像される範囲へ位置を変化させる際に、移動体の像が急激に変化することもない。
これに対して、重畳範囲において他方の画像での移動体を表示している場合、重畳範囲から一方の画像のみに撮像される範囲へ位置を変化させる際に、移動体の像が急激に変化する可能性がある。一方の画像における移動体の像と、他方の画像における移動体の像との間に、たとえば上下位置の微妙なずれがある場合、または撮像サイズが違う場合、このような境界位置をまたいで移動体の位置が変化するとき、移動体の像が急激に変化することになる。
In the present invention, images of the surroundings of a vehicle are divided into a plurality of parts and captured by a plurality of imaging devices. When the images captured by the plurality of imaging devices are combined to generate a display image, a display image in which the images captured by the plurality of imaging devices are superimposed is generated and displayed on the display device. Furthermore, the superimposition density of the plurality of captured images in the superimposition range changes according to a change in the position of the moving object in the superimposition range of the displayed image. For example, when the position of a moving object changes from the side of the first captured image that overlaps in the superimposed range to the side of the second captured image, the density of the first captured image in the superimposed range is lower than that of the second captured image. The density of the second captured image is changed from a state where the density is high to a state where the density of the second captured image is higher than that of the first captured image. At this time, for example, a moving object detection unit that determines a change in the position of a moving object moving around the vehicle in the image determines a change in the position of the moving object in the superimposition range, and accordingly At least one of the density of the first captured image and the density of the second captured image in the range may be changed.
As a result, in the images in the superimposed range, the superimposed density of the plurality of captured images changes depending on the change in the position of the moving object in the superimposed range, and for example, one of the first captured image and the second captured image will appear preferentially on the display. As a result, even if a plurality of images are superimposed and displayed in the superimposed range, the moving object in the image that is displayed with priority will be clearly displayed in the superimposed range.
On the other hand, if, for example, multiple images are superimposed and displayed at the same density in the superimposed range, the moving object in the superimposed range will look different overall due to positional shifts and size differences between the multiple images. The image tends to become heavy and appear blurry. According to the present invention, such a situation is less likely to occur, and the moving object can be clearly displayed by one of the images given priority even in a superimposition range where a plurality of images are superimposed. The moving object can be clearly displayed in the overlapping range as well as in other ranges.
Moreover, since the density ratio is switched between multiple images to be superimposed according to changes in the position of the moving object in the superimposed range, the moving object moves from the superimposed range to the range imaged by only one image. Even before the change, one image is being displayed preferentially. As a result, when the moving object changes its position from the superimposed range to the range imaged in only one image, the image of the moving object does not change suddenly.
On the other hand, when a moving object is displayed in the other image in the superimposed range, the image of the moving object changes suddenly when changing its position from the superimposed range to the range imaged only in one image. there's a possibility that. If there is a slight shift in vertical position between the image of the moving object in one image and the image of the moving object in the other image, or if the imaging sizes are different, the image of the moving object in the other image may be moved across such a boundary position. When the position of the body changes, the image of the moving body will change rapidly.
以下、本発明の実施形態について、図面に基づいて説明する。 Embodiments of the present invention will be described below based on the drawings.
［第一実施形態］
図１は、本発明の実施形態に係る車外モニタ装置１０を有する自動車１の一例の走行状況の説明図である。
図１には、三車線の直線状の車道の中央の車線を走行する自動車１が示されている。自動車１の後方には、同一車線を走行する他の自動車９と、左側の車線を走行する他の自動車９と、がいる。
図１の自動車１は、車体２を有する。車体２の中央部分には、ドライバなどの乗員が乗る車室３が形成される。
[First embodiment]
FIG. 1 is an explanatory diagram of an example of a driving situation of an
FIG. 1 shows a
The
そして、図１の自動車１は、車室３の乗員が自車の後方を目視により確認するための映像を提供する車外モニタ装置１０を有する。
車外モニタ装置１０は、自動車１の後方の撮像範囲を、車幅方向において複数に分けて撮像する複数の撮像デバイスとして、センタリアカメラ１１、右リアカメラ１２、左リアカメラ１３を有する。
The
The
センタリアカメラ１１は、車体２のたとえば車室３の後部中央に設けられる。センタリアカメラ１１は、基本的に車体２の左右方向の中央であるＹ０位置にあればよく、この他にもたとえば車体２の後側面の中央に設けられても、車室３前部のルームミラーの位置に設けられてもよい。センタリアカメラ１１は、車体２の真後方向へ向けて設置される。これにより、センタリアカメラ１１は、車体２の真後方向を中央として、車体２の斜後方向を含む後方の範囲を撮像することができる。
The center
右リアカメラ１２および左リアカメラ１３は、車体２の左右側面におけるドアミラーの位置に、ドアミラーの替わりに設けられる。右リアカメラ１２および左リアカメラ１３は、自動車１の斜後方向へ向けて設置される。これにより、右リアカメラ１２は、車体２の右側面から略右横方向までの車体２の右後方向の範囲を撮像することができる。左リアカメラ１３は、車体２の左側面から略左横方向までの車体２の左後方向の範囲を撮像することができる。右リアカメラ１２の撮像範囲および左リアカメラ１３の撮像範囲は、センタリアカメラ１１の撮像範囲と重なる。
The right
これらのセンタリアカメラ１１、右リアカメラ１２および左リアカメラ１３は、自動車１の後方から左右両側の側方にかけての撮像範囲を車幅方向において複数に分けて撮像する複数の撮像デバイスである。また、センタリアカメラ１１は、右リアカメラ１２および左リアカメラ１３のそれぞれと撮像範囲が重なるように自動車１の側方から後方の周囲を撮像する。センタリアカメラ１１、右リアカメラ１２および左リアカメラ１３は、自動車１において互いに離間するように設けられている。
このように従来のミラーをモニタ１４化することにより、ミラーでは死角となっていた方向や範囲についても撮像して画像として表示したり、移動体が視認し易くなるように画像の明るさを調整したり、後方の移動体のヘッドライトの光を弱めるように防眩処理をしたり、することができる。撮像されない死角を無くすことが可能になる。
なお、車外モニタ装置１０は、右リアカメラ１２、左リアカメラ１３、およびセンタリアカメラ１１といった複数の撮像デバイスに加えて、３６０度カメラを有してよい。３６０度カメラは、たとえば車体２のルーフに配置されても、車体２の後部に配置されてもよい。３６０度カメラは、自動車１のたとえば後方から側方を全周的に撮像できる。
These center
In this way, by converting a conventional mirror into a
Note that the
図２は、図１の自動車１に設けられる車外モニタ装置１０の説明図である。
図２の車外モニタ装置１０は、センタリアカメラ１１、右リアカメラ１２、左リアカメラ１３、モニタ１４、メモリ１５、および、これらが接続されるモニタＥＣＵ１６、を有する。モニタＥＣＵ１６には、この他にもたとえば、移動体検出部１７、変向検出部１８、道路情報取得部１９、が車内ネットワーク４１により接続される。
FIG. 2 is an explanatory diagram of the
The
図３は、図２の表示デバイスとしてのモニタ１４についての車室３での配置の説明図である。
図３には、自動車１の車室３の前方内部が示されている。車室３の前方内部には、フロントガラス４の下側にダッシュボード５が設けられる。
モニタ１４は、たとえば液晶パネルでよい。モニタ１４は、ダッシュボード５に埋め込んで固定的に設けられる。モニタ１４は、自動車１の後方の撮像範囲を撮像した画像を表示する。
車室３の乗員は、自動車１の前方をフロントガラス４越しに確認しながら、その下側に配置されるモニタ１４の表示画像により自動車１の後方を視認することができる。
なお、モニタ１４は、たとえば乗員のサイズなどに応じてその全体的な位置および向きを上下左右に微調整可能に、ダッシュボード５に設けられてよい。
FIG. 3 is an explanatory diagram of the arrangement of the
FIG. 3 shows the front interior of the
The
The occupants of the
Note that the
図２のメモリ１５は、モニタＥＣＵ１６が制御に用いるデータおよびプログラムを記録する。
The
モニタＥＣＵ１６は、メモリ１５に記録されているプログラムを読み込んで実行する。これにより、モニタＥＣＵ１６は、車外モニタ装置１０の制御部として機能する。
モニタＥＣＵ１６は、生成部として、右リアカメラ１２により撮像される画像と、左リアカメラ１３により撮像される画像と、センタリアカメラ１１により撮像される画像とを取得し、それらを合成した表示画像を生成する。モニタＥＣＵ１６は、複数の撮像デバイスにより撮像される画像を合成して表示画像を生成する。
モニタＥＣＵ１６は、生成した表示画像をモニタ１４へ出力する。
これにより、モニタ１４は、右リアカメラ１２の撮像画像と、左リアカメラ１３の撮像画像と、センタリアカメラ１１の撮像画像とを合成した画像を表示する。モニタ１４は、自動車１の後方を右側から左側にかけて全体的に撮像した画像を表示する。モニタ１４は、モニタＥＣＵ１６により生成される表示画像を表示する。
The
The
The
Thereby, the
移動体検出部１７は、自動車１の周囲で他の移動体を検出する。図１では、自動車１の後方に存在する複数の他の自動車９を検出する。移動体検出部１７は、たとえば、後方の撮像画像についての移動体の検出処理により、他の移動体とのＶ２Ｘ通信により、ＡＤＡＳ通信により周囲の移動体の情報を取得することにより、自動車１の周囲に存在する他の移動体を検出してよい。移動体検出部１７は、検出した移動体の情報を、車内ネットワーク４１へ出力する。
The moving
変向検出部１８は、自車の向きを検出する。変向検出部１８は、自動車１のステアリング４２の操舵を検出しても、操舵による自動車１そのものの向きを検出してもよい。変向検出部１８は、車内ネットワーク４１に出力される操舵制御のための通知データを取得して、自車の向きを検出してよい。変向検出部１８は、たとえば自動車１が前後に直進する前後方向を基準として、その前後方向からの変向量を、自車の向きとして検出してよい。変向検出部１８は、検出した自車の向きの情報を、車載ネットワークへ出力する。
The direction
道路情報取得部１９は、自動車１が走行している道路の情報を取得する。道路情報取得部１９は、たとえばＡＤＡＳ通信、広域通信網の基地局との通信、またはＶ２Ｘ通信により、自動車１が走行している道路の情報を取得してよい。道路情報取得部１９は、取得した道路の情報を、車内ネットワーク４１へ出力する。
The road
次に、モニタＥＣＵ１６による表示画像の生成処理について説明する。
右リアカメラ１２の撮像画像と、左リアカメラ１３の撮像画像と、センタリアカメラ１１の撮像画像とを合成して表示画像を生成する場合、モニタＥＣＵ１６は、それら複数の画像を並べてつなぎ合わせて表示画像を生成してもよい。しかしながら、このように複数の撮像画像をつなぎ合わせた場合、つなぎ合わせた部分には、カメラの撮像位置や撮像方向の違いにより、画像にうつる移動体の像が連続的なものとならなかったり、移動体の背景が異なったりする。特に、上述するように複数のカメラが自動車１において互いに離間する位置に設けられている場合、それらのカメラにより撮像された複数の画像の間では、被写体やその背景の撮像状態が基本的に異なるようになる。複数の撮像画像をつなぎ合わせても、１つの画像のようにはなり難い。
しかも、上述するように、複数のカメラの撮像範囲は、互いに一部が重なるように撮像する。この場合、１つの移動体が複数の画像に撮像されると、表示画像においては２つの移動体として表示されることになる。
このため、複数のカメラの撮像画像を合成して１つの表示画像を生成する場合には、モニタＥＣＵ１６は、複数の撮像画像にうつる１つの移動体が１つの移動体として表示画像に表示されるように、複数の撮像画像が重ねて撮像する重畳範囲を重ね合わせるとよい。
また、モニタＥＣＵ１６は、重畳範囲における画像が不鮮明とならないように、重畳範囲の画像を生成するとよい。異なる視点で撮像された画像同士を単に重ね合わせた場合、合成後の画像における移動体や背景が二重映りのようになって不鮮明となり易い。
Next, a display image generation process by the
When generating a display image by combining an image captured by the right
Furthermore, as described above, the imaging ranges of the plurality of cameras are photographed so that the imaging ranges partially overlap with each other. In this case, when one moving object is captured in a plurality of images, it will be displayed as two moving objects in the display image.
Therefore, when combining captured images of multiple cameras to generate one display image, the
Further, the
図４は、本発明の第一実施形態での、複数の撮像画像から表示画像を生成する車外モニタ処理のフローチャートである。
モニタＥＣＵ１６は、生成部として、たとえばカメラが新たな画像を撮像する周期に合わせて、図４の処理を繰り返し実行する。
FIG. 4 is a flowchart of the outside-vehicle monitor process for generating a display image from a plurality of captured images in the first embodiment of the present invention.
As a generation unit, the
ステップＳＴ１において、モニタＥＣＵ１６は、右リアカメラ１２の右撮像画像と、左リアカメラ１３の左撮像画像と、センタリアカメラ１１の中央撮像画像とを取得する。
In step ST1, the
ステップＳＴ２において、モニタＥＣＵ１６は、車内ネットワーク４１を通じて移動体検出部１７から、自動車１の周囲に存在する移動体の情報を取得する。ここで取得する移動体の情報には、自動車１の後方の撮像範囲での移動体の有無の情報、移動体の移動方向の情報、などでよい。
In step ST2, the
ステップＳＴ３において、モニタＥＣＵ１６は、取得した自動車１の後方の撮像範囲の移動体の情報に基づいて、重畳範囲の移動体の位置を判断する。モニタＥＣＵ１６は、まず、重畳範囲の移動体の位置が、重畳範囲の中央の位置にいるか否かを判断する。移動体の画像中心が重畳範囲の中央と重なる場合、モニタＥＣＵ１６は、移動体が重畳範囲の中央に位置すると判断し、処理をステップＳＴ４へ進める。移動体の画像中心が重畳範囲の中央から離れていて重ならない場合、モニタＥＣＵ１６は、移動体が重畳範囲の中央に位置しないと判断し、処理をステップＳＴ５へ進める。
In step ST3, the
ステップＳＴ４において、モニタＥＣＵ１６は、中央撮像画像についての重畳範囲の画像の濃度をたとえば５０％の中濃度の透過率に加工し、右撮像画像についての重畳範囲の画像の濃度をたとえば５０％の中濃度の透過率に加工し、左撮像画像についての重畳範囲の画像の濃度をたとえば５０％の中濃度の透過率に加工する。モニタＥＣＵ１６は、重畳範囲における中央撮像画像の濃度と右撮像画像または左撮像画像の濃度との双方を変化させる。その後、モニタＥＣＵ１６は、処理をステップＳＴ８へ進める。
In step ST4, the
ステップＳＴ５において、モニタＥＣＵ１６は、重畳範囲の移動体の位置を判断するためにさらに、重畳範囲の移動体の位置が、重畳範囲の中央より後方側の位置にいるか否かを判断する。移動体の画像中心が重畳範囲の中央より後方側の位置にある場合、モニタＥＣＵ１６は、処理をステップＳＴ６へ進める。移動体の画像中心が重畳範囲の中央より側方側の位置にある場合、モニタＥＣＵ１６は、処理をステップＳＴ７へ進める。ステップＳＴ３およびステップＳＴ５により、モニタＥＣＵ１６は、重畳範囲の移動体の位置、および位置の変化を判断する。
In step ST5, the
ステップＳＴ６において、モニタＥＣＵ１６は、中央撮像画像についての重畳範囲の画像の濃度をたとえば８０％の高濃度の透過率に加工し、右撮像画像についての重畳範囲の画像の濃度をたとえば２０％の低濃度の透過率に加工し、左撮像画像についての重畳範囲の画像の濃度をたとえば２０％の低濃度の透過率に加工する。移動体が重畳範囲の中央より後方側に位置する場合、重畳範囲における後方の中央撮像画像の濃度を、側方の右撮像画像または左撮像画像より高くする。モニタＥＣＵ１６は、重畳範囲における中央撮像画像の濃度と右撮像画像または左撮像画像の濃度との双方を変化させる。その後、モニタＥＣＵ１６は、処理をステップＳＴ８へ進める。
In step ST6, the
ステップＳＴ７において、モニタＥＣＵ１６は、中央撮像画像についての重畳範囲の画像の濃度をたとえば２０％の低濃度の透過率に加工し、右撮像画像についての重畳範囲の画像の濃度をたとえば８０％の高濃度の透過率に加工し、左撮像画像についての重畳範囲の画像の濃度をたとえば８０％の高濃度の透過率に加工する。移動体が重畳範囲の中央より側方側に位置する場合、重畳範囲における側方の右撮像画像または左撮像画像の濃度を、後方の中央撮像画像より高くする。これらステップＳＴ４、ステップＳＴ６およびステップＳＴ７の処理により、重畳範囲における複数の撮像画像の重畳濃さが変化する。モニタＥＣＵ１６は、重畳範囲における中央撮像画像の濃度と右撮像画像または左撮像画像の濃度との双方を変化させる。その後、モニタＥＣＵ１６は、処理をステップＳＴ８へ進める。
In step ST7, the
ステップＳＴ８において、モニタＥＣＵ１６は、重畳範囲の画像濃度を調整した中央撮像画像と、右撮像画像と、左撮像画像とを、重畳範囲同士を重ねるように合成する。これにより、モニタＥＣＵ１６は、複数の撮像画像を重ねて表示する１つの表示画像を生成する。重畳範囲における複数の撮像画像の重畳濃さは、重畳範囲における移動体の位置の変化に応じて変化する。
In step ST8, the
ステップＳＴ９において、モニタＥＣＵ１６は、生成した表示画像を、モニタ１４へ出力する。
これにより、モニタ１４は、中央撮像画像と右撮像画像と左撮像画像とを重畳範囲で重ねて合成した表示画像を表示する。モニタ１４には、中央撮像画像の撮像範囲と、右撮像画像の撮像範囲と、左撮像画像の撮像範囲とが、１つの画像として表示される。
In step ST9, the
Thereby, the
図５は、重畳範囲の移動体が重畳範囲の中央より後方の撮像画像の側に位置する場合での、表示画像の生成処理の説明図である。
図５（Ａ）では、後方の撮像範囲２０に対して、中央撮像画像２１の撮像範囲と、右撮像画像２２の撮像範囲と、左撮像画像２３の撮像範囲とが割り当てられている。
中央撮像画像２１の撮像範囲と、右撮像画像２２の撮像範囲とは、右側の重畳範囲２４において撮像範囲が重なる。
中央撮像画像２１の撮像範囲と、左撮像画像２３の撮像範囲とは、左側の重畳範囲２５において撮像範囲が重なる。
FIG. 5 is an explanatory diagram of the display image generation process when the moving object in the superimposed range is located on the side of the captured image behind the center of the superimposed range.
In FIG. 5A, the imaging range of the center captured
The imaging range of the center captured
The imaging range of the central captured
この場合、モニタＥＣＵ１６は、図５（Ｂ）に示すように、中央撮像画像２１の右側の重畳範囲２４、中央撮像画像２１の左側の重畳範囲２５、右撮像画像２２の重畳範囲２４、および、左撮像画像２３の重畳範囲２５について、画像の濃度を調整する。
図５では、右側の重畳範囲２４に、後方の他の自動車９が映る。他の自動車９は、自車に近づくように高い速度で移動している。
モニタＥＣＵ１６は、移動体検出部１７から取得する他の自動車９の情報に基づいて、右側の重畳範囲２４における移動体の位置を判断する。この場合、他の自動車９は、右側の重畳範囲２４の中央より後方側に位置している。このため、モニタＥＣＵ１６は、ステップＳＴ６の処理により、中央撮像画像２１の左右両側の重畳範囲２４の濃度を高くし、右撮像画像２２の重畳範囲２４および左撮像画像２３の重畳範囲２５の濃度を低くする。
その後、モニタＥＣＵ１６は、ステップＳＴ８の処理により、図５（Ｃ）に示すような表示画像を生成する。図５（Ｃ）の表示画像では、右側の重畳範囲２４および左側の重畳範囲２５では、右撮像画像２２または左撮像画像２３の画像成分より、中央撮像画像２１の画像成分が明瞭となる。
In this case, as shown in FIG. 5(B), the
In FIG. 5, another
The
Thereafter, the
図６は、重畳範囲の移動体が重畳範囲の中央より側方の撮像画像の側に位置する場合での、表示画像の生成処理の説明図である。
高い速度で移動する他の自動車９は、図６（Ａ）においては図５と比べて自車に近づいて大きい像として撮像される。
FIG. 6 is an explanatory diagram of display image generation processing in a case where the moving object in the superimposed range is located on the captured image side from the center of the superimposed range.
Another
この場合、モニタＥＣＵ１６は、図６（Ｂ）に示すように、中央撮像画像２１の右側の重畳範囲２４、中央撮像画像２１の左側の重畳範囲２５、右撮像画像２２の重畳範囲２４、および、左撮像画像２３の重畳範囲２５について、画像の濃度を調整する。
図６では、右側の重畳範囲２４に、後方の他の自動車９が映る。ただし、図６の他の自動車９は、図５と比べて右側へ移動している。
モニタＥＣＵ１６は、移動体検出部１７から取得する他の自動車９の情報に基づいて、右側の重畳範囲２４における移動体の位置を判断する。この場合、他の自動車９は、右側の重畳範囲２４の中央より側方側に位置している。このため、モニタＥＣＵ１６は、ステップＳＴ７の処理により、中央撮像画像２１の左右両側の重畳範囲２４，２５の濃度を低くし、右撮像画像２２の重畳範囲２４および左撮像画像２３の重畳範囲２５の濃度を高くする。
その後、モニタＥＣＵ１６は、ステップＳＴ８の処理により、図６（Ｃ）に示すような表示画像を生成する。図６（Ｃ）の表示画像では、右側の重畳範囲２４および左側の重畳範囲２５では、後方の中央撮像画像２１の画像成分より、側方の右撮像画像２２または左撮像画像２３の画像成分が明瞭となる。
In this case, as shown in FIG. 6(B), the
In FIG. 6, another
The
Thereafter, the
図７は、重畳範囲の移動体の位置の変化に応じた、各撮像画像についての重畳範囲の画像濃度の調整処理の説明図である。
図７（Ａ）から図７（Ｆ）には、センタリアカメラ１１により順番に撮像される複数の中央撮像画像２１と、右リアカメラ１２により順番に撮像される複数の右撮像画像２２が、それらの撮像順で示されている。
図７（Ａ）から図７（Ｆ）において、移動体３０は、自動車１の後方中央から右側方へ向かって動くように移動している。
そして、中央撮像画像２１における移動体３０の撮像位置および撮像サイズは、右撮像画像２２における移動体３０の撮像位置および撮像サイズとは異なっている。画像間において、移動体３０の撮像位置ずれおよび撮像サイズ違いが生じている。
FIG. 7 is an explanatory diagram of a process for adjusting the image density of the superimposed range for each captured image according to a change in the position of the moving object in the superimposed range.
7(A) to FIG. 7(F), a plurality of center captured
7(A) to FIG. 7(F), the moving
The imaging position and imaging size of the moving
図７（Ａ）のタイミングでは、画像において右方へ動く移動体３０は、右の重畳範囲２４の左縁に重なっている。
この場合、モニタＥＣＵ１６は、中央撮像画像２１の右側の重畳範囲２４の画像を高濃度とし、右撮像画像２２の右側の重畳範囲２４の画像を低濃度とする。これらの右側の重畳範囲２４が重ねられる表示画像２６では、中央撮像画像２１における移動体３０の像がはっきりと現れる。右撮像画像２２における移動体３０の像は、薄くなってぼやける。
At the timing shown in FIG. 7A, the moving
In this case, the
その後の図７（Ｂ）のタイミングでは、画像において右方へ動く移動体３０の位置は、右の重畳範囲２４についての、中央より左側となる位置へ変化する。
ここでも、モニタＥＣＵ１６は、中央撮像画像２１の右側の重畳範囲２４の画像を高濃度とし、右撮像画像２２の右側の重畳範囲２４の画像を低濃度とする。表示画像２６の右側の重畳範囲２４では、中央撮像画像２１における移動体３０の像がはっきりと現れる。なお、モニタＥＣＵ１６は、図７（Ｂ）のタイミングでは、図７（Ａ）のタイミングと比べて中央撮像画像２１の濃度を低くし、右撮像画像２２の濃度を高くしてもよい。
At the subsequent timing shown in FIG. 7B, the position of the moving
Here, too, the
その後の図７（Ｃ）のタイミングでは、画像において右方へ動く移動体３０の位置は、右の重畳範囲２４についての、中央の位置へ変化する。
この場合、モニタＥＣＵ１６は、中央撮像画像２１の右側の重畳範囲２４の画像を中濃度とし、右撮像画像２２の右側の重畳範囲２４の画像を中濃度とする。表示画像２６の右側の重畳範囲２４では、中央撮像画像２１における移動体３０の像と、右撮像画像２２における移動体３０の像とが、重ねて表示される。
At the subsequent timing shown in FIG. 7C, the position of the moving
In this case, the
その後の図７（Ｄ）のタイミングでは、画像において右方へ動く移動体３０の位置は、右の重畳範囲２４についての、中央より右側となる位置へ変化する。
この場合、モニタＥＣＵ１６は、中央撮像画像２１の右側の重畳範囲２４の画像を低濃度とし、右撮像画像２２の右側の重畳範囲２４の画像を高濃度とする。表示画像２６の右側の重畳範囲２４では、右撮像画像２２における移動体３０の像がはっきりと現れる。
At the subsequent timing shown in FIG. 7(D), the position of the moving
In this case, the
その後の図７（Ｅ）のタイミングでは、画像において右方へ動く移動体３０の位置は、右の重畳範囲２４の右縁に重なっている。
この場合、モニタＥＣＵ１６は、中央撮像画像２１の右側の重畳範囲２４の画像を低濃度とし、右撮像画像２２の右側の重畳範囲２４の画像を高濃度とする。表示画像２６の右側の重畳範囲２４では、右撮像画像２２における移動体３０の像がはっきりと現れる。なお、図７（Ｄ）のタイミングでの中央撮像画像２１の濃度は、図７（Ｅ）のタイミングの濃度より高くし、右側の重畳範囲２４の濃度は、図７（Ｅ）のタイミングの濃度より低くしてもよい。
At the subsequent timing shown in FIG. 7E, the position of the moving
In this case, the
その後の図７（Ｆ）のタイミングでは、画像において右方へ動く移動体３０の位置は、右の重畳範囲２４より右側となる位置へ変化する。
この場合、モニタＥＣＵ１６は、直前の図７（Ｅ）のタイミングと同様に、中央撮像画像２１の右側の重畳範囲２４の画像を低濃度とし、右撮像画像２２の右側の重畳範囲２４の画像を高濃度としてよい。
At the subsequent timing shown in FIG. 7(F), the position of the moving
In this case, the
このように、モニタＥＣＵ１６は、後方の中央撮像画像２１と側方の右撮像画像２２とを重ねて合成する表示画像２６を生成する際に、右の重畳範囲２４の移動体３０が後方の中央撮像画像２１の側から側方の右撮像画像２２の側へ向かって位置を変化する場合、右の重畳範囲２４における移動体３０の位置に応じて、右の重畳範囲２４における後方の中央撮像画像２１の濃度を側方の右撮像画像２２より高くしている状態から、側方の右撮像画像２２の濃度を後方の中央撮像画像２１より高くする状態へ段階的に切り替える。
また、図７とは逆向きに左方へ移動体３０が動く場合、すなわち右の重畳範囲２４の移動体３０が側方の右撮像画像２２の側から後方の中央撮像画像２１の側へ向かって位置を変化する場合、モニタＥＣＵ１６は、同様の処理により、右の重畳範囲２４における移動体３０の位置に応じて、右の重畳範囲２４における側方の右撮像画像２２の濃度を後方の中央撮像画像２１より高くしている状態から、後方の中央撮像画像２１の濃度を側方の右撮像画像２２より高くする状態へ段階的に切り替える。
また、中央撮像画像２１と左撮像画像２３との左の重畳範囲２５の処理についても、同様である。
In this way, when the
Further, when the moving
The same applies to the left superimposed
そして、図７に示すように、重畳範囲２４における対象物の像が完全には一致していない画像同士を、重畳範囲２４において重ねて表示し、かつ、重ねられる複数の画像の濃淡を変化することにより、ドライバなどの乗員は、重畳範囲２４における対象物がより後方側なのか側方側なのかを直感的に把握することができる。
Then, as shown in FIG. 7, images whose images of objects in the
以上のように、本実施形態では、自動車１の周囲を複数の撮像デバイスにより複数に分けて撮像する。そして、複数の撮像デバイスにより撮像される画像を合成して表示画像を生成する際に、複数の撮像デバイスによる撮像画像を重ねて表示する表示画像を生成し、表示デバイスに表示する。しかも、重畳範囲における複数の撮像画像の重畳濃さは、表示画像についての重畳範囲における移動体の位置の変化に応じて変化する。たとえば、重畳範囲において重なる第一の撮像画像の側から第二の撮像画像の側へ向かって移動体の位置が変化する場合、重畳範囲における第一の撮像画像の濃度を第二の撮像画像より高くしている状態から、第二の撮像画像の濃度を第一の撮像画像より高くする状態へ変化させる。この際、たとえば、自動車１の周囲で移動する移動体についての画像中の位置の変化を判断する移動体検出部１７により、重畳範囲における移動体の位置の変化を判断して、これに応じて、重畳範囲における第一の撮像画像の濃度と第二の撮像画像の濃度との中の少なくとも一方を変化させればよい。
As described above, in this embodiment, images of the surroundings of the
本実施形態では、具体的には、複数の撮像デバイスは、自動車１の後方から側方にかけての撮像範囲を車幅方向において複数に分けて撮像する。そして、本実施形態では、後方の撮像画像と側方の撮像画像とを重ねて合成する表示画像を生成する際に、重畳範囲の移動体が後方の撮像画像の側から側方の撮像画像の側へ向かって位置を変化する場合、重畳範囲における移動体の位置に応じて、重畳範囲における後方の撮像画像の濃度を側方の撮像画像より高くしている状態から、側方の撮像画像の濃度を後方の撮像画像より高くする状態へ段階的に切り替え、重畳範囲の移動体が側方の撮像画像の側から後方の撮像画像の側へ向かって位置を変化する場合、重畳範囲における移動体の位置に応じて、重畳範囲における側方の撮像画像の濃度を後方の撮像画像より高くしている状態から、後方の撮像画像の濃度を側方の撮像画像より高くする状態へ段階的に切り替える。
Specifically, in this embodiment, the plurality of imaging devices divides the imaging range from the rear to the sides of the
また、本実施形態では、具体的には、移動体が重畳範囲の中央より後方の撮像画像の側に位置する場合には、重畳範囲における後方の撮像画像の濃度を側方の撮像画像より高くし、移動体が重畳範囲の中央より側方の撮像画像の側に位置する場合には、重畳範囲における側方の撮像画像の濃度を後方の撮像画像より高くするように、重畳範囲における複数の撮像画像の重畳濃さを変化させる。 In addition, in this embodiment, specifically, when the moving object is located on the side of the captured image behind the center of the superimposition range, the density of the captured image at the rear in the superimposition range is set higher than the density of the captured image on the side. However, if the moving object is located on the side of the captured image on the side of the center of the superimposed range, multiple images in the superimposed range are Change the superimposition density of the captured image.
これにより、重畳範囲の画像では、重畳範囲における移動体の位置の変化に応じて、複数の撮像画像の重畳濃さが変化し、たとえば第一の撮像画像および第二の撮像画像の中の一方が優先的に表示に現れるようになる。その結果、重畳範囲において複数の画像が重ねて表示されるとしても、優先して表示される画像における移動体が重畳範囲において明瞭に表示されるようになる。
これに対して、仮にたとえば重畳範囲において複数の画像を同じ濃度で重ねて表示する場合、重畳範囲における移動体は複数の画像の間での位置ずれや大きさの相違などにより、全体的に二重の画像となってぼやけて表示されるようになり易い。本実施形態では、このような事態が生じ難くなり、移動体は、複数の画像が重畳される重畳範囲においても優先される一方の画像により明瞭に表示され得る。移動体は、重畳範囲においても、それ以外の範囲に表示される場合と同様に、明瞭に表示され得る。
As a result, in the images in the superimposed range, the superimposed density of the plurality of captured images changes depending on the change in the position of the moving object in the superimposed range, and for example, one of the first captured image and the second captured image will appear preferentially on the display. As a result, even if a plurality of images are superimposed and displayed in the superimposed range, the moving object in the image that is displayed with priority will be clearly displayed in the superimposed range.
On the other hand, if, for example, multiple images are superimposed and displayed at the same density in the superimposed range, the moving object in the superimposed range will look different overall due to positional shifts and size differences between the multiple images. The image tends to become heavy and appear blurry. In the present embodiment, such a situation is less likely to occur, and the moving object can be clearly displayed by one of the images given priority even in a superimposition range where a plurality of images are superimposed. The moving object can be clearly displayed in the overlapping range as well as in other ranges.
しかも、重畳範囲における移動体の位置の変化に応じて、重畳される複数の画像の間で濃度の比を切り換えるため、移動体は、重畳範囲から一方の画像のみに撮像される範囲へ位置を変化させる前から、一方の画像により優先的に表示されている。その結果、移動体は、重畳範囲から一方の画像のみに撮像される範囲へ位置を変化させる際に、移動体の像が急激に変化することもない。
これに対して、重畳範囲において他方の画像での移動体を表示している場合、重畳範囲から一方の画像のみに撮像される範囲へ位置を変化させる際に、移動体の像が急激に変化する可能性がある。一方の画像における移動体の像と、他方の画像における移動体の像との間に、たとえば上下位置の微妙なずれがある場合、または撮像サイズが違う場合、このような境界位置をまたいで移動体の位置が変化するとき、移動体の像が急激に変化することになる。
Moreover, since the density ratio is switched between multiple images to be superimposed according to changes in the position of the moving object in the superimposed range, the moving object moves from the superimposed range to the range imaged by only one image. Even before the change, one image is being displayed preferentially. As a result, when the moving object changes its position from the superimposed range to the range imaged in only one image, the image of the moving object does not change suddenly.
On the other hand, when a moving object is displayed in the other image in the superimposed range, the image of the moving object changes suddenly when changing its position from the superimposed range to the range imaged only in one image. there's a possibility that. If there is a slight shift in vertical position between the image of the moving object in one image and the image of the moving object in the other image, or if the imaging sizes are different, the image of the moving object in the other image may be moved across such a boundary position. When the position of the body changes, the image of the moving body will change rapidly.
［第二実施形態］
次に、本発明の第二実施形態に係る自動車１について説明する。以下の説明では、主に上述した実施形態との相違点について説明する。上述した実施形態と同様の構成要素には、上述した実施形態と同じ符号を用いて、その説明を省略する。
[Second embodiment]
Next, an
図８は、本発明の第二実施形態での、複数の撮像画像から表示画像を生成する車外モニタ処理のフローチャートである。
モニタＥＣＵ１６は、生成部として、たとえばカメラが新たな画像を撮像する周期に合わせて、図８の処理を繰り返し実行する。
図２の変向検出部１８は、自車の向きを検出し、検出した自車の向きの情報を車載ネットワークへ出力する。
FIG. 8 is a flowchart of an outside-vehicle monitor process for generating a display image from a plurality of captured images in the second embodiment of the present invention.
As a generation unit, the
The direction
ステップＳＴ２１において、モニタＥＣＵ１６は、変向検出部１８が車載ネットワークへ出力した自車の向きの情報を、操舵情報として取得する。
In step ST21, the
ステップＳＴ２２において、モニタＥＣＵ１６は、自車の向きについての直進方向から変向量を操舵量として用いて、操舵量が閾値未満であるか否かを判断する。操舵または自動車１の向きの変向量と比較される閾値は、自動車１が右左折する際の変向量より小さく、かつ、自動車１が車線変更や車線に沿って操舵して走行する際の変向量より大きい値とすればよい。操舵量が閾値未満である場合、モニタＥＣＵ１６は、処理をステップＳＴ２３へ進める。操舵量が閾値以上である場合、モニタＥＣＵ１６は、処理をステップＳＴ２４へ進める。
In step ST22, the
ステップＳＴ２３において、モニタＥＣＵ１６は、上述した実施形態と同様に複数の撮像画像を重畳して合成する。モニタＥＣＵ１６は、たとえばステップＳＴ３からステップＳＴ８の処理を実行する。これにより、モニタＥＣＵ１６は、変向検出部１８により検出される操舵または自動車１の向きの変向量が閾値未満である場合には、複数の撮像デバイスによる撮像画像を重ねて表示する表示画像２６を生成する。その後、モニタＥＣＵ１６は、処理をステップＳＴ２５へ進める。
In step ST23, the
ステップＳＴ２４において、モニタＥＣＵ１６は、中央撮像画像２１について右の重畳範囲２４および左の重畳範囲２５をトリミングし、トリミング処理後の中央撮像画像２１と、右撮像画像２２および左撮像画像２３を合成する。これにより、表示画像２６における右の重畳範囲２４は、右撮像画像２２の画像成分のみとなる。また、表示画像２６における左の重畳範囲２５は、左撮像画像２３の画像成分のみとなる。モニタＥＣＵ１６は、変向検出部１８により検出される操舵または自動車１の向きの変向量が閾値以上である場合には、重畳範囲において側方の撮像画像のみを表示する表示画像２６を生成する。なお、モニタＥＣＵ１６は、重畳範囲において、側方の撮像画像と後方の撮像画像とを、側方の撮像画像の濃度が相対的に高くなるように固定的な濃度で重畳してもよい。その後、モニタＥＣＵ１６は、処理をステップＳＴ２５へ進める。
In step ST24, the
ステップＳＴ２５において、モニタＥＣＵ１６は、生成した表示画像２６を、モニタ１４へ出力する。
これにより、モニタ１４は、中央撮像画像２１と右撮像画像２２と左撮像画像２３とを重畳範囲で重ねて合成した表示画像２６を表示する。
また、変向検出部１８により検出される操舵または自動車１の向きの変向量が閾値以上である場合、モニタ１４は、重畳範囲において側方の撮像画像のみを表示する表示画像２６を表示し続ける。重畳範囲における側方の撮像画像の表示濃度は、後方の撮像画像より高くした状態に維持される。
In step ST25, the
Thereby, the
Further, when the amount of steering or the direction change of the
以上のように、本実施形態では、自動車１の操舵による自動車１の向きを検出する変向検出部１８、を有する。そして、本実施形態では、変向検出部１８により検出される操舵または自動車１の向きの変向量が閾値未満である場合、複数の撮像デバイスによる撮像画像を重ねて表示する表示画像を生成し、変向検出部１８により検出される操舵または自動車１の向きの変向量が閾値以上である場合、重畳範囲における側方の撮像画像の濃度を後方の撮像画像より高くした状態に維持する。たとえば、重畳範囲における側方の撮像画像の表示濃度を後方の撮像画像より高くした状態に維持するためには、重畳範囲の画像を側方の撮像画像のみから生成する。ここで、操舵または自動車１の向きの変向量と比較される閾値は、自動車１がたとえば９０度で右左折する際の変向量より小さく、自動車１が車線変更や車線に沿って操舵して走行する際の変向量より大きい、値とすればよい。
これにより、本実施形態では、たとえば右折や左折のように大きな操舵量または変向量となる場合には、重畳範囲に、側方の撮像画像を後方の撮像画像より優先して表示することができる。右左折の際に側方の撮像画像を優先して表示することにより、重畳範囲には、右左折の内側にいる移動体をはっきりと表示することができる。右左折の際に後方の撮像画像における移動体を重畳して表示することがないようにすることにより、右左折の際に確認が必須となる側方の移動体を優先してはっきりと表示することができる。
As described above, this embodiment includes the direction
As a result, in this embodiment, when a large amount of steering or change of direction is required, such as when turning right or left, side captured images can be displayed with priority over rear captured images in the superimposed range. . By preferentially displaying the captured image on the side when making a right or left turn, it is possible to clearly display a moving object on the inside of the right or left turn in the superimposed range. By preventing the superimposed display of moving objects in the rear captured image when turning left or right, priority is given to moving objects on the side that must be confirmed when turning left or right, and are clearly displayed. be able to.
［第三実施形態］
次に、本発明の第三実施形態に係る自動車１について説明する。以下の説明では、主に上述した実施形態との相違点について説明する。上述した実施形態と同様の構成要素には、上述した実施形態と同じ符号を用いて、その説明を省略する。
[Third embodiment]
Next, a description will be given of an
図９は、本発明の第三実施形態での、複数の撮像画像から表示画像を生成する車外モニタ処理のフローチャートである。
モニタＥＣＵ１６は、生成部として、たとえばカメラが新たな画像を撮像する周期に合わせて、図９の処理を繰り返し実行する。
図２の道路情報取得部１９は、自動車１が走行している道路の情報を、車内ネットワーク４１へ出力する。
FIG. 9 is a flowchart of the outside-vehicle monitor process for generating a display image from a plurality of captured images in the third embodiment of the present invention.
As a generation unit, the
The road
ステップＳＴ３１において、モニタＥＣＵ１６は、道路情報取得部１９が車載ネットワークへ出力した、走行している道路の情報を取得する。
In step ST31, the
ステップＳＴ３２において、モニタＥＣＵ１６は、走行している道路の情報を用いて、自車が高速道路を走行しているか否かを判断する。高速道路を走行している場合、モニタＥＣＵ１６は、処理をステップＳＴ３３へ進める。高速道路を走行していない場合、すなわち一般道を走行している場合、モニタＥＣＵ１６は、処理をステップＳＴ３４へ進める。なお、モニタＥＣＵ１６は、自車が一般道を走行しているか否かを判断してもよい。
In step ST32, the
ステップＳＴ３３において、モニタＥＣＵ１６は、上述した実施形態と同様に複数の撮像画像を重畳して合成する。モニタＥＣＵ１６は、たとえばステップＳＴ３からステップＳＴ８の処理を実行する。これにより、モニタＥＣＵ１６は、自車が高速道路を走行している場合には、複数の撮像デバイスによる撮像画像を重ねて表示する表示画像２６を生成する。その後、モニタＥＣＵ１６は、処理をステップＳＴ３５へ進める。
In step ST33, the
ステップＳＴ３４において、モニタＥＣＵ１６は、中央撮像画像２１について右の重畳範囲２４および左の重畳範囲２５をトリミングし、トリミング処理後の中央撮像画像２１と、右撮像画像２２および左撮像画像２３を合成する。これにより、表示画像２６における右の重畳範囲２４は、右撮像画像２２の画像成分のみとなる。また、表示画像２６における左の重畳範囲２５は、左撮像画像２３の画像成分のみとなる。モニタＥＣＵ１６は、自車が一般道を走行している場合には、重畳範囲において側方の撮像画像のみを表示する表示画像２６を生成する。なお、モニタＥＣＵ１６は、重畳範囲において、側方の撮像画像と後方の撮像画像とを、側方の撮像画像の濃度が相対的に高くなるように固定的な濃度で重畳してもよい。その後、モニタＥＣＵ１６は、処理をステップＳＴ３５へ進める。
In step ST34, the
ステップＳＴ３５において、モニタＥＣＵ１６は、生成した表示画像２６を、モニタ１４へ出力する。
これにより、モニタ１４は、中央撮像画像２１と右撮像画像２２と左撮像画像２３とを重畳範囲で重ねて合成した表示画像２６を表示する。
また、一般道を走行している場合、モニタ１４は、重畳範囲において側方の撮像画像のみを表示する表示画像２６を表示し続ける。重畳範囲における側方の撮像画像の表示濃度は、後方の撮像画像より高くした状態に維持される。
In step ST35, the
Thereby, the
Further, when the vehicle is traveling on a general road, the
以上のように、本実施形態では、自動車１が走行している道路の情報を取得する道路情報取得部１９、を有する。そして、本実施形態では、道路情報取得部１９により取得された道路情報に基づいて、自動車１が走行している道路が高速道路または一般道のいずれかであるかを判断し、高速道路を走行していると判断される場合には、複数の撮像デバイスによる撮像画像を重ねて表示する表示画像を生成し、一般道を走行していると判断される場合には、重畳範囲における側方の撮像画像の濃度を後方の撮像画像より高くした状態に維持する。たとえば、重畳範囲における側方の撮像画像の表示濃度を後方の撮像画像より高くした状態に維持するためには、重畳範囲の画像を側方の撮像画像のみから生成する。
これにより、本実施形態では、たとえば一般道のように側方の移動体を確認する必要性が高い場合には、側方の移動体をはっきりと表示することができる。
As described above, this embodiment includes the road
As a result, in this embodiment, when it is highly necessary to check the moving object on the side, as on a public road, for example, the moving object on the side can be clearly displayed.
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。 Although the above embodiments are examples of preferred embodiments of the present invention, the present invention is not limited thereto, and various modifications and changes can be made without departing from the gist of the invention.
上述した実施形態では、左右の重畳範囲２４，２５における移動体の位置の変化に応じて、左右の重畳範囲２４，２５における後方の中央撮像画像２１の濃度と、左右の重畳範囲２４，２５における側方の右撮像画像２２および左撮像画像２３の濃度との、双方を変化させている。
この他にもたとえば、モニタＥＣＵ１６は、中央撮像画像２１の濃度、および右撮像画像２２および左撮像画像２３の濃度との、一方のみを、左右の重畳範囲２４，２５における移動体の位置の変化に応じて変化させてもよい。
In the embodiment described above, the density of the rear central captured
In addition, for example, the
１…自動車（車両）、１０…車外モニタ装置、１１…センタリアカメラ（撮像デバイス）、１２…右リアカメラ（撮像デバイス）、１３…左リアカメラ（撮像デバイス）、１４…モニタ（表示デバイス）、１６…モニタＥＣＵ（生成部）、１７…移動体検出部、１８…変向検出部、１９…道路情報取得部、２０…撮像範囲、２１…中央撮像画像、２２…右撮像画像、２３…左撮像画像、２４…右の重畳範囲、２５…左の重畳範囲、２６…表示画像、３０…移動体
DESCRIPTION OF
Claims (6)
複数の前記撮像デバイスにより撮像される画像を合成して表示画像を生成する生成部と、
前記生成部により生成される表示画像を表示する表示デバイスと、
を有し、
複数の前記撮像デバイスは、他の前記撮像デバイスと撮像範囲が重なるように前記車両の周囲を撮像し、
前記生成部は、
複数の前記撮像デバイスによる撮像画像を重ねて表示する表示画像を生成する際に、重畳範囲における移動体の位置の変化に応じて、前記重畳範囲における複数の撮像画像の重畳濃さを変化させる、
車外モニタ装置。
a plurality of imaging devices that divide the surroundings of the vehicle into multiple images;
a generation unit that generates a display image by synthesizing images captured by the plurality of imaging devices;
a display device that displays a display image generated by the generation unit;
has
The plurality of imaging devices capture images of the surroundings of the vehicle so that their imaging ranges overlap with those of the other imaging devices,
The generation unit is
When generating a display image in which images captured by a plurality of imaging devices are displayed in a superimposed manner, changing the superimposition density of the plurality of captured images in the superimposition range in accordance with a change in the position of a moving object in the superimposition range;
External monitoring device.
前記重畳範囲において重なる第一の撮像画像の側から第二の撮像画像の側へ向かって移動体の位置が変化する場合、前記重畳範囲における第一の撮像画像の濃度を第二の撮像画像より高くしている状態から、前記第二の撮像画像の濃度を前記第一の撮像画像より高くする状態へ変化させる、
請求項１記載の、車外モニタ装置。
The generation unit is
When the position of the moving object changes from the side of the first captured image that overlaps in the superimposed range to the side of the second captured image, the density of the first captured image in the superimposed range is lower than that of the second captured image. changing the density of the second captured image from a state where it is high to a state where the density of the second captured image is higher than that of the first captured image;
The vehicle exterior monitoring device according to claim 1.
前記生成部は、
前記移動体検出部により検出される前記重畳範囲の移動体についての画像中の位置の変化を判断し、
前記重畳範囲における移動体の位置の変化に応じて、前記重畳範囲における第一の撮像画像の濃度と第二の撮像画像の濃度との中の少なくとも一方を変化させる、
請求項１または２記載の、車外モニタ装置。
a moving object detection unit that detects a moving object moving around the vehicle;
The generation unit is
determining a change in position in the image of a moving object in the superimposed range detected by the moving object detection unit;
changing at least one of the density of the first captured image and the density of the second captured image in the superimposed range according to a change in the position of the moving object in the superimposed range;
The vehicle exterior monitoring device according to claim 1 or 2.
前記生成部は、
後方の撮像画像と側方の撮像画像とを重ねて合成する表示画像を生成する際に、
前記重畳範囲の移動体が前記後方の撮像画像の側から前記側方の撮像画像の側へ向かって位置を変化する場合、前記重畳範囲における前記移動体の位置に応じて、前記重畳範囲における前記後方の撮像画像の濃度を前記側方の撮像画像より高くしている状態から、前記側方の撮像画像の濃度を前記後方の撮像画像より高くする状態へ切り替え、
前記重畳範囲の移動体が前記側方の撮像画像の側から前記後方の撮像画像の側へ向かって位置を変化する場合、前記重畳範囲における前記移動体の位置に応じて、前記重畳範囲における前記側方の撮像画像の濃度を前記後方の撮像画像より高くしている状態から、前記後方の撮像画像の濃度を前記側方の撮像画像より高くする状態へ切り替える、
請求項１から３のいずれか一項記載の、車外モニタ装置。
The plurality of imaging devices divide an imaging range from the rear to the side of the vehicle into a plurality of parts in the vehicle width direction, and
The generation unit is
When generating a display image that combines a rear captured image and a side captured image,
When the moving body in the superimposing range changes its position from the side of the rear captured image to the side of the side captured image, the position of the moving body in the superimposing range changes depending on the position of the moving body in the superimposing range. Switching from a state where the density of the rear captured image is higher than the side captured image to a state where the density of the lateral captured image is higher than the rear captured image,
When the moving body in the superimposing range changes its position from the side of the side captured image to the side of the rear captured image, the position of the moving body in the superimposing range changes depending on the position of the moving body in the superimposing range. switching from a state where the density of the side captured image is higher than the rear captured image to a state where the density of the rear captured image is higher than the side captured image;
An external monitor device according to any one of claims 1 to 3.
前記移動体が前記重畳範囲の中央より前記後方の撮像画像の側に位置する場合には、前記重畳範囲における前記後方の撮像画像の濃度を前記側方の撮像画像より高くし、
前記移動体が前記重畳範囲の中央より前記側方の撮像画像の側に位置する場合には、前記重畳範囲における前記側方の撮像画像の濃度を前記後方の撮像画像より高くするように、前記重畳範囲における複数の撮像画像の重畳濃さを変化させる、
請求項４記載の、車外モニタ装置。
The generation unit is
When the moving object is located closer to the rear captured image than the center of the superimposed range, the density of the rear captured image in the superimposed range is higher than that of the lateral captured image,
When the moving body is located closer to the side captured image than the center of the superimposed range, the density of the side captured image in the superimposed range is made higher than that of the rear captured image. Changing the superimposition density of multiple captured images in the superimposition range,
The vehicle exterior monitoring device according to claim 4.
請求項１から５のいずれか一項記載の、車外モニタ装置。
The plurality of imaging devices are provided spaced apart from each other in the vehicle,
An external monitor device according to any one of claims 1 to 5.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019169885A JP7353111B2 (en) | 2019-09-18 | 2019-09-18 | External monitor device |
| JP2023099004A JP7496021B2 (en) | 2019-09-18 | 2023-06-16 | External monitor device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019169885A JP7353111B2 (en) | 2019-09-18 | 2019-09-18 | External monitor device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023099004A Division JP7496021B2 (en) | 2019-09-18 | 2023-06-16 | External monitor device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021046097A JP2021046097A (en) | 2021-03-25 |
| JP7353111B2 true JP7353111B2 (en) | 2023-09-29 |
Family
ID=74877548
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019169885A Active JP7353111B2 (en) | 2019-09-18 | 2019-09-18 | External monitor device |
| JP2023099004A Active JP7496021B2 (en) | 2019-09-18 | 2023-06-16 | External monitor device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023099004A Active JP7496021B2 (en) | 2019-09-18 | 2023-06-16 | External monitor device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7353111B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004312523A (en) | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | On-vehicle image processor |
| JP2007274377A (en) | 2006-03-31 | 2007-10-18 | Denso Corp | Periphery monitoring apparatus, and program |
| JP2010287163A (en) | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | In-vehicle image display apparatus, and method for trimming image |
| JP2019118016A (en) | 2017-12-27 | 2019-07-18 | トヨタ自動車株式会社 | Image display device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6084434B2 (en) | 2012-10-31 | 2017-02-22 | クラリオン株式会社 | Image processing system and image processing method |
| JP2017215447A (en) | 2016-05-31 | 2017-12-07 | パナソニックＩｐマネジメント株式会社 | Display control device and display control method |
-
2019
- 2019-09-18 JP JP2019169885A patent/JP7353111B2/en active Active
-
2023
- 2023-06-16 JP JP2023099004A patent/JP7496021B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004312523A (en) | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | On-vehicle image processor |
| JP2007274377A (en) | 2006-03-31 | 2007-10-18 | Denso Corp | Periphery monitoring apparatus, and program |
| JP2010287163A (en) | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | In-vehicle image display apparatus, and method for trimming image |
| JP2019118016A (en) | 2017-12-27 | 2019-07-18 | トヨタ自動車株式会社 | Image display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7496021B2 (en) | 2024-06-05 |
| JP2021046097A (en) | 2021-03-25 |
| JP2023126800A (en) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10029621B2 (en) | Rear view camera system using rear view mirror location | |
| US10343607B2 (en) | Viewing device for vehicle | |
| JP5316550B2 (en) | Rear view support system | |
| JP3695319B2 (en) | Vehicle periphery monitoring device | |
| EP1179958B1 (en) | Image processing device and monitoring system | |
| KR100936557B1 (en) | Perimeter monitoring apparatus and image display method for vehicle | |
| CN110027552B (en) | Image display device | |
| US10737624B2 (en) | Viewing device for vehicle | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| EP1227683A1 (en) | Monitor camera, method of adjusting camera, and vehicle monitor system | |
| JP7159802B2 (en) | Vehicle electronic mirror system | |
| KR20090031997A (en) | Perimeter monitoring apparatus and image display method for vehicle | |
| WO2017122654A1 (en) | Drive assist device and drive assist method | |
| JP2015202769A (en) | Vehicular image display apparatus and vehicular image display method | |
| JP2009206747A (en) | Ambient condition monitoring system for vehicle, and video display method | |
| JP5966513B2 (en) | Rear side photographing device for vehicle | |
| JP2013183298A (en) | Rearward visibility support device for vehicle and rearward visibility support method for vehicle | |
| US11601621B2 (en) | Vehicular display system | |
| JP7280006B2 (en) | Image processing device, image processing method and image processing program | |
| JP2017111739A (en) | Driving support apparatus and driving support method | |
| JP7353111B2 (en) | External monitor device | |
| JP7353109B2 (en) | External monitor device | |
| JP7331731B2 (en) | Vehicle electronic mirror system | |
| JP7353110B2 (en) | External monitor device | |
| CN212447305U (en) | Vehicle foresight extended image system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20221223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7353111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |