JP5134504B2 - Vehicle perimeter monitoring system - Google Patents
Vehicle perimeter monitoring system Download PDFInfo
- Publication number
- JP5134504B2 JP5134504B2 JP2008285029A JP2008285029A JP5134504B2 JP 5134504 B2 JP5134504 B2 JP 5134504B2 JP 2008285029 A JP2008285029 A JP 2008285029A JP 2008285029 A JP2008285029 A JP 2008285029A JP 5134504 B2 JP5134504 B2 JP 5134504B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tire
- vehicle
- viewpoint
- translucent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、あたかも運転者の視点から見たように車両を透過して死角領域をモニター映像上に表現する車両周辺監視システムに関する。 The present invention relates to a vehicle periphery monitoring system that transmits a vehicle and expresses a blind spot area on a monitor image as if viewed from the viewpoint of a driver.
従来、車両周辺監視システムの一例であるサイドビューモニターシステムの画像変換応用例としては、視点変換技術を用いて、サイドカメラの映像を、運転者がより認識し易いシステムを構築する提案がなされている（例えば、特許文献１参照）。 Conventionally, as an image conversion application example of a side view monitor system that is an example of a vehicle periphery monitoring system, a proposal has been made to construct a system that makes it easier for a driver to recognize a side camera image using a viewpoint conversion technology. (For example, refer to Patent Document 1).
この提案の趣旨は、カメラと運転者の視点の違いから来る視差を解消し、形状その他を直感的に把握可能なように画像変換するものであった。 The purpose of this proposal was to eliminate the parallax caused by the difference between the viewpoints of the camera and the driver, and to convert the image so that the shape and the like can be intuitively grasped.
即ち、現状のサイドビューモニター用カメラが、サイドミラー内部へ配置されているため、運転者の視点との間に視差を感じ、障害物その他物体の形状は、カメラ映像のそれと運転者の席から見える形状とは全く違うものである。通常の場合、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。 In other words, because the current side view monitor camera is placed inside the side mirror, it feels parallax with the driver's viewpoint, and the shape of obstacles and other objects from the camera image and the driver's seat. It is completely different from the visible shape. In general, the camera image is reconstructed in the head according to the driver's own familiarity, and the positional relationship of the object is reconstructed and judged to ensure consistency with the image the driver is viewing. ing.
このような場合、不慣れな運転者及び咄嗟の場合には、画面と運転者の見る映像との整合性が崩れ非常な違和感を生じることが多かった。これらを解消するために、前述の提案ではカメラ画像を、あたかも運転者の視点位置から見たそれ（カメラ映像）へと画像変換して、この影響を最小限に抑えようとしていた。 In such a case, in the case of an unfamiliar driver and niece, the consistency between the screen and the image seen by the driver often collapses and a very uncomfortable feeling often occurs. In order to solve these problems, the above-mentioned proposal attempts to minimize the influence by converting the camera image into that seen from the viewpoint position of the driver (camera image).
また更に、その表現手法の特徴として、カメラ映像を２分割し、各々のカメラ映像に対して、画像変換処理を行うものであることが挙げられる。具体的には、その映像の中に映り込んでいる車体の映像部分とその他外部の死角部分を映した映像とに分割し、前者を仮想垂直スクリーンへ投影し、それを運転者視点から見た映像へ、また後者を仮想水平スクリーンへ投影しそれを運転者視点から見た映像へ変換し、その二つの映像を重畳表示するものであった。 Furthermore, the feature of the expression technique is that the camera video is divided into two and image conversion processing is performed on each camera video. Specifically, it was divided into a video part of the vehicle body reflected in the video and a video showing the other blind spot part, and the former was projected onto a virtual vertical screen, which was viewed from the driver's viewpoint. The latter was projected onto a video, and the latter was projected onto a virtual horizontal screen, which was converted into a video viewed from the driver's viewpoint, and the two videos were superimposed and displayed.
結果として、半透明な車体を通して、運転者視点からの映像に変換された外部の死角映像が見える形となる。但し、この場合の半透明の車体映像は、外部から見た車体の鏡像となる。このようにして半透明車両の映像を実現していた。 As a result, the external blind spot image converted into the image from the driver's viewpoint can be seen through the translucent vehicle body. However, the translucent vehicle body image in this case is a mirror image of the vehicle body as viewed from the outside. In this way, a translucent vehicle image was realized.
鏡像とはいえ実際の車両映像が重畳されているため、タイヤ位置やドアの映像から死角カメラの視点変換映像に対する前後方向の大きさ、距離感などが捉えやすく、直感的な理解に非常に効果が高く、安全性の寄与に貢献していた。
しかしながら、従来のサイドビューモニターシステムにあっては、その具体的な実現にあたって、次のような視認性の問題が生じていた。 However, in the conventional side view monitor system, the following visibility problem has occurred in the concrete realization.
即ち、半透明化した車両映像は実際の車両の映像であり、タイヤの挙動その他が実動作であるため、応答性やその他に関して非常に信頼性が高いが、今回の視点変換の手法上、実車を裏側から見た形に変換するため、必ず鏡像となり、ハンドル切れ角が逆の方向となる。つまり、右にハンドルを切るとタイヤ映像は線対称に左に切れることになり、違和感を生じていた。これは、なまじ実映像を用いているため、ハンドルを切る際の動作との整合性を取る際、感覚的なズレが大きくなってしまう、という問題を生じていた。 In other words, the translucent vehicle image is an image of an actual vehicle, and since the behavior of the tires and the like are actual motions, the responsiveness and others are very reliable. Is converted to a shape seen from the back side, so it always becomes a mirror image, and the steering angle is in the opposite direction. In other words, when the steering wheel is turned to the right, the tire image is cut to the left in line symmetry, resulting in an uncomfortable feeling. Since this uses a simple real image, there has been a problem that sensory misalignment increases when consistency with the operation of turning the steering wheel is taken.
本発明は、上記問題に着目してなされたもので、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる車両周辺監視システムを提供することを目的とする。 The present invention was made by paying attention to the above problem, and by matching the behavior of the superimposed translucent tire image with the operation from the driver's viewpoint, not only helps to eliminate the sense of incongruity, but also helps intuitive grasp of the space, It is an object of the present invention to provide a vehicle periphery monitoring system that can easily grasp the traveling direction and behavior of a vehicle.
上記目的を達成するため、本発明では、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラと、運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラと、運転者が視認できる車室内位置に設定した外部モニターと、前記左右のサイドカメラから入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段と、を備えた車両周辺監視システムにおいて、
前記モニター表示映像データ生成手段は、前記モニター表示映像データ生成手段は、前記左サイドカメラからの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラからの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、車両の中心軸を線対称軸として運転者視点を線対称に変換した点を助手席視点として設定し、左右一方の周囲映像部分を運転者視点から見た変換画像に視点変換し、左右他方の車体映像部分を助手席視点から見た半透明変換画像に視点変換した後、半透明変換画像を半透明鏡像変換画像に鏡像変換し、前記変換画像に前記半透明鏡像変換画像を重畳する画像合成によりモニター表示映像データを生成する
ことを特徴とする。
To achieve the above object, in the present invention, a left side camera that images a front left side region of a vehicle that becomes a driver's blind spot, and a right side that images a front right side region of the vehicle that becomes a driver's blind spot. A camera, an external monitor set at a vehicle interior position visible to the driver, and monitor display video data generating means for generating monitor display video data based on the actual camera video input from the left and right side cameras. In the vehicle periphery monitoring system,
The monitor display image data generation means divides the actual camera image from the left side camera into a left vehicle image portion including a left tire image and another left surrounding image portion. and, an actual camera image from the previous SL right side camera, and the right body image portion including the right tire image, is divided into two in the other right around the video portion of the driver's perspective as a line symmetric axis on the central axis of the vehicle A point converted to line symmetry is set as the passenger's seat viewpoint, the left and right surrounding video part is converted into a converted image viewed from the driver's viewpoint, and the left and right other body image part is viewed from the passenger's viewpoint. After converting the viewpoint to an image, the translucent converted image is converted into a translucent mirror image converted image, and monitor display video data is generated by image synthesis in which the translucent mirror image converted image is superimposed on the converted image. It is characterized by.
よって、本発明の車両周辺監視システムにあっては、モニター表示映像データ生成手段において、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラからの実カメラ映像は、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割される。運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラからの実カメラ映像は、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割され、車両の中心軸を線対称軸として運転者視点を線対称に変換した点が助手席視点として設定される。２分割された左右一方の周囲映像部分は、運転者視点から見た変換画像に視点変換される。２分割された左右他方の車体映像部分は、助手席視点から見た半透明変換画像に視点変換された後、半透明変換画像が半透明鏡像変換画像に鏡像変換される。そして、運転者視点から見た変換画像に、助手席視点から見た半透明鏡像変換画像を重畳する画像合成によりモニター表示映像データが生成されることになる。
すなわち、外部モニターに表示されるタイヤ映像が、あたかも運転者視点から実タイヤを見たときの位置と方向をあらわす映像になるため、運転者に与える違和感が解消され、運転者視点による死角領域の直感的な空間把握を助ける。さらに、外部モニターに表示されるタイヤ映像が、ハンドル切れ角と連動するタイヤ挙動となるため、タイヤ映像により車両の進行方向や車両挙動を簡単に把握することができる。
この結果、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。
Therefore, in the vehicle periphery monitoring system according to the present invention, the monitor display image data generation means uses the left tire to capture the actual camera image from the left side camera that images the front left side region of the vehicle that is the blind spot of the driver. a left body image portion including video, 2 Ru is divided into left around the image portions other than it. Real camera image from the right camera for imaging the front right side region of the vehicle as the blind spot of the driver, the right body image portion including the right tire image, divided into two other right around the video portion of the vehicle A point obtained by converting the driver viewpoint into line symmetry with the center axis of the vehicle as the axis of line symmetry is set as the passenger seat viewpoint. The left and right surrounding video parts divided into two are viewpoint-converted into converted images viewed from the driver's viewpoint. The left and right vehicle body image parts divided into two are subjected to viewpoint conversion into a translucent converted image viewed from the passenger seat viewpoint, and then the translucent converted image is mirror-converted into a translucent mirror image converted image. Then, the monitor display video data is generated by image composition in which the translucent mirror image conversion image viewed from the passenger seat viewpoint is superimposed on the conversion image viewed from the driver viewpoint .
In other words, since the tire image displayed on the external monitor is an image that represents the position and direction when viewing the actual tire from the driver's viewpoint, the discomfort given to the driver is eliminated, and the blind spot area from the driver's viewpoint is eliminated. Help intuitive space grasp. Furthermore, since the tire image displayed on the external monitor is a tire behavior linked to the steering angle, the traveling direction of the vehicle and the vehicle behavior can be easily grasped from the tire image.
As a result, by matching the behavior of the superimposed translucent tire image with the operation from the driver's viewpoint, not only does it feel uncomfortable, it helps to grasp the space intuitively, but also easily grasps the traveling direction and behavior of the vehicle. Can do.
以下、本発明の車両周辺監視システムを実現する最良の形態を、図面に示す実施例１および実施例２に基づいて説明する。 Hereinafter, the best mode for realizing a vehicle periphery monitoring system of the present invention will be described based on Example 1 and Example 2 shown in the drawings.
従来技術（特開2008-85691号公報）における最も特徴的な機能、即ち、半透明化した実写映像を垂直仮想スクリーンに投影して、外部カメラ映像を視点変換したものと合成表示する機能に対し、実際のタイヤの挙動が鏡像となるため、違和感を生じていた。本発明は、特徴的な機能を残しつつ違和感を解消しようとするものである。そして、違和感を解消する具体的な手法として、ここでは、２つの手法を提案する。 The most characteristic function in the prior art (Japanese Patent Laid-Open No. 2008-85691), that is, the function of projecting a semi-transparent live-action image onto a vertical virtual screen and compositing it with an external camera image converted from the viewpoint Since the actual behavior of the tire is a mirror image, there is a sense of incongruity. The present invention intends to eliminate a sense of incongruity while leaving a characteristic function. Then, here, two methods are proposed as specific methods for solving the sense of incongruity.
１つの手法は、システムを２系統持ち、左右両輪のタイヤを映した映像を用いて行うもの、即ち、右側実写映像を左タイヤの挙動として合成表現し、左側実写映像を右タイヤの挙動として合成表現する（実施例１：２系統左右交換表示）。 One method has two systems and uses images that show the tires of both the left and right wheels. That is, the right-hand shot video is synthesized as the behavior of the left tire, and the left-hand shot video is synthesized as the behavior of the right tire. (Example 1: Two systems left and right exchange display).
他の１つの手法は、タイヤをコンピュータ・グラフィックス（以下、「ＣＧ(Computer Graphicsの略)」という。）にて表現し、ハンドル切れ角にあわせてＣＧタイヤを可動させることで、現在の進行方向等を表現する（実施例２：ＣＧタイヤ表示）。 Another approach is to represent the tire in computer graphics (hereinafter referred to as “CG (Computer Graphics)”) and move the CG tire according to the steering angle. The direction and the like are expressed (Example 2: CG tire display).
上記いずれの手法を採用しても、タイヤの回転方向とハンドルの切れ角が、運転者の感覚と一致することになり、違和感を無くし、直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。 Regardless of which method is used, the direction of rotation of the tire and the turning angle of the steering wheel coincide with the driver's senses, eliminating the sense of incongruity and helping to grasp the space intuitively. The direction and behavior can be easily grasped.
まず、構成を説明する。
図１は、実施例１のサイドビューモニターシステムＡ１（車両周辺監視システムの一例）の全体システムを示すシステムブロック図である。
First, the configuration will be described.
FIG. 1 is a system block diagram illustrating an overall system of a side view monitor system A1 (an example of a vehicle periphery monitoring system) according to the first embodiment.
実施例１のサイドビューモニターシステムＡ１は、図１に示すように、左サイドカメラ１（死角カメラ）と、右サイドカメラ２（死角カメラ）と、画像処理コントローラ３（モニター表示映像データ生成手段）と、外部モニター４と、モニター表示映像切換スイッチ５と、を備えている。
As shown in FIG. 1, the side view monitor system A1 according to the first embodiment includes a left side camera 1 (dead angle camera), a right side camera 2 (dead angle camera), and an image processing controller 3 (monitor display video data generating means). And an
前記左サイドカメラ１は、左サイドミラーに設置され、運転者の死角となる車両の前部左側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。 The left side camera 1 is installed on a left side mirror and images a front left side region of the vehicle that is a blind spot of the driver. And real camera image data is acquired by an image sensor (CCD, CMOS, etc.).
前記右サイドカメラ２は、右サイドミラーに設置され、運転者の死角となる車両の前部右側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。 The right side camera 2 is installed in a right side mirror and images a front right side region of the vehicle that becomes a blind spot of the driver. And real camera image data is acquired by an image sensor (CCD, CMOS, etc.).
前記画像処理コントローラ３は、左サイドカメラ１と右サイドカメラ２から入力される実カメラ映像に基づき、モニター表示映像データを生成する。基本的には、カメラ映像に基づいて運転者視点へ視点変換する画像処理ブロックを２系統持つ形で構成されている。そして、左右両輪のタイヤを映した映像を用い、右側実写映像を左タイヤの挙動として合成表現し、左側実写映像を右タイヤの挙動として合成表現する。
The
前記外部モニター４は、液晶ディスプレイや有機ELディスプレイ等によるモニター画面を有し、運転者が視認できる車室内位置（例えば、インストルメンタルパネル位置）に設定される。この外部モニター４としては、サイドビューモニターシステムＡ１に専用の外部モニターを設定しても良い。また、死角解消カメラを用いたシステムに専用の外部モニターを設定しても良い。また、ナビゲーションシステム等、他のシステムの外部モニターを流用しても良い。
The
前記モニター表示映像切換スイッチ５は、外部モニター４に表示する映像を、左サイド映像とするか、右サイド映像とするか、左右合成映像とするかを、を切り換える手段である。モニター表示映像切換スイッチ５としては、例えば、外部モニター４の画面上に映像選択モードを表示し、画面タッチ方式で選択するようなスイッチが用いられる。
The monitor display video change-over
前記画像処理コントローラ３は、図１に示すように、デコーダー３１Ｌと、デコーダー３１Ｒと、画像メモリ３２Ｌと、画像メモリ３２Ｒと、左周囲映像部分画像変形部３３Ｌと、右周囲映像部分画像変形部３３Ｒと、左車体映像部分画像変形部３４Ｌと、右車体映像部分画像変形部３４Ｒと、左サイド画像合成部３５Ｌと、右サイド画像合成部３５Ｒと、左右画像合成部３５LRと、左サイド映像データ生成部３６Ｌと、右サイド映像データ生成部３６Ｒと、左右合成映像データ生成部３６LRと、ＣＰＵ３７と、画像合成用調整部３８と、を備えている。
As shown in FIG. 1, the
前記デコーダー３１Ｌは、左サイドカメラ１から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ３２Ｌに蓄える。
The
前記デコーダー３１Ｒは、右サイドカメラ２から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ３２Ｒに蓄える。
The
前記左周囲映像部分画像変形部３３Ｌは、画像メモリ３２Ｌからの実カメラ映像データを左周囲映像部分（左死角部分）と左車体映像部分に２分割し、このうち、左周囲映像部分を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点から見た画像に変形処理する。
The left surrounding video portion
前記右周囲映像部分画像変形部３３Ｒは、画像メモリ３２Ｒからの実カメラ映像データを右周囲映像部分（右死角部分）と右車体映像部分に２分割し、このうち、右周囲映像部分を仮想水平スクリーンへ投影し、それを視点変換処理により助手席視点から見た画像に変形処理する。
The right surrounding video portion
前記左車体映像部分画像変形部３４Ｌは、画像メモリ３２Ｌからの実カメラ映像データを左周囲映像部分と左車体映像部分（左タイヤを含む）に２分割し、このうち、左車体映像部分を仮想垂直スクリーンへ投影し、それを視点変換処理により運転者視点と助手席視点から見た画像に変形処理すると共に、半透明化して半透明左車体画像とする。
The left vehicle body video partial
前記右車体映像部分画像変形部３４Ｒは、画像メモリ３２Ｒからの実カメラ映像データを右周囲映像部分と右車体映像部分（右タイヤを含む）に２分割し、このうち、右車体映像部分を仮想垂直スクリーンへ投影し、それを視点変換処理により助手席視点と運転者視点から見た画像に変形処理すると共に、半透明化して半透明右車体画像とする。
The right vehicle body video partial
前記左サイド画像合成部３５Ｌは、左周囲映像部分画像変形部３３Ｌからの運転者視点による左周囲画像に、右車体映像部分画像変形部３４Ｒからの助手席視点による半透明右車体画像を重ね合わせる画像合成により左サイド画像を生成する。そして、この左サイド画像に基づき、エンコーダ機能を持つ左サイド映像データ生成部３６Ｌにおいて、運転者視点から半透明右車体画像（半透明車両画像と半透明タイヤ画像に相当）を透過して左周囲画像（死角画像に相当）を表現する左サイド映像データを生成する。
The left side
前記右サイド画像合成部３５Ｒは、右周囲映像部分画像変形部３３Ｒからの運転者視点による右周囲画像に、左車体映像部分画像変形部３４Ｌからの助手席視点による半透明左車体画像を重ね合わせる画像合成により右サイド画像を生成する。そして、この右サイド画像に基づき、エンコーダ機能を持つ右サイド映像データ生成部３６Ｒにおいて、運転者視点から半透明左車体画像（半透明車両画像と半透明タイヤ画像に相当）を透過して右周囲画像（死角画像に相当）を表現する右サイド映像データを生成する。
The right side
前記左右画像合成部３５LRは、左サイド画像合成部３５Ｌからの左サイド画像と、右サイド画像合成部３５Ｒからの右サイド画像を合成し、左右画像を生成する。そして、この左右画像に基づき、エンコーダ機能を持つ左右合成映像データ生成部３６LRにおいて、右サイド映像データと左サイド映像データを合成した左右合成映像データを生成する。
The left and right image combining unit 35LR combines the left side image from the left side
前記ＣＰＵ３７は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、視点変換や画像合成等の各種画像処理制御を行う制御プログラムが設定されている。
The
前記画像合成用調整部３８は、左サイド画像合成部３５Ｌ、右サイド画像合成部３５Ｒ、左右画像合成部３５LRの各々の出力画像に基づき、最終的に輝度・彩度・透明度等を調整し、外部モニター４へ出力する構成をとっている。
The image
次に、作用を説明する。
近年、全周囲モニターシステムの一環として、また、運転補助システム推進の一環として車両の多カメラ化は進んでおり、左側のみならず右側へのサイドカメラの設置は、特別のことでは無くなってきている。実施例１は、少なくとも左右のサイドカメラ１，２を設置した車両について、これを利用したものである。以下、実施例１のサイドビューモニターシステムＡ１における作用を、「カメラ映像分割作用」、「左サイドのモニター映像生成作用」、「右サイドのモニター映像生成作用」、「タイヤの厚み表現作用」に分けて説明する。
Next, the operation will be described.
In recent years, as a part of the all-around monitoring system and as part of the driving assistance system promotion, the number of vehicles has been increased, and the installation of side cameras not only on the left side but also on the right side is no longer special. . The first embodiment uses at least a vehicle in which the left and right side cameras 1 and 2 are installed. Hereinafter, the operations in the side view monitor system A1 according to the first embodiment will be referred to as “camera image division operation”, “left side monitor image generation operation”, “right side monitor image generation operation”, and “tire thickness expression operation”. Separately described.
［カメラ映像分割作用］
まず、タイヤ挙動の左右の区別を明らかにするために、図２に示すように、ハンドルを少し右に切っていることで、転舵輪である左右の前輪タイヤが、いずれも右に転舵角を持っている場合を想定する。
[Camera image segmentation]
First, in order to clarify the left-right distinction of the tire behavior, as shown in FIG. 2, the steering wheel is turned slightly to the right, so that the left and right front wheel tires that are steered wheels are turned to the right. Assume that you have
左右に設置されたサイドカメラ１，２に関して、各々の実カメラ映像を、車体映像部分と他の周囲映像部分に分割する。すなわち、図３(a)が左サイドカメラ映像であり、この左サイドカメラ映像を、図３(b)に示すように、左サイドカメラ１の車体部分が映り込んだ車体映像部分を車両画像L1とし、その他の車両左側の死角となる周囲映像部分を周囲画像L2とし、映像のブロック分けをする。また、図３(c)が右サイドカメラ映像であり、この右サイドカメラ映像を、図３(d)に示すように、右サイドカメラ２の車体部分が映り込んだ車体映像部分を車両画像R1とし、その他の車両右側の死角となる周囲映像部分を周囲画像R2とし、映像のブロック分けをする。 With respect to the side cameras 1 and 2 installed on the left and right, each real camera image is divided into a vehicle body image portion and other surrounding image portions. That is, FIG. 3 (a) is a left side camera image, and as shown in FIG. 3 (b), the left side camera image is a vehicle image portion in which the vehicle body portion of the left side camera 1 is reflected. Then, the surrounding video portion that becomes the blind spot on the left side of the other vehicle is set as the surrounding image L2, and the video is divided into blocks. FIG. 3 (c) is a right side camera image, and as shown in FIG. 3 (d), the right side camera image is a vehicle image portion in which the vehicle body portion of the right side camera 2 is reflected. The other peripheral video portion that is the blind spot on the right side of the vehicle is set as the peripheral image R2, and the video is divided into blocks.
この映像のブロック分けにより、車両画像L1には、左側車体の実映像と共に左タイヤの実映像が含まれ、車両画像R1には、右側車体の実映像と共に右タイヤの実映像が含まれる。 By dividing the video into blocks, the vehicle image L1 includes the actual image of the left tire along with the actual image of the left vehicle body, and the vehicle image R1 includes the actual image of the right tire along with the actual image of the right vehicle body.
［左サイドのモニター映像生成作用］
左サイドのモニター映像を作成する手順を以下に説明する。
左サイドカメラ１の映像を用いた視点変換映像は、図２に示すＡ位置（運転者視点）から見た変換映像として構成するものとする。これによって、図４(a)に示す周囲画像L2を仮想視点である運転者視点Ａから見ると、図４(b)に示す変換画像Ma2となる。また、図５(a)に示す車両画像L1を仮想視点である運転者視点Ａから見ると共に半透明化すると、図５(b)に示す半透明変換画像Ma1となる。
[Left side monitor image generation]
The procedure for creating the monitor image on the left side will be described below.
The viewpoint conversion video using the video of the left side camera 1 is assumed to be configured as a conversion video viewed from the position A (driver viewpoint) shown in FIG. Thus, when the surrounding image L2 shown in FIG. 4 (a) is viewed from the driver viewpoint A, which is a virtual viewpoint, a converted image Ma2 shown in FIG. 4 (b) is obtained. Further, when the vehicle image L1 shown in FIG. 5A is viewed from the driver viewpoint A, which is a virtual viewpoint, and becomes translucent, a translucent converted image Ma1 shown in FIG. 5B is obtained.
また、右サイドカメラ２の映像を用いた視点変換映像は、車両の中心軸を線対称の軸としてＡ位置を変換した図２に示すＢ位置（助手席視点）から見た変換映像として構成するものとする。これによって、図６(a)に示す周囲画像R2を仮想視点である助手席視点Ｂから見ると、図６(b)に示す変換画像Gb2となる。また、図７(a)に示す車両画像R1を仮想視点である助手席視点Ｂから見ると共に半透明化すると、図７(b)に示す半透明変換画像Gb1となり、この半透明変換画像Gb1を鏡像変換すると、図７(c)に示す半透明鏡像変換画像Gb3となる。 Moreover, the viewpoint conversion image using the image of the right side camera 2 is configured as a conversion image viewed from the B position (passenger seat viewpoint) shown in FIG. 2 in which the A position is converted with the central axis of the vehicle as the axis of line symmetry. Shall. Thus, when the surrounding image R2 shown in FIG. 6A is viewed from the passenger seat viewpoint B, which is a virtual viewpoint, a converted image Gb2 shown in FIG. 6B is obtained. Further, when the vehicle image R1 shown in FIG. 7 (a) is viewed from the passenger seat viewpoint B, which is a virtual viewpoint, and becomes translucent, the translucent converted image Gb1 shown in FIG. 7 (b) is obtained. When mirror image conversion is performed, a translucent mirror image conversion image Gb3 shown in FIG. 7C is obtained.
従来の手法では、半透明変換画像Ma1と変換画像Ma2の映像を、半透明変換画像Ma1の透過率を調整するαブレンドにより、半透明変換画像Ma1を透過して変換画像Ma2の映像を見る構成としていた。しかし、ここでは、変換画像Ma2の左サイド死角映像と、半透明変換画像Gb1の右側車体映像を用いる。半透明変換画像Gb1は、形状・大きさがほぼ半透明変換画像Ma1の鏡像と同一である。但し、ハンドルによるタイヤの切れ角の動作のみが逆の動作となる。 In the conventional method, the translucent conversion image Ma1 and the conversion image Ma2 are viewed through the translucent conversion image Ma1 through alpha blending that adjusts the transmittance of the translucent conversion image Ma1. I was trying. However, here, the left-side blind spot image of the converted image Ma2 and the right-side vehicle body image of the translucent converted image Gb1 are used. The translucent converted image Gb1 has substantially the same shape and size as the mirror image of the translucent converted image Ma1. However, only the operation of the tire turning angle by the steering wheel is the reverse operation.
そして、半透明変換画像Gb1に対し再度左右鏡像変換を行い、半透明鏡像変換画像Gb3を形成する。この半透明鏡像変換画像Gb3は、結果的にハンドル動作によるタイヤの挙動以外は、半透明変換画像Ma1とほぼ同一の映像であり、置き換えが可能となる。 Then, the left-right mirror image conversion is performed again on the translucent converted image Gb1 to form a translucent mirror image converted image Gb3. As a result, the translucent mirror image conversion image Gb3 is substantially the same image as the translucent conversion image Ma1 except for the behavior of the tire by the steering operation, and can be replaced.
次に、図８に示すように、変換画像Ma2（図８(a)）に対し、半透明鏡像変換画像Gb3を重畳表示することで、ハンドルを右に切れば、タイヤも右に動くような、ハンドルの切れ角と感覚的に一致するタイヤ挙動を行うスーパーインポーズ画面（図８(c)）が完成する。 Next, as shown in FIG. 8, by displaying the translucent mirror image conversion image Gb3 superimposed on the conversion image Ma2 (FIG. 8 (a)), the tire moves to the right if the steering wheel is turned to the right. The superimpose screen (FIG. 8 (c)) that completes tire behavior that sensibly matches the steering angle of the steering wheel is completed.
［右サイドのモニター映像生成作用］
右サイドのモニター映像を作成する手順を以下に説明する。
右サイドカメラ２の映像を用いた視点変換映像は、図２に示すＡ位置（運転者視点）から見た変換映像として構成するものとする。これによって、図９(a)に示す周囲画像R2を仮想視点である運転者視点Ａから見ると、図９(b)に示す変換画像Ga2となる。また、図１０(a)に示す車両画像R1を仮想視点である運転者視点Ａから見ると共に半透明化すると、図１０(b)に示す半透明変換画像Ga1となる。
[Right side monitor image generation]
The procedure for creating the monitor image on the right side will be described below.
The viewpoint conversion video using the video of the right side camera 2 is assumed to be configured as a conversion video viewed from the position A (driver viewpoint) shown in FIG. Thus, when the surrounding image R2 shown in FIG. 9A is viewed from the driver viewpoint A, which is a virtual viewpoint, a converted image Ga2 shown in FIG. 9B is obtained. Further, when the vehicle image R1 shown in FIG. 10A is viewed from the driver viewpoint A, which is a virtual viewpoint, and becomes translucent, a translucent converted image Ga1 shown in FIG. 10B is obtained.
また、左サイドカメラ１の映像を用いた視点変換映像は、車両の中心軸を線対称の軸としてＡ位置を変換した図２に示すＢ位置（助手席視点）から見た変換映像として構成するものとする。これによって、図１１(a)に示す周囲画像L2を仮想視点である助手席視点Ｂから見ると、図１１(b)に示す変換画像Mb2となる。また、図１２(a)に示す車両画像L1を仮想視点である助手席視点Ｂから見ると共に半透明化すると、図１２(b)に示す半透明変換画像Mb1となり、この半透明変換画像Mb1を鏡像変換すると、図１２(c)に示す半透明鏡像変換画像Mb3となる。 Further, the viewpoint conversion image using the image of the left side camera 1 is configured as a conversion image viewed from the B position (passenger seat viewpoint) shown in FIG. 2 in which the A position is converted with the vehicle's central axis as the axis of line symmetry. Shall. Thus, when the surrounding image L2 shown in FIG. 11A is viewed from the passenger seat viewpoint B, which is a virtual viewpoint, a converted image Mb2 shown in FIG. 11B is obtained. Further, when the vehicle image L1 shown in FIG. 12 (a) is viewed from the passenger seat viewpoint B, which is a virtual viewpoint, and becomes translucent, the translucent converted image Mb1 shown in FIG. 12 (b) is obtained. When mirror image conversion is performed, a translucent mirror image conversion image Mb3 shown in FIG.
ここでは、変換画像Ga2の右サイド死角映像と、半透明変換画像Mb1の左側車体映像を用いる。半透明変換画像Mb1は、形状・大きさがほぼ半透明変換画像Ga1の鏡像と同一である。但し、ハンドルによるタイヤの切れ角の動作のみが逆の動作となる。 Here, the right side blind spot image of the converted image Ga2 and the left body image of the translucent converted image Mb1 are used. The translucent converted image Mb1 has substantially the same shape and size as the mirror image of the translucent converted image Ga1. However, only the operation of the tire turning angle by the steering wheel is the reverse operation.
そして、半透明変換画像Mb1に対し再度左右鏡像変換を行い、半透明鏡像変換画像Mb3を形成する。この半透明鏡像変換画像Mb3は、結果的にハンドル動作によるタイヤの挙動以外は、半透明変換画像Ga1とほぼ同一の映像であり、置き換えが可能となる。 Then, the left-right mirror image conversion is performed again on the translucent converted image Mb1 to form a translucent mirror image converted image Mb3. As a result, the translucent mirror image converted image Mb3 is substantially the same image as the translucent converted image Ga1 except for the behavior of the tire by the steering operation, and can be replaced.
次に、図１３に示すように、変換画像Ga2（図１３(a)）に対し、半透明鏡像変換画像Mb3を重畳表示することで、ハンドルを右に切れば、タイヤも右に動くような、ハンドルの切れ角と感覚的に一致するタイヤ挙動を行うスーパーインポーズ画面（図１３(c)）が完成する。 Next, as shown in FIG. 13, by displaying the translucent mirror image conversion image Mb3 superimposed on the conversion image Ga2 (FIG. 13 (a)), the tire moves to the right if the steering wheel is turned to the right. The superimpose screen (FIG. 13 (c)) that completes tire behavior that sensibly matches the steering angle of the steering wheel is completed.
［タイヤの厚み表現作用］
上記のようにして形成された映像は、両サイドカメラ１，２に映る表側、即ち車体表面の映像を基にしているため、厚み０（ゼロ）の薄い鋼板のみで形成された車両、又はワイヤーフレームで形成された車両を内側から透過して見ているような映像となる。
[Tire thickness expression]
Since the image formed as described above is based on the image on the front side, that is, the surface of the vehicle body, which is reflected in the two side cameras 1 and 2, the vehicle or the wire formed only with a thin steel plate having a thickness of 0 (zero). The image looks as if the vehicle formed of a frame is seen through from the inside.
そのため、図１４に示すように、タイヤ自身の厚みが消失し、切れ角表現時の感覚と映像との間に違和感を生じる場合もある。つまり、タイヤを含めサイドカメラに映り込む実映像を用いる場合、半透過映像となる車体映像が平面的になりタイヤ自身も平面化されるため、ハンドルを切る際や、障害物を避ける際のタイヤの動きに厚みが無く、違和感を生じていた。 Therefore, as shown in FIG. 14, the thickness of the tire itself disappears, and there may be a sense of incongruity between the feeling when expressing the cutting angle and the image. In other words, when using the actual image reflected on the side camera including the tire, the vehicle image that becomes a semi-transparent image is flat and the tire itself is also flattened, so when turning the steering wheel or avoiding obstacles There was no thickness in the movement of, and it was uncomfortable.
これに対し、対応例１では、図１５に示すように、スーパーインポーズするタイヤを含めた映像を、内側（図１５の場合は右側）へタイヤの厚み分だけずらして表示する。この場合、タイヤの輪郭線は、運転者視点での実タイヤの内側輪郭線とほぼ一致するものとなり、タイヤの厚み感を出すことができる。 On the other hand, in correspondence example 1, as shown in FIG. 15, an image including a tire to be superimposed is displayed by being shifted inward (right side in the case of FIG. 15) by the thickness of the tire. In this case, the tire contour line substantially coincides with the inner contour line of the actual tire from the viewpoint of the driver, and a tire thickness feeling can be obtained.
対応例２では、別な手法として、上記のように、スーパーインポーズ画面全体をずらすのでは無く、図１６に示すように、タイヤを含む特定部分のみの映像を一部コピーし、タイヤの厚み分を考慮した形で再度スーパーインポーズすることで、本来立体であるタイヤを表現する。この場合、タイヤの内側輪郭線と外側輪郭線が表現され、図１５の場合より一層、タイヤの厚み感を出すことができる。 In the correspondence example 2, as another method, as shown above, instead of shifting the entire superimposition screen, as shown in FIG. 16, a video of only a specific part including the tire is copied, and the tire thickness is By superimposing again in consideration of the minutes, the tires that are originally three-dimensional are represented. In this case, the inner contour line and the outer contour line of the tire are expressed, and the tire thickness can be further increased than in the case of FIG.
このタイヤ部分を再重畳する際に、タイヤ部分の透過率を調整し、タイヤを他の死角映像よりもハッキリさせて視認性を高める。例えば、図１７に示すように、車体外側部分を100％透過率とし、車体部分を75％透過率とし、タイヤ外側輪郭線を50％透過率とし、タイヤ内側輪郭線を25％透過率とすると、タイヤ部分を他の死角映像よりもハッキリさせることができる。なお、透過率のみに限らず、彩度等と共に透過率を変化させて重畳すれば、より路肩側溝の脱輪防止などに対し視認性が高く安全なシステムを構築することが可能である。 When the tire portion is re-superimposed, the transmittance of the tire portion is adjusted, and the visibility of the tire is improved by making the tire clearer than other blind spots. For example, as shown in FIG. 17, when the vehicle body outer portion is 100% transmittance, the vehicle body portion is 75% transmittance, the tire outer contour line is 50% transmittance, and the tire inner contour line is 25% transmittance. The tire part can be made clearer than other blind spots. Note that not only the transmittance but also the transmittance is changed together with the saturation and the like, and it is possible to construct a highly visible and safe system for preventing the roadside groove from being removed.
次に、効果を説明する。
実施例１のサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。
Next, the effect will be described.
In the side view monitor system A1 of the first embodiment, the effects listed below can be obtained.
(1) 運転者の死角領域を撮像する死角カメラ（左サイドカメラ１，右サイドカメラ２）と、運転者が視認できる車室内位置に設定した外部モニター４と、前記死角カメラ（左サイドカメラ１，右サイドカメラ２）から入力される実カメラ映像に基づき、モニター表示映像データを生成するモニター表示映像データ生成手段（画像処理コントローラ３）と、を備えた車両周辺監視システム（サイドビューモニターシステムＡ１）において、前記モニター表示映像データ生成手段（画像処理コントローラ３）は、死角領域を映した前記死角カメラ（左サイドカメラ１，右サイドカメラ２）からの実カメラ映像を運転者視点から見た映像へ変換して死角画像を生成し、この死角画像に、運転者視点から見た車両を半透明化した半透明車両画像と、運転者視点から見てハンドル操作に追従する挙動を表示するタイヤを半透明化した半透明タイヤ画像と、を重ね合わせる画像合成により、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するモニター表示映像データを生成する。このため、重畳する半透明タイヤ画像の挙動を運転者視点からの動作に合わせることで、違和感を無くして直感的な空間把握を助けるばかりでなく、車両の進行方向や挙動を簡単に把握することができる。以下、具体的な効果を述べる。
・タイヤの挙動が、実際のハンドル操作や車両の動きに合っているため、違和感を生じ難く、死角解消のための映像が、直感的に把握しやすい。
・タイヤの動き、特に切れ角がわかるため、今後の車両の進行方向など、障害物の回避状況などの把握が容易である。
・タイヤの位置・大きさが、車体の大きさ含めた車体形状把握のための指標となるので、人を含めた死角障害物の大きさ・形状把握が容易になる。
(1) A blind spot camera (left side camera 1, right side camera 2) that captures a driver's blind spot area, an
・ Because the behavior of the tires matches the actual steering wheel operation and the movement of the vehicle, it is difficult to create a sense of incongruity, and it is easy to intuitively grasp the image for eliminating the blind spots.
-Since the movement of the tires, especially the turning angle, can be understood, it is easy to grasp the obstacle avoidance situation, such as the future direction of the vehicle.
-Since the position and size of the tire serves as an index for grasping the shape of the vehicle body including the size of the vehicle body, it is easy to grasp the size and shape of blind spot obstacles including people.
(2) 前記死角カメラは、運転者の死角となる車両の前部左側方領域を撮像する左サイドカメラ１と、運転者の死角となる車両の前部右側方領域を撮像する右サイドカメラ２であり、前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記左サイドカメラ１からの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラ２からの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、左右の車体映像部分を交換し、左右交換による車体映像部分と周囲映像部分を組み合わせ、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現する。このため、多カメラ化が進んでいる車両において、左右のサイドカメラ１，２を利用し、タイヤの挙動が、実際のハンドル操作や車両の動きに合う半透明タイヤ画像を表現することができる。 (2) The blind spot camera includes a left side camera 1 that images a front left side area of a vehicle that becomes a driver's blind spot, and a right side camera 2 that images a front right side area of the vehicle that becomes a driver's blind spot. And the monitor display video data generation means (image processing controller 3) outputs the actual camera video from the left side camera 1 to the left body video part including the left tire video and the other left surrounding video part. Divide and divide the actual camera image from the right side camera 2 into a right body image portion including the right tire image and a right surrounding image portion other than that, and exchange the left and right body image portions. The vehicle image part and the surrounding image part are combined to express a translucent tire image by the behavior in which the turning angle / rotation direction follows the steering wheel operation from the viewpoint of the driver. For this reason, in a vehicle in which the number of cameras is increasing, the left and right side cameras 1 and 2 can be used to express a translucent tire image in which the behavior of the tire matches the actual steering operation and the movement of the vehicle.
(3) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、車両の中心軸を線対称軸として運転者視点Ａを線対称に変換した点を助手席視点Ｂとして設定し、左右一方の周囲映像部分（周囲画像L2,R2）を運転者視点Ａから見た変換画像Ma2,Ga2に視点変換し、左右他方の車体映像部分（車両画像R1,L1）を助手席視点Ｂから見た半透明変換画像Gb1,Mb1に視点変換した後、半透明変換画像Gb1,Mb1を半透明鏡像変換画像Gb3,Mb3に鏡像変換し、前記変換画像Ma2,Ga2に前記半透明鏡像変換画像Gb3,Mb3を重畳する画像合成により、左右一方のモニター表示映像データを生成する。このため、左右交換による車体映像部分を表現する際に生じる視差が、車体映像部分の仮想視点として助手席視点Ｂを設定することにより解消され、運転者視点Ａから見た周囲映像部分への合成時、あたかも運転者視点Ａから見たのと変わらない車体映像部分を表現することができる。 (3) The monitor display video data generation means (image processing controller 3) sets the point where the driver viewpoint A is converted into line symmetry with the central axis of the vehicle as the line symmetry axis as the passenger seat viewpoint B, and Transform the surrounding video part (surrounding image L2, R2) into the converted image Ma2, Ga2 seen from the driver viewpoint A, and the half of the left and right body image part (vehicle image R1, L1) seen from the passenger seat viewpoint B After the viewpoint conversion to the transparent converted image Gb1, Mb1, the translucent converted image Gb1, Mb1 is mirror-converted to the translucent mirror image converted image Gb3, Mb3, and the translucent mirror image converted image Gb3, Mb3 is converted to the converted image Ma2, Ga2. The left and right monitor display video data are generated by superimposing the superimposed images. For this reason, the parallax that occurs when expressing the body image portion by left-right exchange is eliminated by setting the passenger seat viewpoint B as the virtual viewpoint of the body image portion, and the synthesis to the surrounding image portion viewed from the driver viewpoint A At this time, it is possible to express the body image portion that is the same as if viewed from the driver viewpoint A.
(4) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記変換画像Ma2,Ga2に重畳する前記半透明鏡像変換画像Gb3,Mb3を、実タイヤ幅を考慮して平行移動させることにより、半透明タイヤ画像にタイヤ厚みを表現した。このため、タイヤの厚みが無く平面化されている場合、ハンドルを切る際や障害物を避ける際のタイヤの動きに違和感が生じるが、簡単な画像処理によりタイヤ厚みを表現することで、映し出されたタイヤの動きに違和感が生じるのを防止できる。 (4) The monitor display video data generation means (image processing controller 3) translates the translucent mirror image conversion images Gb3 and Mb3 superimposed on the conversion images Ma2 and Ga2 in consideration of the actual tire width. The tire thickness was expressed in the translucent tire image. For this reason, when there is no tire thickness and it is flattened, there is a sense of incongruity in the movement of the tire when turning the steering wheel or avoiding an obstacle, but it is reflected by expressing the tire thickness by simple image processing It is possible to prevent an uncomfortable feeling in the movement of the tire.
(5) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記変換画像Ma2,Ga2に重畳する前記半透明鏡像変換画像Gb3,Mb3のうち、タイヤを含む特定部分の映像を一部コピーし、実タイヤ幅を考慮してコピー部分を平行移動し、再度、平行移動したコピー部分を重畳することにより、半透明タイヤ画像にタイヤ厚みを表現した。このため、タイヤの厚みが無く平面化されている場合、ハンドルを切る際や障害物を避ける際のタイヤの動きに違和感が生じるが、実タイヤに近似するタイヤ厚みを表現することで、映し出されたタイヤの動きを実タイヤの動きに近いものとすることができる。 (5) The monitor display video data generation means (image processing controller 3) partially copies the video of a specific part including the tire in the translucent mirror image conversion images Gb3 and Mb3 to be superimposed on the conversion images Ma2 and Ga2. Then, the copy portion was translated in consideration of the actual tire width, and the copied copy portion was superimposed again to express the tire thickness in the translucent tire image. For this reason, when there is no tire thickness and it is flattened, there is a sense of incongruity in the movement of the tire when turning the steering wheel or avoiding an obstacle, but it is reflected by expressing the tire thickness approximate to the actual tire The tire movement can be close to that of the actual tire.
(6) 前記モニター表示映像データ生成手段（画像処理コントローラ３）は、前記半透明タイヤ画像の透過率や色相や彩度や明度のうち、少なくとも一つの画像表現要素について、他の画像部分に対する識別性を高めるように調整した。このため、タイヤの挙動情報を、他の映像情報に対して高い識別性を持ってモニター表示することができる。 (6) The monitor display video data generation means (image processing controller 3) identifies at least one image expression element of the translucent tire image with respect to other image portions among the transmittance, hue, saturation, and brightness. Adjusted to enhance the sex. For this reason, tire behavior information can be displayed on a monitor with high discrimination with respect to other video information.
実施例２は、タイヤをＣＧにて表現し、ハンドル切れ角にあわせて重畳するＣＧタイヤを可動させるようにした例である。 Example 2 is an example in which the tire is expressed in CG, and the CG tire that is superimposed according to the steering angle is moved.
実施例１で述べたタイヤの位置やその傾きの表示は、出力されている周囲映像に対し、車体形状と外部障害物との位置関係、進行方向の情報などを与えてくれており、咄嗟の判断を行うことが多い運転操作の安全性向上に大変役立つものである。 The display of the position and inclination of the tire described in Example 1 gives information on the positional relationship between the vehicle body shape and external obstacles, the direction of travel, etc. to the surrounding image being output. This is very useful for improving the safety of driving operations that often make decisions.
しかしながら、本出願人が先に提案している特願2008-039395号に述べられているような、周囲画像に半透明車室内画像を重畳するシステムの場合や、左右一方のみにしかカメラが存在しない場合、また、カメラの取り付け角度や位置の関係で、タイヤ映像を含めた車体映像が取得しえない場合、何らかの手段でハンドルの舵角情報を表示する必要があった。実施例２は、その点に鑑み提案されたものである。 However, as described in Japanese Patent Application No. 2008-039395 previously proposed by the present applicant, in the case of a system that superimposes a semi-transparent vehicle interior image on the surrounding image, there are cameras only on the left and right sides. In the case where the vehicle body image including the tire image cannot be acquired due to the mounting angle and position of the camera, it is necessary to display the steering angle information of the steering wheel by some means. The second embodiment has been proposed in view of this point.
まず、構成を説明する。
図１８は、実施例２のサイドビューモニターシステムＡ２（車両周辺監視システムの一例）の全体システムを示すシステムブロック図である。
First, the configuration will be described.
FIG. 18 is a system block diagram illustrating an overall system of a side view monitor system A2 (an example of a vehicle periphery monitoring system) according to the second embodiment.
実施例２のサイドビューモニターシステムＡ２は、図１８に示すように、左サイドカメラ１（死角カメラ）と、外部モニター４と、画像処理コントローラ６（モニター表示映像データ生成手段）と、外部センサー７と、を備えている。
As shown in FIG. 18, the side view monitor system A2 according to the second embodiment includes a left side camera 1 (dead angle camera), an
前記左サイドカメラ１は、左サイドミラーに設置され、運転者の死角となる車両の前部左側方領域を撮像する。そして、撮像素子（CCD,CMOS等）により、実カメラ映像データを取得する。 The left side camera 1 is installed on a left side mirror and images a front left side region of the vehicle that is a blind spot of the driver. And real camera image data is acquired by an image sensor (CCD, CMOS, etc.).
前記外部モニター４は、液晶ディスプレイや有機ELディスプレイ等によるモニター画面を有し、運転者が視認できる車室内位置（例えば、インストルメンタルパネル位置）に設定される。
The
前記画像処理コントローラ６は、左サイドカメラ１から入力される実カメラ映像に基づき、モニター表示映像データを生成する。基本的には、カメラ映像に基づいて運転者視点へ視点変換する画像処理ブロックを１系統持つ形で構成されている。そして、運転者視点へ視点変換された周囲画像（死角画像）に、予め運転者視点から撮影された半透明車室内画像（半透明車両画像）と、舵角情報に連動する半透明ＣＧタイヤ画像Ｔ（半透明タイヤ画像）を重畳する。
The
前記外部センサー７は、様々な外部情報をもたらすセンサーであり、この外部センサー７として、舵角センサー７ａ（舵角検出手段）、速度センサー７ｂ、イルミネーションランプスイッチ７ｃ（外部環境検出手段）、ソナーセンサー７ｄ（障害物検出手段）等を有している。
The
前記画像処理コントローラ６は、図１７に示すように、デコーダー６１と、画像メモリ６２と、周囲画像変形部６３と、車室内画像形成部６４と、ＣＧタイヤ画像作成部６５と、ＣＰＵ６６と、メモリ６７と、画像合成部６８と、エンコーダ６９と、を備えている。
As shown in FIG. 17, the
前記デコーダー６１は、左サイドカメラ１から入力された実カメラ映像をアナログ／デジタル変換し、画像メモリ６２に蓄える。
The
前記周囲画像変形部６３は、画像メモリ６２からのカメラ画像データを車体画像と周囲画像（死角画像）に２分割し、このうち、周囲画像を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点Ａから見た画像に変形処理する。
The surrounding
前記車室内画像形成部６４は、画像合成時、予め運転者視点で撮影された車室内画像データを読み込み、車室内画像データの透過率を調整して半透明車室内画像を形成する。
The vehicle interior
前記ＣＧタイヤ画像作成部６５は、画像合成時、複数のＣＧタイヤ画像データから舵角情報に基づき最も近いＣＧタイヤ画像データを読み込み、変形処理により舵角情報に対応する半透明ＣＧタイヤ画像Ｔを作成する。
The CG tire
前記ＣＰＵ６６は、画像処理に関する全ての情報処理と制御出力を管理する中央演算処理回路であり、視点変換や画像合成等の各種画像処理制御を行う制御プログラムが設定されている。
The
前記メモリ６７は、予め運転者視点で撮影された車室内画像データや、複数のＣＧタイヤ画像データ等を保存記憶しておき、ＣＰＵ６６から指令によりデータ読み出しがなされる。
The
前記画像合成部６８は、周囲画像変形部６３からの周囲画像に、車室内画像形成部６４からの半透明車室内画像と、ＣＧタイヤ画像作成部６５からの半透明ＣＧタイヤ画像Ｔを重畳して合成し、最終的に輝度・色相・彩度・透明度等を調整し、エンコーダ６９へ合成画像データを出力する構成をとっている。
The
前記エンコーダ６９は、画像合成部６８からの合成画像データを、デジタル／アナログ変換し、外部モニター４に表示する映像データを生成する。
The
図１９は、実施例２のサイドビューモニターシステムＡ２の画像処理コントローラ６にて実行される画像合成処理の流れを示すフローチャートである。以下、図１９の各ステップについて説明する。
FIG. 19 is a flowchart illustrating a flow of image composition processing executed by the
ステップＳ181では、左サイドカメラ１から実カメラ映像データが取り込まれ、ステップＳ182へ移行する。 In step S181, actual camera video data is taken from the left side camera 1, and the process proceeds to step S182.
ステップＳ182では、ステップＳ181での左サイドカメラ映像データの取り込みに続き、左サイドカメラ１からのカメラ画像データを、車体画像データと周囲画像データに２分割し、ステップＳ183へ移行する。 In step S182, following the capture of the left side camera video data in step S181, the camera image data from the left side camera 1 is divided into vehicle body image data and surrounding image data, and the process proceeds to step S183.
ステップＳ183では、ステップＳ182での車体／周囲画像分割に続き、周囲画像を仮想水平スクリーンへ投影し、それを視点変換処理により運転者視点から見た画像に変形処理し、ステップＳ183へ移行する。 In step S183, following the vehicle body / peripheral image division in step S182, the surrounding image is projected onto a virtual horizontal screen, which is transformed into an image viewed from the driver's viewpoint by viewpoint conversion processing, and the process proceeds to step S183.
ステップＳ184では、ステップＳ183での周囲画像の変形に続き、予め運転者視点で撮影された車室内画像データを読み込み、車室内画像データの透過率を調整して半透明車室内画像を形成し、ステップＳ185へ移行する。 In step S184, following the deformation of the surrounding image in step S183, the vehicle interior image data previously captured from the driver's viewpoint is read, and the translucency of the vehicle interior image data is adjusted to form a translucent vehicle interior image. The process proceeds to step S185.
ステップＳ185では、ステップＳ184での車室内画像の形成に続き、舵角センサー７ａからから舵角情報を読み込み、ステップＳ186へ移行する。
In step S185, following the formation of the vehicle interior image in step S184, the steering angle information is read from the
ステップＳ186では、ステップＳ185での舵角情報の読み込みに続き、複数のＣＧタイヤ画像データから舵角情報に基づき、最も近いＣＧタイヤ画像データを読み込み、変形処理により舵角情報に対応する半透明ＣＧタイヤ画像Ｔを作成し、ステップＳ187へ移行する。
ここで、複数のＣＧタイヤ画像データＤとしては、例えば、図２０に示すように、舵角を異ならせて設定した実タイヤをモデルとし、これを見たままの立体形状に描いた複数のＣＧタイヤ画像T1,T2,T3,T4,T5が保存されている。
In step S186, following the reading of the steering angle information in step S185, the nearest CG tire image data is read from a plurality of CG tire image data based on the steering angle information, and the translucent CG corresponding to the steering angle information by the deformation process is read. A tire image T is created, and the process proceeds to step S187.
Here, as the plurality of CG tire image data D, for example, as shown in FIG. 20, an actual tire set with different steering angles is used as a model, and a plurality of CG tire images drawn in a three-dimensional shape as seen. Tire images T1, T2, T3, T4, and T5 are stored.
ステップＳ187では、ステップＳ186での半透明ＣＧタイヤ画像Ｔの作成に続き、ステップＳ183にて取得された周囲画像に、ステップＳ184にて取得された半透明車室内画像と、ステップＳ186にて取得された半透明ＣＧタイヤ画像Ｔを重畳して合成し、エンドへ移行する。 In step S187, following the creation of the translucent CG tire image T in step S186, the surrounding image acquired in step S183 is added to the translucent vehicle interior image acquired in step S184 and acquired in step S186. The semi-transparent CG tire images T are superimposed and combined, and the process proceeds to the end.
次に、作用を説明する。
本出願人は、特願2008-039395号において、仮想水平スクリーンへ投影し、それを運転者視点から見た映像へ変換した周囲映像部分のみを使用し、この周囲映像部分へ重畳する半透明映像として、車室内静止画を用いることで、あたかも車室内から外を見透かすかのような映像を実現するものを提案している。
Next, the operation will be described.
In the Japanese Patent Application No. 2008-039395, the present applicant uses only the surrounding video portion that is projected onto the virtual horizontal screen and converted into the video viewed from the driver's viewpoint, and is superimposed on this surrounding video portion. As a proposal, the use of a still image in the vehicle interior realizes an image that looks as if the outside is visible from the vehicle interior.
しかしながら、上記提案においては、車室内静止画に基づいて半透明画像を重畳するため、ハンドル操作によるタイヤの挙動情報を表示できず、その点で不十分であった。そこで、実施例２では、タイヤの映像をＣＧにて置き換え、半透明車室内画像のスーパーインポーズと共に重畳表示し、ハンドルの切れ角を取得した後、そのデータに基づきＣＧタイヤ画像を変化させて表示することにより、直感的な空間把握を助ける手法を提案する。 However, in the above proposal, since the translucent image is superimposed based on the still image in the vehicle interior, the tire behavior information by the steering wheel operation cannot be displayed, which is insufficient in that respect. Therefore, in the second embodiment, the tire image is replaced with CG, superimposed and displayed together with the superimposition of the translucent vehicle interior image, the steering angle of the steering wheel is obtained, and the CG tire image is changed based on the data. We propose a technique to help intuitive space grasp by displaying.
まず、運転者視点から見た映像へ変換した周囲画像に、半透明車室内画像をスーパーインポーズすると、図２１に示すようなモニター映像を得ることができる。これにより、あたかも車室内から、死角となる車室外を見透かすかのようなモニター映像が実現され、直感的な空間把握を助ける。 First, when a semi-transparent vehicle interior image is superimposed on a surrounding image converted into a video viewed from the driver's viewpoint, a monitor video as shown in FIG. 21 can be obtained. As a result, a monitor image as if looking through the inside of the passenger compartment, which is a blind spot, is realized from inside the vehicle interior, which helps intuitive space grasp.
これに加え、実施例２では、ハンドルの舵角情報を舵角センサー７ａよりＣＰＵ６６へ入力し、その情報より得られた舵角に適合する半透明ＣＧタイヤ画像Ｔを、ＣＧタイヤ画像作成部６５にて作成する。この半透明ＣＧタイヤ画像Ｔは、周囲画像や車室内画像と同様に、視点変換処理を施され、運転者の視点から見たような変形を予め行われているものとする。そして、周囲画像に対し、半透明車室内画像をスーパーインポーズすると共に、本来タイヤのあるべき位置に半透明化した半透明ＣＧタイヤ画像Ｔをスーパーインポーズする。
In addition to this, in the second embodiment, steering angle information of the steering wheel is input to the
したがって、車両が直進走行状態（タイヤ切れ角＝０°）のときには、図２２に示すように、車両前後方向に向いた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。また、車両が右旋回状態（タイヤ右切り）のときには、図２３に示すように、右方向に切られた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。また、車両が左旋回状態（タイヤ左切り）のときには、図２４に示すように、左方向に切られた半透明ＣＧタイヤ画像Ｔがスーパーインポーズされる。 Therefore, when the vehicle is traveling straight (tire cut angle = 0 °), as shown in FIG. 22, a translucent CG tire image T facing in the vehicle front-rear direction is superimposed. Further, when the vehicle is in a right turn state (tire cut right), as shown in FIG. 23, the translucent CG tire image T cut in the right direction is superimposed. Further, when the vehicle is in a left turn state (tire left turn), as shown in FIG. 24, the translucent CG tire image T cut leftward is superimposed.
ここで、半透明ＣＧタイヤ画像Ｔの変換処理は、舵角変動があったら、その都度に演算し変形・作成しても良いし、運転者の視点位置等の基本パラメータが定まった時に予め作成し、ＣＰＵ６６の外部に設定したメモリ６７等に記憶することで、演算時間を短縮する手法を採っても構わない。
Here, the conversion process of the translucent CG tire image T may be calculated and transformed / created each time the steering angle fluctuates, or created in advance when basic parameters such as the driver's viewpoint position are determined. However, a method of shortening the calculation time by storing in the
更に、半透明ＣＧタイヤ画像Ｔを重畳する時点で、例えば、イルミネーションスイッチ７ｃのON/OFFや車外の明るさ／暗さ等により、半透明ＣＧタイヤ画像Ｔの色相や彩度等を、周囲画像との識別が明確になるように変化させるようにしている。例えば、薄暮れ時等において、周囲画像の色が暗くなったら、半透明ＣＧタイヤ画像Ｔが周囲画像に溶け込んで識別性を低下させてしまう。これに対し、外部環境の変化により、周囲画像の色に半透明ＣＧタイヤ画像Ｔが溶け込んで識別性を低下させてしまうようなことが無く、半透明ＣＧタイヤ画像Ｔの識別性を確保することができる。
Furthermore, at the time of superimposing the semi-transparent CG tire image T, for example, the hue and saturation of the semi-transparent CG tire image T can be determined based on the surrounding image by ON / OFF of the
例えば、ソナーセンサー７ｄ等の障害物検出手段と連動し、相対的に接近する障害物がある場合、半透明ＣＧタイヤ画像Ｔの色を、警報色である赤色に変化させるようにしている。すなわち、障害物警告表示が半透明ＣＧタイヤ画像Ｔにより代表して行われることになる。このため、障害物による警告情報を半透明ＣＧタイヤ画像Ｔで表現することで、安全性に寄与することが可能である。
For example, when there is an obstacle that is relatively close in conjunction with obstacle detection means such as the
次に、効果を説明する。
実施例２のサイドビューモニターシステムＡ２にあっては、実施例１の(1)の効果に加え、下記の効果を得ることができる。
Next, the effect will be described.
In the side view monitor system A2 of the second embodiment, in addition to the effect of (1) of the first embodiment, the following effects can be obtained.
(7) 前記死角カメラは、運転者の死角となる車両の前部側方領域を撮像する１台のサイドカメラ（左サイドカメラ１）であり、ハンドル操舵角を検出する舵角検出手段（舵角センサー７ａ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記舵角検出手段（舵角センサー７ａ）からの舵角情報に基づき、舵角に適合するタイヤをコンピュータ・グラフィックスにより描くことで半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を作成し、この半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を本来のタイヤ位置に重ね合わせる画像合成により、運転者視点から見て切れ角・回転方向がハンドル操作に追従する挙動による半透明タイヤ画像を表現する。このため、左右一方のみにしかカメラが存在しない車両や周辺監視カメラによりタイヤ映像を含めた車体映像を取得することができない車両において、１台のサイドカメラ（左サイドカメラ１）を利用し、タイヤの挙動が、実際のハンドル操作や車両の動きに合う半透明タイヤ画像を表現することができる。
(7) The blind spot camera is a single side camera (left side camera 1) that captures a front side area of the vehicle that is a blind spot of the driver, and a steering angle detection means (steering angle steering) that detects a steering angle of the steering wheel. An
(8) 前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記１台のサイドカメラ（左サイドカメラ１）からのカメラ映像を視点変換することにより取得した運転者視点から見た周囲画像に、予め運転者視点から車室内を撮影した車室内画像に基づき取得した半透明車室内画像と、コンピュータ・グラフィックスにより立体的に描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）を重畳する画像合成により、モニター表示映像データを生成する。このため、運転者視点により、車室内から死角となる車室外を見透かすかのようなモニター映像が実現され、直感的な空間把握を助けると共に、立体的に描いた半透明タイヤ画像により空間把握を損なうことなく、ハンドル操作によるタイヤの挙動情報を表示することができる。 (8) The monitor display image data generation means (image processing controller 6) is a surrounding image viewed from the driver's viewpoint obtained by converting the viewpoint of the camera image from the one side camera (left side camera 1). Superimposed on the semi-transparent vehicle interior image acquired based on the vehicle interior image obtained from the viewpoint of the driver in advance and the semi-transparent tire image (translucent CG tire image T) drawn in three dimensions by computer graphics The monitor display video data is generated by the image synthesis. Therefore, from the driver's point of view, a monitor image that looks through the interior of the passenger compartment that is a blind spot from the interior of the passenger compartment is realized, helping to intuitively grasp the space, and grasping the space with a three-dimensionally drawn translucent tire image The tire behavior information by the steering wheel operation can be displayed without loss.
(9) 車両の外部環境の色相や彩度や明度を検出する外部環境検出手段（イルミネーションスイッチ７ｃ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記外部環境検出手段（イルミネーションスイッチ７ｃ）により検出される外部環境の色相や明るさに応じて、コンピュータ・グラフィックスにより描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）の色相・彩度・明度のうち少なくとも一つを、死角画像に対する識別性を高めるように変化させる。このため、外部環境の変化にかかわらず、ハンドル操作によるタイヤの挙動情報を高い識別性により表示することができる。
(9) External environment detection means (
(10) 自車の周囲に接近してくる障害物を検出する障害物検出手段（ソナーセンサー７ｄ）を設け、前記モニター表示映像データ生成手段（画像処理コントローラ６）は、前記障害物検知手段（ソナーセンサー７ｄ）により障害物の接近が検出されると、コンピュータ・グラフィックスにより描いた半透明タイヤ画像（半透明ＣＧタイヤ画像Ｔ）の色を、警告色に変化させる。このため、障害物による警告情報をＣＧで描いた半透明タイヤ画像により表現することで、応答良く障害物からの回避動作を開始でき、安全性に寄与することができる。
(10) An obstacle detection means (
以上、本発明の車両周辺監視システムを実施例１および実施例２に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。 As mentioned above, although the vehicle periphery monitoring system of this invention has been demonstrated based on Example 1 and Example 2, it is not restricted to these Examples about a concrete structure, Each claim of a claim Design changes and additions are permitted without departing from the spirit of the invention.
実施例１では、左右のサイドカメラ１，２に映り込んでいる車体映像が、殆どデザイン的に大差が無い場合を想定して述べてきた。しかし、左右の形状・ペイントなどデザイン的な違いが有り、それを無視し得ない場合は、車両全体ではなく、丸いタイヤ部分のみ、または、タイヤハウスを含む比較的狭い範囲内の映像のみを左右入れ替えるようにしても良い。この場合も実施例１と同様な重畳画像を作成することができる。 In the first embodiment, the case where the vehicle body images reflected in the left and right side cameras 1 and 2 have almost no design difference has been described. However, if there is a difference in design such as left and right shapes and paint, and this cannot be ignored, only the round tire part or only the image within a relatively narrow range including the tire house is not left and right. You may make it replace. In this case, a superimposed image similar to that in the first embodiment can be created.
実施例２では、左サイドカメラ１を用い、運転者視点による周囲画像に、運転者視点による半透明車室内画像と半透明ＣＧタイヤ画像を重畳する例を示した。しかし、左サイドカメラ１からのカメラ映像を周囲画像と車体画像に分割し、運転者視点による周囲画像と車体画像をそれぞれ作成し、運転者視点による周囲画像に、運転者視点による半透明車体画像（タイヤ画像を除く）と半透明ＣＧタイヤ画像を重畳する例としても良い。 In the second embodiment, an example in which the left side camera 1 is used and a translucent vehicle interior image and a translucent CG tire image from the driver viewpoint are superimposed on the surrounding image from the driver viewpoint is shown. However, the camera image from the left side camera 1 is divided into a surrounding image and a vehicle body image, and a surrounding image and a vehicle body image from the driver's viewpoint are created, respectively. It is good also as an example which superimposes (except a tire image) and a semi-transparent CG tire image.
実施例１，２では、運転者の死角となる車両の前部側方領域を撮像するサイドカメラが搭載されたサイドビューモニターシステムへの適用例を示した。しかし、運転者の死角となる領域を撮像する死角カメラが搭載され、運転者視点から半透明車両画像と半透明タイヤ画像を透過して死角画像を表現するようにしたバックビューモニターシステムやフロントビューモニターシステムやアラウンドビューモニターシステム等の車両周辺監視システムに対しても適用することができる。 In the first and second embodiments, the application example to the side view monitor system in which the side camera that images the front side area of the vehicle that becomes the blind spot of the driver is mounted is shown. However, it is equipped with a blind spot camera that captures the area that is the blind spot of the driver, and the back view monitor system and front view that transmit the semi-transparent vehicle image and the semi-transparent tire image from the driver's viewpoint to express the blind spot image. The present invention can also be applied to a vehicle periphery monitoring system such as a monitor system or an around view monitor system.
Ａ１ サイドビューモニターシステム（車両周辺監視システム）
１ 左サイドカメラ（死角カメラ）
２ 右サイドカメラ（死角カメラ）
３ 画像処理コントローラ（モニター表示映像データ生成手段）
３１Ｌ，３１Ｒ デコーダー
３２Ｌ，３２Ｒ 画像メモリ
３３Ｌ 左周囲映像部分画像変形部
３３Ｒ 右周囲映像部分画像変形部
３４Ｌ 左車体映像部分画像変形部
３４Ｒ 右車体映像部分画像変形部
３５Ｌ 左サイド画像合成部
３５Ｒ 右サイド画像合成部
３５LR 左右画像合成部
３６Ｌ 左サイド映像データ生成部
３６Ｒ 右サイド映像データ生成部
３６LR 左右合成映像データ生成部
３７ ＣＰＵ
３８ 画像合成用調整部
４ 外部モニター
５ モニター表示映像切換スイッチ
Ａ２ サイドビューモニターシステム（車両周辺監視システム）
１ 左サイドカメラ（１台の死角カメラ）
６ 画像処理コントローラ（モニター表示映像データ生成手段）
６１ デコーダー
６２ 画像メモリ
６３ 周囲画像変形部
６４ 車室内画像形成部
６５ ＣＧタイヤ画像作成部
６６ ＣＰＵ
６７ メモリ
６８ 画像合成部
６９ エンコーダ
７ 外部センサー
７ａ 舵角センサー（舵角検出手段）
７ｂ 速度センサー
７ｃ イルミネーションランプスイッチ（外部環境検出手段）
７ｄ ソナーセンサー（障害物検出手段）
A1 Side view monitor system (vehicle periphery monitoring system)
1 Left side camera (blind spot camera)
2 Right side camera (dead angle camera)
3 Image processing controller (monitor display video data generation means)
31L,
38 Image
1 Left side camera (one blind spot camera)
6 Image processing controller (monitor display video data generation means)
61
67
7d sonar sensor (obstacle detection means)
Claims (3)
前記モニター表示映像データ生成手段は、前記左サイドカメラからの実カメラ映像を、左タイヤ映像を含む左車体映像部分と、それ以外の左周囲映像部分に２分割し、前記右サイドカメラからの実カメラ映像を、右タイヤ映像を含む右車体映像部分と、それ以外の右周囲映像部分に２分割し、車両の中心軸を線対称軸として運転者視点を線対称に変換した点を助手席視点として設定し、左右一方の周囲映像部分を運転者視点から見た変換画像に視点変換し、左右他方の車体映像部分を助手席視点から見た半透明変換画像に視点変換した後、半透明変換画像を半透明鏡像変換画像に鏡像変換し、前記変換画像に前記半透明鏡像変換画像を重畳する画像合成によりモニター表示映像データを生成する
ことを特徴とする車両周辺監視システム。 A left side camera that images the front left side area of the vehicle that becomes the driver's blind spot, a right side camera that images the front right side area of the vehicle that becomes the driver's blind spot, and a vehicle interior position that the driver can visually recognize In a vehicle periphery monitoring system comprising: an external monitor set to a monitor display video data generating means for generating monitor display video data based on actual camera video input from the left and right side cameras;
The monitor display image data generation means, an actual camera image from the left side camera, and left vehicle body image portion including a left tire image, is divided into two in the left periphery video portion other than that, from the previous SL right side camera The passenger's seat is the point where the real camera image is divided into two parts, the right body image including right tire image and the other right surrounding image , and the driver's viewpoint is converted into line symmetry with the vehicle's central axis as the line symmetry axis Set as a viewpoint, convert the left and right surrounding video part into a converted image viewed from the driver's viewpoint, convert the left and right vehicle body video part into a translucent converted image viewed from the passenger's viewpoint, and then translucent A vehicle periphery monitoring system , comprising: converting a converted image into a translucent mirror image converted image; and generating monitor display video data by image composition in which the translucent mirror image converted image is superimposed on the converted image .
前記モニター表示映像データ生成手段は、前記変換画像に重畳する前記半透明鏡像変換画像のうち、タイヤを含む特定部分の映像を一部コピーし、実タイヤ幅を考慮してコピー部分を平行移動し、再度、平行移動したコピー部分を重畳することによりタイヤ厚みを表現した
ことを特徴とする車両周辺監視システム。 In the vehicle periphery monitoring system according to claim 1,
The monitor display video data generating means copies a part of the video of a specific part including the tire in the translucent mirror image converted image to be superimposed on the converted image, and translates the copied part in consideration of the actual tire width. the vehicle surroundings monitoring system characterized in that again, represent Rita ear thickness due to superimposing a copy moiety translated.
前記モニター表示映像データ生成手段は、前記半透明鏡像変換画像のうち、タイヤ部分の透過率を、他の画像部分に対する識別性を高めるように調整した
ことを特徴とする車両周辺監視システム。 In the vehicle periphery monitoring system according to claim 2 ,
The monitor display video data generating means adjusts the transmittance of the tire portion of the translucent mirror image converted image so as to enhance the discrimination with respect to other image portions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008285029A JP5134504B2 (en) | 2008-11-06 | 2008-11-06 | Vehicle perimeter monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008285029A JP5134504B2 (en) | 2008-11-06 | 2008-11-06 | Vehicle perimeter monitoring system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010114618A JP2010114618A (en) | 2010-05-20 |
| JP2010114618A5 JP2010114618A5 (en) | 2011-12-15 |
| JP5134504B2 true JP5134504B2 (en) | 2013-01-30 |
Family
ID=42302835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008285029A Expired - Fee Related JP5134504B2 (en) | 2008-11-06 | 2008-11-06 | Vehicle perimeter monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5134504B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10960820B2 (en) | 2017-08-03 | 2021-03-30 | Mitsubishi Electric Corporation | Vehicle periphery image display device and vehicle periphery image display method |
| US20210179086A1 (en) * | 2019-12-13 | 2021-06-17 | Honda Motor Co., Ltd. | Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device |
| US11866042B2 (en) | 2018-08-20 | 2024-01-09 | Indian Motorcycle International, LLC | Wheeled vehicle adaptive speed control method and system |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5633345B2 (en) * | 2010-12-03 | 2014-12-03 | 富士通株式会社 | Image processing apparatus, image display system, and image processing program |
| JP6148887B2 (en) | 2013-03-29 | 2017-06-14 | 富士通テン株式会社 | Image processing apparatus, image processing method, and image processing system |
| KR101947192B1 (en) * | 2013-08-09 | 2019-02-12 | 현대자동차주식회사 | Apparatus and method for proving front side image |
| GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
| DE102015208343B4 (en) * | 2015-05-06 | 2023-09-07 | Robert Bosch Gmbh | Method for generating an overall image of a vehicle environment of a vehicle and corresponding device |
| JP6561824B2 (en) | 2015-12-18 | 2019-08-21 | 株式会社デンソー | Display control device |
| JP6665630B2 (en) * | 2016-03-30 | 2020-03-13 | 日産自動車株式会社 | Driving support method and driving support device |
| JP6649619B2 (en) * | 2016-03-30 | 2020-02-19 | 日産自動車株式会社 | Driving support method and driving support device |
| JP6855254B2 (en) * | 2017-01-12 | 2021-04-07 | 株式会社デンソーテン | Image processing device, image processing system, and image processing method |
| JP6962036B2 (en) * | 2017-07-07 | 2021-11-05 | 株式会社アイシン | Peripheral monitoring device |
| DE102018119481A1 (en) * | 2018-08-10 | 2020-02-13 | Connaught Electronics Ltd. | Method for providing an image representation of at least part of an environment of a motor vehicle, computer program product and driver assistance system |
| KR102149732B1 (en) | 2019-04-17 | 2020-08-31 | 라쿠텐 인코포레이티드 | Display control device, display control method, program, and non-transitory computer-readable information recording medium |
| JP2021014245A (en) * | 2019-07-16 | 2021-02-12 | アイシン精機株式会社 | Vehicle periphery display device |
| CN113879214A (en) * | 2021-11-17 | 2022-01-04 | 阿维塔科技(重庆)有限公司 | Display method of electronic rearview mirror, electronic rearview mirror display system and related equipment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4021662B2 (en) * | 2001-12-28 | 2007-12-12 | 松下電器産業株式会社 | Driving support device, image output device, and rod with camera |
| JP2008042235A (en) * | 2006-08-01 | 2008-02-21 | Honda Motor Co Ltd | Display device for vehicle |
| JP2008083184A (en) * | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | Driving evaluation system |
| JP4855884B2 (en) * | 2006-09-28 | 2012-01-18 | クラリオン株式会社 | Vehicle periphery monitoring device |
-
2008
- 2008-11-06 JP JP2008285029A patent/JP5134504B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10960820B2 (en) | 2017-08-03 | 2021-03-30 | Mitsubishi Electric Corporation | Vehicle periphery image display device and vehicle periphery image display method |
| US11866042B2 (en) | 2018-08-20 | 2024-01-09 | Indian Motorcycle International, LLC | Wheeled vehicle adaptive speed control method and system |
| US20210179086A1 (en) * | 2019-12-13 | 2021-06-17 | Honda Motor Co., Ltd. | Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device |
| US11697408B2 (en) * | 2019-12-13 | 2023-07-11 | Honda Motor Co., Ltd. | Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010114618A (en) | 2010-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5134504B2 (en) | Vehicle perimeter monitoring system | |
| WO2011070641A1 (en) | Vehicle periphery monitoring system | |
| JP6806156B2 (en) | Peripheral monitoring device | |
| US10475242B2 (en) | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image | |
| JP4579145B2 (en) | Vehicle peripheral image display device | |
| JP6565148B2 (en) | Image display control device and image display system | |
| JP6446925B2 (en) | Image display control device and image display system | |
| WO2010137684A1 (en) | Image generation device and image display system | |
| JPWO2009104675A1 (en) | Vehicle periphery image display system | |
| JP5251804B2 (en) | Driving assistance device | |
| US10848724B2 (en) | Display control device | |
| JP7443705B2 (en) | Peripheral monitoring device | |
| JP6876236B2 (en) | Display control device | |
| WO2019073938A1 (en) | Parking assistance device | |
| US11601621B2 (en) | Vehicular display system | |
| JP2017208690A (en) | Image creation device, image display system, and image display method | |
| WO2019008824A1 (en) | Surrounding-area monitoring device | |
| JP2010257242A (en) | Image data generation device | |
| JP5961821B2 (en) | Driving assistance device | |
| JP2007110177A (en) | Image processing apparatus and program | |
| WO2016088150A1 (en) | Vehicle-mounted display device, vehicle, and display method | |
| JP2023161906A (en) | Display control system | |
| JP7491194B2 (en) | Peripheral image generating device and display control method | |
| KR101326966B1 (en) | System for Providing All-Around View for a Vehicle | |
| JP7331511B2 (en) | Vehicle peripheral display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111027 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121109 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5134504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |