JP2007088577A - Vehicle surrounding image processing system - Google Patents

Vehicle surrounding image processing system Download PDF

Info

Publication number
JP2007088577A
JP2007088577A JP2005272093A JP2005272093A JP2007088577A JP 2007088577 A JP2007088577 A JP 2007088577A JP 2005272093 A JP2005272093 A JP 2005272093A JP 2005272093 A JP2005272093 A JP 2005272093A JP 2007088577 A JP2007088577 A JP 2007088577A
Authority
JP
Japan
Prior art keywords
bird
eye view
view image
vehicle
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005272093A
Other languages
Japanese (ja)
Inventor
Manabu Ono
学 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005272093A priority Critical patent/JP2007088577A/en
Publication of JP2007088577A publication Critical patent/JP2007088577A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle surrounding image processing system that prevents a user from being confused and properly supports driving of the user. <P>SOLUTION: The vehicle surrounding image processing system 1 combines a past bird's-eye view image with a present bird's-eye view to create a composite bird's-eye view and thereafter, discriminates whether or not an obstacle is present around a vehicle 2, displays a region around the detected obstacle on an on-vehicle monitor 5 with its own vehicle diagram present in the composite bird's-eye view and indicating its own vehicle as a reference when detecting the presence of the obstacle around the vehicle 2 on one hand, and does not display the regions remoter from the detected object on the on-vehicle monitor 5 or displays the faded-out regions on the on-vehicle monitor 5 on the other hand. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するように構成されている車両周辺画像処理システムに関する。   The present invention relates to a vehicle periphery image processing system configured to combine a past bird's-eye view image and a current bird's-eye view image to generate and display a combined bird's-eye view image.

従来より、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示する車両周辺画像処理システムとして、合成鳥瞰図画像にあって過去の鳥瞰図画像を色付けして表示することにより、合成鳥瞰図画像にあって過去の鳥瞰図画像と現在の鳥瞰図画像とを区別して表示するものがある（例えば特許文献１参照）。
特開２００４−２６０６９４号公報 Conventionally, as a vehicle peripheral image processing system that combines a past bird's-eye view image and a current bird's-eye view image to generate and display a synthesized bird's-eye view image, the past bird's-eye view image is colored and displayed in the synthesized bird's-eye view image. Thus, there is a composite bird's-eye view image that distinguishes and displays a past bird's-eye view image and a current bird's-eye view image (see, for example, Patent Document 1).
JP 2004-260694 A

ところで、このように過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成して表示するものでは、現在の後方カメラの撮影視野を表示するのみでなく、過去の後方カメラの撮影視野をも表示することから、自車両周辺の多大な情報（例えば駐車枠など）をユーザに提供することが可能となるものであるが、過去の後方カメラの撮影視野に障害物（例えば隣接する駐車スペースに既に駐車している駐車車両など）が存在すると、図９に示すように、その障害物が合成鳥瞰図画像では歪んで表示されることになる。その結果、合成鳥瞰図画像と自車両周辺の実際の状況との不一致が大きくなると、自車両周辺を合成鳥瞰図画像として表示しているのにも拘らず、却ってユーザを混乱させてしまうことになり、ユーザの運転を適切に支援することができないという問題がある。   By the way, in this way, the past bird's-eye view image and the current bird's-eye view image are combined to generate and display a composite bird's-eye view image. Since the photographing field of view is also displayed, it is possible to provide a large amount of information (for example, a parking frame) around the host vehicle to the user. When there is a parked vehicle or the like already parked in the parking space, the obstacle is displayed distorted in the synthesized bird's-eye view image as shown in FIG. As a result, when the discrepancy between the synthesized bird's-eye view image and the actual situation around the host vehicle increases, the user's surroundings are displayed as a synthesized bird's-eye view image, but the user is confused on the contrary, There is a problem that it is not possible to appropriately support the user's driving.

本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザを混乱させてしまうことを未然に回避することができ、ユーザの運転を適切に支援することができる車両周辺画像処理システムを提供することにある。   The present invention has been made in view of the above-described circumstances, and a purpose of the present invention is to prevent a user from being confused beforehand, and a vehicle periphery image that can appropriately support a user's driving. To provide a processing system.

請求項１に記載した発明によれば、撮影手段が自車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、自車両移動状態検出手段が自車両の移動状態を検出すると、鳥瞰図画像移動手段は、自車両移動状態検出手段により検出された自車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。ここで、自車両周辺の障害物が障害物検出手段により検出されると、表示制御手段は、合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像にあって自車両を表す自車両図形を基準として障害物至近の領域を表示手段に表示させると共に障害物以遠の領域を表示手段に表示させないまたはフェードアウトさせて表示手段に表示させる。   According to the first aspect of the present invention, when the photographing unit photographs the periphery of the own vehicle, the bird's-eye view image generating unit performs coordinate conversion on the image photographed by the photographing unit to generate a bird's-eye view image, The bird's eye view image generated by the bird's eye view image generation means is stored. Further, when the own vehicle moving state detecting means detects the moving state of the own vehicle, the bird's eye view image moving means is stored in the bird's eye view image storage means based on the moving state of the own vehicle detected by the own vehicle moving state detecting means. The past bird's-eye view image generating means rotates and translates the past bird's-eye view image, and the synthesized bird's-eye view image generation means includes the past bird's-eye view image rotated and translated by the bird's-eye view image moving means and the bird's-eye view image generation means Is combined with the current bird's-eye view image generated by the coordinate conversion to generate a combined bird's-eye view image. Here, when an obstacle around the own vehicle is detected by the obstacle detection means, the display control means uses the own vehicle figure representing the own vehicle in the composite bird's eye view image generated by the synthetic bird's eye view image generation means as a reference. The area near the obstacle is displayed on the display means, and the area beyond the obstacle is not displayed on the display means or faded out and displayed on the display means.

これにより、自車両を表す自車両図形を基準として障害物至近の領域を表示する一方で障害物以遠の領域を表示しないまたはフェードアウトして表示することにより、自車両周辺で障害物が歪んで表示されることがなくなり、また、仮に自車両周辺で障害物が歪んで表示されたとしても、その領域がフェードアウトされて表示されることになるので、ユーザを混乱させてしまうことを未然に回避することができ、ユーザの運転を適切に支援することができる。   As a result, the area near the obstacle is displayed based on the own vehicle figure representing the own vehicle, while the area beyond the obstacle is not displayed or faded out to display the obstacle around the own vehicle. In addition, even if an obstacle is displayed in a distorted manner around the host vehicle, the area will be faded out and displayed, thereby avoiding confusion for the user. Therefore, it is possible to appropriately support the user's driving.

請求項２に記載した発明によれば、撮影手段が自車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、自車両移動状態検出手段が自車両の移動状態を検出すると、鳥瞰図画像移動手段は、自車両移動状態検出手段により検出された自車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。ここで、駐車枠が駐車枠検出手段により検出されると、表示制御手段は、合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像にあって自車両を表す自車両図形を基準として駐車枠至近の領域を表示手段に表示させると共に駐車枠以遠の領域を表示手段に表示させないまたはフェードアウトさせて表示手段に表示させる。   According to the second aspect of the present invention, when the photographing unit photographs the vicinity of the host vehicle, the bird's-eye view image generating unit performs coordinate conversion on the image photographed by the photographing unit to generate a bird's-eye view image, The bird's eye view image generated by the bird's eye view image generation means is stored. Further, when the own vehicle moving state detecting means detects the moving state of the own vehicle, the bird's eye view image moving means is stored in the bird's eye view image storage means based on the moving state of the own vehicle detected by the own vehicle moving state detecting means. The past bird's-eye view image generating means rotates and / or translates the past bird's-eye view image, and the synthesized bird's-eye view image generation means includes the past bird's-eye view image rotated and translated by the bird's-eye view image moving means and the image photographed by the photographing means Is combined with the current bird's-eye view image generated by the coordinate conversion to generate a combined bird's-eye view image. Here, when the parking frame is detected by the parking frame detection unit, the display control unit detects the vehicle frame closest to the parking frame on the basis of the own vehicle figure representing the own vehicle in the combined bird's-eye view image generated by the combined bird's-eye view image generation unit. The area is displayed on the display means and the area beyond the parking frame is not displayed on the display means or faded out and displayed on the display means.

これにより、自車両を表す自車両図形を基準として駐車枠至近の領域を表示する一方で駐車枠以遠の領域を表示しないまたはフェードアウトして表示することにより、仮に自車両周辺で駐車枠以遠に障害物が存在したとしても、その障害物が歪んで表示されることがなくなり、また、仮に自車両周辺で駐車枠以遠の障害物が歪んで表示されたとしても、その領域がフェードアウトされて表示されることになるので、上記した請求項１に記載したものと同様にして、ユーザを混乱させてしまうことを未然に回避することができ、ユーザの運転を適切に支援することができる。   As a result, the area close to the parking frame is displayed with reference to the own vehicle figure representing the own vehicle, while the area beyond the parking frame is not displayed or faded out to display the area around the own vehicle beyond the parking frame. Even if an object is present, the obstacle is no longer distorted and displayed, and even if an obstacle beyond the parking frame is displayed distorted around the host vehicle, the area is faded out and displayed. Therefore, in the same manner as described in the first aspect, it is possible to prevent the user from being confused and to appropriately support the user's driving.

請求項３に記載した発明によれば、撮影手段が自車両周辺を撮影すると、鳥瞰図画像生成手段は、撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成し、鳥瞰図画像記憶手段は、鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する。また、自車両移動状態検出手段が自車両の移動状態を検出すると、鳥瞰図画像移動手段は、自車両移動状態検出手段により検出された自車両の移動状態に基づいて鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させ、合成鳥瞰図画像生成手段は、鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と、撮影手段により撮影された画像が鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する。ここで、表示制御手段は、合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像にあって自車両を表す自車両図形を基準として所定距離至近の領域を表示手段に表示させると共に所定距離以遠の領域を表示手段に表示させないまたはフェードアウトさせて表示手段に表示させる。   According to the third aspect of the present invention, when the photographing unit photographs the periphery of the host vehicle, the bird's-eye view image generating unit performs coordinate conversion on the image photographed by the photographing unit to generate a bird's-eye view image, and the bird's-eye view image storage unit includes The bird's eye view image generated by the bird's eye view image generation means is stored. Further, when the own vehicle moving state detecting means detects the moving state of the own vehicle, the bird's eye view image moving means is stored in the bird's eye view image storage means based on the moving state of the own vehicle detected by the own vehicle moving state detecting means. The past bird's-eye view image generating means rotates and / or translates the past bird's-eye view image, and the synthesized bird's-eye view image generation means includes the past bird's-eye view image rotated and translated by the bird's-eye view image moving means and the image photographed by the photographing means Is combined with the current bird's-eye view image generated by the coordinate conversion to generate a combined bird's-eye view image. Here, the display control means causes the display means to display an area close to a predetermined distance on the basis of the own vehicle figure representing the own vehicle in the synthetic bird's eye view image generated by the synthetic bird's eye view image generation means, and an area beyond the predetermined distance Is not displayed on the display means or faded out and displayed on the display means.

これにより、自車両を表す自車両図形を基準として所定距離至近の領域を表示する一方で所定距離以遠の領域を表示しないまたはフェードアウトして表示することにより、仮に自車両周辺で所定距離以遠に障害物が存在したとしても、その障害物が歪んで表示されることがなくなり、また、仮に自車両周辺で所定距離以遠の障害物が歪んで表示されたとしても、その領域がフェードアウトされて表示されることになるので、上記した請求項１に記載したものと同様にして、ユーザを混乱させてしまうことを未然に回避することができ、ユーザの運転を適切に支援することができる。   As a result, an area close to a predetermined distance is displayed on the basis of the figure of the own vehicle representing the own vehicle, while an area beyond the predetermined distance is not displayed or faded out to display an obstacle beyond the predetermined distance around the own vehicle. Even if an object is present, the obstacle will not be distorted and displayed, and even if an obstacle more than a predetermined distance around the vehicle is distorted and displayed, the area will be faded out and displayed. Therefore, in the same manner as described in the first aspect, it is possible to prevent the user from being confused and to appropriately support the user's driving.

（第１の実施形態）
以下、本発明の第１の実施形態について、図１ないし図５を参照して説明する。図２は、車両周辺画像処理システムの構成を概略的に示している。車両周辺画像処理システム１は、車両２の後方の状況を撮影する後方カメラ３（本発明でいう撮影手段）、車室４内の例えばダッシュボード上に配置されている車載モニタ５（本発明でいう表示手段）及び画像処理を行う画像処理ユニット６を備えて構成されている。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 2 schematically shows the configuration of the vehicle periphery image processing system. The vehicle periphery image processing system 1 includes a rear camera 3 (photographing means referred to in the present invention) that captures the situation behind the vehicle 2, and an in-vehicle monitor 5 (in the present invention) disposed on, for example, a dashboard in the passenger compartment 4. Display means) and an image processing unit 6 for performing image processing.

図１は、車両周辺画像処理システム１の機能ブロック図を示している。車両周辺画像処理システム１は、機能ブロックとして、システム全体の動作を制御するＣＰＵ７（本発明でいう自車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段）、後方カメラ３、鳥瞰図画像生成回路８（本発明でいう鳥瞰図画像生成手段）、第１の画像メモリ９（本発明でいう鳥瞰図画像記憶手段）、第２の画像メモリ１０、表示用画像メモリ１１、車載モニタ５、ハンドル角信号入力回路１２、車速信号入力回路１３、ヨーレイト信号入力回路１４、超音波センサ信号入力回路１５（本発明でいう障害物検出手段）及びシフトポジション信号入力回路１６を備えて構成されている。   FIG. 1 shows a functional block diagram of the vehicle periphery image processing system 1. The vehicle periphery image processing system 1 includes, as functional blocks, a CPU 7 that controls the operation of the entire system (own vehicle movement state detection means, bird's-eye view image movement means, composite bird's-eye view image generation means, display control means in the present invention), rear camera 3. Bird's-eye view image generation circuit 8 (bird's-eye view image generation means in the present invention), first image memory 9 (bird's-eye view image storage means in the present invention), second image memory 10, display image memory 11, in-vehicle monitor 5. Handle angle signal input circuit 12, vehicle speed signal input circuit 13, yaw rate signal input circuit 14, ultrasonic sensor signal input circuit 15 (obstacle detection means in the present invention) and shift position signal input circuit 16 ing.

鳥瞰図画像生成回路８は、後方カメラ３から画像が入力されると、その入力された画像を座標変換して鳥瞰図画像を生成して第１の画像メモリ９へ出力する。第１の画像メモリ９は、鳥瞰図画像生成回路８から鳥瞰図画像が入力されると、その入力された鳥瞰図画像を現在の鳥瞰図画像として一時的に記憶する。   When an image is input from the rear camera 3, the bird's eye view image generation circuit 8 performs coordinate conversion on the input image to generate a bird's eye view image and outputs the bird's eye view image to the first image memory 9. When the bird's eye view image is input from the bird's eye view image generation circuit 8, the first image memory 9 temporarily stores the input bird's eye view image as the current bird's eye view image.

第２の画像メモリ１０は、第１の画像メモリ９から鳥瞰図画像が転送されると、その転送された鳥瞰図画像を過去の鳥瞰図画像として記憶する。表示用画像メモリ１１は、第１の画像メモリ９に記憶されている現在の鳥瞰図画像と第２の画像メモリ１０に記憶されている過去の鳥瞰図画像とが合成された合成鳥瞰図画像を表示用画像として記憶する。車載モニタ５は、表示用画像メモリ１１に表示用画像として記憶されている合成鳥瞰図画像を表示する。   When the bird's-eye view image is transferred from the first image memory 9, the second image memory 10 stores the transferred bird's-eye view image as a past bird's-eye view image. The display image memory 11 displays a composite bird's-eye view image obtained by combining the current bird's-eye view image stored in the first image memory 9 and the past bird's-eye view image stored in the second image memory 10. Remember as. The in-vehicle monitor 5 displays the synthesized bird's-eye view image stored as the display image in the display image memory 11.

ハンドル角信号入力回路１２は、外部からユーザのハンドル操作に関するデータを入力してＣＰＵ７へ出力する。車速信号入力回路１３は、外部から車速に関するデータを入力してＣＰＵ７へ出力する。ヨーレイト信号入力回路１４は、外部から車両２の旋回状況に関するデータを入力してＣＰＵ７へ出力する。超音波センサ信号入力回路１５は、車両２の所定部位に配置されている例えば５個の超音波センサからなる障害物検出センサ１７ａ〜１７ｅ（図２及び図３参照）から検出信号が入力されると、その入力された検出信号に基づいて車両２の周辺に存在する障害物の有無を検出して障害物の有無に関するデータや障害物と車両２との間の距離などに関するデータをＣＰＵ７へ出力する。シフトポジション信号入力回路１６は、外部からユーザのシフトレバー操作に関するデータを入力してＣＰＵ７へ出力する。   The handle angle signal input circuit 12 inputs data related to the user's handle operation from the outside and outputs it to the CPU 7. The vehicle speed signal input circuit 13 inputs data related to the vehicle speed from the outside and outputs it to the CPU 7. The yaw rate signal input circuit 14 inputs data related to the turning situation of the vehicle 2 from the outside and outputs the data to the CPU 7. The ultrasonic sensor signal input circuit 15 receives detection signals from obstacle detection sensors 17 a to 17 e (see FIG. 2 and FIG. 3) including, for example, five ultrasonic sensors arranged in a predetermined part of the vehicle 2. And detecting the presence / absence of an obstacle existing around the vehicle 2 based on the input detection signal and outputting data relating to the presence / absence of the obstacle and data relating to the distance between the obstacle and the vehicle 2 to the CPU 7. To do. The shift position signal input circuit 16 inputs data relating to the user's shift lever operation from the outside and outputs it to the CPU 7.

尚、上記した構成では、ＣＰＵ７、鳥瞰図画像生成回路８、第１の画像メモリ９、第２の画像メモリ１０、表示用画像メモリ１１、ハンドル角信号入力回路１２、車速信号入力回路１３、ヨーレイト信号入力回路１４、超音波センサ信号入力回路１５及びシフトポジション信号入力回路１６は、それらの全体または一部を一体化して１つのＬＳＩで構成することも可能である。また、鳥瞰図画像を生成する専用の画像処理回路として鳥瞰図画像生成回路８を備える代わりにＣＰＵ７がソフトウェア的に鳥瞰図画像を生成することも可能である。さらに、車載モニタ５は、ナビゲーション装置のディスプレイで兼用することも可能である。   In the above configuration, the CPU 7, the bird's eye view image generation circuit 8, the first image memory 9, the second image memory 10, the display image memory 11, the steering wheel angle signal input circuit 12, the vehicle speed signal input circuit 13, and the yaw rate signal. The input circuit 14, the ultrasonic sensor signal input circuit 15, and the shift position signal input circuit 16 can be configured as a single LSI by integrating all or part of them. Further, instead of including the bird's eye view image generation circuit 8 as a dedicated image processing circuit for generating the bird's eye view image, the CPU 7 can also generate the bird's eye view image by software. Furthermore, the vehicle-mounted monitor 5 can also be used as a display of a navigation device.

ここで、鳥瞰図画像生成回路８が鳥瞰図画像を生成する手順について簡単に説明する。尚、前提条件として、後方カメラ３は、オートフォーカス機能を有すると共に取付け高さや取付け角度が予め設定されているものとする。また、地面が平面であることを計算上の前提条件としている。ここでは、後方カメラ３により撮影された画像を画素単位に分解し、車両２の後端を基準線として各画素までの距離及び幅方向位置を算出し、各画素の鳥瞰変換後の位置座標を算出する。そして、その算出された位置座標に基づいて各画素を再配置する。これにより、後方カメラ３により撮影された画像から鳥瞰図画像を生成することができる。   Here, a procedure for the bird's eye view image generation circuit 8 to generate the bird's eye view image will be briefly described. As a precondition, it is assumed that the rear camera 3 has an autofocus function and has an attachment height and an attachment angle set in advance. In addition, it is a precondition for calculation that the ground is a plane. Here, the image captured by the rear camera 3 is decomposed into pixels, the distance to each pixel and the position in the width direction are calculated using the rear end of the vehicle 2 as a reference line, and the position coordinates after bird's-eye conversion of each pixel are calculated. calculate. Then, the pixels are rearranged based on the calculated position coordinates. Thereby, a bird's-eye view image can be generated from an image photographed by the rear camera 3.

尚、このようにして鳥瞰変換を行うことにより、鳥瞰図画像では、画素と画素との間に隙間が生じたり画素と画素とが重なったりする場合が想定されるが、車両２を車庫入れするときなどでは、車載モニタ５に表示される画像が多少間引きされた様な画像であったとして、後方カメラ３により撮影された元々の画像（生の画像）が表示されるよりも、操作性が良いものである。   In addition, by performing bird's-eye view conversion in this way, in the bird's-eye view image, it is assumed that there is a gap between the pixels or the pixels overlap, but when the vehicle 2 is put in the garage For example, if the image displayed on the in-vehicle monitor 5 is a somewhat thinned image, the operability is better than the original image (raw image) taken by the rear camera 3 is displayed. Is.

次に、上記した構成の作用について、図４及び図５を参照して説明する。
ＣＰＵ７は、第１の画像メモリ９、第２の画像メモリ１０及び表示用画像メモリ１１を初期化すると共に各種のパラメータを初期化する（ステップＳ１）。そして、ＣＰＵ７は、後方カメラ３により撮影された画像が鳥瞰図画像生成回路８で座標変換されて鳥瞰図画像が生成され、鳥瞰図画像が第１の画像メモリ９に記憶された旨を検出すると（ステップＳ２）、鳥瞰図画像が第２の画像メモリ１０に記憶されているか否かを判定する（ステップＳ３）。 Next, the operation of the above configuration will be described with reference to FIGS.
The CPU 7 initializes the first image memory 9, the second image memory 10, and the display image memory 11 and initializes various parameters (step S1). Then, the CPU 7 detects that the image captured by the rear camera 3 is coordinate-converted by the bird's eye view image generation circuit 8 to generate the bird's eye view image and stored in the first image memory 9 (step S2). ), It is determined whether or not the bird's eye view image is stored in the second image memory 10 (step S3).

ここで、ＣＰＵ７は、鳥瞰図画像が第２の画像メモリ１０に記憶されている旨を検出すると（ステップＳ３にて「ＹＥＳ」）、ハンドル角信号入力回路１２から入力されているデータ、車速信号入力回路１３から入力されているデータ、ヨーレイト信号入力回路１４から入力されているデータ及び超音波センサ信号入力回路１５から入力されているデータに基づいて車両２が移動しているか否かを判定する（ステップＳ４）。   Here, when the CPU 7 detects that the bird's-eye view image is stored in the second image memory 10 (“YES” in step S3), the data input from the steering wheel angle signal input circuit 12, the vehicle speed signal input It is determined whether or not the vehicle 2 is moving based on the data input from the circuit 13, the data input from the yaw rate signal input circuit 14, and the data input from the ultrasonic sensor signal input circuit 15 ( Step S4).

そして、ＣＰＵ７は、車両２が移動している旨を検出すると（ステップＳ４にて「ＹＥＳ」）、第２の画像メモリ１０から過去の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ５）、その読出された鳥瞰図画像を車両２の移動状態に基づいて回転移動または平行移動させる画像処理を行う（ステップＳ６）。このとき、ＣＰＵ７は、車両２がカーブして移動していれば、第２の画像メモリ１０に記憶されている鳥瞰図画像を回転移動させる画像処理を行うことになり、車両２が直進して移動していれば、第２の画像メモリ１０に記憶されている鳥瞰図画像を平行移動させる画像処理を行うことになる。   When the CPU 7 detects that the vehicle 2 is moving ("YES" in step S4), the CPU 7 reads out the bird's-eye view image stored as the past bird's-eye view image from the second image memory 10 (step S5). Then, image processing for rotating or translating the read bird's-eye view image based on the movement state of the vehicle 2 is performed (step S6). At this time, if the vehicle 2 is moving in a curve, the CPU 7 performs image processing for rotating and moving the bird's eye view image stored in the second image memory 10, and the vehicle 2 moves straight ahead. If so, image processing for translating the bird's eye view image stored in the second image memory 10 is performed.

次いで、ＣＰＵ７は、第１の画像メモリ９から現在の鳥瞰図画像として記憶されている鳥瞰図画像を読出し（ステップＳ７）、第２の画像メモリ１０から読出されて画像処理が行われた過去の鳥瞰図画像と第１の画像メモリ９から読出された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する（ステップＳ８）。そして、ＣＰＵ７は、このようにして合成鳥瞰図画像が生成されると、超音波センサ信号入力回路１５から入力されているデータに基づいて車両２の周辺に障害物が存在しているか否かを判定する（ステップＳ９）。   Next, the CPU 7 reads the bird's-eye view image stored as the current bird's-eye view image from the first image memory 9 (step S7), and the past bird's-eye view image that has been read from the second image memory 10 and subjected to image processing. And the current bird's-eye view image read from the first image memory 9 are combined to generate a combined bird's-eye view image (step S8). Then, when the synthesized bird's-eye view image is generated in this way, the CPU 7 determines whether an obstacle exists around the vehicle 2 based on the data input from the ultrasonic sensor signal input circuit 15. (Step S9).

ここで、ＣＰＵ７は、車両２の周辺に障害物が存在している旨を検出すると（ステップＳ９にて「ＹＥＳ」）、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された障害物至近の領域を表示領域として設定すると共に当該検出された障害物以遠の領域を非表示領域として設定する（ステップＳ１０）。そして、ＣＰＵ７は、合成鳥瞰図画像にあって表示領域として設定した領域を表示用画像メモリ１１へ出力させて車載モニタ５に表示させると共に非表示領域として設定した領域を表示用画像メモリ１１へ出力させることなく車載モニタ５に表示させない（ステップＳ１１）。   Here, when the CPU 7 detects that an obstacle is present around the vehicle 2 (“YES” in step S9), the CPU 7 performs the detection with reference to the own vehicle figure representing the own vehicle in the composite bird's-eye view image. The area close to the obstacle is set as a display area, and the area beyond the detected obstacle is set as a non-display area (step S10). Then, the CPU 7 outputs the area set as the display area in the synthesized bird's-eye view image to the display image memory 11 to be displayed on the in-vehicle monitor 5 and outputs the area set as the non-display area to the display image memory 11. Without being displayed on the vehicle-mounted monitor 5 (step S11).

以上に説明した一連の処理により、ＣＰＵ７は、車両２の周辺に障害物が存在している旨を検出すると、図５に示すように、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された障害物至近の領域を車載モニタ５に表示させる一方で当該検出された障害物以遠の領域を車載モニタ５に表示させないことになる。尚、図５では、車両２の右側方に障害物が検出された場合を示している
尚、ＣＰＵ７は、車両２の周辺に障害物が存在していない旨を検出すると（ステップＳ９にて「ＮＯ」）、合成鳥瞰図画像にあって表示領域及び非表示領域を設定することなく合成鳥瞰図画像をそのまま車載モニタ５に表示させる（ステップＳ１２）。 When the CPU 7 detects that there is an obstacle around the vehicle 2 by the series of processes described above, as shown in FIG. 5, the CPU 7 displays the own vehicle figure representing the own vehicle in the synthesized bird's-eye view image. The area near the detected obstacle is displayed on the vehicle-mounted monitor 5 as a reference, while the area beyond the detected obstacle is not displayed on the vehicle-mounted monitor 5. FIG. 5 shows a case where an obstacle is detected on the right side of the vehicle 2. Note that the CPU 7 detects that there is no obstacle around the vehicle 2 (“ NO ”), the composite bird's-eye view image is displayed as it is on the vehicle-mounted monitor 5 without setting the display region and the non-display region in the composite bird's-eye view image (step S12).

また、ＣＰＵ７は、鳥瞰図画像が第２の画像メモリ１０に記憶されていない旨を検出すると（ステップＳ３にて「ＮＯ」）、第１の画像メモリ９に現在の鳥瞰図画像として記憶されている鳥瞰図画像を第２の画像メモリ１０に転送させ（ステップＳ１３）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。   Further, when the CPU 7 detects that the bird's-eye view image is not stored in the second image memory 10 (“NO” in step S3), the bird's-eye view stored as the current bird's-eye view image in the first image memory 9. The image is transferred to the second image memory 10 (step S13), the process returns to the above step S2, and the processes after step S2 are repeated.

さらに、ＣＰＵ７は、車両２が移動していない旨を検出すると（ステップＳ４にて「ＮＯ」）、第２の画像メモリ１０から読出されて画像処理が行われた鳥瞰図画像と、第１の画像メモリ９から読出された鳥瞰図画像とを合成して合成鳥瞰図画像を生成することなく、第１の画像メモリ９に現在の鳥瞰図画像として記憶されている鳥瞰図画像をそのまま自車両図形の後方の表示領域に表示させ（ステップＳ１４）、上記したステップＳ２に戻り、ステップＳ２以降の処理を繰返して行う。   Further, when the CPU 7 detects that the vehicle 2 is not moving (“NO” in step S4), the bird's-eye view image read from the second image memory 10 and subjected to image processing, and the first image The bird's-eye view image stored as the current bird's-eye view image in the first image memory 9 is directly used as the current bird's-eye view image without combining the bird's-eye view image read from the memory 9 to generate a combined bird's-eye view image. (Step S14), the process returns to the above-described step S2, and the processes after step S2 are repeated.

ところで、以上は、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された障害物至近の領域を車載モニタ５に表示させる一方で当該検出された障害物以遠の領域を車載モニタ５に表示させない場合を説明したが、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された障害物至近の領域を車載モニタ５に表示させる一方で当該検出された障害物以遠の領域をフェードアウトさせて車載モニタ５に表示させるようにしても良い。   By the way, as described above, the area near the detected obstacle is displayed on the in-vehicle monitor 5 on the basis of the own vehicle figure representing the own vehicle in the synthesized bird's-eye view image, while the area beyond the detected obstacle is mounted on the vehicle. Although the case where it is not displayed on the monitor 5 has been described, the detected obstacle is displayed on the in-vehicle monitor 5 while the area close to the detected obstacle is displayed on the basis of the own vehicle figure representing the own vehicle in the synthesized bird's-eye view image. The area beyond the object may be faded out and displayed on the in-vehicle monitor 5.

以上に説明したように第１の実施形態によれば、車両周辺画像処理システム１において、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成した後に、車両２の周辺に障害物が存在しているか否かを判定し、車両２の周辺に障害物が存在している旨を検出すると、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された障害物至近の領域を車載モニタ５に表示する一方で当該検出された障害物以遠の領域を車載モニタ５に表示しないまたはフェードアウトして車載モニタ５に表示するように構成したので、自車両周辺で障害物が歪んで表示されることがなくなり、また、仮に自車両周辺で障害物が歪んで表示されたとしても、その領域がフェードアウトされて表示されることになるので、ユーザを混乱させてしまうことを未然に回避することができ、ユーザの運転を適切に支援することができる。   As described above, according to the first embodiment, in the vehicle peripheral image processing system 1, after the past bird's-eye view image and the current bird's-eye view image are combined to generate a combined bird's-eye view image, When it is determined whether there is an obstacle and it is detected that there is an obstacle in the vicinity of the vehicle 2, the detection is performed based on the own vehicle figure representing the own vehicle in the composite bird's-eye view image. Since the area close to the obstacle is displayed on the in-vehicle monitor 5, the area beyond the detected obstacle is not displayed on the in-vehicle monitor 5 or faded out and displayed on the in-vehicle monitor 5. Obstacles are no longer displayed distorted, and even if obstacles are displayed distorted around the host vehicle, the area will be faded out and displayed. It would not disturb can be avoided in advance, and can be appropriately assist the operation of the user.

（第２の実施形態）
次に、本発明の第２の実施形態について、図６ないし図８を参照して説明する。尚、上記した第１の実施形態と同一部分については説明を省略し、異なる部分について説明する。上記した第１の実施形態は、車両２の周辺に障害物が存在しているか否かを判定し、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された障害物至近の領域を車載モニタ５に表示する一方で当該検出された障害物以遠の領域を車載モニタ５に表示しないまたはフェードアウトして車載モニタ５に表示するものであるが、これに対して、この第２の実施形態は、駐車枠（例えば駐車白線）が有るか否かを判定し、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された駐車枠至近の領域を車載モニタ５に表示する一方で当該検出された駐車枠以遠の領域を車載モニタ５に表示しないまたはフェードアウトして車載モニタ５に表示するものである。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS. In addition, description is abbreviate | omitted about the same part as above-mentioned 1st Embodiment, and a different part is demonstrated. In the first embodiment described above, it is determined whether or not an obstacle exists around the vehicle 2, and the detected obstacle close proximity is based on the own vehicle figure representing the own vehicle in the composite bird's-eye view image. Is displayed on the vehicle monitor 5 while the region beyond the detected obstacle is not displayed on the vehicle monitor 5 or faded out and displayed on the vehicle monitor 5. In the embodiment, it is determined whether or not there is a parking frame (for example, a parking white line), and the detected area close to the parking frame on the basis of the own vehicle figure representing the own vehicle in the synthesized bird's-eye view image. On the other hand, the area beyond the detected parking frame is not displayed on the in-vehicle monitor 5 or faded out and displayed on the in-vehicle monitor 5.

すなわち、車両周辺画像処理システム２１において、ＣＰＵ２２（本発明でいう自車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段、駐車枠検出手段）は、画像解析機能を有しており、合成鳥瞰図画像を画像解析して駐車枠が有るか否かを判定する。   That is, in the vehicle periphery image processing system 21, the CPU 22 (own vehicle movement state detection means, bird's-eye view image movement means, composite bird's-eye view image generation means, display control means, parking frame detection means in the present invention) has an image analysis function. Then, the composite bird's-eye view image is analyzed to determine whether or not there is a parking frame.

この場合、ＣＰＵ２２は、合成鳥瞰図画像を生成した後に（ステップＳ８）、合成鳥瞰図画像を画像解析して駐車枠が有るか否かを判定する（ステップＳ２１）。ここで、ＣＰＵ２２は、駐車枠が有る旨を検出すると（ステップＳ２１にて「ＹＥＳ」）、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された駐車枠至近の領域を表示領域として設定すると共に当該検出された駐車枠以遠の領域を非表示領域として設定する（ステップＳ２２）。そして、ＣＰＵ２２は、上記した第１の実施形態と同様にして、合成鳥瞰図画像にあって表示領域として設定した領域を表示用画像メモリ１１へ出力させて車載モニタ５に表示させると共に非表示領域として設定した領域を表示用画像メモリ１１へ出力させることなく車載モニタ５に表示させない（ステップＳ１１）。   In this case, after generating the synthesized bird's-eye view image (step S8), the CPU 22 analyzes the synthesized bird's-eye view image and determines whether or not there is a parking frame (step S21). Here, when the CPU 22 detects that there is a parking frame (“YES” in step S21), the CPU 22 detects the area near the detected parking frame on the basis of the own vehicle graphic representing the own vehicle in the composite bird's-eye view image. While setting as a display area, the area beyond the detected parking frame is set as a non-display area (step S22). Then, the CPU 22 outputs the area set as the display area in the synthesized bird's-eye view image to the display image memory 11 for display on the in-vehicle monitor 5 and as the non-display area in the same manner as in the first embodiment. The set area is not displayed on the vehicle-mounted monitor 5 without being output to the display image memory 11 (step S11).

以上に説明した一連の処理により、ＣＰＵ２２は、駐車枠が有る旨を検出すると、図８に示すように、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された駐車枠至近の領域を車載モニタ５に表示させる一方で当該検出された駐車枠以遠の領域を車載モニタ５に表示させないことになる。尚、この場合も、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された駐車枠至近の領域を車載モニタ５に表示させる一方で当該検出された駐車枠以遠の領域をフェードアウトさせて車載モニタ５に表示させるようにしても良い。   When the CPU 22 detects that there is a parking frame by the series of processes described above, as shown in FIG. 8, the detected parking frame on the basis of the own vehicle figure representing the own vehicle in the composite bird's-eye view image. While the near area is displayed on the in-vehicle monitor 5, the area beyond the detected parking frame is not displayed on the in-vehicle monitor 5. In this case as well, the area close to the detected parking frame is displayed on the in-vehicle monitor 5 on the basis of the own vehicle figure representing the own vehicle in the composite bird's-eye view image, while the area beyond the detected parking frame is displayed. It may be faded out and displayed on the in-vehicle monitor 5.

以上に説明したように第２の実施形態によれば、車両周辺画像処理システム２１において、過去の鳥瞰図画像と現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成した後に、駐車枠が存在しているか否かを判定し、駐車枠が存在している旨を検出すると、合成鳥瞰図画像にあって自車両を表す自車両図形を基準として当該検出された駐車枠至近の領域を車載モニタ５に表示する一方で当該検出された駐車枠以遠の領域を車載モニタ５に表示しないまたはフェードアウトして車載モニタ５に表示するように構成したので、仮に自車両周辺で駐車枠以遠に障害物が存在したとしても、その障害物が歪んで表示されることがなくなり、また、仮に自車両周辺で駐車枠以遠の障害物が歪んで表示されたとしても、その領域がフェードアウトされて表示されることになるので、上記した第１の実施形態に記載したものと同様にして、ユーザを混乱させてしまうことを未然に回避することができ、ユーザの運転を適切に支援することができる。   As described above, according to the second embodiment, the vehicle peripheral image processing system 21 generates a synthesized bird's-eye view image by combining the past bird's-eye view image and the current bird's-eye view image, and then there is a parking frame. If it is determined whether or not the parking frame exists, the detected area close to the parking frame is referred to the in-vehicle monitor 5 with reference to the own vehicle figure representing the own vehicle in the composite bird's-eye view image. On the other hand, since the area beyond the detected parking frame is not displayed on the in-vehicle monitor 5 or is faded out and displayed on the in-vehicle monitor 5, there is an obstacle beyond the parking frame around the own vehicle. However, even if the obstacle is not displayed in a distorted manner, and the obstacle beyond the parking frame is displayed in the vicinity of the host vehicle, the area is faded out and displayed. Therefore, in the same manner as that described in the first embodiment, it is possible to prevent the user from being confused and to appropriately support the user's driving. .

（その他の実施形態）
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
合成鳥瞰図画像にあって自車両を表す自車両図形を基準として所定距離至近の領域を車載モニタに表示する一方で所定距離以遠の領域を車載モニタに表示しないまたはフェードアウトして車載モニタに表示する構成であっても良い。 (Other embodiments)
The present invention is not limited to the above-described embodiment, and can be modified or expanded as follows.
A configuration in which an area close to a predetermined distance is displayed on the in-vehicle monitor with reference to the own vehicle figure representing the own vehicle in the composite bird's eye view image, while an area beyond the predetermined distance is not displayed on the in-vehicle monitor or faded out and displayed on the in-vehicle monitor. It may be.

本発明の第１の実施形態を示す機能ブロック図Functional block diagram showing a first embodiment of the present invention システムの全体構成を概略的に示す図Diagram showing the overall system configuration 障害物検出センサの配置態様を概略的に示す図The figure which shows the arrangement | positioning aspect of an obstacle detection sensor roughly フローチャートflowchart 車載モニタの表示態様を示す図The figure which shows the display mode of in-vehicle monitor 本発明の第２の実施形態を示す機能ブロック図Functional block diagram showing a second embodiment of the present invention 図４相当図Figure 4 equivalent 図５相当図Figure equivalent to FIG. 従来における車載モニタの表示態様を示す図The figure which shows the display mode of the conventional vehicle-mounted monitor

符号の説明Explanation of symbols

図面中、１は車両周辺画像処理システム、２は車両、３は後方カメラ（撮影手段）、５は車載モニタ（表示手段）、７はＣＰＵ（自車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段）、８は鳥瞰図画像生成回路（鳥瞰図画像生成手段）、９は第１の画像メモリ（鳥瞰図画像記憶手段）、１５は超音波センサ信号入力回路（障害物検出手段）、２１は車両周辺画像処理システム、２２はＣＰＵ（自車両移動状態検出手段、鳥瞰図画像移動手段、合成鳥瞰図画像生成手段、表示制御手段、駐車枠検出手段）である。   In the drawings, 1 is a vehicle peripheral image processing system, 2 is a vehicle, 3 is a rear camera (photographing means), 5 is an in-vehicle monitor (display means), 7 is a CPU (own vehicle moving state detecting means, bird's eye view image moving means, composition) Bird's eye view image generation means, display control means), 8 is a bird's eye view image generation circuit (bird's eye view image generation means), 9 is a first image memory (bird's eye view image storage means), and 15 is an ultrasonic sensor signal input circuit (obstacle detection means). ), 21 is a vehicle periphery image processing system, and 22 is a CPU (own vehicle movement state detection means, bird's eye view image movement means, synthetic bird's eye view image generation means, display control means, parking frame detection means).

Claims (3)

自車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
自車両の移動状態を検出する自車両移動状態検出手段と、
前記自車両移動状態検出手段により検出された自車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
自車両周辺の障害物を検出する障害物検出手段と、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像にあって自車両を表す自車両図形を基準として前記障害物検出手段により検出された障害物至近の領域を表示手段に表示させると共に前記障害物検出手段により検出された障害物以遠の領域を前記表示手段に表示させないまたはフェードアウトさせて前記表示手段に表示させる表示制御手段とを備えたことを特徴とする車両周辺画像処理システム。 Photographing means for photographing the periphery of the vehicle;
A bird's-eye view image generation means for generating a bird's-eye view image by performing coordinate conversion on the image photographed by the photographing means;
A bird's eye view image storage means for storing the bird's eye view image generated by the bird's eye view image generation means;
Own vehicle moving state detecting means for detecting the moving state of the own vehicle;
A bird's-eye view image moving means for rotating or translating a past bird's-eye view image stored in the bird's-eye view image storage means based on the movement state of the own vehicle detected by the own-vehicle moving state detection means;
The past bird's-eye view image rotated or translated by the bird's-eye view image moving means and the current bird's-eye view image generated by performing coordinate conversion on the image taken by the photographing means by the bird's-eye view image generating means are synthesized. A vehicle periphery image processing system comprising a synthetic bird's-eye view image generating means for generating a bird's-eye view image,
Obstacle detection means for detecting obstacles around the vehicle;
The area close to the obstacle detected by the obstacle detecting means is displayed on the display means on the basis of the own vehicle figure representing the own vehicle in the synthesized bird's eye view image generated by the synthetic bird's eye view image generating means, and the obstacle is displayed. A vehicle periphery image processing system, comprising: a display control unit that causes the display unit not to display or fade out an area beyond the obstacle detected by the detection unit. 自車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
自車両の移動状態を検出する自車両移動状態検出手段と、
前記自車両移動状態検出手段により検出された自車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
駐車枠を検出する駐車枠検出手段と、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像にあって自車両を表す自車両図形を基準として前記駐車枠検出手段により検出された駐車枠至近の領域を表示手段に表示させると共に前記駐車枠検出手段により検出された駐車枠以遠の領域を前記表示手段に表示させないまたはフェードアウトさせて前記表示手段に表示させる表示制御手段とを備えたことを特徴とする車両周辺画像処理システム。 Photographing means for photographing the periphery of the vehicle;
A bird's-eye view image generation means for generating a bird's-eye view image by performing coordinate conversion on the image photographed by the photographing means;
A bird's eye view image storage means for storing the bird's eye view image generated by the bird's eye view image generation means;
Own vehicle moving state detecting means for detecting the moving state of the own vehicle;
A bird's-eye view image moving means for rotating or translating a past bird's-eye view image stored in the bird's-eye view image storage means based on the movement state of the own vehicle detected by the own-vehicle moving state detection means;
The past bird's-eye view image rotated or translated by the bird's-eye view image moving means and the current bird's-eye view image generated by performing coordinate conversion on the image taken by the photographing means by the bird's-eye view image generating means are synthesized. A vehicle periphery image processing system comprising a synthetic bird's-eye view image generating means for generating a bird's-eye view image,
Parking frame detection means for detecting a parking frame;
In the synthetic bird's-eye view image generated by the synthetic bird's-eye view image generating means, the area close to the parking frame detected by the parking frame detecting means is displayed on the display means with reference to the own vehicle figure representing the own vehicle, and the parking frame is displayed. A vehicle periphery image processing system, comprising: a display control unit that causes the display unit not to display or fade out an area beyond the parking frame detected by the detection unit. 自車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された画像を座標変換して鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記鳥瞰図画像生成手段により生成された鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
自車両の移動状態を検出する自車両移動状態検出手段と、
前記自車両移動状態検出手段により検出された自車両の移動状態に基づいて前記鳥瞰図画像記憶手段に記憶されている過去の鳥瞰図画像を回転移動または平行移動させる鳥瞰図画像移動手段と、
前記鳥瞰図画像移動手段により回転移動または平行移動された過去の鳥瞰図画像と前記撮影手段により撮影された画像が前記鳥瞰図画像生成手段により座標変換されて生成された現在の鳥瞰図画像とを合成して合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段とを備えた車両周辺画像処理システムであって、
前記合成鳥瞰図画像生成手段により生成された合成鳥瞰図画像にあって自車両を表す自車両図形を基準として所定距離至近の領域を表示手段に表示させると共に所定距離以遠の領域を前記表示手段に表示させないまたはフェードアウトさせて前記表示手段に表示させる表示制御手段を備えたことを特徴とする車両周辺画像処理システム。

Photographing means for photographing the periphery of the vehicle;
A bird's-eye view image generating means for generating a bird's-eye view image by performing coordinate conversion on the image photographed by the photographing means;
A bird's eye view image storage means for storing the bird's eye view image generated by the bird's eye view image generation means;
Own vehicle moving state detecting means for detecting the moving state of the own vehicle;
A bird's eye view image moving means for rotating or translating a past bird's eye view image stored in the bird's eye view image storage means based on the movement state of the own vehicle detected by the own vehicle movement state detecting means;
The past bird's-eye view image rotated or translated by the bird's-eye view image moving means and the current bird's-eye view image generated by performing coordinate conversion on the image taken by the photographing means by the bird's-eye view image generating means are synthesized. A vehicle periphery image processing system comprising a synthetic bird's-eye view image generating means for generating a bird's-eye view image,
In the composite bird's-eye view image generated by the synthetic bird's-eye view image generation means, an area close to a predetermined distance is displayed on the display means with reference to the own vehicle figure representing the own vehicle, and an area beyond the predetermined distance is not displayed on the display means. Alternatively, a vehicle peripheral image processing system comprising display control means for fading out and displaying on the display means.

JP2005272093A 2005-09-20 2005-09-20 Vehicle surrounding image processing system Pending JP2007088577A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005272093A JP2007088577A (en) 2005-09-20 2005-09-20 Vehicle surrounding image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005272093A JP2007088577A (en) 2005-09-20 2005-09-20 Vehicle surrounding image processing system

Publications (1)

Publication Number Publication Date
JP2007088577A true JP2007088577A (en) 2007-04-05

Family

ID=37975152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005272093A Pending JP2007088577A (en) 2005-09-20 2005-09-20 Vehicle surrounding image processing system

Country Status (1)

Country Link
JP (1) JP2007088577A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044654A1 (en) * 2007-10-01 2009-04-09 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
US8855850B2 (en) 2007-10-01 2014-10-07 Nissan Motor Co., Ltd. Parking assistant and parking assisting method
CN104554009A (en) * 2014-12-31 2015-04-29 广东光阵光电科技有限公司 Double-view-angle backing image pick-up method and system
JP2017520133A (en) * 2014-04-04 2017-07-20 ワイズ オートモーティブ コーポレーションＷｉｓｅ Ａｕｔｏｍｏｔｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ Vehicle periphery image generation apparatus and method
WO2018180142A1 (en) * 2017-03-31 2018-10-04 マツダ株式会社 Image display device for vehicle and image processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2003191810A (en) * 2001-12-26 2003-07-09 Denso Corp Vehicle surroundings monitoring system, and vehicle moving state detector
JP2004213489A (en) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd Driving support device for vehicle
JP2005001570A (en) * 2003-06-12 2005-01-06 Equos Research Co Ltd Parking support device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2003191810A (en) * 2001-12-26 2003-07-09 Denso Corp Vehicle surroundings monitoring system, and vehicle moving state detector
JP2004213489A (en) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd Driving support device for vehicle
JP2005001570A (en) * 2003-06-12 2005-01-06 Equos Research Co Ltd Parking support device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044654A1 (en) * 2007-10-01 2009-04-09 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
JP2009101984A (en) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd Parking assistance device and method
US8855850B2 (en) 2007-10-01 2014-10-07 Nissan Motor Co., Ltd. Parking assistant and parking assisting method
US8988250B2 (en) 2007-10-01 2015-03-24 Nissan Motor Co., Ltd. Parking assistant and parking assisting method
JP2017520133A (en) * 2014-04-04 2017-07-20 ワイズ オートモーティブ コーポレーションＷｉｓｅ Ａｕｔｏｍｏｔｉｖｅ Ｃｏｒｐｏｒａｔｉｏｎ Vehicle periphery image generation apparatus and method
CN104554009A (en) * 2014-12-31 2015-04-29 广东光阵光电科技有限公司 Double-view-angle backing image pick-up method and system
WO2018180142A1 (en) * 2017-03-31 2018-10-04 マツダ株式会社 Image display device for vehicle and image processing method
JP2018171965A (en) * 2017-03-31 2018-11-08 マツダ株式会社 Image display device for vehicle and image processing method
CN110476420A (en) * 2017-03-31 2019-11-19 马自达汽车株式会社 Device for displaying images in vehicles and image processing method
CN110476420B (en) * 2017-03-31 2021-05-04 马自达汽车株式会社 Image display device for vehicle and image processing method

Similar Documents

Publication Publication Date Title
JP5321267B2 (en) Vehicular image display device and overhead image display method
JP2008013015A (en) Vehicle surroundings image producing device and image switching method
JP2016097896A (en) Image display control device
JP6425991B2 (en) Towing vehicle surrounding image generating apparatus and method for generating towing vehicle surrounding image
JP2011035729A (en) Apparatus and method for displaying vehicle-surrounding image
JP2010130673A (en) Image processing apparatus, image processing method, and image processing program
JP7443705B2 (en) Peripheral monitoring device
JP2008279875A (en) Parking support device
JP2007168560A (en) Parking support apparatus
JP2019186853A (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
JP2006054662A (en) Drive support device
JP7006460B2 (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
JP2008085691A (en) Vehicle periphery monitoring apparatus
JP2016189576A (en) Image display control device
JP2007088577A (en) Vehicle surrounding image processing system
JP2004147083A (en) Driving support apparatus
WO2018042976A1 (en) Image generation device, image generation method, recording medium, and image display system
JP3961969B2 (en) Vehicle periphery image processing system
KR20100005971A (en) A vehicle around view monitorring system
JP2006160194A (en) Parking support device
WO2017179206A1 (en) Display control device for parking assistance, and display control method for parking assistance
JP2007290433A (en) Parking support system
JP2022023870A (en) Display control device
JP4317046B2 (en) Parking assistance system
JP5067136B2 (en) Vehicle periphery image processing apparatus and vehicle periphery state presentation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091104