JP5516997B2 - Image generation device - Google Patents

Image generation device Download PDF

Info

Publication number
JP5516997B2
JP5516997B2 JP2011129322A JP2011129322A JP5516997B2 JP 5516997 B2 JP5516997 B2 JP 5516997B2 JP 2011129322 A JP2011129322 A JP 2011129322A JP 2011129322 A JP2011129322 A JP 2011129322A JP 5516997 B2 JP5516997 B2 JP 5516997B2
Authority
JP
Japan
Prior art keywords
image
dimensional object
substitute
color
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011129322A
Other languages
Japanese (ja)
Other versions
JP2012257106A (en
Inventor
欣司 山本
一矢 渡邊
聖子 武田
健次 三浦
淳 門脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2011129322A priority Critical patent/JP5516997B2/en
Priority to PCT/JP2012/063188 priority patent/WO2012169355A1/en
Priority to US14/114,665 priority patent/US9672432B2/en
Priority to EP12796019.3A priority patent/EP2720458A4/en
Priority to CN201280028252.4A priority patent/CN103609100B/en
Publication of JP2012257106A publication Critical patent/JP2012257106A/en
Application granted granted Critical
Publication of JP5516997B2 publication Critical patent/JP5516997B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置に関する。   The present invention relates to an image generation apparatus that outputs a bird's-eye view image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral region of a vehicle from an upper virtual viewpoint as a display image.

従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。特に、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となり、見づらくなる。   In a conventional overhead image generation device, a captured image acquired by an in-vehicle camera is projected onto a projection plane parallel to the road surface, that is, an overhead image from directly above is generated by projective transformation with the virtual viewpoint positioned vertically upward. Is done. Therefore, by displaying this bird's-eye view image on the monitor, it helps the driver to grasp the road surface condition around the vehicle. However, the overhead image obtained through such projective transformation has a problem that the image is more distorted in a distant region than in the vicinity region of the in-vehicle camera, making it difficult for the driver to grasp the sense of distance. In particular, a three-dimensional object (not only a person or a vehicle but also a road obstacle such as a construction triangular cone) arranged on the road surface becomes a distorted shape extending in the photographing direction and is difficult to see.

このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
しかしながら、実際の立体障害物を映し出している障害物画像に代えて代替画像を表示する場合、運転者が代替画像と実際の立体障害物とを同定することが困難となる場合が生じる。例えば、検出された立体障害物が人間であり、イラストや写真で表現された人間像が表示された場合、表示画面が小さいと表示画面状の人間像とバックミラーや肉眼で確認した実際の人間とが同一であるかどうか判断することが難しいだけでなく、表示画面が小さいと人間であることさえ確認できなくなるおそれもある。 In order to solve such a problem, for example, a vehicle surrounding image display system described in Patent Document 1 includes a camera for imaging the surroundings of the vehicle, obstacle detection means for detecting obstacles around the host vehicle, obstacles The obstacle detection unit is configured to include a memory unit that stores a substitute image corresponding to an object in advance and an image processing unit that generates an overhead image from a virtual viewpoint around the host vehicle based on an image acquired by the camera. When an object is detected, the image processing unit identifies the obstacle, selects an alternative image corresponding to the identified obstacle, reads out the image from the memory unit, and determines the orientation and inclination of the selected alternative image as a virtual viewpoint. And is superimposed on the overhead image. In this system, the image processing unit converts the image captured by the imaging unit into an overhead view image from the top or side of the vehicle, and based on the information from the obstacle detection unit, the size of the three-dimensional obstacle around the vehicle. An alternative image suitable for the operation is selected from the memory unit and overwritten on the overhead image.
However, when an alternative image is displayed instead of an obstacle image showing an actual three-dimensional obstacle, it may be difficult for the driver to identify the alternative image and the actual three-dimensional obstacle. For example, if the detected three-dimensional obstacle is a human and a human image represented by an illustration or photograph is displayed, if the display screen is small, the human image in the form of a display screen and the actual human confirmed with the rearview mirror or the naked eye Not only is it difficult to determine whether or not they are the same, but if the display screen is small, there is a possibility that even a human being cannot be confirmed.

特開２０１０‐２５１９３９号公報（段落番号〔０００８−００５６〕、図７、図１０）JP 2010-251939 A (paragraph number [0008-0056], FIG. 7, FIG. 10)

上記実情から、認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との視認性を高める技術が望まれている。   In view of the above situation, a technique for improving the visibility between a recognized three-dimensional object and a substitute image synthesized in a region of a three-dimensional object image that is a captured image of the three-dimensional object is desired.

車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明による画像生成装置は、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記立体物の代替画像を出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部とを備え、前記代替画像出力部は、前記立体物を、路面からの高さ方向または横方向で分割し、各領域の平均色または代表色で、代替画像を分割に対応するように色分け着色する。 An image generation apparatus according to the present invention, which outputs a bird's-eye view image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral area of a vehicle from an upper virtual viewpoint, is present in the peripheral area A three-dimensional object recognition unit that recognizes the three-dimensional object to be output and outputs three-dimensional object attribute information indicating the attribute of the three-dimensional object, and the three-dimensional object in the captured image based on position information included in the three-dimensional object attribute information. A three-dimensional object image region determining unit that determines a three-dimensional object image region that is an image region, and a substitute image output that outputs a substitute image of the three-dimensional object colored with a color based on color information included in the three-dimensional object attribute information comprising a part, and an image combining unit that substitute image output from the substitute image output unit to the position of the three-dimensional object image region to generate substitute image with overhead image being synthesized, exits the substitute image Parts are the three-dimensional object is divided in the height direction or transverse direction from a road surface, an average color or a representative color of each region, an alternative image to color colored to correspond to the division.

この発明構成は、実際の立体物と表示画面上の代替画像との同定が、代替画像に実際の立体物の色に対応する色を付与することで改善され、実際の立体物と代替画像との視認性が高まるという事実に基づいている。
上記本発明の構成によると、撮影画像に含まれていた認識立体物は、当該立体物の特徴、特にその特徴的な色を明確に表している代替画像の形となって、その俯瞰画像に含まれることになる。従って、運転者は、この代替画像付き俯瞰画像から車両周辺に位置する立体物を容易に認めることができる。 In the configuration of the present invention, the identification of the actual three-dimensional object and the substitute image on the display screen is improved by giving the substitute image a color corresponding to the color of the actual three-dimensional object. Based on the fact that the visibility of.
According to the above-described configuration of the present invention, the recognized three-dimensional object included in the photographed image is in the form of an alternative image that clearly represents the characteristics of the three-dimensional object, particularly its characteristic color. Will be included. Therefore, the driver can easily recognize a three-dimensional object located around the vehicle from the overhead image with the substitute image.

また、本発明では、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記立体物の代替画像を出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部と、を備え、前記代替画像出力部は、前記立体物を、路面からの高さ方向で分割し、代替画像を分割に対応するように色分け着色する。Further, the present invention is an image generation apparatus that outputs a bird's-eye view image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral region of a vehicle from an upper virtual viewpoint as a display image, A three-dimensional object recognition unit that recognizes a three-dimensional object existing in a peripheral area and outputs three-dimensional object attribute information indicating the attribute of the three-dimensional object; and a position in the captured image based on position information included in the three-dimensional object attribute information. A three-dimensional object image region determining unit that determines a three-dimensional object image region that is an image region of the three-dimensional object, and an output image of the three-dimensional object colored with a color based on color information included in the three-dimensional object attribute information An alternative image output unit that generates an overhead image with an alternative image in which the alternative image output from the alternative image output unit is synthesized at the position of the three-dimensional object image region, Substitute image output unit, said three-dimensional object is divided in the height direction from the road surface, the substitute image is color-coded colored to correspond to the division.

本発明の好適な実施形態の１つでは、前記代替画像出力部は、グラデーションで着色する。 In one preferred embodiment of the present invention, the alternative image output unit is colored with gradation.

本発明の好適な実施形態の１つでは、前記立体物属性情報に含まれている色情報に基づく色で着色する代替画像着色部を備え、この代替画像着色部は、前記色情報に複数の色が含まれる場合、平均色一色で着色する。 In a preferred embodiment of the present invention, an alternative image coloring unit for coloring with a color based on color information included in the three-dimensional object attribute information is provided, and the alternative image coloring unit includes a plurality of color information in the color information. When a color is included, it is colored with one average color.

本発明の好適な実施形態の１つでは、前記代替画像着色部は、動体であれば、移動方向に対応したグラデーションで着色する。 In one preferred embodiment of the present invention , if the substitute image coloring unit is a moving object, it is colored with a gradation corresponding to the moving direction.

本発明の好適な実施形態の１つでは、前記移動方向を示す画像は前記立体物の移動に対応する前記代替画像の残像である。In one preferred embodiment of the present invention, the image indicating the moving direction is an afterimage of the substitute image corresponding to the movement of the three-dimensional object.

立体物画像を代替画像で置き換え、さらに代替画像に着色を施す本発明の基本構想を説明する模式図である。It is a schematic diagram explaining the basic concept of this invention which replaces a solid-object image with an alternative image, and also colors an alternative image. 図１に対して、代替画像も射影変換されることを追加した模式図である。FIG. 2 is a schematic diagram in which an alternative image is also subjected to projective transformation with respect to FIG. 1. 前後左右の４つの撮影画像を用いた俯瞰画像に本発明の代替画像を適用した例を示す模式図である。It is a schematic diagram which shows the example which applied the alternative image of this invention to the bird's-eye view image using four captured images of front, back, left, and right. 本発明による画像生成装置を適用した車両周辺監視システムの機能ブロック図である。1 is a functional block diagram of a vehicle periphery monitoring system to which an image generation device according to the present invention is applied. 車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。It is a functional block diagram of the image processing module which comprises a vehicle periphery monitoring system. 立体物画像を代替画像で置き換えた俯瞰画像を表示する制御の流れを示すフローチャートである。It is a flowchart which shows the flow of control which displays the bird's-eye view image which replaced the solid object image with the alternative image. 立体物画像を代替画像で置き換えた俯瞰画像を表示する過程を説明する模式図である。It is a schematic diagram explaining the process of displaying the bird's-eye view image which replaced the solid object image with the alternative image. 立体物の移動方向を示す残像を付加した代替画像で立体物画像を置き換えた俯瞰画像を表示する過程を説明する模式図である。It is a schematic diagram explaining the process of displaying the bird's-eye view image which replaced the solid object image with the alternative image to which the afterimage indicating the moving direction of the solid object is added. 立体物の移動方向を示す矢印を付加した代替画像で立体物画像を置き換えた俯瞰画像を表示する過程を説明する模式図である。It is a schematic diagram explaining the process of displaying the bird's-eye view image which replaced the solid object image with the alternative image which added the arrow which shows the moving direction of a solid object.

まず、車載カメラの撮影画像に認識された立体物が含まれている場合、その立体物画像を代替画像で置き換えた俯瞰画像が作成される、本発明による俯瞰画像生成過程の基本構想を、図１の模式図を用いて説明する。ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されているが、一般的には、前後のカメラと左右のサイドカメラとからの撮影画像から車両を中心とする車両周囲俯瞰画像が生成される。   First, when a recognized three-dimensional object is included in a captured image of an in-vehicle camera, a basic concept of an overhead image generation process according to the present invention in which an overhead image is created by replacing the three-dimensional object image with a substitute image is shown in FIG. This will be described with reference to FIG. Here, for the sake of simplicity, the generation of a bird's-eye view image using only the image captured by the back camera as the in-vehicle camera is shown, but in general, the images are taken from the front and rear cameras and the left and right side cameras. A vehicle surroundings overhead image centering on the vehicle is generated from the image.

車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、補助的に、超音波やレーザレーダー法や赤外線法を用いた立体物検知が利用される（＃２）。立体物の認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される。また、図１で採用しているように、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。画像認識を通じて、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。さらに、立体物属性情報に含まれている位置情報から、撮影画像における立体物の画像領域である立体物画像領域が決定される（＃４）。   In order to monitor and display a bird's-eye view image as a vehicle periphery monitoring screen, first, a captured image of a peripheral region in the traveling direction of the own vehicle is acquired by the in-vehicle camera (# 1). Here, the acquired captured image is also used for detection processing of a three-dimensional object that becomes an obstacle around the vehicle. For the detection of a three-dimensional object, a general image recognition process is used, but supplementarily, three-dimensional object detection using an ultrasonic wave, a laser radar method, or an infrared method is used (# 2). The three-dimensional object recognition algorithm is well-known and will not be described in detail here, but it is determined whether it is a moving or stationary object using the motion vector method or difference method, size, shape identification by edge detection, type from color information A three-dimensional object is recognized by identification or the like. Further, as shown in FIG. 1, after detecting a three-dimensional object by ultrasonic waves or laser radar, the three-dimensional object may be recognized in more detail by image recognition using a captured image based on the detection information. . Through the image recognition, the three-dimensional object attribute information including the three-dimensional object attribute values such as the position, posture, size, type, and color of the three-dimensional object existing in the field of view of the in-vehicle camera is generated (# 3). Further, a three-dimensional object image region that is an image region of the three-dimensional object in the captured image is determined from the position information included in the three-dimensional object attribute information (# 4).

一方、バックカメラの撮影画像から、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃５）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である車両周辺の俯瞰画像が得られる。なお、立体物画像領域は、撮影画像に対してだけではなく、その俯瞰画像に対しても、立体物属性情報に含まれている位置情報から決定することが可能である。   On the other hand, from the photographed image of the back camera, here, projective transformation with the projection plane parallel to the road surface, that is, viewpoint transformation with a virtual viewpoint set directly above is performed (# 5). Through this first projective conversion process, a bird's-eye view image around the vehicle, which is a bird's-eye view image from directly above the captured image, is obtained. Note that the three-dimensional object image region can be determined from position information included in the three-dimensional object attribute information not only for the captured image but also for the overhead image.

上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、立体物画像領域は、以下に説明するように、代替画像に置き換える上書き処理あるいは上から重ね合わせる重畳処理などの合成処理が行われることによって、立体物が視認しやすいように修正される。   In the surrounding bird's-eye view image by the projective transformation process using the upper viewpoint, when a three-dimensional object is present in front of the camera, distortion occurs such that the vicinity of the top of the three-dimensional object extends. For this reason, the three-dimensional object image region is corrected so that the three-dimensional object can be easily seen by performing a combination process such as an overwriting process for replacing with a substitute image or a superimposing process for superimposing from above, as will be described below. .

まず、立体物画像領域に割り当てる代替画像を生成するために、その基本(ベース)となる代替画像を代替画像データベースから抽出する（＃６）。この代替画像データベースは、車両周辺に存在する可能性があり、このシステムによって認識可能な種別の立体物が、立体物属性情報に含まれている種別情報、動体／静止体情報、大きさ情報などを検索条件として抽出可能に登録されている。
代替画像データベースから抽出された代替画像は、立体物属性情報に含まれている色情報に基づいて着色される（＃７）。この代替画像への着色は、種々のパターンで行うことができる。例えば、
（１）撮影画像における立体物が示している色をそのまま適用する。
（２）特定された立体物の特徴的な色を有している場合その色を適用する。郵便ポストであれば赤色一色、樹木であれば緑色一色、人間であれば上半身部と下半身部で二色構成とする。
（３）動体であれば、動き方向に対応したグラデーションで着色する。
（４）複数の色が含まれている場合、平均色一色で着色する。
（５）立体物を、路面からの高さ方向または横方向で分割し、各領域の平均色または代表色で、代替画像を分割に対応するように色分け着色する。
着色された代替画像は、周辺俯瞰画像における立体物画像領域に位置合わせして、俯瞰画像と合成される（＃８）。なお、合成の際には、立体物画像領域と代替画像とのサイズを合わせるために、必要に応じて代替画像の拡縮処理が行われる。さらに代替画像と合成元の俯瞰画像との境界を目立たなくするために、境界周辺領域は、ぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの抑制処理が行われる。
合成処理により代替画像が組み込まれた最終的な俯瞰画像はモニタに送られ、車両周辺監視の目的でモニタに表示される（＃９）。 First, in order to generate a substitute image to be assigned to the three-dimensional object image area, a substitute image serving as a base (base) is extracted from the substitute image database (# 6). This alternative image database may exist in the vicinity of the vehicle, and the three-dimensional object of the type that can be recognized by this system includes type information, moving / stationary object information, size information, etc. included in the three-dimensional object attribute information. Can be extracted as a search condition.
The substitute image extracted from the substitute image database is colored based on the color information included in the three-dimensional object attribute information (# 7). This alternative image can be colored in various patterns. For example,
(1) The color indicated by the three-dimensional object in the captured image is applied as it is.
(2) If the specified three-dimensional object has a characteristic color, that color is applied. If it is a post box, it is made up of two colors, red for a tree, green for a tree, and upper and lower parts for a human.
(3) If it is a moving object, it is colored with gradation corresponding to the direction of movement.
(4) When a plurality of colors are included, coloring is performed with one average color.
(5) The three-dimensional object is divided in the height direction or the horizontal direction from the road surface, and the substitute image is color-coded so as to correspond to the division with the average color or the representative color of each region.
The colored substitute image is aligned with the three-dimensional object image region in the surrounding bird's-eye view image and synthesized with the bird's-eye view image (# 8). At the time of synthesis, in order to match the sizes of the three-dimensional object image area and the substitute image, enlargement / reduction processing of the substitute image is performed as necessary. Further, in order to make the boundary between the substitute image and the overhead image of the composition source inconspicuous, the boundary peripheral region is subjected to suppression processing such as blurring, blending with peripheral pixels (such as α blending), and desaturation.
The final bird's-eye view image in which the substitute image is incorporated by the synthesis process is sent to the monitor and displayed on the monitor for the purpose of vehicle periphery monitoring (# 9).

図２も、図１と同様に発明の基本構想を説明する模式図であるが、図１による基本構想との相違点は、代替画像も視点変換処理が施されてから、俯瞰画像に合成されることである。代替画像データベースの登録されている代替画像も所定の視点から作成された立体物画像であるが、俯瞰画像における合成されるべき画像位置によっては無視できない違和感が生じる場合がある。この問題を回避するために、合成されるべき画像位置や立体物の種別等に応じて決定される上記違和感がなくなるような視点変換処理を代替画像に対して施す（＃７ａ）。
このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。 FIG. 2 is also a schematic diagram for explaining the basic concept of the invention in the same manner as FIG. 1. However, the difference from the basic concept in FIG. 1 is that the substitute image is also synthesized with the overhead image after the viewpoint conversion processing is performed. Is Rukoto. The substitute image registered in the substitute image database is also a three-dimensional object image created from a predetermined viewpoint, but there may be a sense of incongruity that cannot be ignored depending on the image position to be synthesized in the overhead view image. In order to avoid this problem, a viewpoint conversion process that eliminates the uncomfortable feeling determined according to the position of the image to be combined, the type of the three-dimensional object, and the like is performed on the substitute image (# 7a).
Instead of such a method of avoiding a sense of incongruity through viewpoint conversion, a coloring substitute image is synthesized by synthesizing a colored substitute image with a photographed image before the viewpoint conversion to a bird's-eye view image, and the viewpoint conversion of the synthesized photographed image A configuration in which an overhead image including an image is generated and sent to a monitor may be employed.

図１と図２の基本構想図ではバックカメラからの撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況を良好に把握するためには全周囲俯瞰画像が有効である。図３は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの撮影画像から、撮影画像に含まれる立体物の着色代替画像を含む全周囲俯瞰画像を作成する処理過程を示す基本構想図である。   In the basic concept diagrams of FIGS. 1 and 2, the final bird's-eye view image for monitor display purposes is generated using only the captured image from the back camera. An all-around bird's-eye view image is effective for better understanding of the situation. FIG. 3 shows a process for creating an all-around overhead image including a colored substitute image of a three-dimensional object included in a photographed image from four photographed images from the back camera 1a, left and right side cameras 1b and 1c, and the front camera 1d. FIG.

図３では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。   FIG. 3 illustrates a procedure for generating an all-around overhead image to be displayed on a monitor for parking support in reverse parallel parking. In this example, it is assumed that a triangular cone is reflected as a three-dimensional object to be noted in the captured image of the back camera 1a. The rear shot image by the back camera 1a is projectively converted as a rear region image of the all-around overhead image from directly above the vehicle. Similarly, a captured image by the front camera, a left captured image by the left side camera 1b, and a right captured image by the front camera 1d are respectively projectively transformed as a left region image, a right region image, and a front region image of the all-around overhead image. Here, projective transformation is performed using a mapping table. Since each map data value is different, a suitable map is set. However, each of these maps is created so as to bring about projective transformation with a plane parallel to the road surface as a projection plane.

４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（この例では三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知されるとともに、その立体物を含む周辺領域を撮影した撮影画像から画像認識により認識される。認識された立体物に関する位置情報、種別情報、色情報などを含む立体物属性情報が、バックカメラ１ａからの撮影画像（後方撮影画像）とリンク可能なように出力される。従って、立体物属性情報に含まれている位置情報に基づいて、後方領域画像における立体物が写されている領域が立体物画像領域として決定される。   Of the four in-vehicle cameras, the rear shot image from the back camera 1a includes a three-dimensional object (in this example, a triangular cone). The presence of this three-dimensional object is detected by the three-dimensional object mounted on the vehicle. While being detected by the function, it is recognized by image recognition from a photographed image obtained by photographing a peripheral region including the three-dimensional object. Three-dimensional object attribute information including position information, type information, color information and the like regarding the recognized three-dimensional object is output so that it can be linked to a photographed image (backward photographed image) from the back camera 1a. Therefore, based on the position information included in the three-dimensional object attribute information, a region where the three-dimensional object in the rear region image is copied is determined as the three-dimensional object image region.

さらに、立体物属性情報に含まれている種別情報やサイズ情報などを検索条件として後方領域画像に含まれている立体物（三角コーンと自動車の一部分）の代替画像が抽出される。抽出された代替画像は、立体物属性情報に含まれている色情報に基づいて着色される。その際、色情報は撮影画像における認識された立体物画像の画素値に基づいているので、環境光等の影響を受けている。立体物によっては、そのような自然の色を着色した方がよい場合があるが、一般的には、強調した色で着色した方が良い視認性を得る。この例では、三角コーンの色情報が黄色系の暗い色であったとしても、高彩度の黄色で着色されることで三角コーンの視認性を向上させる。着色された三角コーン及び自動車の一部分である着色代替画像が、後方側俯瞰画像に合成される。その際、後方側俯瞰画像を生成した視点変換マッピングテーブル又はより着色代替画像（三角コーンと自動車の一部分）が見やすくなる最適な視点変換マッピングテーブルを用いて着色代替画像を俯瞰画像化してから合成してもよい。   Furthermore, a substitute image of the three-dimensional object (triangular cone and part of the car) included in the rear region image is extracted using the type information and size information included in the three-dimensional object attribute information as search conditions. The extracted substitute image is colored based on the color information included in the three-dimensional object attribute information. At this time, since the color information is based on the pixel value of the recognized three-dimensional object image in the captured image, it is affected by ambient light or the like. Depending on the three-dimensional object, it may be better to color such a natural color, but in general, it is better to color with an emphasized color to obtain better visibility. In this example, even if the color information of the triangular cone is a yellowish dark color, the visibility of the triangular cone is improved by being colored with high saturation yellow. The colored triangular cone and the colored substitute image that is a part of the automobile are combined with the rear side overhead image. At that time, the color substitute image is synthesized into an overhead image using the viewpoint conversion mapping table that generated the rear side bird's-eye view image or the optimum viewpoint conversion mapping table that makes it easier to see the color substitute image (triangle cone and part of the car). May be.

また、出力された着色代替画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、先に決定された立体物画像領域に抑制処理を施すことが好ましい。このようにして生成された着色代替画像を含む後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。もちろん、着色代替画像の合成を、先に生成しておいた全周囲俯瞰画像に対して後から行うようにしてもよい。   In addition, it is preferable to perform a suppression process on the previously determined three-dimensional object image region in the rear region image (rear side bird's-eye image segment) of the all-around bird's-eye view image to be combined with the output color substitute image. The left overhead image segment, the right overhead image segment, and the forward overhead image segment including the rear overhead image segment including the colored substitute image generated in this way are combined to generate an all-around overhead image that is finally displayed on the monitor. Is done. Of course, the synthesis of the colored substitute image may be performed later on the all-around overhead image generated earlier.

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図３で例示したように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, as illustrated in FIG. 3, an all-around bird's-eye view image is obtained from captured images and three-dimensional object detection information from four in-vehicle cameras, a back camera 1a, a front camera 1d, a left side camera 1b, and a right side camera 1c. The image generation apparatus for creating the image is incorporated in the vehicle for the construction of the vehicle periphery monitoring system. In the following description, these in-vehicle cameras 1a, 1b, 1c, and 1d may be simply referred to as the camera 1 as appropriate. When the vehicle periphery monitoring is operated, an image captured by the camera 1 or an overhead image generated using the captured image is displayed on the monitor.

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。   The camera 1 uses an image sensor such as a charge coupled device (CCD) or a CMOS image sensor (CIS) to take a two-dimensional image of 15 to 30 frames per second in time series, and digitally converts the captured image in real time. It is a digital camera that outputs. The camera 1 includes a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is ensured in the horizontal direction and the optical axis is installed in a vehicle having a depression angle of about 30 degrees.

車両内部には、車両周辺監視システムの中核をなすＥＣＵ２０が設置されている。このＥＣＵ２０は、図４に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。   An ECU 20 that forms the core of the vehicle periphery monitoring system is installed inside the vehicle. As shown in FIG. 4, the ECU 20 includes a sensor input interface 23, a communication interface 70, and the like that process the signal input from the vehicle state detection sensor group as it is or evaluate and transfer it to the inside of the ECU 20, and process input information. A microprocessor and DSP (digital signal processor).

センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサなどが含まれる。   The vehicle state detection sensor group connected to the sensor input interface 23 detects a driving operation or a vehicle running state. Although not shown, the vehicle state detection sensor group includes a steering sensor that measures the steering operation direction (steering direction) and the operation amount (steering amount), a shift position sensor that determines the shift position of the shift lever, and an accelerator pedal. An accelerator sensor that measures the amount of operation, a brake sensor 27 that detects the amount of operation of the brake pedal, a distance sensor that detects the travel distance of the host vehicle, and the like are included.

また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。   The communication interface 70 used as an input / output interface employs an in-vehicle LAN as a data transmission line, and includes control units such as a monitor 21, a touch panel 21T, a power steering unit PS, a transmission mechanism T, and a brake device BK. Connected to allow data transmission. In addition, a speaker 22 is also provided as an audio information output device.

そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。   In addition, the ECU 20 is provided with various functional units constructed in the form of hardware and / or software. The functional unit particularly related to the present invention recognizes a three-dimensional object around the vehicle. A three-dimensional object recognition module 30, an image processing module 50, a display control unit 71, and an audio processing module 72 are exemplified. The monitor display image generated by the image processing module 50 is converted into a video signal by the display control unit 71 and sent to the monitor 21. The voice guide generated by the voice processing module 72, an emergency warning sound, and the like are played by the speaker 22.

立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。   The three-dimensional object recognition module 30 recognizes a three-dimensional object using a three-dimensional object detection unit 31 that performs detection of a three-dimensional object by evaluating detection signals from a plurality of ultrasonic sensors 3 and a captured image from the in-vehicle camera 1. A three-dimensional object recognition unit 32 is included. The ultrasonic sensors 3 are disposed at both ends and the center of the front, rear, left side, and right side of the vehicle, and objects (obstacles) existing in the vicinity of the vehicle are reflected through the reflected waves from them. Can be detected. By processing the return time and amplitude of the reflected wave in each ultrasonic sensor 3, not only the distance from the vehicle to the object and the size of the object can be estimated, but also the detection results of all the ultrasonic sensors 3 are processed over time. Thus, it is also possible to estimate the movement of the object and the outer shape in the lateral direction. The three-dimensional object recognition unit 32 implements an object recognition algorithm known per se, and recognizes a three-dimensional object around the vehicle from the input photographed image, particularly a photographed image that is continuous over time. For detecting a three-dimensional object, either one of the three-dimensional object detection unit 31 and the three-dimensional object recognition unit 32 may be used, but the three-dimensional object recognition unit 32 excellent in detecting the form of the three-dimensional object, and the three-dimensional object The three-dimensional object can be recognized more accurately by providing both the three-dimensional object detection unit 31 excellent in calculating the distance of the three-dimensional object, that is, the position of the three-dimensional object. The three-dimensional object recognition module 30 outputs three-dimensional object attribute information describing the position, posture, size, color tone, and the like of the recognized three-dimensional object. As the three-dimensional object detection unit 31, another three-dimensional object detection device that uses a laser radar can be applied.

図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。   FIG. 5 shows a functional block diagram of the image processing module 50 of the ECU 20. The image processing module 50 has a function of generating an image such as an overhead image converted by projective transformation from a captured image acquired by the camera 1 that captures the periphery of the vehicle.

画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物属性情報取得部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部５４は、立体物認識モジュール３０から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。   The image processing module 50 includes a captured image memory 51, a preprocessing unit 52, an image generation unit 53, a three-dimensional object attribute information acquisition unit 54, an image composition unit 55, and a frame memory 56. The captured image acquired by the camera 1 is developed in the captured image memory 51, and the preprocessing unit 52 adjusts the luminance balance, color balance, and the like between the captured images individually acquired by the camera 1. The three-dimensional object attribute information acquisition unit 54 receives the three-dimensional object attribute information output from the three-dimensional object recognition module 30, and various attribute information such as the position, size, color, and posture of the three-dimensional object described in the three-dimensional object attribute information. Read (data).

画像生成部５３は、俯瞰画像生成部６０、代替画像出力部８０、通常画像生成部６６、立体物画像領域決定部６７を含んでいる。通常画像生成部６６は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。立体物画像領域決定部６７は、立体物属性情報取得部５４から立体物属性情報に含まれている、認識された立体物の位置情報から撮影画像におけるその立体物の画像領域を決定する。その際、撮影画像または俯瞰撮影画像あるいはその両方における立体物画像領域を決定することができる   The image generation unit 53 includes an overhead image generation unit 60, a substitute image output unit 80, a normal image generation unit 66, and a three-dimensional object image region determination unit 67. The normal image generation unit 66 adjusts the captured image to an image quality suitable for monitor display as a vehicle peripheral image as it is. The vehicle peripheral image displayed on the monitor may be one selected by the driver from images captured by the back camera 1a, the left and right side cameras 1b and 1c, and the front camera 1d, or may be a combination of a plurality of captured images. The three-dimensional object image region determination unit 67 determines the image region of the three-dimensional object in the captured image from the position information of the recognized three-dimensional object included in the three-dimensional object attribute information from the three-dimensional object attribute information acquisition unit 54. At that time, the three-dimensional object image area in the photographed image and / or the overhead view photographed image can be determined.

俯瞰画像生成部６０は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像から視点変換処理を通じて俯瞰画像を生成する俯瞰撮影画像生成部６３と、さらにこの実施形態では、後で詳しく説明する代替画像から視点変換処理を通じて俯瞰画像を生成する俯瞰代替画像生成部６４とを備えている。なお、この実施形態では、俯瞰撮影画像生成部６３及び俯瞰代替画像生成部６４における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６２と称している。マッピングテーブル６２を構成する各マッピングテーブル（以下単にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップ及び代替画像の画素データと射影変換画像の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。射影変換選択部６１は、俯瞰代替画像生成部６４に対しては、立体物属性情報から読み出された属性に基づいて、俯瞰撮影画像とできるだけ調和する射影変換を選択する。
俯瞰代替画像生成部６４も複数の種類の射影変換が設定される。俯瞰代替画像生成部６４で実行される射影変換の選択は、代替物（立体物）の種別や、合成先の撮影画像（俯瞰撮影画像）の射影変換の種類（視点位置）に基づいて射影変換選択部６１が行う。なお、俯瞰代替画像生成部６４には、入力した代替画像をそのままスルーして出力する機能も含まれている。 The overhead image generation unit 60 generates an overhead image from one or a plurality of captured images developed in the captured image memory 51 through viewpoint conversion processing, and in this embodiment, details will be described later. An overhead view alternative image generation unit 64 that generates an overhead view image from the alternative image to be described through viewpoint conversion processing is provided. In this embodiment, since the projective transformation in the overhead view captured image generation unit 63 and the overhead view substitute image generation unit 64 is performed by map transformation using a mapping table, various mappings for the projective transformation used here are used. A table is stored in advance so as to be selectable. Such an assembly composed of a plurality of mapping tables that can be selected and stored and the individual mapping table are referred to as a mapping table 62 here. Each mapping table (hereinafter simply referred to as a map) constituting the mapping table 62 can be constructed in various forms. Here, the pixel data of the photographed image and the pixels of the projective transformation image (usually the overhead view photographed image) are used. It is constructed as a map in which the correspondence between data is described and a map in which the correspondence between the pixel data of the substitute image and the pixel data of the projective transformation image is described. In particular, the destination pixel coordinates in the overhead view captured image are described in each pixel of the captured image of one frame, and a different map is applied to each in-vehicle camera. The projection conversion selection unit 61 selects, for the overhead view substitute image generation unit 64, a projection conversion that matches the overhead view image as much as possible based on the attribute read from the three-dimensional object attribute information.
The overhead view substitute image generation unit 64 is also set with a plurality of types of projective transformations. The selection of the projective transformation executed by the overhead view substitute image generation unit 64 is based on the type of substitute (three-dimensional object) and the type of projective transformation (viewpoint position) of the synthesized image (overhead photographed image). The selection unit 61 performs this. The overhead view substitute image generation unit 64 also includes a function of outputting the inputted substitute image as it is.

代替画像出力部８０は、代替画像抽出部８１、代替画像データベース８２、代替画像着色部８３、色強調指示部８４を含む。代替画像データベース８２には、立体物認識部３２によって認識される可能性のある立体物の種々の形態、例えば人間であれば、子ども、大人、女性、男性、さらにはその向きや姿勢など毎に予め作成されたイメージ（写真やイラストなど）画像が代替画像として検索条件によって選択されるように登録され、格納されている。代替画像抽出部８１は、立体物認識部３２によって認識された立体物の代替画像を立体物属性情報に含まれている立体物種別情報などに基づいて代替画像データベースから抽出する。さらに、抽出された代替画像に対して、立体物属性情報に含まれている色情報に基づいて、代替画像着色部８３を着色する。着色のやり方は、代替画像によって適切なものを採用すればよいが、人間なら上半身部分と下半身部分に分けて設定された塗り付け領域に適正な色を付与するようにしたり、全体を適正色で塗りつけるようにしたりしてもよい。また予め、適正色を付与しておいてもよい。ここで適正色とは、運転者がその色で着色された代替画像をみて実際の立体物を想像しやすい色である。三角コーンなら予め付与されている橙色か黄色となり、人間なら撮影画像から得られる上着の色やスカートの色である。色強調指示部８４は、液晶パネルなどの表示画面に表示される代替画像は小さくなるので、その色が視認されやすいように、代替画像への着色する色を強調させる色強調指示を代替画像着色部８３を与える。この色強調指示は、立体物の種類や立体物の車両走行に対する危険度（車両との距離などで判定することができる）によって行われることが好都合なので、立体物属性情報に基づいて行うとよい。   The alternative image output unit 80 includes an alternative image extraction unit 81, an alternative image database 82, an alternative image coloring unit 83, and a color enhancement instruction unit 84. In the alternative image database 82, various forms of solid objects that may be recognized by the three-dimensional object recognition unit 32, for example, human beings, children, adults, women, men, and their orientations and postures. A pre-created image (photo, illustration, etc.) image is registered and stored so as to be selected as a substitute image according to a search condition. The substitute image extraction unit 81 extracts a substitute image of the three-dimensional object recognized by the three-dimensional object recognition unit 32 from the substitute image database based on the three-dimensional object type information included in the three-dimensional object attribute information. Further, the substitute image coloring unit 83 is colored based on the color information included in the three-dimensional object attribute information with respect to the extracted substitute image. As for the coloring method, an appropriate one may be adopted depending on the substitute image, but if human beings, an appropriate color is given to the painted area set separately for the upper body part and the lower body part, or the whole is made with an appropriate color. You may make it smear. Further, an appropriate color may be given in advance. Here, the appropriate color is a color that allows the driver to easily imagine an actual three-dimensional object by looking at an alternative image colored with that color. If it is a triangular cone, it will be the orange or yellow color that is pre-assigned, and if it is a human, it will be the color of the jacket or skirt obtained from the photographed image. Since the substitute image displayed on the display screen such as the liquid crystal panel becomes small, the color enhancement instruction unit 84 gives a color enhancement instruction to emphasize the color to be colored on the substitute image so that the color can be easily recognized. Part 83 is given. This color enhancement instruction is convenient to be performed based on the type of the three-dimensional object and the degree of danger to the vehicle traveling of the three-dimensional object (which can be determined by the distance from the vehicle or the like). .

画像合成部５５は、俯瞰撮影画像の立体物画像領域に俯瞰代替画像生成部６４によって生成された俯瞰代替画像を重ね合わせ合成する。合成方法としては、上書きに限定されず、透明化による重ね合わせなどを採用することができる。合成された代替画像付き俯瞰画像は表示画像としてフレームメモリ５６に転送され、表示制御部７１を介して表示画面としてのモニタ２１の画面に表示される。   The image synthesis unit 55 superimposes and synthesizes the overhead view substitute image generated by the overhead view substitute image generation unit 64 on the three-dimensional object image region of the overhead view photographed image. The combining method is not limited to overwriting, and overlaying by transparency can be employed. The synthesized overhead image with a substitute image is transferred as a display image to the frame memory 56 and displayed on the screen of the monitor 21 as a display screen via the display control unit 71.

次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートと、図７の説明図とを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部６３で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、表示用の俯瞰画像が生成される（＃０５）。 Next, the flow of the overhead view image display by the vehicle periphery monitoring system incorporating the image generating apparatus configured as described above will be described with reference to the flowchart of FIG. 6 and the explanatory diagram of FIG.
When the bird's-eye view image display routine for vehicle periphery monitoring is started, first, the display type of the bird's-eye view image set manually or by default according to the driver's request is read (# 01). Here, the display type of the overhead image defines the captured image and the virtual viewpoint position used when generating the overhead image around the vehicle, the layout of the generated overhead image on the monitor screen, and the like. A map for projective transformation used in the overhead view captured image generation unit 63 is set for each captured image of the in-vehicle camera 1 to be used according to the display type of the read overhead view image (# 02). Captured images of the four in-vehicle cameras 1 are acquired (# 03). An overhead image segment is generated from each captured image using each set map (# 04). In addition to combining the generated overhead image segments, a vehicle overhead image (which may be an illustration or a symbol) set in advance at the position of the host vehicle is arranged to generate a display overhead image (# 05).

立体物認識モジュール３０から立体物属性情報が出力されているかどうかチェックする（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰撮影画像をそのまま利用して表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１５）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。   It is checked whether or not the three-dimensional object attribute information is output from the three-dimensional object recognition module 30 (# 06). If the three-dimensional object attribute information has not been output (# 06 No branch), it is considered that no three-dimensional object to be noticed is reflected in any captured image, and the overhead image captured in step # 05 is used as it is. A display overhead image is generated (# 14). The generated display bird's-eye view image is displayed on the monitor 21 (# 15), and unless there is an instruction to end this bird's-eye view image display routine (# 16 No branch), the process returns to step # 01 again to repeat this routine.

ステップ＃０６のチェックで、立体物属性情報が出力されている場合（＃０６Yes分岐）、
注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物属性情報に含まれている、認識された立体物に関する位置、種別、色、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する（＃０８）。 If the solid object attribute information is output in the check of step # 06 (# 06 Yes branch),
Assuming that a remarkable three-dimensional object is reflected in the photographed image, first, data such as position, type, color, posture, size, etc. relating to the recognized three-dimensional object included in the three-dimensional object attribute information is read ( # 07). Based on the read data regarding the position of the three-dimensional object, the image area of the three-dimensional object in the overhead view photographed image is determined (# 08).

決定された立体物画像領域に合成される当該立体物の代替画像が、立体物属性情報に含まれている種別、大きさ、姿勢などの情報を検索条件として代替画像を抽出して、メモリに展開する（＃０９）。次に、代替画像着色部８３がメモリに展開されている代替画像に対して、立体物属性情報に含まれている色情報に基づいて色塗りされる（＃１０）。立体物属性情報に含まれている色情報は、撮影画像に含まれている立体物の画素値に基づいていることから、照明条件等によって、本来の立体物を特徴付けるような色が検知されていないことも有り得る。この着色処理では、そのような事情が発生していると判断された場合、代替画像に着色する色が強調される。また代替画像の輪郭を強調したりする形状明確化処理を代替画像に施してもよい。   The substitute image of the three-dimensional object to be combined with the determined three-dimensional object image region is extracted as a search condition using information such as the type, size, and posture included in the three-dimensional object attribute information, and stored in the memory. Expand (# 09). Next, the substitute image coloring unit 83 paints the substitute image developed in the memory based on the color information included in the three-dimensional object attribute information (# 10). Since the color information included in the three-dimensional object attribute information is based on the pixel values of the three-dimensional object included in the captured image, a color that characterizes the original three-dimensional object is detected depending on the illumination conditions and the like. There can be nothing. In this coloring process, when it is determined that such a situation has occurred, the color to be colored in the substitute image is emphasized. Further, a shape clarification process for emphasizing the contour of the substitute image may be performed on the substitute image.

着色された代替画像は、撮影画像に対して施された射影変換の種類（視点位置）と、代替画像で代替された立体物の種別や姿勢などに基づいて、最適な射影変換が選択され、そのマップピングデータが俯瞰代替画像生成部６４に設定され（＃１１）、代替画像が射影変換される（＃１２）。もちろん、スルー用マップピングデータが設定され、少なくとも射影変換を施されない代替画像が生成されてもよい。次いで、俯瞰代替画像は俯瞰撮影画像における立体物画像領域に重ね合わせ合成される（＃１３）。このようにして生成された最終的な車両周辺の俯瞰画像は、表示俯瞰画像として生成され（＃１４）、モニタ２１に表示される（＃１５）。   For the colored substitute image, the optimum projective transformation is selected based on the type of projection transformation (viewpoint position) applied to the captured image and the type and orientation of the three-dimensional object substituted with the substitute image, The mapping data is set in the overhead view substitute image generation unit 64 (# 11), and the substitute image is projectively transformed (# 12). Of course, through-map mapping data is set, and at least a substitute image that is not subjected to projective transformation may be generated. Next, the overhead view substitute image is superimposed and synthesized on the three-dimensional object image region in the overhead view photographed image (# 13). The final overhead view image around the vehicle thus generated is generated as a display overhead image (# 14) and displayed on the monitor 21 (# 15).

〔別実施の形態〕 [Another embodiment]

（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）注目すべき立体物として複数の立体物、つまり複数の代替画像を撮影俯瞰画像に合成してもよい。
（３）上述した実施の形態では、立体物画像を着色代替画像に置き換えただけであったが、立体物の移動方向が評価されている場合には、その立体物の移動方向も視認できるような形態で着色代替画像を表示すると好都合である。このことから、図８で示すように、立体物の移動方向を示す残像を付加した代替画像を採用してもよい。また、図９で示すように、立体物の移動方向を示す矢印を付加した代替画像を採用してもよい。
（４）上述した実施の形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザレーダー法や赤外線法を利用することも本発明の範囲内である。 (1) In the above-described embodiment, an example in which one notable solid object is captured in one of the captured images acquired from the four cameras 1 has been described. There may be a case where a single three-dimensional object to be copied is shown in a plurality of captured images. Therefore, in an embodiment in which a plurality of in-vehicle cameras are installed to capture the entire periphery of the vehicle, when a three-dimensional object is included in the captured images of two or more cameras, the three-dimensional object having a larger area It is advantageous if a three-dimensional object image having a region is extracted for generating a three-dimensional object overhead image.
(2) A plurality of three-dimensional objects, that is, a plurality of alternative images, may be combined with a photographed overhead image as a three-dimensional object to be noted.
(3) In the above-described embodiment, the three-dimensional object image is merely replaced with the colored substitute image. However, when the moving direction of the three-dimensional object is evaluated, the moving direction of the three-dimensional object can be visually confirmed. It is convenient to display the colored substitute image in a different form. Therefore, as shown in FIG. 8, an alternative image to which an afterimage indicating the moving direction of the three-dimensional object is added may be employed. Further, as shown in FIG. 9, an alternative image to which an arrow indicating the moving direction of the three-dimensional object is added may be employed.
(4) In the above-described embodiment, as the three-dimensional object detection method, one or a combination of three-dimensional object detection using ultrasonic waves and three-dimensional object detection using image recognition has been presented. It is within the scope of the present invention to use an object detection method such as a laser radar method or an infrared method.

本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。   The present invention can be used for all systems that monitor a vehicle periphery using an overhead image.

２１：モニタ
３０：立体物検知モジュール
３２：立体物認識部
５０：画像処理モジュール
５３：画像生成部
５４：立体物属性情報取得部
５５：画像合成部
６０：俯瞰画像生成部
６１：通常画像生成部
６２：マッピングテーブル
６３：俯瞰撮影画像生成部
６４：俯瞰代替画像生成部
６５：立体物俯瞰画像生成部
８１：代替画像抽出部
８２：代替画像データベース
８３：代替画像着色部
８４：色強調指示部 21: Monitor 30: Solid object detection module 32: Solid object recognition unit 50: Image processing module 53: Image generation unit 54: Solid object attribute information acquisition unit 55: Image composition unit 60: Overhead image generation unit 61: Normal image generation unit 62: Mapping table 63: Overhead shot image generation unit 64: Overhead substitute image generation unit 65: Three-dimensional object overhead image generation unit 81: Alternative image extraction unit 82: Alternative image database 83: Alternative image coloring unit 84: Color enhancement instruction unit

Claims (6)

車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、
前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、
前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記立体物の代替画像を出力する代替画像出力部と、
前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部と、
を備え、
前記代替画像出力部は、前記立体物を、路面からの高さ方向または横方向で分割し、各領域の平均色または代表色で、代替画像を分割に対応するように色分け着色する画像生成装置。 An image generation device that outputs a bird's-eye view image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral area of a vehicle from an upper virtual viewpoint as a display image,
A three-dimensional object recognition unit that recognizes a three-dimensional object existing in the peripheral region and outputs three-dimensional object attribute information indicating the attribute of the three-dimensional object;
A three-dimensional object image region determination unit that determines a three-dimensional object image region that is an image region of the three-dimensional object in the captured image based on position information included in the three-dimensional object attribute information;
An alternative image output unit that outputs an alternative image of the three-dimensional object colored with a color based on color information included in the three-dimensional object attribute information;
An image synthesizing unit that generates an overhead image with a substitute image in which the substitute image output from the substitute image output unit is synthesized at the position of the three-dimensional object image region;
Equipped with a,
The substitute image output unit divides the three-dimensional object in a height direction or a lateral direction from the road surface, and color-codes the substitute image with an average color or a representative color of each region so as to correspond to the division. . 車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、An image generation device that outputs a bird's-eye view image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral area of a vehicle from an upper virtual viewpoint as a display image,
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、  A three-dimensional object recognition unit that recognizes a three-dimensional object existing in the peripheral region and outputs three-dimensional object attribute information indicating the attribute of the three-dimensional object;
前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、A three-dimensional object image region determination unit that determines a three-dimensional object image region that is an image region of the three-dimensional object in the captured image based on position information included in the three-dimensional object attribute information;
前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記立体物の代替画像を出力する代替画像出力部と、  An alternative image output unit that outputs an alternative image of the three-dimensional object colored with a color based on color information included in the three-dimensional object attribute information;
前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部と、An image synthesizing unit that generates an overhead image with a substitute image in which the substitute image output from the substitute image output unit is synthesized at the position of the three-dimensional object image region;
を備え、With
前記代替画像出力部は、前記立体物を、路面からの高さ方向で分割し、代替画像を分割に対応するように色分け着色する画像生成装置。The said alternative image output part is an image generation apparatus which divides | segments the said solid object in the height direction from a road surface, and color-codes and colors an alternative image corresponding to a division | segmentation. 前記代替画像出力部は、グラデーションで着色する請求項１または２に記載の画像生成装置。 The image generation apparatus according to claim 1, wherein the substitute image output unit is colored with gradation . 前記立体物属性情報に含まれている色情報に基づく色で着色する代替画像着色部を備え、この代替画像着色部は、前記色情報に複数の色が含まれる場合、平均色一色で着色する請求項１〜３のいずれか一項に記載の画像生成装置。 An alternative image coloring unit for coloring with a color based on the color information included in the three-dimensional object attribute information is provided, and the alternative image coloring unit is colored with an average color when the color information includes a plurality of colors. The image generation apparatus as described in any one of Claims 1-3 . 前記代替画像着色部は、動体であれば、移動方向に対応したグラデーションで着色する請求項１から４のいずれか一項に記載の画像生成装置。 5. The image generation device according to claim 1, wherein the substitute image coloring unit is colored with a gradation corresponding to a moving direction if it is a moving object. 前記移動方向を示す画像は前記立体物の移動に対応する前記代替画像の残像である請求項５に記載の画像生成装置。 The image generation apparatus according to claim 5 , wherein the image indicating the moving direction is an afterimage of the substitute image corresponding to the movement of the three-dimensional object.
JP2011129322A 2011-06-09 2011-06-09 Image generation device Active JP5516997B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011129322A JP5516997B2 (en) 2011-06-09 2011-06-09 Image generation device
PCT/JP2012/063188 WO2012169355A1 (en) 2011-06-09 2012-05-23 Image generation device
US14/114,665 US9672432B2 (en) 2011-06-09 2012-05-23 Image generation device
EP12796019.3A EP2720458A4 (en) 2011-06-09 2012-05-23 Image generation device
CN201280028252.4A CN103609100B (en) 2011-06-09 2012-05-23 Video generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011129322A JP5516997B2 (en) 2011-06-09 2011-06-09 Image generation device

Publications (2)

Publication Number Publication Date
JP2012257106A JP2012257106A (en) 2012-12-27
JP5516997B2 true JP5516997B2 (en) 2014-06-11

Family

ID=47528234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011129322A Active JP5516997B2 (en) 2011-06-09 2011-06-09 Image generation device

Country Status (1)

Country Link
JP (1) JP5516997B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6501805B2 (en) 2017-01-04 2019-04-17 株式会社デンソーテン Image processing apparatus and image processing method
JP7024186B2 (en) * 2017-01-20 2022-02-24 カシオ計算機株式会社 Display devices, information processing systems, information processing methods and programs
JP6919256B2 (en) * 2017-03-22 2021-08-18 日本電気株式会社 Bird's-eye view image generation device, bird's-eye view image display system, bird's-eye view image generation method and program
JP6787209B2 (en) * 2017-03-23 2020-11-18 日産自動車株式会社 Display control method and display device
JP7115300B2 (en) * 2018-12-26 2022-08-09 株式会社デンソー Image generation device and image display system
JP7183800B2 (en) * 2019-01-10 2022-12-06 トヨタ自動車株式会社 Driving support device
CN113329913A (en) * 2019-01-31 2021-08-31 三菱电机株式会社 Driving support device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3606853B2 (en) * 2001-09-07 2005-01-05 松下電器産業株式会社 Vehicle ambient condition display device
JP2008182312A (en) * 2007-01-23 2008-08-07 Xanavi Informatics Corp Picked-up image display device

Also Published As

Publication number Publication date
JP2012257106A (en) 2012-12-27

Similar Documents

Publication Publication Date Title
WO2012169355A1 (en) Image generation device
JP5516998B2 (en) Image generation device
WO2012096058A1 (en) Image generating device
US9050931B2 (en) Vehicle periphery monitoring system
KR102344171B1 (en) Image generating apparatus, image generating method, and program
JP5516997B2 (en) Image generation device
JP6091586B1 (en) VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING SYSTEM
EP2763407B1 (en) Vehicle surroundings monitoring device
JP5870608B2 (en) Image generation device
WO2012172923A1 (en) Vehicle periphery monitoring device
WO2014069471A1 (en) Image processing system and image processing method
KR20100113959A (en) Vehicle surrounding view display system
JP2002335524A (en) Driving support device
JP5495071B2 (en) Vehicle periphery monitoring device
JP2012071635A5 (en)
WO2005084027A1 (en) Image generation device, image generation program, and image generation method
JP2012105090A (en) Parking support apparatus
US20130093851A1 (en) Image generator
JP5853457B2 (en) Vehicle perimeter monitoring system
JP5500392B2 (en) Vehicle periphery monitoring device
JP4795813B2 (en) Vehicle perimeter monitoring device
CN218877068U (en) Digital rearview mirror with image synthesis function, vehicle-mounted unit system and vehicle
KR20170006543A (en) System and method for eliminating noise of around view
KR20100055872A (en) Rear side sensing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140319

R151 Written notification of patent or utility model registration

Ref document number: 5516997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151