JP4928956B2 - Overhead image providing device, vehicle, and overhead image providing method - Google Patents
Overhead image providing device, vehicle, and overhead image providing method Download PDFInfo
- Publication number
- JP4928956B2 JP4928956B2 JP2007009349A JP2007009349A JP4928956B2 JP 4928956 B2 JP4928956 B2 JP 4928956B2 JP 2007009349 A JP2007009349 A JP 2007009349A JP 2007009349 A JP2007009349 A JP 2007009349A JP 4928956 B2 JP4928956 B2 JP 4928956B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- image
- image data
- pseudo
- overhead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 47
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、俯瞰画像提供装置、車両、および俯瞰画像提供方法に関する。 The present invention relates to an overhead image providing apparatus, a vehicle, and an overhead image providing method.
従来、カメラからの撮像データを視点変換して俯瞰画像データとし、俯瞰画像を利用者に対して表示する俯瞰画像提供装置が知られている。この装置では、地面に描かれた白線等を真上から視認できることとなり、例えば駐車支援など用いられる。しかし、俯瞰画像では、立体物が正確に表示されにくく、特に立体物の高さが高くなるほど立体物の形状が実際のものと異なってしまう。 2. Description of the Related Art Conventionally, there is known an overhead image providing apparatus that converts viewpoints of imaging data from a camera into overhead image data and displays the overhead image to a user. In this device, a white line or the like drawn on the ground can be viewed from directly above, and for example, parking assistance is used. However, in the bird's-eye view image, the three-dimensional object is difficult to be displayed accurately, and the shape of the three-dimensional object differs from the actual one as the height of the three-dimensional object increases.
そこで、俯瞰画像中の立体物の存在する箇所に、カメラにより撮像された立体物の画像を貼り付けて表示する俯瞰画像提供装置が提案されている。この装置によれば、実際の形状に近い立体物を俯瞰画像中で表示させることができる（特許文献１参照）。
しかし、従来の装置では、俯瞰画像中の立体物の存在した箇所に、カメラにより撮像された立体物の画像を貼り付けるため、実際に立体物が存在しない地面箇所についても、あたかも立体物が存在するように認識されやすくなってしまう。 However, in the conventional apparatus, since the image of the three-dimensional object picked up by the camera is pasted to the place where the three-dimensional object exists in the overhead view image, it is as if the three-dimensional object exists even in the ground part where the three-dimensional object does not actually exist. It becomes easy to be recognized.
本発明は、上記の問題に鑑み、地面箇所と立体物との誤認を抑制することが可能な俯瞰画像提供装置、車両、および俯瞰画像提供方法を提供することを目的とする。 An object of this invention is to provide the bird's-eye view image provision apparatus, vehicle, and bird's-eye view image provision method which can suppress misidentification with a ground location and a solid object in view of said problem.
本発明の俯瞰画像提供装置は、カメラにより撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成する俯瞰画像生成手段と、俯瞰画像生成手段により生成された俯瞰画像データから立体物の画像データを抽出する抽出手段と、抽出手段により抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成手段と、疑似立体物生成手段により生成された疑似立体物の画像データを、抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与手段と、付与手段により疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示手段と、を備えることを特徴とする。 The overhead image providing apparatus of the present invention includes an overhead image generation unit that generates viewpoint data by converting viewpoints of imaging data obtained by being captured by a camera based on a predetermined reference plane, and an overhead image generation unit. Extraction means for extracting image data of a three-dimensional object from the generated overhead image data, and image data of a pseudo three-dimensional object having a size that fits within the three-dimensional object image indicated by the three-dimensional object image data extracted by the extraction means Three-dimensional object image data existed from the overhead image data from which the three-dimensional object image data was extracted by the extraction means from the pseudo three-dimensional object image generation means and the pseudo three-dimensional object image data generated by the pseudo three-dimensional object generation means. And a display unit that displays an image on the basis of the overhead image data after application to which image data of the pseudo three-dimensional object is applied by the application unit. And features.
本発明の特徴に係る俯瞰画像提供装置によると、俯瞰画像中の立体物画像内に収まる大きさの疑似立体物の画像データを生成して、生成された疑似立体物の画像データを俯瞰画像データのうち立体物の画像データが存在した箇所に付与する。このため、画像表示された場合、疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。 According to the bird's-eye view image providing apparatus according to the feature of the present invention, the image data of the pseudo three-dimensional object having a size that fits within the three-dimensional object image in the bird's-eye view image is generated, and the generated image data of the pseudo three-dimensional object is used as the bird's-eye view image data. Of the three-dimensional object image data. For this reason, when the image is displayed, the pseudo three-dimensional object is contained in the three-dimensional object in the overhead image, and the ground part and the three-dimensional object are mistakenly recognized without attaching the pseudo three-dimensional object to the ground part in the overhead image. Can be suppressed.
また、本発明の特徴に係る俯瞰画像提供装置において、疑似立体物画像生成手段は、立体物画像のうち立体物上方部分の画像を縮小した縮小立体物の画像データを生成することにより、立体物画像内に収まる大きさの疑似立体物の画像データを生成することが好ましい。 Further, in the overhead image providing apparatus according to the feature of the present invention, the pseudo three-dimensional object image generating means generates the three-dimensional object by generating the image data of the reduced three-dimensional object obtained by reducing the image of the upper part of the three-dimensional object among the three-dimensional object image. It is preferable to generate image data of a pseudo three-dimensional object that fits in the image.
この俯瞰画像提供装置によると、疑似立体物は、俯瞰画像中の立体物の一部の画像が縮小されたものとなる。このため、疑似立体物の画像は俯瞰画像中の立体物画像に近いものとなりやすく、画像表示した場合に、利用者に与える違和感を軽減させることができる。 According to this bird's-eye view image providing apparatus, the pseudo three-dimensional object is obtained by reducing a part of the three-dimensional object in the bird's-eye view image. For this reason, the image of the pseudo three-dimensional object tends to be close to the three-dimensional object image in the bird's-eye view image, and can reduce the sense of discomfort given to the user when the image is displayed.
また、本発明の特徴に係る俯瞰画像提供装置において、疑似立体物画像生成手段は、実空間上でカメラに近い側から遠い側に向かって、カメラの光軸と基準面とのなす角度を小さくするべく基準面の角度を変化させ、各基準面に基づいて撮像データ内の立体物の画像データを視点変換する拡張変換を行うことにより、立体物画像内に収まる大きさの疑似立体物の画像データを生成することが好ましい。 Further, in the overhead image providing device according to the feature of the present invention, the pseudo three-dimensional object image generating means reduces the angle formed by the optical axis of the camera and the reference plane from the side closer to the camera in the real space to the side farther from the side. By changing the angle of the reference plane as much as possible and performing an extended conversion that converts the viewpoint of the image data of the three-dimensional object in the imaging data based on each reference plane, an image of a pseudo three-dimensional object that fits within the three-dimensional object image It is preferable to generate data.
この俯瞰画像提供装置によると、実空間上でカメラに遠い側は、カメラの光軸と基準面とのなす角度が小さくなり、投影面となる基準面が地面等から切り立って、立体物と基準面とのなす角度が小さくなる。このため、通常の視点変換において、立体物は俯瞰画像として表示された場合、投影面となる基準面が地面等であるため、その上方側が変形しやすく利用者に違和感を与えやすいが、基準面が地面等から切り立ち立体物となす角度が小さくなると、その変形量を抑制することができる。従って、画像表示した場合に、利用者に与える違和感を軽減させることができる。 According to this overhead view image providing device, the angle between the optical axis of the camera and the reference plane becomes smaller on the side far from the camera in real space, and the reference plane that becomes the projection plane stands out from the ground etc. The angle made with the surface is reduced. For this reason, in a normal viewpoint conversion, when a three-dimensional object is displayed as a bird's-eye view image, the reference plane that is the projection plane is the ground or the like, so that the upper side is easily deformed and the user is likely to feel uncomfortable. When the angle between the object and the three-dimensional object is reduced, the amount of deformation can be suppressed. Therefore, it is possible to reduce a sense of discomfort given to the user when an image is displayed.
また、本発明の特徴に係る俯瞰画像提供装置において、疑似立体物画像生成手段は、抽出手段により抽出された立体物の画像データに対応する実空間上の立体物が、実空間上でカメラから所定距離以上離れている場合に、拡張変換を行うことが好ましい。 Further, in the overhead image providing apparatus according to the feature of the present invention, the pseudo three-dimensional object image generating unit is configured such that the three-dimensional object in the real space corresponding to the image data of the three-dimensional object extracted by the extracting unit is transmitted from the camera in the real space. It is preferable to perform extension conversion when the distance is more than a predetermined distance.
この俯瞰画像提供装置によると、実世界上においてカメラから近い立体物は俯瞰画像に表示された場合、比較的変形量が少なくなるため、実空間上において立体物がカメラから所定距離以上離れている場合に、拡張変換を行うことで、適切に利用者に与える違和感を軽減させることができる。 According to this bird's-eye view image providing device, when a three-dimensional object close to the camera in the real world is displayed in the bird's-eye view image, the amount of deformation is relatively small, so the three-dimensional object is separated from the camera by a predetermined distance or more in real space. In such a case, the uncomfortable feeling given to the user can be reduced by performing the extension conversion.
また、本発明の特徴に係る俯瞰画像提供装置において、付与手段は、抽出手段によって立体物の画像データが抽出された俯瞰画像データにおける立体物の画像データが存在した箇所のうち、疑似立体物の画像データが付与された箇所を除く部分に対し、地面とは異なる色または異なる模様の画像データを付与することが好ましい。 Further, in the overhead image providing apparatus according to the feature of the present invention, the assigning unit includes a pseudo three-dimensional object among the places where the three-dimensional object image data is present in the overhead image data from which the three-dimensional object image data is extracted by the extracting unit. It is preferable that image data having a color different from the ground or a pattern different from the ground is applied to a portion other than the portion to which the image data is applied.
この俯瞰画像提供装置によると、立体物の画像データが抽出された領域のうち、疑似立体物の画像データが付与された箇所を除く部分に地面とは異なる色または異なる模様の画像データを付与することにより、表示したときの違和感を軽減することができる。特に、地面とは異なる色または異なる模様を貼り付けるため、地面と混同してしまい、立体物が存在する可能性がある箇所を地面であると誤認させてしまう事態を防止することができる。 According to this bird's-eye view image providing device, image data having a color different from the ground or a pattern different from that of the portion to which the image data of the pseudo-three-dimensional object is added is extracted from the region where the image data of the three-dimensional object is extracted. Therefore, the uncomfortable feeling when displayed can be reduced. In particular, since a different color or a different pattern from the ground is pasted, it is possible to prevent a situation in which a portion where there is a possibility that a three-dimensional object exists is misidentified as the ground.
本発明の車両は、車両に設置されたカメラと、車両に搭載され、カメラにより撮像された撮像データを入力する俯瞰画像提供装置と、を備えることを特徴とする。 A vehicle according to the present invention includes a camera installed in the vehicle, and an overhead image providing device that is mounted on the vehicle and inputs imaging data captured by the camera.
本発明の車両によると、車体に設置されたカメラと、俯瞰画像提供装置とを備えるため、駐車支援などに適した俯瞰画像の提供を行うことができる。 According to the vehicle of the present invention, since the camera installed on the vehicle body and the overhead image providing device are provided, an overhead image suitable for parking assistance can be provided.
また、本発明の俯瞰画像提供方法は、カメラにより撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成する俯瞰画像生成ステップと、俯瞰画像生成ステップにおいて生成された俯瞰画像データから立体物の画像データを抽出する抽出ステップと、抽出ステップにおいて抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成ステップと、疑似立体物生成ステップにおいて生成された疑似立体物の画像データを、抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与ステップと、付与ステップにおいて疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示ステップと、を備えることを特徴とする。 Further, the overhead image providing method of the present invention includes an overhead image generation step for generating overhead image data by converting viewpoints of imaging data obtained by imaging with a camera based on a predetermined reference plane, and overhead image generation An extraction step for extracting the image data of the three-dimensional object from the overhead image data generated in the step, and image data of the pseudo three-dimensional object having a size that fits in the three-dimensional object image indicated by the three-dimensional object image data extracted in the extraction step. The three-dimensional object image data of the pseudo three-dimensional object image generation step, the pseudo three-dimensional object image data generated in the pseudo three-dimensional object generation step, and the three-dimensional object image data out of the overhead image data from which the three-dimensional object image data is extracted by the extraction means. The granting step to be given to the existing location, and the post-grant overhead image data to which the pseudo three-dimensional image data was given in the granting step Characterized in that it comprises a display step of displaying an image based.
本発明の俯瞰画像提供方法によると、俯瞰画像中の立体物画像内に収まる大きさの疑似立体物の画像データを生成して、生成された疑似立体物の画像データを俯瞰画像データのうち立体物の画像データが存在した箇所に付与する。このため、画像表示された場合、付疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。 According to the bird's-eye view image providing method of the present invention, image data of a pseudo three-dimensional object having a size that fits in a three-dimensional object image in the bird's-eye view image is generated, and the generated pseudo three-dimensional object image data is converted into a three-dimensional image of the bird's-eye view image data. It is given to the place where the image data of the object exists. For this reason, when the image is displayed, the attached pseudo-three-dimensional object is accommodated in the three-dimensional object in the overhead image, and the ground portion and the three-dimensional object are not attached to the ground part in the overhead image. Misidentification can be suppressed.
本発明によると、地面箇所と立体物との誤認を抑制することができる。 According to the present invention, it is possible to suppress misidentification between a ground portion and a three-dimensional object.
次に、図面を用いて、本発明の実施の形態を説明する。なお、本実施形態では、車両に搭載される俯瞰画像提供装置を例に説明する。図１は、第１実施形態に係る俯瞰画像提供装置を含む車両周囲表示システムの概略構成図であり、図２は、車両周囲表示システムの設置の様子を示す図である。図１および図２に示すように、車両周囲表示システム１は、カメラ１０と、俯瞰画像提供装置２０とを備えている。 Next, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, an overhead image providing apparatus mounted on a vehicle will be described as an example. FIG. 1 is a schematic configuration diagram of a vehicle surroundings display system including an overhead image providing apparatus according to the first embodiment, and FIG. 2 is a diagram illustrating an installation state of the vehicle surroundings display system. As shown in FIGS. 1 and 2, the vehicle surrounding display system 1 includes a camera 10 and an overhead image providing device 20.
カメラ１０は、車両の車体に設置され、車両周囲を撮像するものである。図２に示すように、カメラ１０は、俯角がα度で、光軸に対する視点変換の基準面（例えば地面）との角度がβ度で取り付けられているものとする。 The camera 10 is installed in the vehicle body of the vehicle and images the surroundings of the vehicle. As shown in FIG. 2, it is assumed that the camera 10 is attached with an angle of depression of α degrees and an angle with a reference plane (for example, the ground) for viewpoint conversion with respect to the optical axis at an angle of β degrees.
俯瞰画像提供装置２０は、車両に搭載され、カメラにより撮像されて得られた撮像データを入力し、これをもとに車両を上方から見たような俯瞰画像を生成するものである。この俯瞰画像提供装置２０は、画像処理部２１と、モニタ（表示手段）２２とを備えている。 The bird's-eye view image providing device 20 is mounted on a vehicle, receives image data obtained by being picked up by a camera, and generates a bird's-eye view image as if the vehicle was seen from above. The overhead image providing device 20 includes an image processing unit 21 and a monitor (display unit) 22.
俯瞰画像提供装置２０は、地面（道路面）を基準面として俯瞰画像を生成する。このため、道路に描かれる白線などは、歪みなどが少なく実際に車両を上方側から眺めたように表示されることとなる。 The overhead image providing apparatus 20 generates an overhead image using the ground (road surface) as a reference plane. For this reason, the white line drawn on the road is displayed as if the vehicle was actually viewed from above with little distortion.
モニタ２２は、俯瞰画像提供装置２０により生成された俯瞰画像を表示するものである。このモニタ２２を視認することにより、車両運転者は、車両周囲を車両上方から眺めたような画像を確認でき、周囲の障害物等を認識できることとなる。 The monitor 22 displays the overhead image generated by the overhead image providing device 20. By visually recognizing the monitor 22, the vehicle driver can confirm an image of the vehicle surroundings viewed from above the vehicle, and can recognize surrounding obstacles and the like.
図３は、一般的な俯瞰画像の一例等を示す図であり、（ａ）は撮像画像を示し、（ｂ）は一般的な俯瞰画像の一例を示し、（ｃ）は特許文献１に記載の技術による俯瞰画像の一例を示している。図３（ａ）に示すように、撮像画像には、立体物Ｏ１ａと地面上に描かれた円Ｏ２ａとが表示されているとする。ここで、一般的な視点変換により俯瞰画像を生成したとすると、地面が視点変換の基準面であるため、図３（ｂ）に示すように、地面に描かれる円Ｏ２ｂについては正確に表示されるが、立体物Ｏ１ｂについては変形して表示されてしまう。特に、立体物Ｏ１ｂの高さが大きい物体であったり、カメラ１０から離れた箇所に存在したりする場合など、変形量が大きくなってしまう。 FIG. 3 is a diagram illustrating an example of a general overhead view image. FIG. 3A illustrates a captured image, FIG. 3B illustrates an example of a general overhead image, and FIG. 2 shows an example of an overhead image obtained by the above technique. As shown in FIG. 3A, it is assumed that a three-dimensional object O1a and a circle O2a drawn on the ground are displayed in the captured image. Here, if a bird's-eye view image is generated by general viewpoint conversion, since the ground is a reference plane for viewpoint conversion, the circle O2b drawn on the ground is accurately displayed as shown in FIG. However, the three-dimensional object O1b is deformed and displayed. In particular, the amount of deformation becomes large, for example, when the three-dimensional object O1b is an object with a large height or exists at a location away from the camera 10.
このため、特許文献１に係る装置は、図３（ｃ）に示すように俯瞰画像の立体物Ｏ１ｂの位置に撮像画像の立体物Ｏ１ａを貼り付ける。これにより、特許文献１に係る装置では立体物Ｏ１の変形が防止される。しかし、立体物Ｏ１ｃの斜線部に示されるように、本来地面である箇所が立体物Ｏ１であると誤認されてしまう。特に、図３（ｃ）に示す例では、立体物Ｏ１ｃが地面に描かれる円Ｏ２ｃに重なってしまい、円Ｏ２ｃの視認性を低下させてしまう。 For this reason, as shown in FIG. 3C, the apparatus according to Patent Document 1 pastes the three-dimensional object O1a of the captured image at the position of the three-dimensional object O1b of the overhead image. Thereby, in the apparatus according to Patent Document 1, deformation of the three-dimensional object O1 is prevented. However, as indicated by the hatched portion of the three-dimensional object O1c, the place that is originally the ground is mistaken for the three-dimensional object O1. In particular, in the example shown in FIG. 3C, the three-dimensional object O1c overlaps the circle O2c drawn on the ground, and the visibility of the circle O2c is reduced.
本実施形態に係る画像処理部２１は、このような立体物と地面との誤認を防止するように画像処理を実行するものであり、俯瞰画像生成部（俯瞰画像生成手段）２１ａと、抽出部（抽出手段）２１ｂと、疑似立体物画像生成部（疑似立体物画像生成手段）２１ｃと、付与部（付与手段）２１ｄとを有している。 The image processing unit 21 according to the present embodiment performs image processing so as to prevent such a misidentification of a three-dimensional object and the ground, and includes an overhead image generation unit (overhead image generation means) 21a, and an extraction unit (Extraction means) 21b, a pseudo three-dimensional object image generation unit (pseudo three-dimensional object image generation means) 21c, and an adding unit (applying means) 21d.
俯瞰画像生成部２１ａは、カメラ１０により撮像されて得られた撮像データを、所定の基準面をもとに視点変換して俯瞰画像データを生成するものである。視点変換の詳細を説明する。 The overhead image generation unit 21a generates overhead image data by converting the viewpoint of image data obtained by being captured by the camera 10 based on a predetermined reference plane. Details of the viewpoint conversion will be described.
図４は、視点変換の概念を示す図である。まず、カメラ１０は、撮像範囲Ｉｗを撮像画像座標系ＸｂｕＹｂｕの撮像データとして取り込む。ここで、カメラ１０は、鉛直方向をＹＷ軸とし、水平面に対して平行でＹＷ軸に対して直交する軸をＸＷ軸とし、ＸＷ軸およびＹＷ軸に直交する軸をＺＷ軸とした実空間座標系ＸＷＹＷＺＷにおいて座標（ｘＷ，ｙＷ，ｚＷ）＝（０，ｈ，０）の位置に存在する。また、カメラ１０の光軸をＺ軸とし、水平面に対して平行でＺ軸に対して直交する軸をＸ軸とし、Ｘ軸およびＺ軸に直交する軸をＹ軸としたカメラ座標系ＸＹＺが実空間座標系ＸＷＹＷＺＷに対して傾いている。このため、俯瞰画像生成部２１ａは、撮像画像座標系ＸｂｕＹｂｕとして取り込まれた撮像データを所定の変換式により変換して、俯瞰画像データを生成する。 FIG. 4 is a diagram illustrating the concept of viewpoint conversion. First, the camera 10 captures the imaging range Iw as imaging data of the captured image coordinate system X bu Y bu . Here, the camera 10 in the vertical direction and Y W-axis, an axis perpendicular to parallel Y W-axis with respect to the horizontal plane and X W axis, the axis orthogonal to the X W axis and Y W axis Z W real space coordinate system and the axis X W Y W Z-coordinate in W (x W, y W, z W) = (0, h, 0) is present at the position of. Also, a camera coordinate system XYZ in which the optical axis of the camera 10 is the Z axis, the axis parallel to the horizontal plane and orthogonal to the Z axis is the X axis, and the axes orthogonal to the X axis and the Z axis is the Y axis. is tilted with respect to the real space coordinate system X W Y W Z W. Therefore, the overhead image creating unit 21a, the imaging data captured as captured image coordinate system X bu Y bu on the converted by a predetermined conversion formula, and generates an overhead image data.
具体的に、俯瞰画像生成部２１ａは、以下の変換式（１）により、撮像画像座標系ＸｂｕＹｂｕの各座標（ｘｂｕ，ｙｂｕ）を、地面座標系ＸＷＺＷの座標（ｘｗ，ｙｗ）に変換する。
なお、上記変換式（１）は、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と実空間座標系ＸＷＹＷＺＷの座標（ｘＷ，ｙＷ，ｚＷ）との変換式（２）、および、撮像画像座標系ＸｂｕＹｂｕとカメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との変換式（３）とから得られるものである。
次に、俯瞰画像生成部２１ａは、式（１）により得られた地面座標系ＸＷＺＷの座標（ｘｗ，ｙｗ）を変換式（４）により俯瞰画像座標系ＸａｕＹａｕの各座標（ｘａｕ，ｙａｕ）とする。
以上のようにして俯瞰画像生成部２１ａは、撮像画像座標系ＸｂｕＹｂｕの各座標（ｘｂｕ，ｙｂｕ）を、俯瞰画像座標系ＸａｕＹａｕの各座標（ｘａｕ，ｙａｕ）に変換する（すなわち撮像データをもとに俯瞰画像データを生成する）。なお、上記各式においてθは図２において示したβ度が用いられ、ｆはカメラ１０の焦点距離である。 As described above, the overhead image generation unit 21 a uses the coordinates (x bu , y bu ) of the captured image coordinate system X bu Y bu and the coordinates (x au , y au ) of the overhead image coordinate system X au Y au. (That is, overhead image data is generated based on the imaging data). In each of the above equations, β is the β degree shown in FIG. 2, and f is the focal length of the camera 10.
抽出部２１ｂは、俯瞰画像生成部２１ａにより生成された俯瞰画像データから、立体物の画像データを抽出するものである。立体物の抽出法としては複数あり、その１手法としては、例えば車両周囲表示システム１が同方向を撮像する２つ以上のカメラ１０を備え、俯瞰画像生成部２１ａが２つのカメラ１０によって撮像された撮像データを俯瞰画像データに変換し、抽出部２２ａが両者の像の相違から立体物を抽出するものがある。また、車両周囲表示システム１が２つのカメラ１０を備えなくとも、抽出部２１ｂは、時刻ｔ１と時刻ｔ２（時刻ｔ１と相違する時刻）との俯瞰画像データから立体物を抽出してもよい。なお、立体物の抽出法は上記に限るものではない。 The extraction unit 21b extracts image data of a three-dimensional object from the overhead image data generated by the overhead image generation unit 21a. There are a plurality of three-dimensional object extraction methods. As one method, for example, the vehicle surrounding display system 1 includes two or more cameras 10 that capture the same direction, and the overhead image generation unit 21a is captured by the two cameras 10. In some cases, the captured image data is converted into overhead image data, and the extraction unit 22a extracts a three-dimensional object from the difference between the images. Even if the vehicle surrounding display system 1 does not include the two cameras 10, the extraction unit 21b may extract a three-dimensional object from the overhead image data at time t1 and time t2 (time different from time t1). The three-dimensional object extraction method is not limited to the above.
疑似立体物画像生成部２１ｃは、抽出部２１ｂにより抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成するものである。付与部２１ｄは、疑似立体物画像生成部２１ｃにより生成された疑似立体物の画像データを、抽出部２１ｂによって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与するものである。 The pseudo three-dimensional object image generation unit 21c generates image data of a pseudo three-dimensional object having a size that fits in the three-dimensional object image indicated by the three-dimensional object image data extracted by the extraction unit 21b. The assigning unit 21d includes the three-dimensional object image data out of the overhead image data obtained by extracting the three-dimensional object image data from the pseudo three-dimensional object image data generated by the pseudo three-dimensional object image generating unit 21c. It is given to the place.
図５は、図１に示した疑似立体物画像生成部２１ｃおよび付与部２１ｄの処理の概念を示す図である。図５に示すような俯瞰画像Ａが俯瞰画像生成部２１ａにより生成されたとする。この場合、前述したように抽出部２１ｂは、立体物Ｏ１の画像データを抽出する。これにより、立体物Ｏ１が抽出された俯瞰画像Ｂのデータと、立体物Ｏ１の画像データとに分離されることとなる。 FIG. 5 is a diagram illustrating a concept of processing of the pseudo three-dimensional object image generation unit 21c and the adding unit 21d illustrated in FIG. It is assumed that an overhead image A as shown in FIG. 5 is generated by the overhead image generation unit 21a. In this case, as described above, the extraction unit 21b extracts the image data of the three-dimensional object O1. Thereby, the data of the overhead image B from which the three-dimensional object O1 is extracted and the image data of the three-dimensional object O1 are separated.
次いで、疑似立体物画像生成部２１ｃは、立体物Ｏ１の画像データから、疑似立体物画像Ｇ１のデータを生成する。このとき、立体物画像Ｏ１のうち立体物上方部分の画像を切り出し、これを縮小する処理を施す。以上により、疑似立体物画像生成部２１ｃは、立体物Ｏ１の画像データから、立体物画像Ｏ１に収まる大きさの疑似立体物画像Ｇ１のデータを生成する。 Next, the pseudo three-dimensional object image generation unit 21c generates data of the pseudo three-dimensional object image G1 from the image data of the three-dimensional object O1. At this time, an image of the upper part of the three-dimensional object is cut out from the three-dimensional object image O1, and a process of reducing the image is performed. As described above, the pseudo three-dimensional object image generation unit 21c generates the data of the pseudo three-dimensional object image G1 having a size that can be accommodated in the three-dimensional object image O1 from the image data of the three-dimensional object O1.
その後、付与部２１ｄは、俯瞰画像Ａにおいて立体物Ｏ１が存在した俯瞰画像Ｂの箇所に、疑似立体物画像Ｇ１を付与する（貼り付ける）。これにより、付与部２１ｄは、疑似立体物画像Ｇ１が付与された付与後の俯瞰画像Ｃを得る。 Thereafter, the assigning unit 21d assigns (pastes) the pseudo three-dimensional object image G1 to the location of the overhead image B where the three-dimensional object O1 exists in the overhead image A. Thereby, 21 d of provision parts obtain the bird's-eye view image C after provision to which the pseudo three-dimensional object image G1 was provided.
なお、疑似立体物画像生成部２１ｃの縮小は以下のようにされることが望ましい。すなわち、疑似立体物画像生成部２１ｃは、立体物画像Ｏ１の底面の形状と疑似立体物画像Ｇ１の底面の形状とが同じとなるようにすることが望ましい。これにより、疑似立体物画像Ｇ１を付与した場合に、地面部分が一致することとなり、画像表示した場合に、利用者に与える違和感を軽減できるからである。具体的に、図５に示す例では、立体物が直方体であるため、画像横方向に延びる一辺の長さをＬ１に統一し、画像縦方向に延びる一辺の長さをＬ２に統一することが望ましい。 Note that the reduction of the pseudo three-dimensional object image generation unit 21c is desirably performed as follows. That is, it is desirable that the pseudo three-dimensional object image generation unit 21c make the shape of the bottom surface of the three-dimensional object image O1 and the shape of the bottom surface of the pseudo three-dimensional object image G1 the same. Thereby, when the pseudo three-dimensional object image G <b> 1 is applied, the ground portions match each other, and it is possible to reduce a sense of discomfort given to the user when the image is displayed. Specifically, in the example illustrated in FIG. 5, since the three-dimensional object is a rectangular parallelepiped, the length of one side extending in the horizontal direction of the image may be unified to L1, and the length of one side extending in the vertical direction of the image may be unified to L2. desirable.
さらに、付与部２１ｄは、抽出部２１ｂによって立体物の画像データが抽出された俯瞰画像（例えば図５に示す俯瞰画像Ｂ）のデータにおける立体物が存在した箇所のうち、疑似立体物の画像データが付与された箇所を除く部分に対し、地面とは異なる色または模様の画像データを付与する。 Furthermore, the adding unit 21d is a pseudo three-dimensional object image data among the places where the three-dimensional object exists in the data of the bird's-eye view image (for example, the bird's-eye view image B shown in FIG. 5) from which the three-dimensional object image data is extracted by the extraction unit 21b. Image data having a color or pattern different from that of the ground is assigned to the portion other than the portion to which is given.
図６は、図１に示した付与部２１ｄの処理の概念を示す図である。立体物Ｏ１の画像データを抽出し疑似立体物Ｇ１の画像データを付与した場合、利用者は、画像が表示されたときに、図６に示す斜線箇所の部分について違和感を覚えてしまう。このため、付与部２１ｄは、図６に示す斜線箇所に対して地面とは異なる色または模様の画像データを付与する。これにより、違和感を軽減することができる。 FIG. 6 is a diagram illustrating a concept of processing of the adding unit 21d illustrated in FIG. When the image data of the three-dimensional object O1 is extracted and the image data of the pseudo three-dimensional object G1 is added, when the image is displayed, the user feels uncomfortable about the hatched portion shown in FIG. For this reason, the assigning unit 21d assigns image data having a color or a pattern different from the ground to the hatched portion illustrated in FIG. Thereby, a sense of incongruity can be reduced.
なお、斜線部分に対して、地面と同じ色または模様の画像データを付与するよりも、地面とは異なる色または模様の画像データを付与する方が望ましい。斜線箇所が地面と混同されてしまい、実空間上で立体物Ｏ１が存在するかもしれない箇所を地面であると誤認してしまう可能性があるからである。なお、付与部２１ｄは、斜線箇所に、灰色や斜線など、利用者に疑似立体物Ｇ１の陰を連想させる色や模様を付与することが一層望ましい。これにより、陰を表現でき、一層違和感を軽減できるからである。 Note that it is desirable to give image data of a color or pattern different from the ground to the shaded portion, rather than giving image data of the same color or pattern as the ground. This is because the hatched part is confused with the ground, and the part where the three-dimensional object O1 may exist in real space may be mistaken for the ground. In addition, it is more desirable that the assigning unit 21d assigns a color or a pattern that reminds the user of the shade of the pseudo three-dimensional object G1, such as gray or a hatched line, in the hatched portion. This is because the shade can be expressed and the uncomfortable feeling can be further reduced.
そして、上記のモニタ２２は、画像処理部２１によって以上のように処理された疑似立体物の画像データおよび地面とは異なる色または模様の画像データが付与された付与後の俯瞰画像データに基づいて画像表示することとなる。このため、画像表示された場合、疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。 The monitor 22 is based on the image data of the pseudo three-dimensional object processed as described above by the image processing unit 21 and the bird's-eye view image data to which image data having a color or pattern different from the ground is added. An image will be displayed. For this reason, when the image is displayed, the pseudo three-dimensional object is contained in the three-dimensional object in the overhead image, and the ground part and the three-dimensional object are mistakenly recognized without attaching the pseudo three-dimensional object to the ground part in the overhead image. Can be suppressed.
次に、本実施形態に係る俯瞰画像提供方法を説明する。図７は、第１実施形態に係る俯瞰画像提供方法の一例を示すフローチャートである。図７に示すように、まず画像処理部２１の俯瞰画像生成部２１ａは、カメラ１０により撮像されて得られた撮像データを入力する（ステップＳ１）。 Next, the overhead image providing method according to the present embodiment will be described. FIG. 7 is a flowchart illustrating an example of a bird's-eye view image providing method according to the first embodiment. As shown in FIG. 7, first, the overhead image generation unit 21a of the image processing unit 21 inputs imaging data obtained by imaging with the camera 10 (step S1).
次に、俯瞰画像生成部２１ａは、上記式（１）〜（４）を参照して説明したようにして、俯瞰画像データを生成する（ステップＳ２）。その後、抽出部２１ｂは、図５を参照して説明したように、俯瞰画像データから立体物の画像データを抽出する（ステップＳ３）。次いで、疑似立体物画像生成部２１ｃは、立体物画像の上部を切り出す（ステップＳ４）。 Next, the overhead image generation unit 21a generates overhead image data as described with reference to the above formulas (1) to (4) (step S2). Thereafter, as described with reference to FIG. 5, the extraction unit 21 b extracts the image data of the three-dimensional object from the overhead image data (Step S <b> 3). Next, the pseudo three-dimensional object image generation unit 21c cuts out the upper part of the three-dimensional object image (step S4).
その後、疑似立体物画像生成部２１ｃは、ステップＳ４において切り出された立体物上方部分の画像をスケール変換して、疑似立体物の画像データを生成する（ステップＳ５）。次に、付与部２１ｄは、図５に示したように、疑似立体物の画像データを、立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが抽出された箇所に付与する（ステップＳ６）。このとき、付与部２１ｄは、疑似立体物と立体物との底部を合わせて、疑似立体物の画像データを貼り合わせることが望ましい。さらに、付与部２１ｄは、立体物の画像データが存在した箇所のうち、疑似立体物の画像データが付与されなかった箇所に、地面とは異なる色または模様の画像データを付与することが望ましい。 Thereafter, the pseudo three-dimensional object image generation unit 21c scales the image of the upper part of the three-dimensional object cut out in step S4, and generates image data of the pseudo three-dimensional object (step S5). Next, as illustrated in FIG. 5, the assigning unit 21 d assigns the pseudo three-dimensional object image data to a place where the three-dimensional object image data is extracted from the overhead image data from which the three-dimensional object image data is extracted. (Step S6). At this time, it is desirable that the adding unit 21d puts together the image data of the pseudo three-dimensional object by combining the bottoms of the pseudo three-dimensional object and the three-dimensional object. Furthermore, it is desirable that the assigning unit 21d assigns image data having a color or a pattern different from that of the ground to a place where the image data of the pseudo three-dimensional object is not given among the places where the image data of the three-dimensional object exists.
その後、モニタ２２は、疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する（ステップＳ７）。そして、図７に示す処理は俯瞰画像提供装置２０の電源がオフされるまで、繰り返される。 Thereafter, the monitor 22 displays an image based on the post-grant overhead image data to which the image data of the pseudo three-dimensional object is imparted (step S7). And the process shown in FIG. 7 is repeated until the power supply of the bird's-eye view image provision apparatus 20 is turned off.
このようにして、第１実施形態に係る俯瞰画像提供装置２０および俯瞰画像提供方法によれば、俯瞰画像中の立体物画像内に収まる大きさの疑似立体物の画像データを生成して、生成された疑似立体物の画像データを俯瞰画像データのうち立体物の画像データが存在した箇所に付与する。このため、画像表示された場合、疑似立体物は、俯瞰画像中の立体物内に収まることとなり、俯瞰画像中の地面部分に疑似立体物を貼り付けることなく、地面箇所と立体物との誤認を抑制することができる。 Thus, according to the bird's-eye view image providing apparatus 20 and the bird's-eye view image providing method according to the first embodiment, the image data of the pseudo three-dimensional object having a size that fits in the three-dimensional object image in the bird's-eye view image is generated and generated. The image data of the pseudo three-dimensional object is added to a portion of the overhead image data where the image data of the three-dimensional object exists. For this reason, when the image is displayed, the pseudo three-dimensional object is contained in the three-dimensional object in the overhead image, and the ground part and the three-dimensional object are mistakenly recognized without attaching the pseudo three-dimensional object to the ground part in the overhead image. Can be suppressed.
また、第１実施形態によれば、疑似立体物は、俯瞰画像中の立体物の一部の画像が縮小されたものとなる。このため、疑似立体物の画像は俯瞰画像中の立体物画像に近いものとなりやすく、画像表示した場合に、利用者に与える違和感を軽減させることができる。 According to the first embodiment, the pseudo three-dimensional object is obtained by reducing a partial image of the three-dimensional object in the overhead image. For this reason, the image of the pseudo three-dimensional object tends to be close to the three-dimensional object image in the bird's-eye view image, and can reduce the sense of discomfort given to the user when the image is displayed.
また、第１実施形態によれば、立体物の画像データが抽出された領域のうち、疑似立体物の画像データが付与された箇所を除く部分に地面とは異なる色または異なる模様の画像データを付与することにより、表示したときの違和感を軽減することができる。特に、地面とは異なる色または異なる模様を貼り付けるため、地面と混同してしまい、立体物が存在する可能性がある箇所を地面であると誤認させてしまう事態を防止することができる。 Further, according to the first embodiment, image data having a color different from the ground or a pattern different from the ground is applied to a portion of the region from which the image data of the three-dimensional object is extracted except for the portion to which the image data of the pseudo three-dimensional object is added. By giving, it is possible to reduce a sense of discomfort when displayed. In particular, since a different color or a different pattern from the ground is pasted, it is possible to prevent a situation in which a portion where there is a possibility that a three-dimensional object exists is misidentified as the ground.
次に、本発明の第２実施形態を説明する。第２実施形態に係る俯瞰画像提供装置２０は、第１実施形態のものと同様であるが、構成及び処理内容が異なっている。以下、第１実施形態との相違点を説明する。 Next, a second embodiment of the present invention will be described. The overhead image providing apparatus 20 according to the second embodiment is the same as that of the first embodiment, but the configuration and processing contents are different. Hereinafter, differences from the first embodiment will be described.
図８は、第２実施形態に係る俯瞰画像提供装置を含む車両周囲表示システムの概略構成図である。図８に示すように、疑似立体物画像生成部２１ｃは、カメラ１０からの撮像データを入力する構成となっている。さらに、疑似立体物画像生成部２１ｃは、疑似立体物の画像データの生成方法が第１実施形態と異なっている。 FIG. 8 is a schematic configuration diagram of a vehicle surroundings display system including an overhead image providing apparatus according to the second embodiment. As shown in FIG. 8, the pseudo three-dimensional object image generation unit 21 c is configured to input image data from the camera 10. Furthermore, the pseudo three-dimensional object image generation unit 21c is different from the first embodiment in the method of generating the pseudo three-dimensional object image data.
まず、第２実施形態に係る疑似立体物の画像データの生成方法を説明するのに先立って、撮像データを俯瞰画像データに視点変換して表示したときに、立体物が変形する様子を説明する。図９は、俯瞰画像において立体物が変形する様子を示す図である。図９に示すように、撮像データは投影面となる地面を基準面として視点変換されるため、立体物は俯瞰画像において投影像Ｐ１のように変形することとなる。特に立体物の上方側の変形量は大きくなる。 First, prior to describing the method for generating the image data of the pseudo three-dimensional object according to the second embodiment, the manner in which the three-dimensional object is deformed when the captured image data is converted into the overhead image data and displayed. . FIG. 9 is a diagram illustrating a state in which the three-dimensional object is deformed in the overhead view image. As shown in FIG. 9, since the viewpoint of the imaging data is converted with the ground surface serving as the projection plane as a reference plane, the three-dimensional object is deformed as the projection image P1 in the overhead view image. In particular, the amount of deformation on the upper side of the three-dimensional object increases.
図１０は、第２実施形態に係る疑似立体物画像生成部２１ｃによる疑似立体物画像データの生成手法の概念を示す図である。図１０に示すように、第２実施形態に係る疑似立体物画像生成部２１ｃは、実空間上でカメラ１０に近い側から遠い側に向かって、カメラ１０の光軸と基準面とのなす角度を小さくするべく基準面の角度を変化させて視点変換する拡張変換を行う。具体的に疑似立体物画像生成部２１ｃは、実空間上でカメラ１０に近い側から遠い側に向かって、変換式（１）のθを小さくしていくことにより、拡張変換を行う。すなわち、拡張変換では、実空間上でカメラ１０に近い側では基準面Ｂ０は地面であり、次に実空間上でカメラ１０から遠い領域では基準面Ｂ１は地面に対しθ１（＞０）度傾けられており、さらに実空間上でカメラ１０から遠い領域では基準面Ｂ２は地面に対しθ２（＞θ１）度傾けられている。またさらに実空間上でカメラ１０から遠い領域では基準面Ｂ３は地面に対しθ３（＞θ２）度傾けられている。 FIG. 10 is a diagram illustrating a concept of a pseudo three-dimensional object image data generation method by the pseudo three-dimensional object image generation unit 21c according to the second embodiment. As illustrated in FIG. 10, the pseudo three-dimensional object image generation unit 21 c according to the second embodiment has an angle formed by the optical axis of the camera 10 and a reference plane from the side closer to the camera 10 in the real space to the side farther from the side. Expansion conversion is performed to change the viewpoint by changing the angle of the reference plane in order to reduce the angle. Specifically, the pseudo three-dimensional object image generation unit 21c performs extended conversion by decreasing θ in the conversion formula (1) from the side closer to the camera 10 toward the far side in the real space. That is, in the extended transformation, the reference plane B0 is the ground on the side close to the camera 10 in the real space, and the reference plane B1 is inclined by θ1 (> 0) degrees with respect to the ground in a region far from the camera 10 in the real space. Further, in a region far from the camera 10 in the real space, the reference plane B2 is inclined by θ2 (> θ1) degrees with respect to the ground. Further, in an area far from the camera 10 in the real space, the reference plane B3 is inclined by θ3 (> θ2) degrees with respect to the ground.
疑似立体物画像生成部２１ｃは、上記拡張変換を撮像データ内の立体物の画像データに対して行う。これにより、疑似立体物の画像データは、俯瞰画像において例えば図１０に示す投影像Ｐ２のように表示されることとなる。これにより、立体物の変形量を抑制することができ、利用者に与える違和感を軽減させることができる。 The pseudo three-dimensional object image generation unit 21c performs the extension conversion on the image data of the three-dimensional object in the imaging data. Thereby, the image data of the pseudo three-dimensional object is displayed in a bird's-eye view image, for example, as a projection image P2 shown in FIG. Thereby, the deformation amount of a three-dimensional object can be suppressed and the uncomfortable feeling given to a user can be reduced.
また、疑似立体物画像生成部２１ｃは、抽出部２１ｂにより抽出された立体物の画像データに対応する実空間上の立体物が、実空間上でカメラ１０から所定距離以上離れている場合に、拡張変換を行う。実世界上においてカメラ１０から近い立体物は俯瞰画像に表示された場合、比較的変形量が少なくなる。このため、実空間上において立体物がカメラ１０から所定距離以上離れている場合に、拡張変換を行うことで、適切に利用者に与える違和感を軽減させることができる。 Further, the pseudo three-dimensional object image generation unit 21c, when the three-dimensional object in the real space corresponding to the image data of the three-dimensional object extracted by the extraction unit 21b is separated from the camera 10 in the real space by a predetermined distance or more, Perform extended conversion. When a three-dimensional object close to the camera 10 in the real world is displayed as an overhead image, the amount of deformation is relatively small. For this reason, when the three-dimensional object is separated from the camera 10 by a predetermined distance or more in the real space, the uncomfortable feeling given to the user can be appropriately reduced by performing the extension conversion.
ここで、カメラ１０から立体物までの距離は、超音波センサなどによって求めてもよい。また、距離は、撮像画像における座標値から求めてもよい。この場合、撮像画像における座標値と距離との関係を予め求めておき、カメラ１０による撮像時に立体物と地面との接点位置の座標値から距離を求めることとなる。 Here, the distance from the camera 10 to the three-dimensional object may be obtained by an ultrasonic sensor or the like. The distance may be obtained from coordinate values in the captured image. In this case, the relationship between the coordinate value and the distance in the captured image is obtained in advance, and the distance is obtained from the coordinate value of the contact position between the three-dimensional object and the ground at the time of imaging by the camera 10.
図１１は、カメラ１０から立体物までの距離と拡張変換との関係を示す図である。例えば疑似立体物画像生成部２１ｃは、図１１に示すように撮像画像の座標位置から予めカメラ１０から所定距離以上離れている領域を求めておき、この領域を拡張変換領域としておく。そして、疑似立体物画像生成部２１ｃは、撮像データ中の拡張変換領域に立体物が映っている場合に、その立体物の画像データに対して拡張変換を行うこととなる。 FIG. 11 is a diagram illustrating the relationship between the distance from the camera 10 to the three-dimensional object and the extension conversion. For example, as shown in FIG. 11, the pseudo three-dimensional object image generation unit 21c obtains an area away from the camera 10 by a predetermined distance from the coordinate position of the captured image in advance, and sets this area as an extension conversion area. Then, when the three-dimensional object is reflected in the extension conversion area in the imaging data, the pseudo three-dimensional object image generation unit 21c performs extension conversion on the image data of the three-dimensional object.
図１２は、第２実施形態に係る俯瞰画像提供方法の一例を示すフローチャートである。なお、図１２に示すステップＳ１０〜Ｓ１２の処理は、図７に示すステップＳ１〜Ｓ３の処理と同様であるため、説明を省略する。 FIG. 12 is a flowchart illustrating an example of the overhead image providing method according to the second embodiment. In addition, since the process of step S10-S12 shown in FIG. 12 is the same as the process of step S1-S3 shown in FIG. 7, description is abbreviate | omitted.
ステップＳ１２の後、疑似立体物画像生成部２１ｃは立体物がカメラ１０から所定距離以上であるか否かを判断する（ステップＳ１３）。立体物がカメラ１０から所定距離以上でないと判断した場合（ステップＳ１３：ＮＯ）、処理はステップＳ１６に移行する。 After step S12, the pseudo three-dimensional object image generation unit 21c determines whether the three-dimensional object is a predetermined distance or more from the camera 10 (step S13). When it is determined that the three-dimensional object is not longer than the predetermined distance from the camera 10 (step S13: NO), the process proceeds to step S16.
一方、立体物がカメラ１０から所定距離以上であると判断した場合（ステップＳ１３：ＹＥＳ）、疑似立体物画像生成部２１ｃは、立体物の画像データに対して拡張変換処理を実行する（ステップＳ１４）。そして、付与部２１ｄは、疑似立体物の画像データを、立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが抽出された箇所に付与する（ステップＳ１５）。さらに、付与部２１ｄは、立体物の画像データが存在した箇所のうち、疑似立体物の画像データが付与されなかった箇所に、地面とは異なる色または模様の画像データを付与することが望ましい。 On the other hand, when it is determined that the three-dimensional object is equal to or greater than the predetermined distance from the camera 10 (step S13: YES), the pseudo three-dimensional object image generation unit 21c executes an extension conversion process on the image data of the three-dimensional object (step S14). ). Then, the assigning unit 21d assigns the pseudo-three-dimensional object image data to the location where the three-dimensional object image data is extracted from the overhead image data from which the three-dimensional object image data is extracted (step S15). Furthermore, it is desirable that the assigning unit 21d assigns image data having a color or a pattern different from that of the ground to a place where the image data of the pseudo three-dimensional object is not given among the places where the image data of the three-dimensional object exists.
その後、画像処理部２１は、撮像データ中の全ての立体物の画像データに対して、ステップＳ１３〜Ｓ１５の処理を実行したか否かを判断する（ステップＳ１６）。全ての立体物の画像データに対してステップＳ１３〜Ｓ１５の処理を実行していないと判断した場合（ステップＳ１６：ＮＯ）、処理はステップＳ１３に移行する。 Thereafter, the image processing unit 21 determines whether or not the processing of Steps S13 to S15 has been performed on the image data of all three-dimensional objects in the captured data (Step S16). If it is determined that the processing of steps S13 to S15 has not been performed on the image data of all three-dimensional objects (step S16: NO), the processing moves to step S13.
一方、全ての立体物の画像データに対してステップＳ１３〜Ｓ１５の処理を実行したと判断した場合（ステップＳ１６：ＹＥＳ）、モニタ２２は、疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する（ステップＳ１７）。そして、図１２に示す処理は俯瞰画像提供装置２０の電源がオフされるまで、繰り返される。 On the other hand, when it is determined that the processing of steps S13 to S15 has been performed on the image data of all the three-dimensional objects (step S16: YES), the monitor 22 adds the bird's-eye view image to which the pseudo three-dimensional object image data is added. An image is displayed based on the data (step S17). And the process shown in FIG. 12 is repeated until the power supply of the bird's-eye view image provision apparatus 20 is turned off.
このようにして、第２実施形態に係る俯瞰画像提供装置２０および俯瞰画像提供方法によれば、第１実施形態と同様に、地面箇所と立体物との誤認を抑制することができる。また、地面とは異なる色または異なる模様の画像データを付与することにより、表示したときの違和感を軽減することができる。特に、地面とは異なる色または異なる模様を貼り付けるため、地面と混同してしまい、本来立体物が存在する箇所を地面であると誤認させてしまう事態を防止することができる。
さらに、第２実施形態によれば、拡張変換を行うため、実空間上でカメラ１０に遠い側は、カメラ１０の光軸と基準面とのなす角度が小さくなり、投影面となる基準面が地面等から切り立って、立体物と基準面とのなす角度が小さくなる。このため、通常の視点変換において、立体物は俯瞰画像として表示された場合、投影面となる基準面が地面等であるため、その上方側が変形しやすく利用者に違和感を与えやすいが、基準面が地面等から切り立ち立体物となす角度が小さくなると、その変形量を抑制することができる。従って、画像表示した場合に、利用者に与える違和感を軽減させることができる。
Thus, according to the bird's-eye view image providing device 20 and the bird's-eye view image providing method according to the second embodiment, misidentification between the ground portion and the three-dimensional object can be suppressed as in the first embodiment. In addition, by giving image data having a different color or a different pattern from the ground, it is possible to reduce a sense of discomfort when displayed. In particular, since a color or a pattern different from that of the ground is pasted, it is possible to prevent a situation in which the portion where the three-dimensional object originally exists is misunderstood as being the ground.
Furthermore, according to the second embodiment, since the extension conversion is performed, the angle formed between the optical axis of the camera 10 and the reference plane is small on the side far from the camera 10 in the real space, and the reference plane that is the projection plane is The angle between the three-dimensional object and the reference surface is reduced by standing up from the ground. For this reason, in a normal viewpoint conversion, when a three-dimensional object is displayed as a bird's-eye view image, the reference plane that is the projection plane is the ground or the like, so that the upper side is easily deformed and the user is likely to feel uncomfortable. When the angle between the object and the three-dimensional object is reduced, the amount of deformation can be suppressed. Therefore, it is possible to reduce a sense of discomfort given to the user when an image is displayed.
さらに、第２実施形態によれば、実空間上においてカメラ１０から近い立体物は俯瞰画像に表示された場合、比較的変形量が少なくなるため、実空間上において立体物がカメラ１０から所定距離以上離れている場合に、拡張変換を行うことで、適切に利用者に与える違和感を軽減させることができる。 Furthermore, according to the second embodiment, when a three-dimensional object close to the camera 10 in the real space is displayed in the overhead view image, the amount of deformation is relatively small, so the three-dimensional object is a predetermined distance from the camera 10 in the real space. When the distance is more than the above, it is possible to reduce the uncomfortable feeling given to the user appropriately by performing the extension conversion.
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では画像についてのみ説明したが、画像が連続する映像についても同様に違和感を軽減することができる。 As described above, the present invention has been described based on the embodiment, but the present invention is not limited to the above embodiment, and may be modified without departing from the gist of the present invention. For example, although only the image has been described in the above embodiment, a sense of incongruity can be similarly reduced for a video in which images are continuous.
また、俯瞰画像生成部２１ａは、変換式（１）により撮像画像座標系ＸｂｕＹｂｕの各座標（ｘｂｕ，ｙｂｕ）を地面座標系ＸＷＺＷの座標（ｘｗ，ｙｗ）に変換し、その後、変換式（４）により地面座標系ＸＷＺＷの座標（ｘｗ，ｙｗ）を俯瞰画像座標系ＸａｕＹａｕの各座標（ｘａｕ，ｙａｕ）としていたが、これに限らず、変換式（１）および変換式（４）から得られる変換式により直接撮像画像座標系ＸｂｕＹｂｕの各座標（ｘｂｕ，ｙｂｕ）を俯瞰画像座標系ＸａｕＹａｕの各座標（ｘａｕ，ｙａｕ）に変換してもよい。 Further, the overhead image generation unit 21a converts the coordinates (x bu , y bu ) of the captured image coordinate system X bu Y bu into the coordinates (x w , y w ) of the ground coordinate system X W Z W by the conversion formula (1). Then, the coordinates (x w , y w ) of the ground coordinate system X W Z W are set as the coordinates (x au , y au ) of the overhead image coordinate system X au Y au according to the conversion formula (4). Not limited to this, each coordinate (x bu , y bu ) of the captured image coordinate system X bu Y bu is directly converted into the overhead image coordinate system X au Y by the conversion formula obtained from the conversion formula (1) and the conversion formula (4). each coordinate au (x au, y au) may be converted to.
１０…カメラ
２０…俯瞰画像提供装置
２１…画像処理部
２１ａ…俯瞰画像生成部
２１ｂ…抽出部
２１ｃ…疑似立体物画像生成部
２１ｄ…付与部
２２…モニタ
DESCRIPTION OF SYMBOLS 10 ... Camera 20 ... Overhead image provision apparatus 21 ... Image processing part 21a ... Overhead image generation part 21b ... Extraction part 21c ... Pseudo three-dimensional object image generation part 21d ... Giving part 22 ... Monitor
Claims (6)
前記俯瞰画像生成手段により生成された俯瞰画像データから立体物の画像データを抽出する抽出手段と、
前記抽出手段により抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成手段と、
前記疑似立体物生成手段により生成された疑似立体物の画像データを、前記抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与手段と、
前記付与手段により疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示手段と、
を備え、
前記疑似立体物画像生成手段は、前記立体物画像のうち立体物上方部分の画像を縮小した縮小立体物の画像データを生成することにより、前記立体物画像内に収まる大きさの疑似立体物の画像データを生成することを特徴とする俯瞰画像提供装置。 A bird's-eye view image generation means for generating a bird's-eye view image data by converting viewpoints of image pickup data obtained by being picked up by a camera based on a predetermined reference plane;
Extraction means for extracting image data of a three-dimensional object from the overhead image data generated by the overhead image generation means;
Pseudo three-dimensional object image generation means for generating image data of a pseudo three-dimensional object having a size that fits within the three-dimensional object image indicated by the three-dimensional object image data extracted by the extraction means;
Giving means for assigning the image data of the pseudo three-dimensional object generated by the pseudo three-dimensional object generating means to a place where the image data of the three-dimensional object exists in the overhead image data from which the image data of the three-dimensional object is extracted by the extracting means. When,
Display means for displaying an image on the basis of the post-grant bird's-eye image data to which the pseudo three-dimensional image data is given by the giving means;
Equipped with a,
The pseudo three-dimensional object image generation unit generates image data of a reduced three-dimensional object obtained by reducing the image of the upper part of the three-dimensional object of the three-dimensional object image, thereby generating a pseudo three-dimensional object having a size that can be accommodated in the three-dimensional object image. overhead image providing apparatus characterized that you generate image data.
ことを特徴とする請求項１に記載の俯瞰画像提供装置。 The pseudo three-dimensional object image generation means changes the angle of the reference plane in order to reduce the angle formed by the optical axis of the camera and the reference plane from the side close to the camera in the real space to the side far from the camera. A pseudo-three-dimensional image data having a size that can be accommodated in the three-dimensional object image is generated by performing extension conversion for performing viewpoint conversion on the image data of the three-dimensional object in the imaging data based on a reference plane. The overhead image providing apparatus according to claim 1.
ことを特徴とする請求項２に記載の俯瞰画像提供装置。 The pseudo-three-dimensional object image generation unit is configured to perform the extension conversion when a three-dimensional object in real space corresponding to the image data of the three-dimensional object extracted by the extracting unit is separated from the camera by a predetermined distance or more in real space. The overhead image providing apparatus according to claim 2 , wherein:
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の俯瞰画像提供装置。 The adding unit includes a portion excluding a portion to which the image data of the pseudo three-dimensional object is added in a portion where the image data of the three-dimensional object exists in the overhead image data from which the image data of the three-dimensional object is extracted by the extracting unit. against, overhead image providing device according to any one of claims 1 to 3, characterized in that imparting the image data of different colors or different patterns from the ground.
前記車両に搭載され、カメラにより撮像された撮像データを入力する請求項１〜請求項４のいずれか１項に記載の俯瞰画像提供装置と、
を備えることを特徴とする車両。 A camera installed in the vehicle;
The bird's-eye view image providing apparatus according to any one of claims 1 to 4 , wherein the image data mounted on the vehicle and input by the camera is input.
A vehicle comprising:
前記俯瞰画像生成ステップにおいて生成された俯瞰画像データから立体物の画像データを抽出する抽出ステップと、
前記抽出ステップにおいて抽出された立体物の画像データが示す立体物画像内に収まる大きさの疑似立体物の画像データを生成する疑似立体物画像生成ステップと、
前記疑似立体物生成ステップにおいて生成された疑似立体物の画像データを、前記抽出手段によって立体物の画像データが抽出された俯瞰画像データのうち立体物の画像データが存在した箇所に付与する付与ステップと、
前記付与ステップにおいて疑似立体物の画像データが付与された付与後俯瞰画像データに基づいて画像表示する表示ステップと、
を備え、
疑似立体物画像生成ステップでは、前記立体物画像のうち立体物上方部分の画像を縮小した縮小立体物の画像データを生成することにより、前記立体物画像内に収まる大きさの疑似立体物の画像データを生成することを特徴とする俯瞰画像提供方法。 An overhead image generation step of generating overhead image data by converting viewpoints of imaging data obtained by imaging by a camera based on a predetermined reference plane;
An extraction step of extracting image data of a three-dimensional object from the overhead image data generated in the overhead image generation step;
A pseudo three-dimensional object image generation step for generating image data of a pseudo three-dimensional object having a size that fits within the three-dimensional object image indicated by the image data of the three-dimensional object extracted in the extraction step;
A granting step of giving the image data of the pseudo three-dimensional object generated in the pseudo three-dimensional object generation step to a place where the image data of the three-dimensional object exists in the overhead image data from which the image data of the three-dimensional object is extracted by the extracting means. When,
A display step for displaying an image on the basis of the post-grant overhead image data to which the image data of the pseudo three-dimensional object is imparted in the imparting step;
Equipped with a,
In the pseudo three-dimensional object image generation step, by generating image data of a reduced three-dimensional object obtained by reducing the image of the upper part of the three-dimensional object of the three-dimensional object image, an image of the pseudo three-dimensional object having a size that fits in the three-dimensional object image. overhead image providing method characterized that you generate data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007009349A JP4928956B2 (en) | 2007-01-18 | 2007-01-18 | Overhead image providing device, vehicle, and overhead image providing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007009349A JP4928956B2 (en) | 2007-01-18 | 2007-01-18 | Overhead image providing device, vehicle, and overhead image providing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008177856A JP2008177856A (en) | 2008-07-31 |
| JP4928956B2 true JP4928956B2 (en) | 2012-05-09 |
Family
ID=39704542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007009349A Expired - Fee Related JP4928956B2 (en) | 2007-01-18 | 2007-01-18 | Overhead image providing device, vehicle, and overhead image providing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4928956B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5178454B2 (en) * | 2008-10-28 | 2013-04-10 | パナソニック株式会社 | Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method |
| JP5067632B2 (en) * | 2008-11-28 | 2012-11-07 | アイシン精機株式会社 | Bird's-eye image generator |
| JP2012147149A (en) * | 2011-01-11 | 2012-08-02 | Aisin Seiki Co Ltd | Image generating apparatus |
| DE102014204303A1 (en) * | 2014-03-10 | 2015-09-10 | Robert Bosch Gmbh | A method of merging frames captured by a camera system from different positions into a common image |
| JP6257798B2 (en) * | 2014-10-31 | 2018-01-10 | 三菱電機株式会社 | Image processing apparatus and image processing method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3381351B2 (en) * | 1993-12-24 | 2003-02-24 | 日産自動車株式会社 | Ambient situation display device for vehicles |
| EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
| JP2003132349A (en) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | Drawing device |
| JP2005311666A (en) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | Device for visually confirming periphery of vehicle |
-
2007
- 2007-01-18 JP JP2007009349A patent/JP4928956B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008177856A (en) | 2008-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4899424B2 (en) | Object detection device | |
| EP1701306B1 (en) | Driving support system | |
| EP2437494A1 (en) | Device for monitoring area around vehicle | |
| EP1167120B1 (en) | Rendering device for parking aid | |
| US9100554B2 (en) | Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle | |
| JP4797877B2 (en) | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD | |
| JP4816923B2 (en) | Vehicle peripheral image providing apparatus and method | |
| JP4928956B2 (en) | Overhead image providing device, vehicle, and overhead image providing method | |
| JP5003395B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
| JP2009118416A (en) | Vehicle-periphery image generating apparatus and method of correcting distortion of vehicle-periphery image | |
| JP5349224B2 (en) | Image processing apparatus and image processing method | |
| JP2009118415A (en) | Method and apparatus for generating bird's-eye view image | |
| EP3379827B1 (en) | Display device for vehicles and display method for vehicles | |
| US20170206710A1 (en) | Information displaying system provided with head-mounted type display | |
| US20210004614A1 (en) | Surround View System Having an Adapted Projection Surface | |
| JP2006268076A (en) | Driving assistance system | |
| US20190318178A1 (en) | Method, system and device of obtaining 3d-information of objects | |
| JP2017034400A (en) | Travel state display program, travel state display device, and travel state display method | |
| JP4466963B2 (en) | Vehicle front image display apparatus and method | |
| JP2003132349A (en) | Drawing device | |
| JP2007334511A (en) | Object detection device, vehicle, object detection method and program for object detection | |
| JP6458577B2 (en) | Image ranging device | |
| JP2016213708A (en) | Vehicle display device | |
| JP2010003014A (en) | Vehicle surroundings display apparatus and display method thereof | |
| JP4246691B2 (en) | Image information processing system, image information processing method, image information processing program, and automobile |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120213 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4928956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |