JP2008040799A - Image conversion device and image conversion method - Google Patents
Image conversion device and image conversion method Download PDFInfo
- Publication number
- JP2008040799A JP2008040799A JP2006214361A JP2006214361A JP2008040799A JP 2008040799 A JP2008040799 A JP 2008040799A JP 2006214361 A JP2006214361 A JP 2006214361A JP 2006214361 A JP2006214361 A JP 2006214361A JP 2008040799 A JP2008040799 A JP 2008040799A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lane
- angle
- conversion
- overhead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、自車両の周囲に存在する他車両を検出する画像変換装置および方法に関する。 The present invention relates to an image conversion apparatus and method for detecting other vehicles existing around a host vehicle.
従来、自車両に搭載されたカメラにて道路を撮影し、撮影した画像を俯瞰変換して当該俯瞰変換後の画像から車両の特徴を抽出し、自車両の周囲に存在する他車両を検出する技術が知られている。例えば、特許文献１には、俯瞰変換後の画像からエッジを抽出し、当該エッジに基づいて他車両が存在することを検出する技術が開示されている。
従来の技術においては、低い演算負荷にて正確に他車両を検出することができなかった。すなわち、上述の従来技術においては車線が延びる方向を考慮せずに俯瞰変換を行っているため、俯瞰画像に含まれる車線の向きが一定にはならない。例えば、自車両の走行車線と自車両が進入する進入先車線との角度が一定でない道路（高速道路の合流部など）においては、俯瞰画像において進入先車線の向きは様々な方向を向く。 In the prior art, other vehicles cannot be detected accurately with a low calculation load. That is, in the above-described conventional technology, since the overhead view conversion is performed without considering the direction in which the lane extends, the direction of the lane included in the overhead image is not constant. For example, on roads where the angle between the traveling lane of the host vehicle and the approach destination lane into which the host vehicle enters is not constant (such as a junction of a highway), the direction of the approach destination lane is in various directions in the overhead view image.
この場合、進入先車線における他車両の位置や他車両までの距離などを正確に検出するためには、車線の傾きを考慮した演算が必要になり、演算負荷が増大するとともに正確な演算を行うことが困難であった。
本発明は、上記課題にかんがみてなされたもので、低い演算負荷にて正確に他車両を検出する技術を提供することを目的とする。
In this case, in order to accurately detect the position of the other vehicle in the approach destination lane, the distance to the other vehicle, and the like, it is necessary to perform calculation in consideration of the inclination of the lane, which increases calculation load and performs accurate calculation. It was difficult.
The present invention has been made in view of the above problems, and an object thereof is to provide a technique for accurately detecting another vehicle with a low calculation load.
上記の目的を達成するため、本発明においては、自車両の進行方向と当該自車両の進入先の車線との角度に基づいて、前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定する。そして、この変換処理によって俯瞰画像を取得する。この結果、前記俯瞰画像においては、前記進入先の車線が予め決められた方向に常に向いていることになり、低い演算負荷にて正確に他車両を検出可能な俯瞰画像を取得することが可能になる。 In order to achieve the above object, in the present invention, based on the angle between the traveling direction of the host vehicle and the destination lane of the host vehicle, the destination lane is directed in a specific direction in the overhead image. Identify the conversion process. And a bird's-eye view image is acquired by this conversion processing. As a result, in the bird's-eye view image, the lane of the approach destination always faces in a predetermined direction, and it is possible to obtain an overhead image that can accurately detect other vehicles with a low calculation load. become.
すなわち、自車両が走行する道路において、自車両の進行方向と当該自車両の進入先の車線とが平行ではない場合、個々の道路の敷設状況や車線上での自車両の位置等によって自車両から見た進入先の車線の方向は変動し得る。従って、自車両に固定された画像取得手段にて取得した画像を単に俯瞰画像に変換した場合、俯瞰画像内で前記進入先の車線の方向は一定にならない。 That is, if the traveling direction of the host vehicle and the lane of the destination of the host vehicle are not parallel on the road on which the host vehicle travels, the host vehicle may vary depending on the laying situation of each road, the position of the host vehicle on the lane, etc. The direction of the lane of the approach destination as seen from can vary. Therefore, when the image acquired by the image acquisition means fixed to the host vehicle is simply converted into a bird's-eye view image, the direction of the approaching lane is not constant in the bird's-eye view image.
一方、俯瞰画像に含まれる進入先の車線の画像に基づいて他車両の位置（自車両と他車両との相対関係）等を検出するためには、前記進入先の車線の画像の向きを特定する必要がある。一般に、画像内で車線の向きを正確に特定することは困難であるとともに、画像内での車線の向きを特定するための処理が必要になる。従って、この場合には演算負荷が増大し、他車両を正確に検出することができない。 On the other hand, in order to detect the position of the other vehicle (relative relationship between the host vehicle and the other vehicle) based on the image of the approach destination lane included in the overhead view image, the direction of the image of the approach destination lane is specified. There is a need to. In general, it is difficult to accurately specify the direction of the lane in the image, and processing for specifying the direction of the lane in the image is required. Therefore, in this case, the calculation load increases and other vehicles cannot be detected accurately.
しかし、本発明によれば、前記進入先の車線の方向が俯瞰画像内で常に一定の方向を向いているので、当該進入先の車線上の画像に基づいて他車両の位置を極めて容易に決定することができる。すなわち、俯瞰画像上の位置と実際の位置とを予め正確に対応づけることができるので、俯瞰画像内に含まれる像の位置によってその像の位置を正確に特定することができる。このため、低い演算負荷にて正確に他車両を検出することが可能になる。 However, according to the present invention, the direction of the approach destination lane is always in a certain direction in the overhead view image, so the position of the other vehicle can be determined very easily based on the image on the approach destination lane. can do. That is, since the position on the bird's-eye view image and the actual position can be accurately associated in advance, the position of the image can be accurately specified by the position of the image included in the bird's-eye view image. For this reason, it is possible to accurately detect other vehicles with a low calculation load.
また、以上のように俯瞰画像において進入先の車線を特定の方向に向ける変換処理によれば、自車両に搭載されたナビゲーション装置等にて使用して好ましい俯瞰画像を取得することができる。すなわち、当該俯瞰画像をナビゲーション装置等で出力すれば、進入先の車線が常に特定の方向であることにより進入先の車線を直感的に容易に把握することが可能である。さらに、進入先の車線を表示装置の中央に配置することで、最も重要な部分を中央に配置することが可能である。 Further, as described above, according to the conversion process in which the lane of the approach destination is directed in a specific direction in the overhead view image, it is possible to obtain a preferable overhead image by using it in a navigation device or the like mounted on the host vehicle. That is, if the bird's-eye view image is output by a navigation device or the like, it is possible to intuitively and easily grasp the destination lane because the destination lane is always in a specific direction. Furthermore, the most important part can be arranged in the center by arranging the lane of the approach destination in the center of the display device.
なお、画像取得手段は、他車両の検出領域が含まれる画像を取得することができればよく、自車両に搭載されたカメラによって自車両が進入する進入先の車線を撮影する構成等、種々の構成を採用可能である。角度取得手段においては、自車両の進行方向と前記進入先の車線が延びる方向とを取得し、互いの延長方向が交わる角度を取得することができればよく、種々の構成を採用可能である。 Note that the image acquisition unit only needs to be able to acquire an image including the detection area of the other vehicle, and various configurations such as a configuration of photographing the lane of the entry destination where the own vehicle enters with a camera mounted on the own vehicle. Can be adopted. In the angle acquisition means, it is only necessary to acquire the traveling direction of the host vehicle and the direction in which the lane of the approach destination extends, and to acquire the angle at which the extension directions cross each other, and various configurations can be adopted.
例えば、自車両の挙動を取得するセンサによって自車の向きや走行軌跡等を取得して自車両の進行方向を把握しても良いし、予め記憶媒体に記憶してある地図データベースに基づいて自車両が走行している車線を特定し、当該車線が延びる方向を自車両の進行方向としても良い。進入先の車線が延びる方向も同様であり、地図データベースに基づいて自車両が走行している車線が接続された進入先の車線を特定し、当該車線が延びる方向を取得する構成等を採用可能である。 For example, the direction of the host vehicle may be obtained by acquiring the direction of the host vehicle, the travel locus, or the like by a sensor that acquires the behavior of the host vehicle, or the host vehicle may be based on a map database stored in a storage medium in advance. The lane in which the vehicle is traveling may be specified, and the direction in which the lane extends may be set as the traveling direction of the host vehicle. The direction in which the lane of the approach destination extends is the same, and it is possible to adopt a configuration that identifies the lane of the approach destination to which the lane in which the host vehicle is traveling is connected based on the map database and acquires the direction in which the lane extends It is.
むろん、以上のような構成の他、画像取得手段にて取得した画像から自車両が走行する車線の画像と前記進入先の車線の画像とを取得し、両画像に基づいて車線が延びる方向を特定することで前記角度を取得しても良い。なお、本発明においては、前記進入先の車線を常に特定の方向に向けるため、角度取得手段においては、前記画像取得手段において画像を取得するたびに前記角度を取得し、各画像について適正な変換処理を実施できるようにすることが好ましい。 Of course, in addition to the above-described configuration, an image of the lane in which the host vehicle travels and an image of the lane of the approach destination are acquired from the image acquired by the image acquisition unit, and the direction in which the lane extends is determined based on both images. The angle may be acquired by specifying. In the present invention, since the lane of the destination is always directed in a specific direction, the angle acquisition unit acquires the angle every time an image is acquired by the image acquisition unit, and an appropriate conversion is performed for each image. It is preferable to be able to carry out the treatment.
俯瞰変換手段においては、前記進入先の車線を含む画像を上方から見た俯瞰画像に変換することができればよく、俯瞰変換前の画像の各画素値を俯瞰画像の画素値に変換する座標変換等を採用可能である。当該俯瞰変換処理は視点変換処理であるが、回転処理を伴う変換を行うことによって前記進入先の車線を俯瞰画像内で特定の方向に向けることが可能である。 The overhead conversion means only needs to be able to convert the image including the lane of the approach destination into an overhead image as viewed from above, such as coordinate conversion for converting each pixel value of the image before the overhead view conversion into a pixel value of the overhead image. Can be adopted. The overhead conversion process is a viewpoint conversion process, but it is possible to turn the approach lane in a specific direction in the overhead image by performing a conversion accompanied by a rotation process.
従って、視点変換に伴う回転処理の回転角を実質的に特定することにより所望の回転角での回転を伴う変換処理を特定することが可能である。また、前記自車両の進行方向と前記進入先の車線との角度は、俯瞰変換前の画像に含まれる前記進入先の車線の向きに一対一に対応している。そこで、本発明においては、前記角度に基づいて視点変換に伴う回転処理の回転角を実質的に特定する。この結果、進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定することが可能である。 Therefore, it is possible to specify the conversion process involving rotation at a desired rotation angle by substantially specifying the rotation angle of the rotation process accompanying the viewpoint conversion. Further, the angle between the traveling direction of the host vehicle and the lane of the approach destination has a one-to-one correspondence with the direction of the lane of the approach destination included in the image before the overhead view conversion. Therefore, in the present invention, the rotation angle of the rotation process accompanying the viewpoint conversion is substantially specified based on the angle. As a result, it is possible to specify the conversion process for directing the lane of the approach destination in a specific direction in the overhead image.
さらに、前記変換処理は、進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理であればよいが、前記俯瞰画像の座標を規定する直交軸のいずれかに平行な方向を前記特定の方向としてもよい。この構成によれば、前記進入先の車線が常に画像の上下方向あるいは左右方向に向くように俯瞰画像を取得することができる。従って、俯瞰画像内の上下あるいは左右方向の各位置に存在する画像と自車両との相対関係を予め決めておくことにより、俯瞰画像内の他車両の位置を極めて容易かつ正確に特定することが可能になる。また、この俯瞰画像をナビゲーション装置等で出力すれば、進入先の車線を直感的に容易に把握することが可能である。 Further, the conversion process may be a conversion process in which the lane of the destination is directed in a specific direction in the overhead image, but the direction parallel to any of the orthogonal axes that define the coordinates of the overhead image is specified. It is good also as a direction. According to this configuration, it is possible to acquire an overhead image so that the lane of the approach destination is always in the vertical direction or the horizontal direction of the image. Therefore, the position of the other vehicle in the overhead image can be specified extremely easily and accurately by determining in advance the relative relationship between the image existing at each position in the vertical and horizontal directions in the overhead image and the own vehicle. It becomes possible. Moreover, if this overhead view image is output by a navigation device or the like, it is possible to intuitively and easily grasp the lane of the destination.
さらに、俯瞰変換処理としては、変換前後の座標の対応関係を規定したテーブルを予め定義しておき、このテーブルを参照する構成を採用しても良いし、画像内の画素毎に変換後の座標を演算する構成を採用しても良い。 Furthermore, as the overhead conversion processing, a table that defines the correspondence relationship between coordinates before and after conversion may be defined in advance, and a configuration that refers to this table may be adopted, or the coordinates after conversion for each pixel in the image. A configuration for calculating the above may be adopted.
例えば、前者の例としては、所定の記憶媒体に俯瞰変換前後の座標の対応関係を規定した座標対応データを複数の角度毎に記憶する構成を採用すればよい。すなわち、前記角度取得手段によって取得する角度毎に前記進入先の車線を特定の方向に向ける座標変換を行うテーブルデータを予め用意しておく。この構成によれば、角度取得手段にて取得した角度に対応した座標対応データを参照することによって俯瞰変換処理を行うことが可能になり、極めて低い演算負荷によって俯瞰変換を行うことができる。 For example, as an example of the former, a configuration may be adopted in which coordinate correspondence data defining a correspondence relationship between coordinates before and after the overhead conversion is stored for each of a plurality of angles in a predetermined storage medium. That is, table data is prepared in advance for performing coordinate conversion for directing the lane of the approach destination in a specific direction for each angle acquired by the angle acquisition means. According to this configuration, it is possible to perform the overhead conversion process by referring to the coordinate correspondence data corresponding to the angle acquired by the angle acquisition means, and the overhead conversion can be performed with a very low calculation load.
後者の例としては、前記自車両の進行方向に平行な方向と前記画像取得手段における光軸との角度に基づいて画像の向きを補正する補正処理を前記俯瞰変換とともに実施する構成において、その補正量を調整する構成を採用すればよい。すなわち、前記補正処理によれば、自車両の進行方向を基準にして光軸を相対的に回転させる回転処理を実質的に行うことが可能である。そこで、前記自車両の進行方向と前記進入先の車線との角度を参照すれば、前記進入先の車線を前記俯瞰画像内で特定の方向に向けるために必要な回転処理の角度（補正量）を特定することができる。この構成によれば、俯瞰変換前の画像における前記進入先の車線の向きがどのような向きであったとしても当該進入先の車線を正確に特定の向きに向けることができる。 As an example of the latter, in the configuration in which the correction processing for correcting the image orientation based on the angle between the direction parallel to the traveling direction of the host vehicle and the optical axis in the image acquisition unit is performed together with the overhead conversion, the correction What is necessary is just to employ | adopt the structure which adjusts quantity. In other words, according to the correction process, it is possible to substantially perform the rotation process of rotating the optical axis relative to the traveling direction of the host vehicle. Therefore, referring to the angle between the traveling direction of the host vehicle and the lane of the approach destination, an angle of rotation processing (correction amount) necessary to direct the lane of the approach destination in a specific direction in the overhead image. Can be specified. According to this configuration, regardless of the direction of the approach destination lane in the image before the overhead view conversion, the approach destination lane can be accurately directed in a specific direction.
さらに、自車両の挙動による画像への影響を補正する構成を採用しても良い。例えば、自車両の挙動に対応した情報を取得する各種のセンサ等を備える構成とし、当該挙動に対応した情報に基づいて自車両の挙動による画像の変化を相殺しながら俯瞰変換を行う構成を採用可能である。この構成によれば、自車両がどのように挙動したとしても常に前記進入先の車線を前記俯瞰画像内で特定の方向に向けることが可能である。なお、自車両の挙動を取得するためのセンサとしては、自車両のヨー、ロール、ピッチ等を検出する３軸加速度センサであってもよいし、自車両の方位を検出するセンサであってもよく、種々のセンサを採用可能である。 Furthermore, you may employ | adopt the structure which correct | amends the influence on the image by the behavior of the own vehicle. For example, it is configured to include various sensors that acquire information corresponding to the behavior of the host vehicle, and adopts a configuration that performs overhead conversion while offsetting image changes due to the behavior of the host vehicle based on information corresponding to the behavior Is possible. According to this configuration, regardless of how the host vehicle behaves, it is possible to always point the lane of the approach destination in a specific direction in the overhead image. The sensor for acquiring the behavior of the host vehicle may be a three-axis acceleration sensor that detects the yaw, roll, pitch, etc. of the host vehicle, or a sensor that detects the direction of the host vehicle. Well, various sensors can be used.
さらに、本発明のように自車両の進行方向と当該自車両の進入先の車線との角度に基づいて俯瞰画像内で進入先の車線を特定の方向に向ける手法は、プログラムや方法としても適用可能である。また、以上のような画像変換装置、プログラム、方法は、単独の画像変換装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような画像変換装置を備えたナビゲーション装置や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、画像変換装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。 Further, the method of directing the approach lane in a specific direction in the overhead image based on the angle between the traveling direction of the subject vehicle and the approach lane of the subject vehicle as in the present invention is also applied as a program or method. Is possible. In addition, the image conversion apparatus, the program, and the method as described above may be realized as a single image conversion apparatus or may be realized by using parts shared with each part provided in the vehicle. The embodiment is included. For example, it is possible to provide a navigation device, a method, and a program including the image conversion device as described above. Further, some changes may be made as appropriate, such as a part of software and a part of hardware. Furthermore, the invention is also established as a recording medium for a program for controlling the image conversion apparatus. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）ナビゲーション装置の構成：
（２）案内処理：
（３）座標対応データの作成：
（４）他の実施形態：
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of navigation device:
(2) Guidance processing:
(3) Creation of coordinate correspondence data:
(4) Other embodiments:
（１）ナビゲーション装置の構成：
図１は、本発明にかかる画像変換装置を含むナビゲーション装置１０の構成を示すブロック図である。ナビゲーション装置１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０と記憶媒体３０とを備えており、記憶媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムの一つとしてナビゲーションプログラム２１を実施可能であり、当該ナビゲーションプログラム２１はその機能の一つとして自車両を進入先の車線に進入させるための案内を行う機能を備えている。なお、この案内を行うために画像変換処理を実行する。すなわち、変換後の画像にて前記進入先の車線を示し、また、変換後の画像に基づいて当該進入先の車線に他車両が存在するか否かを検出する。
(1) Configuration of navigation device:
FIG. 1 is a block diagram showing a configuration of a
自車両（ナビゲーション装置１０が搭載された車両）には、ナビゲーションプログラム２１を実現するためにカメラ４０とＧＰＳ受信部４１と車速センサ４２と舵角センサ４３と３軸加速度センサ４４と方位センサ４５とスピーカー４６と表示部４７とが備えられており、これらの各部と制御部２０との信号の授受は図示しないインタフェースによって実現されている。
In order to realize the
カメラ４０は、自車両の後方の道路を視野に含むように自車両に対して取り付けられており、撮影した画像を示す画像データを出力する。制御部２０は、図示しないインタフェースを介してこの画像データを取得して画像変換し、他車両の検出や各種の案内に利用する。ＧＰＳ受信部４１は、ＧＰＳ衛星からの電波を受信し、図示しないインタフェースを介して自車両の現在位置を算出するための情報を出力する。制御部２０は、この信号を取得して自車両の現在位置を取得する。
The
車速センサ４２は、自車両が備える車輪の回転速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、車輪毎に速度（路面と車輪との相対速度）を取得する。舵角センサ４３は自車両のステアリングの回転角に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、ステアリングの回転角を示す情報を取得する。
The
３軸加速度センサ４４は、直交する３方向の加速度に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の挙動（ヨー、ロール、ピッチ）に対応した情報を取得する。方位センサ４５は、自車両の進行方向に対応した信号を出力する。制御部２０は、図示しないインタフェースを介してこの信号を取得し、自車両の進行方向を特定可能である。むろん、以上のセンサは各種の態様を採用可能であり、自車両の姿勢制御に利用するセンサを流用しても良い。
The
制御部２０は、ナビゲーションプログラム２１を実行することにより、上述のようにして取得した各種情報に基づいて自車両の後方における他車両の存在や目的地までの経路等を示す情報を出力して自車両を案内する。すなわち、制御部２０は、音声によって各種の案内を行うための制御信号をスピーカー４６に出力し、スピーカー４６から案内情報としての音声を出力する。また、制御部２０は、画像によって各種の案内を行うための制御信号を表示部４７に出力し、表示部４７にその画像を表示する。
By executing the
本実施形態においては、以上のナビゲーションプログラム２１の機能の一部として画像を俯瞰画像に変換し、俯瞰画像に基づいて他車両を検出して進入先車線への進入を案内する機能を有しており、ナビゲーション装置１０はこの処理によって本発明にかかるナビゲーション装置として機能する。この処理を行うため、ナビゲーションプログラム２１は、画像変換部２２と案内部２３とを備えており、画像変換部２２は、さらに画像取得部２２ａと角度取得部２２ｂと挙動情報取得部２２ｃと俯瞰変換部２２ｄとを備えている。また、記憶媒体３０には、ナビゲーションプログラム２１による案内を実施するため地図情報３０ａが記憶され、画像変換を行うために座標対応データ３０ｂが記憶されている。
In the present embodiment, as a part of the function of the
地図情報３０ａは、道路上に設定されたノードを示すノードデータやノード同士の連結を示すリンクデータ、目標物を示すデータ等を含み、自車両の位置の特定や目的地への案内に利用される。なお、本実施形態において地図情報３０ａは、自車両が走行する走行車線と当該自車両が進入する進入先車線との角度を取得する際にも利用される。
The
座標対応データ３０ｂは、前記カメラ４０にて取得した画像を俯瞰画像に変換するためのデータであり、変換前の画像における各画素の座標と俯瞰変換後の画像における各画素の座標とを対応づけたテーブルデータである。当該座標対応データ３０ｂは、変換前後の画像の座標を対応づけていればよく、画像として必要な全ての座標値について対応関係を規定しておいても良いし、代表的な座標値について対応関係を規定しておき代表的な座標値の間については補間処理によって算出しても良い。
The coordinate
さらに、本実施形態において、座標対応データ３０ｂは、複数のカメラパラメータのそれぞれに対応したデータを含んでおり、カメラパラメータ毎にカメラ４０の光軸に対する回転角が異なるように設定されている。すなわち、カメラパラメータは前記走行車線と前記進入先車線との角度や自車両の挙動に対応したパラメータであり、座標対応データ３０ｂは各カメラパラメータに対応した前記角度および前記挙動において撮影した画像を俯瞰変換したときに進入先車線が画像の上下方向に平行に向くように設定されている。なお、カメラパラメータの詳細および座標対応データ３０ｂの作成については後述する。
Further, in the present embodiment, the coordinate
一方、画像取得部２２ａは、カメラ４０から画像データを取得するモジュールであり、取得したデータは俯瞰変換部２２ｄに受け渡される。角度取得部２２ｂは、自車両の進行方向と進入先車線との角度を取得するモジュールであり、本実施形態においては、地図情報３０ａを参照して現在の自車両の位置を特定し、この位置における車線の延長線の交差角を前記角度としている。
On the other hand, the
すなわち、角度取得部２２ｂは、ＧＰＳ受信部４１からの信号に基づいて自車両の位置を特定し、地図情報３０ａを参照して自車両が走行している走行車線の延長方向を取得する。さらに、当該走行車線の隣の進入先車線の延長方向を取得する。そして、両車線の延長方向が交差する角度を取得する。この角度は、上述のカメラパラメータの一部となり得る。
That is, the
挙動情報取得部２２ｃは、舵角センサ４３および方位センサ４５からの信号に基づいて自車両が向いている方位を示す情報を取得し、３軸加速度センサ４４からの信号に基づいて自車両のヨー、ピッチ、ロールを示す情報を取得する。これらの情報は、自車両の挙動を示す挙動情報であり、上述のカメラパラメータの一部となり得る。
The behavior
俯瞰変換部２２ｄは、前記進入先車線を上下方向に向けながらカメラ４０による撮影画像を俯瞰画像に変換するモジュールである。すなわち、上述の角度や挙動情報に基づいてカメラパラメータを特定し、当該カメラパラメータに対応づけられている座標対応データ３０ｂを参照して座標変換を行う。変換後の俯瞰画像は、案内部２３に受け渡され、案内に利用される。
The overhead
すなわち、案内部２３は、俯瞰画像に基づいて進入先車線上の他車両を検出し、他車両が存在しない位置に自車両が進入できるように案内するモジュールであり、案内情報をスピーカー４６や表示部４７に対して出力する。他車両の検出に際しては、画像内からエッジや特徴量（輝度分布等）を抽出し、車両のエッジや特徴量が抽出されたときに他車両の存在を検出する構成など、種々の構成を採用可能である。
That is, the
他車両を検出したときには、俯瞰画像内の位置によって他車両と自車両との相対関係（距離）を取得し、他車両が存在しない状態で進入先車線に進入するように案内情報を出力する。本実施形態においては、前記俯瞰画像を表示部４７に表示し、また、他車両が存在しない位置に自車両を移動させるために自車両で必要な加減速の案内を行い、自車両の横に他車両が存在しないときに車線変更を促す案内を行い、自車両に対して接近する他車両を通知する。
When another vehicle is detected, the relative relationship (distance) between the other vehicle and the host vehicle is acquired based on the position in the bird's-eye view image, and guidance information is output so as to enter the destination lane in a state where no other vehicle exists. In the present embodiment, the bird's-eye view image is displayed on the
（２）案内処理：
次に、以上の構成においてナビゲーション装置１０が実施する案内処理を説明する。図２は、本実施形態におけるナビゲーションプログラム２１の処理を示すフローチャートである。本実施形態において、ナビゲーションプログラム２１は目的地への案内等を行っており、ウインカーのスイッチがＯＮになったときやＧＰＳ受信部４１の情報に基づいて高速道路の本線に自車両が合流しようとしていること等を判定し、図２に示す処理を開始する。
(2) Guidance processing:
Next, guidance processing performed by the
この処理が開始されると、画像取得部２２ａはカメラ４０から画像データを取得する（ステップＳ１００）。図３は、画像の例を示しており、図３Ａはカメラ４０にて取得した画像、図３Ｂ，図３Ｃは俯瞰変換後の画像を示している。なお、本実施形態においてカメラ４０は自車両のバックミラーに取り付けられており、自車両が走行する走行車線の隣に位置する進入先車線を視野の中心にとらえるように光軸が向けられている。また、この例では右隣の車線を進入先車線とする例を示している。従って、図３Ａにおいて中央に位置する車線が進入先車線Ｌ2であり、右下に位置する車線が走行車線Ｌ1である。
When this process is started, the
また、図３Ｂ，図３Ｃにおいては、俯瞰変換後の画像の一部を示しており、図３Ｂは走行車線Ｌ1が常に画像の上下方向（画像の座標を規定する直交軸のうち、縦方向に平行な方向）を向くように俯瞰変換した状態を示し、図３Ｃは進入先車線Ｌ2が常に画像の上下方向を向くように俯瞰変換した状態を示している。走行車線Ｌ1と自車両のように両者の相対関係がほぼ一定であれば、既定の俯瞰変換処理によって図３Ｂのような変換を行うことができる。しかし、上述のように、走行車線Ｌ1と進入先車線Ｌ2との角度は一定ではない。 3B and 3C show a part of the image after the overhead conversion, and FIG. 3B shows that the traveling lane L 1 is always in the vertical direction of the image (the vertical direction among the orthogonal axes that define the coordinates of the image). shows a state where the overhead conversion so as to face a direction) parallel to, FIG. 3C shows a state where the entry destination lane L 2 always overview transformation to face the vertical direction of the image. If the relative relationship between the lane L 1 and the host vehicle is almost constant, the conversion as shown in FIG. 3B can be performed by the predetermined overhead conversion process. However, as described above, the angle between the travel lane L 1 and the approach destination lane L 2 is not constant.
そこで、本実施形態においては、進入先車線Ｌ2を常に画像の上下方向に向けるため、角度取得部２２ｂが走行車線Ｌ1と進入先車線Ｌ2との角度を取得し（ステップＳ１１０）、挙動情報取得部２２ｃが自車両の挙動情報を取得する（ステップＳ１２０）。すなわち、角度取得部２２ｂはＧＰＳ受信部４１からの信号に基づいて自車両の位置を特定し、この位置において走行車線Ｌ1と進入先車線Ｌ2とが延びる方向を特定して両者の角度を取得する。
Therefore, in this embodiment, the entry destination lane L 2 constantly oriented in the vertical direction of the image,
挙動情報取得部２２ｃは舵角センサ４３および方位センサ４５からの信号に基づいて自車両が向いている方位と走行車線Ｌ1との角度を取得し、３軸加速度センサ４４からの信号に基づいて自車両のヨー、ピッチ、ロールの角度を取得する。そして、俯瞰変換部２２ｄはこれらの角度に対応した情報に基づいてカメラパラメータを決定する（ステップＳ１３０）。なお、本実施形態において、カメラパラメータは、カメラ４０の基準の姿勢と実際の姿勢とのずれに対応したパラメータである。
The behavior
本実施形態においては、上述のように複数のカメラパラメータに対応する座標対応データ３０ｂが記憶媒体３０に記憶されており、各カメラパラメータに対応した座標対応データ３０ｂを参照すれば、各カメラパラメータに対応した車線の向きや自車両の挙動の状態にて撮影した画像に基づいて進入先車線Ｌ2を画像の上下方向に向ける俯瞰変換を実施可能である。そこで、俯瞰変換部２２ｄは、ステップＳ１３０にて取得したカメラパラメータに対応した座標対応データ３０ｂを特定し（ステップＳ１４０）、この座標対応データ３０ｂを参照して座標変換を行うことによって俯瞰変換を実施する（ステップＳ１５０）。
In the present embodiment, as described above, the coordinate
以上の俯瞰変換によって、車線の角度および自車両の挙動によらず、常に進入先車線Ｌ2が画像の上下方向を向いた図３Ｃのような画像が得られる。そこで、案内部２３は、当該俯瞰変換後の画像に基づいて進入先車線Ｌ2内で他車両の有無を検出し、他車両が存在しない位置に自車両が進入するように案内を行う。本実施形態においては、進入先車線Ｌ2内に複数の検出領域を設定し、検出領域毎に他車両の有無を検出する処理を行っており、このために俯瞰画像内で進入先車線Ｌ2に所定の大きさの検出領域Ｒを設定し、間隔ｒ毎に一定方向にずらしながら複数の検出領域を設定する（ステップＳ１６０）。図３Ｃには、検出領域Ｒの例を実線の矩形で示しており、ある検出領域Ｒと異なる位置に設定される検出領域を破線にて示している。
The overview transformation described above, regardless of the behavior of lane angle and the vehicle, always enters destination lane L 2 is an image as in Figure 3C facing the vertical image obtained. Therefore, the
案内部２３は、これらの検出領域内の各画素の輝度を取得してヒストグラムを生成し、他車両の画像の特徴に相当する分布が当該ヒストグラムに現れているか否かを判定して他車両を検出する（ステップＳ１７０）。例えば、他車両の画像において特定の輝度範囲に特定の幅のピークが現れるときにはこのピークに類似している分布が前記ヒストグラムに現れているか否かによって他車両を検出する。
The
以上の検出によれば、検出領域毎に他車両の有無を特定することができるので、当該他車両の有無に基づいて自車両に必要な加速、車線変更タイミング等が判明する。そこで、案内部２３は、図３Ｃに示す俯瞰画像を表示部４７に表示し、また、前記自車両に必要な加速、車線変更タイミング等を示す案内情報をスピーカー４６や表示部４７に出力する（ステップＳ１８０）。この結果、自車両の運転者は、容易に進入先車線Ｌ2への進入タイミングや必要な運転操作を把握し、進入を行うことが可能である。
According to the above detection, since the presence or absence of other vehicles can be specified for each detection region, the acceleration, lane change timing, and the like necessary for the own vehicle can be determined based on the presence or absence of the other vehicles. Therefore, the
なお、本実施形態においては、以上のように俯瞰画像において進入先車線Ｌ2が常に上下方向を向くように変換を行っているので、他車両の検出精度を上げることができる。すなわち、他車両を検出したときには、俯瞰画像内での検出領域の位置によって他車両が存在する位置を特定するが、本実施形態における俯瞰画像は図３Ｃのように進入先車線Ｌ2が常に上下方向を向くので、俯瞰画像内の位置と他車両の位置とを予め対応づけておくことにより極めて簡単に特定することができる。 In the present embodiment, since performing conversions to face always vertically enters destination lane L 2 in bird's-eye view image as described above, it is possible to improve the detection accuracy of the other vehicle. That is, when it detects another vehicle, but to specify the position where there is another vehicle by the position of the detection area in the overhead view image, the bird's-eye view image in this embodiment is always vertically enters destination lane L 2 as shown in FIG. 3C Since it faces the direction, it can be identified very easily by associating the position in the overhead image with the position of the other vehicle in advance.
一方、図３Ｂのように、進入先車線Ｌ2が傾いており、また、この傾斜角が一定でない場合には、逐次車線の傾斜角を算出し、画像内の車線の位置が自車両とどのような関係にあるのかを傾斜角毎に演算する必要がある。従って、本実施形態と比較してこれらの演算精度が低下し、正確に他車両の位置を検出することができない。また、必ず、車線の傾斜角と位置の演算を行う必要があり、本実施形態と比較して高い演算負荷が要求される。このため、本実施形態によれば、低い演算負荷にて高い演算精度の検出を行うことができる。 On the other hand, as shown in FIG. 3B, when the approach lane L 2 is inclined and the inclination angle is not constant, the inclination angle of the lane is calculated sequentially, and the position of the lane in the image is It is necessary to calculate for each inclination angle whether such a relationship exists. Therefore, compared with this embodiment, these calculation precisions fall and it cannot detect the position of other vehicles correctly. In addition, it is necessary to calculate the lane inclination angle and position, and a higher calculation load is required as compared with the present embodiment. For this reason, according to the present embodiment, detection with high calculation accuracy can be performed with a low calculation load.
また、上述のように、検出領域を設定する際に、本実施形態においては、上下方向に一定の間隔ｒだけ枠をずらせることで極めて容易に検出領域を設定することができるが、図３Ｂのように傾いた車線内で車線に平行な方向に検出領域を一定間隔で設定するためには傾斜角の演算など煩雑な処理が必要になり、演算負荷が高くなる。なお、図３Ｂのように傾いた車線内で画像の上下方向に垂直な方向で検出領域を区切る場合、車両の進行方向に垂直な方向と検出領域の辺の向きとが異なるため、他車両を検出する際の位置精度が低下しやすい。さらに、表示部４７にて図３Ｃのような表示を行うと、図３Ｂのような表示と比較して重要な部分が中央に配置され、ゼブラゾーンの画像など、不要な部分が画像の中央に配置されることを防止することができる。
Further, as described above, when setting the detection area, in the present embodiment, the detection area can be set very easily by shifting the frame by a certain interval r in the vertical direction. In order to set the detection area at a constant interval in the direction parallel to the lane in the inclined lane as described above, complicated processing such as calculation of the inclination angle is required, and the calculation load increases. When the detection area is divided in a direction perpendicular to the vertical direction of the image in the inclined lane as shown in FIG. 3B, the direction perpendicular to the traveling direction of the vehicle is different from the direction of the side of the detection area. The position accuracy at the time of detection tends to decrease. Further, when the display as shown in FIG. 3C is performed on the
（３）座標対応データの作成：
次に、上述の座標対応データ３０ｂの作成およびカメラパラメータの例を詳述する。座標対応データ３０ｂは、３次元座標系とカメラ４０にて取得した画像（以下カメラ画像と呼ぶ）の座標系とにおける対応関係を定義したデータであればよく、本実施形態においては、座標系の変換によってこの対応関係を取得する。
(3) Creation of coordinate correspondence data:
Next, the creation of the coordinate
図４は、座標対応データ３０ｂを作成する際に設定する座標系の例を示す図であり、図４Ａは３次元座標系とカメラ４０の姿勢との関係を示しており、図４Ｂはカメラ４０の光軸と俯瞰画像およびカメラ画像の座標系との関係を示している。すなわち、図４Ａに示す例では、鉛直上方を向くＺ軸と車両の後方を向くＸ軸と車両の右方向を向くＹ軸とによって３次元座標系を定義しており、この３次元座標系においてはＺ軸方向で地面の高さを原点としている。
FIG. 4 is a diagram showing an example of a coordinate system set when the coordinate
また、カメラ４０の光軸Ｏを破線で示しており、カメラ４０のレンズ中心を３次元座標系における座標（Ｘ0，Ｙ0，Ｚ0）とする。さらに、本実施形態においては、光軸ＯをＸＺ平面に投影したときの投影直線とＹ＝０，Ｚ＝Ｚ0の直線との角度をチルト角θT、光軸ＯをＸＺ平面に投影したときの投影直線と光軸Ｏとの角度をパン角θP、光軸ＯをＸＹ平面に投影したときの投影直線とＸ軸との角度を角度θX、光軸ＯをＹＺ平面に投影したときの投影直線とＺ軸との角度を角度θYとして定義している。
Further, the optical axis O of the
一方、図４Ｂに示す例では、光軸Ｏに平行な方向にＷ軸、カメラ画像面に平行な平面上にＵ軸およびＶ軸を持つ直交座標系を設定しており、Ｗ軸は光軸Ｏがカメラ４０からカメラ外に延びる方向を向き、Ｖ軸は車両の右方、Ｕ軸は車両の略上方を向くように設定されている。このＵＶＷ座標系における原点はカメラ４０のレンズ中心である。また、図４Ｂにおいては、カメラ画像面を平面Ｐ0として模式的に示している。カメラ画像においては平面Ｐ0上にＵ軸、Ｖ軸に対して平行に設定された軸で定義される座標系（以下、画像座標系と呼ぶ）で各画素の位置を定義しており、座標対応データ３０ｂにおいては、当該画像座標系における座標と３次元座標系のＸ，Ｙ座標とを対応づければよい。
On the other hand, in the example shown in FIG. 4B, an orthogonal coordinate system having a W axis in a direction parallel to the optical axis O and a U axis and a V axis on a plane parallel to the camera image plane is set. O is set so as to extend from the
そこで、本実施形態においては、座標（Ｘ0，Ｙ0，Ｚ0）からみた３次元座標系の座標について座標変換によってＵＶＷ座標系で表現し、仮想平面Ｐ1（Ｗ軸に対して直交する平面であって、その原点が光軸ＯとＸ−Ｙ平面との交点に一致する平面）へ投影し、その座標を変換して画像座標系との対応関係を取得する。 Therefore, in the present embodiment, the coordinates of the three-dimensional coordinate system viewed from the coordinates (X 0 , Y 0 , Z 0 ) are expressed in the UVW coordinate system by coordinate transformation, and the virtual plane P 1 (perpendicular to the W axis). The plane is projected onto a plane whose origin coincides with the intersection of the optical axis O and the XY plane, and the coordinates are converted to obtain the correspondence with the image coordinate system.
より具体的には、３次元座標系（ＸＹＺ座標系）とＵＶＷ座標系との回転角度をＵ軸周りの回転角α、Ｖ軸周りの回転角β、Ｗ軸周りの回転角γとしたとき、両者の座標変換は以下の式（１）（２）にて表現される。
以上のようにして、ＸＹＺ座標系における座標（Ｘ，Ｙ，Ｚ）をＵＶＷ座標系で表現した場合のＵＶＷ座標が判明したら、その座標を仮想平面Ｐ1に投影した場合の座標Ｕc，Ｖcを以下の式（３）（４）にて求めることができる。
これらの式（３）（４）および（１）によれば仮想平面上の座標Ｕc，ＶcとＸＹＺ座標系の座標とを対応づけることができる。さらに、仮想平面Ｐ1とカメラ画像面である平面Ｐ0との対応関係は、レンズを通る光の進行特性等を予め解析しておくことによって定義することができるので、この対応関係に基づいてカメラ画像面の座標とＸＹＺ座標系の座標Ｘ，Ｙとの対応関係を示すデータを作成すれば、座標対応データ３０ｂを取得することができる。
According to these equations (3), (4), and (1), the coordinates Uc, Vc on the virtual plane can be associated with the coordinates of the XYZ coordinate system. Furthermore, the correspondence between the virtual plane P 1 and the plane P 0 that is the camera image plane can be defined by analyzing in advance the traveling characteristics of the light passing through the lens. Based on this correspondence If data indicating the correspondence between the coordinates of the camera image plane and the coordinates X and Y of the XYZ coordinate system is created, the coordinate
本実施形態においては、自車両と進入先車線Ｌ2との関係や自車両の挙動の状態によらず、常に進入先車線Ｌ2が上下方向を向くように俯瞰変換を行うため、カメラ４０の姿勢および高さに基づいて上述の回転角α、β、γおよび距離Ｌｃを定義する。例えば、上述の回転角α、βおよび距離Ｌｃは、前記チルト角θT、パン角θP、カメラ４０の高さＨに基づいてそれぞれ式（５）（６）（７）にて定義される。
以上の式に対して、自車両が静止しているときのカメラ４０のチルト角θT、パン角θP、高さＨを代入すれば、自車両の前後方向（Ｘ軸）が画像の上下方向に向く俯瞰変換がなされる。そこで、自車両が走行しているときのカメラ４０の姿勢および高さに基づいて前記チルト角θT、パン角θP、高さＨを補正すればカメラ４０の姿勢および高さがどのようなものであっても正確に進入先車線Ｌ2を画像の上下方向に向ける俯瞰変換を実施可能である。
If the tilt angle θ T , pan angle θ P , and height H of the
図５は、この補正の例を示しており、図５Ａは、前記ＸＹＺ座標系のＺ軸周りの回転に基づいて補正する様子を示し、図５Ｂは、前記ＸＹＺ座標系のＹ軸周りの回転に基づいて補正する様子を示し、図５Ｃは、前記ＸＹＺ座標系のＸ軸周りの回転に基づいて補正する様子を示している。 FIG. 5 shows an example of this correction. FIG. 5A shows the correction based on the rotation of the XYZ coordinate system around the Z axis, and FIG. 5B shows the rotation of the XYZ coordinate system around the Y axis. FIG. 5C shows a state of correction based on rotation around the X axis of the XYZ coordinate system.
図５Ａにおいて、カメラの光軸ＯとＸ軸との角度は前記図４Ａに示した角度θXであり、進入先車線Ｌ2の向きが矢印Ｌであるとしたとき、Ｘ軸と進入先車線Ｌ2との角度はΔθXとなる。一方、前記図４Ａに示す角度の関係からtanθX＝tanθP／cosθTであるので、補正後のパン角θP’を式（８）のように定義すれば、自車両の進行方向がＸ軸に平行であるとしたときにはこの角度のずれΔθXを相殺して進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことが可能である。
図５Ｂにおいて、カメラの光軸ＯとＸ軸に平行な直線Ｓとの角度は前記図４Ａに示したチルト角θTであり、自車両にピッチングが発生してカメラ４０がＹ軸周りに角度ΔθPだけ回転したとき、補正後のチルト角θT’を式（９）、補正後のカメラ４０の高さＨ’を式（10）のように定義すれば、この角度のずれΔθPを相殺して進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことが可能である。
図５Ｃにおいて、カメラの光軸ＯとＺ軸との角度は前記図４Ａに示した角度θYであり、自車両にローリングが発生してカメラ４０がＸ軸周りに角度ΔθYだけ回転したとき、補正後のパン角θP’を式（11）、補正後のカメラ４０の高さＨ’を式（12）のように定義すれば、この角度のずれΔθYを相殺して進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことが可能である。
以上のような俯瞰変換によって進入先車線Ｌ2の向きを調整可能であることから、カメラ４０の姿勢に対応した角度ΔθX，ΔθP，ΔθYによって式（８）〜(12）を算出し、その結果を式（５）〜（７）に代入した結果を式（１）（３）（４）に代入すれば、これらの角度に対応した座標対応データ３０ｂを定義することができる。そこで、本実施形態においては、角度ΔθX，ΔθP，ΔθYをカメラパラメータとし、それぞれのカメラパラメータに対応した座標対応データ３０ｂを予め作成して記憶媒体３０に記憶しておく。
Since the direction of the approach destination lane L 2 can be adjusted by the overhead view conversion as described above, the equations (8) to (12) are calculated from the angles Δθ X , Δθ P , Δθ Y corresponding to the posture of the
一方、これらの角度ΔθX，ΔθP，ΔθYは、上述の角度取得部２２ｂや挙動情報取得部２２ｃにて取得した角度に基づいて算出することができる。従って、本実施形態においては、当該取得した角度に基づいて上述のステップＳ１３０にてカメラパラメータを算出し、そのカメラパラメータに対応した座標対応データ３０ｂを参照することにより常に進入先車線Ｌ2が画像の上下方向を向くように俯瞰変換を行うことができる。なお、座標対応データ３０ｂによる変換では、座標対応データ３０ｂを参照して単に座標変換を行うことで俯瞰変換を実施することができるので、極めて低い演算負荷によって俯瞰変換を行うことが可能である。
On the other hand, these angles Δθ X , Δθ P , Δθ Y can be calculated based on the angles acquired by the
（４）他の実施形態：
以上の実施形態は、本発明を実施するための一例であり、自車両の進行方向と進入先の車線との角度に基づいて当該車線を俯瞰画像内で特定の方向に向けることができる限りにおいて、他にも種々の実施形態を採用可能である。例えば、上述の実施形態においては、各検出領域の一部が重なるように検出領域を車線上で設定していたが、検出領域の一部を重ねることが必須というわけではない。また、他車両の検出は、検出領域内の画像の特徴量に基づいて実施することが必須というわけではなく、エッジ検出等を利用してもよい。また、カメラ４０は他車両の存在を検出すべき道路を視野にして撮影を行うことができればよく、自車両のいずれの位置に取り付けられていても良いし、カメラの台数は特に限定されない。
(4) Other embodiments:
The above embodiment is an example for carrying out the present invention, as long as the lane can be directed in a specific direction in the overhead view image based on the angle between the traveling direction of the host vehicle and the lane of the destination. Various other embodiments can be adopted. For example, in the above-described embodiment, the detection area is set on the lane so that a part of each detection area overlaps, but it is not essential to overlap a part of the detection areas. The detection of other vehicles is not necessarily performed based on the feature amount of the image in the detection area, and edge detection or the like may be used. Moreover, the
さらに、角度取得部２２ｂにおいては自車両の進行方向と進入先の車線との角度を取得することができればよいので、自車両の進行方向を特定する際に地図情報３０ａを参照することが必須というわけではない。例えば、自車両に搭載された方位センサ等のセンサによって自車両の進行方向を特定しても良い。さらに、上述の特定の方向は、画像の上下方向に限られず、例えば、進入先車線が画像の左右方向に平行に向くように設定されていてもよい。
Furthermore, since the
さらに、上述の例においては、自車両の走行車線と進入先車線との角度と自車両の挙動とに基づいて進入先車線の向きを調整するように構成していたが、自車両の挙動が画像に与える影響が小さい場合には、自車両の挙動を考慮することなく、車線の角度に基づいて進入先車線の向きを調整する俯瞰変換を行っても良い。また、上述のカメラパラメータはカメラ４０における基準の姿勢と実際の姿勢とのずれに対応したパラメータであったが、むろん、カメラパラメータとしては種々のパラメータを採用可能であり、例えば、上述の角度α等であっても良い。
Furthermore, in the above-described example, the configuration is such that the direction of the destination lane is adjusted based on the angle between the traveling lane and the destination lane of the host vehicle and the behavior of the host vehicle. When the influence on the image is small, the overhead view conversion may be performed to adjust the direction of the destination lane based on the lane angle without considering the behavior of the host vehicle. In addition, the above-described camera parameter is a parameter corresponding to the deviation between the reference posture and the actual posture in the
さらに、上述の俯瞰変換においては、座標対応データ３０ｂに基づいて前記進入先の車線を俯瞰画像内で特定の方向に向ける変換処理を行っていたが、むろん、カメラパラメータに基づいて逐一演算を行っても良い。すなわち、前記角度取得部２２ｂと挙動情報取得部２２ｃとによってカメラ４０の姿勢に対応した角度ΔθX，ΔθP，ΔθYを取得すれば、式（８）〜(12）を算出し、その結果を式（５）〜（７）に代入した結果を式（１）（３）（４）に代入することで３次元座標に対応したカメラ画像の座標を取得することができる。
Furthermore, in the above-described bird's-eye view conversion, conversion processing is performed in which the approach lane is directed in a specific direction in the bird's-eye view image based on the coordinate
そこで、この変換の逆変換に相当する関数であって、角度ΔθX，ΔθP，ΔθYをパラメータとした関数を予め求めておけば、カメラ画像の座標を３次元座標系のＸ−Ｙ座標（すなわち俯瞰画像）に変換することが可能である。以上の構成においては、上述の実施形態より高速な制御部が必要とされるが、座標対応データ３０ｂを記憶しておく必要がないので、メモリ消費を抑えることができる。また、任意の角度についての演算が可能であり、正確に俯瞰画像内での進入先車線の向きを調整可能である。
Thus, if a function corresponding to the inverse transformation of this transformation and having the angles Δθ X , Δθ P , and Δθ Y as parameters is obtained in advance, the coordinates of the camera image are set to the XY coordinates of the three-dimensional coordinate system. (That is, it can be converted into a bird's-eye view image). In the above configuration, a control unit that is faster than the above-described embodiment is required, but it is not necessary to store the coordinate
１０…ナビゲーション装置、２０…制御部、２１…ナビゲーションプログラム、２２…画像変換部、２２ａ…画像取得部、２２ｂ…角度取得部、２２ｃ…挙動情報取得部、２２ｄ…俯瞰変換部、２３…案内部、３０…記憶媒体、３０ａ…地図情報、３０ｂ…座標対応データ、４０…カメラ、４１…ＧＰＳ受信部、４２…車速センサ、４３…舵角センサ、４４…３軸加速度センサ、４５…方位センサ、４６…スピーカー、４７…表示部
DESCRIPTION OF
Claims (6)
前記自車両の進行方向と前記進入先の車線との角度を取得する角度取得手段と、
前記画像を俯瞰画像に変換する俯瞰変換手段であって、前記角度に基づいて前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定し、この変換処理によって俯瞰画像を取得する俯瞰変換手段と、
を備える画像変換装置。 Image acquisition means for acquiring an image including a lane of an approach destination of the own vehicle;
An angle acquisition means for acquiring an angle between the traveling direction of the host vehicle and the lane of the approach destination;
An overhead conversion means for converting the image into an overhead image, wherein a conversion process for directing the approaching lane in a specific direction in the overhead image based on the angle is specified, and the overhead image is acquired by the conversion process A bird's-eye view conversion means,
An image conversion apparatus comprising:
請求項１に記載の画像変換装置。 The conversion process is a process of directing the lane of the approach destination in a direction parallel to any of the orthogonal axes that define the coordinates of the overhead image.
The image conversion apparatus according to claim 1.
前記俯瞰変換手段は、前記角度取得手段にて取得した角度に対応した座標対応データを参照して前記変換処理を行う、
請求項１または請求項２のいずれかに記載の画像変換装置。 Coordinate correspondence data storage means for storing coordinate correspondence data in which the coordinates of the image before being converted into the overhead image and the coordinates of the overhead image are associated with each other for a plurality of angles,
The overhead view conversion means performs the conversion processing with reference to coordinate correspondence data corresponding to the angle acquired by the angle acquisition means.
The image conversion apparatus according to claim 1.
請求項１〜請求項３のいずれかに記載の画像変換装置。 The conversion process includes a correction process for correcting the orientation of an image based on an angle between a direction parallel to the traveling direction of the host vehicle and an optical axis in the image acquisition unit, and the overhead conversion unit includes: Adjusting the correction amount in the correction process based on the angle between the traveling direction and the lane of the approach destination, and directing the lane of the approach destination in a specific direction in the overhead image,
The image conversion apparatus in any one of Claims 1-3.
前記俯瞰変換手段は、前記挙動に対応した情報に基づいて自車両の挙動による画像の変化を相殺して前記画像を前記俯瞰画像に変換する、
請求項１〜請求項４のいずれかに記載の画像変換装置。 Comprising behavior information acquisition means for acquiring information corresponding to the behavior of the host vehicle;
The overhead view converting means converts the image into the overhead view image by offsetting a change in the image due to the behavior of the host vehicle based on the information corresponding to the behavior.
The image conversion apparatus in any one of Claims 1-4.
前記自車両の進行方向と前記進入先の車線との角度を取得する角度取得工程と、
前記画像を俯瞰画像に変換する俯瞰変換工程であって、前記角度に基づいて前記進入先の車線を前記俯瞰画像内で特定の方向に向ける変換処理を特定し、この変換処理によって俯瞰画像を取得する俯瞰変換工程と、
を含む画像変換方法。
An image acquisition step of acquiring an image including a lane of an approach destination of the own vehicle;
An angle acquisition step of acquiring an angle between the traveling direction of the host vehicle and the lane of the destination;
A bird's-eye conversion process for converting the image into a bird's-eye view image, which specifies a conversion process for directing the lane of the approach destination in a specific direction in the bird's-eye view image based on the angle, and obtains the bird's-eye view image by this conversion process The overhead conversion process to
An image conversion method including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006214361A JP4788518B2 (en) | 2006-08-07 | 2006-08-07 | Image conversion apparatus and image conversion method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006214361A JP4788518B2 (en) | 2006-08-07 | 2006-08-07 | Image conversion apparatus and image conversion method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008040799A true JP2008040799A (en) | 2008-02-21 |
| JP4788518B2 JP4788518B2 (en) | 2011-10-05 |
Family
ID=39175725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006214361A Expired - Fee Related JP4788518B2 (en) | 2006-08-07 | 2006-08-07 | Image conversion apparatus and image conversion method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4788518B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004178610A (en) * | 2003-12-22 | 2004-06-24 | Nissan Motor Co Ltd | Approach prediction device |
| JP2005309812A (en) * | 2004-04-22 | 2005-11-04 | Denso Corp | Vehicle periphery display controller |
| JP2006164197A (en) * | 2004-12-10 | 2006-06-22 | Equos Research Co Ltd | Running support system |
| JP2007333502A (en) * | 2006-06-14 | 2007-12-27 | Nissan Motor Co Ltd | Merging support device, and merging support method |
-
2006
- 2006-08-07 JP JP2006214361A patent/JP4788518B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004178610A (en) * | 2003-12-22 | 2004-06-24 | Nissan Motor Co Ltd | Approach prediction device |
| JP2005309812A (en) * | 2004-04-22 | 2005-11-04 | Denso Corp | Vehicle periphery display controller |
| JP2006164197A (en) * | 2004-12-10 | 2006-06-22 | Equos Research Co Ltd | Running support system |
| JP2007333502A (en) * | 2006-06-14 | 2007-12-27 | Nissan Motor Co Ltd | Merging support device, and merging support method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4788518B2 (en) | 2011-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102365187B (en) | Information display apparatus | |
| EP2071491B1 (en) | Stereo camera device | |
| JP5935636B2 (en) | Intersection guidance system, method and program | |
| CN112189225B (en) | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method | |
| US9361687B2 (en) | Apparatus and method for detecting posture of camera mounted on vehicle | |
| EP2933790B1 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
| JP5157067B2 (en) | Automatic travel map creation device and automatic travel device. | |
| EP1072863B1 (en) | Image processing apparatus for navigation system | |
| US7652686B2 (en) | Device for image detecting objects, people or similar in the area surrounding a vehicle | |
| EP2348279B1 (en) | Road measurement device and method for measuring road | |
| US9175976B2 (en) | Lane guidance display system, lane guidance display method, and lane guidance display program | |
| WO2017167411A1 (en) | An autonomous vehicle with improved visual detection ability | |
| CN112567264A (en) | Apparatus and method for acquiring coordinate transformation information | |
| JP2009211624A (en) | Driving support device, driving support method, and computer program | |
| JP4852905B2 (en) | Image processing apparatus and image processing method | |
| JP2008151507A (en) | Apparatus and method for merge guidance | |
| JP2007034989A (en) | Slippage detection method and slippage correction method of imaging device, and imaging device | |
| JP6943127B2 (en) | Position correction method, vehicle control method and position correction device | |
| JP2014089138A (en) | Location guide system, method and program | |
| JP3588728B2 (en) | On-street line detector in front of vehicle | |
| CN105137468A (en) | Photoelectric type automobile continuous navigation data acquiring device and method in GPS blind area environment | |
| JP2016139914A (en) | Display device, portable terminal and control method | |
| JP4788518B2 (en) | Image conversion apparatus and image conversion method | |
| KR20210051030A (en) | Apparatus and method for correcting bias in sensor | |
| US11477371B2 (en) | Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4788518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |