JP6022907B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP6022907B2 JP6022907B2 JP2012259043A JP2012259043A JP6022907B2 JP 6022907 B2 JP6022907 B2 JP 6022907B2 JP 2012259043 A JP2012259043 A JP 2012259043A JP 2012259043 A JP2012259043 A JP 2012259043A JP 6022907 B2 JP6022907 B2 JP 6022907B2
- Authority
- JP
- Japan
- Prior art keywords
- straight line
- vehicle
- image
- image processing
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.
従来、車両に取り付けられたカメラで車両の周囲を撮影し、カメラの撮影画像からエッジを抽出し、抽出したエッジを用いて駐車枠の線を検出する駐車枠検出装置が知られている(特許文献1および特許文献2参照)。 2. Description of the Related Art Conventionally, there is known a parking frame detection device that captures the surroundings of a vehicle with a camera attached to the vehicle, extracts an edge from a captured image of the camera, and detects a line of the parking frame using the extracted edge (patent) Reference 1 and Patent Document 2).
特許文献1および特許文献2に開示された駐車枠検出装置では、カメラの撮影画像から直接エッジを抽出するので、カメラの撮影画像の解像度でエッジを抽出できるが、処理負荷が高くなるという課題があった。
In the parking frame detection devices disclosed in Patent Literature 1 and
(1)請求項1に記載の発明による画像処理装置は、車両周囲が撮影された撮影画像に基づいて、車両周囲の俯瞰画像を生成する俯瞰画像生成部と、俯瞰画像生成部により生成された俯瞰画像から直線を抽出する第一の直線抽出部と、第一の直線抽出部により抽出された直線に基づいて、車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定部と、車両周囲が撮影された撮影画像から、探索領域設定部により設定された探索領域を用いて直線を抽出する第二の直線抽出部と、を備えることを特徴とする。
(2)請求項8に記載の発明による画像処理方法は、車両周囲が撮影された撮影画像に基づいて車両周囲の俯瞰画像を生成し、俯瞰画像から直線を抽出し、抽出した直線に基づいて車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定し、車両周囲が撮影された撮影画像から探索領域を用いて直線を抽出することを特徴とする。
(3)請求項9に記載の発明による画像処理プログラムは、車両周囲が撮影された撮影画像に基づいて、車両周囲の俯瞰画像を生成する俯瞰画像生成処理と、俯瞰画像生成処理により生成された俯瞰画像から直線を抽出する第一の直線抽出処理と、第一の直線抽出処理により抽出された直線に基づいて、車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定処理と、車両周囲が撮影された撮影画像から、探索領域設定処理により設定された探索領域を用いて直線を抽出する第二の直線抽出処理と、をコンピュータに実行させることを特徴とする。
(1) The image processing apparatus according to the first aspect of the present invention is generated by an overhead image generation unit that generates an overhead image around the vehicle and an overhead image generation unit based on a captured image obtained by capturing the vehicle periphery. Based on the first straight line extraction unit that extracts a straight line from the overhead image and the straight line extracted by the first straight line extraction unit, a search area for searching for a straight line in a captured image obtained by photographing the periphery of the vehicle is set. A search area setting unit, and a second straight line extraction unit that extracts a straight line from a captured image obtained by photographing the periphery of the vehicle using the search area set by the search area setting unit.
(2) In the image processing method according to the eighth aspect of the present invention, an overhead image around the vehicle is generated based on a photographed image obtained by photographing the surroundings of the vehicle, a straight line is extracted from the overhead image, and the extracted straight line is used. A search area for searching for a straight line is set in a photographed image obtained by photographing the periphery of the vehicle, and a straight line is extracted from the photographed image obtained by photographing the periphery of the vehicle using the search area.
(3) The image processing program according to the ninth aspect of the invention is generated by an overhead image generation process for generating an overhead image around the vehicle and an overhead image generation process based on a captured image obtained by capturing the vehicle periphery. Based on the first straight line extraction process for extracting a straight line from the overhead image and the straight line extracted by the first straight line extraction process, a search area for searching for a straight line in a captured image obtained by photographing the periphery of the vehicle is set. A search area setting process and a second straight line extraction process for extracting a straight line from a captured image obtained by photographing the periphery of the vehicle using the search area set by the search area setting process, To do.
本発明によれば、処理負荷を抑えながら、車両の走行面に描かれた直線を抽出できる。 According to the present invention, it is possible to extract a straight line drawn on a traveling surface of a vehicle while suppressing a processing load.
以下、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(第1の実施の形態)
図1は、第1の実施の形態に係る画像処理装置10の構成を示すブロック図である。画像処理装置10は、車両に搭載されて使用されるものであり、俯瞰画像生成部11と、第一の直線抽出部12と、探索領域設定部13と、第二の直線抽出部14と、直線状態認識部15とを備える。画像処理装置10は、不図示のコンピュータに所定の画像処理プログラムを実行させることにより、これらの各部の機能を実現している。各部の機能の内容については、後で詳しく説明する。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an image processing apparatus 10 according to the first embodiment. The image processing apparatus 10 is used by being mounted on a vehicle, and includes an overhead
画像処理装置10には、4つのカメラ20a〜20dが接続されている。カメラ20a〜20dは、車両の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ20aは車両前方の撮影範囲を、カメラ20bは車両左側方の撮影範囲を、カメラ20cは車両右側方の撮影範囲を、カメラ20dは車両後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ20a〜20dにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像処理装置10へ出力される。
Four
図2は、画像処理装置10全体の処理内容を示すフローチャートである。なお、ここでは、各ステップの概要を説明し、各ステップの詳細の内容については、後で詳しく説明する。図2に示す処理は、たとえば、車速が時速0〜40kmである場合に、所定の処理周期ごとに繰り返し実行される。 FIG. 2 is a flowchart showing the processing contents of the entire image processing apparatus 10. Here, an outline of each step will be described, and details of each step will be described in detail later. The processing shown in FIG. 2 is repeatedly executed at predetermined processing cycles, for example, when the vehicle speed is 0 to 40 km / h.
ステップS1において、俯瞰画像生成部11は、カメラ20a〜20dから入力された各撮影画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像(アラウンドビュー画像)を生成する。俯瞰画像生成部11により生成された俯瞰画像は、第一の直線抽出部12へ出力される。
In step S <b> 1, the bird's-eye view
次のステップS2において、第一の直線抽出部12は、ステップS1で生成された俯瞰画像から車両の走行面に描かれた直線を抽出する。車両の走行面に描かれた直線とは、道路上に描かれた各種の道路標示線(車道中央線、車線境界線、車道外側線、横断歩道等)や、駐車場に描かれた駐車枠線などである。第一の直線抽出部12による直線抽出結果は、探索領域設定部13へ出力される。
In the next step S2, the first straight
次のステップS3において、探索領域設定部13は、カメラ20aによる車両前方の撮影画像において、車両の走行面に描かれた直線を探索するための探索領域を設定する。この探索領域の設定は、第一の直線抽出部12による直線抽出結果に基づいて行われる。また、本実施形態では、車両の前後方向に延びる直線(以下、縦線と呼ぶ)が抽出されるように探索領域が設定される。なお、縦線には、車両の前後方向と完全に平行な線だけでなく、車両の前後方向に対して斜めの線も含まれるものとする。探索領域設定部13による探索領域の設定結果は、第二の直線抽出部14へ出力される。
In the next step S3, the search
次のステップS4において、第二の直線抽出部14は、カメラ20aによる車両前方の撮影画像において、ステップS3で設定された探索領域からエッジを抽出し、車両の走行面に描かれた縦線を抽出する。第二の直線抽出部14による縦線の抽出結果は、直線状態認識部15へ出力される。
In the next step S4, the second straight
次のステップS5において、直線状態認識部15は、ステップS4で抽出された縦線の状態(長さ、幅、および多重度)を認識する。なお、多重度とは、直線が何重線であるか(たとえば、一重線か、二重線か、三重線か…)を示すものである。直線状態認識部15による縦線の状態の認識結果は、たとえば、画像処理装置10と接続されている車両制御装置(不図示)へ出力され、車両の駐車支援や走行制御等に利用される。
In the next step S5, the straight line
次に、上述したステップS1の処理の内容について、具体例を挙げて説明する。図3は、カメラ20a〜20dによってそれぞれ撮影された撮影画像21a〜21dの一例と、これらの撮影画像21a〜21dにより生成される俯瞰画像23の一例とを示す図である。俯瞰画像生成部11は、カメラ20a〜20dによってそれぞれ撮影された撮影画像21a〜21dに基づいて、車両24の前方、左側方、右側方および後方にそれぞれ対応する4つの画像領域22a〜22dを作成する。そして俯瞰画像生成部11は、これら4つの画像領域22a〜22dを繋ぎ合わせることにより、俯瞰画像23を生成する。
Next, the content of the process in step S1 described above will be described with a specific example. FIG. 3 is a diagram illustrating an example of the captured
また、上述したステップS2〜S5の処理の内容について、別の具体例を挙げて説明する。図4(a)は、俯瞰画像30の一例を示し、図4(b)は、この俯瞰画像30の生成に用いられた、カメラ20aによる車両前方の撮影画像31の一例を示す。図4(b)に示すカメラ20aの撮影画像31には、2本の縦線32、33が写っており、図4(a)に示す俯瞰画像30には、この2本の縦線32、33の一部が含まれている。
Moreover, the content of the processing of steps S2 to S5 described above will be described with another specific example. FIG. 4A shows an example of the bird's-
上述したステップS2において、第一の直線抽出部12は、俯瞰画像30からエッジを抽出するエッジ抽出処理を行う。エッジとは、画像中で輝度値が急激に変わる点である。このエッジ抽出処理では、俯瞰画像30を横方向(車両の左右方向)に探索して、輝度値の変化が所定のしきい値以上である点をエッジとして抽出する。第一の直線抽出部12は、抽出したエッジの位置関係に基づいて、俯瞰画像30から縦線32、33を抽出する。
In step S <b> 2 described above, the first straight
上述したステップS3において、探索領域設定部13は、図5(a)に示すように、俯瞰画像30の座標系において、ステップS2で抽出された縦線32、33を車両の前方に延長した仮想縦線36、37を設定する。この仮想縦線36、37は、ステップS2で抽出された縦線32、33の始点(車両側の端点)から所定の長さで、且つ俯瞰画像30の撮影範囲外まで延びるように設定される。そして、探索領域設定部13は、各仮想縦線36、37において、各仮想縦線36、37に直交し、且つ所定の長さの探索線38a〜38f、39a〜39fを設定する。探索線38a〜38f、39a〜39fは、仮想縦線36、37の方向において、所定間隔ごとに設定され、且つ、仮想縦線36、37が探索線38a〜38f、39a〜39fの中心を通るように設定される。
In step S3 described above, the search
そして、探索領域設定部13は、図5(b)に示すように、俯瞰画像30の座標系において設定した探索線38a〜38f、39a〜39fの座標値を、カメラ20aの撮影画像31の座標系における座標値に変換する。これにより、カメラ20aの撮影画像31上に探索線38a〜38f、39a〜39fが投影される。すなわち、カメラ20aの撮影画像31において、探索線38a〜38f、39a〜39fが設定される。なお、本説明では、カメラ20aの撮影画像に設定される探索線38a〜38f、39a〜39fをまとめて探索領域と呼ぶ。
Then, as shown in FIG. 5B, the search
上述したステップS4において、第二の直線抽出部14は、カメラ20aの撮影画像において、ステップS3で設定された各探索線上での輝度値の変化を表す輝度プロファイルを生成する。この輝度プロファイルは、ブレゼンハム(Bresenham)のアルゴリズムにより生成される。図6(a)は、この輝度プロファイルの一例を示す図である。第二の直線抽出部14は、この生成した輝度プロファイルを微分し、微分結果に基づいて、カメラ20aの撮影画像からエッジを抽出する。図6(b)は、図6(a)に示す輝度プロファイルの微分結果を示す図である。図6(b)に示す微分結果には、輝度値が暗から明に急変する点、すなわち直線に入るエッジに対応するピーク40と、輝度値が明から暗に急変する点、すなわち直線から出るエッジに対応するピーク41とが含まれている。ピーク40に対応するエッジからピーク41に対応するエッジまでの間が、車両の走行面に描かれた直線の幅に対応する。第二の直線抽出部14は、ピーク40およびピーク41を見つけることにより、車両の走行面に描かれた直線のエッジを抽出する。
In step S4 mentioned above, the 2nd straight
そして、第二の直線抽出部14は、抽出したエッジの位置関係に基づいて、カメラ20aの撮影画像から直線を抽出する。図7は、エッジの抽出結果を示す図である。第二の直線抽出部14は、エッジ42a〜42eをつないだ線と、エッジ43a〜43eをつないだ線との組み合わせから、図4(b)に示したカメラ20aの撮影画像に写る縦線32を抽出する。また、第二の直線抽出部14は、エッジ44a〜44fをつないだ線と、エッジ45a〜45fをつないだ線との組み合わせから、図4(b)に示したカメラ20aの撮影画像に写る縦線33を抽出する。なお、第二の直線抽出部14は、縦線を構成するエッジの一部が抽出されなくても、周囲のエッジをつなぐことで縦線を抽出することができる。たとえば、エッジ44cが抽出されなかった場合でも、第二の直線抽出部14は、エッジ44a、44b、44d、44e、44fをつないで縦線を抽出することができる。
And the 2nd straight
上述したステップS5において、直線状態認識部15は、第二の直線抽出部14により抽出された各縦線32、33の長さ、幅、および多重度を認識する。縦線32の長さについては、たとえば、エッジ42aからエッジ42eまでの距離を用いて求める。また、縦線32の幅については、たとえば、エッジ42aからエッジ43aまでの距離を用いて求める。また、縦線32の多重度については、たとえば、一本の探索線において検出されたエッジの数を用いて求める。たとえば、一本の探索線において検出されたエッジの数が2点であれば一重線と判断し、4点であれば二重線と判断する。
In step S5 described above, the straight line
直線状態認識部15による縦線の状態の認識結果は、たとえば、車両制御装置(不図示)に出力される。車両制御装置では、たとえば、縦線の幅や多重度の認識情報に基づいて、縦線の種類(たとえば、道路標示線なのか、駐車枠線なのか)を判定することができる。また、車両前方に延びる道路標示線が途中で途切れている場合には、その前方に停止線が存在することが想定される。したがって、車両制御装置は、縦線の長さの認識情報に基づいて、縦線の長さが所定値よりも短い場合には、前方に停止線が存在すると判定することができる。そして、車両制御装置は、このような縦線の判定情報を用いて、車両の駐車支援や走行制御等を行うことができる。たとえば、車両制御装置は、縦線が駐車枠線であると判定した場合には、駐車時のブレーキペダルとアクセルペダルの踏み間違いにより急激なアクセル操作が行われても車両の急加速を禁止するような走行制御を行う。
The recognition result of the state of the vertical line by the straight line
以上説明した第1の実施の形態によれば、次の作用効果が得られる。
(1)画像処理装置10において、俯瞰画像生成部11は、カメラ20a〜20dにより車両周囲が撮影された撮影画像に基づいて、車両周囲の俯瞰画像を生成する。第一の直線抽出部12は、俯瞰画像生成部11により生成された俯瞰画像から直線を抽出する。探索領域設定部13は、第一の直線抽出部12により抽出された直線に基づいて、カメラ20aにより車両前方が撮影された撮影画像において直線を探索するための探索領域(探索線)を設定する。第二の直線抽出部14は、カメラ20aにより車両前方が撮影された撮影画像から、探索領域設定部13により設定された探索領域を用いて直線を抽出する。このように、画像処理装置10は、俯瞰画像から抽出した直線に基づいて、カメラ20aの撮影画像の中の直線を探索する領域を特定し、この探索領域において直線を抽出する画像処理を行うので、カメラ20aの撮影画像の全領域に対して直線を抽出する画像処理が不要となる。したがって、画像処理装置10は、処理負荷を抑えながら、カメラ20aの撮影画像の解像度で直線を抽出できるので、車両の走行面に描かれた直線を精度よく抽出できる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) In the image processing apparatus 10, the overhead
(2)画像処理装置10において、直線状態認識部15は、第二の直線抽出部14により抽出された直線の状態(長さ、幅および多重度)を認識するようにした。これにより、画像処理装置10は、直線の状態の認識情報を、車両の駐車支援や走行制御等に用いることができる。
(2) In the image processing apparatus 10, the straight line
(3)画像処理装置10において、カメラ20aの撮影画像において直線を探索するための探索領域は、俯瞰画像の範囲外の領域を含むようにした。俯瞰画像には、車両近傍(例えば車両から2〜3m程度)の範囲しか含まれないが、カメラ20aの撮影画像では、俯瞰画像よりも遠方の範囲が含まれる。このため、画像処理装置10は、カメラ20aの撮影画像から、俯瞰画像に含まれていない遠方の直線を抽出することができる。
(3) In the image processing apparatus 10, the search area for searching for a straight line in the captured image of the
(4)画像処理装置10において、第一の直線抽出部12は、俯瞰画像生成部11により生成された俯瞰画像から縦線を抽出する。探索領域設定部13は、第一の直線抽出部12により抽出された縦線に対して直交するように探索領域を設定する。第二の直線抽出部14は、カメラ20aにより車両前方が撮影された撮影画像において、探索領域設定部13により設定された探索領域からエッジを抽出し、エッジの抽出結果に基づいて直線を抽出する。これにより、画像処理装置10は、カメラ20aの撮影画像から、縦線(車両の前後方向に延びる線)を抽出することができる。
(4) In the image processing apparatus 10, the first straight
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。なお、第2の実施の形態において、画像処理装置10の構成は、第1の実施の形態の構成(図1)と同様であるため説明を省略する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the second embodiment, the configuration of the image processing apparatus 10 is the same as the configuration of the first embodiment (FIG. 1), and the description thereof is omitted.
図8は、第2の実施の形態による画像処理装置10全体の処理内容を示すフローチャートである。ステップS11〜S12の処理は、第1の実施の形態のステップS1〜ステップS2の処理と同様である。すなわち、俯瞰画像生成部11は、カメラ20a〜20dから入力された各撮影画像に基づいて俯瞰画像を生成する。第一の直線抽出部12は、生成された俯瞰画像から車両の走行面に描かれた直線を抽出する。
FIG. 8 is a flowchart showing the processing contents of the entire image processing apparatus 10 according to the second embodiment. The processing of steps S11 to S12 is the same as the processing of steps S1 to S2 of the first embodiment. That is, the overhead
次のステップS13において、探索領域設定部13は、カメラ20aによる車両前方の撮影画像において、車両の走行面に描かれた直線を探索するための探索領域を設定する。第2の実施の形態では、第1の実施の形態と異なり、車両の左右方向に延びる直線(以下、横線と呼ぶ)が抽出されるように、探索領域が設定される。なお、横線には、車両の左右方向と完全に平行な線だけでなく、車両の左右方向に対して斜めの線も含まれるものとする。
In the next step S13, the search
次のステップS14の処理において、第二の直線抽出部14は、カメラ20aによる車両前方の撮影画像において、ステップS13で設定された探索領域からエッジを抽出し、車両の走行面に描かれた横線を抽出する。
In the process of the next step S14, the second straight
次のステップS15において、直線状態認識部15は、ステップS14で抽出された横線の状態(長さおよび幅)を認識する。直線状態認識部15による横線の状態の認識結果は、たとえば、画像処理装置10と接続されている車両制御装置(不図示)へ出力され、車両の駐車支援や走行制御等に利用される。
In the next step S15, the straight line
次に、上述した処理の内容について、具体例を挙げて説明する。図9(a)は、俯瞰画像50の一例を示し、図9(b)は、この俯瞰画像50の生成に用いられた、カメラ20aによる車両前方の撮影画像51の一例を示す。図9(b)に示すカメラ20aの撮影画像51には、3本の縦線52〜54と、1本の横線55とが写っており、これらの直線52〜55は、駐車枠線であるとする。図9(a)に示す俯瞰画像50には、カメラ20aの撮影画像51に写る縦線52、53の一部が含まれているが、縦線54および横線55は含まれていない。
Next, the content of the processing described above will be described with a specific example. FIG. 9A shows an example of the bird's-
上述したステップS12において、第一の直線抽出部12は、第1の実施の形態のステップS2と同様に、俯瞰画像50を横方向(車両の左右方向)に探索してエッジを抽出する。そして、第一の直線抽出部12は、抽出したエッジの位置関係に基づいて、俯瞰画像30から縦線52、53を抽出する。
In step S12 mentioned above, the 1st straight
上述したステップS13において、探索領域設定部13は、図9(a)に示すように、俯瞰画像50の座標系において、探索線58a〜58o(探索領域)を設定する。この探索線58a〜58oは、俯瞰画像50から抽出された縦線52、53が駐車枠の縦線である場合に、その前方にあると想定される駐車枠の横線が探索できるように設定される。
In step S13 described above, the search
駐車枠は、一般的には、1台分が縦5m×横2.5mの枠である。本実施形態では、この駐車枠を横に3台分つなげたものを駐車枠モデル59として想定する。ここで、俯瞰画像50から抽出された縦線52、53の端点と、駐車枠モデル59の真ん中2本の縦線における手前側の端点とを合わせて、縦線52、53と駐車枠モデル59とを重ねた状態を想定する。この状態で、駐車枠モデル59の横線が抽出されるように、探索線58a〜58oが設定される。なお、駐車枠モデル59と異なる大きさの駐車枠にも対応できるよう、探索線58a〜58oはある程度の幅を持って設定される。
The parking frame is generally a frame of 5 m in length and 2.5 m in width for one vehicle. In the present embodiment, a
以上をふまえ、本実施形態において、探索線58a〜58oは、具体的に以下の通り設定される。なお、ここでの説明で記載する数値は、俯瞰画像50の座標系での長さではなく、実際の長さである。探索線58a〜58oは、俯瞰画像50から抽出された縦線52、53と平行に4mの長さで設定される。また、探索線58a〜58oにおいて、縦線52、53の車両側の端点から車両前方に2m離れた位置が始点とされ、縦線52、53の車両側の端点から車両前方に6m離れた位置が終点とされる。また、探索線58a〜58oは、縦線52、53と直交する方向において、左側の縦線52から左に2.5mの範囲内と、右側の縦線53から右に2.5mの範囲内と、左側の縦線56から右側の縦線57までの範囲内とにおいて、所定間隔ごとに設定される。俯瞰画像50の撮影範囲は、車両の近傍(たとえば2〜3m)の範囲なので、探索線58a〜58oは、俯瞰画像50の撮影範囲外にはみ出して設定される。
Based on the above, in the present embodiment, the
このようにして、探索領域設定部13は、俯瞰画像50の座標系において探索線58a〜58oを設定すると、図9(b)に示すように、探索線58a〜58oの座標値を、カメラ20aの撮影画像51の座標系における座標値に変換する。これにより、カメラ20aの撮影画像51上に探索線58f〜58oが投影される。なお、図9(b)では、探索線58a〜58eについては、カメラ20aの撮影画像51に含まれない範囲であるため、投影されていない。このようにして、カメラ20aの撮影画像51において、探索線58f〜58oが設定される。
In this manner, when the search
上述したステップS14において、第二の直線抽出部14は、第1の実施の形態と同様にして、カメラ20aの撮影画像51において、ステップS13で設定された各探索線58f〜58oからエッジを抽出する。そして、第二の直線抽出部14は、抽出したエッジの位置関係に基づいて、カメラ20aの撮影画像から横線55を抽出する。このように、第2の実施の形態の画像処理装置10では、俯瞰画像50に含まれていない横線55を、抽出することができる。
In step S14 mentioned above, the 2nd straight
上述したステップS15において、直線状態認識部15は、ステップS14で抽出された横線の状態(長さ・幅)を認識し、この認識結果を、たとえば、車両制御装置(不図示)に出力する。車両制御装置では、たとえば、横線の幅の認識情報に基づいて、横線の種類(たとえば、道路標示線なのか、駐車枠線なのか)を判定することができる。
In step S15 described above, the straight line
以上説明した第2の実施の形態によれば、次の作用効果が得られる。
画像処理装置10において、第一の直線抽出部12は、俯瞰画像生成部11により生成された俯瞰画像から縦線を抽出する。探索領域設定部13は、第一の直線抽出部12により抽出された縦線に対して平行となるように探索領域を設定する。第二の直線抽出部14は、カメラ20aにより車両前方が撮影された撮影画像において、探索領域設定部13により設定された探索領域からエッジを抽出し、エッジの抽出結果に基づいて直線を抽出する。これにより、画像処理装置10は、処理負荷を抑えながら、カメラ20aの撮影画像から、横線(車両の左右方向に延びる線)を抽出することができる。
According to the second embodiment described above, the following operational effects can be obtained.
In the image processing apparatus 10, the first straight
(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。なお、第3の実施の形態においても、画像処理装置10の構成は、第1の実施の形態の構成(図1)と同様であるため説明を省略する。
(Third embodiment)
Next, a third embodiment of the present invention will be described. Also in the third embodiment, the configuration of the image processing apparatus 10 is the same as the configuration of the first embodiment (FIG. 1), and thus the description thereof is omitted.
図10は、第3の実施の形態による画像処理装置10全体の処理内容を示すフローチャートである。ステップS21〜S22の処理は、第1の実施の形態のステップS1〜ステップS2の処理と同様である。すなわち、俯瞰画像生成部11は、カメラ20a〜20dから入力された各撮影画像に基づいて俯瞰画像を生成する。第一の直線抽出部12は、生成された俯瞰画像から車両の走行面に描かれた直線を抽出する。
FIG. 10 is a flowchart showing the processing contents of the entire image processing apparatus 10 according to the third embodiment. The processing of steps S21 to S22 is the same as the processing of steps S1 to S2 of the first embodiment. That is, the overhead
次のステップS23〜S25の処理と、ステップS26〜S28の処理は、たとえば、並行に実行される。ステップS23〜S25の処理は、第1の実施の形態のステップS3〜S5の処理と同様である。すなわち、探索領域設定部13が、カメラ20aの撮影画像において、車両の走行面に描かれた縦線を抽出するための探索領域(探索線)を設定する。第二の直線抽出部14は、カメラ20aの撮影画像において、設定された探索線上でエッジを抽出し、縦線を抽出する。直線状態認識部15は、抽出された縦線の状態(長さ、幅、および多重度)を認識する。
The processes of the next steps S23 to S25 and the processes of steps S26 to S28 are executed in parallel, for example. The processes in steps S23 to S25 are the same as the processes in steps S3 to S5 of the first embodiment. That is, the search
また、ステップS26〜S28の処理は、第2の実施の形態のステップS13〜S15の処理と同様である。すなわち、探索領域設定部13が、カメラ20aの撮影画像において、車両の走行面に描かれた横線を抽出するための探索領域(探索線)を設定する。第二の直線抽出部14は、カメラ20aの撮影画像において、設定された探索線上でエッジを抽出し、横線を抽出する。直線状態認識部15は、抽出された縦線の状態(長さおよび幅)を認識する。
Moreover, the process of step S26-S28 is the same as the process of step S13-S15 of 2nd Embodiment. That is, the search
このように、第3の実施の形態では、カメラ20aの撮影画像から縦線と横線の両方を抽出する。なお、図10では、縦線を抽出する処理と、横線を抽出する処理とを並行して行う例について示したが、いずれかを先に行うようにしてもよい。
Thus, in the third embodiment, both vertical lines and horizontal lines are extracted from the captured image of the
そして、ステップS29において、直線状態認識部15は、カメラ20aの撮影画像から抽出された縦線と横線との交差角を認識する。なお、縦線と横線の交差角は、たとえば、カメラ20aの撮影画像から抽出された縦線と横線を、俯瞰画像の座標系における座標値に変換したうえで算出される。
In step S29, the straight line
直線状態認識部15による縦線と横線の交差角の認識結果は、たとえば、車両制御装置(不図示)に出力される。たとえば、縦線および横線の交差角が略90度である場合には、抽出された縦線および横線が道路標示線または駐車枠線であると想定される。しかしながら、縦線および横線の交差角が略90度ではない場合には、抽出された縦線および横線が道路標示線または駐車枠線ではないと想定される。したがって、車両制御装置は、縦線と横線の交差角の情報に基づいて、抽出された縦線および横線が道路標示線または駐車枠線であるか否かを判定することができる。
The recognition result of the intersection angle between the vertical line and the horizontal line by the straight line
以上説明した第3の実施の形態によれば、次の作用効果が得られる。
画像処理装置10において、第一の直線抽出部12は、俯瞰画像生成部11により生成された俯瞰画像から縦線を抽出する。探索領域設定部13は、第一の直線抽出部12により抽出された縦線に対して直交する探索領域(第一の探索領域)と、上記縦線に対して平行である探索領域(第二の探索領域)とを設定する。第二の直線抽出部14は、カメラ20aにより車両前方が撮影された撮影画像において、上記第一の探索領域からエッジを抽出し、エッジの抽出結果に基づいて縦線を抽出する。また、第二の直線抽出部14は、カメラ20aにより車両前方が撮影された撮影画像において、上記第二の探索領域からエッジを抽出し、エッジの抽出結果に基づいて横線を抽出する。これにより、画像処理装置10は、処理負荷を抑えながら、カメラ20aの撮影画像から、縦線と横線の両方を抽出することができる。
According to the third embodiment described above, the following operational effects can be obtained.
In the image processing apparatus 10, the first straight
(変形例1)
上述した実施の形態では、4つのカメラ20a〜20dが上記のような各撮影範囲をそれぞれ撮影する例について説明したが、車両に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両の全周囲をカバーしていなくてもよい。車両の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。
(Modification 1)
In the above-described embodiment, the example in which the four
(変形例2)
上述した実施の形態では、4つのカメラ20a〜20dによる撮影画像が画像処理装置10に入力される例について説明したが、全てのカメラ20a〜20dの撮影画像が入力されなくてもよい。いずれか1つのカメラの撮影画像が画像処理装置10に入力されるようにしてもよい。この場合、俯瞰画像生成部11は、入力されたカメラの撮影画像のみで俯瞰画像を生成する。
(Modification 2)
In the above-described embodiment, the example in which the captured images from the four
(変形例3)
上述した実施の形態では、カメラ20aによる車両前方の撮影画像から、車両の走行面に描かれた直線を抽出する例について説明したが、直線を抽出する撮影画像はこれに限定されない。カメラ20b〜20dによる車両左側方、右側方、後方の撮影画像から、それぞれ、上述した実施の形態と同様にして、直線を抽出するようにしてもよい。
(Modification 3)
In the above-described embodiment, the example in which the straight line drawn on the traveling surface of the vehicle is extracted from the captured image in front of the vehicle by the
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。 As long as the characteristics of the present invention are not impaired, the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .
10…画像処理装置、11…俯瞰画像生成部、12…第一の直線抽出部、13…探索領域設定部、14…第二の直線抽出部、15…直線状態認識部、20a〜20d…カメラ DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 11 ... Overhead image production | generation part, 12 ... 1st straight line extraction part, 13 ... Search area setting part, 14 ... 2nd straight line extraction part, 15 ... Straight line state recognition part, 20a-20d ... Camera
Claims (9)
前記俯瞰画像生成部により生成された俯瞰画像から直線を抽出する第一の直線抽出部と、
前記第一の直線抽出部により抽出された直線に基づいて、前記車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定部と、
前記車両周囲が撮影された撮影画像から、前記探索領域設定部により設定された探索領域を用いて直線を抽出する第二の直線抽出部と、
を備えることを特徴とする画像処理装置。 An overhead image generation unit that generates an overhead image around the vehicle based on a captured image of the surroundings of the vehicle;
A first straight line extraction unit that extracts a straight line from the overhead image generated by the overhead image generation unit;
Based on the straight line extracted by the first straight line extraction unit, a search region setting unit that sets a search region for searching for a straight line in a captured image obtained by photographing the periphery of the vehicle;
A second straight line extraction unit that extracts a straight line from a photographed image obtained by photographing the periphery of the vehicle using a search region set by the search region setting unit;
An image processing apparatus comprising:
前記第二の直線抽出部により抽出された直線の状態を認識する直線状態認識部をさらに備えることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus, further comprising: a straight line state recognition unit for recognizing a straight line state extracted by the second straight line extraction unit.
前記探索領域は、前記俯瞰画像の撮影範囲外の領域を含むことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The image processing apparatus, wherein the search area includes an area outside the shooting range of the overhead image.
前記探索領域設定部は、前記第一の直線抽出部により抽出された直線に対して直交するように前記探索領域を設定し、
前記第二の直線抽出部は、前記車両周囲が撮影された撮影画像において、前記探索領域設定部により設定された探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて直線を抽出することを特徴とする画像処理装置。 In the image processing device according to any one of claims 1 to 3,
The search area setting unit sets the search area to be orthogonal to the straight line extracted by the first straight line extraction unit;
The second straight line extraction unit extracts an edge from a search region set by the search region setting unit in a captured image obtained by photographing the periphery of the vehicle, and extracts a straight line based on the extraction result of the edge. An image processing apparatus.
前記探索領域設定部は、前記第一の直線抽出部により抽出された直線に対して平行となるように前記探索領域を設定し、
前記第二の直線抽出部は、前記車両周囲が撮影された撮影画像において、前記探索領域設定部により設定された探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて直線を抽出することを特徴とする画像処理装置。 In the image processing device according to any one of claims 1 to 3,
The search area setting unit sets the search area to be parallel to the straight line extracted by the first straight line extraction unit,
The second straight line extraction unit extracts an edge from a search region set by the search region setting unit in a captured image obtained by photographing the periphery of the vehicle, and extracts a straight line based on the extraction result of the edge. An image processing apparatus.
前記探索領域設定部は、前記探索領域として、前記第一の直線抽出部により抽出された直線に対して直交する第一の探索領域と、前記第一の直線抽出部により抽出された直線と平行である第二の探索領域とを設定し、
前記第二の直線抽出部は、前記車両周囲が撮影された撮影画像の前記第一の探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて第一の直線を抽出し、前記車両周囲が撮影された撮影画像の前記第二の探索領域からエッジを抽出し、前記エッジの抽出結果に基づいて第二の直線を抽出することを特徴とする画像処理装置。 In the image processing device according to any one of claims 1 to 3,
The search area setting unit is parallel to the first search area orthogonal to the straight line extracted by the first straight line extraction unit and the straight line extracted by the first straight line extraction unit as the search area. And a second search area that is
The second straight line extraction unit extracts an edge from the first search region of a captured image obtained by photographing the vehicle periphery, extracts a first straight line based on the extraction result of the edge, and An image processing apparatus, wherein an edge is extracted from the second search region of a photographed image obtained by photographing and a second straight line is extracted based on the extraction result of the edge.
前記第二の直線抽出部により抽出された前記第一の直線と前記第二の直線との交差角を認識する交差角認識部をさらに備えることを特徴とする画像処理装置。 The image processing apparatus according to claim 6.
An image processing apparatus, further comprising: a crossing angle recognition unit that recognizes a crossing angle between the first straight line and the second straight line extracted by the second straight line extraction unit.
前記俯瞰画像生成処理により生成された俯瞰画像から直線を抽出する第一の直線抽出処理と、
前記第一の直線抽出処理により抽出された直線に基づいて、前記車両周囲が撮影された撮影画像において直線を探索するための探索領域を設定する探索領域設定処理と、
前記車両周囲が撮影された撮影画像から、前記探索領域設定処理により設定された探索領域を用いて直線を抽出する第二の直線抽出処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。 An overhead image generation process for generating an overhead image around the vehicle based on a photographed image of the surroundings of the vehicle;
A first straight line extraction process for extracting a straight line from the overhead image generated by the overhead image generation process;
Based on the straight line extracted by the first straight line extraction process, a search area setting process for setting a search area for searching for a straight line in a captured image obtained by photographing the periphery of the vehicle;
A second straight line extraction process for extracting a straight line from the photographed image obtained by photographing the periphery of the vehicle using the search area set by the search area setting process;
An image processing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012259043A JP6022907B2 (en) | 2012-11-27 | 2012-11-27 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012259043A JP6022907B2 (en) | 2012-11-27 | 2012-11-27 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014106734A JP2014106734A (en) | 2014-06-09 |
JP6022907B2 true JP6022907B2 (en) | 2016-11-09 |
Family
ID=51028165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012259043A Active JP6022907B2 (en) | 2012-11-27 | 2012-11-27 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6022907B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6493000B2 (en) * | 2015-06-16 | 2019-04-03 | 日産自動車株式会社 | Road marking detection device and road marking detection method |
JP6467310B2 (en) * | 2015-07-23 | 2019-02-13 | Kyb株式会社 | Parking guidance device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3951465B2 (en) * | 1998-06-26 | 2007-08-01 | アイシン精機株式会社 | Parking assistance device |
JP4940168B2 (en) * | 2008-02-26 | 2012-05-30 | 日立オートモティブシステムズ株式会社 | Parking space recognition device |
JP5195692B2 (en) * | 2009-08-26 | 2013-05-08 | 株式会社日本自動車部品総合研究所 | Driving assistance device |
JP5846317B2 (en) * | 2012-11-27 | 2016-01-20 | 日産自動車株式会社 | Vehicle acceleration suppression device |
-
2012
- 2012-11-27 JP JP2012259043A patent/JP6022907B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014106734A (en) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4654163B2 (en) | Vehicle surrounding environment recognition device and system | |
JP6197291B2 (en) | Compound eye camera device and vehicle equipped with the same | |
WO2015163078A1 (en) | External-environment-recognizing apparatus | |
JP6045889B2 (en) | In-vehicle control device | |
CN104506800B (en) | The alert camera scene synthesis of the multi-direction electricity of one kind and comprehensive monitoring and controlling method and device | |
JP6743882B2 (en) | Image processing device, device control system, imaging device, image processing method, and program | |
JP5561064B2 (en) | Vehicle object recognition device | |
CN109997148B (en) | Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and computer-readable recording medium | |
JP2014160322A (en) | Lane boundary deviation suppression device | |
JP6601506B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method, image processing program, and vehicle | |
JP2017010560A (en) | Vehicle driving support device | |
US10102437B2 (en) | Vehicle driving hazard recognition and avoidance apparatus and vehicle control device | |
JP6483360B2 (en) | Object recognition device | |
JP2010061375A (en) | Apparatus and program for recognizing object | |
JP2019053685A (en) | Image processing device | |
JP6022907B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6631691B2 (en) | Image processing device, device control system, imaging device, image processing method, and program | |
JP7427594B2 (en) | Image processing device | |
JP2017054408A (en) | Vehicle type determination device, vehicle type determination method, vehicle type determination program | |
JP6949090B2 (en) | Obstacle detection device and obstacle detection method | |
JP6253175B2 (en) | Vehicle external environment recognition device | |
JP5950193B2 (en) | Disparity value calculation device, disparity value calculation system including the same, moving surface area recognition system, disparity value calculation method, and disparity value calculation program | |
WO2018146997A1 (en) | Three-dimensional object detection device | |
JP6677141B2 (en) | Parking frame recognition device | |
JP2016122386A (en) | Lane boundary line recognition apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6022907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |