JP2004108980A - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP2004108980A JP2004108980A JP2002273062A JP2002273062A JP2004108980A JP 2004108980 A JP2004108980 A JP 2004108980A JP 2002273062 A JP2002273062 A JP 2002273062A JP 2002273062 A JP2002273062 A JP 2002273062A JP 2004108980 A JP2004108980 A JP 2004108980A
- Authority
- JP
- Japan
- Prior art keywords
- section
- matrix data
- edge
- matrix
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】不安定なエッジの検出を補うことができる画像処理方法を提供する。
【解決手段】ステレオカメラの視野を視差に基づく測距値と角度によってマトリクス状に区画し、検出されたエッジが存在する区画及び該区画の周囲の区画のマトリクスデータを演算して各区画にそれぞれ付与し、該付与されたマトリクスデータのうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、該サーチされた区画に前記検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【選択図】 図１０
【解決手段】ステレオカメラの視野を視差に基づく測距値と角度によってマトリクス状に区画し、検出されたエッジが存在する区画及び該区画の周囲の区画のマトリクスデータを演算して各区画にそれぞれ付与し、該付与されたマトリクスデータのうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、該サーチされた区画に前記検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けたカメラにより撮像した前方の道路状況、特に前方車両等の認識を適正に行うことのできる画像処理方法に関する。
【０００２】
【従来の技術】
従来、カメラで捉えた画像から、前方車両等の認識、あるいは距離の測定等が行われている。その際、前方車両等の認識をするためエッジ抽出を行い、エッジ画像を得て、前方車両等の物体の距離測定と角度測定を行っている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１０１４２８号公報
エッジとは画像中の濃淡部分が大きい部分、いわゆる輪郭線のことで、影や汚れによって濃淡が変化しても影響が少ないという利点がある。また、エッジを抽出するとき、縦エッジ又は横エッジ、あるいは両方のエッジを抽出することができる。
【０００４】
【発明が解決しようとする課題】
画像処理においてエッジ検出を行うには、例えば、左右にカメラを配置して縦エッジ又は横エッジ、あるいは両方のエッジを検出し、物体の距離測定と角度測定を行うが、カメラのノイズや周囲の状況によって一定の位置にエッジが現れないため所定の時間間隔でエッジを検出する場合、安定した検出ができないことが多い。例えば、前方車両の特定の部分のエッジがある時点で現れなかったり、一定の位置に現れないため、この部分のエッジが安定して検出できないことがある。
【０００５】
そこで、本発明は、このような不安定なエッジの検出を補うことができる画像処理方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明によれば、ステレオカメラの視野を視差に基づく測距値と角度によってマトリクス状に区画し、検出されたエッジが存在する区画及び該区画の周囲の区画のマトリクスデータを演算して各区画にそれぞれ付与し、該付与されたマトリクスデータのうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、該サーチされた区画に前記検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【０００７】
また、サーチされた区画にエッジが存在しない場合、順次閾値を高め、該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【０００８】
【発明の実施の形態】
図１は、本発明の画像処理方法に用いる画像処理装置の構成のブロック図である。画像処理装置１は、前方の画像を撮影する左右一対のカメラＬ及びＲを備えており、このカメラＬとＲから得られる画像によりステレオ距離測定する。即ち、２台のカメラにより前方の対象物、例えば先行車両までの距離を測定し、該車両との距離を一定に保つ車間距離制御等を行う。
【０００９】
カメラＬとＲから得られた画像データは増幅器１１、１２、でそれぞれ増幅され、かつフィルタにより帯域制限され、Ａ／Ｄ変換器１３、１４にそれぞれ入力し、メモリ１５に格納される。格納された各画像データはＣＰＵ１６において処理され、車間距離制御（ＥＣＵ）２によって先行車両との車間距離制御等に用いられる。ＣＰＵ１６では、カメラＬ、Ｒから得られた画像データが処理され、先行車両等の前方に位置する物体との距離、検出角度、高さ、幅等の情報が得られる。
【００１０】
図２はカメラで捕らえた画像を示した図である。図３は、図２に示すカメラで捉えた画像から縦エッジを抽出した図である。図３には、前方車両の縦エッジしか描いていないが、レーンの縦エッジも抽出することができる。
【００１１】
エッジ情報は画像の明暗の変化点を抽出した情報であり、距離情報は複眼カメラで得た画像を比較し、視差を求めて距離情報を得るものである。単眼カメラで捕らえた場合も、エッジ情報を得ることができ、パターン認識ができ、さらにはおよその距離とその物体の位置する角度およびその高さがわかる。
【００１２】
図４は道路標識４が取り付けられた橋３が前方にある場合にカメラで捕らえた画像を示した図である。図５は図４に示された画像の縦エッジを抽出した場合のエッジ画像を示した図である。この図に示されているように、縦エッジを抽出した場合、橋３の橋脚部分と標識４の縦の線のみが現れる。同様に、画像の横エッジを抽出することもできる。図６は図４に示された画像の横エッジを抽出した場合のエッジ画像を示した図である。
【００１３】
図７は、図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示す図である。左右のカメラＬとＲは、カメラ基板３２Ｌと３２Ｒ上に形成されたセンサチップよりなる撮像素子３３Ｌと３３Ｒ、これに前方の車両Ｖの像を結像するレンズ３１Ｌと３１Ｒを有する。３４Ｌと３４Ｒは互いに平行なカメラＬとＲの光軸であり、Ｄは両カメラ間の距離である。
【００１４】
撮像素子３３Ｌと３３Ｒの面に平行で水平方向をＸ軸、撮像素子３３Ｌと３３Ｒの面に平行で垂直方向をＹ軸、そして光軸と同じ方向をＺ軸とし、検出対象Ｖの位置をｐ（ｘ，ｙ，ｚ）で表すと、カメラから検出対象Ｖまでの距離ｚは以下の式により表すことができる。
【００１５】
ｚ＝ｆ・Ｄ／（ｘＬ−ｘＲ）＝ｆ・Ｄ／Ｓ
上記式で、ｆは焦点距離、Ｄは両カメラ間の距離である。ｘＬ−ｘＲ＝Ｓは視差であり、（ｘＬ，ｙＬ）はカメラＬで撮像した画像ＭＬにおいて位置ｐが撮像されている点の位置であり、（ｘＲ，ｙＲ）はカメラＲで撮像した画像ＭＲにおいて位置ｐが撮像されている点の位置である。視差Ｓは、図７に示されているように、撮像面の水平軸が同じライン上に揃っている場合は、Ｓ＝ｘＬ−ｘＲとなる。焦点距離ｆ、視差Ｓ、及びｘＬ、ｘＲの単位は画素であり、両カメラ間の距離Ｄと距離ｚの単位はｍである。
【００１６】
図８は、本発明に用いるマトリクスを作成するための、視差と測距値の関係を示した図である。測距値Ｒは、Ｒ＝Ｋ／ｎによって求められる。ここで、Ｋはステレオカメラのパラメータで決まる定数であり、ｎは視差である。図８ではＫ＝１４０の場合を示している。視差ｎは物体との距離が近づけば大きくなる。従って、視差が小さくなるに従って測距値は大きくなる。
【００１７】
測距値は視差の値によって変化するが、本発明では視差ｎが整数の場合の測距値を、その前後を含めた所定の範囲の視差の値における測距値とし、測距値が階段状に変化するようにしている。例えば、視差ｎが、２．５＞ｎ≧１．５の測距値を、視差ｎ＝２の測距値７０としている。
【００１８】
図９は本発明で用いるマトリクスを描いた図である。図に示すようにカメラＣＭの視野が放射状に広がっている。この視野の距離方向を、図８に示したように視差ｎが整数である場合の測距値で区切る。例えば、図９において最も遠い区画がｎ＝１の区画であり、その手前の区画がｎ＝２の場合の区画である。
【００１９】
一方、カメラＣＭの視野の角度は所定の角度（例えば、５°）で区切られており、区切られた距離及び角度に基づいてカメラの視野の範囲がマトリクス状に区画され、各区画に座標が与えられている。図９は区画に付与された座標の例を示している。各区画には区切られた角度に基づく番号ｍ（図に示す例では「１−９」）と視差に基づく距離の番号ｎ（図に示す例では「１−６」）によって座標Ｍ（ｍ，ｎ）が与えられている。例えば、角度の番号が「５」で視差に基づく距離の番号が「１」の区画の座標として、Ｍ（５，１）が付与される。
【００２０】
本発明ではこのように座標を付与されたマトリクス区画毎にマトリクスデータを演算して付与し、物体が存在する指標とするものである。
【００２１】
図１０は、カメラの視野の範囲を区切って作成したマトリクス区画毎に、実際にマトリクスデータを付与した例を示した図である。マトリクスデータとは、マトリクス区画毎に物体のエッジが現れる頻度を数値で表したものである。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画にマトリクスデータとして１００を付与し、その上下左右のマトリクス区画にマトリクスデータとしてそれぞれ５０を付与する。また、物体Ａが位置するマトリクス区画の斜め上下のマトリクス区画にマトリクスデータとして３０を付与する。このように、所定の時間間隔で各マトリクス区画にマトリクスデータを付与し、マトリクスデータを積み上げて行く。また、ある時点で物体が検出されなかった場合には、前回までに積み上げたマトリクスデータの合計値から、例えば５０を減ずる。ただし、マトリクスの合計値は最低が０とし、マイナスにならないようにする。そして、マトリクスデータの合計値が一定の値を超えたとき、そのマトリクス区画の位置に物体が存在するものと判断する。
【００２２】
一方、エッジを検出し検出されたエッジの距離と角度（エッジデータ）を算出し、現在及び過去のエッジデータを保存しておき、マトリクスデータの合計値が一定の値を超えたマトリクス区画に存在する、現在又は過去のエッジデータを採用して物体の存在を安定して検出できるようにする。
【００２３】
図１１は、本発明の画像処理方法の実施例の動作を示すフローチャートである。これらの動作は、図１の画像処理装置１のＣＰＵ１６によって制御される。まず、時間ｔにおいて前方を走行する車両のエッジをカメラで検出し、該検出されたエッジの距離Ｒ（ｔ）、及び検出角度θ（ｔ）（エッジデータ）を算出し記憶装置に記憶する（Ｓ１）。検出されるエッジの数は１つとは限らないので、時間ｔにおいて検出された各エッジの距離Ｒｘ（ｔ）、及び検出角度θｘ（ｔ）をそれぞれ算出し記憶装置に記憶する。ｘは検出された各エッジを表す。次に、時間ｔにおいて検出された各エッジの距離Ｒｘ（ｔ）と角度θｘ（ｔ）から、その距離及び角度に位置する各マトリクス区画の座標Ｍｘ（ｍ，ｎ）を求める（Ｓ２）。次に、座標がＭｘ（ｍ，ｎ）の区画の時間ｔにおけるマトリクスデータＭｘｄ（ｔ）（ｍ，ｎ）を、式
Ｍｘｄ（ｔ）（ｍ，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ）＋Ｐ
により演算する（Ｓ３）。上記式で、Ｍｘｄ（ｔ−１）は検出されたエッジが存在するマトリクス区画の前回までの検出で積み上げたマトリクスデータの合計値であり、Ｐは検出されたエッジが存在するマトリクス区画に新たに加算されるマトリクスデータである。Ｐの値として、図１０に示す例に従えば「１００」が加算される。そして、演算の結果得られたマトリクスデータをマトリクス区画にそれぞれ付与する。
【００２４】
次に、上記マトリクス区画の上下左右に位置する区画のマトリクスデータをそれぞれ演算し、演算の結果得られたマトリクスデータを該上下左右に位置するマトリクス区画に付与する（Ｓ４）。
【００２５】
例えば、左側のマトリクス区画のマトリクスデータは以下のように演算する。
【００２６】
（左側）Ｍｘｄ（ｔ）（ｍ−１，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ−１，ｎ）＋（Ｐ／２）
上記式で、Ｍｘｄ（ｔ）（ｍ−１，ｎ）は求めるマトリクスデータであり、Ｍｘｄ（ｔ−１）（ｍ−１，ｎ）は前回までの検出でその区画に付与されたマトリクスデータの値であり、Ｐ／２は新たに加算されるマトリクスデータである。図１０に示す例に従えば、Ｐ／２＝５０となる。
【００２７】
同様に、右側、上側、下側のマトリクス区画のマトリクスデータを、以下のように演算する。
【００２８】
（右側）Ｍｘｄ（ｔ）（ｍ＋１，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ＋１，ｎ）＋（Ｐ／２）
（上側）Ｍｘｄ（ｔ）（ｍ，ｎ−１）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ−１）＋（Ｐ／２）
（下側）Ｍｘｄ（ｔ）（ｍ，ｎ＋１）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ＋１）＋（Ｐ／２）
同時に、上記マトリクスの斜め上下に位置するマトリクス区画のマトリクスデータを演算し、演算の結果得られたマトリクスデータを該斜め上下に位置するマトリクス区画にそれぞれ付与する（Ｓ４）。
【００２９】
例えば、斜め左上のマトリクス区画のマトリクスデータは以下のように演算する。
【００３０】
（斜め左上）Ｍｘｄ（ｔ）（ｍ−１，ｎ−１）＝Ｍｘｄ（ｔ−１）（ｍ−１，ｎ−１）＋（Ｐ／３）
図１０に示す例に従えば、Ｐ／３＝３０となる。
【００３１】
同様に、斜め右上、斜め左下、斜め右下のマトリクス区画のマトリクスデータは以下のように演算する。
【００３２】
（斜め右上）Ｍｘｄ（ｔ）（ｍ＋１，ｎ−１）＝Ｍｘｄ（ｔ−１）（ｍ＋１，ｎ−１）＋（Ｐ／３）
（斜め左下）Ｍｘｄ（ｔ）（ｍ−１，ｎ＋１）＝Ｍｘｄ（ｔ−１）（ｍ−１，ｎ＋１）＋（Ｐ／３）
（斜め右下）Ｍｘｄ（ｔ）（ｍ＋１，ｎ＋１）＝Ｍｘｄ（ｔ−１）（ｍ＋１，ｎ＋１）＋（Ｐ／３）
なお、上記例ではＰ、Ｐ／２、Ｐ／３を加算したが、所定のマトリクスデータＰ１、Ｐ２、Ｐ３（ただし、Ｐ１＞Ｐ２＞Ｐ３）を加算してもよい。また、ある時点で物体が検出されなかった場合には、所定のマトリクスデータを減算する。
【００３３】
次に、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐｔｈ０を超えるマトリクスデータを有するマトリクス区画Ｍｐ０（ｍ，ｎ）をサーチし（Ｓ５）、該区画Ｍｐ０（ｍ，ｎ）にｔ時点で検出されたエッジが存在するかどうか判断する（Ｓ６）。存在する場合にはそのエッジのエッジデータを物体の位置とする。ここでいうエッジデータとは、Ｓ１で時間ｔにおいて検出され記憶されたエッジの距離Ｒｘ（ｔ）、及び角度θｘ（ｔ）のうち、マトリクス区画Ｍｐ０（ｍ，ｎ）に存在するエッジのエッジデータＲｐ（ｔ）、θｐ（ｔ）を意味する。このエッジデータＲｐ（ｔ）、θｐ（ｔ）は、Ｓ１において検出されたデータのうち、マトリクスデータが所定の閾値を超える区画にあるエッジのエッジデータであり、従ってその存在が安定して検出されるエッジのデータである。なお、時間ｔで検出されたエッジのエッジデータ以外にも、時間ｔ−１、ｔ−２、−−− ｔ−ｎで検出されたエッジのデータも記憶される。
【００３４】
Ｓ６で区画Ｍｐ０（ｍ，ｎ）にエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジデータＲｐ（ｔ）、θｐ（ｔ）を物体の距離、及び角度として採用する。Ｓ６でＮｏであればそのまま終了し、同じフローが繰り返される。
【００３５】
図１２は、本発明の画像処理方法の別の実施例の動作を示すフローチャートである。図１１のＳ６までは同じフローである。Ｓ６でＹｅｓであれば、図１１と同様にＳ７に進む。
【００３６】
図１２の実施例では、所定の閾値Ｐｔｈ０を超えるマトリクスデータを有するマトリクス区画Ｍｐ０（ｍ，ｎ）にｔ時点のエッジデータが存在しない場合（Ｎｏ）、マトリクスデータの閾値を高くし、該高くした閾値を超える区画をサーチし、サーチの結果得た高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在するかどうかを判断する。存在する場合にはそのエッジのエッジデータを物体の位置、即ち、距離及び角度とする。高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在しない場合、さらに閾値を高めて前々回検出時（ｔ−２時点）のエッジが存在するかどうか判断する。以下、同様な動作を繰り返す。
【００３７】
以下に、図１２のフローチャートを参照して別の実施例の動作を説明する。Ｓ６でＮｏの場合、図１２に示された実施例では、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐｔｈ１（Ｐｔｈ１＞Ｐｔｈ０）を超えるマトリクスデータを有するマトリクス区画Ｍｐ１（ｍ，ｎ）をサーチし（Ｓ８）、該区画Ｍｐ１（ｍ，ｎ）に時間ｔ−１時点のエッジが存在するかどうか判断する（Ｓ９）。時間ｔ−１時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲｐ（ｔ−１）、θｐ（ｔ−１）を物体の距離、及び角度として採用する（Ｓ１０）。Ｓ９でエッジが存在しない場合（Ｎｏ）、閾値をＰｔｈ２（Ｐｔｈ２＞Ｐｔｈ１）にして同様の動作を行う。そしてエッジが存在しない場合、順次閾値を高めてゆく。Ｓｎでは閾値をＰｔｈｎ（Ｐｔｈｎ＞−−−＞Ｐｔｈ１＞Ｐｔｈ０）にし、閾値Ｐｔｈｎを超えるマトリクスデータを有するマトリクス区画Ｍｐｎ（ｍ，ｎ）をサーチし（Ｓｎ）、該区画Ｍｐｎ（ｍ，ｎ）に時間ｔ−ｎ時点のエッジが存在するかどうか判断する（Ｓｎ＋１）。時間ｔ−ｎ時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲｐ（ｔ−ｎ）、θｐ（ｔ−ｎ）を物体の距離、及び角度として採用する（Ｓｎ＋２）。Ｓｎ＋１でＮｏであれば、そのまま終了する。
【００３８】
上記実施例では、閾値ＰｔｈをＰｔｈ０からＰｔｈｎまで設定して繰り返したが、繰り返す回数は適宜設定することができる。
【００３９】
上記説明では一対のカメラを用いて物体の距離と角度を検出しているが、単眼のカメラを用い、画面の上下位置から求められるる物体の距離と、カメラの視野を区切った所定の角度に基づいてマトリクスを作成し、エッジデータに加えてマトリクスデータを用いて、物体の位置（距離、角度）を検出することができる。
【００４０】
上記実施例では、エッジが検出されるとその距離及び角度に位置する各マトリクス区画の座標を求め、演算においてマトリクスデータを加算したが、例えば、
Ｍｘｄ（ｔ）（ｍ，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ）×Ｑ
のように、係数Ｑを乗算しマトリクスデータを求めることもできる。
【００４１】
図１３は乗算によってマトリクスデータを用いる場合の、マトリクス区画毎に実際に係数を付与した例を示した図である。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画のマトリクスデータに係数１．５を乗算する。同様に上下左右のマトリクス区画のマトリクスデータにそれぞれ係数１．３を乗算し、斜め上下のマトリクス区画のマトリクスデータにそれぞれ係数１．１を乗算する。なお、この場合は加算ではないので、各マトリクス区画にマトリクスデータの初期値として、例えば「１」を与えておく。そしてエッジが検出された場合には各マトリクス区画のマトリクスデータに、それぞれ図１３に示された係数を乗算する。また、物体が検出されなかった場合には各マトリクスデータに例えば係数０．５を乗算する。しかし、０．５の乗算を繰り返すとマトリクスデータの値が小さくなりすぎてしまい、物体が検出されて１．５を乗算してもマトリクスデータはほとんど増えないので、マトリクスデータが１より小さくなった時には「１」とする。上記のようにマトリクスデータを乗算で求める場合、図１１に示す「所定閾値」を例えば「５」とする。
【００４２】
【発明の効果】
本発明では上記のように、検出されたエッジデータに加えてマトリクスデータを用いたので、確実に物体の位置（距離、角度）を検出することができる。また、一定の位置で検出されていたエッジがある時点で検出できなかった場合でも、マトリクスデータを用いることによって物体の位置（距離、角度）を安定して検出することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成のブロック図である。
【図２】カメラで捕らえた画像を示した図である。
【図３】カメラで捕らえた画像から縦エッジを抽出した図である。
【図４】カメラで捕らえた画像を示した図である。
【図５】カメラで捕らえた画像から縦エッジを抽出した図である。
【図６】カメラで捕らえた画像から横エッジを抽出した図である
【図７】図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示した図である。
【図８】本発明で用いるマトリクスを作成する場合の視差と測距値の関係を示した図である。
【図９】本発明で用いるマトリクスを描いた図である。
【図１０】マトリクス区画毎にマトリクスデータを付与した図である。
【図１１】本発明の実施例を示すフローチャートである。
【図１２】本発明の別の実施例を示すフローチャートである。
【図１３】マトリクス区画毎に係数を付与した図である。
【符号の説明】
１…画像処理装置
１１、１２…増幅器
１３、１４…ＡＤ変換器
１５…メモリ
１６…ＣＰＵ
１７…ＥＣＵ
Ｌ、Ｒ…カメラ
３１Ｌ、３１Ｒ…レンズ
３２Ｌ、３２Ｒ…カメラ基板
３３Ｌ、３３Ｒ…撮像素子
３４Ｌ、３４Ｒ…光軸
Ｖ…検出対象
【発明の属する技術分野】
本発明は、車両に取り付けたカメラにより撮像した前方の道路状況、特に前方車両等の認識を適正に行うことのできる画像処理方法に関する。
【０００２】
【従来の技術】
従来、カメラで捉えた画像から、前方車両等の認識、あるいは距離の測定等が行われている。その際、前方車両等の認識をするためエッジ抽出を行い、エッジ画像を得て、前方車両等の物体の距離測定と角度測定を行っている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１０１４２８号公報
エッジとは画像中の濃淡部分が大きい部分、いわゆる輪郭線のことで、影や汚れによって濃淡が変化しても影響が少ないという利点がある。また、エッジを抽出するとき、縦エッジ又は横エッジ、あるいは両方のエッジを抽出することができる。
【０００４】
【発明が解決しようとする課題】
画像処理においてエッジ検出を行うには、例えば、左右にカメラを配置して縦エッジ又は横エッジ、あるいは両方のエッジを検出し、物体の距離測定と角度測定を行うが、カメラのノイズや周囲の状況によって一定の位置にエッジが現れないため所定の時間間隔でエッジを検出する場合、安定した検出ができないことが多い。例えば、前方車両の特定の部分のエッジがある時点で現れなかったり、一定の位置に現れないため、この部分のエッジが安定して検出できないことがある。
【０００５】
そこで、本発明は、このような不安定なエッジの検出を補うことができる画像処理方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明によれば、ステレオカメラの視野を視差に基づく測距値と角度によってマトリクス状に区画し、検出されたエッジが存在する区画及び該区画の周囲の区画のマトリクスデータを演算して各区画にそれぞれ付与し、該付与されたマトリクスデータのうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、該サーチされた区画に前記検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【０００７】
また、サーチされた区画にエッジが存在しない場合、順次閾値を高め、該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する。
【０００８】
【発明の実施の形態】
図１は、本発明の画像処理方法に用いる画像処理装置の構成のブロック図である。画像処理装置１は、前方の画像を撮影する左右一対のカメラＬ及びＲを備えており、このカメラＬとＲから得られる画像によりステレオ距離測定する。即ち、２台のカメラにより前方の対象物、例えば先行車両までの距離を測定し、該車両との距離を一定に保つ車間距離制御等を行う。
【０００９】
カメラＬとＲから得られた画像データは増幅器１１、１２、でそれぞれ増幅され、かつフィルタにより帯域制限され、Ａ／Ｄ変換器１３、１４にそれぞれ入力し、メモリ１５に格納される。格納された各画像データはＣＰＵ１６において処理され、車間距離制御（ＥＣＵ）２によって先行車両との車間距離制御等に用いられる。ＣＰＵ１６では、カメラＬ、Ｒから得られた画像データが処理され、先行車両等の前方に位置する物体との距離、検出角度、高さ、幅等の情報が得られる。
【００１０】
図２はカメラで捕らえた画像を示した図である。図３は、図２に示すカメラで捉えた画像から縦エッジを抽出した図である。図３には、前方車両の縦エッジしか描いていないが、レーンの縦エッジも抽出することができる。
【００１１】
エッジ情報は画像の明暗の変化点を抽出した情報であり、距離情報は複眼カメラで得た画像を比較し、視差を求めて距離情報を得るものである。単眼カメラで捕らえた場合も、エッジ情報を得ることができ、パターン認識ができ、さらにはおよその距離とその物体の位置する角度およびその高さがわかる。
【００１２】
図４は道路標識４が取り付けられた橋３が前方にある場合にカメラで捕らえた画像を示した図である。図５は図４に示された画像の縦エッジを抽出した場合のエッジ画像を示した図である。この図に示されているように、縦エッジを抽出した場合、橋３の橋脚部分と標識４の縦の線のみが現れる。同様に、画像の横エッジを抽出することもできる。図６は図４に示された画像の横エッジを抽出した場合のエッジ画像を示した図である。
【００１３】
図７は、図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示す図である。左右のカメラＬとＲは、カメラ基板３２Ｌと３２Ｒ上に形成されたセンサチップよりなる撮像素子３３Ｌと３３Ｒ、これに前方の車両Ｖの像を結像するレンズ３１Ｌと３１Ｒを有する。３４Ｌと３４Ｒは互いに平行なカメラＬとＲの光軸であり、Ｄは両カメラ間の距離である。
【００１４】
撮像素子３３Ｌと３３Ｒの面に平行で水平方向をＸ軸、撮像素子３３Ｌと３３Ｒの面に平行で垂直方向をＹ軸、そして光軸と同じ方向をＺ軸とし、検出対象Ｖの位置をｐ（ｘ，ｙ，ｚ）で表すと、カメラから検出対象Ｖまでの距離ｚは以下の式により表すことができる。
【００１５】
ｚ＝ｆ・Ｄ／（ｘＬ−ｘＲ）＝ｆ・Ｄ／Ｓ
上記式で、ｆは焦点距離、Ｄは両カメラ間の距離である。ｘＬ−ｘＲ＝Ｓは視差であり、（ｘＬ，ｙＬ）はカメラＬで撮像した画像ＭＬにおいて位置ｐが撮像されている点の位置であり、（ｘＲ，ｙＲ）はカメラＲで撮像した画像ＭＲにおいて位置ｐが撮像されている点の位置である。視差Ｓは、図７に示されているように、撮像面の水平軸が同じライン上に揃っている場合は、Ｓ＝ｘＬ−ｘＲとなる。焦点距離ｆ、視差Ｓ、及びｘＬ、ｘＲの単位は画素であり、両カメラ間の距離Ｄと距離ｚの単位はｍである。
【００１６】
図８は、本発明に用いるマトリクスを作成するための、視差と測距値の関係を示した図である。測距値Ｒは、Ｒ＝Ｋ／ｎによって求められる。ここで、Ｋはステレオカメラのパラメータで決まる定数であり、ｎは視差である。図８ではＫ＝１４０の場合を示している。視差ｎは物体との距離が近づけば大きくなる。従って、視差が小さくなるに従って測距値は大きくなる。
【００１７】
測距値は視差の値によって変化するが、本発明では視差ｎが整数の場合の測距値を、その前後を含めた所定の範囲の視差の値における測距値とし、測距値が階段状に変化するようにしている。例えば、視差ｎが、２．５＞ｎ≧１．５の測距値を、視差ｎ＝２の測距値７０としている。
【００１８】
図９は本発明で用いるマトリクスを描いた図である。図に示すようにカメラＣＭの視野が放射状に広がっている。この視野の距離方向を、図８に示したように視差ｎが整数である場合の測距値で区切る。例えば、図９において最も遠い区画がｎ＝１の区画であり、その手前の区画がｎ＝２の場合の区画である。
【００１９】
一方、カメラＣＭの視野の角度は所定の角度（例えば、５°）で区切られており、区切られた距離及び角度に基づいてカメラの視野の範囲がマトリクス状に区画され、各区画に座標が与えられている。図９は区画に付与された座標の例を示している。各区画には区切られた角度に基づく番号ｍ（図に示す例では「１−９」）と視差に基づく距離の番号ｎ（図に示す例では「１−６」）によって座標Ｍ（ｍ，ｎ）が与えられている。例えば、角度の番号が「５」で視差に基づく距離の番号が「１」の区画の座標として、Ｍ（５，１）が付与される。
【００２０】
本発明ではこのように座標を付与されたマトリクス区画毎にマトリクスデータを演算して付与し、物体が存在する指標とするものである。
【００２１】
図１０は、カメラの視野の範囲を区切って作成したマトリクス区画毎に、実際にマトリクスデータを付与した例を示した図である。マトリクスデータとは、マトリクス区画毎に物体のエッジが現れる頻度を数値で表したものである。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画にマトリクスデータとして１００を付与し、その上下左右のマトリクス区画にマトリクスデータとしてそれぞれ５０を付与する。また、物体Ａが位置するマトリクス区画の斜め上下のマトリクス区画にマトリクスデータとして３０を付与する。このように、所定の時間間隔で各マトリクス区画にマトリクスデータを付与し、マトリクスデータを積み上げて行く。また、ある時点で物体が検出されなかった場合には、前回までに積み上げたマトリクスデータの合計値から、例えば５０を減ずる。ただし、マトリクスの合計値は最低が０とし、マイナスにならないようにする。そして、マトリクスデータの合計値が一定の値を超えたとき、そのマトリクス区画の位置に物体が存在するものと判断する。
【００２２】
一方、エッジを検出し検出されたエッジの距離と角度（エッジデータ）を算出し、現在及び過去のエッジデータを保存しておき、マトリクスデータの合計値が一定の値を超えたマトリクス区画に存在する、現在又は過去のエッジデータを採用して物体の存在を安定して検出できるようにする。
【００２３】
図１１は、本発明の画像処理方法の実施例の動作を示すフローチャートである。これらの動作は、図１の画像処理装置１のＣＰＵ１６によって制御される。まず、時間ｔにおいて前方を走行する車両のエッジをカメラで検出し、該検出されたエッジの距離Ｒ（ｔ）、及び検出角度θ（ｔ）（エッジデータ）を算出し記憶装置に記憶する（Ｓ１）。検出されるエッジの数は１つとは限らないので、時間ｔにおいて検出された各エッジの距離Ｒｘ（ｔ）、及び検出角度θｘ（ｔ）をそれぞれ算出し記憶装置に記憶する。ｘは検出された各エッジを表す。次に、時間ｔにおいて検出された各エッジの距離Ｒｘ（ｔ）と角度θｘ（ｔ）から、その距離及び角度に位置する各マトリクス区画の座標Ｍｘ（ｍ，ｎ）を求める（Ｓ２）。次に、座標がＭｘ（ｍ，ｎ）の区画の時間ｔにおけるマトリクスデータＭｘｄ（ｔ）（ｍ，ｎ）を、式
Ｍｘｄ（ｔ）（ｍ，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ）＋Ｐ
により演算する（Ｓ３）。上記式で、Ｍｘｄ（ｔ−１）は検出されたエッジが存在するマトリクス区画の前回までの検出で積み上げたマトリクスデータの合計値であり、Ｐは検出されたエッジが存在するマトリクス区画に新たに加算されるマトリクスデータである。Ｐの値として、図１０に示す例に従えば「１００」が加算される。そして、演算の結果得られたマトリクスデータをマトリクス区画にそれぞれ付与する。
【００２４】
次に、上記マトリクス区画の上下左右に位置する区画のマトリクスデータをそれぞれ演算し、演算の結果得られたマトリクスデータを該上下左右に位置するマトリクス区画に付与する（Ｓ４）。
【００２５】
例えば、左側のマトリクス区画のマトリクスデータは以下のように演算する。
【００２６】
（左側）Ｍｘｄ（ｔ）（ｍ−１，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ−１，ｎ）＋（Ｐ／２）
上記式で、Ｍｘｄ（ｔ）（ｍ−１，ｎ）は求めるマトリクスデータであり、Ｍｘｄ（ｔ−１）（ｍ−１，ｎ）は前回までの検出でその区画に付与されたマトリクスデータの値であり、Ｐ／２は新たに加算されるマトリクスデータである。図１０に示す例に従えば、Ｐ／２＝５０となる。
【００２７】
同様に、右側、上側、下側のマトリクス区画のマトリクスデータを、以下のように演算する。
【００２８】
（右側）Ｍｘｄ（ｔ）（ｍ＋１，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ＋１，ｎ）＋（Ｐ／２）
（上側）Ｍｘｄ（ｔ）（ｍ，ｎ−１）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ−１）＋（Ｐ／２）
（下側）Ｍｘｄ（ｔ）（ｍ，ｎ＋１）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ＋１）＋（Ｐ／２）
同時に、上記マトリクスの斜め上下に位置するマトリクス区画のマトリクスデータを演算し、演算の結果得られたマトリクスデータを該斜め上下に位置するマトリクス区画にそれぞれ付与する（Ｓ４）。
【００２９】
例えば、斜め左上のマトリクス区画のマトリクスデータは以下のように演算する。
【００３０】
（斜め左上）Ｍｘｄ（ｔ）（ｍ−１，ｎ−１）＝Ｍｘｄ（ｔ−１）（ｍ−１，ｎ−１）＋（Ｐ／３）
図１０に示す例に従えば、Ｐ／３＝３０となる。
【００３１】
同様に、斜め右上、斜め左下、斜め右下のマトリクス区画のマトリクスデータは以下のように演算する。
【００３２】
（斜め右上）Ｍｘｄ（ｔ）（ｍ＋１，ｎ−１）＝Ｍｘｄ（ｔ−１）（ｍ＋１，ｎ−１）＋（Ｐ／３）
（斜め左下）Ｍｘｄ（ｔ）（ｍ−１，ｎ＋１）＝Ｍｘｄ（ｔ−１）（ｍ−１，ｎ＋１）＋（Ｐ／３）
（斜め右下）Ｍｘｄ（ｔ）（ｍ＋１，ｎ＋１）＝Ｍｘｄ（ｔ−１）（ｍ＋１，ｎ＋１）＋（Ｐ／３）
なお、上記例ではＰ、Ｐ／２、Ｐ／３を加算したが、所定のマトリクスデータＰ１、Ｐ２、Ｐ３（ただし、Ｐ１＞Ｐ２＞Ｐ３）を加算してもよい。また、ある時点で物体が検出されなかった場合には、所定のマトリクスデータを減算する。
【００３３】
次に、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐｔｈ０を超えるマトリクスデータを有するマトリクス区画Ｍｐ０（ｍ，ｎ）をサーチし（Ｓ５）、該区画Ｍｐ０（ｍ，ｎ）にｔ時点で検出されたエッジが存在するかどうか判断する（Ｓ６）。存在する場合にはそのエッジのエッジデータを物体の位置とする。ここでいうエッジデータとは、Ｓ１で時間ｔにおいて検出され記憶されたエッジの距離Ｒｘ（ｔ）、及び角度θｘ（ｔ）のうち、マトリクス区画Ｍｐ０（ｍ，ｎ）に存在するエッジのエッジデータＲｐ（ｔ）、θｐ（ｔ）を意味する。このエッジデータＲｐ（ｔ）、θｐ（ｔ）は、Ｓ１において検出されたデータのうち、マトリクスデータが所定の閾値を超える区画にあるエッジのエッジデータであり、従ってその存在が安定して検出されるエッジのデータである。なお、時間ｔで検出されたエッジのエッジデータ以外にも、時間ｔ−１、ｔ−２、−−− ｔ−ｎで検出されたエッジのデータも記憶される。
【００３４】
Ｓ６で区画Ｍｐ０（ｍ，ｎ）にエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジデータＲｐ（ｔ）、θｐ（ｔ）を物体の距離、及び角度として採用する。Ｓ６でＮｏであればそのまま終了し、同じフローが繰り返される。
【００３５】
図１２は、本発明の画像処理方法の別の実施例の動作を示すフローチャートである。図１１のＳ６までは同じフローである。Ｓ６でＹｅｓであれば、図１１と同様にＳ７に進む。
【００３６】
図１２の実施例では、所定の閾値Ｐｔｈ０を超えるマトリクスデータを有するマトリクス区画Ｍｐ０（ｍ，ｎ）にｔ時点のエッジデータが存在しない場合（Ｎｏ）、マトリクスデータの閾値を高くし、該高くした閾値を超える区画をサーチし、サーチの結果得た高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在するかどうかを判断する。存在する場合にはそのエッジのエッジデータを物体の位置、即ち、距離及び角度とする。高くした閾値を超える区画に前回検出時（ｔ−１時点）のエッジが存在しない場合、さらに閾値を高めて前々回検出時（ｔ−２時点）のエッジが存在するかどうか判断する。以下、同様な動作を繰り返す。
【００３７】
以下に、図１２のフローチャートを参照して別の実施例の動作を説明する。Ｓ６でＮｏの場合、図１２に示された実施例では、各マトリクス区画のマトリクスデータをチェックし、所定の閾値Ｐｔｈ１（Ｐｔｈ１＞Ｐｔｈ０）を超えるマトリクスデータを有するマトリクス区画Ｍｐ１（ｍ，ｎ）をサーチし（Ｓ８）、該区画Ｍｐ１（ｍ，ｎ）に時間ｔ−１時点のエッジが存在するかどうか判断する（Ｓ９）。時間ｔ−１時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲｐ（ｔ−１）、θｐ（ｔ−１）を物体の距離、及び角度として採用する（Ｓ１０）。Ｓ９でエッジが存在しない場合（Ｎｏ）、閾値をＰｔｈ２（Ｐｔｈ２＞Ｐｔｈ１）にして同様の動作を行う。そしてエッジが存在しない場合、順次閾値を高めてゆく。Ｓｎでは閾値をＰｔｈｎ（Ｐｔｈｎ＞−−−＞Ｐｔｈ１＞Ｐｔｈ０）にし、閾値Ｐｔｈｎを超えるマトリクスデータを有するマトリクス区画Ｍｐｎ（ｍ，ｎ）をサーチし（Ｓｎ）、該区画Ｍｐｎ（ｍ，ｎ）に時間ｔ−ｎ時点のエッジが存在するかどうか判断する（Ｓｎ＋１）。時間ｔ−ｎ時点のエッジが存在すると判断されれば（Ｙｅｓ）、そのエッジのエッジデータＲｐ（ｔ−ｎ）、θｐ（ｔ−ｎ）を物体の距離、及び角度として採用する（Ｓｎ＋２）。Ｓｎ＋１でＮｏであれば、そのまま終了する。
【００３８】
上記実施例では、閾値ＰｔｈをＰｔｈ０からＰｔｈｎまで設定して繰り返したが、繰り返す回数は適宜設定することができる。
【００３９】
上記説明では一対のカメラを用いて物体の距離と角度を検出しているが、単眼のカメラを用い、画面の上下位置から求められるる物体の距離と、カメラの視野を区切った所定の角度に基づいてマトリクスを作成し、エッジデータに加えてマトリクスデータを用いて、物体の位置（距離、角度）を検出することができる。
【００４０】
上記実施例では、エッジが検出されるとその距離及び角度に位置する各マトリクス区画の座標を求め、演算においてマトリクスデータを加算したが、例えば、
Ｍｘｄ（ｔ）（ｍ，ｎ）＝Ｍｘｄ（ｔ−１）（ｍ，ｎ）×Ｑ
のように、係数Ｑを乗算しマトリクスデータを求めることもできる。
【００４１】
図１３は乗算によってマトリクスデータを用いる場合の、マトリクス区画毎に実際に係数を付与した例を示した図である。ある時点で物体のエッジがＡの位置に検出された場合、その位置のマトリクス区画のマトリクスデータに係数１．５を乗算する。同様に上下左右のマトリクス区画のマトリクスデータにそれぞれ係数１．３を乗算し、斜め上下のマトリクス区画のマトリクスデータにそれぞれ係数１．１を乗算する。なお、この場合は加算ではないので、各マトリクス区画にマトリクスデータの初期値として、例えば「１」を与えておく。そしてエッジが検出された場合には各マトリクス区画のマトリクスデータに、それぞれ図１３に示された係数を乗算する。また、物体が検出されなかった場合には各マトリクスデータに例えば係数０．５を乗算する。しかし、０．５の乗算を繰り返すとマトリクスデータの値が小さくなりすぎてしまい、物体が検出されて１．５を乗算してもマトリクスデータはほとんど増えないので、マトリクスデータが１より小さくなった時には「１」とする。上記のようにマトリクスデータを乗算で求める場合、図１１に示す「所定閾値」を例えば「５」とする。
【００４２】
【発明の効果】
本発明では上記のように、検出されたエッジデータに加えてマトリクスデータを用いたので、確実に物体の位置（距離、角度）を検出することができる。また、一定の位置で検出されていたエッジがある時点で検出できなかった場合でも、マトリクスデータを用いることによって物体の位置（距離、角度）を安定して検出することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成のブロック図である。
【図２】カメラで捕らえた画像を示した図である。
【図３】カメラで捕らえた画像から縦エッジを抽出した図である。
【図４】カメラで捕らえた画像を示した図である。
【図５】カメラで捕らえた画像から縦エッジを抽出した図である。
【図６】カメラで捕らえた画像から横エッジを抽出した図である
【図７】図１に示した画像処理装置において、ステレオ画像を用いてカメラから検出対象までの距離を求める原理を示した図である。
【図８】本発明で用いるマトリクスを作成する場合の視差と測距値の関係を示した図である。
【図９】本発明で用いるマトリクスを描いた図である。
【図１０】マトリクス区画毎にマトリクスデータを付与した図である。
【図１１】本発明の実施例を示すフローチャートである。
【図１２】本発明の別の実施例を示すフローチャートである。
【図１３】マトリクス区画毎に係数を付与した図である。
【符号の説明】
１…画像処理装置
１１、１２…増幅器
１３、１４…ＡＤ変換器
１５…メモリ
１６…ＣＰＵ
１７…ＥＣＵ
Ｌ、Ｒ…カメラ
３１Ｌ、３１Ｒ…レンズ
３２Ｌ、３２Ｒ…カメラ基板
３３Ｌ、３３Ｒ…撮像素子
３４Ｌ、３４Ｒ…光軸
Ｖ…検出対象
Claims (11)
- ステレオカメラの視野を視差に基づく測距値と角度によってマトリクス状に区画し、
検出されたエッジが存在する区画及び該区画の周囲の区画のマトリクスデータを演算して各区画にそれぞれ付与し、
該付与されたマトリクスデータのうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、
該サーチされた区画に前記検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する、
画像処理方法。 - ステレオカメラの視野を視差に基づく測距値と角度によってマトリクス状に区画し、
検出されたエッジが存在する区画及び該区画の周囲の区画のマトリクスデータを演算して各区画にそれぞれ付与し、
該付与されたマトリクスデータのうち所定の閾値を超えるマトリクスデータを有する区画をサーチし、
該サーチされた区画にエッジが存在しない場合、順次閾値を高め、
該高められた閾値を超えるマトリクスデータを有する区画を順次サーチし、
該サーチされた区画に、前記順次高められた閾値に対応する過去の時点に検出されたエッジが存在する場合、該エッジのエッジデータを物体の位置として採用する、
画像処理方法。 - 前記マトリクス状の区画は、視差が整数の場合の測距値と所定の角度によって区画されている、請求項１又は２に記載の画像処理方法。
- 前記演算されたマトリクスデータは、前回までの検出で積み上げたマトリクスデータの合計値に今回の検出によるマトリクスデータを加算した値である、請求項１又は２に記載の画像処理方法。
- 前記エッジが検出されなかった場合、前記演算されたマトリクスデータは、前回までの検出で積み上げたマトリクスデータの合計値から所定のマトリクスデータを減算した値である、請求項４に記載の画像処理方法。
- 前記エッジが存在する区画に加算されるマトリクスデータの値をＰ１とすると、該区画の上下左右に位置する区画に加算されるマトリクスデータの値をＰ２とし、該区画の斜め上下に位置する区画に加算されるマトリクスデータの値をＰ３とする（ただし、Ｐ１＞Ｐ２＞Ｐ３）、請求項４に記載の画像処理方法。
- 前記演算されたマトリクスデータは、前回までの検出で積み上げたマトリクスデータの合計値に今回の検出によるマトリクス係数（＞１）を乗算した値である、請求項１又は２に記載の画像処理方法。
- 前記エッジが検出されなかった場合、前記演算されたマトリクスデータは、前回までの検出で積み上げたマトリクスデータの合計値に１より小さい係数を乗算した値である、請求項７に記載の画像処理方法。
- 前記エッジが存在する区画のマトリクスデータに乗算される係数をＱ１とすると、該区画の上下左右に位置する区画のマトリクスデータに乗算される係数をＱ２とし、該区画の斜め上下に位置する区画のマトリクスデータに乗算される係数をＱ３とする（ただし、Ｑ１＞Ｑ２＞Ｑ３）、請求項７に記載の画像処理方法。
- 前記エッジデータは距離と角度の情報を含む、請求項１又は２に記載の画像処理方法。
- 前記カメラが単眼カメラであり、マトリクス状の区画は該単眼カメラの視野を画面の上下位置から求めた距離と角度によって区画されている、請求項１又は２に記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273062A JP4155780B2 (ja) | 2002-09-19 | 2002-09-19 | 画像処理方法 |
| US10/643,794 US7221789B2 (en) | 2002-09-19 | 2003-08-19 | Method for processing an image captured by a camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273062A JP4155780B2 (ja) | 2002-09-19 | 2002-09-19 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004108980A true JP2004108980A (ja) | 2004-04-08 |
| JP4155780B2 JP4155780B2 (ja) | 2008-09-24 |
Family
ID=31986907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002273062A Expired - Fee Related JP4155780B2 (ja) | 2002-09-19 | 2002-09-19 | 画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7221789B2 (ja) |
| JP (1) | JP4155780B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006234682A (ja) * | 2005-02-25 | 2006-09-07 | Toyota Central Res & Dev Lab Inc | 対象物判定装置 |
| JP2008225785A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
| WO2011078264A1 (ja) * | 2009-12-25 | 2011-06-30 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
| CN101633356B (zh) * | 2008-07-25 | 2013-02-27 | 通用汽车环球科技运作公司 | 检测行人的***及方法 |
| US9373151B2 (en) | 2013-06-19 | 2016-06-21 | Fujitsu Limited | Image processing device and image processing method |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7561720B2 (en) * | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7231288B2 (en) * | 2005-03-15 | 2007-06-12 | Visteon Global Technologies, Inc. | System to determine distance to a lead vehicle |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
| KR20120053713A (ko) * | 2010-11-18 | 2012-05-29 | 에스엘 주식회사 | 차량용 카메라의 제어 장치 및 방법 |
| DE112012002885B4 (de) * | 2011-07-08 | 2022-01-27 | Bendix Commercial Vehicle Systems Llc | Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung |
| EP2760209B1 (en) * | 2011-09-21 | 2017-07-12 | FUJIFILM Corporation | Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device |
| ITVI20120303A1 (it) * | 2012-11-09 | 2014-05-10 | St Microelectronics Srl | Metodo per rilevare una linea retta in un'immagine digitale |
| CN103327294A (zh) * | 2013-03-22 | 2013-09-25 | 张会朋 | 无线网络录像仪 |
| CN106326810B (zh) * | 2015-06-25 | 2019-12-24 | 株式会社理光 | 道路场景识别方法及设备 |
| CN109194920B (zh) * | 2018-09-21 | 2020-06-12 | 深圳市九洲电器有限公司 | 一种基于高清摄像机的智能寻物方法 |
| CN112712011B (zh) * | 2020-12-28 | 2022-05-06 | 华中科技大学 | 基于边界细节补偿和相似特征强化的实时道路检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| JP3669205B2 (ja) | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | 障害物認識装置 |
| JP4028135B2 (ja) * | 1999-05-27 | 2007-12-26 | 本田技研工業株式会社 | 物体検出装置 |
| JP2001101428A (ja) | 1999-10-01 | 2001-04-13 | Fujitsu Ten Ltd | 画像処理装置 |
| JP4523095B2 (ja) | 1999-10-21 | 2010-08-11 | 富士通テン株式会社 | 情報処理装置、情報統合装置および情報処理方法 |
-
2002
- 2002-09-19 JP JP2002273062A patent/JP4155780B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-19 US US10/643,794 patent/US7221789B2/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006234682A (ja) * | 2005-02-25 | 2006-09-07 | Toyota Central Res & Dev Lab Inc | 対象物判定装置 |
| JP4586571B2 (ja) * | 2005-02-25 | 2010-11-24 | 株式会社豊田中央研究所 | 対象物判定装置 |
| JP2008225785A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
| CN101633356B (zh) * | 2008-07-25 | 2013-02-27 | 通用汽车环球科技运作公司 | 检测行人的***及方法 |
| WO2011078264A1 (ja) * | 2009-12-25 | 2011-06-30 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
| JPWO2011078264A1 (ja) * | 2009-12-25 | 2013-05-09 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
| JP5624998B2 (ja) * | 2009-12-25 | 2014-11-12 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
| US9488721B2 (en) | 2009-12-25 | 2016-11-08 | Honda Motor Co., Ltd. | Image processing apparatus, image processing method, computer program, and movable body |
| US9373151B2 (en) | 2013-06-19 | 2016-06-21 | Fujitsu Limited | Image processing device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| US7221789B2 (en) | 2007-05-22 |
| JP4155780B2 (ja) | 2008-09-24 |
| US20040057601A1 (en) | 2004-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004108980A (ja) | 画像処理方法 | |
| JP6785620B2 (ja) | ステレオカメラセンサを用いた車両用の予測的サスペンション制御 | |
| JPH10285582A (ja) | 車外監視装置 | |
| US10187630B2 (en) | Egomotion estimation system and method | |
| JP2009176087A (ja) | 車両用環境認識装置 | |
| JP2014138420A (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP6837262B2 (ja) | 走行可能領域検出装置及び走行支援システム | |
| JP2019066302A (ja) | 対象物推定装置 | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JP2008310440A (ja) | 歩行者検出装置 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
| CN111989541B (zh) | 立体摄像机装置 | |
| JP2013161190A (ja) | 物体認識装置 | |
| JP2008059323A (ja) | 壁検出装置 | |
| JP2009129318A (ja) | 画像処理装置 | |
| CN110728710B (zh) | 视觉里程计算方法、装置和计算机可读存储介质 | |
| JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
| JP2007310591A (ja) | 画像処理装置及び駐車場判定方法 | |
| JP6014867B2 (ja) | 画像処理装置 | |
| US11551457B2 (en) | Vehicle external environment recognition apparatus | |
| JP2015121954A (ja) | 輝度値算出装置及び車線検出システム | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JP2004038760A (ja) | 車両用走行路認識装置 | |
| JP2010018223A (ja) | 車両用走行路面検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140718 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |