JP2004180036A - 視差探索方法及び視差探索装置 - Google Patents
視差探索方法及び視差探索装置 Download PDFInfo
- Publication number
- JP2004180036A JP2004180036A JP2002344717A JP2002344717A JP2004180036A JP 2004180036 A JP2004180036 A JP 2004180036A JP 2002344717 A JP2002344717 A JP 2002344717A JP 2002344717 A JP2002344717 A JP 2002344717A JP 2004180036 A JP2004180036 A JP 2004180036A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- unit area
- unit
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】両眼視の視差探索における計算量と誤対応の低減。
【解決手段】車両前方左右両端にカメラを１台ずつ設け、車両の進行方向にカメラの軸線を併せる。このようにして得られた２つのカメラ画像のうち、一方のカメラ画像を、路面のみで障害物が無い場合に、変換後の路面の画像が他方のカメラ画像の路面と一致するような変換を予め設定しておく。原点を消失点、左カメラ画像上水平右方向にｘ軸、ｘ軸に垂直上方向にｙ軸をとり、右カメラ画像上水平右方向にｘ’軸、ｘ’軸に垂直上方向にｙ’軸をとり、ａは正の定数としてｘ’＝ｘ＋ａｙ、ｙ’＝ｙである。これにより障害物、水平線より上の画像も併せて変換する。この変換後の左カメラ画像と右カメラ画像の各画素の輝度の差分画像の、輝度の不一致領域を、右カメラ画像中の探索領域とする。
【選択図】 図５
【解決手段】車両前方左右両端にカメラを１台ずつ設け、車両の進行方向にカメラの軸線を併せる。このようにして得られた２つのカメラ画像のうち、一方のカメラ画像を、路面のみで障害物が無い場合に、変換後の路面の画像が他方のカメラ画像の路面と一致するような変換を予め設定しておく。原点を消失点、左カメラ画像上水平右方向にｘ軸、ｘ軸に垂直上方向にｙ軸をとり、右カメラ画像上水平右方向にｘ’軸、ｘ’軸に垂直上方向にｙ’軸をとり、ａは正の定数としてｘ’＝ｘ＋ａｙ、ｙ’＝ｙである。これにより障害物、水平線より上の画像も併せて変換する。この変換後の左カメラ画像と右カメラ画像の各画素の輝度の差分画像の、輝度の不一致領域を、右カメラ画像中の探索領域とする。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、予め位置及び撮像方向の定められた２つの撮像装置により撮像された２つの撮像画像から一致度の高い画素領域の視差情報を求めるための、視差探索方法に関する。本発明は路面上を走行する車両が先行車両等の障害物迄の距離を認識するための両眼視による画像分析における１ステップとして特に有用である。
【０００２】
【従来の技術】
いわゆる両眼視により得られた２つの撮像画像から、一致度の高い画素領域の視差情報を求め、予め位置及び撮像方向の定められた２つの撮像装置からの距離を決定する方法については広く知られている。例えば特許文献１及び非特許文献１参照。
【０００３】
【特許文献１】
特開 ２００１−２４３４５６
【非特許文献１】
徐剛、辻三郎共著、「３次元ビジョン」、初版２刷、共立出版、平成１１年５月２５日、ｐｐ． ９５−１０３
【０００４】
この技術を、図１により説明する。図１は、車両前方左端及び右端に設置され、その撮像中心が車両の進行方向である消失点となり、且つ水平線の位置が互いに一致するよう設定された、２つのカメラによる撮像画像を示す。図１の（ａ）が左カメラ画像、図１の（ｂ）が右カメラ画像であり、先行する車両の後部が撮影されている。尚、白線部分は路面標示された走行レーンであるが、説明のため連続線で示し、且つレーン幅は車両の幅員に略等しいように示した。
【０００５】
ここで一方を基準画像とし、複数個の画素で構成される探索のための単位領域を決める。図１では（ｂ）の右カメラ画像を基準画像とし、単位領域ＡＲについて、（ａ）の左カメラ画像の単位領域の中から最も構成画素の輝度の一致度の高い領域を探索する。
【０００６】
【発明が解決しようとする課題】
図１の（ａ）と（ｂ）とを目視すれば、（ｂ）の右カメラ画像の単位領域ＡＲと一致するのは（ａ）の左カメラ画像の単位領域ＡＬであることは容易に理解できる。しかし、ＣＰＵにより視差探索を行うためには、例えば単位領域ＡＲと縦軸上の位置が一致し、横軸方向にある程度の範囲をもたせた、図１（ａ）の左カメラ画像の被探索範囲ＲＬの各単位領域全てと一致度を比較する必要がある。ところで一致度の計算には例えば上記非特許文献１にもあるような相関値を求める他多数考えられるが、いずれも膨大な計算量を必要とするものである。また、単位領域ごとの一致度のみを基準としているため、本来対応していない左右のカメラ画像の単位領域同士を対応させてしまうという誤対応が頻繁に生ずる。
【０００７】
本発明は上記の課題を解決するために成されたものであり、その目的は、視差探索における計算量と誤対応の低減である。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索方法において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とすることを特徴とする。ここで画像の単位領域とは、所望に設定される１乃至複数個の画素を単位する画像の複数個の区画であり、各単位領域は互いに重なるように設計されていても、又は重なる部分の無いように画像を区分して設計されていても、或いは隣の単位領域との間にどの単位領域にも含まれない画素が存在しても良い。以下、本願において同様である。また、差分画像においては、負の輝度は存在させず、輝度の差とは絶対値をとるものとする。
【０００９】
また、請求項２に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索方法において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、当該差分画像の輝度が所定値以上である不一致領域に含まれる前記基準画像中の各単位領域を水平線に垂直な単位領域列に組分けしたとき、各単位領域列について、最も低い位置の単位領域を特定し、当該最も低い位置の単位領域が路面であるとした場合の、被探索画像中の対応する被探索範囲の水平方向の幅を、前記基準画像中の当該単位領域列の全ての単位領域の被探索画像中の対応する被探索範囲の水平方向の幅とすることを特徴とする。単位領域については請求項１と同様であり、本発明の単位領域列についても、互いに重なるように設計されていても、又は重なる部分の無いように不一致領域を区分するよう設計されていても、或いは隣の単位領域列との間にどの単位領域列にも含まれない画素が存在しても良い。また、水平方向の幅については、そもそも基準画像の各単位領域ごとに、被探索画面中の被探索範囲が設定されていて、それは被探索画面中の基準単位領域とそこからの水平方向の左右幅であり、実際の探索作業においては、基準画像の各単位領域ごとに、被探索画面中の基準単位領域については変化なく、そこからの水平方向の左右幅について、上述の各単位領域列の最も低い位置の単位領域の被探索画像中の対応する被探索範囲の水平方向の左右幅とするものである。
【００１０】
また、請求項３に記載の手段は、請求項１又は請求項２に記載の視差探索方法において、前記路面を基準とする画像変換は、実際の路面の形状に拘わらず、路面を平面として推定することを特徴とする。また、請求項４に記載の手段は、前記不一致領域を決定するまでの画像変換においては低い解像度で、視差探索に際しては高い解像度で行うことを特徴とする。
【００１１】
また、請求項５に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索装置において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とする探索領域決定手段と、前記基準画像中の探索領域における視差を探索する視差探索手段とを有することを特徴とする。
【００１２】
また、請求項６に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索装置において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とする探索領域決定手段と、当該不一致領域に含まれる前記基準画像中の各単位領域を水平線に垂直な単位領域列に組分けし、各単位領域列について、最も低い位置の単位領域を特定し、当該最も低い位置の単位領域が路面であるとした場合の、被探索画像中の対応する被探索範囲の水平方向の幅を、前記基準画像中の当該単位領域列の全ての単位領域の被探索画像中の対応する被探索範囲の水平方向の最大幅として視差を探索する視差探索手段とを有することを特徴とする。
【００１３】
また、請求項７に記載の手段は、請求項５又は請求項６に記載の視差探索方法において、画像変化手段、前記差分画像作成手段、前記探索領域決定手段においては低い解像度で、前記視差探索手段においてては高い解像度で画像処理を行うことを特徴とする。
【００１４】
【作用及び発明の効果】
本発明の被探索画像の変換は、基準画像と路面画像が一致するのであるから、地上に何も存在しない状態においては、変換後の被探索画像と基準画像とは水平線より手前の画像部分において完全に一致する。すると、変換後の被探索画像と基準画像との間に輝度の一致しない画素があるとすればそれは地上又は空中に物体が存在するからである。よって視差探索において、変換後の被探索画像と基準画像との差分画像で輝度が所定値を越える部分のみを、基準画像における探索領域とし、基準画像中の探索領域を絞り込むことで、全体の計算量を大幅に抑制することができる（請求項１）。
【００１５】
また、請求項２の手段によれば、当該絞り込んだ基準画像における探索領域において、次のように更に計算量を抑制できる。即ち、基準画面の路面付近の物体の画像の単位領域と被探索画像の対応単位領域は、路面が一致するような変換が存在することからもわかる通り、その被探索画像での探索範囲は極めて狭い部分で良いはずである。ところが通常は、物体が存在するとして、路面付近かどうかは全くわからないので、極めて広範囲の、即ち水平線方向に極めて長い幅をもたせた被探索範囲を設定していた。そこで、例えば画像中の主たる障害物が車両のように、水平線から下方向に最も離れた部分が路面に密着するもの（車両においては車輪）であるならば、当該路面に密着した物体を含む基準画像の単位領域に対応すべき被探索画像中の単位領域は、極めて狭い被探索範囲に有るはずである。そこでこの狭い被探索範囲を少し大きめに設定しておけば、当該路面に密着した物体よりも路面から離れた部分を含む画像中の単位領域も、当該少し大きめの被探索範囲の幅の中に包含されているはずである。このように路面部分（被探索画像中の探索範囲は極めて小さい）直上の部分においては被探索範囲を極めて狭くできるので、そこから撮像装置までの距離が略同一な部分の画像領域についてはそれより若干大きい探索範囲とすること、即ちそもそも路面部分の被探索範囲を大きめにしておくことで、路面から離れた部分においても狭い被探索範囲中から対応する単位領域を探索することが実現できる。また、他の物体との重なりがある状態においても、路面と密着している部分の距離よりも遠いはずなので、被探索範囲を狭くすることが可能である。これにより、誤対応を抑制することも可能となる（請求項２）。
【００１６】
変換画像及び差分画像については、基準画像中の探索領域を絞り込むためのものであるので、路面は常に平面としてパラメータ等を仮定しても（請求項３）、また、２つの撮像画像から解像度を落したものについて用いても（請求項４）、実際の視差探索において解像度を上げることで問題は生じない。これらによって更に大幅な計算量の抑制が可能となる（請求項３、４）。
【００１７】
このような視差探索方法はそのまま装置として構成することが可能である（請求項５乃至７）。
【００１８】
【発明の実施の形態】
本発明を図を用いて説明する。尚、本発明は以下の実施例に限定されるものではない。以下、車両前方左右にカメラを設置し、車両進行方向にカメラの消失点を有し、互いに水平線の位置が一致するような左右カメラ画像を仮定する。
【００１９】
図１の（ａ）、（ｂ）のように、左右カメラ画像が得られたとする。ここで、地上に道路表示以外何も無い状態であったとすると、それは図２の（ａ）、（ｂ）のようである。図２の（ａ）の左カメラ画像において、車両が進行する走行レーンの左側表示をＬＬＬ、右側表示をＬＲＬとする。また、図２の（ｂ）の右カメラ画像において、車両が進行する走行レーンの左側表示をＬＬＲ、右側表示をＬＲＲとする。図２の（ａ）図と、（ｂ）図とを重ね、各レーンのエッジ線と水平線のみを示すと図３の（ａ）のようになる。ここで、各々２本の実線で示されたエッジを有するものが図２（ａ）の左カメラ画像の走行レーンの左側表示ＬＬＬ、右側表示ＬＲＬであり、各々２本の点線で示されたエッジを有するものが図２（ｂ）の右カメラ画像の走行レーンの左側表示ＬＬＲ、右側表示ＬＲＲである。これから明らかなように、図２の（ａ）を変換して図２の（ｂ）に重ねるためには、次のような画像変換をすれば良い。ただしここでは原点を消失点、左カメラ画像上水平右方向にｘ軸、ｘ軸に垂直上方向にｙ軸をとり、右カメラ画像上水平右方向にｘ’軸、ｘ’軸に垂直上方向にｙ’軸をとり、ａは正の定数である。
【００２０】
【数１】
ｘ’＝ｘ＋ａｙ，
ｙ’＝ｙ
【００２１】
数１の関係を水平線よりも上方部分でも適用するならば、図３の（ｂ）のようになる。ここで指摘しておくと、図３の（ａ）及び図３の（ｂ）の水平線の下側で示された矢印の長さ、即ち左カメラ画像を右カメラ画像に路面が一致するように変換するものは、路面のカメラからの距離が近いほど、ｘ座標が大きく変換される。今、レーンに垂直、即ちカメラの軸線に垂直に平面を立て、その平面上のの模様等を左カメラ画像と右カメラ画像で撮像したとする。ここで左カメラ画像を変換して右カメラ画像と重ね合わせる場合、当該レーンに垂直な平面が路面と交わる部分における変換量と同等にその平面上の全ての模様を変換しなければ左カメラ画像の変換画像の当該平面上の模様は右カメラ画像中の模様と一致しない。すると、図３の（ｂ）のように、カメラからの距離に関係なく、左カメラ画像の水平線より下側の画像を「路面を変換する」のと同様に変換して右カメラ画像と比較すると、路面及び路面に密着した部分以外の障害物等の画像は、当該変換後の左カメラ画像と右カメラ画像とで必ずずれが生じることとなる。即ち、立体物等と路面が渾然一体となって撮像された左右カメラ画像において、左カメラ画像の路面が右カメラ画像のそれと一致するよう左カメラ画像の変換を行うと、左カメラ画像中の真の立体画像部分が歪んだ画像となる。
【００２２】
そこで数１の関係（定数ａは変換後の左カメラ画像と右カメラ画像の路面が一致するよう決定しておく）により図１（ａ）の左カメラ画像を変換すると図４のようになる。先行車両の画像は路面に密着した車輪部分から上が右方向に傾いたように変形している。次に図４の変換画像と図１（ｂ）の右カメラ画像の輝度の差（絶対値とする）による差分画像をもとめると、大略図５のようになる。ここで、ボディや後部ガラスの輝度に変化無い部分は、互いに別の部分の画像であっても輝度の差分が０に近くなる。こうして、図５の差分画像の輝度が０でない部分を覆うように、図６のように、図１（ｂ）の右カメラ画像において探索領域ＳＡＲを決定する。図６の探索領域ＳＡＲは、図１（ｂ）の右カメラ画像における従来の探索領域よりも極めて狭く、視差探索において計算量を抑制することができる。
【００２３】
更に、図７（ｂ）のように、図６の探索領域ＳＡＲを各単位領域（例えばＡＲ）の幅で区分して、縦方向の単位領域列ＣＲに区分けする。ここで単位領域列ＣＲの水平線から最も離れた下側の位置の単位領域ＡＳＲは、路面に密着する車輪の画像を含んでおり、その図７（ａ）の左カメラ画像中での被探索範囲ＲＳＬは、単位領域ＡＳＬを基準として水平方向に左右幅を有するものである。この図７（ｂ）の各単位領域ごとに、路面であると仮定して対応する図７（ａ）の単位領域と水平方向の左右幅は数１に基づいてもともと設定されているのであるが、これを各単位領域列ＣＲごとに、水平方向の左右幅を最も水平線から離れた下側の位置の単位領域ＡＳＲの図７（ａ）での被探索範囲の左右幅に一致させる。このことにより、元々より広い被探索範囲の左右幅を有する水平線に近い位置の右カメラ画像の単位領域に対する左カメラ画像の被探索範囲を狭くすることができる。これは、前方障害物の各単位領域列ＣＲで把握される部分の左右カメラからの距離が、路面に密着する車輪の画像を有する単位領域ＡＳＲで把握される部分の左右カメラからの距離と大差が無く、他の物体との重なりがある場合でも当該距離より遠いとの前提によるものである。これにより計算量を更に抑制すると共に、水平方向に類似部分の多い車両等の両眼視における誤対応を抑制することも可能となる。
【００２４】
上記の本発明は、具体的にはソフトウエア的にメモリとＣＰＵによって実施できる。また、システムＬＳＩ等、ハードウエア的に処理する形でも実施可能である。これをフローチャートで説明する。以下において、本文中では「ステップ１０２等」との記載は図では「Ｓ１０２等」と記載し、本文中では「左カメラ画像」、「右カメラ画像」、「左及び右カメラ画像」との記載は図では「左画像」、「右画像」、「左右画像」と記載するものとする。左及び右カメラは上述の通り設定及び調整されており、左及び右カメラ画像はいずれも水平線がｘ軸、消失点が原点となるような画像であるものとする。
【００２５】
〔第１実施例〕
本実施例は図８及び図９のフローチャートにより構成されるものである。まず、図８のステップ１０２において、左及び右カメラ画像の各画素の輝度が読み出されて記憶される。以下、本フローチャート終了まで、この読み出された各画素の輝度により左及び右カメラ画像が構成される。
【００２６】
次にステップ１０４において、左カメラ画像から上記数１式により変換画像を作成される。次にステップ１０６において、変換画像の各画素の輝度と、同一座標の右カメラ画像の各画素の輝度の差の絶対値を当該座標の画素の輝度とする、差分画像が作成される。次にステップ１０８において、差分画像において輝度がある設定値よりも大きい画素の座標についてフラグが立てられ、探索領域が決定される。次に図９のフローチャートに移る。
【００２７】
図９のステップ１１０において、右カメラ画像中の単位領域のうち、上記差分画像においてフラグが立てられた画素を含むか否かで単位領域を判別し、差分画像においてフラグが立てられた画素を含む単位領域群（探索領域を内包する）が決定される。以下この単位領域群を「探索領域」と呼ぶ。次にステップ１１２において、当該単位領域群のうち、初期値としての単位領域が決定される。例えば各単位領域が矩形状であるとしてその左下隅の画素の座標により当該単位領域を並べて番号を振るなどし、第１の番号を振られた単位領域を決める。
【００２８】
次にステップ１１４において、右カメラ画像の探索領域中の当該単位領域に対応して予め記憶されていた左画像中の単位領域と、それについての被探索範囲が読み出される。例えば左画像中の単位領域の左下隅の画素の座標（ｘ０，ｙ０）と、ｘ軸方向に−ｘ１、＋ｘ２（ｘ１、ｘ２は負でない整数）などと記憶されており、被探索範囲は左下隅の画素のｘ座標がｘ０−ｘ１からｘ０＋ｘ２で、ｙ座標がｙ０のもの単位領域の集合となる。この被探索範囲のｘ座標の上限ｘ０−ｘ１及び下限ｘ０＋ｘ２が記憶される。次にステップ１１６において、左カメラ画像の被探索範囲中の単位領域の初期値が決定される。例えば左下隅の画素のｘ座標がｘ０−ｘ１、左カメラ画像のｙ座標がｙ０である単位領域である。
【００２９】
次にステップ１１８において、右カメラ画像の探索領域中の当該単位領域の各画素の輝度と、左カメラ画像の被探索範囲中の単位領域の各画素の輝度の一致度が計算され、左カメラ画像の単位領域の左下隅の画素の座標と共に記憶される。この一致度は上述の非特許文献１に記載の計算方法でも良く、任意である。次にステップ１２０において、一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値（ｘ０＋ｘ２）であるかどうかが判定される。一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値（ｘ０＋ｘ２）でない場合はステップ１２２に移り、左カメラ画像の被探索範囲内で単位領域を更新する。例えば単位領域の左下隅の画素のｘ座標を１増加させる。こののちステップ１１８に戻ってこの処理を繰り返す。一方ステップ１２０において一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値であると判定された場合は、一致度の最も高い左カメラ画像の単位領域を、右カメラ画像の単位領域と一致するものと判定し、当該左カメラ画像の単位領域の左下隅の画素のｘ座標を記憶する。次にステップ１２６において、一致する、右カメラ画像の単位領域と左カメラ画像の単位領域の、左下隅の画素のｘ座標の差とｙ座標とから、右カメラ画像の当該単位領域についての視差が算定され、右カメラ画像の当該単位領域の左下隅の画素の座標と共に記憶される。
【００３０】
次にステップ１２８に移り、視差を算定された右カメラ画像の当該単位領域が、探索領域中の最終単位領域かどうかが判定される。最終単位領域でないならば、ステップ１３０に移り、右カメラ画像中の単位領域を次の単位領域に更新する。例えば当該単位領域の左下隅の画素の座標で更新され、ステップ１１４に戻って処理が繰り返される。一方、ステップ１２８で、探索領域中の最終単位領域であると判定されれば、右カメラ画像における探索領域の全ての単位領域について視差が算定されたことになるので、処理を終了する。
【００３１】
〔第２実施例〕
本実施例は前半を図８のフローチャート、後半を図１０のフローチャートにより構成されるものである。尚、図１０のフローチャートは紙面の都合により一部をサブルーチンとして図１１にその内容を示す。まず、第１実施例と同様に、ステップ１０２から１０８の処理が行われる。
【００３２】
次に、ステップ２０２において、第１実施例のステップ１１０と同様にして、右カメラ画像中の探索領域を内包する単位領域群（探索領域）が決定される。次にこの探索領域を、左下隅の画素のｘ座標が同じものからなる単位領域列に区分けする。ここにおいて、全単位領域列について番号が振られ、また各単位領域列内部での単位領域の番号が振られ、のちの処理順序が決定される。次にステップ２０６に移り、単位領域列の初期値、例えば左下隅の画素のｘ座標が最も小さい単位領域列が初期値として選ばれる。
【００３３】
次に、ステップ２０８において、右カメラ画像の単位領域列中の、左下隅の画素のｙ座標が最も小さい（最下段の）単位領域ＡＳＲが確定される。次にステップ２１０において、右カメラ画像の単位領域ＡＳＲに対応する左カメラ画像の単位領域ＡＳＬと、それについての被探索範囲が読み出される。この具体例は第１実施例（図９）のステップ１１４のものと同一である。右カメラ画像の単位領域ＡＳＲに対応する左カメラ画像の被探索範囲ＲＳＬは、例えば以下に既述するように予め計算して格納しておく。
【数２】
ｘ０＝ｘ，
ｙ０＝ｙ，
ｘ１＝０，
ｘ２＝ａｙ
【００３４】
ここで、右カメラ画像の単位領域ＡＳＲの左下隅座標を（ｘ，ｙ）、左カメラ画像の被探索範囲ＲＳＬの左下隅座標を（ｘ０，ｙ０）、左方向への幅をｘ１、右方向への幅をｘ２、ａは数１のａと同一である。こうして、被探索範囲についての条件を得て、視差算定サブルーチン（ＳｕｂＲ．）に移る。
【００３５】
視差算定サブルーチン（図１０でＳｕｂＲ．）の内容を図１１に示す。まず、ステップ３０２において、右画像中の単位領域ＡＲに対応する左カメラ画像中の単位領域ＡＬを確定する。次にステップ３０４において、上記右カメラ画像の単位領域列中の最下段の単位領域ＡＳＲに対応する左カメラ画像の単位領域ＡＳＬについての被探索範囲の条件を左カメラ画像中の単位領域ＡＬについて適用する。こうして、被探索範囲が確定する。次にステップ３０６において、被探索範囲内の単位領域の初期値が決定される。例えばｘ座標が被探索範囲の下限値であるものである。
【００３６】
以下、ステップ３０８乃至３１６の処理は第１実施例（図９）のステップ１１８乃至１２６と同様である。即ち、ステップ３０８において、右カメラ画像の探索領域中の当該単位領域の各画素の輝度と、左カメラ画像の被探索範囲中の単位領域の各画素の輝度の一致度が計算され、左カメラ画像の単位領域の左下隅の画素の座標と共に記憶される。次にステップ３１０において、一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値であるかどうかが判定される。一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値でない場合はステップ３１２に移り、左カメラ画像の被探索範囲内で単位領域を更新し、ステップ３０８に戻ってこの処理を繰り返す。一方ステップ３１０において一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値であると判定された場合は、一致度の最も高い左カメラ画像の単位領域を、右カメラ画像の単位領域と一致するものと判定し、当該左カメラ画像の単位領域の左下隅の画素のｘ座標を記憶する。次にステップ３１６において、一致する、右カメラ画像の単位領域と左カメラ画像の単位領域の、左下隅の画素のｘ座標の差とｙ座標とから、右カメラ画像の当該単位領域についての視差が算定され、右カメラ画像の当該単位領域の左下隅の画素の座標と共に記憶される。こうして視差算定サブルーチンは終了する。
【００３７】
次に図１０において、視差算定サブルーチン（ＳｕｂＲ．）が終了すると、ステップ２１２に移り、視差を算定した右カメラ画像の単位領域が、単位領域列の最上段の単位領域かどうかが判定される。視差を算定した右カメラ画像の単位領域が、単位領域列の最上段の単位領域でない場合は、単位領域の左下隅の画素のｙ座標を１増加させて視差算定サブルーチン（ＳｕｂＲ．）を起動し、処理を繰り返す。一方、視差を算定した右カメラ画像の単位領域が、単位領域列の最上段の単位領域で有る場合はステップ２１６に移り、現単位領域列が最終単位領域列であるかどうかが判定される。現単位領域列が最終単位領域列でない場合はステップ２１８に移り、単位領域列として、例えばｘ座標を１増加させた単位領域列を新たな単位領域列としてステップ２０８以下の処理を繰り返す。一方、現単位領域列が最終単位領域列である場合は処理を終了する。
【００３８】
〔変形例〕
図１２は、図８を一部変更したものであり、第１実施例、第２実施例の変形例として構成されるものである。即ち、第１実施例の変形例としては図１２を前半、図９を後半とし、第２実施例の変形例としては図１２を前半、図１０（そのなかのＳｕｂＲ．については図１１）を後半として構成される。本変形例においては、探索領域決定までを低解像度画像によるものである。左及び右カメラ画像の定解像度画像を粗左及び粗右カメラ画像と呼ぶものとする。
【００３９】
まず、ステップ４０２において、左及び右カメラ画像が読み出され、記憶される。次にステップ４０４において、左及び右カメラ画像を順次読み出し、低解像度画像に変換して、粗左及び粗右カメラ画像として別途記憶する。低解像度画像への変換は、矩形状、例えば４個×４個の１６個の画素ごとに輝度を平均して、１個の画素として都合１／１６の画素数の画像を作れば良い。この時、元となる左及び右カメラ画像は消去されない。
【００４０】
次にステップ４０６において、粗左カメラ画像から上記数１の変換公式により、粗変換画像を作成する。尚、低解像度画像の作成が正方形の画素を輝度平均させるものでない場合は、それに応じて数１の変換公式の定数ａを調整する。次にステップ４０８において、粗変換画像と粗右カメラ画像の各画素の輝度の差の絶対値を当該画素の輝度とする粗差分画像を作成する。次にステップ４１０において、粗差分画像から探索領域を決定する。ここで、探索領域は、第１、第２実施例の図８のステップ１０８と同様にまず粗差分画像中の画素の座標として設定された後、解像度の高い右カメラ画像中の画素の座標として設定される。例えば粗差分画像中の１画素に対し、右カメラ画像の１６画素を対応させ、当該右カメラ画像の１６画素に全てフラグを立てる。
【００４１】
以下は図９、図１０（及び図１１）の処理と同様に処理される。本変形例は変換画像、差分画像、探索領域決定が定解像度画像で処理されるため、処理時間の短縮、記憶容量の抑制を図ることができ、処理装置の高速化及び小型化が可能となる。
【図面の簡単な説明】
【図１】（ａ）は車両前方左に固定されたカメラからの先行車両を含む画像、（ｂ）は車両前方右に固定されたカメラからの先行車両を含む画像。
【図２】（ａ）は車両前方左に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像、（ｂ）は車両前方右に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像。
【図３】（ａ）は、図２（ａ）のエッジラインを実線で、図２の（ｂ）のエッジラインを破線で示して重ね合わせて示すことによる、路面画像変換の説明図、（ｂ）は、（ａ）の路面画像変換を水平線上方にも適用した変換の説明図
【図４】図３（ｂ）の変換（数１）による図１（ａ）の変換画像。
【図５】図４と図１（ｂ）の差分画像。
【図６】図５で輝度が所定値以上であった領域を図１（ｂ）上で示した図。
【図７】（ａ）は左カメラ画像中の各被探索範囲を示す説明図、（ｂ）は右カメラ画像中の探索範囲を単位領域列に区分けしたことを示す説明図。
【図８】第１、第２実施例におけるフローチャートの前半。
【図９】第１実施例におけるフローチャートの後半。
【図１０】第２実施例におけるフローチャートの後半。
【図１１】第２実施例における一致度算定サブルーチンのフローチャート。
【図１２】第１、第２実施例の変形例におけるフローチャートの前半。
【符号の説明】
下付きの「Ｌ」 左カメラ画像中のものを示す。
下付きの「Ｒ」 右カメラ画像中のものを示す。
ＡＬ，ＡＲ 視差探索のための単位領域
ＲＬ 左カメラ画像中の単位領域ＡＬについての被探索範囲
ＬＬＬ，ＬＬＲ 左右カメラ画像に撮像された左レーン
ＬＲＬ，ＬＲＲ 左右カメラ画像に撮像された右レーン
ＳＡＲ 右カメラ画像中の探索領域
ＣＲ 右カメラ画像中の探索領域を区分けした各単位領域列
ＡＳＲ 右カメラ画像中のある単位領域列における最下位置の単位領域
ＡＳＬ 右カメラ画像中の単位領域ＡＳＲに対応づけされた左カメラ画像中の単位領域
ＲＳＬ 左カメラ画像中の単位領域ＡＳＬについての被探索範囲
Ｒ’Ｌ 左カメラ画像中の単位領域ＡＬについて、修正された被探索範囲
【発明の属する技術分野】
本発明は、予め位置及び撮像方向の定められた２つの撮像装置により撮像された２つの撮像画像から一致度の高い画素領域の視差情報を求めるための、視差探索方法に関する。本発明は路面上を走行する車両が先行車両等の障害物迄の距離を認識するための両眼視による画像分析における１ステップとして特に有用である。
【０００２】
【従来の技術】
いわゆる両眼視により得られた２つの撮像画像から、一致度の高い画素領域の視差情報を求め、予め位置及び撮像方向の定められた２つの撮像装置からの距離を決定する方法については広く知られている。例えば特許文献１及び非特許文献１参照。
【０００３】
【特許文献１】
特開 ２００１−２４３４５６
【非特許文献１】
徐剛、辻三郎共著、「３次元ビジョン」、初版２刷、共立出版、平成１１年５月２５日、ｐｐ． ９５−１０３
【０００４】
この技術を、図１により説明する。図１は、車両前方左端及び右端に設置され、その撮像中心が車両の進行方向である消失点となり、且つ水平線の位置が互いに一致するよう設定された、２つのカメラによる撮像画像を示す。図１の（ａ）が左カメラ画像、図１の（ｂ）が右カメラ画像であり、先行する車両の後部が撮影されている。尚、白線部分は路面標示された走行レーンであるが、説明のため連続線で示し、且つレーン幅は車両の幅員に略等しいように示した。
【０００５】
ここで一方を基準画像とし、複数個の画素で構成される探索のための単位領域を決める。図１では（ｂ）の右カメラ画像を基準画像とし、単位領域ＡＲについて、（ａ）の左カメラ画像の単位領域の中から最も構成画素の輝度の一致度の高い領域を探索する。
【０００６】
【発明が解決しようとする課題】
図１の（ａ）と（ｂ）とを目視すれば、（ｂ）の右カメラ画像の単位領域ＡＲと一致するのは（ａ）の左カメラ画像の単位領域ＡＬであることは容易に理解できる。しかし、ＣＰＵにより視差探索を行うためには、例えば単位領域ＡＲと縦軸上の位置が一致し、横軸方向にある程度の範囲をもたせた、図１（ａ）の左カメラ画像の被探索範囲ＲＬの各単位領域全てと一致度を比較する必要がある。ところで一致度の計算には例えば上記非特許文献１にもあるような相関値を求める他多数考えられるが、いずれも膨大な計算量を必要とするものである。また、単位領域ごとの一致度のみを基準としているため、本来対応していない左右のカメラ画像の単位領域同士を対応させてしまうという誤対応が頻繁に生ずる。
【０００７】
本発明は上記の課題を解決するために成されたものであり、その目的は、視差探索における計算量と誤対応の低減である。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索方法において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とすることを特徴とする。ここで画像の単位領域とは、所望に設定される１乃至複数個の画素を単位する画像の複数個の区画であり、各単位領域は互いに重なるように設計されていても、又は重なる部分の無いように画像を区分して設計されていても、或いは隣の単位領域との間にどの単位領域にも含まれない画素が存在しても良い。以下、本願において同様である。また、差分画像においては、負の輝度は存在させず、輝度の差とは絶対値をとるものとする。
【０００９】
また、請求項２に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索方法において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、当該差分画像の輝度が所定値以上である不一致領域に含まれる前記基準画像中の各単位領域を水平線に垂直な単位領域列に組分けしたとき、各単位領域列について、最も低い位置の単位領域を特定し、当該最も低い位置の単位領域が路面であるとした場合の、被探索画像中の対応する被探索範囲の水平方向の幅を、前記基準画像中の当該単位領域列の全ての単位領域の被探索画像中の対応する被探索範囲の水平方向の幅とすることを特徴とする。単位領域については請求項１と同様であり、本発明の単位領域列についても、互いに重なるように設計されていても、又は重なる部分の無いように不一致領域を区分するよう設計されていても、或いは隣の単位領域列との間にどの単位領域列にも含まれない画素が存在しても良い。また、水平方向の幅については、そもそも基準画像の各単位領域ごとに、被探索画面中の被探索範囲が設定されていて、それは被探索画面中の基準単位領域とそこからの水平方向の左右幅であり、実際の探索作業においては、基準画像の各単位領域ごとに、被探索画面中の基準単位領域については変化なく、そこからの水平方向の左右幅について、上述の各単位領域列の最も低い位置の単位領域の被探索画像中の対応する被探索範囲の水平方向の左右幅とするものである。
【００１０】
また、請求項３に記載の手段は、請求項１又は請求項２に記載の視差探索方法において、前記路面を基準とする画像変換は、実際の路面の形状に拘わらず、路面を平面として推定することを特徴とする。また、請求項４に記載の手段は、前記不一致領域を決定するまでの画像変換においては低い解像度で、視差探索に際しては高い解像度で行うことを特徴とする。
【００１１】
また、請求項５に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索装置において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とする探索領域決定手段と、前記基準画像中の探索領域における視差を探索する視差探索手段とを有することを特徴とする。
【００１２】
また、請求項６に記載の手段は、２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索装置において、路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とする探索領域決定手段と、当該不一致領域に含まれる前記基準画像中の各単位領域を水平線に垂直な単位領域列に組分けし、各単位領域列について、最も低い位置の単位領域を特定し、当該最も低い位置の単位領域が路面であるとした場合の、被探索画像中の対応する被探索範囲の水平方向の幅を、前記基準画像中の当該単位領域列の全ての単位領域の被探索画像中の対応する被探索範囲の水平方向の最大幅として視差を探索する視差探索手段とを有することを特徴とする。
【００１３】
また、請求項７に記載の手段は、請求項５又は請求項６に記載の視差探索方法において、画像変化手段、前記差分画像作成手段、前記探索領域決定手段においては低い解像度で、前記視差探索手段においてては高い解像度で画像処理を行うことを特徴とする。
【００１４】
【作用及び発明の効果】
本発明の被探索画像の変換は、基準画像と路面画像が一致するのであるから、地上に何も存在しない状態においては、変換後の被探索画像と基準画像とは水平線より手前の画像部分において完全に一致する。すると、変換後の被探索画像と基準画像との間に輝度の一致しない画素があるとすればそれは地上又は空中に物体が存在するからである。よって視差探索において、変換後の被探索画像と基準画像との差分画像で輝度が所定値を越える部分のみを、基準画像における探索領域とし、基準画像中の探索領域を絞り込むことで、全体の計算量を大幅に抑制することができる（請求項１）。
【００１５】
また、請求項２の手段によれば、当該絞り込んだ基準画像における探索領域において、次のように更に計算量を抑制できる。即ち、基準画面の路面付近の物体の画像の単位領域と被探索画像の対応単位領域は、路面が一致するような変換が存在することからもわかる通り、その被探索画像での探索範囲は極めて狭い部分で良いはずである。ところが通常は、物体が存在するとして、路面付近かどうかは全くわからないので、極めて広範囲の、即ち水平線方向に極めて長い幅をもたせた被探索範囲を設定していた。そこで、例えば画像中の主たる障害物が車両のように、水平線から下方向に最も離れた部分が路面に密着するもの（車両においては車輪）であるならば、当該路面に密着した物体を含む基準画像の単位領域に対応すべき被探索画像中の単位領域は、極めて狭い被探索範囲に有るはずである。そこでこの狭い被探索範囲を少し大きめに設定しておけば、当該路面に密着した物体よりも路面から離れた部分を含む画像中の単位領域も、当該少し大きめの被探索範囲の幅の中に包含されているはずである。このように路面部分（被探索画像中の探索範囲は極めて小さい）直上の部分においては被探索範囲を極めて狭くできるので、そこから撮像装置までの距離が略同一な部分の画像領域についてはそれより若干大きい探索範囲とすること、即ちそもそも路面部分の被探索範囲を大きめにしておくことで、路面から離れた部分においても狭い被探索範囲中から対応する単位領域を探索することが実現できる。また、他の物体との重なりがある状態においても、路面と密着している部分の距離よりも遠いはずなので、被探索範囲を狭くすることが可能である。これにより、誤対応を抑制することも可能となる（請求項２）。
【００１６】
変換画像及び差分画像については、基準画像中の探索領域を絞り込むためのものであるので、路面は常に平面としてパラメータ等を仮定しても（請求項３）、また、２つの撮像画像から解像度を落したものについて用いても（請求項４）、実際の視差探索において解像度を上げることで問題は生じない。これらによって更に大幅な計算量の抑制が可能となる（請求項３、４）。
【００１７】
このような視差探索方法はそのまま装置として構成することが可能である（請求項５乃至７）。
【００１８】
【発明の実施の形態】
本発明を図を用いて説明する。尚、本発明は以下の実施例に限定されるものではない。以下、車両前方左右にカメラを設置し、車両進行方向にカメラの消失点を有し、互いに水平線の位置が一致するような左右カメラ画像を仮定する。
【００１９】
図１の（ａ）、（ｂ）のように、左右カメラ画像が得られたとする。ここで、地上に道路表示以外何も無い状態であったとすると、それは図２の（ａ）、（ｂ）のようである。図２の（ａ）の左カメラ画像において、車両が進行する走行レーンの左側表示をＬＬＬ、右側表示をＬＲＬとする。また、図２の（ｂ）の右カメラ画像において、車両が進行する走行レーンの左側表示をＬＬＲ、右側表示をＬＲＲとする。図２の（ａ）図と、（ｂ）図とを重ね、各レーンのエッジ線と水平線のみを示すと図３の（ａ）のようになる。ここで、各々２本の実線で示されたエッジを有するものが図２（ａ）の左カメラ画像の走行レーンの左側表示ＬＬＬ、右側表示ＬＲＬであり、各々２本の点線で示されたエッジを有するものが図２（ｂ）の右カメラ画像の走行レーンの左側表示ＬＬＲ、右側表示ＬＲＲである。これから明らかなように、図２の（ａ）を変換して図２の（ｂ）に重ねるためには、次のような画像変換をすれば良い。ただしここでは原点を消失点、左カメラ画像上水平右方向にｘ軸、ｘ軸に垂直上方向にｙ軸をとり、右カメラ画像上水平右方向にｘ’軸、ｘ’軸に垂直上方向にｙ’軸をとり、ａは正の定数である。
【００２０】
【数１】
ｘ’＝ｘ＋ａｙ，
ｙ’＝ｙ
【００２１】
数１の関係を水平線よりも上方部分でも適用するならば、図３の（ｂ）のようになる。ここで指摘しておくと、図３の（ａ）及び図３の（ｂ）の水平線の下側で示された矢印の長さ、即ち左カメラ画像を右カメラ画像に路面が一致するように変換するものは、路面のカメラからの距離が近いほど、ｘ座標が大きく変換される。今、レーンに垂直、即ちカメラの軸線に垂直に平面を立て、その平面上のの模様等を左カメラ画像と右カメラ画像で撮像したとする。ここで左カメラ画像を変換して右カメラ画像と重ね合わせる場合、当該レーンに垂直な平面が路面と交わる部分における変換量と同等にその平面上の全ての模様を変換しなければ左カメラ画像の変換画像の当該平面上の模様は右カメラ画像中の模様と一致しない。すると、図３の（ｂ）のように、カメラからの距離に関係なく、左カメラ画像の水平線より下側の画像を「路面を変換する」のと同様に変換して右カメラ画像と比較すると、路面及び路面に密着した部分以外の障害物等の画像は、当該変換後の左カメラ画像と右カメラ画像とで必ずずれが生じることとなる。即ち、立体物等と路面が渾然一体となって撮像された左右カメラ画像において、左カメラ画像の路面が右カメラ画像のそれと一致するよう左カメラ画像の変換を行うと、左カメラ画像中の真の立体画像部分が歪んだ画像となる。
【００２２】
そこで数１の関係（定数ａは変換後の左カメラ画像と右カメラ画像の路面が一致するよう決定しておく）により図１（ａ）の左カメラ画像を変換すると図４のようになる。先行車両の画像は路面に密着した車輪部分から上が右方向に傾いたように変形している。次に図４の変換画像と図１（ｂ）の右カメラ画像の輝度の差（絶対値とする）による差分画像をもとめると、大略図５のようになる。ここで、ボディや後部ガラスの輝度に変化無い部分は、互いに別の部分の画像であっても輝度の差分が０に近くなる。こうして、図５の差分画像の輝度が０でない部分を覆うように、図６のように、図１（ｂ）の右カメラ画像において探索領域ＳＡＲを決定する。図６の探索領域ＳＡＲは、図１（ｂ）の右カメラ画像における従来の探索領域よりも極めて狭く、視差探索において計算量を抑制することができる。
【００２３】
更に、図７（ｂ）のように、図６の探索領域ＳＡＲを各単位領域（例えばＡＲ）の幅で区分して、縦方向の単位領域列ＣＲに区分けする。ここで単位領域列ＣＲの水平線から最も離れた下側の位置の単位領域ＡＳＲは、路面に密着する車輪の画像を含んでおり、その図７（ａ）の左カメラ画像中での被探索範囲ＲＳＬは、単位領域ＡＳＬを基準として水平方向に左右幅を有するものである。この図７（ｂ）の各単位領域ごとに、路面であると仮定して対応する図７（ａ）の単位領域と水平方向の左右幅は数１に基づいてもともと設定されているのであるが、これを各単位領域列ＣＲごとに、水平方向の左右幅を最も水平線から離れた下側の位置の単位領域ＡＳＲの図７（ａ）での被探索範囲の左右幅に一致させる。このことにより、元々より広い被探索範囲の左右幅を有する水平線に近い位置の右カメラ画像の単位領域に対する左カメラ画像の被探索範囲を狭くすることができる。これは、前方障害物の各単位領域列ＣＲで把握される部分の左右カメラからの距離が、路面に密着する車輪の画像を有する単位領域ＡＳＲで把握される部分の左右カメラからの距離と大差が無く、他の物体との重なりがある場合でも当該距離より遠いとの前提によるものである。これにより計算量を更に抑制すると共に、水平方向に類似部分の多い車両等の両眼視における誤対応を抑制することも可能となる。
【００２４】
上記の本発明は、具体的にはソフトウエア的にメモリとＣＰＵによって実施できる。また、システムＬＳＩ等、ハードウエア的に処理する形でも実施可能である。これをフローチャートで説明する。以下において、本文中では「ステップ１０２等」との記載は図では「Ｓ１０２等」と記載し、本文中では「左カメラ画像」、「右カメラ画像」、「左及び右カメラ画像」との記載は図では「左画像」、「右画像」、「左右画像」と記載するものとする。左及び右カメラは上述の通り設定及び調整されており、左及び右カメラ画像はいずれも水平線がｘ軸、消失点が原点となるような画像であるものとする。
【００２５】
〔第１実施例〕
本実施例は図８及び図９のフローチャートにより構成されるものである。まず、図８のステップ１０２において、左及び右カメラ画像の各画素の輝度が読み出されて記憶される。以下、本フローチャート終了まで、この読み出された各画素の輝度により左及び右カメラ画像が構成される。
【００２６】
次にステップ１０４において、左カメラ画像から上記数１式により変換画像を作成される。次にステップ１０６において、変換画像の各画素の輝度と、同一座標の右カメラ画像の各画素の輝度の差の絶対値を当該座標の画素の輝度とする、差分画像が作成される。次にステップ１０８において、差分画像において輝度がある設定値よりも大きい画素の座標についてフラグが立てられ、探索領域が決定される。次に図９のフローチャートに移る。
【００２７】
図９のステップ１１０において、右カメラ画像中の単位領域のうち、上記差分画像においてフラグが立てられた画素を含むか否かで単位領域を判別し、差分画像においてフラグが立てられた画素を含む単位領域群（探索領域を内包する）が決定される。以下この単位領域群を「探索領域」と呼ぶ。次にステップ１１２において、当該単位領域群のうち、初期値としての単位領域が決定される。例えば各単位領域が矩形状であるとしてその左下隅の画素の座標により当該単位領域を並べて番号を振るなどし、第１の番号を振られた単位領域を決める。
【００２８】
次にステップ１１４において、右カメラ画像の探索領域中の当該単位領域に対応して予め記憶されていた左画像中の単位領域と、それについての被探索範囲が読み出される。例えば左画像中の単位領域の左下隅の画素の座標（ｘ０，ｙ０）と、ｘ軸方向に−ｘ１、＋ｘ２（ｘ１、ｘ２は負でない整数）などと記憶されており、被探索範囲は左下隅の画素のｘ座標がｘ０−ｘ１からｘ０＋ｘ２で、ｙ座標がｙ０のもの単位領域の集合となる。この被探索範囲のｘ座標の上限ｘ０−ｘ１及び下限ｘ０＋ｘ２が記憶される。次にステップ１１６において、左カメラ画像の被探索範囲中の単位領域の初期値が決定される。例えば左下隅の画素のｘ座標がｘ０−ｘ１、左カメラ画像のｙ座標がｙ０である単位領域である。
【００２９】
次にステップ１１８において、右カメラ画像の探索領域中の当該単位領域の各画素の輝度と、左カメラ画像の被探索範囲中の単位領域の各画素の輝度の一致度が計算され、左カメラ画像の単位領域の左下隅の画素の座標と共に記憶される。この一致度は上述の非特許文献１に記載の計算方法でも良く、任意である。次にステップ１２０において、一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値（ｘ０＋ｘ２）であるかどうかが判定される。一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値（ｘ０＋ｘ２）でない場合はステップ１２２に移り、左カメラ画像の被探索範囲内で単位領域を更新する。例えば単位領域の左下隅の画素のｘ座標を１増加させる。こののちステップ１１８に戻ってこの処理を繰り返す。一方ステップ１２０において一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値であると判定された場合は、一致度の最も高い左カメラ画像の単位領域を、右カメラ画像の単位領域と一致するものと判定し、当該左カメラ画像の単位領域の左下隅の画素のｘ座標を記憶する。次にステップ１２６において、一致する、右カメラ画像の単位領域と左カメラ画像の単位領域の、左下隅の画素のｘ座標の差とｙ座標とから、右カメラ画像の当該単位領域についての視差が算定され、右カメラ画像の当該単位領域の左下隅の画素の座標と共に記憶される。
【００３０】
次にステップ１２８に移り、視差を算定された右カメラ画像の当該単位領域が、探索領域中の最終単位領域かどうかが判定される。最終単位領域でないならば、ステップ１３０に移り、右カメラ画像中の単位領域を次の単位領域に更新する。例えば当該単位領域の左下隅の画素の座標で更新され、ステップ１１４に戻って処理が繰り返される。一方、ステップ１２８で、探索領域中の最終単位領域であると判定されれば、右カメラ画像における探索領域の全ての単位領域について視差が算定されたことになるので、処理を終了する。
【００３１】
〔第２実施例〕
本実施例は前半を図８のフローチャート、後半を図１０のフローチャートにより構成されるものである。尚、図１０のフローチャートは紙面の都合により一部をサブルーチンとして図１１にその内容を示す。まず、第１実施例と同様に、ステップ１０２から１０８の処理が行われる。
【００３２】
次に、ステップ２０２において、第１実施例のステップ１１０と同様にして、右カメラ画像中の探索領域を内包する単位領域群（探索領域）が決定される。次にこの探索領域を、左下隅の画素のｘ座標が同じものからなる単位領域列に区分けする。ここにおいて、全単位領域列について番号が振られ、また各単位領域列内部での単位領域の番号が振られ、のちの処理順序が決定される。次にステップ２０６に移り、単位領域列の初期値、例えば左下隅の画素のｘ座標が最も小さい単位領域列が初期値として選ばれる。
【００３３】
次に、ステップ２０８において、右カメラ画像の単位領域列中の、左下隅の画素のｙ座標が最も小さい（最下段の）単位領域ＡＳＲが確定される。次にステップ２１０において、右カメラ画像の単位領域ＡＳＲに対応する左カメラ画像の単位領域ＡＳＬと、それについての被探索範囲が読み出される。この具体例は第１実施例（図９）のステップ１１４のものと同一である。右カメラ画像の単位領域ＡＳＲに対応する左カメラ画像の被探索範囲ＲＳＬは、例えば以下に既述するように予め計算して格納しておく。
【数２】
ｘ０＝ｘ，
ｙ０＝ｙ，
ｘ１＝０，
ｘ２＝ａｙ
【００３４】
ここで、右カメラ画像の単位領域ＡＳＲの左下隅座標を（ｘ，ｙ）、左カメラ画像の被探索範囲ＲＳＬの左下隅座標を（ｘ０，ｙ０）、左方向への幅をｘ１、右方向への幅をｘ２、ａは数１のａと同一である。こうして、被探索範囲についての条件を得て、視差算定サブルーチン（ＳｕｂＲ．）に移る。
【００３５】
視差算定サブルーチン（図１０でＳｕｂＲ．）の内容を図１１に示す。まず、ステップ３０２において、右画像中の単位領域ＡＲに対応する左カメラ画像中の単位領域ＡＬを確定する。次にステップ３０４において、上記右カメラ画像の単位領域列中の最下段の単位領域ＡＳＲに対応する左カメラ画像の単位領域ＡＳＬについての被探索範囲の条件を左カメラ画像中の単位領域ＡＬについて適用する。こうして、被探索範囲が確定する。次にステップ３０６において、被探索範囲内の単位領域の初期値が決定される。例えばｘ座標が被探索範囲の下限値であるものである。
【００３６】
以下、ステップ３０８乃至３１６の処理は第１実施例（図９）のステップ１１８乃至１２６と同様である。即ち、ステップ３０８において、右カメラ画像の探索領域中の当該単位領域の各画素の輝度と、左カメラ画像の被探索範囲中の単位領域の各画素の輝度の一致度が計算され、左カメラ画像の単位領域の左下隅の画素の座標と共に記憶される。次にステップ３１０において、一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値であるかどうかが判定される。一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値でない場合はステップ３１２に移り、左カメラ画像の被探索範囲内で単位領域を更新し、ステップ３０８に戻ってこの処理を繰り返す。一方ステップ３１０において一致度を計算した左カメラ画像の単位領域の左下隅の画素のｘ座標が上限値であると判定された場合は、一致度の最も高い左カメラ画像の単位領域を、右カメラ画像の単位領域と一致するものと判定し、当該左カメラ画像の単位領域の左下隅の画素のｘ座標を記憶する。次にステップ３１６において、一致する、右カメラ画像の単位領域と左カメラ画像の単位領域の、左下隅の画素のｘ座標の差とｙ座標とから、右カメラ画像の当該単位領域についての視差が算定され、右カメラ画像の当該単位領域の左下隅の画素の座標と共に記憶される。こうして視差算定サブルーチンは終了する。
【００３７】
次に図１０において、視差算定サブルーチン（ＳｕｂＲ．）が終了すると、ステップ２１２に移り、視差を算定した右カメラ画像の単位領域が、単位領域列の最上段の単位領域かどうかが判定される。視差を算定した右カメラ画像の単位領域が、単位領域列の最上段の単位領域でない場合は、単位領域の左下隅の画素のｙ座標を１増加させて視差算定サブルーチン（ＳｕｂＲ．）を起動し、処理を繰り返す。一方、視差を算定した右カメラ画像の単位領域が、単位領域列の最上段の単位領域で有る場合はステップ２１６に移り、現単位領域列が最終単位領域列であるかどうかが判定される。現単位領域列が最終単位領域列でない場合はステップ２１８に移り、単位領域列として、例えばｘ座標を１増加させた単位領域列を新たな単位領域列としてステップ２０８以下の処理を繰り返す。一方、現単位領域列が最終単位領域列である場合は処理を終了する。
【００３８】
〔変形例〕
図１２は、図８を一部変更したものであり、第１実施例、第２実施例の変形例として構成されるものである。即ち、第１実施例の変形例としては図１２を前半、図９を後半とし、第２実施例の変形例としては図１２を前半、図１０（そのなかのＳｕｂＲ．については図１１）を後半として構成される。本変形例においては、探索領域決定までを低解像度画像によるものである。左及び右カメラ画像の定解像度画像を粗左及び粗右カメラ画像と呼ぶものとする。
【００３９】
まず、ステップ４０２において、左及び右カメラ画像が読み出され、記憶される。次にステップ４０４において、左及び右カメラ画像を順次読み出し、低解像度画像に変換して、粗左及び粗右カメラ画像として別途記憶する。低解像度画像への変換は、矩形状、例えば４個×４個の１６個の画素ごとに輝度を平均して、１個の画素として都合１／１６の画素数の画像を作れば良い。この時、元となる左及び右カメラ画像は消去されない。
【００４０】
次にステップ４０６において、粗左カメラ画像から上記数１の変換公式により、粗変換画像を作成する。尚、低解像度画像の作成が正方形の画素を輝度平均させるものでない場合は、それに応じて数１の変換公式の定数ａを調整する。次にステップ４０８において、粗変換画像と粗右カメラ画像の各画素の輝度の差の絶対値を当該画素の輝度とする粗差分画像を作成する。次にステップ４１０において、粗差分画像から探索領域を決定する。ここで、探索領域は、第１、第２実施例の図８のステップ１０８と同様にまず粗差分画像中の画素の座標として設定された後、解像度の高い右カメラ画像中の画素の座標として設定される。例えば粗差分画像中の１画素に対し、右カメラ画像の１６画素を対応させ、当該右カメラ画像の１６画素に全てフラグを立てる。
【００４１】
以下は図９、図１０（及び図１１）の処理と同様に処理される。本変形例は変換画像、差分画像、探索領域決定が定解像度画像で処理されるため、処理時間の短縮、記憶容量の抑制を図ることができ、処理装置の高速化及び小型化が可能となる。
【図面の簡単な説明】
【図１】（ａ）は車両前方左に固定されたカメラからの先行車両を含む画像、（ｂ）は車両前方右に固定されたカメラからの先行車両を含む画像。
【図２】（ａ）は車両前方左に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像、（ｂ）は車両前方右に固定されたカメラからの障害物のない、走行レーン表示のある地表のみの画像。
【図３】（ａ）は、図２（ａ）のエッジラインを実線で、図２の（ｂ）のエッジラインを破線で示して重ね合わせて示すことによる、路面画像変換の説明図、（ｂ）は、（ａ）の路面画像変換を水平線上方にも適用した変換の説明図
【図４】図３（ｂ）の変換（数１）による図１（ａ）の変換画像。
【図５】図４と図１（ｂ）の差分画像。
【図６】図５で輝度が所定値以上であった領域を図１（ｂ）上で示した図。
【図７】（ａ）は左カメラ画像中の各被探索範囲を示す説明図、（ｂ）は右カメラ画像中の探索範囲を単位領域列に区分けしたことを示す説明図。
【図８】第１、第２実施例におけるフローチャートの前半。
【図９】第１実施例におけるフローチャートの後半。
【図１０】第２実施例におけるフローチャートの後半。
【図１１】第２実施例における一致度算定サブルーチンのフローチャート。
【図１２】第１、第２実施例の変形例におけるフローチャートの前半。
【符号の説明】
下付きの「Ｌ」 左カメラ画像中のものを示す。
下付きの「Ｒ」 右カメラ画像中のものを示す。
ＡＬ，ＡＲ 視差探索のための単位領域
ＲＬ 左カメラ画像中の単位領域ＡＬについての被探索範囲
ＬＬＬ，ＬＬＲ 左右カメラ画像に撮像された左レーン
ＬＲＬ，ＬＲＲ 左右カメラ画像に撮像された右レーン
ＳＡＲ 右カメラ画像中の探索領域
ＣＲ 右カメラ画像中の探索領域を区分けした各単位領域列
ＡＳＲ 右カメラ画像中のある単位領域列における最下位置の単位領域
ＡＳＬ 右カメラ画像中の単位領域ＡＳＲに対応づけされた左カメラ画像中の単位領域
ＲＳＬ 左カメラ画像中の単位領域ＡＳＬについての被探索範囲
Ｒ’Ｌ 左カメラ画像中の単位領域ＡＬについて、修正された被探索範囲
Claims (7)
- ２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索方法において、
路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、
当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、
当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とすることを特徴とする視差探索方法。 - ２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索方法において、
路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行い、
当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求め、
当該差分画像の輝度が所定値以上である不一致領域に含まれる前記基準画像中の各単位領域を水平線に垂直な単位領域列に組分けしたとき、
各単位領域列について、最も低い位置の単位領域を特定し、当該最も低い位置の単位領域が路面であるとした場合の、被探索画像中の対応する被探索範囲の水平方向の幅を、前記基準画像中の当該単位領域列の全ての単位領域の被探索画像中の対応する被探索範囲の水平方向の最大幅とすることを特徴とする視差探索方法。 - 前記路面を基準とする画像変換は、実際の路面の形状に拘わらず、路面を平面として推定することを特徴とする請求項１又は請求項２に記載の視差探索方法。
- 前記不一致領域を決定するまでの画像変換においては低い解像度で、視差探索に際しては高い解像度で行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の視差探索方法。
- ２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索装置において、
路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、
当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、
当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とする探索領域決定手段と、
前記基準画像中の探索領域における視差を探索する視差探索手段と
を有することを特徴とする視差探索装置。 - ２つの撮像装置による２つの撮像画像又は１つの撮像装置の異なる位置における２つの撮像画像の一方を基準画像、他方を被探索画像として、当該基準画像の単位領域ごとに被探索画像の各単位領域中から構成画素の輝度の一致度が最も高い一致単位領域を探索する視差探索装置において、
路面を基準とする画像変換であって、前記被探索画像の変換後の路面画像が前記基準画像の路面画像と一致するような変換を前記被探索画像に対して行う画像変換手段と、
当該変換された被探索画像と、前記基準画像との各画素又は各領域の輝度の差による差分画像を求める差分画像作成手段と、
当該差分画像の輝度が所定値以上である不一致領域に対応する、前記基準画像中の単位領域の範囲を探索領域とする探索領域決定手段と、
当該不一致領域に含まれる前記基準画像中の各単位領域を水平線に垂直な単位領域列に組分けし、
各単位領域列について、最も低い位置の単位領域を特定し、当該最も低い位置の単位領域が路面であるとした場合の、被探索画像中の対応する被探索範囲の水平方向の幅を、前記基準画像中の当該単位領域列の全ての単位領域の被探索画像中の対応する被探索範囲の水平方向の最大幅として視差を探索する視差探索手段と
を有することを特徴とする視差探索装置。 - 前記画像変化手段、前記差分画像作成手段、前記探索領域決定手段においては低い解像度で、前記視差探索手段においてては高い解像度で画像処理を行うことを特徴とする請求項５又は請求項６に記載の視差探索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002344717A JP2004180036A (ja) | 2002-11-27 | 2002-11-27 | 視差探索方法及び視差探索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002344717A JP2004180036A (ja) | 2002-11-27 | 2002-11-27 | 視差探索方法及び視差探索装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004180036A true JP2004180036A (ja) | 2004-06-24 |
Family
ID=32706081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002344717A Pending JP2004180036A (ja) | 2002-11-27 | 2002-11-27 | 視差探索方法及び視差探索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004180036A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010009236A (ja) * | 2008-06-25 | 2010-01-14 | Toyota Central R&D Labs Inc | 平面領域推定装置及びプログラム |
| US10482341B2 (en) | 2016-09-29 | 2019-11-19 | Fanuc Corporation | Object recognition device and object recognition method |
| CN114754732A (zh) * | 2022-03-11 | 2022-07-15 | 江苏电力信息技术有限公司 | 一种基于多目视觉的距离测量方法 |
-
2002
- 2002-11-27 JP JP2002344717A patent/JP2004180036A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010009236A (ja) * | 2008-06-25 | 2010-01-14 | Toyota Central R&D Labs Inc | 平面領域推定装置及びプログラム |
| US10482341B2 (en) | 2016-09-29 | 2019-11-19 | Fanuc Corporation | Object recognition device and object recognition method |
| CN114754732A (zh) * | 2022-03-11 | 2022-07-15 | 江苏电力信息技术有限公司 | 一种基于多目视觉的距离测量方法 |
| CN114754732B (zh) * | 2022-03-11 | 2023-09-05 | 江苏电力信息技术有限公司 | 一种基于多目视觉的距离测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| CN109034047B (zh) | 一种车道线检测方法及装置 | |
| US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| CN109461174B (zh) | 视频目标区域跟踪方法和视频平面广告植入方法及*** | |
| WO2021143935A1 (zh) | 一种检测方法、装置、电子设备及存储介质 | |
| JP5949314B2 (ja) | 視差マップ生成装置および視差マップ生成装置用のプログラム | |
| KR100745691B1 (ko) | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 | |
| KR20120068470A (ko) | 스테레오 영상 정합 장치 및 그 방법 | |
| WO2007052191A2 (en) | Filling in depth results | |
| CN112424565B (zh) | 车载环境识别装置 | |
| JP2005037378A (ja) | 奥行計測方法と奥行計測装置 | |
| JPH0719832A (ja) | 複数画像の対応点抽出方法 | |
| CN111553845A (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
| KR20110089299A (ko) | 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체 | |
| CN117078717A (zh) | 基于无人机单目相机的道路车辆轨迹提取方法 | |
| JP2005250994A (ja) | ステレオ画像処理装置 | |
| JPH07103734A (ja) | ステレオ対応探索装置 | |
| WO2010061859A1 (ja) | ステレオ画像処理装置、ステレオ画像処理方法、および、記録媒体 | |
| US9936189B2 (en) | Method for predicting stereoscopic depth and apparatus thereof | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
| JP2018137667A (ja) | カメラキャリブレーション方法、プログラムおよび装置 | |
| JP2004180036A (ja) | 視差探索方法及び視差探索装置 | |
| US9380285B2 (en) | Stereo image processing method, stereo image processing device and display device | |
| JP2001153633A (ja) | 立体形状検出方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090203 |