JP2005024463A - ステレオ広視野画像処理装置 - Google Patents

Abstract

【課題】ステレオ視の撮像領域から正確な距離情報を取得しつつ、非ステレオ視の撮像領域も活用して広い実効視野を得る。
【解決手段】ステレオカメラ１の各カメラ１ａ，１ｂの光軸が同一平面上で非平行となるように配置し、ステレオ視の領域ＲＭと非ステレオ視の領域ＲＳとにより実効視野を拡大し、更にステー２の中心位置に旋回軸３を設け、駆動モータ４によりカメラ系全体を回転させて広域の走査を可能とする。これにより、侵入物監視装置に適用する場合、何れか一方のカメラの視野内に物体が侵入すれば、その侵入物を検知することができ、光軸を平行に配置したステレオカメラを用いた装置に比較し、検知可能範囲を拡大することができる。また、単に、単眼式のカメラを複数台併設した監視装置に比較し、ステレオ法を併用した確実な検知を行うことができ、誤検出を防止して信頼性を向上することができる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラを用いて正確な距離情報と広い実効視野とを得ることのできるステレオ広視野画像処理装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、ステレオカメラで撮像した一対の画像間の対応位置を求め、この対応位置の視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理の技術が知られている。このステレオ法による画像処理の技術は、建物や敷地内への侵入物を監視する監視装置、車両の前方に存在する他の車両や歩行者を検出する車両周辺監視装置等に適用することができ、ステレオ画像から物体の有無と物体の三次元情報を得ることができる。
【０００３】
ステレオ画像を撮像するステレオカメラは、２台のカメラの互いの視野が重なるステレオ視の領域がある限り、原理的には、各カメラをどのような位置に配置しても良いが、取り扱い上の利便性から、一方のカメラを平行移動した位置に他方のカメラを配置し、互いの光軸が同一平面上で平行となる、いわゆる平行ステレオカメラが多く用いられている。平行ステレオカメラは、標準ステレオカメラと称される場合もある。
【０００４】
上述の平行ステレオカメラに対し、各カメラの光軸が互いに交差する方向に配置したステレオカメラや、互いのカメラの光軸が開く方向に配置したステレオカメラを使用した画像処理の技術も知られており、前者は、特許文献１（特開平６−３３１３４９号公報）に開示され、後者は、特許文献２（特開２００１−３１２０１８号公報）に開示されている。
【０００５】
【特許文献１】
特開平６−３３１３４９号公報
【０００６】
【特許文献２】
特開２００１−３１２０１８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、従来、ステレオカメラで撮像した画像を処理して物体を検出する装置では、正確な距離情報を得ることができるものの、カメラの全視野のうち、ステレオ視の領域のみが処理対象となるため、実効視野が狭いという問題がある。特許文献１や特許文献２に開示のステレオカメラでは、平行ステレオカメラより視野の拡大が図られているが、あくまでステレオ視の領域に限定される。
【０００８】
すなわち、特許文献１に開示の技術は、ステレオ測距の機能のみに限定されるものであり、ステレオカメラの全視野のうち、非ステレオ視の領域については全く役に立っていない。また、特許文献２に開示の技術は、人間の視野を自然に近い形で再現するステレオ画像を得るものであり、人間が見る機能のみを考慮し、ステレオ測距の機能は考慮されていない。
【０００９】
本発明は上記事情に鑑みてなされたもので、ステレオ視の撮像領域から正確な距離情報を取得しつつ、非ステレオ視の撮像領域も活用して広い実効視野を得ることのできるステレオ広視野画像処理装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明のステレオ広視野画像処理装置は、互いに重なる撮像視野を有する一組のカメラであって、一方のカメラの光軸と他方のカメラの光軸とを非平行に配置したステレオカメラと、上記ステレオカメラの各カメラの撮像画像で物体の存在を検出する非ステレオ処理手段と、上記ステレオカメラで撮像した一対の画像の互いの撮像視野が重なる領域で物体の存在と物体までの距離とを検出するステレオ処理手段とを備えたことを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図５は本発明の実施の第１形態に係わり、図１はステレオカメラの配置を示す説明図、図２は広視野画像処理装置のブロック構成図、図３は侵入物検出処理のフローチャート、図４は非ステレオ視による侵入物候補を示す説明図、図５はステレオ視による侵入物の確定を示す説明図である。
【００１２】
図１において、符号１は、互いに同期のとれた２台のカメラ１ａ，１ｂからなるステレオカメラであり、同図においては、両カメラ１ａ，１ｂの設置面と直交する方向から見た配置を示す。ステレオカメラ１を構成する各カメラ１ａ，１ｂは、例えば撮像素子としてＣＣＤ（電荷結合素子）を用いたカメラであり、互いの撮像視野が重なる領域を有しながら互いの光軸（撮像面垂直軸）が同一平面上で非平行となる偏差をもつようにステー２に設置されている。尚、ここでの偏差とは、両カメラ１ａ，１ｂの光軸を平行に配置した場合に対する振れである。
【００１３】
各カメラ１ａ，１ｂの光軸の偏差は、図１に示すように互いの光軸が開く方向、或いは互いの光軸が交差する方向に設定される。従って、各カメラの光軸を平行に配置するステレオカメラ（標準ステレオカメラ）に対し、両カメラ１ａ，１ｂの撮像視野が重なるステレオ視の領域ＲＭと、各カメラ１ａ，１ｂ毎の単眼の非ステレオ視の領域ＲＳとにより実効視野を拡大することができ、本ステレオカメラ１を広視野画像用のステレオカメラとすることができる。
【００１４】
更に、本形態においては、カメラ系の中心線上となるステー２の両カメラ１ａ，１ｂの取付け間隔の中心位置に、カメラ系全体を旋回させるための旋回軸３が設けられている。旋回軸３には、駆動モータ４が直接或いはギヤ等を介して連結され、各カメラ１ａ，１ｂの相対位置を保持しながらステレオカメラ１全体を回転させるカメラ回転機構を形成している。
【００１５】
そして、駆動モータ４により、カメラ系全体を旋回軸３を中心として両光軸のなす平面に沿って旋回させることで、広域の走査を可能としている。但し、本形態においては、カメラ系の旋回は連続的なものではなく、予め設定された有限個の回転角度毎、例えば、カメラ系中心線で１０°刻みの一定の角度刻み毎に旋回させる離散的なものである。
【００１６】
尚、ステレオカメラ１全体を回転させず、各カメラ１ａ，１ｂそれぞれを回転させるようにしても良いが、その場合には、互いのカメラ位置と回転角度との関係を精密に管理する必要がある。
【００１７】
ステレオカメラ１は、以下の説明では、カメラ１ａ，１ｂが左右水平に配置されているものとし、一方のカメラ１ａをステレオマッチング処理における基準画像を撮像する右カメラ、他方のカメラ１ｂをステレオマッチング処理における参照画像を撮像する左カメラ、基準画像を右画像、参照画像を左画像と表現するが、両カメラ１ａ，１ｂを上下方向や斜め方向に配置しても良い。
【００１８】
広視野画像用ステレオカメラとしてのステレオカメラ１で撮像した一対の画像は、図２に示す広視野画像処理装置２０によって処理される。この広視野画像処理装置２０は、各カメラ１ａ，１ｂの系統に対応して、各カメラ１ａ，１ｂからの画像信号を比例増幅するアンプ５ａ，５ｂ、アンプ５ａ，５ｂで比例増幅したアナログ画像信号を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像信号に変換するＡ／Ｄ変換器６ａ，６ｂ、アンプ５ａ，５ｂの固有ゲインの補正等を行なう補正回路７ａ，７ｂ、補正回路７ａ，７ｂを経た左右の画像間のステレオ視の領域ＲＭで走査線方向に対応位置を探索する等のステレオマッチングを行い、対応位置の視差（画素ずれ量）を求めるステレオマッチング回路８、ステレオマッチング回路８で求めた視差を距離画像データとしてストアする距離画像メモリ９ａと補正回路７ａを経た右の元画像データをストアする右画像メモリ９ｂと補正回路７ｂを経た左の元画像データをストアする左画像メモリ９ｃとからなる画像メモリ９、画像メモリ９にストアされた距離画像データ及び左右の元画像データを用い、主として各種画像処理・画像認識を行うマイクロコンピュータ１０、マイクロコンピュータ１０から適宜出力される旋回軸３の角度指示値により駆動モータ４を駆動し、ステレオカメラ１全体を角度指示値に従った角度だけ旋回させる旋回制御回路１１を備えて構成される。
【００１９】
マイクロコンピュータ１０は、ファームウエアとして画像認識処理部１０ａを備えている。この画像認識処理部１０ａは、本発明に係わる非ステレオ処理手段及びステレオ処理手段としての機能を含むものであり、非ステレオ視による広視野の情報とステレオ視による詳細な距離情報とを用い、各種の認識処理、例えば、建造物への侵入物監視における人物や物体の存在と位置の認識、車両の前方・側方監視における先行車両や歩行者の存在と位置の認識等の処理を行う。
【００２０】
更に、画像認識処理部１０ａは、本発明に係わるカメラ回転制御手段としての機能も含み、認識処理の際、必要に応じて旋回制御回路１１に旋回軸３の旋回角度を指示する角度指示値を出力し、駆動モータ４によりステレオカメラ１を旋回させて撮像方向を可変する。
【００２１】
以下、ステレオカメラ１を用いた広視野画像処理装置２０を、建物・敷地内への侵入物（侵入者）を監視する侵入物監視装置として適用する場合を例に取り、この侵入物監視装置による侵入物検出処理について、図３のフローチャートを用いて説明する。
【００２２】
図３に示す侵入物検出処理は、撮像画像のフレーム毎の処理を示し、先ず、ステップＳ１において、右画像データ及び左画像データの両方に対し、単眼法による侵入物検知処理を行う。このステップＳ１における侵入物検知は、非ステレオ法による処理であるため、侵入物の検知精度が低く、地面に映った影や外光の反射等の虚像を検知する可能性がある。従って、ステップＳ１での侵入物検知処理では、画像中に侵入してきた物体である可能性が高い領域を、とりあえず侵入物の“候補”として抽出し、この侵入物候補の有無及び位置を検出する。
【００２３】
このような侵入物候補を抽出する技術としては、既知の技術、例えば背景差分法による領域抽出の技術を採用することができる。背景差分法による領域抽出では、侵入物を含まない画像を背景画像として用いるが、本形態では、カメラ系全体の旋回に対応するため、前述の角度刻み毎に異なる背景画像を予めメモリ上に記憶しておく。
【００２４】
そして、現在のカメラ系の旋回角度に対応する背景画像を選択して現フレームの画像と比較することで、侵入物候補を検出する。例えば、背景画像と現フレームの画像との画素毎の輝度を比較し、輝度の差の絶対値が所定の閾値以上である画素の集合を、侵入物の候補となる領域として抽出する。侵入物候補の位置は、領域の重心位置で代表する。
【００２５】
次に、ステップＳ１からステップＳ２へ進み、左右画像の少なくとも一方の画像に侵入物候補が有るか否かを調べる。その結果、左右何れの画像にも侵入物候補が存在しない場合には、次の画像フレームまで待機し、次フレームで再度ステップＳ１の処理を行う。
【００２６】
また、左右画像の少なくとも一方に侵入物候補がある場合には、ステップＳ２からステップＳ３へ進み、左右両画像に侵入物候補があるか否かを調べる。そして、左右画像の一方にのみ侵入物候補がある場合、すなわち、両カメラ１ａ，１ｂの視野が重ならない非ステレオ視の領域に侵入物候補が映っている場合には、ステップＳ３からステップＳ４へ進んでステレオカメラ１全体を旋回させる処理を行い、左右画像の両者に侵入物候補がある場合、ステップＳ３からステップＳ５へ進み、ステレオ法による侵入物の確定を行う。
【００２７】
但し、同じフレームで、左画像の非ステレオ視の領域と右画像の非ステレオ視の領域とに、それぞれ別の侵入物候補が映っている場合には、ステレオカメラ１の設置位置や監視位置の優先度等から予め設定した方向の画像側にのみ侵入物候補があるものとして、ステップＳ３からステップＳ４へ進む。
【００２８】
左右画像の一方にのみ侵入物候補がある場合、ステップＳ４では、侵入物候補の位置情報により、侵入物候補がステレオ視の領域に入るようステレオカメラ１全体を旋回させる角度指示値を算出し、この角度指示値を旋回制御回路１１に出力して駆動モータ４を回転させ、ステレオカメラ１全体を旋回させる。すなわち、右画像に侵入物候補が映っていた場合にはステレオカメラ１全体を右回転させ、左画像に侵入物候補が映っていた場合にはステレオカメラ１全体を左回転させ、次フレームまで待機する。
【００２９】
例えば、図４に示すように、ステップＳ１の処理で右画像の非ステレオ視の領域に、侵入物候補Ｓ’が検出されたとき、この侵入物候補Ｓ’は、地面に映った影や外光の反射等の虚像である可能性がある。従って、ステレオカメラ１全体を右回転させて侵入物候補Ｓ’の重心を通るラインＬを左右画像のステレオ視の領域内に移動させ、図５に示すように、次フレームを撮影する。そして、右画像のステレオ視の領域に映った侵入物の像ＳＲと、左画像のステレオ視の領域に映った侵入物の像ＳＬとに対し、ステレオマッチングを行うことにより、侵入物候補Ｓ’が真に侵入物を捉えたものか否かを確認する。
【００３０】
左右画像の両者に侵入物候補が映り、侵入物候補がステレオ視の領域に入った場合、ステップＳ５では、ステレオ法を用いて再度侵入物の検知処理を行い、侵入物を正確に確定する。このステレオ法による侵入物の検知処理としては、例えば、本出願人による特願２００２−２５５４１７号に記載の背景視差を用いたマッチングの技術を用いることができる。
【００３１】
この背景視差によるマッチングでは、予め侵入物を含まない左右画像に対してステレオマッチングを行い、基準画像（右画像）上の各位置における視差（背景視差）を求めて背景距離画像として記憶しておく。そして、現在の左右の元画像に対し、背景距離画像の背景視差分だけずらし、左右画像の一致度を計算する。但し、本形態では、カメラ系全体の旋回に対応するため、前述した角度刻み毎に異なる背景距離画像を予め記憶している。
【００３２】
画像中に侵入物が存在しない場合には、右画像上の或る点と背景視差分だけずらした左画像上の点とは、実空間上の同じ位置を映していることから、左右画像の一致度を計算した結果、一致度が高ければ、背景に元から存在する物体を検出した（侵入物は存在しない）と判断することができ、一致度が低ければ、侵入物が存在すると判断することができる。
【００３３】
その後、ステップＳ６へ進み、ステップＳ５での処理結果から侵入物の有無を判定する。そして、侵入物候補がノイズ等の影響による誤検出であり、侵入物無しと判定された場合には、次フレームまで待機し、新たなフレームに対してステップＳ１からの処理を再開する。また、侵入物有りと判定された場合には、音や光等による警報を出力し、ブザーを鳴らす、赤色回転燈を点灯させる等して侵入物の存在を警告する。
【００３４】
本実施の形態では、各カメラ１ａ，１ｂの光軸を偏差をもたせて配置したステレオカメラ１を用い、このステレオカメラ１の非ステレオ視の視野領域とステレオ視の視野領域とを観測領域とすることから、侵入物監視装置に適用する場合、何れか一方のカメラの視野内に物体が侵入すれば、その侵入物を検知することができ、光軸を平行に配置した標準ステレオカメラを用いた装置に比較し、検知可能範囲を拡大することができる。
【００３５】
また、単に、単眼式のカメラを複数台併設した監視装置に比較し、ステレオ法を併用した確実な検知を行うことができるので、地面に映った影や反射光等の虚像による誤検出を防止することができ、信頼性を向上することができる。
【００３６】
次に、本発明の実施の第２形態について説明する。図６〜図８は本発明の実施の第２形態に係わり、図６はステレオカメラの配置を示す説明図、図７は監視装置のブロック構成図、図８は前方・側方監視処理のフローチャートである。
【００３７】
第２形態は、車両に搭載する前方・側方監視装置への適用例を示すものであり、車両のような移動体で要求される処理速度や監視領域からの逸脱防止等を考慮してステレオカメラ１を旋回させず、カメラ系中心軸を車両の進行方向正面に向けて固定する。
【００３８】
すなわち、図６に示すように、ステレオカメラ１を旋回させるための旋回軸３及び駆動モータ４を廃止して車両にステレオカメラ１を固定し、また、ステレオカメラ１を固定することに対応して、図７に示すように、本形態の前方・側方監視装置２０Ａでは、第１形態で説明した広視野画像処理装置２０から旋回制御回路１１を省略する。
【００３９】
この前方・側方監視装置２０Ａによる自車両の前方・側方監視処理は、図８にのフローチャートに示される。
【００４０】
図８のフローチャートは、撮像画像のフレーム毎の処理を示し、先ず、ステップＳ１１で、左右画像のそれぞれについて、単眼法による歩行者の検知処理を行う。この単眼法による歩行者検知では、車両外界の風景が種々変化することから、第１形態で説明した背景差分法を適用することは困難であり、例えば、フレーム間の動きベクトルであるオプティカルフローを用いて歩行者を検知する。
【００４１】
このオプティカルフローによる歩行者の検知処理では、画像内の物体を一塊の動いている領域として捕らえ、この領域の動きベクトルの大きさと方向とに基づいて、特定の方向の物体を検出する。すなわち、画像間のオプティカルフローを調べることにより、画像内で自車両の走行路中心から外側に向かう領域は、道路脇の電柱や立木等の物体であると認識することができ、画像内で自車両の走行路中心に向かう領域は、歩行者であると認識することができる。
【００４２】
以上のステップＳ１１での歩行者の検知処理が済むと、次にステップＳ１２へ進み、自車両に衝突する可能性のある歩行者の有無を調べる。そして、自車両に衝突する可能性のある歩行者が検出された場合には、例えば、運転席付近に設置したブザーを鳴らす等して警報を出力し、運転者に衝突回避の操作を促す。
【００４３】
尚、第１形態と同様、ステレオカメラ１に旋回軸３を設け、設定速度以下の極低速時にのみ、旋回制御回路１１を介して駆動モータ４を駆動し、ステレオカメラ１を旋回させるようにしても良く、単眼法による歩行者の検知に、ステレオ測距による自車両と歩行者との間の距離情報を加えることで、より正確に歩行者を検出することが可能となる。その場合、設定速度を越えたときには、ステレオカメラ１のカメラ系中心軸を車両の進行方向正面に戻し、駆動モータ４による旋回を禁止する。
【００４４】
一方、自車両に衝突する可能性のある歩行者が検出されない場合には、ステップＳ１２からステップＳ１３へ進み、右カメラ１ａ及び左カメラ１ｂの視野が重なるステレオ視領域での前方監視に移行する。この前方監視では、左右の両画像のステレオマッチングを行い、光軸の偏差を考慮して自車両の前方にいる先行車両と自車両との間の車間距離を測距する。
【００４５】
ステップＳ１３に続くステップＳ１４では、ステレオ測距した車間距離と予め設定した閾値とを比較し、自車両に異常接近する先行車両の有無を判断する。そして、車間距離が閾値より大きく、先行車両と衝突或いは接触の虞がない場合には、次フレームまで待機し、車間距離が閾値以下で近すぎる先行車両が有り、衝突或いは接触の可能性がある場合には、同様にブザーを鳴らす等して警報を出力し、運転者に回避動作を促す。
【００４６】
この場合、自車両と先行車両との車間距離に加えて、自車両と先行車両との間の相対速度を算出し、車間距離と相対速度とに基づいて、衝突或いは接触の可能性を判断するようにしても良い。
【００４７】
第２形態では、車両搭載の監視装置への適用に際し、従来のようにステレオ測距の機能のみを使用する装置に比較して、非ステレオ視とステレオ視との双方で車両周辺を監視するため、実効視野を拡大することができ、歩行者や選考車両との接触・衝突を回避する上での予防安全性を高めることができる。
【００４８】
【発明の効果】
以上説明したように本発明によれば、ステレオ視の撮像領域から正確な距離情報を取得しつつ、非ステレオ視の撮像領域も活用して広い実効視野を得ることができ、広範囲の物体を正確に検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、ステレオカメラの配置を示す説明図
【図２】同上、広視野画像処理装置のブロック構成図
【図３】同上、侵入物検出処理のフローチャート
【図４】同上、非ステレオ視による侵入物候補を示す説明図
【図５】同上、ステレオ視による侵入物の確定を示す説明図
【図６】本発明の実施の第２形態に係わり、ステレオカメラの配置を示す説明図
【図７】同上、前方・側方監視装置のブロック構成図
【図８】同上、前方・側方監視処理のフローチャート
【符号の説明】
１ ステレオカメラ
２ ステー
３ 旋回軸
４ 駆動モータ
８ ステレオマッチング回路
１０ マイクロコンピュータ
１０ａ 画像認識処理部
１１ 旋回制御回路
２０ 広視野画像処理装置

Claims (6)

1. 互いに重なる撮像視野を有する一組のカメラであって、一方のカメラの光軸と他方のカメラの光軸とを非平行に配置したステレオカメラと、
   上記ステレオカメラの各カメラの撮像画像で物体の存在を検出する非ステレオ処理手段と、
   上記ステレオカメラで撮像した一対の画像の互いの撮像視野が重なる領域で物体の存在と物体までの距離とを検出するステレオ処理手段と、
   を備えたことを特徴とするステレオ広視野画像処理装置。
2. 上記ステレオカメラを回転させるカメラ回転機構と、
   上記非ステレオ処理手段で検出した物体が上記ステレオ処理手段の処理対象範囲に映るよう、上記カメラ回転機構を制御するカメラ回転制御手段と、
   を備えたことを特徴とする請求項１記載のステレオ広視野画像処理装置。
3. 上記カメラ回転機構は、
   各カメラの相対位置を保持しながら上記ステレオカメラ全体を回転させる機構であることを特徴とする請求項２記載のステレオ広視野画像処理装置。
4. 上記非ステレオ処理手段は、
   移動物体が存在しない状態の背景画像と現在の画像とを比較して新たに出現した物体を検出することを特徴とする請求項１，２，３の何れかに記載のステレオ広視野画像処理装置。
5. 上記カメラ回転制御手段は、
   予め設定した有限個の回転角度の何れかを選択して上記カメラ回転機構を制御し、
   上記非ステレオ処理手段は、
   上記有限個の回転角度のそれぞれに対応して別個に記憶された上記背景画像の中から、現在のカメラ位置に対応する上記背景画像を選択して現在の画像と比較することを特徴とする請求項４記載のステレオ広視野画像処理装置。
6. 上記非ステレオ処理手段は、
   撮像画像間のオプティカルフローに基づいて、特定の方向に移動する物体を検出することを特徴とする請求項１，２，３の何れかに記載のステレオ広視野画像処理装置。

Images