JP5536125B2 - 画像処理装置および方法、ならびに移動体衝突防止装置 - Google Patents

Description

本発明は、画像処理装置、例えば画像処理による移動体衝突防止装置に関するものである。本発明はまた、そのような画像処理方法にも関する。

特開2000-304856号公報（特許文献１）および特開平11-120499号公報（特許文献２）には、飛行機または船舶に搭載される全地球測位システム（GPS）またはレーダを利用した衝突防止装置が記載されている。特許第3260645号公報（特許文献３）には、車両等の地上輸送装置に搭載されるGPSを利用したカーナビゲーション装置が記載されている。また、特開2001-337724号公報（特許文献４）には、GPSを利用して無人車両が特定の領域に進入することを防止する技術が記載されている。さらに、特開平5-143158号公報（特許文献５）には、ワイヤレス監視デバイスにより無人車両同士の衝突を防止する技術が記載されている。

近年、GPS受信機、速度検出部および方向検出部を有する移動体衝突防止装置において、上述の各構成要素により獲得されたGPS位置情報、速度情報および方向情報を他の移動体へ送信することにより、これらの情報を受信した移動体は衝突が発生するか否かを判断できる。

しかし、このようなGPSを利用した従来技術では、GPS自体の測定精度およびGPS受信設備の精度により、移動体同士の相互間距離の計算における誤差は通常数メートル（m）ないし十数メートルほどに及ぶことがある。したがって、衝突事故が起こり得る近距離の範囲内で、移動体の位置を誤って検出する恐れがある。

特開2000-304856号公報 特開平11-120499号公報 特許第3260645号公報 特開2001-337724号公報 特開平5-143158号公報

本発明は、このような従来技術における問題点を鑑みて、近距離範囲で物体を正確に認識できる画像処理装置および方法、ならびに移動体衝突防止装置を提供することを目的としている。

本発明による画像処理装置は、撮像手段と、該撮像手段が撮像した画像を処理する画像処理手段とを備え、前記撮像手段は、撮像レンズと、該撮像レンズを駆動しフォーカシング距離を変更する合焦機構と、撮像素子とを有し、該合焦機構は、前記撮像レンズを駆動して該撮像レンズの光軸方向における異なる位置の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を変更するフォーカススイープを行い、前記撮像手段は、前記フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれ画像を撮像し、前記画像処理手段は、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離に対応して前記認識された物体の位置を表示する物体分布画像を生成することを特徴とする。

本発明の画像処理装置によれば、撮像範囲内における物体の分布を示す画像が生成される。この物体分布画像は、生産現場における設備の位置識別および監視制御、スポーツ試合の生中継における視角の切替え、インタラクティブな娯楽システム、および後記の本願発明に係る移動体衝突防止装置に適用することができる。

また、本発明による画像処理装置において、前記フォーカススイープにおいて、フォーカシング距離は１m以下のステップ幅で変化させることが望ましい。これにより、物体分布画像の精密度を向上させることができる。

また、本発明による画像処理装置において、前記撮像手段は500画像／秒以上の頻度で撮像することが望ましい。これにより、よりリアルタイムに物体分布画像を生成することができる。

また、本発明による画像処理装置において、前記撮像手段は前記フォーカススイープを繰り返して複数回行い、前記画像処理手段は、該複数回のフォーカススイープに対応して前記物体分布画像を複数枚生成することが望ましい。フォーカススイープを繰返し行うことにより、物体分布画像を随時に更新し、物体分布画像の実時間性をさらに向上ることができる。

また、本発明による画像処理装置において、前記撮像手段は前記フォーカススイープを毎秒５回以上行うことが望ましい。これにより、物体分布画像を更新する実時間性をさらに向上させることができる。

また、本発明による画像処理装置において、前記撮像手段は電荷結合デバイス（CCD）センサまたは相補型金属酸化膜半導体（CMOS）を利用することができ、また、赤外線撮像素子を利用してもよい。撮像素子は、使用する環境に適した種類を選択することができる。

また、本発明による画像処理装置において、前記撮像レンズはズームレンズを含み、前記撮像手段は、該ズームレンズを駆動しその焦点距離を変更するズーミング機構を備え、該ズーミング機構は、前記フォーカシング距離が所定値より長くなるとき、前記ズームレンズを駆動してその焦点距離を長くし、前記フォーカシング距離が所定値より短くなるとき、前記ズームレンズを駆動してその焦点距離を短くすることが望ましい。

また、本発明による画像処理方法は、撮像レンズ、該撮像レンズを駆動しフォーカシング距離を変更する合焦機構、および撮像素子を有する撮像手段と、該撮像手段が撮像した画像を処理する画像処理手段とを備える画像処理装置において、前記撮像手段において、前記合焦機構は、前記撮像レンズを駆動して該撮像レンズの光軸方向における異なる位置の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を変更するフォーカススイープを行い、該フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれの画像を撮像し、前記画像処理手段において、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離に応じて前記認識された物体の位置を表示する物体分布画像を生成することを特徴とする。

本発明の画像処理方法において、前記撮像手段は、前記フォーカススイープを繰り返して複数回行い、前記画像処理手段は、該複数回のフォーカススイープに応じて前記物体分布画像を複数枚生成することが望ましい。

本発明による移動体衝突防止装置は移動体に設けられ、該移動体の周囲を撮像する撮像手段と、該撮像手段が撮像した画像を処理する画像処理手段と、衝突判定手段とを備え、前記撮像手段は、撮像レンズと、該撮像レンズを駆動してフォーカシング距離を変更する合焦機構と、撮像素子とを有し、該合焦機構は、前記撮像レンズを駆動して、前記移動体から離れている複数の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を変更するフォーカススイープを行い、前記撮像手段は、該フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれの画像を撮像し、前記画像処理手段は、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離に対応して前記認識された物体の位置を表示する物体分布画像を生成し、前記衝突判定手段は、該物体分布画像に基づいて前記移動体と前記認識された物体とが衝突するか否かを判定することを特徴とする。

本発明の移動体衝突防止装置によれば、衝突判定手段が、画像処理手段で生成される物体分布画像により衝突を判断することにより、効果的に移動体の衝突事故を回避することができる。

また、本発明の移動体衝突防止装置は、物体分布画像を表示する表示手段を有し、前記衝突判定手段は、前記移動体と前記認識された物体とが衝突すると判定すると、前記表示手段は、該物体を異なる色で表示する。また、移動体の操縦者に通知する通知手段を備え、前記衝突判定手段は、前記移動体と前記認識された物体とが衝突すると判定すると、前記通知手段は前記操縦者へ警告メッセージを発生する。さらに、前記物体分布画像を表示する表示手段を有し、前記画像処理手段は、該物体分布画像に距離の間隔を表す格子線の表示を加えることが望ましい。

以上により、衝突判定手段が衝突すると判断した場合、表示手段または通知手段は、迅速に移動体の操縦者や車両の運転者に警告し、衝突を対応するように促す。これにより、衝突事故を回避することができる。

また、本発明の移動体衝突防止装置は、前記移動体の移動を制御する移動体制御手段を備え、該移動体と前記認識された物体とが衝突すると前記衝突判定手段が判定すると、前記移動体制御手段は、前記移動体のブレーキ、アクセル、または操舵を制御することが望ましい。こうして、移動体制御手段により移動体を操縦し、衝突事故を回避し、また自動走行を実現することができる。

また、本発明の移動体衝突防止装置は、前記移動体の速度を検出する速度検出手段を備え、前記衝突判定手段は、該速度検出手段が検出した前記移動体の速度から、該移動体と前記認識された物体とが衝突するか否かを判定することが望ましい。速度検出手段を備えることにより、衝突判定手段はより精確に衝突するかどうかを判断することができる。

また、本発明の移動体衝突防止装置において、前記撮像レンズはズームレンズであり、前記撮像手段は、該ズームレンズを駆動しその焦点距離を変更するズーミング機構を備え、該ズーミング機構は、フォーカシング距離が所定値より長くなるとき、前記ズームレンズを駆動してその焦点距離を長くし、前記フォーカシング距離が所定値より短くなるとき、前記ズームレンズを駆動してその焦点距離を短くすることが望ましい。これにより、画像処理手段で、物体を認識する際の精度がさらに向上し、遠くにある物体もより正確に認識できる。

本発明による移動体衝突防止装置は移動体に設けられ、該移動体の周囲を撮像する撮像手段と、該撮像手段が撮像した画像を処理する画像処理手段と、表示手段とを備え、前記撮像手段は、撮像レンズと、該撮像レンズを駆動しフォーカシング距離を変更する合焦機構と、撮像素子とを有し、該合焦機構は、前記撮像レンズを駆動して、前記移動体から離れている複数の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を変更するフォーカススイープを行い、前記撮像手段は、該フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれ枚の画像を撮像し、前記画像処理手段は、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離に対応して前記認識された物体の位置を表示する物体分布画像を生成し、前記表示手段は、該物体分布画像を表示することを特徴とする。また、物体分布画像は３次元画像であってもよい。

画像処理手段により生成された物体分布画像を表示手段で表示することにより、移動体の操縦者をまたは車両の運転者が移動体周囲の物体の位置を確認することができ、安全性がさらに向上する。

図１は本発明の一つの実施形態に係る移動体衝突防止装置の構成を示す概略ブロック図である。 図２は、図１に示す実施形態における撮像部の構成を概略的に示す側断面図である。 図３は撮像部の撮像範囲を説明するための模式図である。 ないし 図４Ａ〜図４Ｅは、撮像部が１回のフォーカススイープにおいて撮像した複数枚の画像の例を示す図である。 図５は、図１に示す実施形態における画像処理のフローチャットである。 図６は、図１に示す画像処理部が生成した物体分布画像の例を示す、図３と同様の模式図である。 図７は同画像処理部が３次元の物体分布図を生成する方法を説明する図である。

以下、図面を参照しながら、本発明に係る画像処理装置を用いた移動体衝突防止装置の実施形態を説明する。本実施形態に係る移動体衝突防止装置は、本実施形態の画像処理装置が生成した物体分布画像を利用して車両等の移動体が他の物体もしくは人体などの障害物と衝突するか否かを精確に判断できる。なお、本特許出願全体を通じて用語「物体」は、人体を含む広義に解釈することがある。

図１は、本発明の一つの実施形態に係る移動体衝突防止装置10の構成を概略的に示すブロック図である。本実施形態に係る移動体衝突防止装置10は、移動体、例えば車両20に配置され、その搭載された車両20の衝突事故を回避することができる。

図１に示すように、衝突防止装置10は、撮像部120、画像処理部140、速度検出部150、表示部200、音声部210、振動部220、読出し専用メモリ（Read-Only Memory：ROM）230、衝突判断部310、車両制御部400、および衝突防止装置10の各構成要素を制御する制御部100を含み、これらは図示のように接続されている。

撮像部120は、車両20の通常の進行方向の前方にその視野を確保するように設置され、車両20前方の被写界を撮像する撮影装置である。これは、後述のようにフォーカススイープを行いながら、被写界を撮像した複数枚の画像フレームを生成し、これを制御部100を介して画像処理部140に転送する。

画像処理部140は、撮像部120により送られた画像フレームを受け、各画像フレームに鮮明に成像された画像の有無を判別し、その鮮明な画像に対応する物体や人体を認識ないしは検出する画像処理機能を有する。画像処理部140はさらに、この鮮明に成像した物体や人体の車両20との距離に基づいて、両者間の相対位置の分布を示す物体分布画像を生成する。

撮像部120と画像処理部140は、本願発明に係る画像処理装置を構成する。このような画像処理装置は、車両20の前方の景物を撮像し、車両20の前方にある各々の物体や人体を認識または判別し、車両20に対する各物体や人体の位置を示す物体分布画像を生成する。これについて、後に詳細に説明する。

表示部200は、画像処理部140で生成される物体分布画像を可視表示し、車両20の運転者に車両20前方に物体や人体などの障害物があるか否かを知らせる。

衝突判断部310は、画像処理部140で生成された物体分布画像に基づき、認識された物体に車両20が衝突するか否かを判断する処理機能部である。速度検出部150は、車両20の走行速度を検出する車速測定機能部である。衝突判断部310はさらに、速度検出部150から出力される速度情報も使用して、車両20が走行に支障をきたす物体や人体などの障害物と衝突するか否かを判断する。

衝突が発生すると衝突判断部310が判断した場合、音声部210は可聴音声の警告メッセージを生成し、および／または振動部220が振動によって警報を発し、車両20の運転者に緊急対応をとるように促すことで、衝突事故の回避に供する。

また、車両20が他の物体や人体と衝突すると衝突判断部310が判断した場合、車両制御部400は、車両20の走行駆動系、例えばブレーキ、アクセルおよび／または操舵を制御することにより、衝突事故を回避するように構成してもよい。制御部100は、衝突防止装置10の各部分を制御して、これらの制御を行うシステム制御機能部である。

次に、衝突防止装置10の各部分の構成を詳しく説明する。まず、図２は撮像部120の構成例を示す模式的側断面図である。図２から分かるように、衝突防止装置10の撮像部120は、撮像レンズ121、電荷結合デバイス（CCD）センサ122および駆動モータ123を備える。撮像レンズ121は、例えば複数枚のレンズのセットで構成される光学レンズである。被写界から到来する光は、レンズ121に入射してCCDセンサ122の撮像面に結像し、CCDセンサ122は被写界の画像フレームを形成する。駆動モータ123はレンズ121のレンズセットを駆動、すなわち各レンズを光軸125の方向に移動させ、これにより車両20から異なる距離にある各物体を順次、CCDセンサ122に鮮明に結像させる合焦機構である。

図３は撮像部120が撮像する範囲を示す図である。図３に示すように、レンズ121は一定の撮像角度すなわち画角αで車両20の前方被写界を撮像する。撮像角度α内の物体や人体は、レンズ121を介してCCDセンサ122に結像される。この場合、撮像部120のフォーカシング距離に位置し光軸125に実質的に垂直な仮想平面に含まれる物体のみがCCDセンサ122に鮮明な像を形成することができる。よって、駆動モータ123がレンズ121の各レンズを光軸125上で前方または後方に移動させて撮像部120のフォーカシング距離を変更し続けることにより、レンズ121の撮像範囲α内にある様々な物体または人体は、遠くから近くまで、あるいは近くから遠くまで、順次、CCDセンサ122に鮮明に結像される。

本願において、撮像部120のフォーカシング距離を増加または減少し続け、前方の異なる位置にある各物体が順次CCDセンサ122に鮮明な像を形成する動作を、「フォーカススイープ」と呼ぶ。

駆動モータ123は、光学レンズに用いられる電動モータまたはピエゾ素子等のいずれの駆動手段であってもよい。制御部100は、例えば予め設定された何種類かのフォーカシング距離に従って駆動モータ123を所定の回転角度まで回転させ、そのフォーカシング距離に対応する実距離にある物体または人体をCCDセンサ122で鮮明に結像させることができる。

駆動モータ123がレンズ121を駆動してフォーカシングスイープを行うと、CCDセンサ122によって時系列上で複数枚の画像フレームが撮像される。例えば、図３に示すように、１回のフォーカシングスイープ動作において、フォーカシング距離が50メートル（m）、40m、30m、20m、10mというように順次シフトして、合計５枚の画像FRAME1〜FRAME5が撮像される。

図４Ａ〜図４Ｅは１回のフォーカシングスイープに撮像された複数枚の画像FRAME1〜FRAME5を示す。図４Ａは、フォーカシング距離が50mである場合に撮像された画像FRAME1を示し、図４Ｂは、フォーカシング距離が40mである場合に撮像された画像FRAME2を示し、図４Ｃは、フォーカシング距離が30mである場合に撮像された画像FRAME3を示し、図４Ｄは、フォーカシング距離が20mである場合に撮像された画像FRAME4を示し、図４Ｅは、フォーカシング距離が10mである場合に撮像された画像FRAME5を示す。

図４Ａ〜図４Ｅにおいて、太線はCCDセンサ122上に鮮明な像が結像された物体の像を示し、細線はCCDセンサ122に鮮明な像が結像されていない物体の像を示す。

図４Ａに示すように、車両20前方、撮像角度α範囲内にあって車両20から50m離れた鉛直平面における物体が鮮明に結像される。ここで、CCDセンサ122に鮮明に結像された物体には、前方50mの位置にある路面標識30a、路肩30bの一部、および道路寄りの建物30cなどがある。よって、これらの物体の鮮明な像（太線）と他の物体の暈けた像、すなわち非合焦像（細線）を含む画像FRAME1が得られる。

図４Ｂに示すように、駆動モータ123がレンズ121を駆動してフォーカシング距離が短くなると、車両20前方から40m離れた位置における物体が鮮明に結像される。ここで、CCDセンサ122で鮮明に結像された物体として前方40mの位置にある路面標識30aの一部、路肩30bの一部、および他の車両30dなどがある。そこで、これらの物体の鮮明な像と他の物体の暈けた像を含む画像FRAME2が得られる。

図４Ｃに示すように、駆動モータ123がレンズ121をさらに駆動してフォーカシング距離がさらに短くなると、車両20前方から30m離れた位置における物体が鮮明に結像される。ここで、CCDセンサ122に鮮明に結像された物体として前方30mの位置にある路面標識30aの一部、路肩30bの一部、および道路の傍の木30eなどがある。これらの物体の鮮明な像と他の物体の暈けた像を含む画像FRAME3が得られる。

図４Ｄに示すように、駆動モータ123によりレンズ121をさらに駆動してフォーカシング距離がさらに短くなると、車両20前方から20m離れた位置における物体が鮮明に結像される。ここで、CCDセンサ122で鮮明に結像された物体には、前方20mの位置にある路面標識30aの一部、路肩30bの一部、および自転車30fなどがある。これらの物体の鮮明な像と他の物体の暈けた像を含む画像FRAME4が得られる。

さらに、図４Ｅに示すように、駆動モータ123によりレンズ121を駆動してフォーカシング距離がさらに短くなると、車両20前方から10m離れた位置における物体が鮮明に結像される。ここで、CCDセンサ122で鮮明に結像した物体としては、前方10mの位置にある路面標識30aの一部、および路肩30bの一部などがある。これらの物体の鮮明な像と他の物体の暈けた像を含む画像FRAME5が得られる。

撮像部120により撮像された各画像FRAME1〜FRAME5は、画像信号として画像処理部140に入力され、画像処理部140において後述のように処理される。

次に、衝突防止装置10の動作について詳細に説明する。本実施形態のフォーカシングスイープでは、最も長いフォーカシング距離を50mとし、最も短いフォーカシング距離を10mとし、１回のフォーカシングスイープにおいて、フォーカシング距離を50m、40m、30m、20m、10mと順次短くし、あるいは、10m、20m、30m、40m、50mと順次長くし、こうしてそれぞれのフォーカシング距離で画像フレームを撮り、１回のフォーカシングスイープにおいて５枚の画像FRAME1〜FRAME5が撮像される。

図５は衝突防止装置10における処理を示すフロチャートである。同図に示すように、先ず、ステップS501においてフォーカススイープが開始する。撮像部120の駆動モータ123は、前方50mの物体がCCDセンサ122に鮮明に結像されるよう、すなわちフォーカシング距離を50mにするように、レンズ121を駆動する。

ステップS502において、CCDセンサ122は、被写界の画像FRAME1を取得し、画像FRAME1を画像処理部140へ出力する。

そして、ステップS503において、画像処理部140は、撮像部120から送られた画像FRAME1において鮮明な像が結像された物体の像の有無を判別する。この例では、画像処理部140は、鮮明な像が結像された前方50m離れた路面標識30aの一部、路肩30bの一部、および道路脇の建物30cなどの物体の像を認識する。また、画像FRAME1には、車両20前方の他の車両30d、木30eおよび自転車30fなども撮像されているものの、鮮明に撮られていないため、画像処理部140により認識されることはない。

また、ステップS504において、画像処理部140は、画像FRAME1の撮像時のフォーカシング距離に基づいて、これら認識した路面標識30aの部分、路肩30bの部分および建物30cなどの物体の位置を計算し、それらの物体の位置を示す分布画像を生成する。

図６は画像処理部140が生成した物体分布画像を示す。この時点でのフォーカシング距離は50mであるので、前方50m離れた垂直平面内にある物体しか鮮明に結像できない。また、これら鮮明に結像された物体の画像FRAME1における座標位置は、画像FRAME1が撮られたときの角度位置により特定される。これにより、画像処理部140は、図６に示される物体分布画像において、車両20の前方、50m離れる位置に、上述の認識された路面標識30aの部分、路肩30bの部分および建物30cなどの物体を表わす図形を生成する。この図形は、一見してその物体の特性、つまりその物体が何であるかを把握できるものでよい。

そこで、ステップS505において、１回のフォーカシングスイープで撮像部120に撮像されるすべての画像フレームについて上述の処理が完了したか否かを判断し、まだ完了していない場合はステップS506へ進む。

ステップS506において、駆動モータ120はレンズ121を駆動してフォーカシング距離を調整する。例えば、フォーカシング距離を短くし、車両20の前方40m離れる位置にある物体をCCDセンサ122に鮮明に結像させる。

次に、ステップS502以降の各ステップを再度実行する。ステップS502において、撮像部120はCCDセンサ122により画像FRAME2（図４Ｂ）を取得し、画像FRAME2を画像処理部140へ送る。

ステップS503において、画像処理部140は、上述した画像FRAME1についての処理と同様に、画像FRAME2から、鮮明に結像された物体として車両20の前方40m離れた路面標識30aの一部、路肩30bの一部、および他の車両30dなどを認識する。

ステップS504では、前述と同様に、画像処理部140は、画像FRAME2が撮像されるときのフォーカシング距離（この場合、40m）に基づいて、物体分布画像において本車両20から40m離れた距離に相当する位置に、画像FRAME2から判別した路面標識30aの部分、路肩30bの部分、および他の車両30dなどの物体を表わす図形を生成する。

そして、ステップS505では、１回のフォーカシングスイープで撮像部120に撮像される全画像フレームについて上述の処理が完了したか否かを判断し、この説明例では、引き続きFRAME3〜FRAME5を撮像すべく、同様な処理を行う。次に画像FRAME3〜FRAME5についての処理を簡単に説明する。

撮像部120はフォーカシング距離を30mにし、画像FRAME3を撮像する。画像処理部140は、車両20の前方30m離れ、鮮明に結像された路面標識30aの一部、路肩30bの一部、および木30eなどの物体の像を認識する。画像処理部140は、図６に示す物体分布画像において、前方30mに対応する位置にこれらの物体を表わす図形を生成する。

次に、撮像部120はフォーカシング距離を20mにし、画像FRAME4を撮像する。画像処理部140は、車両20の前方20m離れ、鮮明に結像された路面標識30aの部分、路肩30bの部分、および自転車30fなどの物体の像を認識し、図６に示す物体分布画像において、前方20mに対応する位置にこれらの物体を表わす図形を生成する。

さらに撮像部120は、フォーカシング距離を10mにし、画像FRAME5を撮像する。画像処理部140は、車両20の前方10m離れ、鮮明に結像された路面標識30aの一部、路肩30bの一部などの物体の像を認識し、図６に示す物体分布画像において、前方10mに対応する位置にこれらの物体を表わす図形を生成する。

画像処理部140は、１回のフォーカシングスイープにおいて撮像される全画像フレームについて、ステップS503とS504の処理を行うと、車両20前方の物体の位置分布を示す、図６に示される物体分布画像が完成する。図６の物体分布画像には、撮像部120により撮像された車両20前方50m〜10mの範囲におけるすべての物体が含まれている。

ステップS505において、１回のフォーカシングスイープに撮像される全画像フレームについて画像処理が完了したと判定されると、制御はステップS50１に戻る。撮像部120は、前回使ったフォーカシング距離（この例では、10m）から再度フォーカシングスイープを行ってもよい。このとき、再度複数枚の画像フレームが撮像され、画像処理部140は次の物体分布画像を生成し、現在表示されている物体分布画像を更新する。

表示部200は生成された物体分布画像を表示する。車両20の運転者は、この表示から車両20の前方における建物、木、車両、自転車および歩行者を発見でき、衝突事故を効果的に回避することができる。また、物体分布画像により、車両20の運転者に道路標識および路肩などの標識物を知らせることができ、運転者は表示された路面標識に沿って車両20を容易に操縦することができる。

また、衝突判断部310は、画像処理部140で生成される物体分布画像に基づき、車両20が障害物などに衝突するか否かを判断することができる。

車両20から前方にある障害物との距離が所定の安全距離より短い場合、衝突判断部310は衝突する危険があると判断し、表示部200は、目立つ色、例えば赤色でその危険性障害物を表示して車両20の運転者に知らせる。また、音声部210が警告音を発生して警告してもよい。さらに、振動部220が振動して警告してもよい。

また、画像処理部140が生成した物体分布画像には、建物、樹木、植込みなどの路傍構造物、他の自動車や、自転車などの軽車両、歩行者のほか、路面標識や路肩も表示されている。よって、衝突判断部310は、自車両20がそのような路面標識や路肩と「衝突」するか否かを判断することがある。衝突判断部310は、車両20が路面標識や路肩と衝突すると判断すると、車両20が現在の車線から逸れていることを表示する。この場合、表示部200、音声部210および／または振動部220は、車両20の運転者に車両20の進行方向を変更するように警告する。これにより、例えば高速道路で運転者が疲れて車線から逸脱し、事故を起こす危険性を回避でき、車両20の安全性を向上させることができる。

衝突防止装置10にはさらに、車両20の速度を検出する速度検出部150が設けられている。衝突判断部310は、速度検出部150が検出した車両20の速度に基づき、安全距離をリアルタイムに計算でき、より有効に衝突を防止できる。

衝突防止装置10において、車両20の走行速度に対応する安全距離の情報を、例えばROM 230などの記録媒体に予め保存してもよい。衝突判断部310は、速度検出部150の検出した車両20の速度から数式を用いて安全距離をリアルタイムに計算してもよい。

また、衝突防止装置10において、衝突判断部310が衝突し得ると判断すると、制御部100の制御の下に車両制御部400が車両20の操縦駆動系を制御して、車両20の制動、加速および／または操舵、つまりブレーキ、アクセルおよびハンドリングなどを行う。こうして、衝突判断部310が画像処理部140で生成された物体分布画像から車両20の前方障害物との衝突の可能性を判断した場合、車両制御部400により車両20と前方車両と間に所定の安全距離を保つように、車両20を制動することができる。

一方、車両20が車線からずれると、車両制御部400により車両20の操舵を行い、車両20の車線からの逸脱を防止できる。勿論、車両20の運転者が意図的に車線を変更する場合もある。そのときは、運転者が少し強く車両制御部400による動作に抵抗するように操作すると、装置の操作検出部（図示せず）がこの操作を検出し、これによって車両制御部400の制御は即座に解除され、運転者による車両20の制御を許容することになる。

さらに、車両20の撮像部120は高速撮像を行うことが望ましい。撮像部120を高速に撮像するように構成すれば、各画像フレームの露光時間が短くなるので、車両20の高速走行時の振動による各画像フレームのボケを抑制し、したがって画像処理部140は、撮像された画像から物体を確実に認識できる。また、撮像部120で高速撮像を行うことにより、車両20の走行方向において長い距離の範囲内で精密に物体を認識でき、また物体分布画像の更新速度も速くなる。これにより、表示部200に表示される物体分布画像の実時間性がさらに向上する。

上述の実施形態は、撮像部120が１回のフォーカシングスイープに５枚の画像フレームを撮像し、最長フォーカシング距離は50mであり、最短フォーカシング距離は10mであり、その間の各フォーカシング距離のステップ幅は10mであった。これは一例にすぎず、例えば、車両20前方にあるすべての物体の認識を可能とするように、連続撮像した２枚の画像フレーム間のフォーカシング距離のステップ幅を短くすれば、物体分布画像における各物体の認識精度がそれだけ高くなり、したがって小さな物体や、走行方向にほぼ垂直な方向において隣接する物体や人体も認識して表示することができる。これにより、画像処理部140において各画像フレームを処理する負荷は増加する。しかし、このような物体を認識する認識精度を選択可能に設定し、使用者は、状況に応じて、必要な精度を保ちながら画像処理部140の負荷を低減するような、最適なフォーカシング距離のステップ幅を決めるように構成してもよい。連続して撮像される２枚の画像フレームのフォーカシング距離のステップ幅は、２m以下であることが好ましく、１m以下であることがより好ましい。

一方、最も長いフォーカシング距離と最も短いフォーカシング距離は、それぞれ、上述した50mと10m以外の値に設定してもよい。車両20の安全性を向上させるため、最も長いフォーカシング距離を50m以上に、最も短いフォーカシング距離を5m以下にすることが望ましい。さらに、速度検出部150の検出した車両20の走行速度に応じて最長フォーカシング距離が増大するように構成してもよい。その場合、最短フォーカシング距離も対応して増大させてもよい。こうして、市街地走行や高速道路走行に適応的に対応することができる。

また、本実施形態では、撮像部120はフォーカシングスイープを行う度に、画像処理部140は物体分布画像を生成し、これを更新する。衝突防止装置10は実時間性が重要な要素のひとつであるが、これを向上させるために、撮像部120は１秒間に１回以上フォーカシングスイープを行って物体分布画像を更新することが望ましい。さらに、車両20が高速に走行するとき、衝突防止装置10の実時間性を一般道走行時より向上させることが望ましいが、撮像部120は１秒に５回以上のフォーカシングスウィープを行って物体分布画像を更新することが望ましい。そのために、撮像部120は500回／秒の速度で高速撮像することが望ましい。例えば、車両20前方100m〜１mの広い距離範囲内にある物体を認識することができ、また、５回／秒以上の頻度で物体分布画像を更新することができる。このように、物体認識の範囲、精度および実時間性が向上する。

上述の実施形態では、撮像部120は車両20の前部に１台設けられていた。しかし、本発明はこれに限定されない。例えば、車両20の後部にも同様の撮像部を設けてもよく、これにより、車両20の運転者は車両後方の物体分布および車両状況を把握することができる。車両進行中、後方から他の車両が所定の安全距離以下に接近すると、表示部200、音声部210または振動部220により自車両20の運転者にこれを知らせ、運転者に対応するように促すことができる。これによってさらに安全に、後方からの車両の追尾事故を回避することが可能となる。また、車両制御部400は、後方からの車両に至近距離で追尾されないように、車両20を加速するように構成してもよい。

さらに、車両20の側部および／または後部の複数の箇所に、複数の撮像部を設けてもよい。これにより、車両20の横方向および／または後方の物体を認識または検出し、車両を道路の側方、駐車場または車庫に駐車する時、運転者は、車両20の周囲にある路肩や壁などの障害物、および駐車標識の位置を把握でき、駐車の際の衝突事故を回避することができる。また、車両制御部400で車両20を前向きまたは後向き移動、操舵、および加速もしくはブレーキ制御をすることにより、運転者の操作なくして、または最少の操作で、駐車できるように構成してもよい。

車両20に複数の撮像部を配置し、各撮像部が異なる方向に向いて撮像することにより、画像処理部140により、車両20周囲のより広い範囲における物体や人体の分布を示す画像を生成することができ、使用上の便利性が向上する。

また、画像処理部140は、生成される物体分布画像において本車両20との距離を示す格子線を付加的に可視表示するように構成してもよい。これにより、車両20の運転者は、表示部200に表示される物体分布画像より、自車両から認識された物体までの距離を知ることができ、車進行中の安全性をさらに確保できる。

上述の実施形態は、撮像部120がCCDセンサ122を備えていた。しかし、本発明はこのような撮像デバイスの特定の種類に限れない。撮像素子として、相補型金属酸化膜半導体（CMOS）センサまたは他の光学センサを利用してもよい。また、表示部200は、物体の色を表示しない場合、単色の撮像素子を使用してもよい。これは衝突防止装置120のコストの低減に寄与し、画像処理部140における処理速度を向上できる。

また、夜間やトンネル内などの暗い環境での利用に対応するため、撮像素子として赤外線センサを用いてもよい。これにより、例えば、夜でも撮像部120が車両20の周囲の照明の届かない領域にある物体や人体を撮像でき、画像処理部140が画像フレームから物体や人体を判別することができ、衝突防止装置10の実用性がさらに向上する。

上述の実施形態は、画像処理部140が図６に示すような平面物体分布画像を生成するものであった。しかし、本発明はこれに限れない。画像処理部140が３次元（立体）物体分布画像を生成するように構成してもよい。

図７は、画像処理部140が３次元の物体分布画像を生成する方法を説明する模式図である。同図には、図４Ａ〜図４Ｅに示した画像FRAME1からFRAME5がそれぞれのフォーカシング距離に応じた位置に配置され、撮像部120の撮像角度αに応じたフレームサイズで立体的に見えるよう表示された状態が示されている。

図５に示されるステップS503と同じように、画像処理部140は、画像FRAME1からFRAME5において、鮮明な像が結像された物体を認識する。

また、図５に示されるステップS504のように、画像処理部140は、画像FRAME1からFRAME5の撮像時のフォーカシング距離に基づいて、これらの認識された物体の位置を計算し、それらの物体の位置分布を可視的に表わす立体画像を生成する。具体的には、認識された物体の画像FRAME1からFRAME5のそれぞれにおける位置は、画像FRAME1からFRAME5が撮られた時のそれぞれの角度位置により求まる。そこで画像処理部140は、立体空間において、車両20の前方におけるそれぞれのフォーカシング距離の位置に、これらの認識された物体の図形を表示する立体図形127を生成する。こうして、３次元（立体）物体分布画像127が生成される。

表示部200は、３次元の物体分布画像を表示するとき、車両20の運転者の操作により物体分布画像127を表示する視角を変更することができる。例えば、鳥瞰図の視角で表示するように視角を変換することができる。これにより、車両20の運転者は直接または直感的に、車両20前方の各物体の正確な位置を把握することができる。また、立体物体分布画像127を表示する視角を運転者が極限値に設定すれば、図６を参照して前述した実施形態と同様に、平面の物体分布画像を表示することもできる。

上述の実施形態は、撮像部120の撮像角度αが固定、すなわちレンズ121が単焦点レンズであった。しかし、撮像角度αは可変、すなわちレンズ121はズームレンズであってもよい。ズームレンズはズーミング機構によって駆動され、ズーミング機構は、フォーカススイープにおいて、例えば、フォーカシング距離を短くするときは焦点距離を短くして撮像角度αを大きくし、これにより近くに位置する物体をできるだけ多く認識することができる。一方、フォーカシング距離を長くする場合は、焦点距離を長くして撮影角度を小さくし、これにより遠くにある物体は画像フレームにおいてサイズが大きく描写される。こうして、物体や人体の認識率がさらに向上する。

また、上述の実施形態では、車両20は移動体の一例であったが、本発明に係る移動体衝突防止装置は、陸上のみならず、移動可能な、とくに自律走行可能な装置または生産や採掘現場、構内で使用される運搬機構に配置してもよい。

以上、本発明の最良の実施形態を説明したが、本発明はこれに限るものではない。衝突防止装置10における一部の構成要素により各部分の機能および効果を得ることも可能である。

本発明を具体的な実施形態に則して詳細に説明したが、形式や細部についての種々の置換、変形、変更などが特許請求の範囲の記載により規定されるような本発明の精神および範囲から逸脱することなく行われることが可能であることは、当業者に明らかである。例えば、衝突防止装置10における一部の構成を利用し、各構成の各々の効果を得ることができる。したがって、本発明の範囲は、前述の実施形態および添付図面の記載に限定されるものでなく、特許請求の範囲の記載およびこれと均等なものに基づいて定められるべきである。

本発明による画像処理装置は、生産現場における各設備の位置識別および監視制御、スポーツ試合の生中継における視角の切替え、およびインタラクティブな娯楽システムや移動体衝突防止装置に適用することができる。

α 撮像部の撮像角度
10 移動体衝突防止装置
20 車両である移動体
100 制御部
120 撮像部
121 レンズ
122 CCDセンサ
123 合焦機構
140 画像処理部
150 速度検出部
200 表示部
210 音声部
220 振動部
230 ROM
310 衝突判断部
30a 路面標識
30b 路肩
30c 建物
30d 自動車
30e 木
30f 自転車
400 車両制御部

Claims (11)

1. 撮像手段と、
   前記撮像手段が撮像した画像を処理する画像処理手段とを備え、
   前記撮像手段は、撮像レンズと、該撮像レンズを駆動してフォーカシング距離を変更する合焦機構と、撮像素子とを有し、
   該合焦機構は、前記撮像レンズを駆動して、該撮像レンズの光軸方向における異なる位置の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を１m以下のステップ幅で変更するフォーカススイープを毎秒５回以上繰り返し行い、
   前記撮像手段は、前記フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれ画像を撮像し、
   前記画像処理手段は、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離および複数回のフォーカススイープに対応して前記認識された物体の位置とともに、前記物体の特性を把握できる図形を表示する物体分布画像を複数枚生成することを特徴とする画像処理装置。
2. 請求項１に記載の装置において、前記撮像手段は500画像／秒以上の頻度で撮像することを特徴とする画像処理装置。
3. 請求項１に記載の装置において、前記撮像素子は電荷結合デバイス（CCD）センサおよび相補型金属酸化膜半導体（CMOS）センサのうち少なくとも一つを含むことを特徴とする画像処理装置。
4. 請求項１に記載の装置において、前記撮像素子は赤外線撮像素子を含むことを特徴とする画像処理装置。
5. 請求項１に記載の装置において、前記撮像レンズはズームレンズを含み、
   前記撮像手段は、該ズームレンズを駆動しその焦点距離を変更するズーミング機構を備え、
   該ズーミング機構は、前記フォーカシング距離が所定値より長くなるとき、ズームレンズを駆動してその焦点距離を長くし、前記フォーカシング距離が所定値より短くなるとき、前記ズームレンズを駆動してその焦点距離を短くすることを特徴とする画像処理装置。
6. 撮像レンズ、該撮像レンズを駆動しフォーカシング距離を変更する合焦機構、および撮像素子を有する撮像手段と、該撮像手段が撮像した画像を処理する画像処理手段とを備える画像処理装置における画像処理方法であって、
   前記撮像手段において、前記合焦機構は、前記撮像レンズを駆動して該撮像レンズの光軸方向における異なる位置の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を１m以下のステップ幅で変更するフォーカススイープを毎秒５回以上繰り返し行い、該フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれの画像を撮像し、
   前記画像処理手段において、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離および複数回のフォーカススイープに対応して前記認識された物体の位置とともに、前記物体の特性を把握できる図形を表示する物体分布画像を複数枚生成することを特徴とする画像処理方法。
7. 移動体に設けられる移動体衝突防止装置であって、
   該移動体の周囲を撮像する撮像手段と、
   該撮像手段が撮像した画像を処理する画像処理手段と、
   衝突判定手段とを備え、
   前記撮像手段は、撮像レンズと、該撮像レンズを駆動してフォーカシング距離を変更する合焦機構と、撮像素子とを有し、
   該合焦機構は、前記撮像レンズを駆動して、前記移動体から離れている複数の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を１m以下のステップ幅で変更するフォーカススイープを毎秒５回以上繰り返し行い、
   前記撮像手段は、該フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれ画像を撮像し、
   前記画像処理手段は、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離および複数回のフォーカススイープに対応して前記認識された物体の位置とともに、前記物体の特性を把握できる図形を表示する物体分布画像を複数枚生成し、
   前記衝突判定手段は、該物体分布画像に基づいて前記移動体と前記認識された物体とが衝突するか否かを判定することを特徴とする移動体衝突防止装置。
8. 請求項７に記載の装置において、該装置は、前記物体分布画像を表示する表示手段を有し、
   前記衝突判定手段は、前記移動体と前記認識された物体とが衝突すると判定すると、前記表示手段は、該物体を異なる色で表示することを特徴とする移動体衝突防止装置。
9. 請求項７に記載の装置において、該装置は、前記移動体の操縦者に通知する通知手段を備え、
   前記移動体と前記認識された物体とが衝突すると前記衝突判定手段が判定すると、前記通知手段は前記操縦者へ警告メッセージを発生することを特徴とする移動体衝突防止装置。
10. 移動体に設けられる移動体衝突防止装置であって、
    該移動体の周囲を撮像する撮像手段と、
    該撮像手段が撮像した画像を処理する画像処理手段と、
    表示手段とを備え、
    前記撮像手段は、撮像レンズと、該撮像レンズを駆動しフォーカシング距離を変更する合焦機構と、撮像素子とを有し、
    該合焦機構は、前記撮像レンズを駆動して、前記移動体から離れている複数の物体を前記撮像素子に鮮明に結像させるように順次フォーカシング距離を１m以下のステップ幅で変更するフォーカススイープを毎秒５回以上繰り返し行い、
    前記撮像手段は、該フォーカススイープにおいて複数の異なるフォーカシング距離に応じてそれぞれの画像を撮像し、
    前記画像処理手段は、前記撮像された複数枚の画像から、該複数枚の画像のそれぞれにおいて鮮明に結像された物体を認識し、該複数枚の画像のそれぞれの撮像時のフォーカシング距離および複数回のフォーカススイープに対応して前記認識された物体の位置とともに、前記物体の特性を把握できる図形を表示する物体分布画像を複数枚生成し、
    前記表示手段は、該複数枚の物体分布画像を表示することを特徴とする移動体衝突防止装置。
11. 請求項10に記載の装置において、前記表示手段は、前記物体分布画像を３次元画像で表示することを特徴とする移動体衝突防止装置。

Images