JP2006285385A

JP2006285385A - 画像処理装置

Info

Publication number: JP2006285385A
Application number: JP2005101273A
Authority: JP
Inventors: Tomoharu Nagao; 智晴長尾; Wataru Yokoi; 渉横井; Motoya Ogawa; 原也小川; Katsuyuki Kise; 勝之喜瀬
Original assignee: Yokohama National University NUC; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp; Yokohama National University NUC
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2006-10-19
Anticipated expiration: 2025-03-31
Also published as: JP4376199B2

Abstract

【課題】各種画像フィルタを木構造状に組み合わせた処理プログラムを遺伝的プログラミングにより自動的に最適化できるＡＣＴＩＴの手法を動画像中からの特定対象の抽出に拡張するとともに、オプティカルフローの手法を取り入れて動画像中から移動物体を精度良く抽出可能な画像処理装置を提供する。また、このような処理プログラムを容易に得ることができる汎用性の高い画像処理装置を提供する。
【解決手段】撮像装置２１により撮像された画像に画像処理を施して画像中から特定の対象を抽出する画像処理装置１において、画像フィルタを木構造状に組み合わせた処理プログラムに従って、撮像装置２１により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部３を備える。
【選択図】図１

Description

本発明は、画像処理装置に係り、特に、画像中から特定対象を抽出可能な画像処理装置に関する。

近年、ＴＶカメラやＣＣＤ（Charge Coupled Device）カメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置や画像処理方法の研究が盛んに行われている（例えば、特許文献１〜５等参照）。

このような画像処理装置は、例えば、自動車等の分野においては、車両に取り付けたＣＣＤカメラ等で前方風景を撮像し、その動画像から歩行者や他の車両を抽出して、それらとの衝突等の事故回避に応用されたり（特許文献１〜３参照）、或いは、人工知能型ロボット等の分野では、ロボットが、搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりすることに用いられる（特許文献４参照）など、種々の分野で研究や実用化が図られている。

動画像中から特定の対象を抽出するために、このような画像処理装置では、例えば、水平方向に離間した２台のＣＣＤカメラ等により得られた入力画像に画像処理を施して特定対象の輪郭部分を抽出したり、入力画像からオプティカルフローを算出して特定の対象を抽出したり、或いはパターンマッチング処理によりデータベースに登録されているモデルと照合して特定対象を推定する等の画像処理方法が採られている。

しかし、これらの方法は、通常、処理プログラムの構築に非常に手間がかかるうえ、目的とする特定対象ごとに処理プログラムを構築しなければならなかった。そのため、従来から、処理プログラムを容易に構築可能であり、汎用性の高い処理プログラムを得ることができる画像処理方法や画像処理装置が望まれていた。

一方、静止画像に対する画像処理の分野では、近年、各種画像フィルタを図３２に示すような木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施して特定の対象を抽出する画像処理技術が提案されている（非特許文献１参照）。

この画像処理技術は、具体的には、例えば、印刷文字とその行間に書かれた手書きの文字とよりなる１枚の入力画像を図３２に示したように木構造状の処理プログラムに複数回入力して画像処理を施し、印刷文字のみを抽出した出力画像を出力させたり、複数の角膜内皮細胞が連なった状態が撮影された１枚の顕微鏡画像を同様の木構造状の処理プログラムに入力して細胞同士の境界部分の網目模様のみを抽出した出力画像を得る等の画像処理を行う画像処理技術である。

非特許文献１では、さらに、この各種画像フィルタを木構造状に組み合わせた処理プログラムを自動的に最適化するために遺伝的プログラミングの技法を取り入れた画像変換の自動構築法が提案されている。なお、同文献にあわせて、以下、この画像変換の自動構築法をＡＣＴＩＴ（Automatic Construction of Tree-structural Image Transformations）という。
特開平５−２６５５４７号公報特開平１０−１１５８５号公報特開２００２−８３２９７号公報特開２００１−８４３８３号公報特開平９−２７１０１４号公報青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４

このように、ＡＣＴＩＴの手法は、画像中から特定の対象を抽出することができる木構造状の処理プログラムを遺伝的プログラミングの手法を用いて自動的に構築し、最適化することができるため、前述した動画像中から特定の対象を抽出するような課題に有効に応用し得ると予想される。

しかしながら、ＡＣＴＩＴの手法は、前述したように、もともと静止画像に対して画像処理を行うようにできている。具体的に言えば、図３２に示した処理プログラムの「入力画像」には同一の静止画像が繰り返し入力されることが前提とされており、画像が１フレームごとに変わる動画像に適用できるとは限らない。そのため、ＡＣＴＩＴの手法を動画像にも適用できるように修正しなければならない。

また、ＡＣＴＩＴの手法に、画像中から移動物体上の各点の移動方向や移動距離を抽出できるオプティカルフローの手法を組み込むことができれば、特に動画像中から画像中を移動する物体を抽出するような場合には、オプティカルフローの手法が効果的に作用することが予想され、抽出の精度が向上することが期待される。

そこで、本発明の目的は、各種画像フィルタを木構造状に組み合わせた処理プログラムを遺伝的プログラミングにより自動的に最適化できるＡＣＴＩＴの手法を動画像中からの特定対象の抽出に拡張するとともに、オプティカルフローの手法を取り入れて動画像中から移動物体を精度良く抽出可能な画像処理装置を提供することである。本発明は、このような処理プログラムを容易に得ることができる汎用性の高い画像処理装置を提供することをも目的とする。

前記の問題を解決するために、第１の発明は、
撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに従って、前記撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備えることを特徴とする。

第１の発明によれば、画像処理装置には画像処理部が設けられ、画像処理部では、撮像装置から送信されてくる一連の動画像を構成する複数の画像から画像中の各点の時間的なフローを示すフローベクトルを算出してオプティカルフロー画像が生成され、このオプティカルフロー画像と前記複数の画像を各種画像フィルタを木構造状に組み合わせた処理プログラムに入力して画像処理を行い、特定の対象が抽出された出力画像が形成される。出力画像は、例えば、表示部のモニタ等に表示されたり、他の制御装置に送信されて制御のための情報として用いられたりする。

第２の発明は、第１の発明において、前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数の画像、オプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより最適化された処理プログラムを出力するように構成されていることを特徴とする。

第２の発明によれば、第１の発明の画像処理装置に処理プログラム形成部が設けられ、処理プログラム形成部に動画像を構成する複数の画像やこれらの複数の画像から生成したオプティカルフロー画像、最適化された処理プログラムが出力すべき画像としての目標画像、出力画像と目標画像との距離を画素ごとに重み付けするための重みが画素ごとに定義された重み画像が入力されると、遺伝的プログラミングの手法により親選択や交叉、突然変異等の進化過程を経て最適化された処理プログラムが自動的に形成され出力される。

第３の発明は、第１の発明又は第２の発明において、前記画像処理部は、前記撮像装置により撮像された前記複数の画像を擬似的に上空から見た状態の画像にそれぞれ変換するように構成されていることを特徴とする。

第３の発明によれば、画像処理装置の画像処理部は、撮像装置から送信されてきた前方の風景を撮像した画像を演算により擬似的に上空から見た状態の画像に変換し、その変換された画像を処理プログラムに入力して画像処理を行う。

第４の発明は、第３の発明において、前記画像処理部は、前記変換した複数の画像および前記変換した複数の画像に基づいて生成したオプティカルフロー画像を前記処理プログラムに入力するように構成されていることを特徴とする。

第４の発明は、第３の発明において、撮像装置により撮像された複数の画像が擬似的に上空から見た状態の複数の画像に変換され、これらの画像からオプティカルフロー画像が生成される。そして、変換された画像とこれらの画像から生成されたオプティカルフロー画像が処理プログラムに入力されて画像処理が行われる。

第５の発明は、第３又は第４の発明において、前記処理プログラム形成部は、前記変換された複数の画像、前記変換された複数の画像に基づいて生成されたオプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより学習を行い、最適化された処理プログラムを出力するように構成されていることを特徴とする。

第５の発明によれば、画像処理装置の処理プログラム形成部には擬似的に上空から見た状態の画像に変換された画像やこれらの画像から生成したオプティカルフロー画像、目標画像、重み画像が入力され、それらに基づいて遺伝的プログラミングの手法による進化過程を経て最適化された処理プログラムが自動的に形成され出力される。

第６の発明は、第１から第５のいずれかに記載の画像処理装置において、前記オプティカルフロー画像は、算出したフローの大きさの情報を階調値に表した画像であることを特徴とする。

第６の発明によれば、画像処理装置の画像処理部は、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その大きさの情報を階調値に表したオプティカルフロー画像を生成する。

第７の発明は、第１の発明から第６の発明のいずれかの画処理装置において、前記オプティカルフロー画像は、算出したフローの向きの情報を階調値に表した画像であることを特徴とする。

第７の発明によれば、画像処理装置の画像処理部は、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その向きの情報を階調値に表したオプティカルフロー画像を生成する。

第８の発明は、第６の発明または第７の発明の画像処理装置において、前記オプティカルフロー画像における前記フローは、前記撮像装置の移動状態に基づいて換算された前記撮像装置の移動平面に対するフローであることを特徴とする。

第８の発明によれば、画像処理装置の画像処理部は、画像処理装置やそれが搭載された装置の移動速度やヨーレート等の撮像装置の移動状態についての情報に基づいて撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを撮像装置の移動平面に対するフローに換算し、その換算されたフローの大きさや向きの情報を階調値に表したオプティカルフロー画像を生成する。

第９の発明は、第１の発明から第７の発明のいずれかの画像処理装置において、前記オプティカルフロー画像は、算出したフローの信頼性が低い画素部分の階調値が０とされていることを特徴とする。

第９の発明によれば、画像処理装置の画像処理部は、輝度値の差が少なく特徴に乏しい建物の壁や道路表面等が撮像されている画素部分については算出されたフローの信頼性が低いとしてその画素部分の階調値を０としてオプティカルフロー画像を形成する。

第１０の発明は、第１の発明又は第２の発明において、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成されていることを特徴とする。

第１０の発明によれば、画像処理装置の画像処理部は、撮像装置から送信されてきた前方の風景を撮像した画像を演算により視点位置を上方に移動させた状態にそれぞれの画像を変換し、その変換された画像を処理プログラムに入力して画像処理を行う。

第１の発明によれば、画像処理装置に、各種画像フィルタを木構造状に組み合わせた処理プログラムに従って、撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、特定の対象が抽出された出力画像を形成するための画像処理部を備えた。

このように構成すると、同一の静止画像を木構造状の処理プログラムに入力して画像中から特定の対象を効果的に抽出することができる前記ＡＣＴＩＴの手法を、画像中の全体的な構成はほぼ同様であるが被写体の位置関係がフレームごとに若干異なる複数の画像と、それらの複数の画像から生成されるオプティカルフロー画像とを木構造状の処理プログラムに入力して動画像を構成する画像中から特定の対象を抽出するように拡張することが可能となる。

特に、処理プログラムに入力される画像として、動画像を構成する複数の画像から生成したオプティカルフロー画像を入力するように構成したことで、動画像中で特異なフローを示す移動対象に対応する画像上の領域を処理プログラムに明確に指摘することができるようになる。そのため、本発明の画像処理装置は、動画像中から抽出する特定対象が移動物体である場合に特に的確に精度良く移動対象を抽出することが可能となる。

第２の発明によれば、画像処理装置には処理プログラム形成部が設けられ、処理プログラム形成部に動画像を構成する複数の画像やオプティカルフロー画像、目標画像、重み画像が入力されると、遺伝的プログラミングの手法により最適化された処理プログラムが自動的に形成され出力されるようにした。そのため、前記第１の発明の効果に加え、目標画像に示された出力すべき画像と同一の画像或いはそれに近似する画像を出力する最適化された処理プログラムを容易に得ることが可能となる。

また、処理プログラム形成部における遺伝的プログラミングに用いる目標画像や重み画像を変更することにより、処理プログラムが動画像を構成する画像中から抽出すべき特定対象を容易に変更することが可能となる。すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築する必要がなく、目標画像と重み画像とを変更して処理プログラム形成部に入力するだけで、遺伝的プログラミングを用いて同じ手順で自動的に変更された特定対象を抽出する処理プログラムを構築することができる。そのため、処理プログラムの構築が容易になると同時に、画像処理装置が非常に汎用性が高い装置となる。

第３の発明によれば、画像処理装置の画像処理部は、撮像装置から送信されてきた前方の風景を撮像した画像を演算により擬似的に上空から見た状態の画像に変換し、その変換された画像を処理プログラムに入力して画像処理を行うように構成した。また、逆変換により擬似的に上空から見た状態の画像を元の前方風景を撮像した画像に変換することができる。

このように構成すれば、前方の風景を撮像した画像と比較して、擬似的に上空から見た状態の画像を用いることで、処理プログラムの画像処理において撮像装置前方の空間内を移動する物体の動きが把握され易くなる。そのため、特に動画像中から移動物体を抽出するという課題に対して前記各発明の効果をより効果的にかつ精度良く発揮することが可能となる。

第４の発明によれば、第３の発明の画像処理装置は、画像処理部で、撮像装置により撮像された複数の画像を擬似的に上空から見た状態の複数の画像に変換し、これらの画像からオプティカルフロー画像を生成し、変換された画像とこれらの画像から生成されたオプティカルフロー画像を処理プログラムに入力して画像処理を行うように構成した。

このように構成することで、前方の風景を撮像した画像から生成されるオプティカルフロー画像と比較して、擬似的に上空から見た状態の画像から生成されるオプティカルフロー画像では撮像装置や画像処理装置の移動状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとの区別が明確になり、オプティカルフロー画像における移動物体の切り出しが明確に行われるようになる。そのため、特に動画像中から移動物体を抽出するという課題に対して前記各発明の効果をより効果的にかつ精度良く発揮することが可能となる。

第５の発明によれば、画像処理装置の処理プログラム形成部に、擬似的に上空から見た状態の画像に変換された画像やこれらの画像から生成したオプティカルフロー画像、目標画像、重み画像が入力され、それらに基づいて遺伝的プログラミングの手法による進化過程を経て最適化された処理プログラムが自動的に形成され出力されるように構成した。

このように構成することで、擬似的に上空から見た状態の画像中から特定の対象を抽出する最適化された処理プログラムを、第２の発明と同様に容易に構築することが可能となり、また、目標画像や重み画像を変更することにより抽出する特定の対象を容易に変更できるため、画像処理装置が非常に汎用性が高い装置となる。

第６の発明によれば、画像処理装置の画像処理部は、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その大きさの情報を階調値に表したオプティカルフロー画像を生成するように構成される。

このように構成すれば、フローの向き等を考慮せずに比較的少ない情報量のオプティカルフロー画像を用いて前方風景を撮像した画像あるいはそれらの画像を擬似的に上空から見た状態に変換した画像の中で大きく位置を移動させている移動物体を効率良く見出すことが可能となる。そのため、前記各発明の効果に加え、処理プログラムにおける処理の負担が軽減され、処理速度を迅速化させることができる。

第７の発明によれば、画像処理装置の画像処理部を、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その向きの情報を階調値に表したオプティカルフロー画像を生成するように構成した。このように構成することで、撮像装置や画像処理装置の移動状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとの区別が明確になり、オプティカルフロー画像における移動物体の切り出しが明確に行われるようになる。

例えば、前方風景を撮像した画像から生成したオプティカルフロー画像では、撮像装置が左旋回している状態ではオプティカルフロー画像の全域に一様に右向きのフローが現れ、また擬似的に上空から見た状態に変換した画像から生成したオプティカルフロー画像では、撮像装置が前進している場合にはオプティカルフロー画像の全域にほぼ一様な大きさのフローが現れるが、その中で特異なフローを示す画素領域が見出され易くなり、移動物体の切り出しが明確になる。このように、第７の発明によれば、前記各発明の効果に加え、特に動画像中から移動物体を抽出するという課題に対して効果的にかつ精度良く抽出を行うことが可能となる。

第８の発明によれば、画像処理装置の画像処理部は、画像処理装置やそれが搭載された装置の移動速度やヨーレート等の撮像装置の移動状態についての情報に基づいて撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを撮像装置の移動平面に対するフローに換算し、その換算されたフローの大きさや向きの情報を階調値に表したオプティカルフロー画像を生成するように構成される。

このように構成することで、前記第６の発明や第７の発明に記載されたオプティカルフロー画像のフローの情報を撮像装置の移動平面に対するフローの大きさや向きに修正することができ、撮像装置と移動物体との相対的なフローではなく撮像装置の移動の基準となっている平面に対するいわば絶対的なフローについての情報を有するオプティカルフロー画像とすることができる。そのため、前記各発明の効果に加え、特に動画像中から移動物体を抽出するという課題に対して画像中の移動物体と前記平面を含む静止物体とをより明確に区別することが可能となり、動画像中からの移動物体の抽出をより効果的にかつ精度良く行うことが可能となる。

第９の発明によれば、画像処理装置の画像処理部は、輝度値の差が少なく特徴に乏しい建物の壁や道路表面等が撮像されている画素部分については算出されたフローの信頼性が低いとしてその画素部分の階調値を０としてオプティカルフロー画像を形成するように構成される。

このように構成することで、フロー算出のために行うマッチングにおいて誤ったマッチングを行う可能性があるものを排除し、算出されたフローの信頼性を高め、オプティカルフロー画像の有効性を高めることができる。そのため、より信頼性の高いオプティカルフロー画像に基づいて画像処理を行い、処理プログラムを構築することが可能となり、前記各発明の効果をより精度良く発揮させることが可能となる。

第１０の発明は、第１の発明又は第２の発明において、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成される。

このように構成すれば、前方の風景を撮像した画像と比較して、擬似的に上空から見た状態の画像を用いることで、処理プログラムの画像処理において撮像装置前方の空間内を移動する物体の動きが把握され易くなる。そのため、特に動画像中から移動物体を抽出するという課題に対して前記各発明の効果をより効果的にかつ精度良く発揮することが可能となる

以下、本発明の画像処理装置に係る実施の形態について、図面を参照して説明する。なお、第１および第２の実施形態では、自動車車両に搭載され、車両前方の風景画像の中から対向車両を抽出する画像処理装置について述べるが、本発明はそれらに限定されない。

［第１の実施の形態］
図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１は、画像入力部２と、画像処理部３と、メモリ４と、処理プログラム形成部５と、表示部６と、入力部７とを備えている。本実施形態では、画像処理装置１としては、ＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等から構成されたコンピュータを用いることができる。

画像入力部２は、撮像した画像を電気信号に変換可能な撮像装置２１を備えており、撮像装置２１としては、例えば、電荷結合素子等の固体撮像素子を用いたＣＣＤカメラが用いられる。本実施形態では、画像入力部２の撮像装置２１は、図示しない自動車車両のルームミラー付近のフロントガラス内側に前方を撮像可能な状態に取り付けられている。

撮像装置２１は、例えば、通常のテレビ画像と同様に１／３０秒ごとに車両前方を撮像して動画像を形成し、前記動画像を構成する画像が画像処理部３に１フレームずつ送信されるようになっている。すなわち、画像処理部３には、画像入力部２から１秒間に３０フレームの画像が送信されるようになっている。

撮像装置２１から出力された画像信号は、通常のコンピュータ画像処理と同様に、図示しないＡ／ＤコンバータにおけるＡ／Ｄ変換により例えば２５６階調のデジタルの階調値に変換され、輝度補正やノイズ除去、アフィン変換等の幾何学的な補正等の処理が施されるようになっている。

画像処理部３は、撮像装置２１により撮像されて順次送信されてくる図２に示すような画像に画像処理を施して、特定の対象、例えば、本実施形態では図２中右側に撮像されているトラックのような対向車両が抽出された出力画像を形成するようになっている。

すなわち、画像処理部３は、画像処理部３に接続されているメモリ４から処理プログラム形成部５で形成されメモリ４に記憶されている各種画像フィルタを木構造状に組み合わせた処理プログラムを読み出してＲＡＭに展開し、図２に示されたような現在の時刻の入力画像とそれ以前に撮像された入力画像からオプティカルフロー画像を生成し、それらの画像を処理プログラムに入力して画像処理を行い、対向車両が抽出された出力画像を形成するように構成されている。

また、画像処理部３は、前記画像処理を行うと同時に、画像入力部２から送信されてきた前記複数の画像をメモリ４に送信し順次記憶させるようになっている。さらに、本実施形態では、画像処理部３には、モニタ等を備えた表示部６やキーボードやマウス等を備えた入力部７が接続されている。

ここで、処理プログラムの構造について説明する。処理プログラムは、図３に例示されるように、各種画像フィルタを木構造状に組み合わせたプログラムであり、動画像を構成する複数のフレームの画像ｔ、ｔ−１、…、ｔ−ｋ（ｋは１以上の整数）およびこれらの画像から生成されたオプティカルフロー画像に対して順次各画像フィルタによる画像処理を施し、出力画像を形成するように構成されている。

画像フィルタは、本実施形態では、図４および図５に例示されている単数または２個の画像データを入力する画像フィルタの中から選択されて用いられるようになっている。なお、図４に示す単数の画像を入力する画像フィルタを１入力画像フィルタ、図５に示す２個の画像を入力する画像フィルタを２入力画像フィルタという。

本実施形態の処理プログラムにおいては、入力画像ｔ、ｔ−１、…、ｔ−ｋとして、現在の時刻ｔの入力画像ｔおよびそれ以前のＭフレームごとの入力画像ｔ−１、…、ｔ−ｋが処理プログラムに入力されるようになっており、ｋおよびＭの値は、あらかじめ任意に指定されるようになっている。

本実施形態では、ｋ＝２、Ｍ＝１に設定されており、処理プログラムには、図６（Ａ）に示すように出力画像が要求された現在の時刻ｔの入力画像ｔと、その直前の連続する２フレーム分の入力画像ｔ−１、ｔ−２とを処理プログラムに順次入力するようになっている。なお、例えば、ｋおよびＭの値をｋ＝３、Ｍ＝３と設定すれば、図６（Ｂ）に示すように、現在の時刻ｔの入力画像ｔおよびそれ以前の３フレームごとの入力画像ｔ−１、ｔ−２、ｔ−３の計４枚の画像が処理プログラムに入力されるようになる。

なお、他の選択方法により相異なる複数の入力画像を選択して処理プログラムに入力するように構成することも可能である。また、本実施形態の処理プログラムには、計算速度を向上させるために、図４や図５に示したような一般的な画像フィルタが用いられるが、目的に応じて機能が特化された画像フィルタを追加することも可能である。

画像処理部３は、前述した複数の入力画像のほかに、これらの複数の画像からオプティカルフロー画像を生成してそのオプティカルフロー画像も処理プログラムに入力するようになっている。本実施形態では、画像処理部３は、入力画像ｔおよび入力画像ｔ−１からブロックマッチング処理によりオプティカルフロー画像を生成するようになっている。

ブロックマッチング処理では、基準となる現在の時刻ｔの入力画像ｔを、例えば４×４画素の画素ブロックに分割し、各画素ブロックについて入力画像ｔ−１とのマッチング処理が行われる。マッチング処理の方法としては、ＳＡＤ法、ＳＳＤ法、正規化相関法等の種々の方法が知られており、いずれの方法を採ることも可能である。

本実施形態で採用されているＳＡＤ法について簡単に説明すれば、図７に示すように、入力画像ｔ上の画素ブロックにおける左上端の画素を原点とし、横方向にｉ軸、縦方向にｊ軸をとると、画素ブロック内の画素ｐ_i,jの座標はそれぞれ（０，０）、（１，０）、…、（３，３）と表される。ここで、この入力画像ｔ上の画素ｐ_i,jの輝度値をＡ^t _i,jのように表す。

また、マッチング処理の対象とされる入力画像ｔ−１上に座標（ｋ，ｌ）を原点とする４×４画素のブロックをとり、前記と同様にｉおよびｊをとると、そのブロック上の画素の座標は（ｋ＋ｉ，ｌ＋ｊ）と表される。

このように定義した場合、入力画像ｔ上の画素ブロック内の画素の輝度値Ａ^t _i,jと、入力画像ｔ−１上のブロック内の対応する画素の輝度値Ａ^t-1 _k+i,l+jとの差の絶対値の総和、すなわちシティブロック距離Ｃ_k,lは下記（１）式で表される。

ＳＡＤ法では、１画素ずつずらしながら入力画像ｔ−１上をラスタ走査し、シティブロック距離Ｃ_k,lが最小となるブロックを入力画像ｔ上の画素ブロックに対応するブロックとする。そして、それらの画素ブロックおよびブロックを同一画像上に置いた場合の入力画像ｔ−１上のブロックから入力画像ｔ上の画素ブロックへのフローベクトルＦを、その入力画像ｔ上の画素ブロックにおけるオプティカルフローと定めるようになっている。以上の作業を入力画像ｔのすべての画素ブロックについて行うことで、画素ブロックごとにオプティカルフローが算出されたオプティカルフロー画像が生成される。

なお、本実施形態では、シティブロック距離Ｃ_k,lの演算時間を短縮するため、前記ラスタ走査を入力画像ｔ−１の全域に亘って行う代わりに入力画像ｔ−１上に投影された入力画像ｔ上の画素ブロックを含む一定範囲の領域についてのみ行うように構成されている。

また、入力画像ｔ上の画素ブロックが、建物の壁や道路表面等が撮像されていて１６個の画素間に輝度値の差が少なく特徴に乏しい画素ブロックである場合には、入力画像ｔ−１上に似たような輝度特性を有するブロックが多数存在するため、前記（１）式に従って対応するブロックが見出されたとしてもマッチングを誤っている可能性が残る。

そこで、本実施形態では、下記の２条件を満たす場合のみ前記マッチング処理で算出されたフローベクトルＦに信頼性があり、そのフローベクトルＦを入力画像ｔ上の画素ブロックに対応するオプティカルフローとする。また、２条件のいずれかを満たさない場合はフローの信頼性が低いとしてその画素ブロックのオプティカルフローを０とするようになっている。

（条件１）その画素ブロックの前記シティブロック値Ｃ_k,lの最小値Ｃ_minがあらかじめ設定された閾値Ｃ_a以下である。
（条件２）その画素ブロックを構成する１６個の画素の最大輝度値と最小輝度値との差があらかじめ設定された閾値Ａ^t以上である。

従って、本実施形態では、画像処理部３は、まず、入力画像ｔを画素ブロックに分割した後、画素ブロックが条件２を満たすか否かを判断して、条件を満たさない場合にはその画素ブロックに関してはマッチング処理を行わず、その画素ブロックに大きさ０のオプティカルフローを割り当てる。また、画像処理部３は、条件２を満たす画素ブロックであっても、条件１を満たさない場合、すなわちシティブロック距離Ｃ_k,lが閾値Ｃ_aより大きいである場合にはマッチングを誤っている可能性が高く信頼性が低いからその画素ブロックに大きさ０のオプティカルフローを割り当てるようになっている。

本実施形態では、オプティカルフロー画像は、このようにして画素ブロックごとに算出されたオプティカルフローの大きさ、すなわちフローベクトルＦの長さを各画素ブロックの階調値に変換した画像として生成されるようになっている。前述した大きさ０のオプティカルフローが割り当てられている画素ブロックは階調値が０である。

図８は、図２に示した入力画像ｔおよび図示を省略した入力画像ｔ−１に基づいて生成されたオプティカルフロー画像を示す図である。図８における斜線部分は階調値が０の画素ブロック部分であり、白抜き部分は０でない階調値を有する画素ブロック部分である。なお、白抜き部分は画素ブロックごとにオプティカルフローの大きさに対応する階調値を有しており、実際のオプティカルフロー画像では濃淡が色分けされている。

図８を図２と比較して分かるように、図中Ａで示された部分は対向車両のトラックの先頭部分に対応し、図中Ｂで示された部分は樹木の葉の部分に対応している。また、図中Ｃで示される部分は、主に道路表面であり、画素ブロックの階調値が０とされている。

前述したように、画像処理部３は、このようにして生成したオプティカルフロー画像と入力画像ｔ、ｔ−１、ｔ−２とを処理プログラムに入力して出力画像を形成するようになっている。なお、処理プログラムへの入力の際、入力画像とオプティカルフロー画像との解像度をあわせるために、オプティカルフロー画像の１つの画素ブロックを同一の階調値を有する１６個の画素として処理するようにしてもよいが、本実施形態では、処理プログラムにおける演算速度を向上させるために入力画像ｔ、ｔ−１、ｔ−２をそれぞれオプティカルフロー画像の解像度にあわせるように圧縮処理した画像を用いて処理を行うようになっている。

画像処理部３における処理プログラムによる画像処理の結果、図９に示すような出力画像が形成される。なお、図９の出力画像においては、白抜きで表示されている画素部分が対向車両として検出された部分であり、０でない階調値を有する画素として示されている。また、斜線部分は対向車両が検出されない部分として輝度値０で表示されている。

また、本実施形態では、図１０に示すように、前記出力画像が表示部６のモニタに表示されている入力画像ｔに重ね合わせて表示されるようになっている。その際、図９の白抜きで示された検出部分が赤色（図中では斜線で示す）に着色されて表示されるようになっている。

なお、入力画像ｔと出力画像との重ね合わせ表示の際、処理プログラムの出力画像に対して、図１１に示すようなマスクフィルタによる画像処理を行うように構成することも可能であり、例えば、図１０の車両フロント部の着色部分や画像上方の木の着色部分は不必要な着色部分であるから、マスクフィルタを用いて画像処理を行い、それらの部分の着色を表示しないように構成することも可能である。

また、得られた出力画像の情報を、表示部６のモニタ等に表示するとともにあるいは表示する代わりに自車両を制御する制御装置等に送信して、危険回避のための自動制御等に用いるように構成することも可能である。

次に、本実施形態の画像処理装置１の処理プログラム形成部５について説明する。処理プログラムは、人為的に構築されて画像処理部３における画像処理に用いられることも可能である。図３に示したような木構造状の処理プログラムにおいて、例えば、図４や図５に示したような１入力或いは２入力の画像フィルタを最大４０個の範囲で任意に組み合わせ、それに入力画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像を任意の位置で入力する木構造状の処理プログラムについて全探索により、すなわち人為的にすべての組み合わせを生成して最善の結果が得られる処理プログラムを構築することも可能である。

本実施形態では、画像処理部３に接続された処理プログラム形成部５において、遺伝的プログラミングの手法により処理プログラムが自動的に形成されるようになっている。なお、本実施形態では、処理プログラムは、撮像装置２１による撮像と同時並行的に画像処理部３で行われる画像処理に先行して、あらかじめ処理プログラム形成部５で形成し、メモリ４に記憶させておくようになっている。

図１２は、処理プログラム形成部の構成を示すブロック図であり、処理プログラム形成部５は、初期個体生成手段５１と、適応度評価手段５２、５６と、親選択手段５３と、交叉手段５４と、突然変異手段５５と、終了判定手段５７とを備えている。

初期個体生成手段５１は、入力部７からの処理プログラム形成指示に応じて、図３に示したような木構造状の処理プログラムを、設定された前記ｋおよびＭの値の範囲内でランダムに一定数生成させるように構成されている。本実施形態では、初期個体として処理プログラムを１００個体生成させるようになっている。

処理プログラムをランダムに生成する規則として、本実施形態では、初期個体のみならず最適化された処理プログラムが得られるまでの進化過程において木構造状の処理プログラムを構成するノードのうち画像フィルタ、すなわち非終端記号の数が最大でも４０を超えないように設定されている。なお、画像フィルタは、図４や図５に示した画像フィルタの中からランダムに選択されるようになっている。また、選択される画像フィルタには、図４や図５に示した各種画像フィルタのほか、図１１に示したようなマスクフィルタを含めることも可能である。

また、前述したように、本実施形態では、ｋ＝２、Ｍ＝１と設定されており、一定の時刻ｔからさかのぼって１／３０秒の時間間隔をおいて撮像された連続する３フレーム分の入力画像ｔ、ｔ−１、ｔ−２の中から処理プログラムに入力すべき入力画像が任意に選択されるようになっている。すなわち、入力画像ｔ、ｔ−１、ｔ−２の３種類を処理プログラムの入力画像としてすべて用いる必要はなく、初期個体の中には、例えば、入力画像ｔと入力画像ｔ−２の２種類、或いは入力画像ｔ−１だけしか用いないような処理プログラムが含まれることも許容される。

なお、本実施形態では、終端記号、すなわち木構造状の処理プログラムに入力される画像のうちの少なくとも１つはオプティカルフロー画像であるという制限が設けられている。

初期個体生成手段５１には、適応度評価手段５２が接続されており、初期個体生成手段５１で生成された各処理プログラムの初期個体が適応度評価手段５２に送信されるようになっている。

適応度評価手段５２では、前述したようにランダムに生成された１００個体の各処理プログラムに対して入力画像ｔ、ｔ−１、ｔ−２及びオプティカルフロー画像を入力して出力画像を形成するシミュレーションがそれぞれ実行され、シミュレーションにより得られた出力画像と目標画像とが比較されて各処理プログラムの適応度Ｅが下記（２）式に基づいてそれぞれ算出されるようになっている。

ここで、入力画像ｔ、ｔ−１、ｔ−２にはあらかじめシミュレーション用に撮像された図２に示したような入力画像が用いられ、オプティカルフロー画像には、前述した要領で入力画像ｔおよび入力画像ｔ−１から形成されたオプティカルフロー画像が用いられる。

また、目標画像とは、最適化された処理プログラムが出力すべき画像をいい、入力画像ｔに基づいて人為的に形成される。本実施形態では、処理プログラムの目的が自車両前方の風景画像の中からの対向車両の抽出であるから、例えば、図２に示した入力画像ｔの中から対向車両であるトラックに相当する画素のみを輝度値２５５の白抜きにして抽出領域とし、それ以外の画素を輝度値０の非抽出領域とした図１３に示すような画像が目標画像として形成され、シミュレーションに先立ってあらかじめ適応度評価手段５２に入力される。

また、重み画像とは、出力画像（Ｏ）と目標画像（Ｔ）との距離｜Ｏ−Ｔ｜を画素ごとに重み付けするための重みが画素ごとに定義された画像をいい、画素ごとの重みは、構築すべき処理プログラムの目的により適宜決められる。通常、出力画像が目標画像と一致することが強く求められる画素領域では大きな値が設定され、出力画像と目標画像との一致が強く要求されない画素領域では小さな値が設定される。

本実施形態では、対向車両を抽出し、その他のものは抽出しないようにすることが目的であるため、出力画像は、目標画像の抽出領域においても非抽出領域においてもともに目標画像との一致が強く要求される。しかし、重みを全画像において同じ値に設定すると、出力画像における対向車両が占める画素領域、すなわち抽出領域の面積割合がその他の画素領域、すなわち非抽出領域の面積割合よりも小さいため、適応度評価における非抽出領域での一致度の寄与が大きくなりすぎる可能性がある。

そのため、本実施形態では、図１４に示すように、重み画像を図１３に示した目標画像と同様の画像とし、抽出領域の重みと非抽出領域の重みの比がそれぞれの面積比の逆数の比、すなわち、それぞれの面積比が３２：２５６であるから重みの比が１／３２：１／２５６になるように重みＷが設定されている。重み画像は、通常、目標画像の形成にあわせて形成され、目標画像とともにシミュレーションに先立ってあらかじめ適応度評価手段５２に入力される。

なお、抽出領域や非抽出領域においてさらに細かく重みをするなど、本実施形態の方法以外の方法で重み画像を形成することも可能である。

また、学習セットとは、入力画像、オプティカルフロー画像、目標画像および重み画像を組み合わせて構成されるセットのことであり、本実施形態では、この学習セットを１セットだけでなく複数セット用いて処理プログラムのシミュレーションを行うように構成されている。

すなわち、例えば、図１５に示すように、時刻ｔにおける複数種類の入力画像ｔ、ｔ−１、ｔ−２とそれに対応するオプティカルフロー画像、目標画像および重み画像よりなる第１学習セットとともに、時刻ｔ以前の時刻ｔａにおける入力画像ｔａ等の同様の第２学習セット、および時刻ｔ以降の時刻ｔｂにおける入力画像ｔｂ等の同様の第３学習セットの計３セット（この場合は（２）式でＮ＝３）が前記と同様にしてシミュレーションに先立ってあらかじめ形成され適応度評価手段５２に入力される。そして、適応度評価手段５２では、１００個体生成された各処理プログラムごとに１セットずつ計３回のシミュレーションが行われ、それらの結果を（２）式に代入して適応度Ｅが算出されるようになっている。

適応度評価手段５２には、親選択手段５３が接続されており、適応度評価手段５２で適応度Ｅが計算された各処理プログラムがそれぞれの適応度Ｅに対応付けられて親選択手段５３に送信されるようになっている。

親選択手段５３では、まず、送信されてきた１００個体の処理プログラムのうち、適応度Ｅが最大の処理プログラムのエリート保存を行うようになっている。親選択手段５３は、エリートとした処理プログラムのコピーを処理プログラムの集団に残すと同時に、処理プログラムをＲＡＭ等に保存して、以下の親選択や交叉、突然変異から隔離するようになっている。

親選択手段５３は、エリートのコピーを含む１００個体の各処理プログラムに対して適応度Ｅに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき１００個体の処理プログラムの選択および増殖を行うように構成されている。また、本実施形態では、トーナメント選択により１００個体を選択するようになっている。

親選択手段５３で選択、増殖された１００個体の処理プログラムは、次の交叉手段５４に送信されるようになっている。

交叉手段５４では、図１６に示すように、親選択手段５３から送られてきた処理プログラムを２個体ずつ対にして、対とされた親プログラム１、２ごとにランダムに選ばれた交叉部分を所定の頻度で互いに交叉させて、子プログラム１、２が生成されるように構成されている。

その際、２つの子プログラムの中に非終端記号の数が４０を超えるものが生成される場合には、その交叉は取り消され、再度、元の親プログラム１、２で交叉部分がランダムに選ばれて交叉が所定の頻度で行われるようになっている。また、生成された子プログラム１、２の一方の終端記号にオプティカルフロー画像が含まれなくなる場合にもその交叉が取り消され、再度同じ親プログラム１、２で交叉が所定の頻度で行われるようになっている。

本実施形態では、交叉手段５４においては、図１６に示したような１点交叉が行われるように構成されているが、この他にも、例えば、多点交叉や一様交叉等の方法で交叉させるように構成することも可能である。

交叉手段５４で生成された１００個体の子プログラムである処理プログラムは、次の突然変異手段５５に送られるようになっている。

突然変異手段５５では、処理プログラムごとに所定の割合でノードの変異、挿入、欠失等を発生させるように構成されている。その際、ノードの挿入により処理プログラム中の非終端記号の数が４０を超える場合には、その挿入は行われず、また、入力画像ｔ等の終端記号と画像フィルタである非終端記号との変異は禁止されている。

さらに、終端記号の変異によりオプティカルフロー画像が入力画像等に変異して処理プトグラムの終端記号にオプティカルフロー画像が含まれなくなる場合にもその変異が禁止されるようになっている。この他にも、例えば、転座や重複等の突然変異を行うように構成することも可能であり、その際、適宜適切な制限が加えられる。

突然変異手段５５には、適応度評価手段５６が接続されており、突然変異手段５５で生成された１００個体の処理プログラムは適応度評価手段５６に送られるようになっている。

適応度評価手段５６では、突然変異手段５５から送信されてきた１００個体の処理プログラムに対して前述した適応度評価手段５２と同様の処理が行われるようになっている。すなわち、適応度評価手段５２で用いたものと同じ第１〜第３学習セットが用いられて各処理プログラムについてシミュレーションが行われ、前記（２）式に基づいてそれぞれ適応度Ｅが計算されるように構成されている。

適応度評価手段５６には、終了判定手段５７が接続されており、適応度評価手段５６で適応度Ｅが計算された各処理プログラムと前記親選択手段５３でエリート保存された前世代の適応度Ｅが最大の処理プログラムとの計１０１個の処理プログラムが終了判定手段５７に送られて、処理プログラム形成部５における処理プログラム形成を終了するか否かの判定を受けるようになっている。

本実施形態では、終了判定手段５７は、進化過程の世代数があらかじめ設定された終了世代数Ｇｅに達したかどうかを判定し、終了世代数Ｇｅに到達したと判定した場合にはその時点で適応度Ｅが最大の処理プログラムを解として画像処理部３に出力して、プログラム形成を終了させるように構成されている。

また、終了判定手段５７は、世代数が終了世代数Ｇｅに到達していない場合には、各処理プログラムを前記親選択手段５３に送り、前述した処理手順を繰り返すようになっている。なお、この場合、前記親選択手段５３には、１０１個体の処理プログラムが送信されるが、親選択手段５３では、エリート保存が行われた後、１０１個体の処理プログラムに対して選択、増殖を行い、１００個体の処理プログラムを選択するようになっている。

終了判定手段５７では、この他にも、例えば、あらかじめ一定の目標適応度Ｅｑを設定しておき、各処理プログラムの中に適応度Ｅが目標適応度Ｅｑに達した処理プログラムがあるか否かを判定し、目標適応度Ｅｑに達した処理プログラムがあればその処理プログラムを解として画像処理部３に出力するように構成されてもよい。また、終了判定手段５７が各処理プログラムの適応度の最大値を記憶するように構成し、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合にはその世代で前記手順を終了し、その最大の適応度を有する処理プログラムを解として画像処理部３に出力するように構成することも可能である。

また、前述した処理プログラム形成部５における最適化された処理プログラムの進化過程はごく一般的なものであり、この他の進化過程を採用することも可能である。近年、遺伝的プログラミングの基礎となる遺伝的アルゴリズムにおける世代交代モデルとして種々のモデルが提案されており、それらについては、例えば、佐藤浩、外２名、「遺伝的アルゴリズムにおける世代交代モデルの提案と評価」、人工知能学会誌、社団法人人工知能学会、１９９７年、第１２巻、第５号、ｐ．７３４〜７４４等にまとめられている。また、本論文で提案されているＭＧＧ（procedure Minimal Generation Gap）の手法を本発明に応用することも可能である。

処理プログラム形成部５では、以上の進化過程に基づいて最適化された処理プログラムが形成されるが、得られた処理プログラムには、いわゆる過学習と呼ばれる現象が見られることがある。つまり、本実施形態の場合で言えば、対向車両一般を抽出する代わりに、例えば、白色系統の車両は抽出せずに濃い色の車両のみを抽出してしまうようなより抽出対象が限定された処理プログラムが得られてしまう場合がある。

このような過学習の発生を避けるため、本実施形態では、前記適応度評価手段５２、５６での適応度評価において、前記（２）式で算出された適応度Ｅからさらに下記（３）式に基づいて過学習制限を考慮した適応度Ｅ´を算出するように構成されている。従って、本実施形態では、親選択手段５３や終了判定手段５７においては、この過学習制限を考慮した適応度Ｅ´が比較され、参照される。

ここで、係数ａ、ｂはともに正の値をとる。（３）式によれば、過学習制限を考慮した適応度Ｅ´は、処理プログラムにおけるノード数ｎ（Node）が大きいほど小さい値をとるように算出され、また、２入力画像フィルタのノード数ｍ（2input-node）が大きいほど大きな値をとるように算出される。

過学習制限を考慮した適応度Ｅ´が前記（３）式のように構成される理由は、処理プログラムの木構造のノード数が大きいほど抽出する対象がより限定されて過学習の状態になり易く、ノード数が小さいほどより一般的な対象（本実施形態では歩行者全般）を抽出できるようになり、汎用性が向上するためである。

また、このようにノード数が大きいほど適応度Ｅ´が小さくなるように構成されると、今度は、処理プログラムの木構造における２入力画像フィルタの割合が小さくなり、例えば、本実施形態のように入力画像として３種類の入力画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像の入力を許しても、実際にはより少ない種類の入力画像しか入力しない処理プログラムが得られる傾向が強くなるため、２入力画像フィルタのノード数が大きいほど適応度Ｅ´が大きな値をとるように構成されている。

なお、係数ａ、ｂはそれぞれノード数の適応度Ｅ´に対する割合および２入力画像フィルタのノード数の適応度Ｅ´に対する割合を表すが、この係数ａ、ｂを前記処理プログラム形成部５における遺伝的プログラミングの進化過程の世代数に応じて変化するように構成することも可能である。

例えば、世代数が小さい段階では係数ａ、ｂがともに大きな値をとり世代とともに小さな値をとるようにすれば、ノード数が大きな処理プログラムが淘汰され易くなり（ａの効果）、２入力画像フィルタを多く含む処理プログラムが生き残る可能性が高くなる（ｂの効果）。また、逆に、係数ａ、ｂを世代とともに大きくするようにすれば、進化初期に得られた学習セットに特化した処理を進化の後半でよりシンプルな形にしていくことが可能となる。さらに、進化が進んで適応度の最大値の停滞が生じたときに、人為的に係数ａ、ｂの値を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。

処理プログラム形成部５で形成された最適化された処理プログラムは、画像処理部３に送信され、メモリ４に記憶されるようになっている。また、処理プログラム形成部５で形成された処理プログラムの一例を図１７に示す。この場合、非終端記号、すなわち、画像フィルタの数は４０、終端記号のうち入力画像の数は１１、オプティカルフロー画像の数は３、出力画像の数は１になっている。なお、図中、ＯＦはオプティカルフロー画像、ｔ、ｔ−１、ｔ−２はそれぞれ入力画像ｔ、ｔ−１、ｔ−２を表す。

次に、本実施形態の画像処理装置の作用について説明する。

画像処理装置１では、まず、処理プログラムの形成が行われる。処理プログラムの形成段階においては、処理プログラム形成の基礎となる自車両前方の風景画像を撮像装置２１で動画像、すなわち、１／３０秒ごとに撮像した複数のフレームとして撮像し、画像処理部３を介してメモリ４に記憶させる。本実施形態では、抽出対象が対向車両であるから、対向車両が撮像された動画像を記憶させておく。

続いて、処理プログラムに入力する入力画像の数とフレーム間隔、すなわち前記ｋおよびＭを設定する。そして、本実施形態のようにｋ＝２、Ｍ＝１と設定した場合には、メモリ４に記憶された各フレームの中から図６（Ａ）に示したように入力画像ｔ、ｔ−１、ｔ−２となるべき対向車両が撮像されている適当な３つの連続するフレームを選択し、入力画像ｔ、ｔ−１、ｔ−２として処理プログラム形成部５に入力する。

また、図２に示したような選択した入力画像ｔに基づいて、図１３および図１４に示したような目標画像および重み画像を作成して処理プログラム形成部５に入力する。本実施形態では、目標画像およぶ重み画像の作成は、表示部６のモニタ等に入力画像ｔを表示させ、入力部７のキーボードやマウス等を操作して手動で行う。また、画像処理部３に入力画像ｔ、ｔ−１を入力して図８に示したようなオプティカルフロー画像を生成させ、処理プログラム形成部５に入力する。オプティカルフロー画像を手動で生成してもよい。

また、本実施形態では、前述したように複数の学習セットを用いて最適化された処理プログラムを生成するようになっているから、図１５に示したように前記入力画像ｔに対応する時刻ｔ以前の時刻ｔａにおける入力画像ｔａ等の同様の第２学習セット、および時刻ｔ以降の時刻ｔｂにおける入力画像ｔｂ等の同様の第３学習セットを形成して処理プログラム形成部５に入力する。

そして、処理プログラム形成部５に初期個体生成手段５１における初期個体数の設定値および終了判定手段５７における終了世代数を入力する。処理プログラム形成部５は、図４や図５に示した各種画像フィルタを用いて処理プログラムの初期個体を生成し、前述した遺伝的プログラミングにおける進化過程で親選択や交叉、突然変異等を生じさせ、適応度評価を行う。このようにして図１７に示したような最適化された処理プログラムが形成される。処理プログラム形成部５は、このようにして形成した最適化された処理プログラムを画像処理部３を介してメモリ４に記憶させる。

処理プログラムを用いた画像処理の実行段階では、画像処理部３は、まず、メモリ４から処理プログラムを読み出してＲＡＭに展開する。画像処理部３は、撮像装置２１からの入力画像ｔを受信すると、入力画像ｔと入力画像ｔ−１とからオプティカルフロー画像を生成し、オプティカルフロー画像と入力画像ｔ、ｔ−１、ｔ−２とを処理プログラムに入力する。

画像処理部３は、同時に、入力画像ｔを表示部６に送信してモニタ等に表示させるとともに、入力画像ｔをメモリ４に一時保存させる。処理プログラムが演算を終了し出力画像を出力すると、画像処理部３は、その結果を表示部６に送信し、図１０に示したように、表示部６のモニタに白黒画像として表示されている入力画像ｔに赤色に着色した出力画像を重ね合わせて表示させる。

以上のように、本実施形態の画像処理装置によれば、画像フィルタを木構造状に組み合わせた処理プログラムに時間間隔をおいて撮像された動画像中の複数の入力画像ｔ、ｔ−１、…、ｔ−ｋを入力することで、木構造状の処理プログラムを構成する差分フィルタ等の各種画像フィルタの機能が有効に発揮され、動画像中から特定の対象を効果的に抽出することができる。

このように、従来同一の静止画像を入力するように構成されてきた木構造状の処理プログラムを用いたＡＣＴＩＴの手法が、動画像を用いた場合にも適用可能であることが本発明により判明され、ＡＣＴＩＴの手法を動画像からの特定対象の抽出にも拡張することが可能となった。

また、入力画像として、撮像装置により撮像された複数の風景画像のほかに、それらの画像から生成したオプティカルフロー画像を入力するように構成することで、動画像中で特異なフローを示す移動対象に対応する画像上の領域をより明確化した状態で処理プログラムに与えることができる。そのため、動画像中から抽出する特定対象が移動物体である場合に特に的確に精度良く特定対象を抽出する処理プログラムを形成することが可能となる。

図１８に、車両前方風景を撮像した未学習の動画像に本実施形態で学習した最適化された処理プログラムを適用した結果を示す。このように、本実施形態の画像処理装置によれば、処理プログラムの形成に用いられなかった未学習の動画像中からも移動物体を的確に抽出することが可能となる。

さらに、処理プログラム形成部において遺伝的プログラミングにより処理プログラムを自動形成させるように構成すれば、処理プログラムを容易に得ることができる。また、目標画像および重み画像を変更することにより、抽出すべき特定対象を容易に変更することができる。

すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築する必要がなく、目標画像と重み画像とを変更して処理プログラム形成部に入力し、オプティカルフロー画像を生成して入力するだけで、前述した遺伝的プログラミングを用いた方法をそのまま使って同じ手順で処理プログラムを構築することができる。そのため、処理プログラムを容易に得ることができると同時に非常に汎用性が高い画像処理装置となる。

また、処理プログラムの入力画像としてオプティカルフロー画像を入力するように構築することで、図１９に示すように、入力画像としてオプティカルフロー画像を用いない場合、すなわち入力画像ｔ、ｔ−１、…、ｔ−ｋのみを入力する場合と比較して、遺伝的プログラミングにおける処理プログラムの適応度がより迅速に向上するという副次的な効果があることが確認された。これも、前述したように動画像中で特異なフローを示す移動対象に対応する領域をより明確化したオプティカルフロー画像を処理プログラムに入力することで、処理プログラムが抽出領域を有する目標画像に近似した出力画像を形成し易くなるためと考えられる。

なお、例えば、図２０に示すように、本実施形態で得られた処理プログラムを複数組み合わせて大規模な処理プログラムとすることにより、本実施形態の効果をさらに効果的に発揮させることが可能となる。本実施形態では、実際には、同一の入力画像ｔ、ｔ−１、ｔ−２、オプティカルフロー画像、目標画像および重み画像から別個に３つの最適化された処理プログラムを形成し、それらの出力画像をそれぞれ入力画像ｔに重ね合わせて表示することで抽出の確度を高めるように構成されている。

また、本実施形態のように動画像中から対向車両を抽出する処理プログラムと、例えば先行車両を抽出する処理プログラムや歩行者を抽出する処理プログラム等の他の目的を処理するために形成された処理プログラムとを組み合わせることで、より広範な目的を達成できる大規模な処理プログラムを得ることができる。

さらに、例えば、図１１（Ａ）および図１１（Ｂ）に示したマスクフィルタと組み合わせて図２１に示すような大規模な処理プログラムを構成することもできる。このように構成すれば、出力画像の下半分および上半分に処理プログラム１および処理プログラム２による画像処理の結果を表示して１つの出力画像とすることが可能となる。

また、例えば、本実施形態の画像処理装置と距離測定装置とを組み合わせることにより、本実施形態の画像処理装置で対向車両を特定し、距離測定装置で自車両と対向車両との距離を測定することにより、異常接近の際に自動警報を発したり、走行制御によって衝突を回避したりすることが可能となる。また、距離測定装置についても車両前方全域の対象物との距離を測定する必要がなくなり負担が軽減される。

本実施形態の画像処理装置は、車両に搭載するだけでなく、例えば、人工知能型ロボットや監視装置等に搭載することも可能であり、例えば、ロボットが搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりするために用いることができる。また、監視装置が移動物体を発見して監視したり、警報を発したりするように構成することも可能となる。

［第２の実施の形態］
第２の実施形態では、処理プログラムに入力する入力画像ｔ、ｔ−１、…、ｔ−ｋとして、前記第１の実施形態で述べたように撮像装置２１で撮像した自車両の前方風景の撮像画像をそのままあるいは圧縮処理した画像を入力する代わりに、変換処理を行った後の画像を入力するように構成されている点で第１の実施形態と異なる。

そのため、本実施形態では、オプティカルフロー画像も変換処理後の入力画像ｔ、ｔ−１に基づいて生成され、処理プログラムに入力されるようになる。また、処理プログラム形成部５で遺伝的プログラミングの手法を用いて最適化された処理プログラムを形成する際に用いられる目標画像および重み画像も変換処理後の入力画像に対応した画像が用いられる。

なお、本実施形態では、変換処理後の入力画像を変換画像という。また、本実施形態に係る画像処理装置１や処理プログラム形成部５、木構造状の処理プログラムの構成は図１や図１２、図３に示した第１の実施形態における構成と同様であり、画像処理装置１における処理内容および処理プログラム形成部５における遺伝的プログラミングの処理内容も同様であるので説明を省略し、記号や符号についても第１の実施形態と同一のものを用いて説明する。

また、本実施形態においても、主にｋ＝２、Ｍ＝１の場合、すなわち、図６（Ａ）に示したように現在の時刻ｔの入力画像ｔとその直前の連続する２フレーム分の入力画像ｔ−１、ｔ−２とを変換画像ｔ、ｔ−１、ｔ−２として処理プログラムに入力する場合について述べる。

本実施形態では、画像処理装置１の画像処理部３は、撮像装置２１から送信されてきた入力画像ｔ、ｔ−１、ｔ−２を擬似的に上空から見た状態の画像にそれぞれ変換するよう、すなわち、視点位置を上方に設定するよう画像変換を行うよう構成されている。以下、変換の原理について説明する。

図２２は、撮像装置における画像の撮像原理について説明する図である。図２に示したような入力画像ｔは、図２２に示す撮像原理に基づいて撮像される。すなわち、撮像装置２１の焦点距離をｆ、撮像装置２１の取付高さをＨとし、水平な道路面上の点Ｒまでの距離をＤとする。また、入力画像ｔにおける消失点のｊ座標をＳ、入力画像ｔに撮像された前記点Ｒのｊ座標をＹとする。ｇは画素間の距離と実際の距離との換算比である。

このとき、下記（４）式が成り立つ。
Ｈ／Ｄ＝ｇ（Ｙ−Ｓ）／ｆ …（４）
また、（４）式を変形すると、
Ｄ＝Ｈｆ／ｇ（Ｙ−Ｓ） …（５）
が得られる。

つまり、入力画像ｔを変換の基礎画像として、入力画像ｔにおける点Ｒのｊ座標Ｙから前記（５）式に基づいてＤを求めることにより、実際の道路面上の点Ｒまでの距離Ｄを求めることができる。また、距離Ｄ方向、すなわち自車両から見た場合の前後方向の距離Ｄのみならず、自車両から見た場合の左右方向の距離（以下、距離ｄという。）についても同様に変換することができる。

そして、入力画像ｔにおける点Ｒを表す画素の階調値を、左上端を原点とし横軸を左右方向の距離ｄ、縦軸を前後方向の距離Ｄとした変換後のｄ−Ｄ平面上に表すことにより、擬似的に上空から見た状態に各画素に階調値を有する変換画像ｔを得ることができる。

なお、この場合の変換は、道路面が水平であり、かつ、入力画像ｔに映っている画像は実際には高さを有するものであるがすべて道路面上にあると仮定して行われる。このように変換にはかなり粗い仮定が含まれており、本発明ではその意味で「擬似的」という表現を用いている。

しかし、このような擬似的に上空から見た状態の変換画像を処理した結果を、前記（５）式の逆変換である
Ｙ＝Ｓ＋Ｈｆ／ｇＤ …（６）
の関係に従って変換し直すことで、図２に示した入力画像のように自車両の前方を撮像した状態に完全に復元することができる。

図２３は、図２の入力画像ｔを擬似的に上空から見た状態に変換されて形成された変換画像ｔを示す図である。図２と比較して分かるように、変換画像ｔは、道路を上空から見たような画像になる。しかし、前述したように高さのある物体も道路面上に張り付いているものとして変換するため、図２３右側の対向車両のトラックや同図左側の自転車や人物、家屋等が長く引き伸ばされたような画像になっている。なお、図２３の右下隅および左下隅の部分は入力画像ｔから変換されない部分である。

このような変換画像ｔと図示しない変換画像ｔ−１とから第１の実施形態と同様にしてオプティカルフロー画像を生成すると、オプティカルフロー画像は図２４に示すような画像になる。なお、図８におけるオプティカルフロー画像と同様に、図２４に示したオプティカルフロー画像においても白抜きで示された０でない階調値を有する画素ブロック部分は、実際にはオプティカルフローの大きさに対応する階調値で濃淡に色分けされている。

画像処理部３における処理プログラムの実行段階では、画像処理部３は、撮像装置２１から送信されてきた入力画像ｔを変換画像ｔに変換し、変換画像ｔとすでに変換されている変換画像ｔ−１とからオプティカルフロー画像を生成し、変換画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像を処理プログラムに入力する。

そして、処理プログラムからの出力画像に対して前記（５）式の逆変換、すなわち、前記（４）式を変形した
Ｙ＝Ｓ＋Ｈｆ／ｇＤ …（６）
により変換することで、図２に示した元の入力画像ｔに対応した出力画像を形成するようになっている。図２５は、このようにして得られた出力画像を示す図であり、図２６は、この出力画像と元の入力画像とを重ね合わせて表示したモニタ上の画像を示す図である。

また、処理プログラムの形成段階においては、図２３に示した変換画像ｔを基礎に図２７のような目標画像および図２８のような重み画像が作成され、処理プログラム形成部５に入力される。また同時に変換画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像が入力される。そして、第１の実施形態と同様に遺伝的プログラミングにより最適化された処理プログラムが形成される。

このようにして形成された最適化された処理プログラムによる処理の結果は図２５および図２６に示したとおりであり、車両前方風景を撮像した未学習の動画像に対して適用すると、図２９に示すような結果が得られる。また、処理プログラム形成部５での処理プログラムの進化過程における適応度の変化は図３０に示すような推移をたどる。

以上のように、本実施形態の画像処理装置１によれば、前記第１の実施形態と同様の効果を得ることができる。

また、図３０に示したように、本実施形態に係る画像処理装置１の処理プログラム形成部５における遺伝的プログラミングでは、処理プログラムの適応度が第１の実施形態の場合やオプティカルフロー画像を用いない場合と比較して非常に速やかに向上する。そのため、本実施形態や第１の実施形態のように、処理プログラム形成部５での遺伝的プログラミングを、終了世代数を指定して行う代わりに目標適応度を設定して行うように構成した場合には、より迅速に目標適応度に達するようになり、最適化された処理プログラムの形成をより短時間で行うことが可能となる。

さらに、第１の実施形態で形成された最適化された処理プログラムを未学習の動画像に適用して得られた図１８と、本実施形態の未学習の動画像への適用結果である図２９とを比較して分かるように、本実施形態で形成された最適化された処理プログラムでは、対向車両以外を抽出するいわゆる誤抽出が減り、良好な抽出結果が得られている。

これは、処理プログラムにおける対向車両の抽出において、擬似的に上空から見た状態に変換された変換画像ｔ、ｔ−１、ｔ−２および変換画像に基づくオプティカルフロー画像が用いられているため、オプティカルフロー画像におけるフローベクトルによる移動物体の動きの切り出しが非常に明確に行われているためであると考えられる。

すなわち、第１の実施形態のように前方の風景を撮像した入力画像ｔ、ｔ−１から生成されるオプティカルフロー画像と比較して、本実施形態のように擬似的に上空から見た状態の変換画像ｔ、ｔ−１から生成されるオプティカルフロー画像では、自車両の走行状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとを明確に区別でき、オプティカルフロー画像における移動物体の切り出しが明確に行われるようになる。そのため、本実施形態は、特に動画像中から移動物体を抽出するという課題に対して有効かつ精度良く抽出を行うことが可能となる。

そこで、本実施形態の変形例として、オプティカルフロー画像における移動物体と静止物体とのフローの差をより明確にするために、オプティカルフロー画像生成において形成される各画素ブロックについて算出されたフローベクトルＦ（図７参照）を、さらに撮像装置２１の移動平面、すなわち本実施形態では道路面に対するフローに換算してオプティカルフロー画像を生成することも可能である。

具体的に言えば、本実施形態では、入力画像を前述したように擬似的に上空から見た状態の変換画像に変換する。その際、変換画像から生成されたオプティカルフロー画像の各画素ブロックのフローベクトルＦには、撮像装置２１の移動状態、すなわち本実施形態では撮像装置２１が搭載された自車両の走行状態に基づく道路面に対するフローが加算されている。

例えば、自車両が前進している状態で前方風景が撮像されれば、オプティカルフロー画像にはほぼ一様な大きさの下向きのフローが加算された状態でフローベクトルＦが算出されている。また、例えば、自車両が左旋回している状態で撮像されれば、オプティカルフロー画像には右向きのフローが加算された状態でフローベクトルＦが算出されている。

従って、車速センサやヨーレートセンサ等で自車両の速度やヨーレートを測定して、その測定値に基づいて自車両の走行状態に基づくフローを算出し、図３１に示すように、すでに算出されたフローベクトルＦから自車両の走行状態に基づくフローを減じることでオプティカルフロー画像の各画素ブロックのフローベクトルＦを移動平面に対するフローベクトルＦｃに換算することができる。

このようにして各画素ブロックについてすでに算出されたフローベクトルＦをフローベクトルＦｃに換算することで、移動物体と静止物体とを明確に区別することが可能となり、修正したオプティカルフロー画像が移動物体を的確に認識可能な画像となる。そのため、このようなオプティカルフロー画像を用いることで、動画像中からの移動物体の抽出をより精度良く行うことが可能となる。

また、本実施形態のさらなる変形例として、本実施形態のように算出したフローベクトルＦあるいは換算したフローベクトルＦｃの大きさに対応する階調値で各画素ブロックを濃淡で色分けしてオプティカルフロー画像を生成する代わりに、算出したフローベクトルＦあるいは換算したフローベクトルＦｃの向きの情報に対応してオプティカルフロー画像を生成することも可能である。

例えば、変換画像ｔ、ｔ−１から算出されたフローベクトルＦまたは換算されたフローベクトルＦｃのｊ成分、すなわちオプティカルフロー画像における縦方向成分に着目し、ｊ成分が０以下である場合、すなわち自車両から遠ざかる向きである場合にはその画素ブロックの階調値を０とし、ｊ成分が正の値である場合、すなわち自車両に向かう向きである場合にはそのｊ成分に対応した階調値を画素ブロックに割り当てることにより、対向車両を抽出することに適したオプティカルフロー画像を得ることができる。

特に、前述した道路面に対するフローに換算したフローベクトルＦｃのｊ成分に着目すれば、より明確に対向車両を抽出できるようになる。

また、例えば、オプティカルフロー画像が、換算したフローベクトルＦｃのｊ成分が負の値である場合にのみ階調値を有するようにすれば、先行車両等の抽出に適したものとなる。また、フローベクトルＦ、Ｆｃのｉ成分、すなわちオプティカルフロー画像における横方向成分に着目してオプティカルフロー画像を生成すれば、道路を横断する歩行者等の抽出に適したオプティカルフロー画像を得ることが可能となる。

なお、これらの変形例を第１の実施形態に係る画像処理装置１に適用することも可能である。

画像処理装置の構成を示すブロック図である。撮像装置により撮像された入力画像を例示する図である。処理プログラムの構造を説明する図である。処理プログラムに用いられる１入力画像フィルタの例を示す一覧表である。処理プログラムに用いられる２入力画像フィルタの例を示す一覧表である。処理プログラムに入力される入力画像の選択方法を説明する図である。マッチング処理を説明する図である。オプティカルフロー画像を示す図である。処理プログラムによる出力画像を示す図である。入力画像と出力画像とを重ね合わせて表示した画像を示す図である。本実施形態で用いられるマスクフィルタの例を示す図である。本実施形態の処理プログラム形成部の構成を示すブロック図である。適応度評価手段で用いられる目標画像を説明する図である。適応度評価手段で用いられる重み画像を説明する図である。本実施形態で用いられる３つの学習セットを説明する図である。交叉手段における処理プログラムの交叉を説明する図である。遺伝的プログラミングにより形成された処理プログラムの一例を示す図である。未学習の動画像に処理プログラムを適用した結果を示す図である。処理プログラムの入力画像としてオプティカルフロー画像を用いる場合と用いない場合との世代数に対する適応度の変化の違いを示すグラフである。処理プログラムを組み合わせて形成される大規模な処理プログラムを説明する図である。マスクフィルタを用いて画像を分割して表示する大規模な処理プログラムを説明する図である。入力画像を擬似的に上空から見た状態の画像に変換する原理を説明する図である。図２の入力画像ｔから変換されて形成された変換画像ｔを示す図である。変換画像から生成されたオプティカルフロー画像を示す図である。第２の実施形態において出力された画像を逆変換して得られた出力画像を示す図である。出力画像と元の入力画像とを重ね合わせて表示した画像を示す図である。第２の実施形態で用いられる目標画像を説明する図である。第２の実施形態で用いられる重み画像を説明する図である。第２の実施形態で形成された処理プログラムを未学習の動画像に適用した結果を示す図である。処理プログラムの進化過程における適応度の推移を示すグラフである。自車両の走行状態に基づくフローによるフローベクトルの換算を説明する図である。従来のＡＣＴＩＴにおける処理プログラムの構造を説明した図である。

符号の説明

１画像処理装置
２１撮像装置
３画像処理部
５処理プログラム形成部

Claims

撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに従って、前記撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備えることを特徴とする画像処理装置。
前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数の画像、オプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより最適化された処理プログラムを出力するように構成されていることを特徴とする請求項１に記載の画像処理装置。
前記画像処理部は、前記撮像装置により撮像された前記複数の画像を擬似的に上空から見た状態の画像にそれぞれ変換するように構成されていることを特徴とする請求項１または請求項２に記載の画像処理装置。
前記画像処理部は、前記変換した複数の画像および前記変換した複数の画像に基づいて生成したオプティカルフロー画像を前記処理プログラムに入力するように構成されていることを特徴とする請求項３に記載の画像処理装置。
前記処理プログラム形成部は、前記変換された複数の画像、前記変換された複数の画像に基づいて生成されたオプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより学習を行い、最適化された処理プログラムを出力するように構成されていることを特徴とする請求項３または請求項４に記載の画像処理装置。
前記オプティカルフロー画像は、算出したフローの大きさの情報を階調値に表した画像であることを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
前記オプティカルフロー画像は、算出したフローの向きの情報を階調値に表した画像であることを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
前記オプティカルフロー画像における前記フローは、前記撮像装置の移動状態に基づいて換算された前記撮像装置の移動平面に対するフローであることを特徴とする請求項６または請求項７に記載の画像処理装置。
前記オプティカルフロー画像は、算出したフローの信頼性が低い画素部分の階調値が０とされていることを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理装置。
前記画像処理部は、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成されていることを特徴とする請求項１または請求項２に記載の画像処理装置。