JP3882005B2 - 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム - Google Patents

Description

本発明は、光源環境やカメラの撮像角度が変化する環境下において、予め撮像された画像を用いて、現在撮像された画像の予測背景画像を作成する技術、および、この予測背景画像を利用して、撮像画像から物体を検出する技術に関する。

パンチルト（ＰＴ）カメラ等を用いて物体検出を行う方法としては、撮像された複数枚の画角の異なる画像から１枚の大きなパノラマ画像を合成し、合成されたパノラマ画像を予測背景画像として用いて背景差分等の画像処理を行う方法が有効である。

このような予測背景画像に関する従来技術として、例えば特許文献１では、カメラの位置、姿勢、および入力画像対から画像解析によって動きベクトルを求め、その動きベクトルに基づいてカメラパラメータを算出し、算出したカメラパラメータに従って画像を貼り合せてパノラマ画像合成を行う方法が開示されている。この方法により、各画像間での正確な位置合わせを行うことができ、位置歪の少ない予測背景画像を合成することができるので、この予測背景画像を用いることで物体検出を行うことが可能となる。
特開２００２―１５０２６４号公報

しかしながら、上述の従来技術では、予測背景画像合成に用いる画像を撮像している間に光源の位置、方向、強さ、個数などの光源環境に変化が生じた場合、生成される予測背景画像は、部分ごとに光源環境が異なる、すなわち光源環境が同一でない予測背景画像になるという問題がある。さらに、このような光源環境が同一でない予測背景画像を背景として用いて背景差分を行った場合、物体検出を行いたい画像（以下、検出対象画像）の背景領域と、検出対象画像に対する背景画像の背景領域の輝度値が異なるため、検出すべき物体以外の領域があやまって物体として検出されてしまい、検出精度は大きく低下するという別の問題がある。また、予測背景画像を合成した後に光源環境に変化が生じた場合も、検出対象画像と予測背景画像とで光源環境が大きく異なるので、背景差分による物体検出の精度は大きく低下するという別の問題がある。

このような光源環境の変化に起因する問題は、例えば屋外での物体検出を行う場合には特に顕著となり、実際のシステムとして適用するためには、これらの問題を解消する必要がある。

前記の問題に鑑み、本発明は、例えば光源環境に変化が生じた場合においても物体検出を可能にすべく、撮像された対象画像に対して光源環境が同一の予測背景画像を、生成可能にすることを目的とする。

前記の課題を解決するために、本発明は、画像生成方法として、いわゆる小領域パノラマ画像群を生成し、撮像された対象画像に対して、生成した小領域パノラマ画像群を用いて、対象画像と光源環境が同一の予測背景画像を生成するものである。ここで、「小領域パノラマ画像群」とは、共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において、各画像が互いに独立性を有するもののことをいう。

本発明によると、生成された小領域パノラマ画像群では、各部分重複領域において、各画像が互いに独立性を有している。このため、小領域パノラマ画像群の撮像範囲内を撮した対象画像に関しては、この対象画像に属する部分重複領域毎に線形化処理を行うことによって、光源環境が同一の予測背景画像を生成することができる。すなわち、任意の光源環境下において、撮像された対象画像に対して光源環境が同一の予測背景画像を、生成することができる。したがって、任意の光源環境において撮影した画像から、物体検出を精度良く行うことができる。

また、本発明は、物体検出方法として、前記本発明に係る画像生成方法によって、検出対象画像に対する予測背景画像を生成し、検出対象画像と予測背景画像とを対比し、検出対象画像に撮された物体を検出するものである。

本発明によると、予め生成された小領域パノラマ画像群を用いて、現在任意の光源環境下で撮像された画像に対して、光源環境が同一の予測背景画像を生成することができる。また、任意撮像方向で撮像された画像に対して、光源環境が同一の予測背景画像を生成することができる。また、任意の光源環境において撮影した画像から、予測背景画像を利用して、物体検出を精度良く行うことができる。

本発明の第１態様では、画像生成方法として、共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を生成する第１のステップと、前記撮像範囲の少なくとも一部を撮像した対象画像に対して、前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像と光源環境が同一の予測背景画像を生成する第２のステップとを備えたものを提供する。

本発明の第２態様では、前記第１のステップは、複数枚の原画像から重複領域を有するＮ枚の画像を選択するステップと、選択した前記Ｎ枚の画像について、前記重複領域における独立性を判定するステップと、独立性があると判定したときは、前記Ｎ枚の画像の前記重複領域における部分を、前記小領域パノラマ画像群の部分重複領域における画像として記憶するステップと、独立性がないと判定したときは、重複領域を有するＮ枚の画像の再選択を行うステップとを備えている第１態様の画像生成方法を提供する。

本発明の第３態様では、前記第２のステップは、前記対象画像が複数の部分重複領域に跨るとき、前記対象画像に含まれる部分重複領域毎に、前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像に対する線形係数を算出するステップと、算出した線形係数と前記小領域パノラマ画像群とを用いて、予測背景画像を生成するステップとを備えている第１態様の画像生成方法を提供する。

本発明の第４態様では、物体検出方法として、第１態様の画像生成方法によって、前記対象画像としての検出対象画像に対する前記予測背景画像を生成するステップと、前記検出対象画像と前記予測背景画像とを対比し、前記検出対象画像に撮された物体を検出するステップとを備えたものを提供する。

本発明の第５態様では、物体検出装置として、撮像画像記憶部に記憶された複数の画像を用いて、共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を生成する小領域パノラマ画像群生成部と、前記撮像範囲の少なくとも一部を撮像した検出対象画像に対して、前記検出対象画像および前記小領域パノラマ画像群を用いて、前記検出対象画像と光源環境が同一の予測背景画像を生成し、前記検出対象画像と前記予測背景画像とを対比し、前記検出対象画像に撮された物体を検出する物体検出部とを備えたものを提供する。

本発明の第６態様では、コンピュータに画像生成を実行させるためのプログラムとして、共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を生成する第１のステップと、前記撮像範囲の少なくとも一部を撮像した対象画像に対して、前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像と光源環境が同一の予測背景画像を生成する第２のステップとをコンピュータに実行させるものを提供する。

以下、本発明の実施の形態について、図面を参照しつつ、説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像生成方法を用いた物体検出装置の構成図である。図１において、１０１は画像を撮像する撮像部、１０２は撮像部１０１によって撮像された画像に対して補正を行う撮像画像補正部、１０３は撮像画像補正部１０２を用いて補正した画像を記憶する撮像画像記憶部、１０４は撮像画像記憶部１０３に記憶された画像から、小領域パノラマ画像群を生成する小領域パノラマ画像群生成部、１０５は小領域パノラマ画像群生成部１０４によって生成された小領域パノラマ画像群を記憶する小領域パノラマ画像群記憶部、１０６は撮像部１０１によって撮像され、撮像画像補正部１０２によって補正された対象画像としての検出対象画像と、小領域パノラマ画像群記憶部１０５に記憶された小領域パノラマ画像群とを用いて、物体検出を行う物体検出部、１０７は物体検出部１０６によって検出された物体領域を表示する検出物体表示部である。

図１の物体検出装置は、撮像方向の異なる複数枚の画像から小領域パノラマ画像群を生成し、生成した小領域パノラマ画像群を用いて、物体検出を行う。図１の物体検出装置の動作は、時間的には、次の３つに大別できる。
○ 撮像を行い、撮像画像を補正、記憶する。
○ 記憶された撮像画像を用いて、小領域パノラマ画像群を生成、記憶する。
○ 記憶された小領域パノラマ画像群と、小領域パノラマ画像群が記憶された後に撮像された検出対象画像とを用いて、予測背景画像を合成し、物体検出を行う。

以下、これらの動作を、順に説明する。

なお、ここで述べる物体検出とは、小領域パノラマ画像群に保持された独立性のある少なくとも３枚の画像領域の集合を用いて、その後撮像された検出対象画像に対する予測背景画像を作成し、この予測背景画像と検出対象画像とを対比することによって、検出対象画像の中から背景以外に映り込むものを検出することを示す。

また、説明の簡単のため、環境条件として、光源は平行光源であり、物体の表面は完全拡散反射面であるものと仮定する。

＜撮像画像の補正、記憶＞
撮像部１０１は撮像方向の異なる静止画または動画の撮像を行う。具体的には例えば、パンチルト（ＰＴ）動作可能なビデオカメラやデジタルスチルカメラ、または、ＰＴ動作可能な雲台に固定されたビデオカメラやデジタルスチルカメラによって、撮影が実行される。ここでは、ＰＴ動作可能なビデオカメラを用いるものとする。

また撮像部１０１は撮像した画像とともに、カメラの位置・姿勢情報を撮像画像補正部１０２に送る。カメラの位置・姿勢情報とは、図２に示す（Ｘｗ，Ｙｗ，Ｚｗ，θ，φ）の５つのパラメータをいう。Ｘｗ，Ｙｗ，Ｚｗは世界座標系におけるカメラの位置座標（点ｏ）を示し、θ，φはそれぞれカメラ座標系におけるＹ軸、Ｘ軸の正方向に対して左回りに回転させる角度（パン角，チルト角）を示す。カメラの位置・姿勢の検出は、例えばＧＰＳ等の位置検出装置、ジャイロスコープ等の姿勢検出装置を用いればよい。また、予め計画された撮影プランからカメラの位置・姿勢を算出してもよい。予め計画された撮影プランとは例えば、カメラを始点（Ｘ０，Ｙ０，Ｚ０，θ０，φ０）からφの正方向に角速度０．１π[ｒａｄ／ｓｅｃ]の等速運動に従って動かす、等といったものである。

撮像画像補正部１０２は撮像部１０１によって撮像された画像に対し、幾何学的補正、光学的補正、および撮像画像座標系からパノラマ投影面座標系への座標変換を行う。撮像画像の幾何学的補正としては、レンズ歪の補正を行う。例えば、「コンピュータビジョン技術評論と将来展望，ｐｐ．４２−４４，新技術コミュニケーション，１９９８」に示されたWengらによるレンズ歪補正方法を用いればよい。また、撮像画像の光学的補正としては、周辺減光の補正を行う。例えば「平成１２年度ナチュラルビジョンの研究開発プロジェクト（次世代映像表示・伝送システム）研究開発報告書，ｐｐ．５１−５３，通信・放送機構，２００１」に示された、輝度の時間変動の無い１つの点光源を被写体とし、その点光源が所望の位置に来るようにカメラの首を振り、観測された各位置での輝度値の逆数を用いて周辺減光の補正係数を算出する方法を、用いればよい。

また、パノラマ投影面座標系への座標変換方法としては、例えば図３に示すとおりである。撮像画像座標系（ｉ，ｊ）から円筒座標系に投影を行ったパノラマ投影面座標系（ｕ，ｖ）への変換を行う関数をｆとすると、ｆは撮像部１０１から送られたカメラの位置・姿勢情報を用いて次式によって表される。
（ｕ，ｖ）＝ｆ（ｉ，ｊ，Ｘｗ，Ｙｗ，Ｚｗ，θ，φ） （式１）
また、撮像画像座標系（ｉ，ｊ）からパノラマ投影面座標系（ｕ，ｖ）への変換は、円筒座標系を用いる代わりに、球面座標系を用いた投影を行ってもよい。また、パン・チルト角が小さい場合は平面座標系を用いた投影を行ってもよい。

なお、上述の撮像画像補正部１０２で用いる各補正パラメータは、本装置で物体検出を行う以前に予め求めておく。

撮像画像記憶部１０３は撮像画像補正部１０２によって補正を行った画像とカメラの位置・姿勢情報とを、記憶媒体に記憶する。記憶媒体とは、例えばメモリやハードディスク、フィルム等によって実現される。

＜小領域パノラマ画像群生成＞
小領域パノラマ画像群生成合成部１０４は事前に撮像画像記憶部１０３に記憶された複数枚の画像から、小領域パノラマ画像群を生成する。この小領域パノラマ画像群は、後の処理において、検出対象画像に対する予測背景画像を生成するための画像群である。

ここで、小領域パノラマ画像群とは、「所望の撮影範囲における、互いに独立性のあるＮ（Ｎは３以上の整数）枚の画像の重複領域の集合」と定義する。言い換えると、小領域パノラマ画像群は、共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有している。なお、独立性を有する、とは、当該部分重複領域において、
○ 各画像において、Ｎ個以上の異なる法線方向を持つ画素が存在する。
○ 各画像の光源環境が異なる。
という条件を満たす場合、と定義する。

図４および図５を用いて、小領域パノラマ画像群の具体例を説明する。

図４は上述の部分重複領域を示す模式図である。３枚の画像Ｉ₁，Ｉ₂，Ｉ₃は、独立性を有しており（光源方向が異なり、法線方向が異なる画素が３個以上存在する）、領域１１（部分重複領域）において重複している。

図５は小領域パノラマ画像群の一例を示す図である。図５では、小領域パノラマ画像群の画像枚数Ｎは３としている。３枚で構成される画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pは、背景として床、テーブル２１、冷蔵庫２２およびゴミ箱２３を含む共通の撮像範囲を撮影しており、かつ、共通の部分重複領域Ａ（左上），Ｂ（右上），Ｃ（左下），Ｄ（右下）からなる。そして、各部分重複領域Ａ〜Ｄにおいて、画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pは独立性を有している。すなわち、独立性を有する各部分重複領域Ａ，Ｂ，Ｃ，Ｄの画像の集合が、所望の撮像範囲を撮す画像群Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pとなっている。したがって、画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pは上述した小領域パノラマ画像群の定義を満たしている。なお、小領域パノラマ画像群に属する各画像のことを、小領域パノラマ画像ということにする。

以下、小領域パノラマ画像群生成部１０４の処理の流れを図６のフローチャートを用いて説明する。

まず、ステップＳ１１において、撮像画像記憶部１０３に記憶された画像の中から任意の１枚の画像を選択する。

次に、ステップＳ１２において、ステップＳ１１で選択した画像の領域から、図４に示すように、この選択した画像を含むＮ枚の画像が重複する領域を、部分重複領域として選択する。ここでは説明の便宜上、重複画像の枚数Ｎは３としている。なお、重複画像の枚数Ｎの決め方に関しては、後述する。各画像の重複領域の検出は、例えば、パノラマ投影面座標系（ｕ，ｖ）における各画像の座標値を用いて行えばよい。

次に、ステップＳ１３において、ステップＳ１２で選択した部分重複領域において、重複している３枚の画像における独立性の判定を行う。そして、独立性があると判定したときは（Ｓ１３でＹｅｓ）、ステップＳ１５にすすみ、この部分重複領域を記憶する。

図７はステップＳ１５の処理を概念的に示す図である。図７では、破線で示された所望の撮像範囲５０の中で、撮像画像Ｉ₁ ，Ｉ₂ ，Ｉ₃ が部分重複領域５１において重複している。この部分重複領域５１における各撮像画像Ｉ₁ ，Ｉ₂ ，Ｉ₃ が、それぞれ小領域パノラマ画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pの一部として記憶される。すなわち、撮像画像Ｉ₁の部分重複領域５２は小領域パノラマ画像Ｉ₁ ^Pに記憶され、同様に、撮像画像Ｉ₂の部分重複領域５３は小領域パノラマ画像Ｉ₂ ^Pに、撮像画像Ｉ₃の部分重複領域５４は小領域パノラマ画像Ｉ₃ ^Pに記憶される。

一方、独立性がないと判定したときは（Ｓ１３でＮｏ）、ステップＳ１４にすすみ、ステップＳ１１で選択した画像について、ステップＳ１２で選択した画像組とは異なる画像組による部分重複領域の選択を行う。そしてステップＳ１３において、再度、独立性の判定を行う。

図８はステップＳ１４の処理を概念的に示す図である。図８に示すように、ステップＳ１１において画像Ｉ₁ が選択され、ステップＳ１２において画像Ｉ₂，Ｉ₃ との部分重複領域６１が選択されたとする。このとき、ステップＳ１３において、部分重複領域６１における画像組Ｉ₁，Ｉ₂，Ｉ₃ は独立性を有しないと判定したときは、画像Ｉ₁に対して、異なる画像組Ｉ₁，Ｉ₄，Ｉ₅で構成された部分重複領域６２の選択を行う。

（独立性の判定方法）
ステップＳ１３における独立性の判定は、例えば、選択された部分重複領域と重複する領域を持つ画像（以下、独立性判定画像という）を１枚選択し、この独立性判定画像に対する線形係数を求めることによって、行うことができる。以下、この方法について詳しく説明する。

図９は部分重複領域と独立性判定画像との関係を示す模式図である。図９では、図４に示した部分重複領域１１を持つ画像群Ｉ₁，Ｉ₂，Ｉ₃に対して、部分重複領域１１と重複する領域３１（以下、線形係数算出領域という）を持つ独立性判定画像Ｉ₄が選択された例を示している。すなわち、これら４枚の画像Ｉ₁ ，Ｉ₂ ，Ｉ₃ ，Ｉ₄ は、線形係数算出領域３１において重複している。なお、線形係数算出領域は、少なくとも３画素が含まれていればよい。

線形係数の算出は、線形係数算出領域における各画像の画素値を用いて、Shashuaの方法（「Shashua A., “Geometry and Photometry in 3D Visual Recognition”, P.D. thesis, Dept. Brain and Cognitive Science, MIT, 1992」）に基づいて行う。

ここで、Shashuaの方法による線形係数の算出について、詳しく説明する。Shashuaは、平行光源と被写体表面が全て完全拡散反射面であることを仮定することによって、光源方向の異なる３枚の画像の線形結合により任意の光源方向の画像を表現できることを示している。すなわち、光源方向が異なる３枚の画像をベクトル表現したものをＩ₁ ，Ｉ₂ ，Ｉ₃ とすると、任意の光源方向の画像Ｉ₄ は、次式のように線形結合によって表現できる。
Ｉ₄ ＝ｃ₄ ¹Ｉ₁ ＋ｃ₄ ²Ｉ₂ ＋ｃ₄ ³Ｉ₃ （式２）
ここで、ｃ₄＝［ｃ₄ ¹ ｃ₄ ² ｃ₄ ³］^T を画像Ｉ₄に対する線形係数として算出する。

具体的には図１０に示すように、４枚の画像Ｉ₁ ，Ｉ₂ ，Ｉ₃ ，Ｉ₄ に対して、３点の画素座標Ｐ₁（ｘ₁，ｙ₁），Ｐ₂（ｘ₂，ｙ₂），Ｐ₃（ｘ₃，ｙ₃）の選択を行い、選択された３点Ｐ₁，Ｐ₂，Ｐ₃の各座標における画素値ｉを利用し、次の式を用いて線形化係数の算出を行う。
ここで、ｉ_k(x,y)は入力画像Ｉ_kにおける画素座標（ｘ，ｙ）の画素値を表している。

この（数１）により、線形係数ｃ₄＝［ｃ₄ ¹ ｃ₄ ² ｃ₄ ³］^T の算出を行うことができる。これにより、任意の光源方向の画像Ｉ₄ をＩ₁ ，Ｉ₂ ，Ｉ₃ ，ｃ₄ ＝［ｃ₄ ¹ ｃ₄ ² ｃ₄ ³］^T を用いて表現することができる。また、Ｄ^-1が算出できない場合は、３点Ｐ₁（ｘ₁，ｙ₁），Ｐ₂（ｘ₂，ｙ₂），Ｐ₃（ｘ₃，ｙ₃）の再選択を行う。３点Ｐ₁，Ｐ₂，Ｐ₃の選択方法および線形係数の導出の詳細については、例えば「光学現象の分類基準を利用した画像の線形化」（画像の認識・理解シンポジウム(MIRU2002)論文集，vol.2， pp．167−176, 2002）に記載されている。

以上説明したShashuaの方法を用い、選択された各画像の部分重複領域について、（数１）の計算を行い、線形係数を求める。このとき、ステップＳ１２で選択した３枚の画像をＩ₁，Ｉ₂，Ｉ₃とし、ステップＳ１３で新たに選択した独立性判定画像をＩ₄として、線形係数ｃ₄＝［ｃ₄ ¹ ｃ₄ ² ｃ₄ ³］^T の算出を行う。

次に線形係数ｃ₄の算出に用いた３点Ｐ₁（ｘ₁，ｙ₁），Ｐ₂（ｘ₂，ｙ₂），Ｐ₃（ｘ₃，ｙ₃）の画素値を用いて行列Ｄの条件数を求め、この条件数が所定の閾値よりも小さいときは、選択した部分重複領域における３枚の画像は独立性を有していると判定し、一方、所定の閾値よりも大きいときは、選択した部分重複領域における３枚の画像は独立性がないと判定すればよい。

ここで、独立性が低いと判定される原因は、
○ いずれかの画像において、選択した３画素のうち２個以上の法線方向が同じ
○ 少なくとも２枚以上の画像について、光源環境が等しい
の何れかである。このため、独立性が低い画像群を用いて、検出対象画像に対する予測背景画像を生成した場合、輝度の誤差が大きくなる。ここでの輝度の誤差とは、検出対象画像と同一の光源環境で撮影された理想的な背景画像と、生成成された予測背景画像との輝度の誤差のことを指す。

逆に、独立性があると判定された場合は、選択された部分重複領域の各画像は、各々光源方向が異なっており、かつ、被写体表面の法線方向の異なる画素が３画素以上存在する、という条件を満たすことになる。このような独立性の高い画像群を用いて、検出対象画像に対する予測背景画像を生成した場合、輝度の誤差を小さく抑えることが可能となる。

また、ここで説明したように、光源が平行光源であり、物体表面が完全拡散反射面であると仮定したとき、任意光源方向の画像は４枚の画像を用いて合成することができる。このため、本実施形態では、部分重複領域を持つ画像群の枚数Ｎは３に設定すればよいことになる。

また、拡散反射画素とは、（式２）の振る舞いをする画素のことを示す。

なお、ここでは、ステップＳ１３において、選択された部分重複領域と重複する領域を持つ独立性判定画像を用いて線形係数の算出を行い、（数１）におけるＤ^-1の有無とＤの条件数を基にして、独立性の判定を行う例について説明した。ところが、同様の基準を用いた処理であれば、他の手法を用いてもかまわない。

例えば、新たに独立性判定画像を用いることなく、選択された部分重複領域の画像群について任意の３点Ｐ₁（ｘ₁，ｙ₁），Ｐ₂（ｘ₂，ｙ₂），Ｐ₃（ｘ₃，ｙ₃）の選択を行い、この３点Ｐ₁、Ｐ₂、Ｐ₃を用いて、Ｄ^-1、Ｄの条件数の算出を行い、独立性判定を行う。このとき、独立性がないと判定したときは、３点Ｐ₁，Ｐ₂，Ｐ₃の再選択を行い、再度、Ｄ^-1、Ｄの条件数を用いて独立性判定を行う。３点Ｐ₁，Ｐ₂，Ｐ₃の選択を所定回数繰り返しても独立性の基準が満たされない場合は、独立性がないと判定して、ステップＳ１４において部分重複領域の再選択を行えばよい。これにより、新たに独立性判定画像を選択しなくても、独立性の判定を行うことができる。

このようにステップＳ１１〜Ｓ１５によって、独立性のある部分重複領域の選択が可能となる。

次にステップＳ１６において、これまでに記憶された部分重複領域が、所望の撮像範囲の全領域において存在するか否かを判定する。全領域にはまだ存在していないと判定したときは（Ｓ１６でＮｏ）、部分重複領域が存在しない領域において、任意の画像を選択し（ステップＳ１７）、ステップＳ１２に戻り、上述したような処理を繰り返す。ステップＳ１６における具体的な判定方法としては、例えば、拡張された画像の画素数が所望の撮像範囲の全領域分の画素数となったとき、独立性のある部分重複領域の集合が全領域に存在すると判定するようにすればよい。

図１１はステップＳ１７の処理を概念的に示す図である。図１１では、破線で示された所望の撮像範囲７０において、ハッチが付された領域７１にはすでに部分重複領域が存在しているものとする。このとき、ステップＳ１６において、部分重複領域が撮像範囲７０の全領域には存在していないと判定されるので、ステップＳ１７において、例えば、ハッチが付されていない領域７２において、再度、任意の画像７３の選択を行う。

一方、部分重複領域が全領域に存在していると判定したときは（Ｓ１６でＹｅｓ）、小領域パノラマ画像群が生成されたことになるので、これを、小領域パノラマ画像群記憶部１０５に記憶する（ステップＳ１８）。記憶媒体としては、撮像画像記憶部１０３と同様に、例えばメモリやハードディスク、フィルム等を用いればよい。

このように、図６のステップＳ１１〜Ｓ１８の処理を実行することによって、共通の撮像範囲を持つＮ枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する、小領域パノラマ画像群が、小領域パノラマ画像群記憶部１０５に生成される。

＜小領域パノラマ画像群を用いた物体検出＞
物体検出部１０６は、撮像画像補正部１０２から受けた検出対象画像について、小領域パノラマ画像群記憶部１０５に記憶されている小領域パノラマ画像群を用いて、物体検出を行う。ここでの物体検出は、例えば、背景差分を用いればよい。

本実施形態における背景差分を用いた物体検出の例について、図５および図１２〜図１４を用いて説明する。

いま、図１２に示すように、ＰＴカメラ４１によって、画像Ｉ_n（検出対象画像）が撮像されたとする。画像Ｉ_nでは、テーブル２１の上に空き缶４２が乗っている。また、この撮像領域における小領域パノラマ画像は、図５に示す画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pとする。図５では、画像Ｉ_n に対応する領域を破線で示している。画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pは、検出対象画像を撮像する前に小領域パノラマ画像群記憶部１０５にすでに記憶されている。

ここで、図１３に示すように、小領域パノラマ画像群Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^P から、画像Ｉ_nの画像領域に対応する画像を各部分重複領域ごと（領域Ｂ〜Ｄ）に切り出す。例えば、領域Ｂでは、画像Ｉ₁ ^P＿Ｂ，Ｉ₂ ^P＿Ｂ，Ｉ₃ ^P＿Ｂが切り出される。また、画像Ｉ_n から画像Ｉ₄＿Ｂが切り出される。領域Ｃおよび領域Ｄについても同様に、画像Ｉ₁ ^P＿Ｃ，Ｉ₂ ^P＿Ｃ，Ｉ₃ ^P＿Ｃ，Ｉ₄＿Ｃ、および、画像Ｉ₁ ^P＿Ｄ，Ｉ₂ ^P＿Ｄ，Ｉ₃ ^P＿Ｄ，Ｉ₄＿Ｄが、それぞれ切り出される。

これらの画像を用いて、（数１）に従って、各部分重複領域Ｂ，Ｃ，Ｄにおける線形係数ｃ_B ，ｃ_C ，ｃ_D を算出する。例えば、画像Ｉ₄＿Ｂに対する線形係数ｃ_B ＝［ｃ_B ¹ ｃ_B ² ｃ_B ³］^Tを、画像Ｉ₁ ^P＿Ｂ，Ｉ₂ ^P＿Ｂ，Ｉ₃ ^P＿Ｂを用いて算出する。なお、画像Ｉ_n には、背景以外の物体（図１２の例では空き缶４２）が存在しているため、（数１）を用いて線形係数を算出する際に、３点Ｐ₁，Ｐ₂，Ｐ₃として背景以外の点が選択されてしまう（例えば、空き缶４２が映った領域に点Ｐ₁，Ｐ₂，Ｐ₃が選択される）場合があり得る。この場合には、線形係数の算出が正しく行えない。ただし、例えばＲＡＮＳＡＣ（「MA.Fischlerand, R.C.Bolles,“Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography”，Commun，Assoc，Comp，Mach,24，pp.381-395,1981」参照）を用いることによって、３点Ｐ₁、Ｐ₂、Ｐ₃を４枚の画像全ての背景成分上で選択することができ、背景以外のものの影響を受けることなく、線形係数を算出することが可能となる（詳細は、「光学現象の分類基準を利用した画像の線形化」画像の認識・理解シンポジウム(MIRU2002)論文集，vol.2， pp．167−176, 2002を参照）。

このように算出された線形係数ｃ_B ，ｃ_C ，ｃ_D 、および画像Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^Pの画素値を（式２）に代入することによって、各部分重複領域Ｂ，Ｃ，Ｄにおける予測背景画像を生成し、これらを張り合わせる。これにより、現在の照明条件下において撮像された検出対象画像Ｉ_n に対する予測背景画像Ｉ_n ^Eを生成することができる。

そして、図１４に示すように、この予測背景画像Ｉ_n ^Eと元の検出対象画像Ｉ_nとを対比し、例えば、画素値の差分が所定の閾値よりも大きい領域を、物体領域として検出する。

検出物体表示部１０７は、物体検出部１０６によって検出された物体の領域を、例えばモニタなどの表示装置に表示する。

以上のように本実施形態によると、検出対象画像の撮影範囲を含む領域で重複領域を共通に持ち、且つ、互いに独立性のあるＮ（Ｎは３以上の整数）枚の画像で構成された小領域パノラマ画像群に対して、線形化を利用することによって、光源環境が同一の予測背景画像を、生成することができる。この予測背景画像を利用することによって、任意の光源環境において撮影した画像から、物体検出を行うことができる。

さらに、任意撮像方向で撮像された撮像方向が異なる画像を用いた場合であっても、所望の撮像範囲において互いに独立性のあるＮ（Ｎは３以上の整数）枚の画像で構成された小領域パノラマ画像群を生成することで、対象画像全体の予測背景画像が生成できる。

なお、本実施形態では、（数１）を用いて線形係数の算出を行うものとしたが、（数１）は、選択した３点Ｐ₁，Ｐ₂，Ｐ₃の画素が全て拡散反射画素であることを仮定した式である。実環境においては、鏡面反射等の拡散反射以外の成分が画像に含まれるので、（数１）が必ずしも成り立たない可能性がある。ただし、尺長らの方法（詳細は「光学現象の分類基準を利用した画像の線形化」，画像の認識・理解シンポジウム(MIRU2002)論文集，vol.2， pp．167−176, 2002を参照）を用いることによって、これら拡散反射画素以外の画素値の影響を受けずに、３点Ｐ₁、Ｐ₂、Ｐ₃の画素が全て拡散反射画素となるような選択を行うことが可能になる。

また本実施形態では、光源を平行光源と仮定したため、物体検出の際に３枚の画像を基底として用いることによって、正しい線形係数を算出することができた。ところが、実環境下の光源には相互反射等の環境光が含まれるため、３枚の画像を基底として用いて線形係数の算出を行った場合、実際の画像に対して誤差が大きい線形化画像しか得られない可能性がある。ただし、このような環境光が含まれる光源条件下であっても、より多くの画像を用いることによって、線形係数の算出を精度良く行うことができ、本実施形態と同様に、画像の線形化を用いた画像拡張や物体検出を行うことが可能となる。例えば、環境光が含まれる場合であっても、４〜９枚の画像を用いて誤差の少ない線形化画像を作成できることが、すでに示されている（「双方向反射分布関数の周波数特性に基づく反射成分の分離」，情報処理学会研究報告, CVIM 2002-134-1, pp.1-8,2002）。

また、本実施形態では、図１の物体検出装置の動作を、
○ 撮像を行い、撮像画像を補正、記憶する。
○ 記憶された撮像画像を用いて、小領域パノラマ画像群を生成、記憶する。
○ 記憶された小領域パノラマ画像群と、小領域パノラマ画像群が記憶された後に撮像された検出対象画像を用いて、予測背景画像を合成し、物体検出を行う。
という順に説明したが、
○ 撮像を行い、撮像画像を補正、記憶する。
○ 検出対象画像に対して、検出対象画像の撮像領域に対する小領域パノラマ画像群を逐次生成する。
○ 生成された小領域パノラマ画像群と、検出対象画像とを用いて予測背景画像を合成し、物体検出を行う
という順に、処理を行ってもよい。この場合、あらかじめ所望の撮像範囲全体に小領域パノラマ画像群を生成しなくても、検出対象画像の撮像範囲についてのみ小領域パノラマ画像群を生成して、予測背景画像を生成し、物体検出を行うことが可能となる。

なお、本実施形態で説明したような、小領域パノラマ画像群を用いて生成した予測背景画像は、物体検出以外の用途にも利用することができる。例えば、対象画像に対して予測された背景画像は、全て拡散反射領域となるため、鏡面反射領域が除去された画像となる。よって、人にとって見やすい背景画像を生成することができる。

また、同じく予測された背景画像は全て拡散反射領域となるため、cast shadowが除去された画像となる。ここで、cast shadowとは、物体が光線を遮ることによって別の物体の面に生じる影のことを示す。よって、本来は影によって見えない領域が見える背景画像を生成することができる。

なお、本発明に係る画像生成方法および物体検出方法は、例えば、コンピュータ読み取り可能な記録媒体に記録されたプログラムをコンピュータに実行させることによって、実現することができる。

図１５は本実施形態に係る画像生成方法および物体検出方法を示すフローチャートである。図１５に示すように、ステップＳ１において、小領域パノラマ画像群を生成し、ステップＳ２において、対象画像に対して、ステップＳ１で生成した小領域パノラマ画像群を用いて、予測背景画像を生成する。ステップＳ３において、対象画像とステップＳ２で生成した予測背景画像とを対比し、対象画像に撮された物体を検出する。ステップＳ１，Ｓ２が画像生成方法に対応し、ステップＳ１〜Ｓ３が物体検出方法に対応している。

本発明では、任意の光源環境において撮影した画像について、光源環境が同一の予測背景画像を生成することができるので、例えば、屋外等の光環境が頻繁に変化するような場所の、監視システムにおける侵入者検出等に有用である。

本発明の第１の実施形態に係る画像生成方法を用いた物体検出装置の構成図である。 カメラの位置・姿勢を定義する座標系を示す図である。 パノラマ投影面座標系への座標変換方法を示す図である。 部分重複領域の例を示す模式図である。 小領域パノラマ画像群の一例を示す図である。 小領域パノラマ画像群を生成する処理を示すフローチャートである。 部分重複領域を記憶する処理を示す概念図である。 部分重複領域の再選択を行う処理を示す概念図である。 部分重複領域と独立判定画像との関係を示す模式図である。 線形化係数の算出方法を説明するための図である。 部分重複領域が存在しない領域において、画像の再選択を行う処理を示す概念図である。 検出対象画像の撮像の様子を示す図である。 予測背景画像を生成する方法を示す図である。 予測背景画像を用いた物体検出を行う方法を示す図である。 本発明の一実施形態に係る画像生成方法および物体検出方法を示すフローチャートである。

符号の説明

１１，５１ 部分重複領域
Ｉ₁ ^P，Ｉ₂ ^P，Ｉ₃ ^P 小領域パノラマ画像
Ｉ_n 検出対象画像
Ｉ_n ^E 予測背景画像
１０１ 撮像部
１０２ 撮像画像補正部
１０３ 撮像画像記憶部
１０４ 小領域パノラマ画像群合成部
１０５ 小領域パノラマ画像群記憶部
１０６ 物体検出部
１０７ 検出物体表示部

Claims (6)

1. 共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を、生成する第１のステップと、
   前記撮像範囲の少なくとも一部を撮像した対象画像に対して、前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像と光源環境が同一の予測背景画像を生成する第２のステップとを備えた
   ことを特徴とする画像生成方法。
2. 請求項１において、
   前記第１のステップは、
   複数枚の原画像から、重複領域を有するＮ枚の画像を選択するステップと、
   選択した前記Ｎ枚の画像について、前記重複領域における独立性を判定するステップと、
   独立性があると判定したときは、前記Ｎ枚の画像の前記重複領域における部分を、前記小領域パノラマ画像群の部分重複領域における画像として、記憶するステップと、
   独立性がないと判定したときは、重複領域を有するＮ枚の画像の再選択を行うステップとを備えている
   ことを特徴とする画像生成方法。
3. 請求項１において、
   前記第２のステップは、
   前記対象画像が複数の部分重複領域に跨るとき、
   前記対象画像に含まれる部分重複領域毎に、前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像に対する線形係数を算出するステップと、
   算出した線形係数と、前記小領域パノラマ画像群とを用いて、予測背景画像を生成するステップとを備えている
   ことを特徴とする画像生成方法。
4. 請求項１記載の画像生成方法によって、前記対象画像としての検出対象画像に対する前記予測背景画像を生成するステップと、
   前記検出対象画像と前記予測背景画像とを対比し、前記検出対象画像に撮された物体を検出するステップとを備えた
   ことを特徴とする物体検出方法。
5. 撮像画像記憶部に記憶された複数の画像を用いて、共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を、生成する小領域パノラマ画像群生成部と、
   前記撮像範囲の少なくとも一部を撮像した検出対象画像に対して、前記検出対象画像および前記小領域パノラマ画像群を用いて、前記検出対象画像と光源環境が同一の予測背景画像を生成し、前記検出対象画像と前記予測背景画像とを対比し、前記検出対象画像に撮された物体を検出する物体検出部とを備えた
   ことを特徴とする物体検出装置。
6. コンピュータに、画像生成を実行させるためのプログラムであって、
   共通の撮像範囲を持つＮ（Ｎは３以上の整数）枚の画像群であって、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を、生成する第１のステップと、
   前記撮像範囲の少なくとも一部を撮像した対象画像に対して、前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像と光源環境が同一の予測背景画像を生成する第２のステップとを
   コンピュータに実行させる画像生成プログラム。