JP2012234432A - 消失点算出装置、消失点算出方法、及びプログラム - Google Patents

Abstract

【課題】消失点を通る直線以外の直線が多数画像中に含まれていても、安定して消失点を算出することができる消失点算出装置を提供する
【解決手段】予め、複数枚学習用画像として準備し、それぞれのカテゴリ毎に学習画像からＧｌｏｂａｌ特徴量を算出し、その特徴量を学習して識別器を作成しておく。シーン構成推定手段２１は、撮影された入力画像から特徴量を算出し、予め作成しておいたシーン構成判別器に投入し、該シーン構成判別器から出力されたカテゴリに応じて、消失点の存在する候補領域である消失点存在候補領域を推定する。消失点算出手段２２は、消失点存在候補領域を通過する直線のみを、入力画像に直線検出等を施した画像から直線群として検出し、それらの直線群から優位な２直線の交点を消失点とする。
【選択図】図３

Description

本発明は、建物や、建物内など面で構成されるシーンを撮影した奥行き情報を有さない１枚の撮影画像から奥行き推定データを生成するための消失点を算出する消失点算出装置、消失点算出方法、及びプログラムに関する。

従来、図７（ａ）に示すような一枚の写真の画像データから建物を直方体と仮定し、図７（ｂ）に示すようにエッジ抽出を行い、消失点の位置から３次元復元を行う手法がある（例えば非特許文献１参照）。

情報処理学会研究報告. CVIM, "１枚の画像からの３次元復元の統計的最適化", 2004(113), 117-124, 2004-11-11

上述のように、図７（ａ）に示すように、屋内を撮影した画像１００には、天井や、壁の空調、壁、あるいは店舗内の商品類といった、建物を構成している平面を隠ぺいする物体が数多く存在し、図７（ｂ）に示すように、エッジ強調した画像１０１において、複数のエッジの中から消失点を形成するエッジを見分けるのが難しく、正しい消失点を出すのは困難であるという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、消失点を通る直線以外の直線が多数画像中に含まれていても、安定して消失点を算出することができる消失点算出装置、消失点算出方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、建物などを撮影した一枚の画像から消失点を算出する消失点算出装置であって、消失点の位置毎にカテゴリを作成し、学習用に取得した複数の撮影画像をカテゴリ毎に分類する学習用画像カテゴリ分類手段と、前記学習用画像カテゴリ分類手段によってカテゴリに分類された複数の学習画像から特徴量を抽出し、該特徴量の特性を学習することによりシーン構成判別器を作成するシーン構成判別器作成手段と、面で構成される入力画像を撮影する画像撮影手段と、前記画像撮影手段によって撮影された入力画像から特徴量を抽出し、該特徴量を前記シーン構成判別器に入力し、前記シーン構成判別器から出力されるカテゴリに基づいて、消失点が存在する消失点存在候補領域を推定するシーン構成推定手段と、前記シーン推定手段により推定された消失点存在候補領域に基づいて、消失点を算出する消失点算出手段とを備えることを特徴とする消失点算出装置である。

本発明は、上記の発明において、前記シーン構成推定手段は、複数の解像度の画像から、それぞれのカテゴリ毎に特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量を学習して識別器を作成する学習手段とを備えることを特徴とする。

本発明は、上記の発明において、前記消失点算出手段は、前記消失点存在候補領域を通過する直線のみを、前記入力画像に対して所定の画像処理を施した画像から直線群として検出し、それらの直線群からランダムに２つの直線を取り出し、該２つの直線の交点を求め、前記直線群の中から、該交点を通過する直線を算出し、その数を交点の得票数とするという作業を、ランダムに２つの直線を選びながら繰り返し、得票数の一番多い交点を消失点とする、ことを特徴とする。

また、上述した課題を解決するために、本発明は、建物などを撮影した一枚の画像から消失点を算出する消失点算出方法であって、消失点の位置毎にカテゴリを作成し、学習用に取得した複数の撮影画像をカテゴリ毎に分類する学習用画像カテゴリ分類ステップと、前記学習用画像カテゴリ分類ステップでカテゴリに分類された複数の学習画像から特徴量を抽出し、該特徴量の特性を学習することによりシーン構成判別器を作成するシーン構成判別器作成ステップと、面で構成される入力画像を撮影する画像撮影ステップと、前記画像撮影ステップで撮影された入力画像から特徴量を抽出し、該特徴量を前記シーン構成判別器に入力し、前記シーン構成判別器から出力されるカテゴリに基づいて、消失点が存在する消失点存在候補領域を推定するシーン構成推定ステップと、前記シーン推定ステップで推定された消失点存在候補領域に基づいて、消失点を算出する消失点算出ステップとを含むことを特徴とする消失点算出方法である。

本発明は、上記の発明において、前記シーン構成推定ステップは、複数の解像度の画像から、それぞれのカテゴリ毎に特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで算出された特徴量を学習して識別器を作成する学習ステップとからなることを特徴とする。

本発明は、上記の発明において、前記消失点算出ステップは、前記消失点存在候補領域を通過する直線のみを、前記入力画像に対して所定の画像処理を施した画像から直線群として検出し、それらの直線群からランダムに２つの直線を取り出し、該２つの直線の交点を求め、前記直線群の中から、該交点を通過する直線を算出し、その数を交点の得票数とするという作業を、ランダムに２つの直線を選びながら繰り返し、得票数の一番多い交点を消失点とする、ことを特徴とする。

また、上述した課題を解決するために、本発明は、建物などを撮影した一枚の画像から消失点を算出する消失点算出装置のコンピュータに、消失点の位置毎にカテゴリを作成し、学習用に取得した複数の撮影画像をカテゴリ毎に分類する学習用画像カテゴリ分類機能、前記学習用画像カテゴリ分類機能でカテゴリに分類された複数の学習画像から特徴量を抽出し、該特徴量の特性を学習することによりシーン構成判別機能を作成するシーン構成判別器作成機能、面で構成される入力画像を撮影する画像撮影機能、前記画像撮影機能で撮影された入力画像から特徴量を抽出し、該特徴量を前記シーン構成判別機能に入力し、前記シーン構成判別機能から出力されるカテゴリに基づいて、消失点が存在する消失点存在候補領域を推定するシーン構成推定機能、前記シーン推定機能で推定された消失点存在候補領域に基づいて、消失点を算出する消失点算出機能を実行させることを特徴とするプログラムである。

この発明によれば、消失点を通る直線以外の直線が多数画像中に含まれていても、安定して消失点を算出することができる。

本実施形態によるカテゴリ例を説明するための概念図である。 本実施形態によるシーン構成判別器の構成を示すブロック図である。 本実施形態による、入力画像から消失点を算出するための消失点算出装置の構成を示すブロック図である。 消失点２点が画像内に含まれている場合のカテゴリの例を示す模式図である。 本実施形態によるシーン構成判別器を作成するための特徴量を説明するための概念図である。 本実施形態において、消失点算出方法を説明するための概念図である。 従来技術において消失点を算出するのを困難にする要因を説明する概念図である。

消失点の位置が分かっている学習画像がある。消失点の位置によって画像をカテゴリに分ける。画像の特徴量を利用してカテゴリを識別する識別器を作る。実際の入力画像に対しては、識別器を利用することでカテゴリが定まる。カテゴリが定まれば、消失点の存在候補領域が分かる。その候補領域に限定して直線の交点が多い点（投票処理）を消失点とする。

より具体的には、予め対象としている平面構造の場所を、さまざまな方向から複数枚撮影し、その撮影方向、または消失点の画像上での場所などを元にカテゴリ分けを行う。例えば、図１（ａ）〜（ｃ）に示すように、建物内の通路から天井に向けて撮影した場合に想定される平面構造３カテゴリ２０１、２０２、２０３に分け、それぞれのパターンの撮影画像を複数枚学習用画像として準備する。それぞれのカテゴリ毎に学習画像からＧｌｏｂａｌ特徴量を算出し、その特徴量を学習して識別器を作成する。入力画像がどのカテゴリに所属するか識別器にかけることで推定し、大よその消失点の位置（消失点存在候補領域）を推定する。

消失点算出の際には、消失点存在候補領域を通過する直線のみに絞ることができる。これにより、消失点を形成する直線を、より正確に抽出することが可能となり、精密に消失点の位置を算出することができる。上記のように、消失点を算出する前に、入力画像が予めどのような平面構造の場所を撮影したものか推定することにより、消失点を形成する直線以外の直線の多い一枚の入力画像からであっても、ある程度、消失点位置の精度を保つことが可能となる。また、これによって、消失点を用いて画像中の３次元位置を推定し、擬似的に立体画像を生成することはもちろん、３次元位置推定値を用いて画像のセグメンテーションを行い、所望の領域を抽出することも可能となる。

以下、本発明の一実施形態を、図面を参照して説明する。
図２は、本実施形態によるシーン構成判別器の構成を示すブロック図である。図２において、シーン構成判別器１０は、複数枚撮影した学習用画像をカテゴリ分けする学習用画像カテゴリ分類手段１１とシーン構成判別器作成手段１２とからなる。

学習用画像カテゴリ分類手段１１は、まず、カテゴリを決め、各カテゴリに分類される学習用画像を複数用意する。カテゴリは、地下街の通路といったような予め対象としている場所を撮影方向毎、または消失点の場所毎に分類して作成する。例えば、図１（ａ）〜（ｃ）に示すような地下街の通路から天井と壁とを撮影した３つのカテゴリの例を元に説明する。

図１（ａ）において、２０１は、通路の方向正面に向かって撮影しているシーン、図１（ｂ）において、２０３は、向かって右側の地面に垂直な平面と天井とで構成されるシーン、図１（ｃ）において、２０２は、向かって左側の地面に垂直な平面と天井で構成されているシーンといった３つのカテゴリに分けることができる。この３つのカテゴリは、消失点の存在領域によって分類されている。

カテゴリ２０１は、消失点のｘ座標が領域２０４に、カテゴリ２０２は、消失点のｘ座標が領域２０５に、カテゴリ２０３は、消失点のｘ座標が領域２０６にある場合に分けている。これに限らず、床が写っているシーンなど、これ以外にも学習させることが可能である。図１（ａ）〜（ｃ）では、消失点１つで撮影方向毎に分類したが、消失点の個数毎に分類してもよい。例えば、消失点２つの例として、図４に示すように、消失点５０１と５０２の２つを持つようなシーンをカテゴリに加えてもよい。

次に、シーン構成判別器作成手段１２について説明する。シーン構成判別器作成手段１２は、特徴量算出手段１２１と該特徴量算出手段１２１により算出された特徴量を学習して判別器を作成する学習手段１２２とから構成されている。

特徴量算出手段１２１は、まず、複数の解像度の画像を作成する。次に、図５（ａ）に示す入力画像３０１の各方向（垂直、水平、斜め方向）のＧａｂｏｒｆｉｌｔｅｒをかけた画像［文献１：J.G. Daugman: Uncertainty relations for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters, Journal of the Optical Society of America A, 1985, vol. 2, pp. 1160-1169.］を作成し、図５（ｂ）に示す、４×４の１６等分の画像３０２を作成する。

Ｇａｂｏｒｆｉｌｔｅｒを施した画像（Ｇａｂｏｒ画像）３０２を２値化している場合には、１６等分にされた各領域で画素値が１の画素数を数える。Ｇａｂｏｒ画像３０２が図示するようにエッジ強度に応じた２５６色画像の場合、画素値を数えてもよい。または、分割された１６の各領域の平均値をとる。以上の処理を各解像度で行う。例えば、１／４、１／１０の２種類の解像度で行う場合、１枚の入力画像に対して、２（解像度）×１６（領域／枚）×４（方向の微分成分）＝１２８次元の特徴量となる。

なお、Ｇｌｏｂａｌ特徴量を算出する手法について説明したが、シーン構成を表現できるものであれば、どんな特徴量を使用しても構わない。

次に、学習手段１２２は、特徴量算出手段１２１により算出された特徴量と図１（ａ）〜（ｃ）に示したような各カテゴリを表現した教師データとを、ニューラルネットワーク（参考文献２：「パターン認識と学習の統計学」岩波書店 pp.23−31 2005年第5版）で学習させる。学習させる判別器は、ニューラルネットワークに限らず、多クラスＳＶＭ（参考文献３：「パターン認識と学習の統計学」岩波書店 pp.107−118 2005年第5版）など何を使っても構わない。

次に、上述した手法により作成したシーン構成判別器を用いて消失点を算出する手法について説明する。

図３は、本実施形態による、入力画像から消失点を算出するための消失点算出装置の構成を示すブロック図である。また、図６は、本実施形態において、消失点算出方法を説明するための概念図である。

図３において、画像撮影手段２０は、図６（ａ）に示すような画像４０１を撮影する。シーン構成推定手段２１は、画像撮影手段２０により撮影された入力画像４０１から、図５（ｂ）に示すＧａｂｏｒ画像３０２と同様に特徴量を算出し、該特徴量を図２に示すシーン構成判別器１０に投入し、シーン構成判別器１０から出力されたカテゴリに応じて、図６（ｂ）に示すように、消失点のｘ座標の存在する候補領域である消失点存在候補領域４０２を推定する。

消失点算出手段２２は、図６（ｃ）に示すように、消失点存在候補領域４０２を通過する直線のみを、直線検出等（参考文献４：「OpenCV」プログラミングブック 毎日コミュニケーションズ 2007年pp．164-167）を施した画像４０５から直線群４０３として検出し、それらの直線群４０３からランダムに２直線取り出し、２直線の交点を求める。その交点を通過する直線を直線群４０３から算出し、その数を交点の得票数とする。上記の作業を、ランダムに２直線を選びながら繰り返す。そして、得票数の一番多い交点を消失点４０４とする。

なお、消失点４０４は、このような手法で求めてもよいし、長さを信頼度とみなし、検出された直線群４０３のなかで一番長い直線と二番目に長い直線との交点を消失点と決めるなど、どのような手法を用いてもよい。

上述した本実施形態によれば、複数枚のある構造を持つシーンを撮影した画像から、予め消失点の存在領域などを元にシーン構成を学習させることにより、消失点を通る直線以外の直線が多数画像中に含まれていても、安定して消失点を算出することを可能にする。これにより、消失点を用いて一枚の非立体画像から３次元情報を推定することができる。擬似的に立体画像を生成することはもちろん、奥行きデータを用いて画像のセグメンテーションを行い、所望の領域を抽出することも可能となる。

１０ シーン構成判別器
１１ 学習用画像カテゴリ分類手段
１２ シーン構成判別器作成手段
１２１ 特徴量算出手段
１２２ 学習手段
２０ 画像撮影手段
２１ シーン構成推定手段
２２ 消失点算出手段

Claims (7)

1. 建物などを撮影した一枚の画像から消失点を算出する消失点算出装置であって、
   消失点の位置毎にカテゴリを作成し、学習用に取得した複数の撮影画像をカテゴリ毎に分類する学習用画像カテゴリ分類手段と、
   前記学習用画像カテゴリ分類手段によってカテゴリに分類された複数の学習画像から特徴量を抽出し、該特徴量の特性を学習することによりシーン構成判別器を作成するシーン構成判別器作成手段と、
   面で構成される入力画像を撮影する画像撮影手段と、
   前記画像撮影手段によって撮影された入力画像から特徴量を抽出し、該特徴量を前記シーン構成判別器に入力し、前記シーン構成判別器から出力されるカテゴリに基づいて、消失点が存在する消失点存在候補領域を推定するシーン構成推定手段と、
   前記シーン推定手段により推定された消失点存在候補領域に基づいて、消失点を算出する消失点算出手段と
   を備えることを特徴とする消失点算出装置。
2. 前記シーン構成推定手段は、
   複数の解像度の画像から、それぞれのカテゴリ毎に特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された特徴量を学習して識別器を作成する学習手段と
   を備えることを特徴とする請求項１に記載の消失点算出装置。
3. 前記消失点算出手段は、
   前記消失点存在候補領域を通過する直線のみを、前記入力画像に対して所定の画像処理を施した画像から直線群として検出し、それらの直線群からランダムに２つの直線を取り出し、該２つの直線の交点を求め、前記直線群の中から、該交点を通過する直線を算出し、その数を交点の得票数とするという作業を、ランダムに２つの直線を選びながら繰り返し、得票数の一番多い交点を消失点とする、
   ことを特徴とする請求項１または２に記載の消失点算出装置。
4. 建物などを撮影した一枚の画像から消失点を算出する消失点算出方法であって、
   消失点の位置毎にカテゴリを作成し、学習用に取得した複数の撮影画像をカテゴリ毎に分類する学習用画像カテゴリ分類ステップと、
   前記学習用画像カテゴリ分類ステップでカテゴリに分類された複数の学習画像から特徴量を抽出し、該特徴量の特性を学習することによりシーン構成判別器を作成するシーン構成判別器作成ステップと、
   面で構成される入力画像を撮影する画像撮影ステップと、
   前記画像撮影ステップで撮影された入力画像から特徴量を抽出し、該特徴量を前記シーン構成判別器に入力し、前記シーン構成判別器から出力されるカテゴリに基づいて、消失点が存在する消失点存在候補領域を推定するシーン構成推定ステップと、
   前記シーン推定ステップで推定された消失点存在候補領域に基づいて、消失点を算出する消失点算出ステップと
   を含むことを特徴とする消失点算出方法。
5. 前記シーン構成推定ステップは、
   複数の解像度の画像から、それぞれのカテゴリ毎に特徴量を算出する特徴量算出ステップと、
   前記特徴量算出ステップで算出された特徴量を学習して識別器を作成する学習ステップとからなることを特徴とする請求項４に記載の消失点算出方法。
6. 前記消失点算出ステップは、
   前記消失点存在候補領域を通過する直線のみを、前記入力画像に対して所定の画像処理を施した画像から直線群として検出し、それらの直線群からランダムに２つの直線を取り出し、該２つの直線の交点を求め、前記直線群の中から、該交点を通過する直線を算出し、その数を交点の得票数とするという作業を、ランダムに２つの直線を選びながら繰り返し、得票数の一番多い交点を消失点とする、
   ことを特徴とする請求項４または５に記載の消失点算出方法。
7. 建物などを撮影した一枚の画像から消失点を算出する消失点算出装置のコンピュータに、
   消失点の位置毎にカテゴリを作成し、学習用に取得した複数の撮影画像をカテゴリ毎に分類する学習用画像カテゴリ分類機能、
   前記学習用画像カテゴリ分類機能でカテゴリに分類された複数の学習画像から特徴量を抽出し、該特徴量の特性を学習することによりシーン構成判別機能を作成するシーン構成判別器作成機能、
   面で構成される入力画像を撮影する画像撮影機能、
   前記画像撮影機能で撮影された入力画像から特徴量を抽出し、該特徴量を前記シーン構成判別機能に入力し、前記シーン構成判別機能から出力されるカテゴリに基づいて、消失点が存在する消失点存在候補領域を推定するシーン構成推定機能、
   前記シーン推定機能で推定された消失点存在候補領域に基づいて、消失点を算出する消失点算出機能
   を実行させることを特徴とするプログラム。

Images