JP2009042900A

JP2009042900A - 撮像装置および画像選択装置

Info

Publication number: JP2009042900A
Application number: JP2007205445A
Authority: JP
Inventors: Fumiyuki Shiratani; 文行白谷
Original assignee: Olympus Corp; Olympus Imaging Corp
Current assignee: Olympus Corp; Olympus Imaging Corp
Priority date: 2007-08-07
Filing date: 2007-08-07
Publication date: 2009-02-26

Abstract

【課題】三次元物体の特徴を捉えた画像を選択することを目的とする。
【解決手段】撮像部１０１は画像を撮影する。関心領域設定部１０２は撮像部１０１で撮像された画像中の被写体を含む領域を関心領域として設定する。特徴点抽出部１０３は関心領域設定部１０２で設定した関心領域より被写体の特徴を示す特徴点を画像毎に抽出する。対応関係判断部１０４は特徴点抽出部１０３で抽出した画像毎の特徴点の対応関係を判断する。変化度合い判定部１０５は対応関係判断部１０４で判断した特徴点の対応関係基づいて特徴点の評価を行う。画像選択部１０６は変化度合い判定部１０５で行った評価に基づいて画像を選択する。
【選択図】図１

Description

本発明は、特徴を捉えた画像の選択を可能とする撮像装置および画像選択装置に関する。

従来、三次元物体の被写体を全方位から所定の角度間隔で撮影した後、間引き処理による高速表示や複数画像による高解像度処理を行う技術があった（例えば、特許文献１参照）。また、撮影対象物を取り巻く円弧を複数個に分割して、等分された複数個の位置・角度から対象物を順次連続的に撮影して得られた複数個の各静止画像を撮影位置情報とともに記録しておく。そして、ユーザーが所望の視点を選択することにより、その視点から撮影された画像を表示する技術があった（例えば、特許文献２参照）。また、パノラマ画像データから、所定領域を切り出して表示する技術があった（例えば、特許文献３参照）。また、人感センサなどのセンサ情報と画像情報を連動させて状況変化を検出し、状況変化のあった領域を切り出して送信する技術があった（例えば、特許文献４参照）。また、被写体の動きが変化した時点で画像を記録することにより、被写体の形が変わる毎に自動撮影する技術があった（例えば、特許文献５参照）。
特開２００３−７８９２４号公報特開２００２−１３３４４７号公報特開平１１−１３６５８４号公報特開２００５−１７６３０１号公報特開平９−７００１２号公報

しかしながら、撮像装置を用いて三次元物体を撮像する場合、撮像対象の三次元物体のどの部分を撮像した画像が一番特徴を捉えた画像であるかが分からないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、三次元物体の特徴を捉えた画像を選択することが可能な撮像装置および画像選択装置を提供することにある。

本発明は、被写体を撮像する撮像部と、前記撮像部で撮像した画像より前記被写体の特徴を示す特徴点を前記画像毎に抽出する特徴点抽出部と、前記特徴点抽出部で抽出した前記画像毎の前記特徴点の対応関係を判断する対応関係判断部と、前記対応関係判断部で判断した前記特徴点の対応関係に基づいて前記特徴点の評価を行う変化度合い判定部と、前記変化度合い判定部で行った評価に基づいて前記画像を選択する画像選択部と、を備えたことを特徴とする撮像装置である。

また、本発明の撮像装置における前記特徴点抽出部は、一定時間ごとに前記画像を抽出し、抽出した前記画像毎に前記特徴点を抽出することを特徴とする。

また、本発明の撮像装置における前記撮像部は被写体の周囲を回転しながら被写体を撮像し、前記特徴点抽出部は、前記撮像部が回転した回転量が一定量ごとに前記画像を抽出し、抽出した前記画像毎に前記特徴点を抽出することを特徴とする。

また、本発明は、画像の入力を受け付ける画像入力部と、前記画像入力部で入力された前記画像より被写体の特徴を示す特徴点を前記画像毎に抽出する特徴点抽出部と、前記特徴点抽出部で抽出した前記画像毎の前記特徴点の対応関係を判断する対応関係判断部と、記対応関係判断部で判断した前記特徴点の対応関係に基づいて前記特徴点の評価を行う変化度合い判定部と、前記変化度合い判定部で行った評価に基づいて前記画像を選択する画像選択部と、を備えたことを特徴とする画像選択装置である。

また、本発明の画像選択装置における前記特徴点抽出部は、一定時間ごとに前記画像を抽出し、抽出した前記画像毎に前記特徴点を抽出することを特徴とする。

本発明によれば、三次元物体の特徴を捉えた画像を選択することができる。

以下、本発明の実施形態について図面を参照して説明する。本実施例では動画を撮像することができる撮像装置とし、撮影者が撮像装置を使用して三次元物体を撮像した際に、撮像装置は撮像した画像のうち三次元物体の特徴を捉えた画像を選択する。

図１は、本発明の実施形態に係る撮像装置の構成を示したブロック図である。撮像部１０１は被写体となる三次元物体を撮像する。関心領域設定部１０２は撮像部１０１が撮像した画像中から、被写体である三次元物体を含む領域（関心領域）を設定する。特徴点抽出部１０３は関心領域設定部１０２が設定した関心領域中から特徴点を抽出する。特徴点については後述する。対応関係判断部１０４は対象画像に含まれる特徴点と前後に撮像した画像に含まれる特徴点との変化度合いを判定する。変化度合いについては後述する。変化度合い判定部１０５は、対応関係判断部１０４で判定した変化度合いに基づいて撮像部１０１が撮像した複数の画像のうち被写体の特徴を捉えた画像を選択する。また、選択した画像およびその画像の特徴点を記憶部（図示せず）に記憶する。

次に本実施形態の撮像装置の処理に付いて図２を適宜参照して説明する。図２は本実施形態の撮像装置の処理の流れを示したフローチャートである。ステップＳＴ１０１では撮影者は被写体である三次元物体に対して撮像装置を構えることにより、撮像部１０１は被写体を撮像する。例えば撮像装置は液晶画面を備え、撮像する画像が液晶画面に表示されるので、撮影者は被写体である三次元物体が液晶画面に表示されるように撮像装置を構える。

ステップＳＴ１０２では、関心領域設定部１０２は撮像部１０１がステップＳＴ１０１で撮像した画像中の三次元物体を含む領域（以下、関心領域と記す。）を設定する。設定方法は、例えば、撮像装置が備える液晶画面上で、撮影者がグラフィカルユーザインタフェース（ＧＵＩ）を使用して三次元物体を含む領域を矩形で選択し、選択された矩形領域を関心領域として設定しても良い。また、関心領域が顔の場合、画像中から顔が表示されている領域を検出する顔検出機能部（図示せず）が選択した領域を関心領域として設定しても良い。また、撮像部１０１が撮像した画像全体を関心領域としても良い。

ステップＳＴ１０３では、撮影者は撮影角度を変化させて被写体である三次元物体を動画撮影する。すなわち、撮像部１０１は撮影角度を変化させて被写体である三次元物体を動画撮影する。例えば、撮影者は被写体の周囲を３６０度回りながら被写体を動画撮影する。なお、必ずしも３６０度回る必要はない。撮像された画像（動画）は関心領域設定部１０２を介して特徴点抽出部１０３へ出力される。

ステップＳＴ１０４では、特徴点抽出部１０３は、ステップＳＴ１０３で撮像部１０１が撮像した動画から一定時間ごと（例えば一秒ごと）に画像を抽出し、抽出した画像の関心領域内に含まれる特徴点を抽出する。例えば、三次元物体の角を特徴点とし、特徴点抽出部１０３はコーナー検出フィルタを適用することにより関心領域内から特徴点を抽出する。具体的な特徴点の抽出方法として、たとえばＨａｒｒｉｓ作用素とよぶ特徴点抽出法を使用しても良い。画素（ｘ，ｙ）の輝度値ｆ（ｘ，ｙ）に対し、ｘ方向の微分をｆｘ、ｙ方向の微分をｆｙと記述する。このときＨａｒｒｉｓ作用素は以下の式（１）、式（２）で定義される。

但し、ｋは定数であり、Ｇ_σは、標準偏差σのガウス分布による平滑化を表す。（１）式の正の局大値を大きい順に指定した個数だけ取り出すことにより、特徴点を抽出する。（参考文献：「金澤靖、金谷健一、コンピュータビジョンのための画像の特徴点抽出、電子情報通信学会誌、ｖｏｌ．８７，ｎｏ．１２，ｐｐ．１０４３−１０４８，Ｄｅｃ．２００４．」）

ステップＳＴ１０５では、対応関係判断部１０４は、ステップＳＴ１０４で一定時間ごとに抽出した画像の特徴点うち、隣接する時刻の画像の特徴点同士の対応関係に基づいて同一の特徴点であるか否か判断する。また、対応関係判断部１０４は、同一の特徴点であると判断した特徴点に対して同一の特徴点名（例えば、特徴点Ａ）を設定する。

ステップＳＴ１０６では、変化度合い判定部１０５は、ステップＳＴ１０４で一定時間ごとに抽出した各画像のうち、各画像の特徴点に基づいて、被写体である三次元物体の特徴を捉えた画像を選択する。選択方法の一例については図３を適宜参照して説明する。図３は一定時間ごとに抽出した画像に含まれる特徴点を表した図である。図示する例では、特徴点は「特徴点Ａ」、「特徴点Ｂ」、・・・、「特徴点Ｆ」の６種類ある。一定時間ごとに抽出した画像は「時刻Ｔに抽出した画像」、「時刻Ｔ＋１に抽出した画像」、・・・、「時刻Ｔ＋５に抽出した画像」の６種類ある。横軸は時刻であり、画像を抽出した時刻を示している。縦軸は各特徴点を示しており、下から「特徴点Ａ」、「特徴点Ｂ」、・・・、「特徴点Ｆ」を示している。各時刻に抽出した画像と、抽出した画像に含まれる特徴点との関係は以下の通りである。「時刻Ｔ」では「特徴点Ｃ」がプロットされているため、「時刻Ｔに抽出した画像」には「特徴点Ｃ」が含まれていることを示す。「時刻Ｔ＋１」では「特徴点Ａ」、「特徴点Ｃ」、「特徴点Ｄ」、「特徴点Ｆ」がプロットされているため、「時刻Ｔ＋１に抽出した画像」には「特徴点Ａ」、「特徴点Ｃ」、「特徴点Ｄ」、「特徴点Ｆ」が含まれていることを示す。以下同様にグラフより各時刻に抽出した画像に含まれている特徴点が分かる。

画像の選択方法は、例えば、各特徴点に対して評価値を決定し、各画像に含まれる全ての特徴点の評価値を合計し、合計値が高い画像を選択する方法がある。各画像に含まれる特徴点が多いほど、かつ長時間現れている特徴点が多いほど、各画像において特徴点の評価値の合計が高くなる。各特徴点の評価値は、前後の時刻に抽出した画像にも同じ特徴点が含まれていると２ポイント、前または後ろのどちらかの画像に同じ特徴点が含まれていると１ポイントとする。

各特徴点を記号ｉでインデックス付けをし、評価値をＰ_ｉ（ｔ）とする。全ての特徴点の評価値の合計ＳＰ（ｔ）は以下の式（３）で表せる。ｔは画像を抽出した時刻である。

「時刻Ｔ」に抽出した画像には「特徴点Ｃ」が含まれている。後ろの時刻である「時刻Ｔ＋１」に抽出した画像には「特徴点Ａ」、「特徴点Ｃ」、「特徴点Ｄ」、「特徴点Ｆ」が含まれている。よって、「特徴点Ｃ」のポイントは１ポイントである。すなわち、「時刻Ｔ」に抽出した画像に含まれる全ての特徴点の評価値の合計ＳＰ（Ｔ）は１となる。また、「時刻Ｔ＋１」に抽出した画像には「特徴点Ａ」、「特徴点Ｃ」、「特徴点Ｄ」、「特徴点Ｆ」が含まれている。前の時刻である「時刻Ｔ」に抽出した画像には「特徴点Ｃ」が含まれている。後ろの時刻である「時刻Ｔ＋２」に抽出した画像には「特徴点Ａ」、「特徴点Ｂ」、「特徴点Ｃ」、「特徴点Ｄ」、「特徴点Ｅ」、「特徴点Ｆ」が含まれている。よって、「特徴点Ａ」のポイントは１ポイントであり、「特徴点Ｃ」のポイントは２ポイントであり、「特徴点Ｄ」のポイントは１ポイントであり、「特徴点Ｆ」のポイントは１ポイントである。すなわち、「時刻Ｔ＋１」に抽出した画像に含まれる全ての特徴点の評価値の合計ＳＰ（Ｔ＋１）は５となる。以下同様に各時刻に抽出した画像に含まれる全ての特徴点の評価値の合計は、ＳＰ（Ｔ＋２）＝９、ＳＰ（Ｔ＋３）＝８、ＳＰ（Ｔ＋４）＝６、ＳＰ（Ｔ＋５）＝２となる。従って、「時刻Ｔ＋２に抽出した画像」が最も評価値の合計値が高く、この画像が三次元物体の特徴を捉えた画像として選択される。

ステップＳＴ１０７では、画像・特徴点の選択登録部１０６はステップＳＴ１０６で選択された画像と、選択された画像に含まれる特徴点とを記憶部（図示せず）に記憶する。

以上のように、撮像部１０１が撮像した動画より、一定時間ごとに画像を抽出し、抽出した画像ごとに特徴点の抽出および評価を行い、抽出した画像に含まれる特徴点の評価に基づいて画像を選択することによって、被写体である三次元物体の特徴を捉えた画像を選択することができる。また、例えば画像に含まれる全ての特徴点の評価値の合計値が所定のポイント以上の画像のみを選択することによって、少ない画像の枚数で被写体である三次元物体を表現することができる。なお、予め選択する画像の枚数を決め、画像に含まれる全ての特徴点の評価値の合計値が高い順に画像を選択しても良い。

また、本実施形態では、ステップＳＴ１０４で、特徴点抽出部１０３は撮像部１０１が撮像した動画より一定時間ごとに画像を抽出したが、撮像装置は被写体の周囲を回転しながら被写体を撮像し、撮像装置が回転した回転量に基づいて（例えば、一定の回転量ごと）特徴点抽出部１０３が画像を抽出しても良い。撮像装置の回転量の算出方法の例を以下で説明する。

理想的なカメラモデルである透視投影は非線形写像である。このため、複数の透視投影画像からの物体の三次元形状およびカメラ運動の復元問題は非線形写像の逆問題となり、非線形最適化問題に帰着され、撮像装置の回転量を算出することができる。しかし、一般的に非線形最適化問題はノイズに敏感で初期値依存性が高く、数値計算上不安定であるという問題があるため、理想的なカメラにおいて安定して物体の三次元形状を復元するのは難しい。この困難を乗り越えるために、理想的なカメラモデルである透視投影を正射影（ＯｒｔｈｏｇｒａｐｈｉｃＰｒｏｊｅｃｔｉｏｎ)モデルなどのアフィン射影に近似することによって、複数の２次元画像からの点対応を用いたカメラ運動と立体形状の復元問題を線形写像の逆問題に帰着させるという試みが行なわれてきた。例えば、アフィン射影として、擬似中心射影（ＰａｒａｐｅｒｓｐｅｃｔｉｖｅＰｒｏｊｅｃｔｉｏｎ）を選択した場合、推定誤差が極めて小さい撮像装置の回転角を求めることができる。（参考文献：「金出武雄、コンラッド・ポールマン、森田俊彦、因子分解法による物体形状とカメラ運動の復元、電子情報通信学会論文誌、Ｄ−ＩＩ、ｖｏｌ．Ｊ７６、Ｎｏ．８、ｐｐ．１４９７−１５０５、Ａｕｇ．１９９３．」）

また、透視投影モデルによる像から擬似中心射影モデルによる像を反復推定し、擬似中心射影モデルの因子分解法によって透視投影によるＥｕｃｌｉｄ形状及びカメラ運動（撮像装置の回転量）を高精度に推定することができる。（参考文献：「Ｓ．ＣｈｒｉｓｔｙａｎｄＲ．Ｈｏｒａｕｄ，Ｅｕｃｌｉｄｅａｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ｆｒｏｍｐａｒａｐｅｒｓｐｅｃｔｉｖｅｔｏｐｅｒｓｐｅｃｔｉｖｅ，Ｐｒｏｃ．４ｔｈＥＣＣＶ，ｖｏｌ．２，ｐｐ．１２９−１４０，１９９６」）

また、射影変換の不定性を含んで３次元形状を計算する射影復元と、それを正しい形状に変換するユークリッド化の２段階からなる撮像装置の回転量を求める方法もある。この方法では、射影復元では因子分解法を用い、ユークリッド化では双対絶対２次曲面拘束条件を適用している。（参考文献：「Ｓ．ＣｈｒｉｓｔｙａｎｄＲ．Ｈｏｒａｕｄ，Ｅｕｃｌｉｄｅａｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ｆｒｏｍｐａｒａｐｅｒｓｐｅｃｔｉｖｅｔｏｐｅｒｓｐｅｃｔｉｖｅ，Ｐｒｏｃ．４ｔｈＥＣＣＶ，ｖｏｌ．２，ｐｐ．１２９−１４０，１９９６」）

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本実施形態では撮像部は動画を撮像するとしたが、静止画を撮像しても良い。複数の角度から被写体である三次元物体の静止画を撮像し、撮像した静止画に含まれる特徴点に基づいて特徴を捉えた画像を選択しても良い。

また、撮像部の代わりに画像入力部を備えても良い。予め撮像した画像または動画を画像入力部から入力し、入力した画像または動画に対して本実施形態と同様の処理を行い、
特徴を捉えた画像を選択しても良い。

本発明の実施形態に係る撮像装置の構成を示したブロック図である。本実施形態の撮像装置の処理の流れを示したフローチャートである。本実施形態における一定時間ごとに抽出した画像に含まれる特徴点を表した図である。

符号の説明

１０１・・・撮像部、１０２・・関心領域設定部、１０３・・・特徴点抽出部、１０４・・・対応関係判断部、１０５・・・変化度合い判定部、１０６・・・画像選択部

Claims

被写体を撮像する撮像部と、
前記撮像部で撮像した画像より前記被写体の特徴を示す特徴点を前記画像毎に抽出する特徴点抽出部と、
前記特徴点抽出部で抽出した前記画像毎の前記特徴点の対応関係を判断する対応関係判断部と、
前記対応関係判断部で判断した前記特徴点の対応関係に基づいて前記特徴点の評価を行う変化度合い判定部と、
前記変化度合い判定部で行った評価に基づいて前記画像を選択する画像選択部と、
を備えたことを特徴とする撮像装置。
前記特徴点抽出部は、一定時間ごとに前記画像を抽出し、抽出した前記画像毎に前記特徴点を抽出する
ことを特徴とする請求項１に記載の撮像装置。
前記撮像部は被写体の周囲を回転しながら被写体を撮像し、
前記特徴点抽出部は、前記撮像部が回転した回転量が一定量ごとに前記画像を抽出し、抽出した前記画像毎に前記特徴点を抽出する
ことを特徴とする請求項１に記載の撮像装置。
画像の入力を受け付ける画像入力部と、
前記画像入力部で入力された前記画像より被写体の特徴を示す特徴点を前記画像毎に抽出する特徴点抽出部と、
前記特徴点抽出部で抽出した前記画像毎の前記特徴点の対応関係を判断する対応関係判断部と、
前記対応関係判断部で判断した前記特徴点の対応関係に基づいて前記特徴点の評価を行う変化度合い判定部と、
前記変化度合い判定部で行った評価に基づいて前記画像を選択する画像選択部と、
を備えたことを特徴とする画像選択装置。
前記特徴点抽出部は、一定時間ごとに前記画像を抽出し、抽出した前記画像毎に前記特徴点を抽出する
ことを特徴とする請求項４に記載の画像選択装置。