JP5136335B2 - カメラ装置及び画像切り出し方法、プログラム - Google Patents

Description

本発明は、画像から特定領域を切り出す機能を備えたカメラ装置、及び切り出し画像表示方法と、それらの実現に使用されるプログラムに関するものである。

従来、カメラ装置で撮影した画像から所望する被写体に相当する特定領域の画像を切り出す（抽出する）技術として、例えば下記特許文献１には、任意の背景にユーザが所望する主要被写体を配置して撮影した被写体込み画像と、主要被写体が存在しない背景のみの背景画像とを取得した後、双方の画像において一致しない被写体領域を切り出す技術が記載されている。

かかる従来技術においては、被写体込み画像と背景画像との間で一致しない被写体領域は、ユーザが所望する主要被写体の領域である。そのため、上記従来技術によれば、撮影画像から主要被写体のみの画像を切り出すことができる。
特開平９−１８６９３６号公報

しかしながら、上記技術においては、例えば被写体込み画像を撮影したときの背景の状態と、背景画像を撮影したときの背景の状態とが変化している場合、この変化した背景領域までもが切り出されてしまう。例えば、被写体込み画像を撮影したときから背景画像を撮影したときまでの間に背景である空の雲が動いた場合、ユーザが所望しないこの雲までもが切り出されてしまう。そして、係る事態は、被写体込み画像と背景画像とを撮影した後でなければ撮影者は知ることができないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、意図する被写体に相当する特定領域のみが切り出された画像を確実に取得することができるカメラ装置及び画像切り出し方法、その実現に使用されるプログラムを提供することを目的とする。

請求項１記載の発明に係るカメラ装置にあっては、画像から特定領域を切り出す機能を備えたカメラ装置であって、被写体を撮像する撮像手段と、この撮像手段により一定周期で撮像された画像をスルー画像として表示する表示手段と、前記撮像手段により撮像された第１の画像と、この第１の画像の撮像後における前記表示手段によるスルー画像の表示期間中に前記撮像手段により撮像された第２の画像とに基づいて主要被写体領域を特定する特定手段と、この特定手段により特定された主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す切り出し手段と、前記表示手段によるスルー画像の表示中に、前記撮像手段に被写体を繰り返し撮像させる撮像制御手段と、前記切り出し手段により繰り返し切り出される保存対象画像のうち、それまでの中で最大の保存対象画像を記憶する記憶手段とを備えることを特徴とする。

また、請求項２記載の発明に係るカメラ装置にあっては、画像から特定領域を切り出す機能を備えたカメラ装置であって、被写体を撮像する撮像手段と、この撮像手段により一定周期で撮像された画像をスルー画像として表示する表示手段と、前記撮像手段により撮像された第１の画像と、この第１の画像の撮像後における前記表示手段によるスルー画像の表示期間中に前記撮像手段により撮像された第２の画像とに基づいて主要被写体領域を特定する特定手段と、この特定手段により特定された主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す切り出し手段と、この切り出し手段により切り出された保存対象画像を記憶する記憶手段とを備え、前記第１の画像と前記第２の画像とは、同一の主要被写体を含むと共に互いに背景を異にする画像であることを特徴とする。

また、請求項３記載の発明に係るカメラ装置にあっては、前記特定手段は、前記第１の画像と前記第２の画像との差分を取得する減算手段と、この減算手段により取得された差分に基づくラベリング処理を行うラベリング処理手段とを含み、このラベリング処理手段によりグループ分けされた複数の連結領域の中で最大の連結領域を主要被写体領域として特定することを特徴とする。

また、請求項４記載の発明に係るカメラ装置にあっては、前記第１の画像と前記第２の画像との双方から所定の同一領域を対象として複数の特徴点をそれぞれ取得する特徴点取得手段と、前記第１の画像と前記第２の画像との一方に、前記特徴点取得手段とによって取得された前記第１の画像と前記第２の画像とにおける互いに対応する複数の特徴点を一致させる補正を施す補正手段とを備え、前記特定手段は、前記第１の画像と前記第２の画像とのうちで前記補正手段による補正された側の画像と、前記第１の画像と前記第２の画像とのうちで前記補正手段による補正されていない側の画像とに基づいて主要被写体領域を特定することを特徴とする。

また、請求項５記載の発明に係る切り出し画像表示方法にあっては、画像から特定領域を切り出す機能を備えたカメラ装置において、第１の画像を撮像する工程と、第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する工程と、スルー画像の表示期間中に第２の画像を撮像する工程と、第１の画像と第２の画像とに基づいて主要被写体領域を特定する工程と、特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す工程と、スルー画像の表示期間中に第２の画像を繰り返し撮像させる工程と、繰り返し切り出される保存対象画像のうち、それまでの中で最大の保存対象画像を記憶する工程とを含むことを特徴とする。
また、請求項６記載の発明に係る切り出し画像表示方法にあっては、画像から特定領域を切り出す機能を備えたカメラ装置において、第１の画像を撮像する工程と、第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する工程と、スルー画像の表示期間中に第２の画像を撮像する工程と、第１の画像と第２の画像とに基づいて主要被写体領域を特定する工程と、特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す工程と、切り出した保存対象画像を記憶する工程とを含み、前記第１の画像と前記第２の画像とは、同一の主要被写体を含むと共に互いに背景を異にする画像であることを特徴とする。

また、請求項７記載の発明に係るプログラムにあっては、画像から特定領域を切り出す機能を備えたカメラ装置が有するコンピュータに、第１の画像を撮像する手順と、第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する手順と、スルー画像の表示期間中に第２の画像を撮像する手順と、第１の画像と第２の画像とに基づいて主要被写体領域を特定する手順と、特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す手順と、スルー画像の表示期間中に第２の画像を繰り返し撮像させる手順と、繰り返し切り出される保存対象画像のうち、それまでの中で最大の保存対象画像を記憶する手順とを実行させることを特徴とする。
また、請求項８記載の発明に係るプログラムにあっては、画像から特定領域を切り出す機能を備えたカメラ装置が有するコンピュータに、第１の画像を撮像する手順と、第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する手順と、スルー画像の表示期間中に第２の画像を撮像する手順と、第１の画像と第２の画像とに基づいて主要被写体領域を特定する手順と、特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す手順と、切り出した保存対象画像を記憶する手順とを実行させるためのプログラムであって、前記第１の画像と前記第２の画像とは、同一の主要被写体を含むと共に互いに背景を異にする画像であることを特徴とする。

本発明によれば、意図する被写体に相当する特定領域のみが切り出された画像を確実に取得することが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明に係るデジタルカメラの外観を示す図であり、同図（ａ）は正面図、同図（ｂ）は背面図、同図（ｃ）は上面図である。

図１（ａ）に示したように本実施形態のデジタルカメラは、本体１の正面側に撮像レンズ２、及びストロボ発光窓３を有している。また、図１（ｂ）に示すように本体１の背面には、表示手段である液晶モニタ４、カーソルキー５、ＳＥＴキー６、メニューキー７が設けられている。また、図１（ｃ）に示すように本体１の上面には、シャッターボタン８、電源ボタン９が設けられている。なお、図示しないが本体１の側部には、デジタルカメラをＵＳＢケープルを介してパーソナルコンピュータ等と接続する場合に用いる後述するＵＳＢ端子接続部が設けられている。

図２は図１に示したデジタルカメラの電子回路構成の概略を示すブロック図である。デジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール１１を有している。カメラモジュール１１は、前記撮像レンズ２を含む結像光学系ブロック１２と、撮像手段であるＣＭＯＳセンサ１３、ＩＳＰ（Image Signa1 Processor）１４、光学系駆動制御部１５から構成されている。

ＣＭＯＳセンサ１３は前記結像光学系２により結像された被写体の光学像を光電変換するとともにＡ／Ｄ変換し、デジタルデータとしてＩＳＰ１４に出力する。ＣＭＯＳセンサ１３の出力は、ＣＭＯＳセンサ１３の受光面におけるカラーフィルタ配列（本実施形態ではベイヤー配列）に従った出力となっている。ＩＳＰ１４では、入力したデジタルデータに対し、色の調整、データフォーマット変換（ベイヤー配列から輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換）等がなされる。ＩＳＰ１４からはＹ，Ｃｂ，Ｃｒの各デジタル信号が８ｂｉｔの解像度にて出力される。

前記結像光学系ブロック１２は、撮像レンズ２を構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがＣＰＵ２１の命令に従い前記光学系駆動制御部１５により駆動を制御される。また、カメラモジュール１１からの出力信号（Ｙ，Ｃｒ，Ｃｂの各データ）は、ＤＭＡ２２によりワークメモリ２３へ転送される。ワークメモリ２３は、ＤＲＡＭ等で構成される本発明の記憶手段である。

ワークメモリ２３へ転送されたＹ，Ｃｒ，Ｃｂの各データは、画像エンジン２４によってＲＧＢ形式の画像データに変換された後、ＶＲＡＭ２５に転送される。なお、上記画像データには、必要に応じて画像エンジン２４内において種々のＣＧ画像が合成される。

また、画像エンジン２４は、ＣＰＵ２１の命令に従って、ワークメモリ２３へ転送されたＹ，Ｃｒ，Ｃｂの各データを圧縮しＪＰＥＧ等の所望のファイルフォーマットの画像データに変換する。変換後の画像データはフラッシュメモリ２６に保存される一方、必要に応じて読み出されて画像エンジン２４により伸張され、ワークメモリ２３内に展開される。なお、フラッシュメモリ２６には、後述する被写体切り出し撮影モードでの撮影時において切り出した被写体の画像データも記録される。

表示制御部２７は、ワークメモリ２３に格納された画像データに基づく表示データを生成して液晶モニタ４に出力し、液晶モニタ４に画像を表示させる。すなわち撮影待機状態において所定のフレームレートでカメラモジュール１１により取り込まれる通常のスルー画像や、画像エンジン２４によりＣＧ画像が合成された状態のスルー画像、フラッシュメモリ２６から読み出され伸張された後の画像データに基づく記録画像を液晶モニタ４に表示させる。

キー入力部２８は、前述したカーソルキー５、ＳＥＴキー６、メニューキー７、シャッターボタン８、電源ボタン９を含み各キーの操作状態を示す状態信号をＣＰＵ２１へ出力する。ＵＳＢ制御部２９は、ＵＳＢケーブルを介してＵＳＢ接続端子部３０に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。

ＣＰＵ２１は、上述した各部の動作を種々の動作プログラムに従い制御する。ＣＰＵ２１の動作プログラムは、前記フラッシュメモリ２６に、画像データを記録するための画像記録領域とは別に確保されているプログラム格納領域に、デジタルカメラの種々の動作設定に用いられるメニューデータと共に格納されている。

そして、ＣＰＵ２１は、キー入力部２８からの状態信号に対応してフラッシュメモリ２６に格納されている前記複数種の動作モードに対応する撮像プログラムやメニューデータを取り出し、デジタルカメラの動作を制御する。例えば、シャッターボタン８を押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキー７を押したときのカーソルキー５等による機能選択メニューの表示制御や設定画面の表示制御を行う。

そして、ＣＰＵ２１は、被写体切り出し撮影モードにおいては前記撮像プログラムに従い動作することによって、本発明の特定手段（減算手段、ラベリング処理手段を含む）、切り出し手段、表示制御手段、撮像制御手段として機能することにより、後述する処理を実行する。

次に、以上の構成からなるデジタルカメラの本発明に係る動作について説明する。図３は、本実施形態のデジタルカメラにおいて、記録モードの下位モードとして予め用意されている被写体切り出し撮影モードが設定されたときのＣＰＵ２１の処理手順を示すフローチャートである。

ＣＰＵ２１は、被写体切り出し撮影モードの設定とともに撮影待機状態となり、カメラモジュール１１に所定のフレームレートでの画像の取り込み動作を開始させることにより、通常の撮影モードと同様、液晶モニタ４におけるスルー画像の表示を開始する（ステップＳＡ１）。その後、直ちにユーザに対して第１の背景による被写体の撮影を要求する（ステップＳＡ２）。例えば予め用意されている所定のメッセージを液晶モニタ４に表示させることによってユーザに撮影操作を促す。なお、このステップについては、ユーザが被写体切り出し撮影モードの撮影方法を了解していることを前提とし省略しても構わない。

その後、シャッターボタンの操作待ちを行い（ステップＳＡ３でＮＯ）、シャッターボタンが押されたら（ステップＳＡ３でＹＥＳ）、撮影処理を実行し基準画像を取得する（ステップＳＡ４）。すなわちカメラモジュール１１による画像の取り込みを行い、取り込んだ画像データをワークメモリ２３の所定領域に基準画像として一時記憶する。

図５（ａ）は、上記の基準画像Ｇ１の一例を示した図である。図示した基準画像Ｇ１は、ユーザが所望する被写体画像が猫の画像であって、任意の背景を第１の背景とし、主たる被写体である猫を前景に配置して撮影が行われた場合の例である。

その後、ＣＰＵ２１は、ワークメモリ２３に確保した保存対象記憶領域をいったん初期化する（ステップＳＡ５）。なお、図示しないが係る処理は、被写体切り出し撮影モードの設定直後にはスキップする。

その後、先の撮影で使用した第１の背景とは異なる第２の背景による被写体の撮影（但し、シャッターボタン８を押し続けることによる所定の時間間隔での連続撮影）を要求する（ステップＳＡ６）。このときもステップＳＡ１と同様、例えば液晶モニタ４に所定のメッセージを表示させることにより行う。なお、このステップも省略しても構わない。また、上記連続撮影での撮影タイミングはスルー画像として表示する画像の取り込み（撮像）タイミングと同一でも良いし、異なるタイミングでも構わない。

そして、再びシャッターボタンの操作待ちを行い（ステップＳＡ７でＮＯ）、シャッターボタンが押されたら（ステップＳＡ７でＹＥＳ）、それに応答して、連続撮影による１回目の撮影処理を実行し参照画像を取得する（ステップＳＡ８）。すなわちカメラモジュール１１による画像の取り込みを行い、取り込んだ画像データをワークメモリ２３の所定領域に参照画像として一時記憶する。図５（ｂ）は、上記の参照画像Ｇ２の一例を示した図である。

引き続き、ＣＰＵ２１は図４に示した撮影対象候補抽出処理を実行する（ステップＳＡ９）。係る処理では、まず、先に取得した基準画像と参照画像との輝度成分を対象として両画像の差分を取得する（ステップＳＡ１０１）。すなわち基準画像と参照画像との間で対応する画素毎に画素値（輝度値）の減算を行う。

次に、減算処理後のデータについて、差分（減算）結果の絶対値が所定の閾値ＴＨ以下の画素を対象としてラベリング処理を行う（ステップＳＡ１０２）。ラベリング処理は周知のように、互いに連結している画素に同じラベルを付加することで、上記画素群を複数の領域にグループ化する処理である。なお、具体的な手法については任意の手法（４近傍によるラベリング処理等）を使用する。なお、閾値ＴＨは予め決められた値であり、例えばＴＨ＝１である。

図６（ａ）、同図（ｄ）は、上記の差分（減算）結果の絶対値が閾値ＴＨ以下の画素群の例をそれぞれ示したものであり、以後これを便宜的にラベリング対象画像Ｇ３と呼ぶ。すなわち同図（ａ）は、前述した基準画像Ｇ１と参照画像Ｇ２とにおいて画像内（撮影時の画角内）における主たる被写体（猫）の位置が異なっている場合のラベリング対象画像Ｇ３の例、同図（ｄ）は、主たる被写体（猫）の位置が一致している場合のラベリング対象画像Ｇ３の例である。なお、通常は最初に参照画像Ｇ２を取得した時、つまり背景を変えた直後の撮影時点では主たる被写体の位置は基準画像Ｇ１と異なるため、ラベリング対象画像Ｇ３（閾値ＴＨ以下の画素群）は図６（ａ）に示したようなものとなる。

引き続き、ＣＰＵ２１は、上記ラベリング処理においてグループ分けした各々の連結領域（同一ラベルの画素が連結された領域）のうちで一番大きな連結領域を判別し、その連結領域を撮影対象領域、つまりユーザが意図する主たる被写体の領域として特定する（ステップＳＡ１０３）。図６（ｂ）は、同図（ａ）のラベリング対象画像Ｇ３における撮影対象領域１０１、同図（ｅ）は、同図（ｄ）のラベリング対象画像Ｇ３における撮影対象領域１０１をそれぞれ示したものである。

しかる後、参照画像Ｇ２から上記撮影対象領域１０１に対応する部分を撮影対象候補として抽出し（ステップＳＡ１０４）、撮影対象候補抽出処理を終了し、図３の処理へ戻る。なお、ステップＳＡ１０４では、撮影対象領域１０１にラベルが付加されていない中窓状の領域（穴）が存在する場合には、その領域を含めて撮影対象候補として抽出する。

図６（ｃ）、同図（ｆ）は、ステップＳＡ１０４で抽出される（切り出される）撮影対象候補の画像（以後、撮影対象候補画像と呼ぶ）の例を示したものであり、同図（ｃ）は、同図（ｂ）に対応する撮影対象候補画像Ｇ４、同図（ｆ）は、同図（ｄ）に対応する撮影対象候補画像Ｇ４の例である。

そして、図３の処理へ戻りＣＰＵ２１は、上記撮影対象候補抽出処理が連続撮影を開始してから１回目の処理であったとき、すなわち連続撮影の開始直後においては、前述したワークメモリ２３の保存対象記憶領域には保存対象となる画像は保存されていないため（ステップＳＡ１０でＮＯ）、そのままステップＳＡ１２へ進み、撮影対象候補抽出処理で抽出した（切り出した）撮影対象候補画像を保存対象画像として保存対象記憶領域に一時記憶する。

しかる後、ここで記憶した保存対象画像をスルー画像における決められた合成領域に合成して液晶モニタ４に画面表示させる（ステップＳＡ１２）。本実施形態においては、図７（ａ）に示したように、スルー画像Ｇ５の画面右上に決められたサイズの合成領域１０２を設けるとともに、そこに保存対象画像（この場合は、撮影対象候補画像）を合成して表示させる。なお、図７（ａ）は、上記保存対象画像が図６（ｃ）に例示した撮影対象候補画像Ｇ４である場合の例である。

引き続き、ＣＰＵ２１はシャッターボタンの操作が解除されたか否かを確認し、操作が解除されていなければ（ステップＳＡ１３でＮＯ）、ステップＳＡ８へ戻り、次の撮影タイミングで新たな撮影処理を実行し参照画像を取得し、さらにステップＳＡ４で取得した基準画像と新たな参照画像とに基づき再び撮影対象候補抽出処理を行い、新たな撮影対象候補画像を取得する（ステップＳＡ９）。

しかる後、新たに取得した撮影対象候補画像と、その時点でワークメモリ２３の保存対象記憶領域に記憶されている保存対象画像との大きさを比較し、その撮影対象候補画像が保存対象画像よりも大きくなければ（ステップＳＡ１０でＮＯ）、そのままステップＳＡ１２へ進み、前回と同様の保存対象画像を合成したスルー画像を液晶モニタ４に画面表示させる。

逆に、新たに取得した撮影対象候補画像が保存対象画像よりも大きければ（ステップＳＡ１０でＹＥＳ）、その撮影対象候補画像を新たな保存対象画像として保存対象記憶領域に記憶し（ステップＳＡ１１）、新たに記憶した保存対象画像を合成したスルー画像を液晶モニタ４に画面表示させる（ステップＳＡ１２）。

以後、シャッターボタンの操作が解除されるまで（シャッターボタンが押されている間）はステップＳＡ８〜ＳＡ１２の処理を繰り返し行うことにより、画角の変動に伴い新たに取得した撮影対象候補画像が保存対象画像よりも大きくなる毎に保存対象画像を逐次更新する。その間、いずれかの時点で撮影した参照画像Ｇ２おける主たる被写体（猫）の位置が基準画像Ｇ１と一致すると、その時点でスルー画像Ｇ５の合成領域１０２に表示される保存対象画像が図６（ｆ）に示したような撮影対象候補画像Ｇ４に変化するとともに、それ以降は、その撮影対象候補画像Ｇ４が合成領域１０２に表示され続けることとなる。

そして、ＣＰＵ２１は、いずれかの時点でシャッターボタンの操作が解除されたら（ステップＳＡ１３でＹＥＳ）、その時点で保存対象記憶領域に記憶してある保存対象画像をユーザが意図する被写体の画像としてフラッシュメモリ２６に保存する（ステップＳＡ１４）。これにより被写体切り出し撮影モードによる撮影動作を完了し、係るモードが設定されている間は、前述した全ての処理を繰り返し行う。

本実施形態においては、被写体切り出し撮影モードを用いた撮影に際しては、ユーザに以下の要領で画像の取得を望む任意の被写体の撮影を行わせれば、意図する被写体に相当する特定領域のみが切り出された画像、つまりユーザが所望とする被写体画像を確実に取得させることができる。

すなわち、撮影に際しては、ユーザに初めに任意の背景（第１の背景）を選んで画像の取得を望む任意の被写体（上述した例では猫）を撮影させる。次に、ユーザがデジタルカメラの位置を移動させることにより背景を他の背景（第２の背景）に変えてから、同一の被写体の連続撮影を開始する。この際、デジタルカメラは、ユーザがシャッターボタンを押し続けることにより連続撮影を継続し、その間にはユーザにスルー画像Ｇ５に表示されている保存対象画像（Ｇ４）を確認させながらフレーミングを調整させる。その後、ユーザが保存対象画像（Ｇ４）が上記被写体と一致したと判断した時点で、つまりユーザが被写体部分の切り出しが上手くいったと判断した時点でシャッターボタンを離して撮影を終了させることにより、ユーザが所望とする被写体画像を確実に取得させることができる。

また、本実施形態においてデジタルカメラは、基準画像Ｇ１を撮影した後、参照画像Ｇ２を撮影する際には、ユーザがシャッターボタンを押している間に連続撮影を行う。そして、デジタルカメラは、その間には繰り返し取得した保存対象画像Ｇ４の中で最大の保存対象画像Ｇ４のみを逐次更新して記憶しながらスルー画像に合成して表示し、その保存対象画像Ｇ４を最終的に撮影画像として記録するようにした。

よって、ユーザにおいては、シャッターボタンをいちいち操作せずに多数の参照画像Ｇ２を撮影することができ、所望とする被写体画像を容易かつ短時間で確実に取得することができる。なお、所望とする被写体画像を確実に取得するだけであれば、時間は掛かるがシャッターボタンが押される毎に参照画像Ｇ２を取得するようにすることもできる。

しかも、本実施形態においては、ユーザがフレーミングを調整することにより、スルー画像上の合成領域１０２に表示される被写体像が、図７（ｂ）に示されるように所望する被写体（上述した例では猫）の全体像となったとユーザが判断したときに、ユーザがシャッターボタンを離して撮影を終了させれば、所望する被写体の全体画像を確実に切り出して保存することができる。

さらに、ステップＳＡ９の撮影対象候補抽出処理では、撮影対象領域（主たる被写体領域）１０１を、基準画像Ｇ１と参照画像Ｇ２との差分結果に対してラベリング処理を行うことにより特定するようにしたことから、撮影対象領域１０１を高精度で、しかも短い処理時間で特定することができる。

ここで、本実施形態においては、撮影対象候補画像Ｇ４を参照画像Ｇ２から抽出するようにしたが、撮影対象候補画像Ｇ４は基準画像Ｇ１から抽出するようにしても構わない。

また、図４に示した撮影対象候補抽出処理における前述したラベリング処理（ステップＳＡ１０３）では予め決められた閾値ＴＨを用いるようにしたが、基準画像Ｇ１と参照画像Ｇ２との画質状態が異なる場合には閾値ＴＨを大きくするようにしてもよい。例えばラベリング処理に先立ち、基準画像Ｇ１と参照画像Ｇ２とにおいて、主たる被写体と判断される部分の明るさの違いを検出すると共に、それが大きくなるほど閾値ＴＨを大きくする調整を行い、調整後の閾値ＴＨを用いてラベリング処理を行うようにしてもよい。それにより、基準画像Ｇ１と参照画像Ｇ２との画質状態が異なる場合であっても、参照画像Ｇ２からより正確な撮影対象候補画像Ｇ４を抽出することができる。

また、前述したラベリング処理に先立ち、基準画像Ｇ１と参照画像Ｇ２との差分を取得する処理（ステップＳＡ１０１）では、以下のようにしてもよい。例えば基準画像Ｇ１と参照画像Ｇ２とにおいて、主たる被写体と判断される部分の明るさ等の画質状態が異なる場合には、基準画像Ｇ１と参照画像Ｇ２とのうち少なくともいずれか一方をいったん正規化し、つまり両画像Ｇ１，Ｇ２における主たる被写体と判断される部分の明るさを近づける調整処理を行った後、差分を取得するようにしてもよい。それにより、基準画像Ｇ１と参照画像Ｇ２との画質状態が異なる場合であっても、参照画像Ｇ２からより正確な撮影対象候補画像Ｇ４を抽出することができる。

（実施形態２）
次に、本発明に係る第２の実施形態について説明する。本実施形態は、図１及び図２に示した構成のデジタルカメラにおいて、ＣＰＵ２１が被写体切り出し撮影モードで第１の実施形態とは異なる後述する処理を行うとともに、そのためのプログラムが前記フラッシュメモリ２６のプログラム格納領域に格納されており、係るプログラムに従い動作することによりＣＰＵ２１が本発明の特徴点取得手段、補正手段としても機能するものである。

概略を先に述べると、本実施形態においてもＣＰＵ２１は、被写体切り出し撮影モードが設定されたときには図３で説明した処理を行う。但し前述したステップＳＡ９の撮影対象候補抽出処理では、前述した参照画像に射影変換処理をいったん施し、処理後の参照画像において前述した撮影対象領域１０１を特定した後、撮影対象候補画像を抽出する。

図８は、本実施形態においてＣＰＵ２１が実行する撮影対象候補抽出処理を示したフローチャートである。なお、本実施形態では前述したステップＳＡ８以降の連続撮影に際し、ユーザには被写体をできるだけ大きく、且つ画角内の中心に位置させるように撮影を行わせることを前提とする。

以下説明とすると、撮影対象候補抽出処理においてＣＰＵ２１は、まず、ステップＳＡ４で取得した基準画像とステップＳＡ８で取得した参照画像との各々において、予め決められている所定の中心部分領域で特徴点（特徴量の大きい点）を４箇所ずつ抽出する（ステップＳＢ１０１）。

特徴点の抽出には、例えばハリスの特徴点検出関数を用いる。すなわち画像のある位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）とするとき、共分散行列Ｇは下記式（１）で与えられる。

共分散行列Ｇの２個の固有値が大きいときにはその位置にコーナーが存在する事を示しているので、コーナー検出関数、つまりハリスの特徴点検出関数Ｒ＿Ｈは下記式（２）で表すことができる。なお、式（２）において、ｄｅｌ（）は行列式を、ｔｒ（）はトレース（対角成分の和）を表す。ｋは所望の定数であり、例えば０．０４が用いられる。

以上に基づきステップＳＢ１０１では、基準画像Ｉ１、参照画像Ｉ２の中心部分近辺の領域で、各々［数２］で示されるＲ＿Ｈが大きい４点を取得する。図９（ａ）に基準画像Ｉ１を、同図（ｂ）に参照画像Ｉ２を示す。また、同図（ｃ）に基準画像Ｉ１で抽出した４つの特徴点の例を、同図（ｄ）に参照画像Ｉ２で抽出した４つの特徴点の例をそれぞれ示す。なお、図中に白抜きの×印で示した部分（中心部分）が特徴点である。

そして、基準画像Ｉ１で抽出した４つの特徴点を、特微量（Ｒ＿Ｈ）が大きい順に（ｘ１，ｙｌ）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）として識別し、同様に参照画像Ｉ２で取得した４つの特徴点を、特微量（Ｒ＿Ｈ）が大きい順に、（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）として識別することにより、双方の画像Ｉ１，Ｉ２における４つの特徴点を対応付ける（ステップＳＢ１０２）。

ここで、基準画像（ｘ，ｙ）Ｉ１内の被写体と参照画像（ｕ，ｖ）Ｉ２内の被写体とは、両画像の中心領域に被写体が存在し、特徴点がすべて被写体上であるとすれば、下記（３）式で示される同次座標上の射影変換での対応となる。Ｇは射影変換行列で要素は下記（４）式で示される。

したがって、下記式（５）で示される行列式にて射影変換行列Ｇを求める（ステップＳＢ１０３）。

引き続き、参照画像（ｕ，ｖ）Ｉ２の被写体を基準画像Ｉ１の被写体と合わせるため、求めた下記式（６）で表される射影変換行列Ｇを用いて、参照画像（ｕ，ｖ）Ｉ２を射影変換によって修正し、修正参照画像（ｕ’，ｖ’）Ｉ３を取得する（ステップＳＢ１０４）。すなわち参照画像（ｕ，ｖ）Ｉ２を、それが撮影されたときの被写体に対する撮影方向や撮影角度を、基準画像（ｘ，ｙ）Ｉ１が撮影されたときの被写体に対する撮影方向や撮影角度と一致させるように修正（補正）し、図９（ｅ）に示した修正後の画像を修正参照画像（ｕ’，ｖ’）とする。

しかる後、上記修正参照画像Ｉ３と基準画像Ｉ１との差分を取得する（ステップＳＢ１０５）。これ以降は、第１の実施形態の撮影対象候補抽出処理と同様に、差分（減算）結果の絶対値が所定の閾値ＴＨ以下の画素を対象としてラベリング処理を行い（ステップＳＢ１０６）、ラベリング処理においてグループ分けした各々の連結領域のうちで一番大きな連結領域を判別し、その連結領域を撮影対象領域として特定した後（ステップＳＢ１０７）、修正参照画像Ｉ３から上記撮影対象領域に対応する部分を撮影対象候補として抽出し（ステップＳＢ１０８）、撮影対象候補抽出処理を終了する。

以上のように本実施形態においては、撮影対象候補抽出処理において撮影対象領域１０１を特定する際には、射影変換処理によって参照画像をいったん修正した後、修正後の参照画像（修正参照画像Ｉ３）を用いて、基準画像との差分の取得、及びラベリング処理を行うようにした。したがって、第１の実施形態と比べ、撮影対象領域１０１をより一層精度良く特定することができ、より正確な撮影対象候補画像Ｇ４を抽出することができる。つまり所望とする被写体画像としてより良好な画像を得ることができる。

なお、第１及び第２の実施形態においては、本発明をデジタルカメラに適用した場合について説明したが、本発明はこれに限定されるものでなはく、静止画撮影機能を有するものであれば、デジタルビデオカメラ、カメラ付き携帯電話端末等の他のカメラ装置にも適用することができる。

各実施形態に共通する本発明に係るデジタルカメラの外観図である。 同デジタルカメラの電子回路構成の概略を示すブロック図である。 第１の実施形態において、被写体切り出し撮影モードが設定されたときのＣＰＵの処理手順を示すフローチャートである。 撮影対象候補抽出処理の内容を示すフローチャートである。 基準画像と参照画像との例を示す図である。 撮影対象候補抽出処理の過程で生成される画像データの一例を示す図である。 スルー画像の表示例を示す図である。 第２の実施形態における撮影対象候補抽出処理の内容を示すフローチャートである。 同撮影対象候補抽出処理における参照画像の射影変換手順を示す図である。

符号の説明

４ 液晶モニタ
８ シャッターボタン
１１ カメラモジュール
１３ ＣＭＯＳセンサ
２１ ＣＰＵ
２３ ワークメモリ
２６ フラッシュメモリ
２８ キー入力部
１０１ 撮影対象領域
１０２ 合成領域
Ｇ１ 基準画像
Ｇ２ 参照画像
Ｇ３ ラベリング対象画像
Ｇ４ 撮影対象候補画像
Ｇ５ スルー画像
Ｉ１ 基準画像
Ｉ２ 参照画像
Ｉ３ 修正参照画像

Claims (8)

1. 画像から特定領域を切り出す機能を備えたカメラ装置であって、
   被写体を撮像する撮像手段と、
   この撮像手段により一定周期で撮像された画像をスルー画像として表示する表示手段と、
   前記撮像手段により撮像された第１の画像と、この第１の画像の撮像後における前記表示手段によるスルー画像の表示期間中に前記撮像手段により撮像された第２の画像とに基づいて主要被写体領域を特定する特定手段と、
   この特定手段により特定された主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す切り出し手段と、
   前記表示手段によるスルー画像の表示中に、前記撮像手段に被写体を繰り返し撮像させる撮像制御手段と、
   前記切り出し手段により繰り返し切り出される保存対象画像のうち、それまでの中で最大の保存対象画像を記憶する記憶手段と
   を備えることを特徴とするカメラ装置。
2. 画像から特定領域を切り出す機能を備えたカメラ装置であって、
   被写体を撮像する撮像手段と、
   この撮像手段により一定周期で撮像された画像をスルー画像として表示する表示手段と、
   前記撮像手段により撮像された第１の画像と、この第１の画像の撮像後における前記表示手段によるスルー画像の表示期間中に前記撮像手段により撮像された第２の画像とに基づいて主要被写体領域を特定する特定手段と、
   この特定手段により特定された主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す切り出し手段と、
   この切り出し手段により切り出された保存対象画像を記憶する記憶手段と
   を備え、
   前記第１の画像と前記第２の画像とは、同一の主要被写体を含むと共に互いに背景を異にする画像である
   ことを特徴とするカメラ装置。
3. 前記特定手段は、前記第１の画像と前記第２の画像との差分を取得する減算手段と、この減算手段により取得された差分に基づくラベリング処理を行うラベリング処理手段とを含み、このラベリング処理手段によりグループ分けされた複数の連結領域の中で最大の連結領域を主要被写体領域として特定することを特徴とする請求項２記載のカメラ装置。
4. 前記第１の画像と前記第２の画像との双方から所定の同一領域を対象として複数の特徴点をそれぞれ取得する特徴点取得手段と、
   前記第１の画像と前記第２の画像との一方に、前記特徴点取得手段とによって取得された前記第１の画像と前記第２の画像とにおける互いに対応する複数の特徴点を一致させる補正を施す補正手段と
   を備え、
   前記特定手段は、前記第１の画像と前記第２の画像とのうちで前記補正手段による補正された側の画像と、前記第１の画像と前記第２の画像とのうちで前記補正手段による補正されていない側の画像とに基づいて主要被写体領域を特定する
   ことを特徴とする請求項１乃至３いずれか記載のカメラ装置。
5. 画像から特定領域を切り出す機能を備えたカメラ装置において、
   第１の画像を撮像する工程と、
   第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する工程と、
   スルー画像の表示期間中に第２の画像を撮像する工程と、
   第１の画像と第２の画像とに基づいて主要被写体領域を特定する工程と、
   特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す工程と、
   スルー画像の表示期間中に第２の画像を繰り返し撮像させる工程と、
   繰り返し切り出される保存対象画像のうち、それまでの中で最大の保存対象画像を記憶する工程と
   を含むことを特徴とする切り出し画像表示方法。
6. 画像から特定領域を切り出す機能を備えたカメラ装置において、
   第１の画像を撮像する工程と、
   第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する工程と、
   スルー画像の表示期間中に第２の画像を撮像する工程と、
   第１の画像と第２の画像とに基づいて主要被写体領域を特定する工程と、
   特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す工程と、
   切り出した保存対象画像を記憶する工程と
   を含み、
   前記第１の画像と前記第２の画像とは、同一の主要被写体を含むと共に互いに背景を異にする画像である
   ことを特徴とする切り出し画像表示方法。
7. 画像から特定領域を切り出す機能を備えたカメラ装置が有するコンピュータに、
   第１の画像を撮像する手順と、
   第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する手順と、
   スルー画像の表示期間中に第２の画像を撮像する手順と、
   第１の画像と第２の画像とに基づいて主要被写体領域を特定する手順と、
   特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す手順と、
   スルー画像の表示期間中に第２の画像を繰り返し撮像させる手順と、
   繰り返し切り出される保存対象画像のうち、それまでの中で最大の保存対象画像を記憶する手順と
   を実行させることを特徴とするプログラム。
8. 画像から特定領域を切り出す機能を備えたカメラ装置が有するコンピュータに、
   第１の画像を撮像する手順と、
   第１の画像の撮像後に一定周期で撮像した画像をスルー画像として表示する手順と、
   スルー画像の表示期間中に第２の画像を撮像する手順と、
   第１の画像と第２の画像とに基づいて主要被写体領域を特定する手順と、
   特定した主要被写体領域の部分画像を、前記第１の画像と前記第２の画像とのいずれか一方から保存対象画像として切り出す手順と、
   切り出した保存対象画像を記憶する手順と
   を実行させるためのプログラムであって、
   前記第１の画像と前記第２の画像とは、同一の主要被写体を含むと共に互いに背景を異にする画像である
   ことを特徴とするプログラム。

Images