JP5041050B2 - 撮像装置および画像処理プログラム - Google Patents

Description

本発明は、被写体像を撮像して画像を生成する撮像装置および処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムに関する。

電子カメラなどの撮像装置により生成された画像においては、検索や編集などを目的として、その画像に含まれる被写体の動き情報や形状情報などの特徴量を抽出する技術が考えられている（例えば、下記特許文献１）。

特開平５−４６７６５号公報

電子カメラなどの撮像装置により生成された画像は、撮影レンズなどの撮影光学系に起因する幾何学的な歪みを含む場合がある。このような幾何学的な歪みには、撮影光学系に望ましくない収差がもともと存在することによる歪みと、ユーザが、映像効果を狙って意図的に付加した歪みとがある。後者の例としては、例えば、魚眼レンズを使用した撮影により生成された画像などがある。何れの場合も、幾何学的な歪みを含む画像から抽出した特徴量は、幾何学的な歪みを含まない画像から抽出した特徴量とは性質が異なるため、画像の検索や編集には不適当な場合が多い。

本発明の撮像装置および画像処理プログラムは、画像から適切な特徴量を抽出して、画像の正確な検索や編集を行うことを目的とする。

本発明の撮像装置は、撮影レンズを介して被写体を撮像して画像を生成する撮像部を備えた撮像装置であって、前記撮影レンズのレンズ情報を取得する取得部と、被写体毎の形状情報を予め記憶する形状記憶部と、前記撮像部により生成した前記画像の幾何学的な歪みを、前記レンズ情報に基づいて補正する画像補正部と、前記画像補正部による補正後の前記画像から、前記画像に含まれる被写体の形状情報を抽出する形状抽出部と、前記補正後の前記画像から前記形状抽出部により抽出した前記形状情報と前記形状記憶部に記憶された前記形状情報とに基づいて、前記撮像部により生成された前記画像に含まれる前記被写体の種類を特定する特定部と、前記撮像部により生成した前記画像と、前記特定部により特定した前記被写体の種類とを関連付けて記録する記録部と、前記被写体の種類に基づいて、前記記録部に記録された前記画像から所定の特徴を有する画像を抽出する画像抽出部とを備える。

なお、前記画像補正部は、前記撮像部による静止画撮影により得られる画像よりも低画素数の画像に対して収差補正を行うことにより、前記幾何学的な歪みを補正しても良い。
また、前記記録部に、前記撮像部により生成した前記画像と前記被写体の種類とを関連付けて記録するか、前記撮像部により生成した前記画像に代えて、前記画像補正部による補正後の前記画像と前記被写体の種類とを関連付けて記録するかを選択する選択部をさらに備えても良い。

本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実行するための画像処理プログラムであって、処理対象の画像と、前記画像の生成時に使用
された撮影レンズのレンズ情報とを取得する取得手順と、前記処理対象の画像の幾何学的な歪みを、前記レンズ情報に基づいて補正する画像補正手順と、前記画像補正手順による補正後の前記処理対象の画像から、前記画像に含まれる被写体の形状情報を抽出する形状抽出手順と、前記補正後の前記処理対象の前記画像から前記形状抽出手順により抽出した前記形状情報と、予め記憶された被写体毎の形状情報とに基づいて、前記処理対象の前記画像に含まれる前記被写体の種類を特定する特定手順と、前記処理対象の画像と、前記特定手順により特定した前記被写体の種類とを関連付けて記録する記録手順と、前記被写体の種類に基づいて、前記記録手順で記録した前記処理対象の前記画像から所定の特徴を有する画像を抽出する画像抽出手順とを備える。

本発明の撮像装置および画像処理プログラムによれば、画像から適切な特徴量を抽出して、画像の正確な検索や編集を行うことができる。

第１実施形態の電子カメラ１の機能ブロック図である。 第１実施形態の電子カメラ１の動作を示すフローチャートである。 歪曲収差について説明する図である。 第２実施形態の電子カメラ１の動作を示すフローチャートである。

＜第１実施形態＞
以下、図面に基づいて本発明の第１実施形態について説明する。第１実施形態では、電子カメラを例に挙げて説明する。

図１は、本発明の第１実施形態の電子カメラ１の機能ブロック図である。図１に示すように、電子カメラ１は、交換可能な撮影レンズ１１、撮像素子１２、レンズ駆動回路１３、制御回路１４、操作部材１５、撮像素子駆動回路１６、信号処理回路１７、データ処理回路１８、圧縮／伸張処理回路１９、モニタ２０、表示制御回路２１、測光回路２２、振れ検出センサ２３、記録媒体２４の各部を備える。

撮影レンズ１１は、撮影光学系を構成する複数枚数のレンズ群で構成され、撮像素子１２の撮像面上に被写体像を結像させる。撮影レンズ１１は、不図示のフォーカスレンズを含み、レンズ駆動回路１３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ１１のフォーカス調節が行われる。また、撮影レンズ１１は不図示のズームレンズを含み、レンズ駆動回路１３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ１１のズーム調節（焦点距離の変更）が行われる。レンズ駆動回路１３は、制御回路１４から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号を用いて不図示のレンズ駆動機構を駆動することにより、各レンズを移動させる。

また、撮影レンズ１１は、制御回路１４との間で、通信可能に構成されており、撮影時の焦点距離、ズーム倍率、不図示の絞り値、後述する収差情報などを、制御回路１４に送信することができる。

撮像素子１２は、静止画像の撮像とともに、動画像の撮像が可能である。撮像素子１２は、例えばＣＣＤ撮像素子あるいはＣＭＯＳ型撮像素子などによって構成される。

撮像素子駆動回路１６は、制御回路１４から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１２へ供給する。撮像素子１２は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。制御回路１４は、測光回路２２による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子１２の電荷蓄積時間、撮影レンズ１１の絞り、および撮像素子１２より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１２から出力される信号から求める構成としても良い。この場合には、撮像素子１２が測光回路２２の機能を司る。

撮像素子１２から読み出された画像信号は、信号処理回路１７へ入力される。信号処理回路１７は、制御回路１４からの指令に応じて入力信号に対する増幅、直流再生、Ａ／Ｄ変換、ホワイトバランス、およびガンマ変換等の信号処理を施し、信号処理後のデータを画像データとしてデータ処理回路１８へ出力する。

データ処理回路１８は、制御回路１４からの指令に応じて、信号処理回路１７より出力された画像データを圧縮／伸張処理回路１９に出力するとともに、モニタ２０に再生画像を表示させるために必要な解像度変換（画素数変換）処理を画像データに施し、解像度変換処理後の画像データを表示制御回路２１へ出力する。なお、データ処理回路１８は、電子ズーム処理を行う際には、入力される画像データに対して解像度（画素数）変換処理を施して、圧縮／伸張処理回路１９および表示制御回路２１へそれぞれ出力する。

また、データ処理回路１８は、制御回路１４より、撮影時のレンズ設定情報（焦点距離、ズーム倍率等）、撮影レンズ１１の収差情報を入力し、信号処理回路１７より入力された画像データに対する収差補正を行う（詳細は後述する）。また、データ処理回路１８は、被写体の種類と各種特徴量との関係が記録された辞書データを記憶する記憶回路を有し、画像毎に算出される特徴量をもとに、被写体の種類を特定する（詳細は後述する）。

圧縮／伸張処理回路１９は、制御回路１４からの指令に応じて、データ処理回路１８から入力される画像データに所定の形式で圧縮処理を施し、圧縮後の画像データを記録媒体２４へ記録する。撮影時に記録媒体２４へ画像データを記録する場合、記録する画像データに対応する再生画像がモニタ２０に表示される。なお、操作部材１５で画像データの非圧縮での記録が指示された場合、圧縮／伸張処理回路１９は圧縮処理を行わずに、画像データを記録媒体２４へ記録する。この場合にも、モニタ２０には記録する画像データに対応する再生画像が表示される。

また、電子カメラ１は、記録媒体２４に記録されている画像データによる再生画像をモニタ２０に表示する（再生モード）ことも可能に構成される。この場合、圧縮／伸張処理回路１９は、制御回路１４からの指令に応じて記録媒体２４に記録されている画像データを読み出し、読み出しデータに対して復号化処理を施した上で復号化後の画像データをデータ処理回路１８へ送る。再生時にデータ処理回路１８が復号化後の画像データに解像度変換処理を施して表示制御回路２１へ出力することにより、再生画像がモニタ２０に表示される。なお、記録媒体２４に記録されている非圧縮の画像データが読み出された場合には、圧縮処理の逆処理である復号化処理は行われない。圧縮／伸張処理回路１９は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

表示制御回路２１は、制御回路１４からの指令に応じて、データ処理回路１８から入力される画像データに所定の信号処理を施してモニタ２０へ出力する。表示制御回路２１はさらに、上記画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ２０に表示される。

操作部材１５はレリーズ釦、ＲＥＣ釦などを含み、操作内容に応じた操作信号を制御回路１４へ出力する。制御回路１４は、レリーズ釦の押下操作に基づくレリーズ操作信号が操作部材１５から入力されると、撮像素子１２から読み出される画像信号の中で、撮像画面内に予め設定されているフォーカス検出領域に対応する信号を用いて公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

具体的には、信号処理回路１７によって信号処理された画像データのうち、フォーカス検出領域に対応する画像データについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路１３へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１２によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。なお、上記コントラスト方式のＡＦ動作に加えて、公知の瞳分割方式による位相差ＡＦ動作を行うように構成しても良い。

操作部材１５は、さらに、ズーム操作部材も含む。制御回路１４は、ズーム操作に基づくズーム操作信号が操作部材１５から入力されると、上述したレンズ駆動指令を発生し、レンズ駆動回路１３にズームレンズを進退駆動させる。これにより、撮像素子１２の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。

制御回路１４はさらに、ズーム操作に基づくズーム操作信号が操作部材１５から入力されるとデータ処理回路１８へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ２０に表示される画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。解像度変換比率は電子ズーム倍率に対応する。データ処理回路１８が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ２０に表示される。この場合、拡大率が上がる反面、再生画像の表示範囲は狭くなる。一方、データ処理回路１８が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ２０に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。撮像素子１２による撮影モードに設定されている場合、モニタ２０に表示されている画像に対応する撮影画像の画像データを記録媒体２４に記録することができる。

振れ検出センサ２３は、例えば角速度センサ、ジャイロセンサ等で構成され、電子カメラ１の筐体内に設けられ、筐体の振れを直交する２方向について検出する。操作部材１５のレリーズ釦の操作に基づいて、筐体に振れが発生したときに、振れ検出センサ２３は、これを検知し、直交する２方向の振れ量データを制御回路１４に出力する。制御回路１４は、筐体の振れに伴う撮像素子１２の撮像面上に結像される被写体像の移動が打ち消されるように、撮影レンズ１１に内蔵される手振れ補正光学系を、レンズ駆動回路１３を介して駆動する。これによっていわゆる手振れ補正が実現される。

記録媒体２４は、メモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。記録媒体２４は、電子カメラ１に内蔵されるものであっても良いし、着脱可能に装着されるものであっても良い。また、電子カメラ１の外部に設けられるものであっても良い。その場合、記録媒体２４と電子カメラ１とは有線または無線で電気的に接続される。

以上説明した構成の電子カメラ１における撮影時の動作の概略について、図２に示すフローチャートを用いて説明する。なお、図２のフローチャートは、「スルー画像撮影動作時」、「静止画像本撮影動作時」、「動画像撮影動作時」の３つの動作モード時に共通の処理である。なお、スルー画像撮影とは、静止画像本撮影の前段階として行われる予備撮影である。静止画像本撮影は、例えば、操作部１５のレリーズ釦の全押し操作信号（撮影指示）に応じて行われる撮影である。また、動画撮影は、例えば、操作部１５のＲＥＣ釦の操作に応じて行われる撮影である。

ステップＳ１において、制御回路１４は、撮像が指示されたか否かを判定する。制御回路１４は、操作部材１５を介して撮像が指示されたと判定すると、ステップＳ２に進む。

ステップＳ２において、制御回路１４は、各部を制御して被写体像を撮像する。

ステップＳ３において、制御回路１４は、撮影レンズ１１から撮影時のレンズ設定情報（焦点距離、ズーム倍率等）や、撮影レンズ１１の収差情報を取得する。収差情報とは、撮影レンズ１１の設計値や、予め撮影レンズ１１の特性をテストしたテスト値などである。また、撮影レンズの種類毎に収差情報を電子カメラ１内に記録しておき、収差情報として撮影レンズの種類を取得する構成としても良い。

ステップＳ４において、制御回路１４は、データ処理回路１８を制御して、ステップＳ３で取得した情報に基づいて、画像の歪曲収差（幾何学的な歪み）を補正する。なお、データ処理回路１８は、歪曲収差を補正する前の画像の画像データを、内部メモリなどに一時記録する。

例えば、図３Ａに示すように、被写体の下部に山Ｍａが存在し、上部に飛行機Ｆａが左から右に移動している場合、歪曲収差が発生すると山Ｍａは、例えば、山Ｍｂ（図３Ｂ）のように形状が変形し、飛行機Ｆａの軌跡は、例えば、飛行機Ｆｂ（図３Ｂ）のように変形する。データ処理回路１８は、ステップＳ３で取得した情報に基づいて、この歪曲収差を打ち消すように縦方向および横方向に画像を変形させるパラメータを決定し、信号処理回路１７より入力する画像データを変形することにより、歪曲収差を補正する。このパラメータの値は、画像中の位置によって異なるものとなる。歪曲収差が補正されると、図３Ｂに示す信号処理回路１７より入力する画像データは、図３Ａに示す歪曲収差の補正された画像データに補正される。なお、スルー画像撮影動作時および動画像撮影動作時には、連続的に生成される複数フレームの画像のそれぞれについて、歪曲収差を補正する。

ステップＳ５において、制御回路１４は、データ処理回路１８を制御して、ステップＳ４で歪曲収差を補正した画像に含まれる被写体の動きベクトルを算出する。なお、静止画像本撮影動作時においては、このステップをスキップする。

データ処理回路１８は、スルー画像撮影動作時および動画像撮影動作時に、ステップＳ４で収差の補正された複数フレームの画像データを用いて動きベクトルを算出する。なお、データ処理回路１８は、画面内の各被写体毎に動きベクトルを算出する。動きベクトルは、例えば、時間的に隣接するフレーム間で、被写体毎にブロックマッチング処理を行うことによって算出することができる。ステップＳ５では、歪曲収差を補正した画像に含まれる被写体の動きベクトルを算出するので、幾何学的な歪みを含む画像であっても、適切な動きベクトルを算出することができる。

ステップＳ６において、制御回路１４は、データ処理回路１８を制御して、ステップＳ４で歪曲収差を補正した画像に含まれる被写体の形状情報を抽出する。

データ処理回路１８は、ステップＳ４で収差の補正された複数フレームの画像データのそれぞれについて、その画像に含まれる被写体の形状情報を抽出する。なお、データ処理回路１８は、画面内の各被写体毎に形状情報を抽出する。形状情報は、例えば、画像データから所定量以上のエッジ成分を有する閉曲（直）線を抽出することによって抽出することができる。ステップＳ６では、歪曲収差を補正した画像に含まれる被写体の形状情報を抽出するので、幾何学的な歪みを含む画像であっても、適切な形状情報を抽出することができる。

ステップＳ７において、制御回路１４は、データ処理回路１８を制御して、ステップＳ６で抽出した被写体の形状情報に基づいて、被写体の種類を特定する。

データ処理回路１８は、被写体の種類と各種特徴量との関係が記録された辞書データを記憶している。辞書データには、例えば、特徴量として歪曲収差のない状態での形状情報が、被写体種類に対応して記憶されている。データ処理回路１８は、この辞書データと、ステップＳ６で抽出した被写体の形状情報とを比較することにより、被写体の種類を特定する。

ステップＳ８において、制御回路１４は、画像と特徴量と被写体の種類情報とを関連付けて記録媒体２４に記録する。特徴量とは、ステップＳ５で算出した動きベクトル（静止画像本撮影動作時を除く）およびステップＳ６で抽出した形状情報である。制御回路１４は、この特徴量と、内部メモリなどに一時記録した歪曲収差を補正する前の画像の画像データとを関連付けて記録媒体２４に記録する。特徴量は、例えば、テキストデータなどの形で記録される。

なお、記録に際しては、歪曲収差を補正する前の画像に代えて、ステップＳ４で歪曲収差を補正した画像の画像データを記録しても良い。また、歪曲収差を補正する前後両方の画像の画像データを記録しても良い。どの画像を記録するかは、ユーザにより操作部１５を介して選択可能にしても良い。また、例えば、撮影時のレンズ設定情報や撮影レンズ１１の収差情報に基づき、魚眼レンズなどを使用した撮影により、ユーザが映像効果を狙って意図的に歪みを付加したと推定できる場合には、歪曲収差を補正する前の画像の画像データを自動的に記録する構成としても良い。

次に、「スルー画像撮影動作時」、「静止画像本撮影動作時」、「動画像撮影動作時」のそれぞれについて、詳細を説明する。

＜スルー画像撮影動作＞
電子カメラ１は、静止画像本撮影動作を行う際に、操作部材１５からレリーズ釦の半押し操作に基づく半押し操作信号が制御回路１４へ入力されると、上述したＡＦ動作を伴ったスルー画像撮影動作を行う。スルー画像撮影動作は、所定のフレームレートで繰り返し行われており、レリーズ釦の半押し操作中、スルー画像撮影動作と並行して、上述したＡＦ動作が行われ、撮影されたスルー画像がモニタ２０に表示される。

制御回路１４は、撮像素子駆動回路１６へ指示を送り、スルー画像撮影動作を実行するための駆動信号を出力させる。撮像素子１２は、スルー画像撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで蓄積電荷を連続的に出力する。スルー画像撮影用の露出条件は測光回路２２による測光データに基づいて決定される。信号処理回路１７は、入力された信号に上述した信号処理を施すとともに、撮像素子１２上において近傍に位置する同色画素（単板カラーの撮像素子の場合）の信号を加算し、後述する静止画像本撮影時に比べて低解像度（低画素数）の映像信号としてデータ処理回路１８へ出力する。

データ処理回路１８は、上述した動きベクトルの算出および被写体の種類の特定を行うとともに、解像度変換処理を施した画像データを表示制御回路２１へ出力する。その結果、スルー画像がモニタ２０に表示される。これにより、ユーザは、これから本撮影しようとする被写界の状態をモニタ２０の画面で観察することができる。すなわち、スルー画像撮影動作においては、撮像動作と表示動作が並行して行われる。

＜静止画像本撮影動作＞
スルー画像撮影動作に続いてレリーズ釦が全押し操作されると、全押し操作信号が制御回路１４へ入力される。電子カメラ１は、全押し操作信号に応じて静止画像本撮影動作を開始する。

制御回路１４は、操作部材１５（レリーズ釦）からの全押し操作信号を検出すると撮像素子駆動回路１６へ指示を送り、本撮影動作を実行するための駆動信号を出力させる。撮像素子１２は、静止画像本撮影動作のための駆動信号を受けて、露出演算結果に基づく本撮影用の電荷蓄積を行って蓄積電荷を出力する。本撮影用の露出条件は、直近のスルー画像の画像データの信号値から得られる被写界の明るさ情報に基づいて決定される。信号処理回路１７は入力された信号に上述した信号処理を施し、スルー画像撮影時に比べて高解像度（高画素数）の画像データとしてデータ処理回路１８へ出力する。

データ処理回路１８は、上述した被写体の種類の特定を行うとともに、解像度変換処理を施した画像データを表示制御回路２１へ出力する。その結果、静止画像本撮影画像がモニタ２０に表示される。また、圧縮／伸張処理回路１９によって圧縮処理された画像データが、特定された被写体の種類情報、特徴量とともに記録媒体２４へ記録される。

なお、操作部材１５の操作によって記録媒体２４への非圧縮状態での記録が指示されている場合には、圧縮／伸張処理回路１９での圧縮処理は行われず、記録媒体２４への記録が行われる。また、記録媒体２４への記録動作を行うにあたり、操作部材１５の操作により圧縮率を変更可能な構成としても良い。

さらに、記録媒体２４には、上述の静止画像本撮影において取得した撮影距離情報を、静止画像データに関連付けて記録する。

＜動画撮影動作＞
電子カメラ１は、動画撮影動作を行う際に、操作部材１５からＲＥＣ釦の操作信号が制御回路１４へ入力されると、上述したＡＦ動作を伴った動画撮影動作を行う。動画撮影動作は、所定のフレームレートで繰り返し行われており、ＲＥＣ釦の押圧操作中、動画撮影動作と並行して、上述したＡＦ動作が行われ、撮影された動画像がモニタ２０に表示されるとともに、圧縮された画像データが、記録媒体２４に記録される。

制御回路１４は、撮像素子駆動回路１６へ指示を送り、動画撮影動作を実行するための駆動信号を出力させる。撮像素子１２は、動画撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで蓄積電荷を連続的に出力する。動画撮影用の露出条件は測光回路２２による測光データに基づいて決定される。

データ処理回路１８は、上述した動きベクトルの算出および被写体の種類の特定を行うとともに、モニタ２０の表示画素数にあわせて解像度変換処理を施した画像データを表示制御回路２１へ出力する。その結果、撮影された動画像がモニタ２０に表示される。

データ処理回路１８は、上述の解像度変換がなされる前の画像データを圧縮／伸張処理回路１９に出力する。すなわち、動画撮影動作においては、撮像動作と表示動作と記録動作とが並行して行われる。

なお、データ処理回路１８は、上述したように、制御回路１４より、撮影時のレンズ設定情報（焦点距離、ズーム倍率等）、撮影レンズ１１の歪曲収差情報を入力し、歪曲収差を補正して、収差の補正された複数フレームの画像データを用いて動きベクトルを算出する。

最後に、記録媒体２４に記録した画像の検索や編集時の処理について説明する。

＜動画像について＞
ユーザは、操作部材１５を操作して、記録媒体２４に記録される動画像を構成する複数フレームの画像の中から、各フレーム画像に関連付けて記録されている特徴量（動き情報、形状情報）、被写体の種類情報をもとに、所望のシーンを抽出することができる。

制御回路１４は、モニタ２０に所定の特徴量、被写体の種類情報を選択可能にメニュー表示する。ユーザは、モニタ２０に表示された被写体の種類の中から、操作部材１５を用いて所望の被写体種類を選択する。例えば、被写体の種類として「人物Ａ」が選択され、動き情報（特徴量）として移動方向と移動量が選択されると、制御回路１４は、選択された被写体種類、特徴量を読み込み、記録媒体２４に記録されている動画像の画像データの中から、選択された種類の被写体が、指定された移動方向、移動量で移動しているシーンの最初のフレームを抽出し、モニタ２０に表示させる。制御回路１４は、複数のシーンを抽出した場合には、各シーンの最初のフレームの縮小画像をモニタ２０に表示すると良い。

そして、ユーザによって何れかのシーンが選択されると、制御回路１４は、記録媒体２４から選択されたシーンに対応する画像データを順次読み出し、モニタ２０への再生動作を開始する。

＜静止画像について＞
ユーザは、操作部材１５を操作して、記録媒体２４に記録される静止画像の中から、静止画像に関連付けて記録されている特徴量（形状情報、被写体の種類）をもとに、所望の静止画像を抽出することができる。

制御回路１４は、例えば、モニタ２０に所定の被写体の種類情報を選択可能にメニュー表示する。ユーザは、モニタ２０に表示された被写体の種類の中から、操作部材１５を用いて所望の被写体種類を選択する。例えば、被写体の種類として「人物Ｂ」が選択されると、制御回路１４は、選択された被写体種類を読み込み、記録媒体２４に記録されている静止画像の中から、選択された種類の被写体を含む静止画像を抽出し、モニタ２０に表示させる。制御回路１４は、複数の静止画像を抽出した場合には、各静止画像の縮小画像をモニタ２０に表示すると良い。

そして、ユーザによって何れかの静止画像が選択されると、制御回路１４は、記録媒体２４から選択された静止画像の画像データを読み出し、モニタ２０に再生する。

以上説明したように、第１実施形態によれば、撮影レンズを介して被写体を撮像して画像を生成する撮像部と、撮影レンズのレンズ情報を取得する取得部と、撮像部により生成した画像の幾何学的な歪みを、レンズ情報に基づいて補正する画像補正部と、画像補正部による補正後の画像から、画像に含まれる被写体の動き情報を抽出する動き抽出部と、撮像部により生成した画像と、動き抽出部により抽出した動き情報とを関連付けて記録する記録部と、動き情報に基づいて、記録部に記録された画像から所定の特徴を有する画像を抽出する画像抽出部とを備える。したがって、画像から適切な特徴量（動き情報）を抽出して、画像の正確な検索や編集を行うことができる。

また、第１実施形態によれば、撮影レンズを介して被写体を撮像して画像を生成する撮像部と、撮影レンズのレンズ情報を取得する取得部と、撮像部により生成した画像の幾何学的な歪みを、レンズ情報に基づいて補正する画像補正部と、画像補正部による補正後の画像から、画像に含まれる被写体の形状情報を抽出する形状抽出部とを備える。したがって、画像から適切な特徴量（形状情報）を抽出することができる。

また、第１実施形態によれば、被写体毎の形状情報を予め記憶する形状記憶部と、形状抽出部により抽出した形状情報と形状記憶部に記憶された形状情報とに基づいて、撮像部により生成された画像に含まれる被写体の種類を特定する特定部と、撮像部により生成した画像と、特定部により特定した被写体の種類とを関連付けて記録する記録部と、被写体の種類に基づいて、記録部に記録された画像から所定の特徴を有する画像を抽出する画像抽出部とをさらに備える。したがって、抽出した特徴量（形状情報）、被写体の種類情報に基づいて、画像の正確な検索や編集を行うことができる。

また、第１実施形態によれば、記録部に、撮像部により生成した画像と特徴量（動き情報、形状情報）とを関連付けて記録するか、撮像部により生成した画像に代えて、画像補正部による補正後の画像と特徴量とを関連付けて記録するかを選択する選択部をさらに備える。したがって、撮影光学系に望ましくない収差がもともと存在することによる歪みと、ユーザが、映像効果を狙って意図的に付加した歪みとを区別し、特徴量とともに適切な画像を記録することができる。

なお、第１実施形態では、特徴量として、動き情報と形状情報（被写体の種類）とを求める例を示したが、何れか一方のみでも良い。

＜第２実施形態＞
以下、図面に基づいて本発明の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる部分についてのみ説明する。第２実施形態の電子カメラは、第１実施形態の電子カメラ１と同様の構成を有する。したがって、第２実施形態の電子カメラの図示および構成の説明を省略し、第１実施形態の図１と同様の符号を用いて説明する。

第２実施形態の電子カメラ１における撮影時の動作の概略について、図４に示すフローチャートを用いて説明する。なお、図４のフローチャートは、「スルー画像撮影動作時」、「静止画像本撮影動作時」、「動画像撮影動作時」の３つの動作モード時に共通の処理である。なお、スルー画像撮影とは、静止画像本撮影の前段階として行われる予備撮影である。静止画像本撮影は、例えば、操作部１５のレリーズ釦の全押し操作信号（撮影指示）に応じて行われる撮影である。また、動画撮影は、例えば、操作部１５のＲＥＣ釦の操作に応じて行われる撮影である。

ステップＳ２１において、制御回路１４は、撮像が指示されたか否かを判定する。制御回路１４は、操作部材１５を介して撮像が指示されたと判定すると、ステップＳ２２に進む。

ステップＳ２２において、制御回路１４は、各部を制御して被写体像を撮像する。

ステップＳ２３において、制御回路１４は、撮影レンズ１１から撮影時のレンズ設定情報（焦点距離、ズーム倍率等）や、撮影レンズ１１の収差情報を取得する。

ステップＳ２４において、制御回路１４は、データ処理回路１８を制御して、予め記録した形状情報（辞書データ）を補正する。データ処理回路１８は、被写体の種類と各種特徴量との関係が記録された辞書データを記憶している。この辞書データには、歪曲収差のない状態での形状情報が、被写体種類に対応して記憶されている。そこで、この辞書データを、歪曲収差がある状態での辞書データに補正する。データ処理回路１８は、ステップＳ２３で取得した情報に基づいて、この歪曲収差を加味するように縦方向および横方向のパラメータを決定し、辞書データを補正する。その結果、補正後の辞書データとして、歪曲収差がある状態での形状情報が、被写体種類に対応して算出されることになる。

ステップＳ２５において、制御回路１４は、データ処理回路１８を制御して、ステップＳ２２で撮像した画像に含まれる被写体の形状情報を抽出する。

データ処理回路１８は、ステップＳ２２で撮像した画像の画像データ（複数フレーム存在する場合にはそれぞれについて）に対して、その画像に含まれる被写体の形状情報を抽出する。なお、データ処理回路１８は、画面内の各被写体毎に形状情報を抽出する。形状情報は、例えば、画像データから所定量以上のエッジ成分を有する閉曲（直）線を抽出することによって抽出することができる。

ステップＳ２６において、制御回路１４は、データ処理回路１８を制御して、ステップＳ２５で抽出した被写体の形状情報に基づいて、被写体の種類を特定する。

データ処理回路１８は、ステップＳ２４で補正した辞書データ（形状情報）と、ステップＳ２５で抽出した被写体の形状情報とを比較することにより、被写体の種類を特定する。ステップＳ２６では、歪曲収差に基づいて補正した辞書データを用いて被写体の種類を特定するので、幾何学的な歪みを含む画像であっても、適切に被写体を特定することができる。

ステップＳ２７において、制御回路１４は、画像と特徴量（形状情報）と被写体の種類情報とを関連付けて記録媒体２４に記録する。特徴量とは、ステップＳ２６で特定した被写体の種類である。制御回路１４は、この特徴量と、内部メモリなどに一時記録した撮像により生成した画像とを関連付けて記録媒体２４に記録する。特徴量は、例えば、テキストデータなどの形で記録される。
い。

「スルー画像撮影動作時」、「静止画像本撮影動作時」、「動画像撮影動作時」のそれぞれの動作の詳細については、第１実施形態に準ずるため説明を省略する。また、記録媒体２４に記録した画像の検索や編集時の処理については、第１実施形態と同様であるため説明を省略する。

以上説明したように、第２実施形態によれば、撮影レンズを介して被写体を撮像して画像を生成する撮像部と、撮影レンズのレンズ情報を取得する取得部と、被写体毎の形状情報を予め記憶する形状記憶部と、形状記憶部に記憶された形状情報を、レンズ情報に基づいて補正する形状情報補正部と、撮像部により生成した画像から、画像に含まれる被写体の形状情報を抽出する形状抽出部と、形状抽出部により抽出した形状情報と形状情報補正部により補正された形状情報とに基づいて、画像に含まれる被写体の種類を特定する特定部とを備える。したがって、画像から適切な特徴量（形状情報、被写体の種類）を抽出して、画像の正確な検索や編集を行うことができる。

また、第２実施形態によれば、撮像部により生成した画像と、特定部により特定した被写体の種類とを関連付けて記録する記録部と、被写体の種類に基づいて、記録部に記録された画像から所定の特徴を有する画像を抽出する画像抽出部とをさらに備える。したがって、抽出した特徴量（形状情報）、被写体の種類情報に基づいて、画像の正確な検索や編集を行うことができる。

なお、上記各実施形態では、動画像撮影について、動画像の形式を限定せずに説明したが、動画像の形式はどのようなものであっても良い。例えば、ＭＰＥＧ−７に本発明を適用する場合には、被写体や撮像装置の動き情報や被写体の形状情報などの特徴量をメタデータ領域に記録すると良い。

また、上記各実施形態では、動き情報として被写体の動きベクトルを算出する例を示したが、画像データをもとに撮像装置の動き（パン、チルトなど）を求めるものであっても良い。この場合、撮像装置の動き情報を、画像に関連付けて記録すれば良い。ユーザは、撮像装置の動き情報（向き、方向、回転など）をもとに、上述と同様の処理（検索、編集など）を行うことができる。

また、上記各実施形態では、交換可能な撮影レンズを装着可能な電子カメラを用いて説明したが、撮影レンズと本体とが一体となった電子カメラにも本発明を同様に適用することができる。

また、上記各実施形態では、撮像装置の一例として、電子カメラを用いて説明したが、電子カメラ以外の撮像装置にも本発明を同様に適用することができる。

また、上記各実施形態で説明した処理の一部または全部を、コンピュータなど撮像装置以外の装置で実現する構成としても良い。例えば、コンピュータにおいて実現する場合には、図２および図４で説明した各処理を実現するためのプログラムをコンピュータに記録しておき、そのプログラムにしたがって、各処理を行えば良い。コンピュータにおいては、処理対象の画像とともに画像の生成時に使用された撮影レンズのレンズ情報（設計情報、収差情報など）を取得する構成としても良いし、処理対象の画像とともに、画像の生成時に使用された撮影レンズのレンズ情報に基づいて処理対象の画像の幾何学的な歪みを予め補正し、補正後の処理対象の画像から抽出した画像に含まれる被写体の特徴量（動きベクトルや形状情報）を取得する構成としても良い。

１…電子カメラ，１１…撮影レンズ，１２…撮像素子，１４…制御回路，１８…データ処理回路，２４…記録媒体

Claims (4)

1. 撮影レンズを介して被写体を撮像して画像を生成する撮像部を備えた撮像装置であって、
   前記撮影レンズのレンズ情報を取得する取得部と、
   被写体毎の形状情報を予め記憶する形状記憶部と、
   前記撮像部により生成した前記画像の幾何学的な歪みを、前記レンズ情報に基づいて補正する画像補正部と、
   前記画像補正部による補正後の前記画像から、前記画像に含まれる被写体の形状情報を抽出する形状抽出部と、
   前記補正後の前記画像から前記形状抽出部により抽出した前記形状情報と前記形状記憶部に記憶された前記形状情報とに基づいて、前記撮像部により生成された前記画像に含まれる前記被写体の種類を特定する特定部と、
   前記撮像部により生成した前記画像と、前記特定部により特定した前記被写体の種類とを関連付けて記録する記録部と、
   前記被写体の種類に基づいて、前記記録部に記録された前記画像から所定の特徴を有する画像を抽出する画像抽出部とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像補正部は、前記撮像部による静止画撮影により得られる画像よりも低画素数の画像に対して収差補正を行うことにより、前記幾何学的な歪みを補正する
   ことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記記録部に、前記撮像部により生成した前記画像と前記被写体の種類とを関連付けて記録するか、前記撮像部により生成した前記画像に代えて、前記画像補正部による補正後の前記画像と前記被写体の種類とを関連付けて記録するかを選択する選択部をさらに備える
   ことを特徴とする撮像装置。
4. 処理対象の画像に対する画像処理をコンピュータで実行するための画像処理プログラムであって、
   処理対象の画像と、前記画像の生成時に使用された撮影レンズのレンズ情報とを取得する取得手順と、
   前記処理対象の画像の幾何学的な歪みを、前記レンズ情報に基づいて補正する画像補正手順と、
   前記画像補正手順による補正後の前記処理対象の画像から、前記画像に含まれる被写体の形状情報を抽出する形状抽出手順と、
   前記補正後の前記処理対象の前記画像から前記形状抽出手順により抽出した前記形状情報と、予め記憶された被写体毎の形状情報とに基づいて、前記処理対象の前記画像に含まれる前記被写体の種類を特定する特定手順と、
   前記処理対象の画像と、前記特定手順により特定した前記被写体の種類とを関連付けて記録する記録手順と、
   前記被写体の種類に基づいて、前記記録手順で記録した前記処理対象の前記画像から所定の特徴を有する画像を抽出する画像抽出手順と
   を備えたことを特徴とする画像処理プログラム。

Images