JP4246240B2 - 撮像装置及び撮像プログラム - Google Patents

Description

本発明は、撮像装置及び撮像プログラム、特に撮像によって得られた画像情報から所望のオブジェクト（被写体）に対して画像処理を行う技術に関する。

デジタルカメラで撮像した画像から、人物等の所望のオブジェクトに対して画像処理を施した静止画像を得たい場合、従来はパーソナルコンピュータ等の外部機器により、専用の処理ソフトを用いて処理を行っていた。

しかしながら、上述した従来技術では、画像処理をパーソナルコンピュータ等の外部機器で行うため、所望のオブジェクトに対してリアルタイムで画像処理を施すことができず、画像処理された静止画像を撮影したその場で確認することができないという問題があった。

本発明は上記従来の課題に対してなされたものであり、所望のオブジェクトに対してリアルタイムで画像処理を施すことが可能な撮像装置及び撮像プログラムを提供することを目的としている。

本発明は、撮像素子により撮像を行う撮像装置において、撮像された画像を動画像として圧縮符号化する動画像圧縮符号化手段と、前記圧縮符号化する過程で得られる動画像情報から、動画像中に含まれる少なくとも一つの被写体に関する情報を抽出する手段と、
前記撮像された画像を表示する表示手段と、この表示手段上に抽出された被写体に関する情報を表示すると共に、前記表示された画像の中から所望の被写体を指定する手段とを備え、前記指定された被写体に対して撮影条件の設定を行い、静止画像として撮影することを特徴とする。

本発明の好ましい態様は以下の通りである。

（１）前記画像表示手段は、前記指定された被写体に対応してマーカーを表示し、前記所望の被写体を指定する手段は、前記画像表示手段に表示されたマーカーの内から所望の被写体に対応するマーカーを選択することにより被写体を指定する。

（２）更に、前記抽出された被写体に関する情報に基づき、前記指定された被写体に対して所望の画像処理を行う画像処理手段を備える。

（３）前記画像処理手段は複数種類の画像処理が可能であり、前記被写体毎に画像処理の種類を選択可能とする。

（４）前記撮影された静止画像を圧縮符号化する静止画像圧縮符号化手段を更に備え、前記動画像圧縮符号化手段から出力された動画又は前記静止画像圧縮符号化手段から出力された静止画の少なくとも一方を記録媒体に記録する。

（５）時系列上、前記静止画の前後に位置する動画像から、静止画の位置における動画像を生成し、前記動画像圧縮符号化手段に出力する手段を更に備える。

（６）前記静止画の位置における動画像の生成は、前記静止画像として撮影する際コマ落ちした動画フレームの前後の動画フレームの相関情報を用いて、前記動画フレームを補間して生成し、コマ落ちの無い動画とする。

また、本発明に係る撮像プログラムは、コンピュータに、撮像素子により撮像を行う撮像手順と、撮像された画像を動画像として圧縮符号化する動画像圧縮符号化手順と、前記圧縮符号化する過程で得られる動画像情報から、動画像中に含まれる少なくとも一つの被写体に関する情報を抽出する手順と、前記撮像された画像を表示する手順と、抽出された被写体に関する情報を表示すると共に、前記表示された画像の中から所望の被写体を指定する手順と、前記指定された被写体に対して撮影条件の設定を行い、静止画像として撮影する手順と、を実現させることを特徴とする。

本発明の好ましい態様は以下の通りである。

（１）前記画像表示手順は、前記指定された被写体に対応してマーカーを表示し、
前記所望の被写体を指定する手順は、前記画像表示手順で表示されたマーカーの内から所望の被写体に対応するマーカーを選択することにより被写体を指定する。

（２）更に、前記抽出された被写体に関する情報に基づき、前記指定された被写体に対して所望の画像処理を行う画像処理手順を有する。

（３）前記画像処理手順は複数種類の画像処理が可能であり、前記被写体毎に画像処理の種類を選択可能とする。

（４）前記撮影された静止画像を圧縮符号化する静止画像圧縮符号化手順と、前記動画像圧縮符号化手順で出力された動画又は前記静止画像圧縮符号化手順で出力された静止画の少なくとも一方を記録媒体に記録する手順と、を更に有する。

（５）時系列上、前記静止画の前後に位置する動画像から、静止画の位置における動画像を生成し、前記動画像圧縮符号化手順に送出する手順を更に有する。

（６）前記静止画の位置における動画像を生成する手順は、前記静止画像として撮影する際コマ落ちした動画フレームの前後の動画フレームの相関情報を用いて、前記動画フレームを補間して生成し、コマ落ちの無い動画とする。

本発明によれば、動画像の圧縮符号化の過程でオブジェクト情報を抽出し、抽出されたオブジェクトに対して選択的に画像処理を行うので、リアルタイムで効率的な画像処理を行うことができ、所望の画像処理が施された静止画像を素早く容易に確認することが可能となる。

以下、本発明の実施形態を図面を参照して説明する。

（概要）
図１は、本発明の実施形態に係る撮像装置について、その概要を説明するための図である。

デジタルカメラには、動画像が所定のレート（例えば、３０コマ／秒）で取り込まれる（図１（ａ））。取り込まれた動画像は所定の圧縮符号化処理（ここではＭＰＥＧ圧縮処理）によって圧縮され、動画記録モード時には圧縮された動画像データがハードディスク等の記録媒体に記録される。ＭＰＥＧ圧縮処理では、フレーム間及びフレーム内の相関情報等を利用して画像の圧縮が行われるが、圧縮処理の過程で得られる情報から、動画像中に含まれるオブジェクト（被写体）に関する情報（図の例では、飛行機、自動車、背景等の情報）を抽出することができる（図１（ｂ））。

抽出されたオブジェクト情報を利用することにより、以下のような処理を行うことが可能である。

図１（ｃ）、（ｄ）に示した処理は、指定したオブジェクトのみを抽出して撮影条件の設定等を行うものであり、概要は以下の通りである。

撮影者は、オブジェクト抽出モードを選択し、ＬＣＤ画面上に表示されている動画像中の１以上のオブジェクト（ＭＰＥＧ圧縮処理の過程で得られる情報から各オブジェクトは抽出される）の中から所望のオブジェクトを指定する。例えば、マーカーを用いてＬＣＤ画面上の所望のオブジェクトを指定すればよい。所望のオブジェクトを指定した後、レリーズスイッチを押すことで、指定したオブジェクトに対してＡＥ、ＡＦ等の撮影条件の設定が自動的に行われ、指定したオブジェクトのみが静止画として撮影される。得られた静止画データは所定の圧縮符号化処理（ここではＪＰＥＧ圧縮処理）によって圧縮され、圧縮された静止画データがハードディスク等の記録媒体に記録される。

図１（ｅ）に示した処理は、オブジェクト毎に異なる画像処理を行うものであり、概要は以下の通りである。

撮影者は、編集処理モードを選択し、各オブジェクト毎に後述する背景ボカシ、適応トーンカーブ補正、適応エッジ強調及び肌色補正等の所望の処理を指定する。各オブジェクトの指定はマーカーによって行うことができ、指定された各オブジェクトに対して所望の処理を指定する。このような指定操作を行った後、レリーズスイッチを押すことで、指定したオブジェクト毎に指定した処理が施された画像が静止画として撮影される。得られた静止画データは所定の圧縮符号化処理（ＪＰＥＧ圧縮処理）によって圧縮され、圧縮された静止画データがハードディスク等の記録媒体に記録される。

図２は、静止画撮影において上述した各処理を行う際のＣＣＤ上の処理動作を模式的に示したものである。同図に示すように、指定したオブジェクト（図では自動車）に対してのみ指定した処理が施されるようになっており、その他の部分（図では背景部分）についてはそのような処理は行われない。

以上、本発明の実施形態についてその概要を説明したが、上述したように、ＭＰＥＧ圧縮処理等の圧縮符号化の過程で得られる動画像情報からオブジェクトに関する情報を抽出し、当該オブジェクトに対して選択的に所望の画像処理（信号処理）を行うので、所望のオブジェクトに対してのみリアルタイムで効率的に画像処理を施すことができる。したがって、従来のようにパーソナルコンピュータ等の外部機器を用いて画像処理を行わなくてもよく、所望の画像処理が施された静止画像を撮影したその場で容易に確認することが可能となる。

（構成）
図３は、本発明の実施形態に係る撮像装置について、その主要部の構成を示したブロック図である。

撮像部の基本的な構成は、通常のデジタルカメラと同様であり、レンズユニット１１（撮影レンズ、絞り、シャッタ等からなる）、レンズユニット１１によって結像された被写体像を光電変換するＣＣＤ（撮像素子）１２、ＣＣＤ１２からの光電変換信号の増幅及びＡ／Ｄ変換等を行うアナログ処理回路１３、レンズユニット１１及びＣＣＤ１２の駆動を行う駆動回路１４等から構成されている。

デジタルカメラの各部はＣＰＵ１５によって制御され、このＣＰＵ１５には、レリーズスイッチ、オブジェクトを指定するためのスイッチ、各種画像処理を指定するためのスイッチ等からなるスイッチ部１６が接続されている。

アナログ処理回路１３の出力はデジタル処理回路１７に接続されており、デジタル処理回路１７によって各種デジタル処理が行われるようになっている。このデジタル処理回路１７には、メモリ部１８、ＭＰＥＧ処理部１９、ＪＰＥＧ処理部２０及びオブジェクト検出部２１が接続されている。

メモリ部１８は、バッファメモリとしての機能を有し、撮像部によって得られた画像データ等を一時的に記憶する他、各種画像処理の作業領域としても用いられる。ＭＰＥＧ処理部１９は、ＭＰＥＧ２やＭＰＥＧ４に代表される動画用の圧縮符号化処理を行うものであり、フレーム間及びフレーム内相関を利用して画像の符号化、圧縮等が行われる。ＪＰＥＧ処理部２０は、静止画用の圧縮符号化処理を行うものであり、静止画のフレーム内相関を利用して画像の符号化、圧縮等が行われる。オブジェクト検出部２１は、ＭＰＥＧ処理部１９による圧縮処理の過程で得られる情報から、動画像中に含まれるオブジェクト情報を抽出するものである。

上述したメモリ部１８、ＭＰＥＧ処理部１９、ＪＰＥＧ処理部２０及びオブジェクト検出部２１等との間で各種情報の送受を行うことにより、デジタル処理回路１７では、以下に述べるような各種処理が行われる。

すなわち、デジタル処理回路１７では、ＭＰＥＧ処理部１９よる圧縮処理過程において抽出されたオブジェクト情報に基づき、オブジェクトを切り出す処理や適応トーンカーブ補正等の各種処理が行われる。また、デジタル処理回路１７では、輝度レベルや色調の変換、ホワイトバランス、ガンマ補正等の信号処理や、圧縮された画像データを伸長するための処理も行われる。また、デジタル処理回路１７では、選択されたオブジェクトの輝度や周波数成分等の情報をＣＰＵ１５等を介してレンズユニット１１にフィードバックする。フィードバックされた情報に基づき、選択されたオブジェクトに対する露出やフォーカス等の撮影条件が最適化される。さらに、デジタル処理回路１７では、後述するように、動画と静止画の両方を撮影して記録する際に、動画がコマ落ちして不自然な表示にならないようにするため、圧縮処理過程で得られた動画の相関情報を用いてコマ落ちしたフレームを補間する処理も行われる。

デジタル処理回路１７の出力はＤ／Ａ変換回路２２に接続されており、Ｄ／Ａ変換回路２２でＤ／Ａ変換された信号に基づき、ＬＣＤ２３の画面上に画像が表示される。ＬＣＤ２３の画面上には、撮像された動画像の画素を間引いて信号処理を施した画像或いは、圧縮処理された動画像に伸長処理を施した画像のどちらも表示することができる。また、ＬＣＤ２３には、オブジェクトを指定するためのマーカーも表示されるようになっている。

また、デジタル処理回路１７は、ＨＤＤ２４やその他記録媒体２５（ＦＤ、メモリカード等）との間で情報の送受ができるようになっており、圧縮率や記録媒体の選択を行うことで、画像データがＨＤＤ２４やその他記録媒体２５に記録される。動画や圧縮率の低い画像等のデータ量の多い画像データは主としてＨＤＤ２４に記録され、静止画等のデータ量の少ない画像データは主としてその他記録媒体２５に記録される。画像の種類に応じて（動画、静止画、画像処理等の種類に応じて）所定の記録媒体に画像データを記録することで、異なる種類の画像データを記録媒体毎に管理することができる。

（動作）
図４は、本実施形態における動作の概要を示した図である。

通常は動画像が所定のレート（例えば、３０コマ／秒）で取り込まれ、ＬＣＤ画面（ファインダー画面）に動画像が表示されるとともに、ＭＰＥＧ処理によって圧縮された動画像データがハードディスク等の記録媒体に記録される。また、ＭＰＥＧ処理の過程で得られる情報から動画像中に含まれるオブジェクト情報が抽出され、指定されたオブジェクトが最適条件で撮像できるように、抽出されたオブジェクト情報に基づく情報がレンズユニット（撮影レンズ、絞り、シャッタ等）にフィードバックされる。

静止画を取得する場合には、レリーズ操作によって所望のタイミングで撮像が行われ、撮像された画像に対して所望の信号処理（オブジェクト抽出、背景ボカシ、適応トーンカーブ補正等の信号処理）が行われた後、ＪＰＥＧ処理された静止画像が記録媒体に記録される。

静止画を撮像するときは、動画の撮影条件とは異なった撮影条件が設定されている（例えば、指定したオブジェクトに対して撮影条件が最適化されている）ため、静止画の画像データを静止画の撮像タイミングに対応した動画の１コマとしてそのまま用いることができない。そこで、コマ落ちした動画表示とならないようにするため、ＭＰＥＧ処理の過程で得られる相関情報を用いて、コマ落ち部分を補間するようにしている。具体的には、コマ落ちした前後の動画フレームの相関情報を利用して、こま落ちした動画フレームを補間するようにしている。このような処理により、一連の動画を撮像している最中に静止画を撮像しても、動画のコマ落ち部分が補間されて自然な動画像を得ることができる。

図５は、本実施形態の撮像装置の動作について、その処理の流れを示した図である。

電源がオンされてＣＣＤが駆動されると（Ｓ１）、ＭＰＥＧ情報からオブジェクト情報を得るために、連続的に動画像の撮像が行われる（Ｓ２）。得られた動画像データはＭＰＥＧ圧縮処理され（Ｓ３）、圧縮された動画像データはハードディスク等の記録媒体に記録される（Ｓ４）。また、動画像データに対しては、圧縮されたデータを伸長する処理或いは画素の間引き処理（Ｓ５）が行われ、ファインダー（ＬＣＤ画面）に動画像が表示される（Ｓ６）。また、ＭＰＥＧ処理で得られたオブジェクト情報からオブジェクトが特定され、各オブジェクトに対応して画面上にマーカーが表示されているため、撮影者は所定のスイッチ操作によって所望のオブジェクトを選択することができる（Ｓ７）。

静止画撮影モードが選択された場合には（Ｓ８）、以下に示すような処理が行われる。

通常モードでは、一般的な画像編集処理が行われ、輝度、色調、ホワイトバランス、ガンマ補正等が行われる（Ｓ９）。

特殊編集撮像モードでは、Ｓ７のステップで指定されたオブジェクトに対して各種処理が施される。オブジェクト抽出撮影の場合には、選択されたオブジェクトのみが抽出され、該オブジェクトに対してのみ画像処理が施される（Ｓ１０）。背景ボカシ撮影の場合には、選択された背景画像に対してのみフィルタ処理が施される（Ｓ１１）。適応トーンカーブ補正撮影が行われた場合には、選択されたオブジェクト毎にトーンカーブが選択され（Ｓ１２）、選択されたトーンカーブを用いて各オブジェクトに処理が施される（Ｓ１３）。

このようにして得られた静止画の画像データは、ＪＰＥＧ圧縮処理が施されるか（Ｓ１４）、或いは非圧縮モードの場合には圧縮されずに、選択された記録媒体に記録される（Ｓ１５、Ｓ１６）。

図６は、本実施形態の動作について、各種モード（オブジェクト抽出モード、背景ボカシモード、適応トーンカーブ補正モード）における処理の流れの概要を示した図である。

オブジェクト抽出モードでは、ＭＰＥＧ処理で得られたオブジェクト情報に基づき、撮像された静止画の画像データのうち、指定されたオブジェクトの信号についてのみデジタル処理がなされ、それ以外の信号は処理されずに捨てられる。指定されたオブジェクトについては所定のデジタル処理が施され、デジタル処理が施された信号に基づいて、ＬＣＤ画面上への表示や記録媒体への記録が行われる。

背景ボカシモードでは、ＭＰＥＧ処理で得られたオブジェクト情報に基づき、撮像された静止画の画像データのうち、背景の信号についてのみボカシ処理がなされる。ボカシ処理がなされた背景信号は背景以外の信号とともに所定のデジタル処理が施され、デジタル処理が施された信号に基づいて、ＬＣＤ画面上への表示や記録媒体への記録が行われる。

適応トーンカーブ補正モードでは、ＭＰＥＧ処理で得られたオブジェクト情報に基づいて抽出された各オブジェクト（オブジェクトＡ〜Ｃ）に対して、それぞれ所定のトーンカーブ（トーンカーブＡ〜Ｃ）を用いた補正処理が行われる。各オブジェクトに対してトーンカーブ補正がなされた静止画の画像データは所定のデジタル処理が施され、デジタル処理が施された信号に基づいて、ＬＣＤ画面上への表示や記録媒体への記録が行われる。

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において種々変形して実施することが可能である。さらに、上記実施形態には種々の段階の発明が含まれており、開示された構成要件を適宜組み合わせることによって種々の発明が抽出され得る。例えば、開示された構成要件からいくつかの構成要件が削除されても、所定の効果が得られるものであれば発明として抽出され得る。

本発明の実施形態の概要を説明するための図。 本発明の実施形態に係り、静止画撮影において各種処理を行う際のＣＣＤ上の処理動作を模式的に示した図。 本発明の実施形態に係る撮像装置の主要部の構成を示したブロック図。 本発明の実施形態に係る撮像装置の動作の概要を示した図。 本発明の実施形態に係る撮像装置における処理の流れを示した図。 本発明の実施形態に係る撮像装置について、各種モードにおける処理の流れの概要を示した図。

符号の説明

１１…レンズユニット
１２…ＣＣＤ
１３…アナログ処理回路
１４…駆動回路
１５…ＣＰＵ
１６…スイッチ部
１７…デジタル処理回路
１８…メモリ部
１９…ＭＰＥＧ処理部
２０…ＪＰＥＧ処理部
２１…オブジェクト検出部
２２…Ｄ／Ａ変換回路
２３…ＬＣＤ
２４…ＨＤＤ
２５…その他記録媒体

Claims (14)

1. 撮像素子により撮像を行う撮像装置において、
   撮像された画像を動画像として圧縮符号化する動画像圧縮符号化手段と、
   前記圧縮符号化する過程で得られる動画像情報から、動画像中に含まれる少なくとも一つの被写体に関する情報を抽出する手段と、
   前記撮像された画像を表示する表示手段と、
   この表示手段上に抽出された被写体に関する情報を表示すると共に、前記表示された画像の中から所望の被写体を指定する手段とを備え、
   前記指定された被写体に対して撮影条件の設定を行い、静止画像として撮影することを特徴とする撮像装置。
2. 前記画像表示手段は、前記指定された被写体に対応してマーカーを表示し、
   前記所望の被写体を指定する手段は、前記画像表示手段に表示されたマーカーの内から所望の被写体に対応するマーカーを選択することにより被写体を指定することを特徴とする請求項１に記載の撮像装置。
3. 更に、前記抽出された被写体に関する情報に基づき、前記指定された被写体に対して所望の画像処理を行う画像処理手段を備えたことを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理手段は複数種類の画像処理が可能であり、前記被写体毎に画像処理の種類を選択可能としたことを特徴とする請求項３に記載の撮像装置。
5. 前記撮影された静止画像を圧縮符号化する静止画像圧縮符号化手段を更に備え、前記動画像圧縮符号化手段から出力された動画又は前記静止画像圧縮符号化手段から出力された静止画の少なくとも一方を記録媒体に記録することを特徴とする請求項１乃至４のいずれか一つに記載の撮像装置。
6. 時系列上、前記静止画の前後に位置する動画像から、静止画の位置における動画像を生成し、前記動画像圧縮符号化手段に出力する手段を更に備えたことを特徴とする請求項５に記載の撮像装置。
7. 前記静止画の位置における動画像の生成は、前記静止画像として撮影する際コマ落ちした動画フレームの前後の動画フレームの相関情報を用いて、前記動画フレームを補間して生成し、コマ落ちの無い動画とすることを特徴とする請求項６に記載の撮像装置。
8. コンピュータに、
   撮像素子により撮像を行う撮像手順と、
   撮像された画像を動画像として圧縮符号化する動画像圧縮符号化手順と、
   前記圧縮符号化する過程で得られる動画像情報から、動画像中に含まれる少なくとも一つの被写体に関する情報を抽出する手順と、
   前記撮像された画像を表示する手順と、
   抽出された被写体に関する情報を表示すると共に、前記表示された画像の中から所望の被写体を指定する手順と、
   前記指定された被写体に対して撮影条件の設定を行い、静止画像として撮影する手順と、を実現させることを特徴とする撮像プログラム。
9. 前記画像表示手順は、前記指定された被写体に対応してマーカーを表示し、
   前記所望の被写体を指定する手順は、前記画像表示手順で表示されたマーカーの内から所望の被写体に対応するマーカーを選択することにより被写体を指定することを特徴とする請求項８に記載の撮像プログラム。
10. 更に、前記抽出された被写体に関する情報に基づき、前記指定された被写体に対して所望の画像処理を行う画像処理手順を有することを特徴とする請求項８または９に記載の撮像プログラム。
11. 前記画像処理手順は複数種類の画像処理が可能であり、前記被写体毎に画像処理の種類を選択可能としたことを特徴とする請求項１０に記載の撮像プログラム。
12. 前記撮影された静止画像を圧縮符号化する静止画像圧縮符号化手順と、前記動画像圧縮符号化手順で出力された動画又は前記静止画像圧縮符号化手順で出力された静止画の少なくとも一方を記録媒体に記録する手順と、を更に有することを特徴とする請求項８乃至１１のいずれか一つに記載の撮像プログラム。
13. 時系列上、前記静止画の前後に位置する動画像から、静止画の位置における動画像を生成し、前記動画像圧縮符号化手順に送出する手順を更に有することを特徴とする請求項１２に記載の撮像プログラム。
14. 前記静止画の位置における動画像を生成する手順は、前記静止画像として撮影する際コマ落ちした動画フレームの前後の動画フレームの相関情報を用いて、前記動画フレームを補間して生成し、コマ落ちの無い動画とすることを特徴とする請求項１３に記載の撮像プログラム。

Images