JP2011066877A - 画像処理装置 - Google Patents

Abstract

【解決手段】前処理回路２０は、イメージセンサ１６から出力された生画像データを取り込む。後処理回路２６は、被写界に割り当てられた切り出しエリアに対応する画像データを取り込まれた生画像データに基づいて作成する。後処理回路２８は、切り出しエリアのサイズを下回るサイズを有して被写界に割り当てられた切り出しエリアに対応する画像データを、取り込まれた生画像データに基づいて作成する。ＬＣＤモニタ３２には、後処理回路２６によって作成された画像データに基づくスルー画像が表示され、さらに切り出しエリアの位置を示すガイドラインがスルー画像に多重される。
【効果】後処理回路２６によって作成される画像データと後処理回路２８によって作成される画像データとの間の画角の相違に起因する操作性の低下を抑制することができる。
【選択図】図２

Description

この発明は、画像処理装置に関し、特にディジタルビデオカメラに適用され、共通の被写界を表す複数の被写界像を作成する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、カメラ部から出力された映像信号は、第１の圧縮方式でテープカセットに記録されるとともに、第２の圧縮方式でメモリカードに記録される。液晶モニタには、カメラ部から出力された映像信号に基づく映像が表示される。

特開２００５−１０９９２３号公報

しかし、テープカセットに記録される映像とメモリカードに記録される映像との間で画角（アスペクト比）が相違する場合、一方の映像には現れた物体が他方の映像から消失してしまい、これによって操作性が低下するおそれがある。

また、背景技術では、第１の圧縮方式の映像信号がテープカセットに記録された後にこの映像信号の圧縮方式を第２の圧縮方式に変換し、変換された映像信号をメモリカードに記録する、いわゆるトランスコーディングが実行されることはない。

それゆえに、この発明の主たる目的は、記録される複数の画像間の画角の相違に起因する操作性の低下を抑制することができる、画像処理装置を提供することである。

この発明の他の目的は、トランスコーディングに関する操作性を向上できる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界を表す元画像を取り込む取り込み手段(20)、被写界に割り当てられた第１切り出しエリア(CT1)に対応する第１記録画像を取り込み手段によって取り込まれた元画像に基づいて作成する第１作成手段(26)、第１切り出しエリアのサイズを下回るサイズを有して被写界に割り当てられた第２切り出しエリア(CT2)に対応する第２記録画像を取り込み手段によって取り込まれた元画像に基づいて作成する第２作成手段(28)、第１作成手段によって作成された第１記録画像に対応する第１再現画像を出力する第１出力手段(30, 32)、および第２作成手段によって作成された第２記録画像の再現範囲を示す再現範囲情報を第１出力手段の出力処理と並列して出力する第２出力手段(44, S63, 52, S71, S73, S81, S83)を備える。

好ましくは、取り込み手段によって取り込まれた元画像に基づいて第１切り出しエリアから特定物体を探索する探索手段(38)、および探索手段によって発見された特定物体が第２切り出しエリアで捉えられるように第２切り出しエリアの位置を調整する調整手段(S61)がさらに備えられる。

好ましくは、第２出力手段は第２切り出しエリアを表すグラフィック画像を第１出力手段によって出力される第１再現画像に再現範囲情報として多重するグラフィック画像多重手段(44, S63)を含む。

好ましくは、第２出力手段は第２作成手段によって作成された第２記録画像に対応する第２再現画像を第１出力手段によって出力される第１再現画像に再現範囲情報として多重する第２再現画像多重手段(52, S71~S73, S81~S83)を含む。

ある局面では、第２再現画像の倍率は第１再現画像の倍率と等しく、第２再現画像多重手段は第２切り出しエリアの位置に対応して第２再現画像を第１再現画像に多重する。

他の局面では、第２再現画像の倍率は第１再現画像の倍率よりも小さく、第２再現画像多重手段は第１再現画像上の既定位置に第２再現画像を多重する。

好ましくは、第１作成手段によって作成された第１記録画像を符号化状態で記録媒体(32)に記録する第１記録手段(40, 46)、および第２作成手段によって作成された第２記録画像を符号化状態で記録媒体に記録する第２記録手段(40, 46)がさらに備えられる。

好ましくは、第１切り出しエリアおよび第２切り出しエリアの各々は矩形エリアに相当し、第２切り出しエリアの垂直サイズは第１切り出しエリアの垂直サイズと等しくかつ第２切り出しエリアの水平サイズは第１切り出しエリアの水平サイズよりも小さい。

好ましくは、被写界を捉える撮像手段(16)がさらに備えられ、取り込み手段は撮像手段から出力された被写界像を元画像として取り込む。

さらに好ましくは、撮像面の振動を検出する検出手段(S33~S35)、および検出手段によって検出された振動が補償されるように第１切り出しエリアの位置を変更する変更手段(S39)がさらに備えられる。

好ましくは、第１作成手段は記録指示の有無に関係なく作成処理を実行し、第２作成手段は記録指示に応答して作成処理を実行する。

好ましくは、第１出力手段および第２出力手段はそれぞれ第１再現画像および再現範囲情報を表示手段に向けて出力する。

この発明に従う画像処理装置(10)は、第１画角を有する第１記録画像を記録媒体(48)から再生する再生手段(S141)、第２画角に対応する切り出しエリア(CT2)を再生手段によって再生された第１記録画像上で定義する定義手段(S161, S169)、定義手段によって定義された切り出しエリアに属する第２記録画像を記録媒体に記録する記録手段(S143)、再生手段によって再生された第１記録画像に対応する第１再現画像を出力する第１出力手段(30)、および記録手段によって記録された第２記録画像の再現範囲を示す再現範囲情報を第１出力手段の出力処理と並列して出力する第２出力手段(44, S171, 52, S181, S183)を備える。

好ましくは、記録手段および第１出力手段はそれぞれ再生手段の再生処理と並列して記録処理および出力処理を実行する。

好ましくは、再生手段によって再生された第１記録画像から特定物体を探索する探索手段(38)、および探索手段によって発見された特定物体が切り出しエリアで捉えられるように切り出しエリアの位置を調整する調整手段(S169)がさらに備えられる。

好ましくは、第２出力手段は切り出しエリアを表すグラフィック画像を第１出力手段によって出力される第１再現画像に再現範囲情報として多重するグラフィック画像多重手段(44, S171)を含む。

好ましくは、第２出力手段は第２記録画像に対応する第２再現画像を第１出力手段によって出力される第１再現画像に再現範囲情報として多重する第２再現画像多重手段(52, S181, S183)を含む。

より好ましくは、第２再現画像の倍率は第１再現画像の倍率よりも小さく、第２再現画像多重手段は第１再現画像上の既定位置に第２再現画像を多重する。

好ましくは、第１出力手段および第２出力手段はそれぞれ第１再現画像および再現範囲情報を表示手段に向けて出力する。

この発明によれば、第１記録画像は第１切り出しエリアに対応し、第２記録画像は第１切り出しエリアよりも小さい第２切り出しエリアに対応する。再現範囲情報は、第２記録画像の再現範囲を示し、かつ第１記録画像に対応する第１再現画像の出力処理と並列して出力される。これによって、第１記録画像と第２記録画像との間の画角の相違に起因する操作性の低下を抑制することができる。

この発明によれば、切り出しエリアは記録媒体から再生された第１記録画像上で定義され、定義された切り出しエリアに属する第２記録画像は記録媒体に記録される。これによって、トランスコーディングが実現される。また、第２記録画像の再現範囲を示す再現範囲情報の出力処理は、第１記録画像に対応する第１再現画像の出力処理と並列して実行される。これによって、トランスコーディングが実行中であるか否か、ならびに切り出しエリアが第１記録画像上でどのように定義されるかを、第１再現画像および再現範囲情報を通して認識することができる。こうして、トランスコーディングに関する操作性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 ＳＤＲＡＭの生画像エリアにおける２つの切り出しエリアの割り当て状態の一例を示す図解図である。 記録媒体に形成されたディレクトリ構造の一例を示す図解図である。 （Ａ）はＭＰ４ファイルに収められる画像のアスペクト比を示す図解図であり、（Ｂ）は３ＧＰファイルに収められる画像のアスペクト比を示す図解図である。 （Ａ）は切り出しエリアの位置調整動作の一例を示す図解図であり、（Ｂ）は切り出しエリアの位置調整動作の他の一例を示す図解図であり、（Ｃ）は切り出しエリアの位置調整動作のその他の一例を示す図解図である。 （Ａ）は再現画像の一例を示す図解図であり、（Ｂ）は再現画像の他の一例を示す図解図であり、（Ｃ）は再現画像のその他の一例を示す図解図である。 図２実施例に適用される物体検出回路の構成の一例を示すブロック図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 他の実施例の一部を示すブロック図である。 他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 他の実施例における再現画像の一例を示す図解図である。 その他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 その他の実施例における再現画像の一例を示す図解図である。 さらにその他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 さらにその他の実施例における再現画像の一例を示す図解図である。 この発明の一実施例の基本的構成を示すブロック図である。 この発明の他の実施例の構成を示すブロック図である。 図２２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図２２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成１］

図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段１ａは、被写界を表す元画像を取り込む。第１作成手段２ａは、被写界に割り当てられた第１切り出しエリアに対応する第１記録画像を、取り込み手段１ａによって取り込まれた元画像に基づいて作成する。第２作成手段３ａは、第１切り出しエリアのサイズを下回るサイズを有して被写界に割り当てられた第２切り出しエリアに対応する第２記録画像を、取り込み手段１ａによって取り込まれた元画像に基づいて作成する。第１出力手段４ａは、第１作成手段２ａによって作成された第１記録画像に対応する第１再現画像を出力する。第２出力手段５ａは、第２作成手段３ａによって作成された第２記録画像の再現範囲を示す再現範囲情報を第１出力手段４ａの出力処理と並列して出力する。

このように、第１記録画像は第１切り出しエリアに対応し、第２記録画像は第１切り出しエリアよりも小さい第２切り出しエリアに対応する。再現範囲情報は、第２記録画像の再現範囲を示し、かつ第１記録画像に対応する第１再現画像の出力処理と並列して出力される。これによって、第１記録画像と第２記録画像との間の画角の相違に起因する操作性の低下を抑制することができる。
［実施例１］

図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。なお、撮像面の有効画像エリアは、水平２５６０画素×垂直１６００画素の解像度を有する。

電源が投入されると、ＣＰＵ３４は、撮像タスクの下で動画取り込み処理を実行するべく、ドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の生画像エリア２４ａ（図３参照）に書き込まれる。

図４を参照して、生画像エリア２４ａには、切り出しエリアＣＴ１およびＣＴ２が割り当てられる。切り出しエリアＣＴ１は水平１９２０画素×垂直１０８０画素に相当する解像度（アスペクト比は１６：９）を有する。一方、切り出しエリアＣＴ２は水平６４０画素×垂直４８０画素に相当する解像度（アスペクト比は４：３）を有する。

後処理回路２６は、メモリ制御回路２２を通して生画像エリア２４ａにアクセスし、切り出しエリアＣＴ１に対応する生画像データを飛び越し走査態様で１／６０秒毎に読み出す。読み出された生画像データは色分離，白バランス調整，ＹＵＶ変換，エッジ協調，ズームなどの処理を施され、この結果、１０８０／６０ｉ方式に対応する画像データが作成される。作成された画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂ（図３参照）に書き込まれる。

ＬＣＤドライバ３０は、ＹＵＶ画像エリア２４ｂに格納された画像データを繰り返し読み出し、読み出された画像データをＬＣＤモニタ３２の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

前処理回路２０はまた、生画像データを簡易的にＹデータに変換し、変換されたＹデータをＣＰＵ３６に与える。ＣＰＵ３６は、撮像条件調整タスクの下でＹデータにＡＥ処理を施し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。ＣＰＵ３６はまた、ＡＦ起動条件が満足されるときに、Ｙデータの高周波成分にＡＦ処理を施す。フォーカスレンズ１２はドライバ１８ａによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。

ＣＰＵ３６はまた、光軸に直交する方向における撮像面の動きをＹデータに基づいて検出するべく、切り出しエリア制御タスク１の下で動き検出処理を実行する。ＣＰＵ３６は、検出された動きが撮像面のパン／チルト動作に相当するとき切り出しエリアＣＴ１の移動を中断し、検出された動きが撮像面の手振れに相当するとき手振れが補償されるように切り出しエリアＣＴ１を移動させる。これによって、手振れに起因するスルー画像の振動が抑制される。

キー入力装置３４に向けて記録開始操作が行われると、ＣＰＵ３６は、撮像タスクの下でＩ／Ｆ４６を通して記録媒体４８にアクセスし、ＭＰ４ファイルおよび３ＧＰファイルを記録媒体４８に新規に作成する（作成されたＭＰ４ファイルおよび３ＧＰファイルはオープンされる）。

ＭＰ４ファイルにはＳＡＮＹ＊＊＊＊．ＭＰ４（＊＊＊＊は識別番号、以下同じ）のファイル名が割り当てられ、３ＧＰファイルにはＭＯＶ＊＊＊＊．３ＧＰのファイル名が割り当てられる。ここで、同時に作成されるＭＰ４ファイルおよび３ＧＰファイルには、共通の識別番号が割り当てられ、共通の被写界像を有するＭＰ４ファイルおよび３ＧＰファイルは識別番号によって互いに関連付けられる。

なお、記録媒体４８は図５に示すディレクトリ構造を有し、ＭＰ４ファイルはディレクトリＤＣＩＭの下で管理される一方、３ＧＰファイルはディレクトリＳＤ＿ＶＩＤＥＯの下で管理される。

ファイル作成＆オープン処理が完了すると、ＣＰＵ３６は、記録処理を開始するべく、後処理回路２８，ＭＰ４コーデック４０およびＩ／Ｆ４６を撮像タスクの下で起動する。

後処理回路２８は、メモリ制御回路２２を通して生画像エリア２４ａにアクセスし、切り出しエリアＣＴ２に属する生画像データを飛び越し走査態様で１／３０秒毎に読み出す。読み出された生画像データは色分離，白バランス調整，ＹＵＶ変換，エッジ強調，ズームなどの処理を施され、この結果、４８０／３０ｉ方式に対応する画像データが後処理回路２８から出力される。出力された画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｃ（図３参照）に書き込まれる。なお、エッジ強調度などのパラメータ値は、後処理回路２６および２８の間で相違する。

したがって、記録処理が開始された後は、１６：９のアスペクト比を有する１０８０／６０ｉ方式の画像データが（図６（Ａ）参照）ＹＵＶ画像エリア２４ｂに格納されるとともに、４：３のアスペクト比を有する４８０／３０ｉ方式の画像データ（図６（Ｂ）参照）がＹＵＶ画像エリア２４ｃに格納される。

ＭＰ４コーデック４０は、ＹＵＶ画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮し、そして圧縮画像データをメモリ制御回路２２を通して記録画像エリア２４ｄ（図３参照）に書き込む。

ＭＰ４コーデック４０はまた、ＹＵＶ画像エリア２４ｃに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮し、そして圧縮画像データをメモリ制御回路２２を通して記録画像エリア２４ｅ（図３参照）に書き込む。

Ｉ／Ｆ４６は、記録画像エリア２４ｄに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データを記録媒体４８に新規に作成されたＭＰ４ファイルに書き込む。Ｉ／Ｆ４６はまた、記録画像エリア２４ｅに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データを記録媒体４８に新規に作成された３ＧＰファイルに書き込む。

キー入力装置３４に向けて記録終了操作が行われると、ＣＰＵ３６は、記録処理を終了するべく後処理回路２８，ＭＰ４コーデック４０およびＩ／Ｆ４６を停止する。ＣＰＵ３６は続いて、Ｉ／Ｆ４６を通して記録媒体４８にアクセスし、書き込み先のＭＰ４ファイルおよび３ＧＰファイルをクローズする。

切り出しエリアＣＴ２の位置は、記録開始操作から記録終了操作までの期間に、切り出し制御タスク２の下で調整される。ＣＰＵ３６は、切り出しエリアＣＴ２を調整するために、垂直同期信号Ｖｓｙｎｃに応答して物体探索要求を物体検出回路３８に向けて発行する。

物体検出回路３８は、“大サイズ”，“中サイズ”および“小サイズ”の各々を有する照合枠をＹＵＶ画像エリア２４ｂに格納された被写界像（＝１０８０／６０ｉ方式の画像データ）の先頭位置から末尾位置に向けてラスタ走査態様で移動させ、照合枠に属する一部の画像を登録物体（事前操作によって登録された物体）と照合し、符合する物体の位置およびサイズを物体情報としてレジスタ３８ｅに登録する。“小サイズ”の照合枠が末尾位置に到達すると、探索終了通知が物体検出回路３８からＣＰＵ３６に向けて返送される。

ＣＰＵ３６は、物体検出回路３８から返送された探索終了通知に応答して、登録物体に符合する物体の探索に成功したか否かを判別する。物体情報がレジスタ３８ｅに登録されていれば、探索に成功したと判別される一方、物体情報がレジスタ３２ｅに登録されていなければ、探索に失敗したと判別される。

探索に成功したとき、ＣＰＵ３６は、発見された物体を中央で捉えるべく、切り出しエリアＣＴ１からはみ出さない範囲で切り出しエリアＣＴ２を移動させる。探索に失敗したとき、ＣＰＵ３６は、切り出しエリアＣＴ１に移動に合せて切り出しエリアＣＴ２を移動させる。

図７（Ａ）〜図７（Ｃ）を参照して、人物ＨＭが登録物体に符合する物体であり、かつ切り出しエリアＣＴ１が撮像面のパン／チルト動作によって右方向に移動した場合、切り出しエリアＣＴ２は人物ＨＭを中央で捉えるべく、切り出しエリアＣＴ１に対して左右に移動する。

ＣＰＵ３６は、こうして調整される切り出しエリアＣＴ２の位置をオーバレイグラフィックジェネレータ４４に設定し、オーバレイグラフィックジェネレータ４４は設定に対応するグラフィック信号をＬＣＤドライバ３０に与える。この結果、現時点の切り出しエリアＣＴ１の位置を示すガイドラインＧＬ１がスルー画像に多重される。図７（Ａ）〜図７（Ｃ）に示すパン／チルト動作に対応して、スルー画像およびガイドラインＧＬ１の表示は図８（Ａ）〜図８（Ｃ）に示す要領で遷移する。

物体検出回路３８は図９に示すように構成される。コントローラ３８ａは、ＹＵＶ画像エリア２４ｂに矩形の照合枠を割り当て、照合枠に属する一部の画像データをメモリ制御回路２２を通して読み出す。読み出された画像データは、ＳＲＡＭ３８ｂを経て照合回路３８ｃに与えられる。

辞書３８ｄには、登録物体像を表すテンプレートが収められる。照合回路３８ｄは、ＳＲＡＭ３８ｂから与えられた画像データを辞書３８ｄに収められたテンプレートと照合する。画像データと符合するテンプレートが発見されると、照合回路３８ｄは、現時点の照合枠の位置およびサイズとが記述された物体情報をレジスタ３８ｅに登録する。

照合枠は、ＹＵＶ画像エリア２４ｂの先頭位置（左上位置）から末尾位置（右下位置）に向けて、ラスタ走査態様で既定量ずつ移動する。また、照合枠のサイズは、照合枠が末尾位置に到達する毎に“大サイズ”→“中サイズ”→“小サイズ”の順で更新される。“小サイズ”の照合枠が末尾位置に到達すると、探索終了通知が照合回路３８ｃからＣＰＵ３６に向けて返送される。

ＣＰＵ３６は、図１０に示す撮像タスク，図１１に示す撮像条件調整タスク，図１２にす切り出し制御制御タスク１および図１３に示す切り出し制御タスク２を含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。

図１０を参照して、ステップＳ１では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３２に表示される。ステップＳ３では記録開始操作が行われたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進む。ステップＳ５では、Ｉ／Ｆ４６を通して記録媒体４８にアクセスし、オープン状態のＭＰ４ファイルおよび３ＧＰファイルを記録媒体４８に新規に作成する。ステップＳ７では、記録処理を開始するべく、後処理回路２８，ＭＰ４コーデック４０およびＩ／Ｆ４６を起動する。

後処理回路２８は、切り出しエリアＣＴ２に属する一部の生画像データをメモリ制御回路２２を通して読み出し、読み出された生画像データに基づいて４８０／３０ｉ方式の画像データを作成し、そして作成された画像データをメモリ制御回路２２を通してＹＵＶ画像エリア２４ｃに書き込む。

ＭＰ４コーデック４０は、ＹＵＶ画像エリア２４ｂに格納された１０８０／６０ｉ方式の画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮し、そして圧縮画像データをメモリ制御回路２２を通して記録画像エリア２４ｄに書き込む。

ＭＰ４コーデック４０はまた、ＹＵＶ画像エリア２４ｃに格納された４８０／３０ｉ方式の画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮し、そして圧縮画像データをメモリ制御回路２２を通して記録画像エリア２４ｅに書き込む。

Ｉ／Ｆ４６は、記録画像エリア２４ｄに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データをステップＳ９で作成されたＭＰ４ファイルに書き込む。Ｉ／Ｆ４２はまた、記録画像エリア２４ｅに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データをステップＳ９で作成された３ＧＰファイルに書き込む。

ステップＳ９では、記録終了操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ１１に進み、記録処理を終了するべく後処理回路２８，ＭＰ４コーデック４０およびＩ／Ｆ４２を停止する。ステップＳ１３ではＩ／Ｆ４４を通して記録媒体４６にアクセスし、オープン状態にあるＭＰ４ファイルおよび３ＧＰファイルをクローズする。ファイルクローズが完了するとステップＳ３に戻る。

図１１を参照して、ステップＳ２１ではフォーカス，絞り量および露光時間を初期化する。ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ２５でＡＥ処理を実行する。これによって、スルー画像の明るさが適度に調整される。ステップＳ２７ではＡＦ起動条件が満足されるか否かを判別し、ＮＯであればそのままステップＳ２３に戻る一方、ＹＥＳであればステップＳ２９でＡＦ処理を実行してからステップＳ２３に戻る。ＡＦ処理の結果、フォーカスレンズ１２は合焦点に配置され、これによってスルー画像の鮮鋭度が向上する。

図１２を参照して、ステップＳ３１では切り出しエリアＣＴ１の配置を初期化し、ステップＳ３３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、Ｙデータを参照した動き検出処理をステップＳ３５で実行する。ステップＳ３７では動き検出処理によって検出された撮像面の動きが手振れに相当するか否かを判別し、判別結果がＮＯであればそのままステップＳ４１に進む一方、判別結果がＹＥＳであればステップＳ３９の処理を経てステップＳ４１に進む。ステップＳ３９では、検出された撮像面の動きが補償されるように切り出しエリアＣＴ１を移動させる。

ステップＳ４１では記録開始操作が行われたか否かを判別し、ステップＳ４３では記録終了操作が行われたか否かを判別する。ステップＳ４１でＹＥＳであれば、ステップＳ４５で切り出し制御タスク２を起動し、その後にステップＳ３３に戻る。ステップＳ４３でＹＥＳであれば、ステップＳ４７で切り出し制御タスク２を停止し、その後にステップＳ３３に戻る。ステップＳ４１およびＳ４３のいずれもＮＯであれば、そのままステップＳ３３に戻る。

図１３を参照して、ステップＳ５１では切り出しエリアＣＴ２を切り出しエリアＣＴ１の中央に配置し、ステップＳ５３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ５５に進み、切り出しエリアＣＴ１の移動に合せて切り出しエリアＣＴ２を移動させる。続くステップＳ５７では、物体探索処理のために物体探索要求を物体検出回路３８に向けて発行する。

物体検出回路３８は、“大サイズ”，“中サイズ”および“小サイズ”の各々を有する照合枠をＹＵＶ画像エリア２４ｂの先頭位置から末尾位置に向けてラスタ走査態様で移動させ、照合枠に属する一部の画像を登録物体と照合し、これによって検出された登録物体像の位置およびサイズを物体情報としてレジスタ３８ｅに登録する。

物体検出回路３８から探索終了通知が返送されると、登録物体に符合する物体の探索に成功したか否かをステップＳ５９で判別する。物体情報がレジスタ３８ｅに登録されていなければ、符合物体の探索に失敗したと判別してそのままステップＳ６３に進む。一方、物体情報がレジスタ３８ｅに登録されていれば、符合物体の探索に成功したと判別し、ステップＳ６１の処理を経てステップＳ６３に進む。ステップＳ６１では、発見された物体を中央で捉えるべく、切り出しエリアＣＴ１をはみ出さない範囲で切り出しエリアＣＴ２を移動させる。

ステップＳ６３では、切り出しエリアＣＴ２の位置をオーバレイグラフィックジェネレータ４４に設定する。この結果、切り出しエリアＣＴ２の位置を示すガイドラインＧＬ１がＯＳＤ態様でＬＣＤモニタ３０に表示される。ステップＳ６３の処理が完了すると、ステップＳ５３に戻る。

以上の説明から分かるように、前処理回路２０は、イメージセンサ１６から出力された生画像データを取り込む。後処理回路２６は、被写界に割り当てられた切り出しエリアＣＴ１に対応する画像データを前処理回路２０によって取り込まれた生画像データに基づいて作成する。後処理回路２８は、切り出しエリアＣＴ１のサイズを下回るサイズを有して被写界に割り当てられた切り出しエリアＣＴ２に対応する画像データを、前処理回路２０によって取り込まれた生画像データに基づいて作成する。ＬＣＤモニタ３２には、後処理回路２６によって作成された画像データに基づくスルー画像が表示され、さらに切り出しエリアＣＴ２の位置を示すガイドラインＧＬ１がスルー画像に多重される。

これによって、後処理回路２６によって作成される画像データと後処理回路２８によって作成される画像データとの間の画角の相違に起因する操作性の低下を抑制することができる。

また、物体検出回路３８は、前処理回路２０によって取り込まれた生画像データに基づいて切り出しエリアＣＴ１から登録物体を探索する。ＣＰＵ３６は、物体検出回路３８によって検出された物体が切り出しエリアＣＴ２で捉えられるように、切り出しエリアＣＴ２の位置を調整する(S61)。

したがって、登録物体に符合する物体が被写界に現れると、符合物体が切り出しエリアＣＴ２で捉えられるように切り出しエリアＣＴ２の属性が調整される。これによって、切り出しエリアＣＴ１に対応する画像には現れた物体が切り出しエリアＣＴ２に対応する画像から消失する事態を回避することができる。

なお、この実施例では、３ＧＰファイルに記録される被写界像の構図を示すために、ガイドラインＧＬ１をスルー画像に多重するようにしている。しかし、後処理回路２８によって作成された画像データに基づくスルー画像を、後処理回路２６によって作成された画像データに基づくスルー画像と並列してＬＣＤモニタ３２に表示するようにしてもよい。

この場合、図２に示すオーバレイグラフィックジェネレータ４４に代えて、図１４に示す画像合成回路５２が設けられる。また、ＣＰＵ３６は、図１３に示すステップＳ６３に代えて図１５に示すステップＳ７１〜Ｓ７３の処理を実行する。

図１３を参照して、ステップＳ７１では、切り出しエリアＣＴ２に属する画像データの解像度とＬＣＤモニタ３２の解像度との相違に対応する縮小倍率を画像合成回路５２に設定する。また、ステップＳ７３では、切り出しエリアＣＴ２の現在位置に対応する位置を画像合成回路５２に設定する。

この結果、後処理回路２６によって生成された画像データに基づくスルー画像ＤＰ１および後処理回路２８によって生成された画像データに基づくスルー画像ＤＰ２は、図１６に示すように同じ倍率でＬＣＤモニタ３２に表示される。また、スルー画像ＤＰ２の表示位置は、切り出しエリアＣＴ２の移動に伴って移動する。

ＣＰＵ３６は、図１３に示すステップＳ６３に代えて、図１７に示すステップＳ８１〜Ｓ８３の処理を実行するようにしてもよい。ステップＳ８１では既定の縮小倍率を画像合成回路５２に設定し、ステップＳ７３では既定位置を画像合成回路５２に設定する。この結果、スルー画像ＤＰ２は、図１８に示すようにスルー画像ＤＰ１の倍率よりも小さい倍率で画面の左下に固定的に表示される。

ＣＰＵ３６はまた、図１３に示すステップＳ６３に代えて、図１９に示すステップＳ９１〜Ｓ９９の処理を実行するようにしてもよい。ステップＳ９１では現在時刻が交互に現れる期間ＡおよびＢのいずれに属するかを判別する。現在時刻が期間Ａに属するときは、ステップＳ９３で既定の縮小倍率を画像合成回路５２に設定する。現在時刻が期間Ｂに属するときはステップＳ９５に進み、登録物体に符合する物体が捉えられる小エリアの位置を画像合成回路５２に設定する。ステップＳ９７では、小エリアのサイズに対応する縮小倍率を画像合成回路５２に設定する。ステップＳ９３またはＳ９７の処理が完了すると、ステップＳ９９で既定位置を画像合成回路５２に設定する。

この結果、期間Ａでは、スルー画像ＤＰ１およびＤＰ２が図１８に示す要領で表示される。また、期間Ｂでは、スルー画像ＤＰ１と小エリアに対応するスルー画像ＤＰ３とが図２０に示す要領で表示される。
［基本的構成２］

図２１を参照して、この発明の画像処理装置は、基本的に次のように構成される。再生手段１ｂは、第１画角を有する第１記録画像を記録媒体６ｂから再生する。定義手段２ｂは、第２画角に対応する切り出しエリアを再生手段１ｂによって再生された第１記録画像上で定義する。記録手段３ｂは、定義手段２ｂによって定義された切り出しエリアに属する第２記録画像を記録媒体６に記録する。第１出力手段４ｂは、再生手段１ｂによって再生された第１記録画像に対応する第１再現画像を出力する。第２出力手段５ｂは、記録手段３ｂによって記録された第２記録画像の再現範囲を示す再現範囲情報を第１出力手段４ｂの出力処理と並列して出力する。

切り出しエリアは記録媒体から再生された第１記録画像上で定義され、定義された切り出しエリアに属する第２記録画像は記録媒体に記録される。これによって、トランスコーディングが実現される。また、第２記録画像の再現範囲を示す再現範囲情報の出力処理は、第１記録画像に対応する第１再現画像の出力処理と並列して実行される。これによって、トランスコーディングが実行中であるか否か、ならびに切り出しエリアが第１記録画像上でどのように定義されるかを、第１再現画像および再現範囲情報を通して認識することができる。こうして、トランスコーディングに関する操作性が向上する。
［実施例２］

他の実施例のディジタルビデオカメラ１０は、図２２に示すように３ＧＰファイル用の後処理回路２８が省かれ、図２３に示すように３ＧＰファイル用のＹＵＶ画像エリア２４ｃが省かれる点で、図２実施例と相違する。また、図２２に示すＣＰＵ３６によって実行される図２４の撮像タスクおよび図２５の切り出し制御タスク１は、以下の点で図１０に示す撮像タスクおよび図１２に示す切り出し制御タスク１と相違する。

図２４のステップＳ１０５では、ＭＰ４ファイルおよび３ＧＰファイルのうち、ＭＰ４ファイルのみが作成されかつオープンされる。また、ステップＳ１０７では、記録処理を開始するために、ＭＰ４コーデック４０およびＩ／Ｆ４６が起動される。さらに、ＭＰ４コーデック４０は、ＹＵＶ画像エリア２４ｂに格納された１０８０／６０ｉ方式の画像データに基づく圧縮画像データを記録画像エリア２４ｄに書き込むに留まる。Ｉ／Ｆ４６も、記録画像エリア２４ｄに格納された圧縮画像データをステップＳ１０５で作成されたＭＰ４ファイルに書き込むに留まる。ステップＳ１１１では、記録処理を終了するためにＭＰ４コーデック４０およびＩ／Ｆ４６を停止する。ステップＳ１１３では、オープン状態にあるＭＰ４ファイルをクローズする。なお、ステップＳ１０１，Ｓ１０３およびＳ１０９の処理は、ステップＳ１，Ｓ３およびＳ９の処理と同じである。

図２５に示す切り出し制御タスク１では、ステップＳ１２１〜Ｓ１２９において図１２に示すステップＳ３１〜Ｓ３９と同様の処理を実行し、ステップＳ１２９の処理が完了するとステップＳ１２３に戻る。つまり、図２５に示す切り出し制御タスク１では、図１２に示すステップＳ４１〜Ｓ４７に相当する処理が省略される。

また、図２２に示すディジタルビデオカメラ１０は編集モードを有する。キー入力装置３４の操作によって編集モードが選択されると、図２６〜図２７に示す編集タスクおよび図２８に示す切り出し制御タスク２がＣＰＵ３６によって並列的に実行される。

図２６を参照して、ステップＳ１３１では記録媒体４８に保存された１または２以上のＭＰ４ファイルのいずれか１つを再生ＭＰ４ファイルとして選択する。ステップＳ１３３では編集開始操作が行われたか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３５で再生ＭＰ４ファイルをオープンする。ステップＳ１３７では、３ＧＰファイルを新規に作成し、かつ作成された３ＧＰファイルをオープンする。ステップＳ１３９では切り出し制御タスク２を起動し、ステップＳ１４１では再生処理を開始し、そしてステップＳ１４３では記録処理を開始する。

ステップＳ１４１では、詳しくはＩ／Ｆ４０およびＭＰ４コーデック４０に再生開始命令を与えかつＬＣＤドライバ３０を起動する。また、ステップＳ１４３では、詳しくはＭＰ４コーデック４０およびＩ／Ｆ４６に記録開始命令を与える。

再生命令に応答して、Ｉ／Ｆ４６は、オープン状態のＭＰ４ファイルから圧縮画像データを読み出し、読み出された圧縮画像データをメモリ制御回路２２を通して図２３に示す記録画像エリア２４ｄに書き込む。また、ＭＰ４コーデック４０は、記録画像エリア２４ｄに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データをＭＰ４方式に従って伸長し、そして伸長された画像データをメモリ制御回路２２を通して図２３に示すＹＵＶ画像エリア２４ｂに書き込む。ＬＣＤドライバ３０は、こうしてＹＵＶ画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、再生動画像がＬＣＤモニタ３２に表示される。

また、記録命令に応答して、ＭＰ４コーデック４０は、ＹＵＶ画像エリア２４ｂに格納された画像データのうち切り出しエリアＣＴ２に属する画像データをメモリ制御回路２２を通して読み出し、読み出された画像データをＭＰ４方式に従って圧縮し、そして圧縮画像データをメモリ制御回路２２を通して図２３に示す記録画像エリア２４ｅに書き込む。Ｉ／Ｆ４６は、記録画像エリア２４ｅに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データを記録媒体４８に新規に作成された３ＧＰファイルに格納する。

ステップＳ１４５では、編集終了操作が行われたか或いは再生位置がＭＰ４ファイルの末尾に達したという論理和条件が満足された否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１４７で再生処理を終了し、ステップＳ１４９で記録処理を終了し、そしてステップＳ１５１で切り出し制御タスクを終了する。

ステップＳ１４７では、詳しくはＩ／Ｆ４０およびＭＰ４コーデック４０に再生終了命令を与えかつＬＣＤドライバ３０を停止する。また、ステップＳ１４９では、詳しくはＭＰ４コーデック４０およびＩ／Ｆ４６に記録終了命令を与える。ステップＳ１５３ではＭＰ４ファイルをクローズし、ステップＳ１５５では３ＧＰファイルをクローズする。ステップＳ１５５の処理が完了すると、ステップＳ１３３に戻る。

図２８を参照して、ステップＳ１６１では切り出しエリアＣＴ２をＹＵＶ画像エリア２４ｂの中央に配置する。これによって、ＹＵＶ画像エリア２４ｂに格納された画像データの中央から、切り出しエリアＣＴ２に相当する一部の画像データが読み出される。ステップＳ１６３〜Ｓ１７１では、図１３に示すステップＳ５３，Ｓ５７〜Ｓ６３と同様の処理を実行する。

この実施例によれば、ＣＰＵ３６は、切り出しエリアＣＴ１に相当する画角を有する画像データを記録媒体４８に保存されたＭＰ４ファイルから再生し(S141)、切り出しエリアＣＴ２を再生された画像データ上で定義し(S161, S169)、そして定義された切り出しエリアＣＴ２に属する画像データを記録媒体４８に作成された３ＧＰファイルに記録する(S143)。ＬＣＤドライバ３０は、ＭＰ４ファイルから再生された画像データに基づく再生動画像をＬＣＤモニタ３０に表示する。また、オーバレイグラフィックジェネレータ４４は、切り出しエリアＣＴ２（つまり３ＧＰファイルに記録された画像データの再現範囲）を定義するガイドラインＧＬ１（つまり再現範囲情報）をＬＣＤモニタ３０にＯＳＤ態様で表示する。

切り出しエリアＣＴ２はＭＰ４ファイルから再生された画像データ上で定義され、定義された切り出しエリアＣＴ２に属する画像データは３ＧＰファイルに記録される。これによって、トランスコーディングが実現される。また、切り出しエリアＣＴ２を示す再現範囲情報の出力処理は、ＭＰ４ファイルから再生された画像データに基づく再現画像の出力処理と並列して実行される。これによって、トランスコーディングが実行中であるか否か、ならびに切り出しエリアＣＴ２がＭＰ４ファイルから再生された画像データ上でどのように定義されるかを、再現画像および再現範囲情報を通して認識することができる。こうして、トランスコーディングに関する操作性が向上する。

なお、この実施例でも、３ＧＰファイルに記録される被写界像の構図を示すために、ガイドラインＧＬ１をスルー画像に多重するようにしている。しかし、切り出しエリアＣＴ２に属する画像データに基づく縮小スルー画像を、ＹＵＶ画像エリア２４ｂに格納された画像データに基づくスルー画像と並列してＬＣＤモニタ３２に表示するようにしてもよい。

この場合、図２２に示すオーバレイグラフィックジェネレータ４４に代えて、図１４に示す画像合成回路５２が設けられる。また、ＣＰＵ３６は、図２８に示すステップＳ１７１に代えて図１５に示すステップＳ７１〜Ｓ７３の処理を実行する。

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２６，２８ …後処理回路
３６ …ＣＰＵ
３８ …物体検出回路
４０ …ＭＰ４コーデック
４４ …オーバレイグラフィックジェネレータ
４８ …記録媒体

Claims (19)

1. 被写界を表す元画像を取り込む取り込み手段、
   前記被写界に割り当てられた第１切り出しエリアに対応する第１記録画像を前記取り込み手段によって取り込まれた元画像に基づいて作成する第１作成手段、
   前記第１切り出しエリアのサイズを下回るサイズを有して前記被写界に割り当てられた第２切り出しエリアに対応する第２記録画像を前記取り込み手段によって取り込まれた元画像に基づいて作成する第２作成手段、
   前記第１作成手段によって作成された第１記録画像に対応する第１再現画像を出力する第１出力手段、および
   前記第２作成手段によって作成された第２記録画像の再現範囲を示す再現範囲情報を前記第１出力手段の出力処理と並列して出力する第２出力手段を備える、画像処理装置。
2. 前記取り込み手段によって取り込まれた元画像に基づいて前記第１切り出しエリアから特定物体を探索する探索手段、および
   前記探索手段によって発見された特定物体が前記第２切り出しエリアで捉えられるように前記第２切り出しエリアの位置を調整する調整手段をさらに備える、請求項１記載の画像処理装置。
3. 前記第２出力手段は前記第２切り出しエリアを表すグラフィック画像を前記第１出力手段によって出力される第１再現画像に前記再現範囲情報として多重するグラフィック画像多重手段を含む、請求項１または２記載の画像処理装置。
4. 前記第２出力手段は前記第２作成手段によって作成された第２記録画像に対応する第２再現画像を前記第１出力手段によって出力される第１再現画像に前記再現範囲情報として多重する第２再現画像多重手段を含む、請求項１または２記載の画像処理装置。
5. 前記第２再現画像の倍率は前記第１再現画像の倍率と等しく、
   前記第２再現画像多重手段は前記第２切り出しエリアの位置に対応して前記第２再現画像を前記第１再現画像に多重する、請求項４記載の画像処理装置。
6. 前記第２再現画像の倍率は前記第１再現画像の倍率よりも小さく、
   前記第２再現画像多重手段は前記第１再現画像上の既定位置に前記第２再現画像を多重する、請求項４記載の画像処理装置。
7. 前記第１作成手段によって作成された第１記録画像を符号化状態で記録媒体に記録する第１記録手段、および
   前記第２作成手段によって作成された第２記録画像を符号化状態で前記記録媒体に記録する第２記録手段をさらに備える、請求項１ないし６のいずれかに記載の画像処理装置。
8. 前記第１切り出しエリアおよび前記第２切り出しエリアの各々は矩形エリアに相当し、
   前記第２切り出しエリアの垂直サイズは前記第１切り出しエリアの垂直サイズと等しくかつ前記第２切り出しエリアの水平サイズは前記第１切り出しエリアの水平サイズよりも小さい、請求項１ないし７のいずれかに記載の画像処理装置。
9. 被写界を捉える撮像手段をさらに備え、
   前記取り込み手段は前記撮像手段から出力された被写界像を前記元画像として取り込む、請求項１ないし８のいずれかに記載の画像処理装置。
10. 撮像面の振動を検出する検出手段、および
    前記検出手段によって検出された振動が補償されるように前記第１切り出しエリアの位置を変更する変更手段をさらに備える、請求項９記載の画像処理装置。
11. 前記第１作成手段は記録指示の有無に関係なく作成処理を実行し、
    前記第２作成手段は前記記録指示に応答して作成処理を実行する、請求項１ないし１０のいずれかに記載の画像処理装置。
12. 前記第１出力手段および前記第２出力手段はそれぞれ前記第１再現画像および前記再現範囲情報を表示手段に向けて出力する、請求項１ないし１１のいずれかに記載の画像処理装置。
13. 第１画角を有する第１記録画像を記録媒体から再生する再生手段、
    第２画角に対応する切り出しエリアを前記再生手段によって再生された第１記録画像上で定義する定義手段、
    前記定義手段によって定義された切り出しエリアに属する第２記録画像を前記記録媒体に記録する記録手段、
    前記再生手段によって再生された第１記録画像に対応する第１再現画像を出力する第１出力手段、および
    前記記録手段によって記録された第２記録画像の再現範囲を示す再現範囲情報を前記第１出力手段の出力処理と並列して出力する第２出力手段を備える、画像処理装置。
14. 前記記録手段および前記第１出力手段はそれぞれ前記再生手段の再生処理と並列して記録処理および出力処理を実行する、請求項１３記載の画像処理装置。
15. 前記再生手段によって再生された第１記録画像から特定物体を探索する探索手段、および
    前記探索手段によって発見された特定物体が前記切り出しエリアで捉えられるように前記切り出しエリアの位置を調整する調整手段をさらに備える、請求項１３または１４記載の画像処理装置。
16. 前記第２出力手段は前記切り出しエリアを表すグラフィック画像を前記第１出力手段によって出力される第１再現画像に前記再現範囲情報として多重するグラフィック画像多重手段を含む、請求項１３ないし１５のいずれかに記載の画像処理装置。
17. 前記第２出力手段は前記第２記録画像に対応する第２再現画像を前記第１出力手段によって出力される第１再現画像に前記再現範囲情報として多重する第２再現画像多重手段を含む、請求項１３ないし１５のいずれかに記載の画像処理装置。
18. 前記第２再現画像の倍率は前記第１再現画像の倍率よりも小さく、
    前記第２再現画像多重手段は前記第１再現画像上の既定位置に前記第２再現画像を多重する、請求項１７記載の画像処理装置。
19. 前記第１出力手段および前記第２出力手段はそれぞれ前記第１再現画像および前記再現範囲情報を表示手段に向けて出力する、請求項１３ないし１８のいずれかに記載の画像処理装置。

Images