JP2008205845A - 画像処理装置、その制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】記録した動画像のフォーマットによらず、動画像の各シーンにおける記録時刻を容易に算出することが可能な画像処理装置を提供する。
【解決手段】動画像記録時に記録開始時刻及び記録時のフレームレートを記録しておき、動画像再生時に、記録しておいた記録開始時刻及び記録時のフレームレートを取得し（ステップＳ４０１）、再生した動画像の記録時刻及び記録時の経過時間を算出して表示する（ステップＳ４０６〜Ｓ４１２）。これにより、記録した動画像のフォーマットによらず、動画像の各シーンにおける記録時刻を容易に算出することができる。
【選択図】図７

Description

本発明は、動画像データを記録及び再生可能なデジタルカメラ等の画像処理装置、その制御方法、及びコンピュータプログラムに関する。

従来、固体メモリ素子を有するメモリカードを記録媒体として、動画像データを記録及び再生可能なデジタルカメラ等の画像処理装置が販売されている。

これらの画像処理装置では、動画像の再生時に記録開始時刻と再生時間とを表示するのが一般的である。そのため、再生中の動画像の各シーンにおける実記録時刻はすぐにわからなかった。また、１秒間に１枚、或いは１分間に１枚等のインターバル撮影により記録した動画像においては、記録時の時間スケールと再生時の時間スケールとが異なる。そのため、インターバル撮影により記録した動画像の再生においては、表示された再生時間からでは、動画像に記録された事象が起きた実際の記録時刻を把握することはできなかった。

そこで、上記の問題を鑑みて、例えば特許文献１では、動画像のフォーマット内にあるタイムスタンプと撮影開始時刻から各シーンの記録時刻を計算し表示する画像表示装置が提案されている。この画像表示装置では更に、インターバル撮影時にはフォーマット内のヘッダにインターバル撮影の時間係数を記録しておき、再生時にそれを用いて記録時刻を計算し表示するようにしている。これにより、記録時の時間スケールと再生時の時間スケールとが異なる動画像の再生においても、実際の記録時刻を把握することができる。

特開２０００−２７０２９２号公報

しかしながら、特許文献１に開示された画像表示装置では、記録時刻を計算するためにフォーマット内のタイムスタンプを用いるため、ＡＳＦフォーマットのようなフォーマット内にタイムスタンプを持つことができるフォーマットの動画像のみしか対応できない。また、インターバル撮影時と通常撮影時で記録時刻の計算方法が異なるため、処理が複雑になるという問題もある。

本発明は上記問題点に鑑みてなされたものであり、記録した動画像のフォーマットによらず、動画像の各シーンにおける記録時刻又は記録時の経過時間を容易に算出することが可能な画像処理装置を提供することを目的とする。

本発明の画像処理装置は、動画像データの記録及び再生が可能な画像処理装置であって、動画像記録時に記録開始時刻及び記録時のフレームレートを記録媒体に記録する記録手段と、動画像再生時に、前記記録手段が記録した記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出手段とを備えたことを特徴とする。
また、本発明の画像処理装置は、動画像データの記録が可能な画像処理装置であって、動画像記録時に記録開始時刻及び記録時のフレームレートを記録媒体に記録する記録手段を備えたことを特徴とする。
また、本発明の画像処理装置は、動画像データの再生が可能な画像処理装置であって、動画像再生時に、該動画像の記録時に記録された記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出手段を備えたことを特徴とする。
また、本発明の画像処理装置の制御方法は、動画像データの記録及び再生が可能な画像処理装置の制御方法であって、動画像記録時に記録開始時刻及び記録時のフレームレートを記録手段に記録する記録ステップと、動画像再生時に、前記記録ステップで記録した記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出ステップとを有することを特徴とする。
また、本発明のコンピュータプログラムは、動画像データの記録及び再生が可能な画像処理装置を制御するためのコンピュータプログラムであって、動画像記録時に記録開始時刻及び記録時のフレームレートを記録媒体に記録する記録ステップと、動画像再生時に、前記記録ステップで記録した記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出ステップとをコンピュータに実行させることを特徴とする。

本発明では、動画像記録時に記録開始時刻及び記録時のフレームレートを記録しておき、これら記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出するようにした。これにより、記録した動画像のフォーマットによらず、またインターバル撮影・通常撮影によらず同様の処理で、容易に再生中の動画像の各シーンにおける記録時刻や記録時の経過時間を算出することができる。

以下、本発明の実施の形態を図面を用いて詳細に説明する。図１は、本発明の実施の形態に係る画像処理装置（デジタルカメラ）の構成を示したブロック図である。

図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生回路１８はメモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。この画像処理回路２０が画像の切り出しや変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０は撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御回路４０、測距制御回路４２に対して制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、及びＥＦ（フラッシュプリ発光）処理がなされる。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６からのデータは、画像処理回路２０及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリである。２６はＤ／Ａ変換器であり、２８はＴＦＴ・ＬＣＤ等から成る画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。撮像した画像データを画像表示部２８に逐次表示すれば、電子ファインダ機能を実現することが可能である。

画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像又は録音した音声データを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量に、画像データをメモリ３０に書き込むことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮又は伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は露光制御回路であり、絞り機能を備えるシャッター１２を制御する。また、露光制御回路４０は、フラッシュ４８と連携することによりフラッシュ調光を行う。

４２は測距制御回路であり、撮影レンズ１０のフォーカシングを制御する。４４はズーム制御回路であり、撮影レンズ１０のズーミングを制御する。４６はバリア制御回路であり、保護機構部１０２の動作を制御する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御回路４０及び測距制御回路４２は、ＴＴＬ方式を用いて制御される。この場合、システム制御回路５０は、撮像した画像データを用いて画像処理回路２０が演算した演算結果に基づき、露光制御回路４０及び測距制御回路４２に対して制御を行う。

５０はシステム制御回路であり、画像処理装置１００全体を制御する。５２はメモリであり、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。

５４は液晶表示装置等でなる表示部であり、システム制御回路５０におけるプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に、単数或いは複数個設置され、例えばＬＣＤ、ＬＥＤ等の組み合わせにより構成される。また、表示部５４は、その一部が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、例えば、単写／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。またこれらに加え、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等もある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。以下、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチであり、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなって、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、及びＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなって、撮影に係る一連の動作開始を指示する。具体的には、まず撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、及びメモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理を指示する。次に、画像処理回路２０やメモリ制御回路２２に所定の演算を行わせる現像処理を指示する。そして、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を指示する。

６６は電源スイッチであり、電源オン及び電源オフを切り替え設定することが出来る。

７０は各種ボタンやタッチパネル等からなる操作部である。操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を備える。またこれらに加え、操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付・時間設定ボタン等も備えている。上記プラスボタン及びマイナスボタンにおいて、回転ダイアルスイッチを用いれば、軽快に数値や機能を選択することが可能となる。

７２は時計であり、内部電源（不図示）により動き続け、動画像の記録開始時にサムネイルファイルのヘッダに記録される記録開始日時（記録開始時刻）を取得する場合等に利用される。

８０は電源制御部であり、不図示の電池検出回路、ＤＣ−ＤＣコンバータ、及び通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２及び８４はコネクタであり、電源制御部８０と電源８６とを接続する。８６は電源であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、又はＡＣアダプター等からなる。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

９８は記録媒体着脱検知部であり、コネクタ９２或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する。

なお、本実施の形態では、記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数又は２以上の複数の系統数のどちらであっても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。インタフェース９０及び９４、コネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合には、ＬＡＮカードやモデムカード等を接続することができる。またこれらの他にＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等の各種通信カードも接続することができる。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は保護機構部であり、画像処理装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する、所謂バリアである。

１０４は光学ファインダであり、撮影者はこの光学ファインダ１０４を用いることで、画像表示部２８による電子ファインダ機能を使用すること無しに、撮影を行うことができる。また、光学ファインダ１０４内には、表示部５４の一部が設置されており、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が表示される。

１１０は通信部であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。

１１２はコネクタ或いはアンテナであり、画像処理装置１００を他の機器と接続する。有線での通信の場合はコネクタであり、無線通信の場合はアンテナである。

１２０はメモリ制御回路であり、１２２はディジタル信号をアナログ信号に変換するＤ／Ａ変換器である。１２４は電気信号を音声信号に変換するスピーカであり、メモリ３０から読み出されたデータがＤ／Ａ変換器１２２に入力され、スピーカ１２４から発音される。

１２６はマイクであり、音声データを取得する。１２８はＡ／Ｄ変換器であり、マイク１２６で得られた音声データを録音するためにディジタル信号に変換する。Ａ／Ｄ変換器１２８からのデータは、メモリ制御回路２２を介して、メモリ３０に書き込まれ、記録媒体に記録される。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、及び画像処理装置１００と接続を行うコネクタ２０６を備える。

２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備える。

次に、図２乃至図７を用いて、本実施の形態に係る画像処理装置１００の動作を説明する。まず、図２乃至図４に示した画像処理装置１００のメインルーチンのフローチャートを用いて、動作の詳細を説明する。

まずステップＳ１０１において、システム制御回路５０は、電池交換等の電源投入後等において、電源スイッチ６６がＯＮされたか否かを調べる。電源スイッチ６６がＯＮされたならば、ステップＳ１０２に進み、ＯＦＦのままであれば、ＯＮされるまで監視を続ける。

ステップ１０２において、システム制御回路５０は、画像表示フラグやクイックレビューフラグ等のフラグや制御変数等の初期化を行う。

次にステップＳ１０３において、システム制御回路５０は、記録媒体２００（或いは２１０）に記録された最新画像番号Ｎｍａｘを取得し、次に再生する画像を示す再生画像番号ｎがｎ＝Ｎｍａｘとなるように設定する。なお、上記再生画像番号ｎは、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される。

次にステップＳ１０４において、システム制御回路５０は、画像表示部２８の画像表示をＯＦＦ状態に初期設定する。

次にステップＳ１０５において、システム制御回路５０は、電源制御部８０により電池等から構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断する。問題があるならばステップＳ１０６に進み、表示部５４を用いて所定の警告表示、又はスピーカ１２４を用いて警告音発音を行った後に、ステップＳ１０１に戻る。電源８６に問題がなければステップＳ１０７に進む。

ステップＳ１０７において、システム制御回路５０は、記録媒体２００（或いは２１０）の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する。問題があるならばステップＳ１０６に進み、表示部５４を用いて所定の警告表示、又はスピーカ１２４を用いて警告音発音を行った後に、ステップＳ１０１に戻る。記録媒体２００（或いは２１０）の動作状態に問題が無いならば、ステップＳ１０８に進む。

ステップＳ１０８において、システム制御回路５０は、モードダイアル６０が何モードに設定されているかを判断する。

モードダイアル６０が動画記録モードに設定されたならば、ステップＳ１０９に進む。
モードダイアル６０が静止画撮影モードに設定されたならば、ステップＳ１１０に進む。
モードダイアル６０が再生モードに設定されたならば、図４に示すステップＳ１３０に進む。図４に示すステップＳ１３０以降の処理については、後述する。

静止画撮影モードが設定された場合のステップＳ１１０では、システム制御回路５０は、静止画撮影モードに応じた処理を実行し、処理を終了したらステップＳ１０８に戻る。

動画記録モードに設定された場合のステップＳ１０９では、システム制御回路５０は、画像表示部２８の画像表示をＯＮ状態にする。

次にステップＳ１１１において、システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定して、図３に示すステップＳ１１２の処理に進む。スルー表示状態では、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して画像表示メモリ２４に書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に逐次表示する電子ファインダ機能を実現する。

次に、図３に示すステップＳ１１２において、システム制御回路５０は、シャッタースイッチＳＷ１のＯＮ／ＯＦＦを監視する。ＯＦＦであった場合は、ステップＳ１０８に戻る。シャッタースイッチＳＷ１がＯＮされた場合は、ステップＳ１１３に進む。

ステップＳ１１３において、システム制御回路５０は、画像表示部２８の表示状態をフリーズ表示状態に設定する。フリーズ表示状態では、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介した画像表示メモリ２４への画像データの書き換えを禁止する。そして、最後に書き込まれた画像データをメモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により表示して、フリーズした映像を電子ファインダに表示させる。

次にステップＳ１１４において、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する。この測距・測光処理ステップＳ１１４の詳細は図５を用いて後述する。

測距・測光処理ステップＳ１１４後のステップＳ１１５においては、システム制御回路５０は、画像表示部２８の表示状態をスルー表示状態に設定する。なお、ステップＳ１１５におけるスルー表示状態は、ステップＳ１１１におけるスルー表示状態と同じ動作状態である。

次にステップＳ１１６において、システム制御回路５０は、シャッタースイッチＳＷ２のＯＮ／ＯＦＦを監視する。ここでＯＦＦであった場合には、ステップＳ１１７に進み、シャッタースイッチＳＷ１のＯＮ／ＯＦＦを監視する。さらにステップＳ１１７において、シャッタースイッチＳＷ１もＯＦＦとされたなら、ステップＳ１０８に戻る。ステップＳ１１６において、シャッタースイッチＳＷ２がＯＮとされた場合はステップＳ１１８に進む。

ステップＳ１１８においては、システム制御回路５０は、画像表示部２８の表示状態を固定色表示状態に設定する。固定色表示状態では、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して画像表示メモリ２４に書き込まれた画像データの代わりに、固定色の画像データをメモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に表示し、固定色の映像を電子ファインダに表示させる。

次にステップＳ１１９において、システム制御回路５０は、動画記録処理を実行する。この動画記録処理は、動画像データ撮影動作、音声データ録音動作、及び記録処理からなる処理である。ステップＳ１１９における動画記録処理の詳細については、図６を用いて後述する。なお、このステップＳ１１９において、システム制御回路５０は、まず時計７２により記録開始時刻を取得し、更に記録時に設定されているフレームレートをシステム制御回路５０の内部メモリ或いはメモリ５２に一旦記憶しておく。そして、後述サムネイルファイルの作成時にサムネイルファイルのヘッダ領域に記録開始時刻とフレームレートとを記録することが出来るようにしておく。

ステップＳ１１９の動画記録処理をユーザの指示又は記録媒体やバッファの残容量不足等により終えたならば、ステップＳ１２０において、システム制御回路５０は、画像表示部２８の表示状態をスルー表示状態に設定して、ステップＳ１０８に戻る。

次にステップＳ１０８において再生モードに設定された場合に進む図４に示すステップＳ１３０においては、システム制御回路５０は、まず画像表示部２８の画像表示をＯＮ状態に設定する。

次にステップＳ１３１において、システム制御回路５０は、再生画像番号ｎに対応する画像を記録媒体２００（或いは２１０）から読み出し、メモリ３０に記憶する。この際、読み出す画像が動画像である場合は、所定量の動画データを読み出しメモリ３０に記憶する。

次にステップＳ１３２において、システム制御回路５０は、再生する画像が動画像であるか静止画像であるかを判別する。動画像の場合はステップＳ１３３に進み、動画像再生処理を行う。静止画像の場合はステップＳ１３４に進み、静止画像再生処理を行う。再生する画像が、動画像であるか静止画像であるかは、例えばファイル名の拡張子で判別される。拡張子が"．ＪＰＧ"であれば静止画像、"．ＡＶＩ"であれば動画像であると判別される。ステップＳ１３３の動画再生処理の詳細は図７を用いて後述する。

ステップＳ１３５において、システム制御回路５０は、操作部７０の再生画像移動＋ボタン（不図示）又は再生画像移動−ボタン（不図示）が操作され、画像送りの指示がされたか否かを判定する。操作がされなかった場合は、ステップＳ１０８に戻る。再生画像移動＋ボタン（不図示）が操作され、画像送りの指示がなされていたら、ステップＳ１３６に進み、一つ後の画像を再生するように画像再生画像番号ｎをｎ＝ｎ＋１にしてから、ステップＳ１０８に戻る。一方、再生画像移動−ボタン（不図示）が操作され、画像送りの指示がなされていたら、ステップＳ１３７に進み、一つ前の画像を再生するように画像再生画像番号ｎをｎ＝ｎ−１にしてから、ステップＳ１０８に戻る。

図５は、図３のステップＳ１１４における測距・測光処理の詳細なフローチャートである。以下、測距・測光処理の動作手順を説明する。

まずステップＳ２０１において、システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に画像データを逐次読み込ませる。この逐次読み込んだ画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理においては、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いる。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

次にステップＳ２０２において、システム制御回路５０は、画像処理回路２０における演算結果を用いて、露光制御回路４０にＡＥ制御を行わせて、露出（ＡＥ）が適正露出となるのを待つ。適正露出でない場合は、ステップＳ２０３に進み、適正露出が検出されるまで露光制御回路４０にＡＥ制御を行わせる。露出が適正露出となった場合は、測定データ及び必要に応じて設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶してから、ステップＳ２０４に進む。

次にステップＳ２０４において、システム制御回路５０は、画像処理回路２０における演算結果及びＡＥ制御で得られた測定データを用いて、画像処理回路２０に色処理のパラメータを調節させるＡＷＢ制御を行わせて、ホワイトバランスが適正となるまで待つ。適正でない場合は、ステップＳ２０５に進み、ホワイトバランスが適正となるまで画像処理回路２０にＡＷＢ制御を行わせる。ホワイトバランスが適正となった場合は、測定データ及び必要に応じて設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶してから、ステップＳ２０６に進む。

次にステップＳ２０６において、システム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距制御回路４２にＡＦ制御を行わせて、合焦状態となるまで待つ。合焦状態でない場合は、ステップＳ２０７に進み、合焦状態となるまで測距制御回路４２にＡＦ制御を行わせる。合焦状態となった場合は、測定データ及び必要に応じて設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理を終了する。

図６は、図３のステップＳ１１９における動画記録処理の詳細なフローチャートである。この動画記録処理は、動画像データ撮影動作、音声データ録音動作、及び記録処理からなる処理である。動画像データ撮影動作は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して得られた画像データを圧縮・伸長回路３２で逐次データ圧縮し、メモリ３０に書き込む一連の撮影動作である。音声データ録音動作は、マイク１２６、Ａ／Ｄ変換器１２８、メモリ制御回路１２０を介して得られた音声データを逐次メモリ３０に書き込む一連の動作である。記録処理は、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００（或いは２１０）へ動画データの書き込みを行う処理である。以下、これらの動作及び処理からなる動画記録処理の動作手順を詳細に説明する。

まずステップＳ３０１において、システム制御回路５０は、シャッタースイッチＳＷ２がＯＮとされたか否かを判断する。ここで、本実施の形態に画像処理装置１００は、図３のステップＳ１１６においてシャッタースイッチＳＷ２がＯＮとされることで録画記録処理を開始して、再びシャッタースイッチＳＷ２がＯＮとされることで録画記録処理を終了する。即ち、ステップＳ３０１において、ＯＮであればユーザがシャッタースイッチＳＷ２によって動画記録の終了を指示したものと判断し、動画記録終了処理を行うためにステップＳ３１０に進む。ＯＦＦであればユーザが動画記録の終了を指示しなかったものと判断し、ステップＳ３０２に進む。

ステップＳ３０２において、システム制御回路５０は、マイク１２６、Ａ／Ｄ変換器１２８、メモリ制御回路１２０を介して得られた音声データを逐次メモリ３０に書き込む一連の音声データ録音動作により得られた音声データが規定量に達したか否かを判断する。規定量に達したとシステム制御回路５０が判断した場合は、ステップＳ３０３に進み、所定の動画フォーマットに沿うように音声データを整形する。そして、その整形した音声データをメモリ３０内の動画ファイル用書き込みバッファに書き込んでステップＳ３０４に進む。規定量に達していないとシステム制御回路５０が判断した場合は、ステップＳ３０４に進む。

ステップＳ３０４において、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して得られた画像データを圧縮・伸長回路３２で逐次データ圧縮し、メモリ３０に書き込む一連の動画像データ撮影動作によって得られた画像データが１枚でも存在するか否かを判断する。画像データが存在するとシステム制御回路５０が判断した場合は、ステップＳ３０５に進み、所定の動画像フォーマットに沿うように画像データを整形する。そして、その整形した画像データをメモリ３０内の動画ファイル用書き込みバッファに書き込んでステップＳ３０６に進む。ステップＳ３０４で画像データがないとシステム制御回路５０が判断した場合は、ステップＳ３０６に進む。

ステップＳ３０６において、システム制御回路５０は、所定の転送単位分の動画像データがメモリ３０内の動画ファイル用書き込みバッファに取得されているか否かを判断する。取得されているとシステム制御回路５０が判断した場合は、ステップＳ３０７に進み、所定量に達した取得動画像データを記録媒体に転送してからステップＳ３０８に進む。ステップＳ３０６で取得されていないとシステム制御回路５０が判断した場合は、ステップＳ３０８に進む。

ステップＳ３０８において、システム制御回路５０は、メモリ３０内の書き込みバッファの空き容量及び記録中の記録媒体２００（或いは２１０）の空き容量を調べ、規定量に足りているか否かを判断する。メモリ３０に用意されている書き込みバッファの空き容量及び記録中の記録媒体２００（或いは２１０）の空き容量がどちらも規定量以上あるとシステム制御回路５０が判断した場合は、ステップＳ３０９に進む。メモリ３０に用意されている書き込みバッファの空き容量及び記録中の記録媒体２００（或いは２１０）の空き容量のどちらかが規定量に足りてないとシステム制御回路５０が判断した場合は、ステップ３１０に進み、動画記録終了処理を行う。

ステップＳ３０９においては、システム制御回路５０は、記録可能時間を画像表示部２８に表示してステップＳ３０１に戻る。

次に動画記録終了処理として、まずステップＳ３１０において、システム制御回路５０は、メモリ３０に用意されている書き込みバッファに残っている動画像データを全て記録媒体２００（或いは２１０）に転送する。

次にステップＳ３１１において、システム制御回路５０は、記録終了後でなければ更新できない値（総撮影時間、総フレーム数、インデックス領域等）を動画ファイルに書き込み、動画ファイルを整形する。

次にステップＳ３１２において、システム制御回路５０は、ステップＳ３１１の動画ファイルの整形後、サムネイルファイルを記録媒体２００（或いは２１０）に書き込み、動画記録処理を終了する。ここで、サムネイルファイルのヘッダ領域には、記録開始時に、時計７２により取得してシステム制御回路５０の内部メモリに記憶した記録開始時刻及び記録時に設定されているフレームレートが記録される。
なお、以上の処理は、本発明でいう記録手段の処理に対応する。

図７は、図４のステップＳ１３３における動画再生処理の詳細なフローチャートを示す。以下、動画再生処理の動作手順を詳細に説明する。

まずステップＳＳ４０１において、システム制御回路５０は、サムネイルファイルのヘッダ領域に記録されている記録開始時刻と記録時のフレームレートを読み出し、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。この記録開始時刻と記録時のフレームレートは、後述のステップＳ４１２の時刻表示において、表示中のフレームが記録された記録時刻を求める際に用いられる。

次にステップＳ４０２において、システム制御回路５０は、ユーザが操作部７０を操作して動画再生の停止を指示したか否かを判断する。停止指示と判断した場合は、動画再生処理を終了する。動画再生の停止を指示していない判断した場合は、ステップＳ４０３へ進む。

ステップＳ４０３において、システム制御回路５０は、ステップＳ１３１又は後述ステップＳ４１３において記録媒体２００（或いは２１０）から読み出して、メモリ３０に記憶した動画像データのうち、所定量の動画像データが再生済みか否かを判断する。再生済みでないと判断した場合は、ステップＳ４０５に進む。再生済みであると判断した場合は、ステップＳ４０４に進む。

ステップＳ４０４において、システム制御回路５０は、すでに全動画像データが読み出し済みであるか否かを判断する。全画像データが読み出し済みであると判断した場合は、ステップＳ４０５に進む。また、ステップＳ４０４において、全動画像データが読み出し済みでないと判断した場合は、ステップＳ４１３において、所定量の動画像データを記録媒体２００（或いは２１０）から読み出し、メモリ３０に記憶してから、ステップＳ４０５に進む。

ステップＳ４０５において、システム制御回路５０は、メモリ３０に記憶した動画像データの中の音声データを、逐次メモリ制御回路１２０を介してＤ／Ａ変換器１２２に入力し、スピーカ１２４から出力して、音声再生を行う。

次にステップＳ４０６において、システム制御回路５０は、メモリ３０に記憶した動画像データからこれから伸長及び表示するフレームのフレーム番号ｍを取得し、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。このフレーム番号はステップＳ４１２の時刻表示において、表示中のフレームが記録された時刻を求める際に用いられる。

次にステップＳ４０７において、システム制御回路５０は、メモリ３０に記憶した動画像データの中の１フレーム分の画像データを圧縮・伸長回路３２により、画像伸張処理を行いメモリ３０に書き込む。

次にステップＳ４０８において、システム制御回路５０は、伸張した画像データを表示形式の表示画像データに変換し、変換した表示画像データをメモリ制御回路２２を介して画像表示メモリ２４に転送する。

次にステップＳ４０９において、システム制御回路５０は、画像表示メモリ２４に転送した表示画像データを読み出して、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８に表示する。

次にステップＳ４１０において、システム制御回路５０は、フレーム番号ｍが所定の数ａの倍数、ｍ＝ａ×Ｎであるかの判定を行う。所定の数ａの倍数であるならばステップＳ４１２に進み、システム制御回路５０の内部メモリ或いはメモリ５２に記憶した記録開始時刻、記録時のフレームレート及びフレーム番号ｍから記録時刻を計算し、時刻表示を行ってからステップＳ４１１に進む。所定の数ａの倍数でないならば、そのままステップＳ４１１に進む。なお、ここで説明した処理は、本発明でいう算出手段及び表示手段の処理に対応する。

ステップＳ４１１において、システム制御回路５０は、現在伸長及び表示したフレームが、最終フレームか否かを判定する。最終フレームでなかったならば、ステップＳ４０２に戻って動画再生処理を継続する。一方、最終フレームだったならば、即ち最終フレームを伸張表示し終わった場合は、動画再生処理を終了する。

以上の処理により、所定のａフレーム毎に時刻表示の更新を行うことで、所定のフレームにおいて記録時刻を表示するようにすることができる。なお、記録時刻は図８に示す計算式で求まる。例えば、記録開始時刻が３時であり、フレームが３０番目のフレームであり、記録時のフレームレートが１分間に１枚であれば、図８に示す計算式より３時３０分と算出される。また、画像表示部２８に動画像の記録時の経過時間（動画像の記録開始からどれだけ時間が経過しているか）を表示するようにしてもよい。この場合は、フレーム番号と記録時のフレームレートとをかけあわせることで経過時間を算出できる。

図９（ａ）は、本実施の形態の画像処理装置１００が記録媒体２００（或いは２１０）に記録するディレクトリ構成例を示す図である。図９（ｂ）は、本実施形態の画像処理装置１００が記録媒体２００（或いは２１０）に記録する動画ファイルのデータ構造と、記録時刻表示を行うために用いる記録開始時刻と記録時のフレームレート情報を記録したサムネイルファイルのデータ構造を示す図である。

ルートディレクトリ９０３にはサブディレクトリ９０４が生成される。サブディレクトリ９０４が保持するサブディレクトリ名は、先頭３文字が数字で構成される。ここでは、先頭３文字の数字は１００から始まり、ディレクトリを生成する毎に１ずつインクリメントされる。サブディレクトリ９０４の配下には、本実施形態の画像処理装置１００が作成するファイルが作成される。

本実施の形態の画像処理装置１００は、動画像記録時において、動画ファイル９０１（＊．ＡＶＩファイル）とサムネイルファイル９０２（＊．ＴＨＭファイル）とを別に記録媒体２００（或いは２１０）へ記録する。また、記録開始時刻と記録時のフレームレート情報はサムネイルファイル９０２（＊．ＴＨＭファイル）のヘッダ領域に記録される。

このようにすることで、動画ファイル９０１（＊．ＡＶＩファイル）本体に、記録開始時刻と記録時のフレームレートの情報を持つことができないフォーマットの動画像であっても記録時刻表示を行うことができる。

なお、本実施の形態では、動画像再生時に記録時刻又は記録時の経過時間を表示するようにしたが、これと同時に再生時間も表示できるようにしてもよい。また、この場合、記録時刻、記録時の経過時間、及び再生時間のうちの１つ又は複数を選択できるようにして、その選択に応じて、記録時刻等を表示するようにしてもよい。この場合、動画像再生時に操作部７０を操作することで記録時刻等を選択し、それに応じて切替え表示できるようにすればよい（本発明でいう選択手段に対応する）。

以上、本実施の形態では、動画像記録時に記録開始時刻と記録時のフレームレートとを動画像データと別に記憶しておき、動画像再生時に、記憶しておいた記録開始時刻、記録時のフレームレート、及び現在のフレーム番号から記録時刻を求めるようにした。これにより、動画像のフォーマットがタイムスタンプを持つことができる／できないに関わらず、記録時刻を算出して表示することができる。また、インターバル撮影によって記録した動画像、即ち、記録時の時間スケールと再生時の時間スケールの異なる動画像であっても、通常撮影によって記録した動画像であっても、同様の処理で記録時刻の表示を行うことができる。

なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置のメインルーチンの一部のフローチャートである。 本発明の実施の形態に係る画像処理装置のメインルーチンの一部のフローチャートである。 本発明の実施の形態に係る画像処理装置のメインルーチンの一部のフローチャートである。 本発明の実施の形態に係る画像処理装置の測距・測光ルーチンのフローチャートである。 本発明の実施の形態に係る画像処理装置の動画記録ルーチンのフローチャートである。 本発明の実施の形態に係る画像処理装置の動画再生ルーチンのフローチャートである。 本発明の実施の形態に係る画像処理装置が時刻計算の際に用いる計算式を示す図である。 本発明の実施の形態に係る画像処理装置が扱うディレクトリ構成例と、動画ファイル及びサムネイルファイルのデータ構造を示す図である。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 圧縮・伸長回路
４０ 露光制御回路
４２ 測距制御回路
４４ ズーム制御回路
４６ バリア制御回路
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
６６ 電源スイッチ
７０ 操作部
７２ 時計
８０ 電源制御部
８２、８４ コネクタ
８６ 電源
９０、９４ インタフェース
９２、９６ コネクタ
１００ 画像処理装置
１０２ 保護機構部
１０４ 光学ファインダ
１１０ 通信部
１１２ コネクタ（またはアンテナ）
１２０ メモリ制御回路
１２２ Ｄ／Ａ変換器
１２４ スピーカ
１２６ マイク
１２８ Ａ／Ｄ変換器
２００、２１０ 記録媒体
２０２、２１２ 記録部
２０４、２１４ インタフェース
２０６、２１６ コネクタ

Claims (10)

1. 動画像データの記録及び再生が可能な画像処理装置であって、
   動画像記録時に記録開始時刻及び記録時のフレームレートを記録媒体に記録する記録手段と、
   動画像再生時に、前記記録手段が記録した記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出手段とを備えたことを特徴とする画像処理装置。
2. 前記記録開始時刻及び前記記録時のフレームレートは、動画像データとは別に記録されることを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段により算出された前記記録時刻及び前記記録時の経過時間のうちの少なくともいずれかを表示部に表示する表示手段を備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示手段は、動画像の再生時間を表示することができることを特徴とする請求項３に記載の画像処理装置。
5. 前記記録時刻、前記記録時の経過時間、及び前記再生時間のうちの１つ又は複数を選択できる選択手段を備え、
   前記表示手段は、前記選択手段による選択に応じて、前記表示部に前記記録時刻、前記記録時の経過時間、及び前記再生時間のうちの１つ又は複数を表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、動画像の所定のフレームにおいて、前記記録時刻及び前記記録時の経過時間のうちの少なくともいずれかを算出することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 動画像データの記録が可能な画像処理装置であって、
   動画像記録時に記録開始時刻及び記録時のフレームレートを記録媒体に記録する記録手段を備えたことを特徴とする画像処理装置。
8. 動画像データの再生が可能な画像処理装置であって、
   動画像再生時に、該動画像の記録時に記録された記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出手段を備えたことを特徴とする画像処理装置。
9. 動画像データの記録及び再生が可能な画像処理装置の制御方法であって、
   動画像記録時に記録開始時刻及び記録時のフレームレートを記録手段に記録する記録ステップと、
   動画像再生時に、前記記録ステップで記録した記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出ステップとを有することを特徴とする画像処理装置の制御方法。
10. 動画像データの記録及び再生が可能な画像処理装置を制御するためのコンピュータプログラムであって、
    動画像記録時に記録開始時刻及び記録時のフレームレートを記録媒体に記録する記録ステップと、
    動画像再生時に、前記記録ステップで記録した記録開始時刻及び記録時のフレームレートから、再生した動画像の記録時刻及び記録時の経過時間のうちの少なくともいずれかを算出する算出ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images