JP4757113B2 - 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法、及び、情報処理装置、印刷装置、印刷データ生成方法に関し、更に詳しくは、撮像装置、情報処理装置、印刷装置における動画像の撮影及び印刷、及び撮像装置の制御方法、印刷データ生成方法に関する。

近年、簡単な操作で画像を撮影して、その撮影した画像をデジタル画像データに変換できるデジタルカメラやデジタルビデオカメラなどの撮像装置が広く使用されるようになってきている。それに伴い、デジタルカメラやデジタルビデオカメラなどで撮影した静止画像や動画像を、PCのディスプレイやTV等で見たり、ラボプリントサービスや家庭用のパーソナルプリンタで印刷する機会が増大している。

さらに、最近のデジタルカメラの高機能化により、静止画撮影だけでなく、動画撮影機能を併せ持つものが普及している。

この状況下において、従来はプリントショップでネガやインデックスプリントを使い、プリントしたいコマや枚数、日付プリントなどプリント作成のための情報を手書きで指定していた。近年では、これらの情報を自分のデジカメで設定し、メモリカードなどのリムーバブルメディアに直接記録することができるようになっている。この機能により、このリムーバブルメディアをプリンタに装着するだけで、指定どおりに自動的にプリントできるようになる。これは、デジタルカメラやプリンタ上で、デジタル画像を確認しながら一枚一枚印刷するよりも、時間と手間を節約することができ、ユーザの手間が軽減する。

上述の機能を実現する為に、ＤＰＯＦ（Ditigal Print Order Format）と呼ばれる規格が知られている。このＤＰＯＦは、上述したユーザのメリットを実現するために、プリント枚数、サイズ、日付の有無、タイトル、トリミング等の自動プリント情報を、画像ファイルとともにリムーバブルメディア内に格納し、印刷時に利用するようにしたフォーマットである。

現在広く知られているＤＰＯＦは、静止画像を印刷対象とすることを前提としており、そのプリントの種類としては、例えば以下のものが用意されている。
Standard Print…１枚のプリントにレイアウトされる画像ファイルが１個。
Index PrintおよびMultiple Image Print…1枚のプリントにレイアウトされる画像が複数。
Specific Size Print…1枚のプリントにレイアウトされる画像ファイルが１個、ただし画像サイズは指定したもの。

そして、自動プリント情報は、テキストファイルに格納され、その情報を格納するファイルは、ＤＰＯＦファイルと呼ばれている。

また最近は、ＰＣを介することなく、デジタルカメラからプリンタにデジタル画像データを直接伝送して印刷することができるダイレクトプリントシステムが開発されている。また、デジタルカメラで撮影された画像をメモリカード等のメディアに記憶させ、このメディアを直接プリンタに装着し、メディアに記憶された画像を印刷するプリンタ等も開発されている。

更に、静止画だけでなく、動画中の一コマを印刷するという動画プリントに対するニーズもあり、動画像を印刷対象とする技術は、例えば特許文献１において提案されている。さらに、ＤＰＯＦで動画像を印刷処理の対象に含める技術は、例えば特許文献２において提案されている。

また、特許文献３では、フレーム間差分値が逐次計算されて、動画像のシーンの変わるタイミングを抽出することが開示されている。

特開２００４−０４０３９３号公報 特開２００１−２５１５７３号公報 特開２００４−０８０５９９号公報

しかしながら、従来の発明では、動画像中の特定の１フレームの画像に対し、エッジを強調したり明るさを補正したりするなど、通常考えられる画像補正を行ってから、印刷用の静止画像を作成していた。そのため、動画像特有の画像ノイズを除去するのが難しかった。また、特許文献３のように動画像からシーンの変わり目を抽出する為には、フレーム間の相関をいちいちチェックしなければならないため、処理に時間がかかるという問題があった。

また、静止画では、撮影情報がヘッダに格納されていたり、また、基本的には時間的に一瞬を切り取ったものであることから、静止画プリント時にはその一枚だけの情報から画像補正を行い、印刷する。

これに対し、動画プリントでは、時間的に連続する画像の中からある一枚を抜き出してプリントする。この場合、プリントしたい画像の時間的に連続した前後画像を用い、動領域・静領域に分けて２種類の画像処理を行うといった技術や、フィールド画像からフレーム画像に拡大印刷する場合に画素補間を行う技術などが知られている。

これらの合成または補正を行うことで画像の解像度アップや感度アップを図ることは有効であり、被写体が静止しているならば、合成および補正に用いる画像は多いほどその効果は増す。しかしながら、動画撮影である以上、画角変化や露出変化が発生する可能性は非常に高い。そういったシーンの一枚を印刷しようとした場合に、従来技術のままでは、画像に最適な補正をかけたり、画質向上を図ることは難しい。

本発明は上記問題点を鑑みてなされたものであり、より確実且つ迅速に高画質な印刷用の動画像データを生成できるようにすることを目的とする。

上記目的を達成するために、動画像の撮影が可能な本発明の撮像装置は、動画像の撮影時に、新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係の有無を判断する判断手段と、前記判断手段の判断結果を前記新たに取得したコマの画像データと共に記録媒体に記録する記録手段とを有する。

更に、前記撮像装置は、前記記録媒体に記録された動画像を形成する複数コマの画像データから、印刷するコマを選択する選択手段と、前記記録媒体に記録された前記判断手段による判断結果に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、前記合成手段により合成した印刷用の画像データを印刷装置に出力する出力手段とを有する。

また、動画像の撮影が可能な撮像装置の本発明の制御方法は、判断手段が、動画像の撮影時に、新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係の有無を判断する判断工程と、記録手段が、前記判断工程における判断結果を前記新たに取得したコマの画像データと共に記録媒体に記録する記録工程とを有する。

また、別の構成によれば、本発明の画像処理装置は、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係の有無とを入力する入力手段と、前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、前記相関関係の有無に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、前記合成手段により合成した印刷用の画像データを印刷装置に出力する出力手段とを有する。

また、別の構成によれば、本発明の印刷装置は、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係の有無とを入力する入力手段と、前記入力した複数コマの画像データから、印刷するコマを選択する選択手段と、前記相関関係の有無に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有する。

また、本発明の印刷データ生成方法は、取得手段が、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係の有無に関する情報を取得する取得工程と、選択手段が、前記取得した複数コマから、印刷するコマを選択する選択工程と、抽出手段が、前記相関関係の有無に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出工程と、合成手段が、前記選択されたコマ及び前記抽出工程で抽出されたコマの画像データを合成して印刷用の画像データを生成する合成工程と、出力手段が、前記合成工程で合成した印刷用の画像データを印刷手段に出力する出力工程とを有する。

また、別の構成によれば、動画像の撮影が可能な本発明の撮像装置は、動画像の撮影時に、撮影した動画像の画像データと、当該動画像の撮影データとを記憶する記憶手段と、前記記憶手段に記憶された動画像を形成する複数コマの画像データから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、前記選択手段により選択されたコマの撮影データが示す撮影条件に基づいて、合成する画像数を決定する決定手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。

また、別の構成によれば、本発明の画像処理装置は、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、前記入力した複数コマから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、前記選択手段により選択されたコマの撮影データに基づいて、合成する画像数を決定する決定手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。

また、別の構成によれば、本発明の印刷装置は、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、前記入力した複数コマから、印刷するコマを選択する選択手段と、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、前記選択手段により選択されたコマの撮影データが示す撮影条件に基づいて、合成する画像数を決定する決定手段と、前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有し、前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成する。

また、本発明の印刷データ生成方法は、取得手段が、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを取得する取得工程と、選択手段が、前記取得した複数コマから、印刷するコマを選択する選択工程と、合成手段が、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成工程と、決定手段が、前記選択工程で選択されたコマの撮影データが示す撮影条件に基づいて、前記合成工程で合成する画像数を決定する決定工程とを有し、前記合成工程では、前記選択されたコマと、当該コマの前後に撮影された前記決定工程で決定された数のコマの画像データを合成する。

本発明によれば、より確実且つ迅速に高画質な印刷用の動画像データを生成できるようにすることが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態におけるシステムの構成を示すブロック図であり、主に撮像装置１及び印刷装置３から構成される。

撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどであって、動画撮影が可能な撮像装置である。本第１の実施形態における撮像装置１において、１１はフォーカスレンズやズームレンズ等から成るレンズ、１２は絞り機能を備えるシャッター（デジタルビデオカメラの場合は、絞り）、１３はＣＣＤやＣＭＯＳセンサなどに代表される撮像素子である。

１４は二重相関サンプリング／オートゲイン制御回路（ＣＤＳ／ＡＧＣ）、１５はデジタル信号処理回路、１６は少なくとも２フレーム分の画像データを記憶可能な容量を有するフレームメモリである。なお、本第１の実施形態では、後述するように撮像素子１３からの１回の読み出し動作で１フレーム分の画像信号を読み出すものとして説明するが、１フィールド分の画像信号をインターレーススキャンにより読み出しても良いことは言うまでもない。また、フレームまたはフィールドに関わらず、１回の読み出し動作で撮像素子１３から読み出される動画のことを「コマ」と呼ぶ。

１７はメインマイクロコンピュータ（メインマイコン）であり、撮像装置１全体の動作を制御する。１８は画像バス、１９は画像コーデック、２０は画像コーデック１９により圧縮された画像データを、メモリカードやデジタルビデオテープ、ＤＶＤ等の着脱可能な外部記録媒体２９に記録したり、外部記録媒体２９から画像データを読み出す記録部である。

２１は液晶ディスプレイ（ＬＣＤ）などの表示部、２２は表示部２１の表示制御を行う表示制御部である。２３はＮＴＳＣエンコーダ、２４はビデオ出力端子、２５はＩＥＥＥ１３９４規格やＵＳＢ規格等の規格に準拠した通信インターフェース（Ｉ／Ｆ）である。２６は画像データ間の相関関係を判断する相関判断部、２８は、ボタン、スイッチ、ダイヤル、タッチパネル等から構成される操作部である。

印刷装置３は、ＣＰＵ３１、メモリ３２、内部バス３８、メモリカードやＨＤＤなどの記憶媒体３３、操作パネルやプレビュー画面を表示する表示部３５と、表示部３５の表示制御する表示制御部３４とを含む。更に、外部との通信を行うためのＩＥＥＥ１３９４規格やＵＳＢ規格等の規格に準拠した通信Ｉ／Ｆ部３７、印刷エンジン３６などを含む。

撮像装置１と印刷装置３は通信ケーブル２により接続され、印刷データの転送、各種制御データのやり取りを行う。なお、図１に示す例では、ケーブルにより接続するものとしたが、本発明は通信規格や接続形態により限定されるものではない。例えば、通信Ｉ／Ｆが赤外線通信やＢｌｕｅｔｏｏｔｈ規格等の通信規格に準拠した無線通信手段である場合には、無線により通信を行うように構成してもよい。また、撮像装置１の記録媒体２９を、印刷装置３の記憶媒体３３として装着し、記録媒体２９を介して印刷データ及び各種制御データのやり取りを行うこともできる。

ここで、本第１の実施形態における、図１に示す構成を有する撮像装置１での動画像の撮像動作について、図２のフローチャートを参照しながら説明する。

レンズ１１及びシャッター１２を介して入射した被写体光は、撮像素子１３に入射し、電気信号に変換される。ここで、操作部２８により動画像の記録が指示されると、撮像素子１３は、蓄積された電気信号をクリアしてから所定時間電気信号を蓄積した後、蓄積した電荷（画像信号）を１フレーム分読み出し、ＣＤＳ／ＡＧＣ１４に出力する。ＣＤＳ／ＡＧＣ１４は、得られた画像信号をサンプルホールドし、適正な信号レベルにする。ＣＤＳ／ＡＧＣ１４によりレベル調整された画像信号に対してデジタル信号処理回路１５でデジタル信号処理を行い、生成された画像データをフレームメモリ１６の所定領域に記憶する（ステップＳ１１）。

次に、ステップＳ１２において、１フレーム前の画像データがフレームメモリ１６に存在するかどうかを判断する。フレームメモリ１６に１フレーム分の画像データしか無い場合には、ステップＳ１１で取得した画像データが今回の動画撮影における初めての画像データであるため、ステップＳ１１に戻る。１フレーム前の画像データがフレームメモリ１６に存在する場合には（ステップＳ１２でＹＥＳ）、ステップＳ１３に進み、相関判断部２６は今回取得した画像データと１フレーム前の画像データとをフレームメモリ１６から読み出して、相関関係を判断する。なお、相関判断部２６は公知の方法を用いて相関関係を判断する。

相関判断部２６による判断の結果、相関関係が所定レベルよりも高い場合には（ステップＳ１４でＹＥＳ）、相関フラグをＹに設定し（ステップＳ１６）、低い場合は（ステップＳ１４でＮＯ）、相関フラグをＮに設定する（ステップＳ１５）。

次に、ステップＳ１７において、画像コーデック１９は今回取得した画像データをフレームメモリ１６から読み出して動画像に適した方法で圧縮符号化し、記録部２０に圧縮符号化した画像データを転送する。記録部２０では、圧縮符号化した圧縮画像データを記録に適したフォーマットに変換して、相関判断部２６から得られる相関フラグと共に記録媒体２９に記録する。

上記処理により１フレーム分の画像データの記録が終了すると、ステップＳ１８で、操作部２８により動画像の撮影終了が指示されているかどうかを判断し、指示されていれば、撮影処理を終了する。指示されていなければステップＳ１１に戻って次のフレームの画像信号の読み込みを行う。なお、次のルーチンでは、前のルーチンで１フレーム前の画像データが記憶されていたフレームメモリ１６の領域に、新しく読み出した画像データを記憶するように制御される。

このように、本第１の実施形態では動画撮影時には、各フレームの画像データと、１フレーム前の画像データとの相関フラグが記録媒体２９に記録される。

図４は、記録媒体２９に記録された、画像ファイルのディレクトリ構成の一例を示す図である。図４では、撮像装置１が静止画像を撮影可能である場合に、撮影した静止画像および動画像を、同一の記録媒体２９に混在したまま格納した状態を示している。

図５は、記録媒体２９に記録された、動画像ファイルの概略構成を示す模式図である。図２を参照して上述したように、撮像装置１では予め各動画フレーム間の相関関係を調べ、動画像ファイルに各フレームの画像データを記録する際、各フレーム毎に、付属情報として相関フラグを追記している。

次に、図３を参照して、上述したようにして記録された動画像を印刷する際に行われる、撮像装置１で行われる印刷用静止画像の生成処理について説明する。

まず、印刷する動画像のフレームがユーザーにより指示されるのを待つ（ステップＳ２１）。ここでは、図４に示すような画像ファイルが記録媒体２９に保存されている場合に、印刷したい動画像の画像ファイルを選択し、更に、選択した画像ファイルを再生しながら、印刷するフレームを選択する。

例えば、図６に示すような動画像のフレーム画像と、相関フラグとが記録されている場合、まず、シーンの変化点を抽出し、そのフレームで動画像を止める。ここでは、フレーム２がフレーム１との変化量が大きいため、フレーム２で動画像を止める。その後、ユーザーはフレーム２から１フレームづつ表示画面を送りながら、各フレームの画像を表示部２１で確認していき、所望のフレームで操作部２８を操作して印刷を指定する。ここでは、ここでは例えばフレーム３が印刷指定されたものとする。

印刷指定されると、指定された動画像のフレームから、前の動画像のフレームの相関フラグを順次チェックしていき、連続する相関フレームの一番最初のフレーム番号（相関開始フレーム）を検索する（ステップＳ２２）。ここでは、まず、指定されたフレームの相関フラグがＹであるかどうかを確認する。Ｎであれば、指定されたフレームを相関開始フレームと判断する。一方、Ｙであれば、１フレーム前の相関フラグを確認する。１フレーム前の相関フラグがＮであれば、１フレーム前のフレームが相関開始フレームと判断する。一方、１フレーム前の相関フラグがＹであれば、２フレーム前の相関フラグを確認する。この相関フラグの確認動作を相関フラグがＮのフレームに到達するまで繰り返し、相関フラグがＮのフレームを相関開始フレームであると判断する。そして、検索した相関開始フレームを記憶する（ステップＳ２３）。図６に示す例では、相関開始フレームとして、フレーム２を記憶する。

次に、指定された動画像のフレームから、後の動画像のフレームの相関フラグを順次チェックしていき、連続する相関フレームの一番最後のフレーム番号（相関終了フレーム）を検索する（ステップＳ２４）。ここでは、まず、指定されたフレームの１フレーム後のフレームの相関フラグがＹであるかどうかを確認する。Nであれば、指定されたフレームを相関終了フレームと判断する。一方、Ｙであれば、２フレーム後の相関フラグを確認する。２フレーム後の相関フラグがＮであれば、１フレーム後のフレームが相関終了フレームであると判断する。一方、２フレーム後の相関フラグがＹであれば、３フレーム後の相関フラグを確認する。この確認動作を相関フラグがＮのフレームに到達するまで繰り返し、相関フラグがＮのフレームの１つ前のフレームを相関終了フレームであると判断する。そして、検索した相関終了フレームを記憶する（ステップＳ２５）。図６に示す例では、相関終了フレームとして、フレーム５を記憶する。

上記処理により、ステップＳ２１で印刷指定された動画像のフレームに対し、相関関係の高いフレームの範囲を求めることができる。図６に示す例では、印刷指定されたフレーム３に対し、フレーム２〜５が、相関関係の高いフレームとして求められる。

次にステップＳ２６において、上記検出された範囲内（図６の例ではフレーム２〜５）の全てのフレームの画像データを合成する。これにより、所望の動画像のフレームの印刷用静止画像を生成することができる。

図７は、図６に示す相関性の高い複数の動画像のフレーム（フレーム２〜５）を合成して作成した、印刷用静止画像の一例を示す図である。動画の画像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、画像信号に含まれるノイズ成分には相関がない。そのため、画像合成として、例えば、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、ノイズ成分のみが小さくなるので、ノイズを低減することが可能になる。

撮像装置１は、このようにして生成した印刷用静止画像データを、通信Ｉ／Ｆ２５を介して印刷装置３に送る。印刷装置３では、通信Ｉ／Ｆ３７を介して受け取った印刷用静止画像データを印刷する。

上記の通り、本第１の実施形態によれば、動画像の記録時に相関関係を示す情報を各フレームの画像データと共に記録するため、記録時に素早く相関するフレームを抽出することができる。また、抽出したフレームの画像データを合成して印刷用静止画像を生成するので、動画像のシーンを、高画質且つ高速に印刷することが可能になる。

＜第１の実施形態の変形例＞
上記第１の実施形態では、印刷用静止画像データを撮像装置１で生成する場合について説明したが、印刷装置３で生成するように構成しても良い。その場合には、図３を参照して説明した処理を、印刷装置３で行うようにすればよい。

また、図３を参照して説明した処理を、撮像装置１と印刷装置３とで分けて行うことも可能である。例えば、撮像装置１でユーザーにより指定された印刷指定フレームを管理ファイルとして記録媒体２９に保持しておき、その管理ファイルを基にして、印刷装置３で印刷用静止画像データを生成する。

図８は、記録媒体２９に記録された、管理ファイルの構成の一例を示す図である。１つのファイル「動画像ファイルＡ」に対し、複数の印刷指定箇所を記録することが可能である。これにより、１度の印刷実行時に、複数の印刷箇所をまとめて印刷指定することができる。また、図８に示すように、管理ファイルに相関フラグの情報を追記するようにしてもよい。この場合、動画像ファイルに相関フラグを埋め込まなくて済むため、実装が簡単になるというメリットがある。

また、図３を参照して説明した処理を、撮像装置１、印刷装置３以外の画像処理装置において実行することも可能である。そのシステム構成の一例を図９に示す。

図９では、撮像装置１と印刷装置３の間に画像処理装置４が介在するところが図１に示すシステムの構成と異なる。この構成において、撮像装置１により記録された動画像ファイルを、記録媒体２９または通信Ｉ／Ｆを介して画像処理装置４に入力し、画像処理装置４で図３に示す処理を行い、印刷用静止画像データを生成する。そして、生成した印刷用静止画像データを印刷装置３に送る。

また、上記第１の実施形態では、印刷指定されてから印刷用静止画像を作成していた。これに対し、撮像装置１において、動画像撮影と同時に図３のステップＳ２２〜Ｓ２６で説明したアルゴリズムを用いて印刷用静止画を作成して動画データもしくは記憶媒体２９に記録するようにしても良い。この場合、印刷装置３において任意の動画フレームが印刷指定されたときは、その動画フレームを用いて生成された印刷用静止画を単に呼び出して印刷する。これにより、印刷指定されてから印刷されるまでの時間を短縮し、生産性を高めることが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図１０は本発明の第２の実施形態におけるシステムの概略構成を示すブロック図であり、大きく分けて撮像装置５と印刷装置８から構成されている。

撮像装置５において、５１はフォーカスレンズやズームレンズ等から成るレンズ、５２は絞り機能を備えるシャッター（デジタルビデオカメラの場合は、絞り）である。５３はＣＣＤやＣＭＯＳセンサなどに代表される撮像素子である。６０は撮像装置５全体の動作を制御する制御部である。６１は制御部６０の指示を受けて、レンズ５１のフォーカスレンズを駆動してＡＦ処理を行うＡＦ処理部、６２は制御部６０の指示を受けて、絞りやシャッタースピードを制御してＡＥ処理を行うＡＥ処理部である。

５４は撮像素子５３から出力されるアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換部、５５は画像処理部であり、Ａ／Ｄ変換器５４により変換されたデジタル画像信号に対して所定の画素補間処理や色変換処理を行う。５６は、画像処理部５５により処理された画像データを、例えばＭＰＥＧやＪＰＥＧなどの記録に適したフォーマットに変換するフォーマット変換部である。また、５８は画像データを一時的に蓄えるバッファ機能を有するメモリ、５７は画像記録部であり、フォーマット変換部５６によりフォーマット変換された画像データをバッファ５８に記録する。

６３はフラッシュ、６４はＥＦ（Electric Flash）処理部、５９はボタンやスイッチ、タッチパネル、ダイヤルなどから成る操作部である。６５はＬＣＤなどの表示部、６６は撮像装置５を他の機器と接続するための外部接続部である。

６７は動画用撮影データ作成部であり、動画撮影時の撮影データを生成する。なお、撮影データについては、詳細に後述する。７２は、撮影データを印刷装置８に送信する撮影データ送信部である。

６８は、バッファ５８に一時的に記憶された所定フォーマットの画像データを伸長する動画伸長部、６９はプリントする画像を決定するプリント用画像決定部である。７０は、プリント用画像決定部６９により決定されたプリントする画像データ（静止画）を再び圧縮する画像圧縮部、７１は、画像圧縮部７０により圧縮された画像データを印刷装置８に送信する画像送信部である。

印刷装置８において、８１及び８５はそれぞれ、撮像装置５から送られた画像データ及び撮影データを受信する画像受信部及び撮影データ受信部である。８２は、画像受信部８１を介して受信した画像データを一時的に記憶する画像バッファ、８３は画像バッファ８２に記憶された画像データを伸長する画像伸長部である。また、８６は伸長された複数画像データの各露出値を演算する、前後画像露出値演算部である。８４は撮影データ受信部８５を介して受信した撮影データを用いて印刷に用いる補正値を決定するプリンタ用補正値算出部、８７は決定した補正値を用いて画像データに対して補正処理を行うプリンタ用画像処理部である。８８は、撮像装置５の制御部６０の制御に応じてプリンタを制御するプリンタ制御部、８９はプリンタ用画像処理部８７により処理された画像を印刷する印刷部である。

次に、図１０を参照して、撮像装置５における動画撮影時の処理について説明する。

最初に操作部５９によりユーザーが動画撮影の指示をすると、制御部６０はＡＦ処理部６１、ＡＥ処理部６２へそれぞれＡＦ、ＡＥ処理の指示を与え、レンズ５１、絞り機能を備えるシャッター５２が駆動し、最適なＡＦ、ＡＥ処理を行う。レンズ５１及びシャッター５２を通して撮像素子５３に入射した光はアナログ画像信号に変換され、更にＡ／Ｄ変換部５４によりデジタル画像信号に変換され、画像処理部５５へと送られる。上記処理は、動画撮影終了の指示が操作部５９から入力されるまで、所定周期で繰り返される。動画撮影終了の指示後には画像処理部５５から送られたデータのフォーマットをフォーマット変換部５６にて決定・作成し、画像記録部５７により動画ファイルをバッファ５８に保存する。

また、動画データと共に動画撮影時の撮影データも保存する。更に、本第２の実施形態ではサムネイルファイル（動画ファイルとは別途保存）を作成するものとして説明を行う。そしてサムネイルファイルに、動画用撮影データ作成部６７により作成された撮影データを添付して記憶する。

サムネイルファイルに記載される撮影データとしては、例えば、絞り、シャッタースピード、ＩＳＯ感度、Ｂｖ値、露出補正値、フラッシュ発光量、撮影シーン情報、測光重み情報などの露出条件や、角速度センサによる手ぶれ情報や、レンズ情報などがある。また、本第２の実施形態では動画撮影を行うため、動画撮影中の時間的なパラメータの変化量も撮影データとする。例えば、動画撮影中には画角変化が起こり得るが、その場合、露出変化を伴うことがあるため、そういった変化データも撮影データに含む。しかしながら、全てのフレーム画像に対して露出情報を記憶するとデータ量が膨大なものとなる恐れがあるため、例えば、露出変化開始時間と終了時間の絞りＡｖ、シャッタースピードＴｖ、ゲインＧａｉｎを記憶する。

図１１は、撮影データの一例として、時系列的な露出変化を示すパラメータとしての輝度Ｂｖ、絞りＡｖ、シャッタースピードＴｖ、ゲインＧａｉｎの時間変化に伴う関係を示す図である。図１１の場合、第１露出変化開始時刻はｔ11、第１露出変化終了時刻はｔ13となる。同様に第２露出変化開始時刻がｔ14、第２露出変化終了時刻がｔ16となる。よって露出安定区間はｔ13〜ｔ14、ｔ16〜ｔ17となる。これらの情報は動画プリント出力する際に用いられる。

また、時系列的な変化を示すパラメータとしては他にも、画角変化と被写体動作に関してもその変化開始時間、終了時間、変化量、ベクトルを記録する。画角変化においては角速度センサ、被写体動作においては電子防振等で用いられている技術を用いる。

また、前記動画用撮影データ作成部６７により作成されるカメラ特性データには、一眼レフカメラのような交換レンズの情報も含まれる。そのレンズ情報の内容としては、名称・種類・設計値・ズームポジション・F値などの撮影データに加え、周辺光量落ちデータ・色収差情報といった特性データをも含む。着脱交換可能なレンズの場合には、ダイレクト接続時にレンズ自体が保持している情報をカメラを介してプリンタ側に転送することも可能とする。

上記のように露出変化、画角変化、被写体動作等の撮影データはサムネイル画像内に随時記録され、撮影終了時に動画データと共にフォーマット変換部５６にて変換され、画像記録部５７によりバッファ５８に記録される。

なお上記例では、露出変化データを動画データとは別途添付するサムネイルファイルに添付するものとして説明したが、これに限るものではなく、動画の各瞬間の露出データをその動画データ自体に記録してもよい。

次に動画プリント時の処理について、図１２及び図１３を参照して説明する。

図１２は、図１１に示すように露出変化が起きている動画像において、印刷指示を行った場合のタイミングを示す図であり、図１３は、動画プリント処理を示すフローチャートである。図１２に示す例では、ｔ13〜ｔ14の間（指定画像ａ）、ｔ14〜ｔ15の間（指定画像ｂ）、ｔ16〜ｔ17の間（指定画像ｃ）の動画フレームを印刷指定した場合を示している。

まず、ユーザーが表示部６５に動画ファイルの再生を行い、撮影した動画像から、印刷したい動画フレームをプリント用画像決定部６９によりプリント指定すると、プリンタ用画像処理部８７により図１３に示す処理が開始される。

ステップＳ３１において、プリント指定された動画フレームに撮影データが添付されているかどうかを判断する。撮影データとしては、上述したように、絞り（Ａｖ）、シャッタースピード（Ｔｖ）、ゲイン（Ｇａｉｎ）などの露出変化や、画角、被写体動作が考えられるが、ここでは露出変化として説明する。

撮影データが無い場合には、ステップＳ３５に進んで印刷指定された動画フレームの前後１フレーム分の動画フレームを選択し（合計３フレーム）、ステップＳ４０へ進む。

撮影データがある場合には、印刷指定された動画フレームが露出安定区間のフレームかどうかの判定を行う（ステップＳ３２）。図１２に示す例では、指定画像ａ及び指定画像ｃが露出安定区間に印刷指定された動画フレームである。露出安定区間に印刷指定された動画フレームで無い場合には、ステップＳ３６に進んで、印刷指定された動画フレームのみを選択し、ステップＳ４０へ進む。

ステップＳ３２で、印刷指定された動画フレームが露出安定区間にある場合には、ステップＳ３３でシャッタースピード（Ｔｖ）が所定値（ＴｖＴＨ）よりも低いかどうかを判断する。シャッタースピードが遅いほど手振れが大きいことが考えられるので、Ｔｖ＜ＴｖＴＨであればステップＳ３７に進んで、印刷指定された動画フレームの前後各３フレームを選択し（合計７フレーム）、ステップＳ４０に進む。

Ｔｖ≧ＴｖＴＨであればステップＳ３４に進んで、ゲイン（Ｇａｉｎ）が所定置（ＧａｉｎＴＨ）よりも大きいかどうかを判断する。ゲインが大きいほどノイズが多くなるので、後述する画像合成において使用するフレーム数を多くし、ノイズを除去することが望ましい。従って、Ｇａｉｎ＞ＧａｉｎＴＨであればステップＳ３９に進んで、印刷指定された動画フレームの前後各５フレームを選択する（合計１１フレーム）。また、Ｇａｉｎ≦ＧａｉｎＴＨであればステップＳ３８で前後各３フレームを選択して（合計７フレーム）、ステップＳ４０に進む。

なお、上述したステップＳ３５〜Ｓ３９における選択するフレーム数は一例であり、本発明はこれらのフレーム数に限られるものではない。また、選択するフレーム数を決定するためのパラメータは、Ｔｖ、Ｇａｉｎだけでなく、絞りや画角変化量や被写体動作量ほか、撮影データ内の情報を用いてもよい。

ステップＳ４０では、ステップＳ３５〜Ｓ３９のいずれかにより選択された動画フレームのうち、露出安定期間にある画像のみを選別し、ステップＳ４１において加算平均により合成処理する。そして、合成した画像データを画像送信部７１を介して、また、撮影データを撮影データ送信部７２を介して印刷装置８に送信する（ステップＳ４２）。なお、印刷装置８では、送信された画像データ及び撮影データを画像受信部８１及び撮影データ受信部８５を介してそれぞれ受信し、印刷を行う。

また、図１２に示す指定画像ａ〜ｃ（複数の画像）が一度に指定された場合には、指定フレーム画像の時間のみを一旦保持し、プリント処理時に一括して処理を行う。時間指定された場合、画像記録部５７により再生動画ファイルのサムネイル画像を呼び出し、書き込まれている撮影データより露出変化情報とプリント指定時間の相関を取り、画像合成に使用する枚数を決定する。

＜変形例＞
上記第２の実施形態では、図１３のステップＳ３５〜Ｓ４０で印刷装置８に送信するフレームを決定すると、該当する動画フレームを撮像装置５側で合成し、合成した印刷用の静止画像を印刷装置８に送信する場合について説明した。

しかしながら、決定された動画フレームを合成する処理を印刷装置８において行ってもよく、その場合には、図５のステップＳ３５〜Ｓ４０で決定された動画フレームをそのまま印刷装置８に送信し、印刷装置８において合成処理を行うようにしても良い。

上記第２の実施形態においては、カメラ−プリンタのダイレクト接続時にユーザーにより画像補正処理が設定された場合のものであるが、ＰＣ−プリンタ接続に関してもその要旨を逸脱しないものとする。

＜他の実施形態＞
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１の実施形態におけるシステムの構成を示すブロック図である。 本発明の第１の実施形態における撮像装置の動画像撮影処理を示すフローチャートである。 本発明の第１の実施形態における動画像の印刷用静止画像の生成処理を示すフローチャートである。 本発明の第１の実施形態における記録媒体に記録された画像ファイルのディレクトリ構成の一例を示す図である。 本発明の第１の実施形態における記録媒体に記録された、動画像ファイルの構成の一例を示す図である。 本発明の第１の実施形態における動画像のフレーム画像と相関フラグとを示す模式図である。 本発明の第１の実施形態における印刷用静止画像の一例を示す図である。 記憶媒体に記録された、管理ファイルの構成の一例である。 本発明の第１の実施形態の変形例におけるシステムの構成を示す図である。 本発明の第２の実施形態におけるシステムの構成を示すブロック図である。 本発明の第２の実施形態における時系列的な露出変化を示す撮影データの一例を示す図である。 本発明の第２の実施形態におけるプリント画像指定のタイミングと露出変化の関係を示す図である。 本発明の第２の実施形態における動画像の印刷用静止画像の生成処理を示すフローチャートである。

符号の説明

１、５：撮像装置、２：通信ケーブル、３、８：印刷装置、１１：レンズ、１２：シャッター、１３：撮像素子、１４：二重相関サンプリング／オートゲイン制御回路（ＣＤＳ／ＡＧＣ）、１５：デジタル信号処理回路、１６：フレームメモリ、１７：メインマイクロコンピュータ、１８：画像バス、１９：画像コーデック、２０：記録部、２１：表示部、２２：表示制御部、２３：ＮＴＳＣエンコーダ、２４：ビデオ出力端子、２５：通信インターフェース、２７：相関判断部、２８：操作部、２９：外部記録媒体、３１：ＣＰＵ、３２：メモリ、３３：記憶媒体、３４：表示制御部、３５：表示部、３６：印刷エンジン、３７：通信Ｉ／Ｆ部、３８：内部バス、５１：レンズ、５２：シャッター、５３：撮像素子、５４：Ａ／Ｄ変換部、５５：画像処理部、５６：フォーマット変換部、５７：画像記録部、５８：メモリ、５９：操作部、６０：制御部、６１：ＡＦ処理部、６２：ＡＥ処理部、６３：フラッシュ、６４：ＥＦ処理部、６５：表示部、６６：外部接続部、６７：動画用撮影データ生成部、６８：動画伸長部、６９：プリント用画像決定部、７０：画像圧縮部、７１：画像送信部、７２：撮影データ送信部、８１：画像受信部、８２：画像バッファ、８３：画像伸長部、８４：プリンタ用補正値算出部、８５：撮影データ受信部、８６：前後画像露出値演算部、８７：プリンタ用画像処理部、８８：プリンタ制御部、８９：印刷部

Claims (24)

1. 動画像の撮影が可能な撮像装置であって、
   動画像の撮影時に、新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係の有無を判断する判断手段と、
   前記判断手段の判断結果を前記新たに取得したコマの画像データと共に記録媒体に記録する記録手段と
   を有することを特徴とする撮像装置。
2. 前記判断手段の判断結果に基づいて、互いに関連するコマを示す情報を生成する生成手段を更に有し、
   前記記録手段は、該生成された互いに関連するコマを示す情報を前記記録媒体に記録することを特徴とする請求項１に記載の撮像装置。
3. 前記判断手段の判断結果に基づいて、互いに関連するコマの画像データを合成して合成画像データを生成する合成手段を更に有し、
   前記記録手段は、前記合成画像データを前記記録媒体に記録することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記記録媒体に記録された動画像を形成する複数コマから、印刷するコマを選択する選択手段と、
   前記記録媒体に記録された前記判断手段による判断結果に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、
   前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する第２の合成手段と、
   前記第２の合成手段により合成した印刷用の画像データを印刷装置に出力する出力手段と
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係の有無とを入力する入力手段と、
   前記入力した複数コマから、印刷するコマを選択する選択手段と、
   前記相関関係の有無に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、
   前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、
   前記合成手段により合成した印刷用の画像データを印刷装置に出力する出力手段と
   を有することを特徴とする画像処理装置。
6. 動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係の有無とを入力する入力手段と、
   前記入力した複数コマから、印刷するコマを選択する選択手段と、
   前記相関関係の有無に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出手段と、
   前記選択されたコマ及び前記抽出手段により抽出されたコマの画像データを合成して印刷用の画像データを生成する合成手段と、
   前記合成手段により合成した印刷用の画像データを印刷する印刷手段と
   を有することを特徴とする印刷装置。
7. 動画像の撮影が可能な撮像装置であって、
   動画像の撮影時に、撮影した動画像の画像データと、当該動画像の撮影データとを記憶する記憶手段と、
   前記記憶手段に記憶された動画像を形成する複数コマから、印刷するコマを選択する選択手段と、
   動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、
   前記選択手段により選択されたコマの撮影データが示す撮影条件に基づいて、合成する画像数を決定する決定手段とを有し、
   前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする撮像装置。
8. 前記撮影データは、絞り値、シャッタースピード、感度、輝度値、画角変化発生時刻および画角変化量、被写体動作発生時刻および被写体動作量の少なくともいずれか１つを含むことを特徴とする請求項７に記載の撮像装置。
9. 前記記憶手段は、前記撮影データを動画像の画像データに添付することを特徴とすることを特徴とする請求項７又は８に記載の撮像装置。
10. 前記記憶手段は、前記撮影データを動画像の画像データと別のファイルとして記憶することを特徴とする請求項７又は８に記載の撮像装置。
11. 前記決定手段は、前記選択されたコマの撮影データが示す撮影条件が前後のコマと異なる場合に、合成する画像数を０とすることを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
12. 動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、
    前記入力した複数コマから、印刷するコマを選択する選択手段と、
    動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、
    前記選択手段により選択されたコマの撮影データに基づいて、合成する画像数を決定する決定手段とを有し、
    前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする画像処理装置。
13. 動画像を形成する複数コマの画像データと、当該動画像の撮影データとを入力する入力手段と、
    前記入力した複数コマから、印刷するコマを選択する選択手段と、
    動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成手段と、
    前記選択手段により選択されたコマの撮影データが示す撮影条件に基づいて、合成する画像数を決定する決定手段と、
    前記合成手段により合成した印刷用の画像データを印刷する印刷手段とを有し、
    前記合成手段は、前記選択されたコマと、当該コマの前後に撮影された前記決定手段により決定された数のコマの画像データを合成することを特徴とする印刷装置。
14. 動画像の撮影が可能な撮像装置の制御方法であって、
    判断手段が、動画像の撮影時に、新たに取得したコマの画像データと直前に撮影したコマの画像データとの相関関係の有無を判断する判断工程と、
    記録手段が、前記判断工程における判断結果を前記新たに取得したコマの画像データと共に記録媒体に記録する記録工程と
    を有することを特徴とする制御方法。
15. 生成手段が、前記判断工程における判断結果に基づいて、互いに関連するコマを示す情報を生成する生成工程を更に有し、
    前記記録工程では、該生成された互いに関連するコマを示す情報を前記記録媒体に記録することを特徴とする請求項１４に記載の制御方法。
16. 合成手段が、前記判断工程における判断結果に基づいて、互いに関連するコマの画像データを合成して合成画像データを生成する合成工程を更に有し、
    前記記録工程では、前記合成画像データを前記記録媒体に記録することを特徴とする請求項１４又は１５に記載の制御方法。
17. 取得手段が、動画像を形成する複数コマの画像データと、該複数コマの画像データ間の相関関係の有無に関する情報とを取得する取得工程と、
    選択手段が、前記取得した複数コマから、印刷するコマを選択する選択工程と、
    抽出手段が、前記相関関係の有無に基づいて、前記選択されたコマと相関関係を有するコマを抽出する抽出工程と、
    合成手段が、前記選択されたコマ及び前記抽出工程で抽出されたコマの画像データを合成して印刷用の画像データを生成する合成工程と、
    出力手段が、前記合成工程で合成した印刷用の画像データを印刷手段に出力する出力工程と
    を有することを特徴とする印刷データ生成方法。
18. 前記合成工程で合成された印刷用の画像データを前記印刷手段で印刷することを特徴とする請求項１７に記載の印刷データ生成方法。
19. 取得手段が、動画像を形成する複数コマの画像データと、当該動画像の撮影データとを取得する取得工程と、
    選択手段が、前記取得した複数コマから、印刷するコマを選択する選択工程と、
    合成手段が、動画像を形成する複数コマの画像データを合成して印刷用の画像データを生成する合成工程と、
    決定手段が、前記選択工程で選択されたコマの撮影データが示す撮影条件に基づいて、前記合成工程で合成する画像数を決定する決定工程とを有し、
    前記合成工程では、前記選択されたコマと、当該コマの前後に撮影された前記決定工程で決定された数のコマの画像データを合成することを特徴とする印刷データ生成方法。
20. 前記合成工程で合成された印刷用の画像データを印刷装置で印刷することを特徴とする請求項１９に記載の印刷データ生成方法。
21. 情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項５又は１２に記載の画像処理装置として機能させることを特徴とするプログラム。
22. コンピュータに、請求項１４乃至１６のいずれか１項に記載の制御方法の各工程を実行させるためのプログラム。
23. コンピュータに、請求項１７乃至２０のいずれか１項に記載の印刷データ生成方法の各工程を実行させるためのプログラム。
24. 請求項２１乃至２３のいずれかに記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images