JP2022187301A - 撮像装置、制御方法、プログラム - Google Patents

Abstract

【課題】外部で抽出された所定の条件を満たす画像と撮像装置で抽出された代表画像とが異なる場合にユーザが所望の画像を選択できるようにする。【解決手段】画像処理装置と通信可能な撮像装置であって、撮像手段により連続的に撮影して取得された複数枚のＲＡＷ画像を前記画像処理装置に送信する送信手段と、前記画像処理装置において、前記撮像装置から受信した複数枚のＲＡＷ画像から所定の条件を満たす所定のＲＡＷ画像を抽出すると共に、前記所定のＲＡＷ画像を現像した画像または抽出された結果を受信する受信手段と、前記撮像手段により取得した複数枚のＲＡＷ画像の中の所定の代表画像と、前記画像処理装置により抽出された所定のＲＡＷ画像とが相違している場合に、前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えるか否かを判定する判定手段と、を有する。【選択図】図８

Description

本発明は、複数枚のＲＡＷ画像から所定の条件を満たすＲＡＷ画像を抽出し再生を行うシステムに関する。

撮像素子の性能向上により、シャッターを機械的に作動させて画像を撮像するメカニカルシャッター方式に代えて、撮像素子による電荷の蓄積および読み出しタイミングを制御して撮像を行う電子シャッター方式が主流となっている。電子シャッター方式はメカニカルシャッター方式とは異なり撮影時にシャッター音が出ないため、例えば静穏な環境下での撮影シーンに好適である。また、電子シャッター方式では、撮像素子の電荷の読み出し速度の向上により、１秒間に数１０コマの撮影を行うことも可能である。

このように、１秒間に数１０コマ（例えば、３０コマ）を撮像可能な撮像装置では、撮像後の比較的時間のかかる圧縮処理やファイル化処理などは省略し、次の撮影が可能な状態へ移行する必要がある。そのため、１秒間に数１コマの各フレームをＲＡＷ画像データとして撮影直後に現像処理は行わずに記録している。また、ＲＡＷ画像データであっても表示用のサムネイルデータは必要であるため、撮像時のデータサイズよりも小さくしたサムネイルデータを各フレームに埋め込む。このようにして撮影全体の処理時間を節約している。

また、従来のＲＡＷ画像データの現像処理はデジタルカメラやパーソナルコンピュータ（ＰＣ）などの現像アプリケーションを用いて行われていたが、近年の通信環境の向上により、ネットワークを介してクラウドサーバにより現像処理が行えるようなっている。このようにクラウドサーバで現像処理を行うことで、新たなサービスやアルゴリズムをいち早く取り入れ、高品質な現像画像を実現できる。また、高性能なサーバを利用することで現像処理に要する時間を短縮できる。

さらに、高性能なサーバは、ユーザが自分で好みのシーンを選択する操作よりも高速に画像のピントが合っているか、構図が適切であるか、被写体が人物である場合は人物の表情が良いかなどを判定し、複数の画像からベストショットを抽出可能となっている。特許文献１には、動画ファイルから複数のシーンに対応する複数の代表画像を抽出して一覧表示し、ユーザが好みのシーンを選択すると、選択されたシーンの代表画像を再生可能にするビデオ再生システムが記載されている。

特開２００６－１９７５６６号公報

ユーザが撮像装置により撮像した複数のＲＡＷ画像データをクラウドサーバに送信し、クラウドサーバが複数のＲＡＷ画像データの中からベストショットを抽出するシステムでは、クラウドサーバが複数のＲＡＷ画像データの中から抽出したベストショットの画像と、撮像装置が保有しているＲＡＷ画像データの中から抽出される代表画像とが異なる可能性がある。また、撮像装置がクラウドサーバで抽出されたベストショットの画像を受信することにより、撮像装置が抽出した代表画像が、ユーザが意図していないクラウドサーバが抽出したベストショットの画像に置き換えられて再生されてしまう可能性がある。

本発明は、上記課題を鑑みてなされ、その目的は、外部で抽出された所定の条件を満たす画像と撮像装置で抽出された代表画像とが異なる場合にユーザが所望の画像を選択できるようにする技術を実現することである。

上記課題を解決し、目的を達成するために、本発明は、画像処理装置と通信可能な撮像装置であって、撮像手段により連続的に撮影して取得された複数枚のＲＡＷ画像を前記画像処理装置に送信する送信手段と、前記画像処理装置において、前記撮像装置から受信した複数枚のＲＡＷ画像から所定の条件を満たす所定のＲＡＷ画像を抽出すると共に、前記所定のＲＡＷ画像を現像した画像または抽出された結果を受信する受信手段と、前記撮像手段により取得した複数枚のＲＡＷ画像の中の所定の代表画像と、前記画像処理装置により抽出された所定のＲＡＷ画像とが相違している場合に、前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えるか否かを判定する判定手段と、を有する。

本発明によれば、外部で抽出された所定の条件を満たす画像と撮像装置で抽出された代表画像とが異なる場合にユーザが所望の画像を選択できるようになる。

本実施形態のシステム構成図。 本実施形態のデジタルカメラの構成を示すブロック図。 本実施形態のサーバの構成を示すブロック図。 （ａ）は本実施形態におけるバンドルＲＡＷ画像ファイルとベストショット判定の説明図、（ｂ）は本実施形態におけるプリ撮影「切」の場合のＲＡＷバースト撮影の説明図、（ｃ）は本実施形態におけるプリ撮影「入」の場合のＲＡＷバースト撮影の説明図、（ｄ）は本実施形態におけるバンドルＲＡＷ画像ファイルのデータ構成図。 本実施形態のデジタルカメラが保有する複数の画像ファイルを一覧表示した画面を例示する図。 本実施形態におけるサーバの処理を示すフローチャート。 本実施形態におけるベストショット抽出結果の通知処理を説明する図。 本実施形態におけるデジタルカメラの処理を示すフローチャート。 本実施形態における代表画像とベストショット画像とが相違する場合の再生時の処理の説明図。 ユーザがベストショット画像を選択した場合のデジタルカメラの処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本実施形態においては、画像生成装置および画像処理装置としてデジタルカメラ（以下、カメラ）２００およびサーバコンピュータ３００が通信ネットワーク１００により接続されたシステムの例を説明する。

なお、本実施形態のシステムは、カメラ２００で生成されたＲＡＷ画像データの現像処理を、現像処理機能を提供するネットワーク上のクラウドサーバ（以下、サーバ）３００で実行する。なお、本実施形態では、サーバ３００がＲＡＷ画像データの現像処理を実行する例を説明するが、サーバ３００において現像処理以外の画像処理を行うようにしてもよい。

＜システム構成＞まず、図１を参照して、本実施形態のシステム構成について説明する。

カメラ２００には、サーバ３００の現像処理機能を利用するための画像処理アプリケーションがインストールされている。カメラ２００はＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、公衆回線などの通信ネットワーク１００を介してサーバ３００と通信可能に接続される。

カメラ２００は、連写撮影（ＲＡＷバースト撮影）により連続的に撮影して生成された複数のＲＡＷ画像データから構成されるバンドルＲＡＷ画像ファイル５０を生成し、バンドルＲＡＷ画像ファイル５０をサーバ３００に送信する。カメラ２００で生成されるＲＡＷ画像データは、デジタルカメラなどで撮影される静止画や動画など画像データであって、現像処理を行わずにファイル化されたものである。

カメラ２００は、カメラ２００で生成されたＲＡＷ画像データをサーバ３００に送信し、サーバ３００がカメラ２００から受信したＲＡＷ画像データに対して現像処理を実行し、現像済みの画像データをカメラ２００に送信する。

サーバ３００は、カメラ２００から受信した複数枚のＲＡＷ画像データからベストショットと判定したＲＡＷ画像データを抽出する。そして、サーバ３００は、ベストショットと判定したＲＡＷ画像データに関する情報またはベストショットと判定したＲＡＷ画像データを現像した画像データ５１をカメラ２００に送信する。

＜カメラ２００の構成＞次に、図２を参照して、カメラ２００のハードウェア構成について説明する。

なお、本実施形態では、画像生成装置をデジタルカメラなどの撮像装置に適用した例を説明するが、これに限定されるものではない。例えば、携帯電話の一種であるスマートフォン、タブレットデバイス、時計型端末や眼鏡型端末などの情報処理装置であってもよい。

制御部２０１は、カメラ２００の全体を統括して制御する演算処理装置（ＣＰＵ）であって、後述する不揮発性メモリ２０２に格納されたプログラムを実行することで、後述するフローチャートの処理を実現する。なお、制御部２０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

不揮発性メモリ２０２には、制御部２０１の動作用の定数、プログラム等が格納される。ここでいう、プログラムとは、本実施形態にて後述するサーバ３００との通信処理を実行するためのプログラムを含む。また、不揮発性メモリ２０２には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現する画像処理アプリケーションが格納されている。本実施形態のカメラ２００の処理は、画像処理アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、画像処理アプリケーションはカメラ２００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、カメラ２００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。不揮発性メモリ２０２は、例えば、ＥＥＰＲＯＭである。

作業用メモリ２０３は、制御部２０１の動作用の定数、変数、不揮発性メモリ２０２から読み出したプログラム等を展開する作業領域として使用される。また、作業用メモリ２０３は、撮像部２０４で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリとして使用される。

撮像部２０４は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部２０４は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。撮像部２０４は、制御部２０１の制御により、撮像部２０４に含まれるレンズにより結像された被写体像光を、撮像素子により電気信号に変換し、ノイズ低減処理などを行って、デジタル信号からなる画像データを出力する。

制御部２０１は、撮像部２０４により撮像されたＲＡＷ画像データに対して現像処理を除く各種の画像処理を行い、画像ファイルを生成し、記録媒体２０８に記録する。本実施形態のカメラ２００では、ＲＡＷ画像データはＤＣＦ（Ｄｅｓｉｇｎ Ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に従って、記録媒体２０８に記録される。また、制御部２０１は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づき制御部２０１が撮像部２０４のフォーカスレンズや絞り、シャッターを制御することで、ＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理を行う。

操作部１０５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる。操作部１０５は、例えば、電源のオンまたはオフにする電源ボタンや画像の撮影を行うシャッターボタン、カメラ２００の動作モードを設定するモード設定ボタンなどを含む。また、後述する表示部１０６に一体的に形成されるタッチパネルも操作部１０５に含まれる。また、操作部１０５は、後述の通信部２０７を介して外部装置との通信を開始するための専用の接続ボタンなどの操作部材を含む。また、操作部１０５は、カメラ２００と一体化された構成であっても、カメラ２００に接続された外部装置であってもよい。カメラ２００は、操作部１０５と接続することができればよい。

シャッターボタンは、ユーザによる撮影時の操作として操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１オンを受けて、制御部２０１は撮像部２０４を制御することによりＡＦ（オートフォーカス）処理やＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。また、シャッターボタンは、ユーザによる撮影時の操作として操作完了、いわゆる全押し（撮影開始指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。制御部２０１は、第２シャッタースイッチ信号ＳＷ２オンを受けて、撮像部２０４からの信号読み出しから記録媒体２０８に画像データを書き込むまでの一連の撮影動作を開始し、第２シャッタースイッチ信号ＳＷ２オフ（撮影終了指示）を受けて撮影動作を終了する。

モード設定ボタンは、カメラ２００の動作モードを、静止画や動画を撮影するための撮影モード、画像を再生するための再生モード、後述するＲＡＷバースト撮影モードを含む複数の動作モードのいずれかに設定可能である。なお、ＲＡＷバースト撮影では、撮影時の設定として後述するプリ撮影「切」またはプリ撮影「入」に設定可能である。

表示部１０６は、撮像部２０４で撮像された画像データ（ライブビューを含む）やサーバ３００で画像処理が実行された画像データなどの表示を行う。また、表示部１０６は、画像処理アプリケーションのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）など、対話的な操作のための文字表示等を行う。表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスである。表示部１０６は、カメラ２００と一体化された構成であっても、カメラ２００に接続された外部装置であってもよい。カメラ２００は、表示部１０６と接続することができ、表示部１０６の表示を制御する機能を有していればよい。

通信部２０７は、サーバ３００などの外部装置と接続するためのインターフェースである。本実施形態のカメラ２００は、通信部２０７を介して、外部装置とデータの授受を行うことができる。例えば、カメラ２００で生成されたＲＡＷ画像データを、通信部２０７を介して外部装置に送信することができる。なお、本実施形態では、通信部２０７は、ＵＳＢケーブルやＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４などの有線接続インターフェースを含む。また、通信部２０７は、ＩＥＥＥ８０２．１１の規格による無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＥＥＥ８０２．１５の規格によるＢｌｕｅｔｏｏｔｈ（登録商標）などの無線接続インターフェースを含む。制御部２０１は、通信部２０７を制御することで外部装置との通信を実現する。

記録媒体２０８は、撮像部２０４から出力された画像データが書き込まれたり、既に記録されている画像ファイルが読み出されたりする。記録媒体２０８は、カメラ２００に装着されるメモリカードやハードディスクドライブ等であってもよいし、カメラ２００に内蔵されたフラッシュメモリやハードディスクドライブであってもよい。カメラ２００は少なくとも記録媒体２０８にアクセスする機能を有していればよい。

＜サーバ３００の構成＞次に、図３を参照して、サーバ３００のハードウェア構成について説明する。

本実施形態のサーバ３００は、制御部３０１、不揮発性メモリ３０２、作業用メモリ３０３、画像処理部３０４、通信部３０５、記憶部３０６、画像判定部３０７を備える。

制御部３０１は、サーバ３００の全体を統括して制御する演算処理装置（ＣＰＵ）であって、後述する不揮発性メモリ３０２に格納されたプログラムを実行することで、後述するフローチャートの処理を実現する。なお、制御部３０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

不揮発性メモリ３０２には、制御部３０１の動作用の定数、プログラム等が格納される。ここでいう、プログラムとは、カメラ２００との通信処理を実行するためのプログラムを含む。また、不揮発性メモリ３０２には、制御部３０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現する画像処理プログラムが格納されている。本実施形態のサーバ３００の処理は、画像処理プログラムにより提供されるソフトウェアを読み込むことにより実現される。なお、画像処理プログラムはサーバ３００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、サーバ３００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。不揮発性メモリ３０２は、例えば、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリで構成されるソリッドステートドライブ（ＳＳＤ）、ＥＥＰＲＯＭ、フラッシュメモリ、光ディスクなどである。

作業用メモリ３０３は、制御部３０１の動作用の定数、変数、不揮発性メモリ３０２から読み出したプログラム等を展開する作業領域として使用される。また、作業用メモリ３０３は、カメラ２００から受信したＲＡＷ画像データを一時的に保持するバッファメモリとして使用される。

画像処理部３０４は、カメラ２００から受信したＲＡＷ画像データに対して、画素補間処理、輝度信号処理、および色信号処理などの現像処理を施した現像済み画像データを生成するＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

通信部３０５は、ＨＴＴＰ通信等によって外部装置と通信を行うソフトウェアや回路を含む。本実施形態のサーバ３００は、通信部３０５を介して、カメラ２００とデータの授受を行うことができる。例えば、サーバ３００は、画像処理部３０４で現像済みの画像データを、通信部３０５を介して外部装置に送信することができる。なお、本実施形態では、通信部３０５は外部装置と無線方式や有線方式で通信するためのインターフェースを含む。制御部３０１は、通信部３０５を制御することで外部装置との通信を実現する。本実施形態では、通信部３０５は、ＧＥＴ／ＨＥＡＤメソッドを用いてカメラ２００と接続することができる。なお、ＧＥＴ／ＨＥＡＤメソッドに限らず、ＰＯＳＴメソッドやＰＵＴメソッド等の方法を使用してもよい。ユーザが外出時にカメラ２００とサーバ３００を接続させる場合は、公衆回線やＷｉ－Ｆｉ等を使用して接続を行い、帰宅時は自宅のアクセスポイント等を介して接続してもよい。なお、カメラ２００との通信はこれに限られるものではなく、また、現像済みの画像データをカメラ２００に送信しなくてもよい。

記憶部３０６は、カメラ２００から受信した画像データその他のデータを記憶するＳＳＤやハードディスクなどの記憶装置である。なお、サーバ３００が通信を行う対象はカメラ２００に限らず、他の通信機器であってもよい。

画像判定部３０７は、カメラ２００から受信し、記憶部３０６に格納されているＲＡＷ画像データの中からベストショットを判定し、ベストショットと判定したＲＡＷ画像データを抽出するソフトウェアや回路を含む。

画像処理部３０４は、画像判定部３０７においてベストショットと判定されたＲＡＷ画像データに対して現像処理を行う。現像済みの画像データは、通信部３０５によりカメラ２００に送信される。

＜バンドルＲＡＷ画像とベストショット判定＞
図４（ａ）は複数のＲＡＷ画像データからベストショットと判定した画像を抽出する方法を説明する図である。

本実施形態において、ベストショットとは、ＲＡＷバースト撮影により所定の撮影操作に応じて同一の被写体を連写して複数のＲＡＷ画像データを生成し、複数のＲＡＷ画像の中で最適と判定されるＲＡＷ画像データである。ベストショットとしては、ピントが合っている、被写体が大きく写っている、決定的瞬間を捉えている、など複数の判定条件がある。本実施形態では、図４（ａ）を用いて、一人の人物を連写して複数（例えば、６枚）の画像４０１～４０６を撮影した例を説明する。この場合、画像４０４が最も笑顔となっており、画像４０１～４０６の中のベストショットとして判定される。

図４（ｂ）、（ｃ）はＲＡＷバースト撮影について説明する図である。

ＲＡＷバースト撮影とは、複数のＲＡＷ画像データを連写で撮影する方法であり、所定の撮影設定としてプリ撮影「切」とプリ撮影「入」がある。図４（ｂ）はプリ撮影「切」の場合の撮影動作の例を示し、図４（ｃ）はプリ撮影「入」の場合の撮影動作の例を示している。図４（ｂ）、（ｃ）の横軸は時間を示している。

図４（ｂ）のプリ撮影「切」の状態では、第２シャッタースイッチ信号ＳＷ２オン（撮影開始）から第２シャッタースイッチ信号ＳＷ２オフ（撮影終了）までの間に連写撮影を行い、連写撮影された複数のＲＡＷ画像データを１つのバンドルＲＡＷ画像ファイル４１０として記録される。

図４（ｃ）のプリ撮影「入」の状態では、第１シャッタースイッチ信号ＳＷ１オン後であって第２シャッタースイッチ信号ＳＷ２オンから所定の時間前の時点から第２シャッタースイッチ信号ＳＷ２オフまでの間に連写撮影を行い、連写撮影された複数のＲＡＷ画像データを１つのバンドルＲＡＷ画像ファイル４１１として記録される。この場合、第２シャッタースイッチ信号ＳＷ２オンとなる所定の時間前（最大０．５秒前）から第２シャッタースイッチ信号ＳＷ２オフまでの間に連写されたＲＡＷ画像データが記録される。

図４（ｄ）はＲＡＷバースト撮影により生成されるバンドルＲＡＷ画像ファイルのデータ構成を例示する図である。

バンドルＲＡＷ画像ファイル４２０は、メタ情報４２１、代表画像４２２、各画像フレーム４２３～４２６を含む。

メタ情報４２１には撮影情報や代表画像情報、フレーム数、ベストショット情報が含まれる。

代表画像情報は、後述する代表画像４２２に対応するＲＡＷ画像データのフレーム番号や撮影日時、代表画像の解像度などを含む情報である。フレーム数はＲＡＷ画像データ数である。ベストショット情報は、ベストショットと判定されたフレームの情報である。本実施形態ではサーバ３００の画像判定部３０７がベストショットを判定し、判定結果をサーバ３００の通信部３０５を介してカメラ２００に送信するが、これに限らず、ユーザ自身でベストショットを判定したり、カメラ２００で自動判定したりしてもよい。

代表画像４２２には、バンドルＲＡＷ画像ファイル全体の代表画像の表示用ＪＰＥＧデータが含まれている。例えば、図４（ｂ）や図４（ｃ）で第２シャッタースイッチ信号ＳＷ２オン時のフレームの表示用画像が代表画像として記録され、図５で後述する選択画面や再生画面に表示される画像として利用される。

各画像フレーム４２３～４２６はバンドルＲＡＷ画像ファイル４２０に含まれる複数のＲＡＷ画像データである。画像フレーム４２３は１フレーム目のフレーム情報と表示用ＪＰＥＧ（サイズ：小）とＲＡＷデータを含む。画像フレーム４２４は２フレーム目のフレーム情報と表示用ＪＰＥＧ（サイズ：小）とＲＡＷデータを含む。画像フレーム４２５は３フレーム目のフレーム情報と表示用ＪＰＥＧ（サイズ：小）とＲＡＷデータを含む。画像フレーム４２６は最後のフレームＮのフレーム情報と表示用ＪＰＥＧ（サイズ：小）とＲＡＷデータを含む。

カメラ２００を用いてＲＡＷバースト撮影を行うことで、連写撮影されたＲＡＷ画像データの束である１つのバンドルＲＡＷ画像ファイル４２０が生成される。サーバ３００では、カメラ２００から受信したバンドルＲＡＷ画像ファイル４２０からベストショットと判定される１枚のＲＡＷ画像データを抽出することで、ベストショット画像を取得することができる。

図５は、本実施形態のカメラ２００が保有する複数の画像ファイルを一覧表示した画面を例示する図である。

以下では、カメラ２００の表示部２０６に表示される選択画面４３０に、記録媒体２０８に記憶されている複数の画像ファイルが一覧表示されている画面例について説明する。

図５（ａ）の選択画面４３０は、記録媒体２０８に４個の画像ファイル４３１～４３４が記憶されている状態を表示している。画像ファイル４３１、４３２、４３３はＪＰＥＧファイルであり、画像ファイル４３４はバンドルＲＡＷ画像ファイルである。ＪＰＥＧファイルは、メタ情報に付加されているサムネイルが表示される。バンドルＲＡＷ画像ファイルは、代表画像４２２に保持されている表示用ＪＰＥＧ小が表示される。

図５（ａ）の選択画面４３０においてバンドルＲＡＷ画像ファイル４３４が再生対象として選択されると、表示部２０６に図５（ｂ）に示す再生画面４４０が表示される。再生画面４４０には、バンドルＲＡＷ画像ファイル４３４の中から抽出された代表画像４３４ａとスライダーバー４４１が表示される。スライダーバー４４１の長さは、バンドルＲＡＷ画像ファイル４３４に含まれる複数のＲＡＷ画像データを時系列に並べたときの長さに対応する。代表画像４３４ａはスライダーバー４４１のマーク４４２に対応する位置に表示され、マーク４４２をスライダーバー４４１上でスライドさせることで代表画像４３４ａの前後の画像を確認したり、代表画像を変更したりすることが可能である。

＜サーバ３００の処理＞次に、図６を参照して、サーバ３００により実行されるベストショット抽出処理および現像処理について説明する。

なお、図６の処理は、サーバ３００の制御部３０１が不揮発性メモリ３０２に格納されているプログラムを作業用メモリ３０３に展開して実行し、各構成要素を制御することにより実現される。また、図６の処理は、サーバ３００がカメラ２００からバンドルＲＡＷ画像ファイルを受信すると開始される。

ステップＳ６０１では、制御部３０１は、カメラ２００から送信されるバンドルＲＡＷ画像ファイルに含まれる全てのＲＡＷ画像データが受信済みであるか否かを判定する。制御部３０１は、全て受信済みであると判定した場合は処理をステップＳ６０４へ進め、全て受信済みはでないと判定した場合は処理をステップＳ６０２に進める。受信済みか否かの判定は、制御部３０１が受信したバンドルＲＡＷ画像ファイル４２０のメタ情報４２１にあるフレーム数を参照して行う。

ステップＳ６０２では、制御部３０１は、カメラ２００から受信した一部のＲＡＷ画像データを用いてベストショット判定が可能か否かを判定する。制御部３０１は、ベストショット判定可能と判定した場合は処理をステップＳ６０４へ進め、ベストショット判定不能と判定した場合は処理をステップＳ６０３に進める。ベストショット判定可能か否かの判定は、例えば、所定枚数以上のＲＡＷ画像データを受信済みであるか否か、受信済みのＲＡＷ画像データから被写体の傾向が判定できるか否かを判定する。また、これ以上のＲＡＷ画像データは不要と判定した場合など、制御部３０１がバンドルＲＡＷ画像ファイルの一部のＲＡＷ画像データからベストショットを抽出可能であるか否かで判定される。

ステップＳ６０３では、制御部３０１は、カメラ２００から残りのＲＡＷ画像データが送信されるまで待機し、処理をステップＳ６０１へ戻す。

ステップＳ６０４では、制御部３０１は、画像判定部３０７によりベストショット判定を行い、処理をステップＳ６０５へ進める。ベストショット判定は、ピントが合っている、被写体が大きく写っている、決定的瞬間をとらえている等の複数の条件が用いられ、被写体認識結果により条件を変更したり組み合わせたりすることで行うことができる。なお、ベストショット判定方法はこれに限らず、どのような方法を用いてもよい。例えば、人工知能（ＡＩ）を利用して様々なアルゴリズムを組み合わせたり、ユーザの撮影傾向を学習してベストショット判定に反映させたりしてもよい。

ステップＳ６０５では、制御部３０１は、ベストショットと判定されたＲＡＷ画像データに対し、画像処理部３０４により現像処理を行い、処理をステップＳ６０６に進める。なお、画像処理部３０４で実行される現像処理のパラメータは、ユーザが任意に設定したり、サーバ３００が人工知能（ＡＩ）を利用して自動で決定したりすることが可能である。また、現像処理は行わずＲＡＷ画像データのまま保持することも可能である。

ステップＳ６０６では、制御部３０１は、ステップＳ６０５で現像処理を行ったＲＡＷ画像データに対して現像済み状態を示す現像済みフラグをセットし、処理をステップＳ６０７に進める。なお、現像済みフラグは、不揮発性メモリ３０２や作業用メモリ３０３の専用の記憶領域に記憶されてもよい。

ステップＳ６０７では、制御部３０１は、現像処理が終了したか否かを判定し、現像処理が終了したと判定した場合は処理をステップＳ６０８に進め、現像処理が終了していないと判定した場合は処理をステップＳ６０４へ戻す。現像処理を終了するか否かは１つのバンドルＲＡＷ画像ファイルからベストショットと判定し現像するＲＡＷ画像データの枚数の上限の設定に基づき、設定された枚数分のＲＡＷ画像データの現像が完了したか否かにより判定される。ベストショットと判定し現像するＲＡＷ画像データの枚数の上限は、予めサーバ３００に設定されていてもよいし、何らかの方法でサーバに設定可能であればよい。

ステップＳ６０８では、制御部３０１は、ベストショット抽出結果をカメラ２００へ通知し、現像済みの画像データをカメラ２００に送信して処理を終了する。なお、ステップＳ６０８の処理の詳細は図７で後述する。サーバ３００からカメラ２００へのベストショット抽出結果の通知は、サーバ３００の画像判定部３０７で判定されたＲＡＷ画像データのフレーム番号等のベストショット情報だけを通知してもよい。また、ベストショットと判定されたＲＡＷ画像データを現像した現像済み画像データを送信してもよいし、それらの両方を送信してもよい。

＜ベストショット抽出結果の通知＞
次に、図７を参照して、サーバ３００からカメラ２００にベストショット抽出結果を通知する処理について説明する。

図７（ａ）は、ベストショット抽出結果の通知処理を説明する図である。カメラ２００は、サーバ３００にベストショット抽出状態問い合せ７０１を送信することにより、サーバ３００に送信したバンドルＲＡＷ画像ファイルのいずれのフレームがベストショットと判定されたかを問い合せる。問い合わせを送信するトリガは、例えばカメラ２００での画像再生時である。カメラ２００が常時サーバ３００に接続されている場合、接続のタイミングは考慮する必要はないが、サーバ３００と接続状態でない場合はベストショット抽出状態問い合わせ７０１を行う場合にサーバ３００と接続する必要がある。サーバ３００はカメラ２００からベストショット抽出状態問い合わせ７０１を受信した場合、その応答としてサーバ３００におけるベストショット抽出状態７０２をカメラ２００に送信する。

図７（ｂ）は、サーバ３００のベストショット抽出状態の遷移を例示する図である。サーバ３００がバンドルＲＡＷ画像ファイルを受信し、まだベストショット抽出処理を開始していない状態を未処理７０５とする。ベストショット抽出処理中の状態をベストショット判定中７０６とする。ベストショット抽出処理が終了した状態をベストショット抽出完了７０７とする。なお、図７の例では３つの状態を例示しているが、他の状態があってもよい。

ベストショット抽出状態問い合わせ７０１に対する応答であるベストショット抽出状態７０２が未処理７０５またはベストショット判定中７０６の場合、サーバ３００に対してはベストショット抽出完了７０７になるまでベストショット抽出状態問い合わせ７０１を繰り返し送信する。カメラ２００はサーバ３００のベストショット抽出状態７０２がベストショット抽出完了７０７になったと判定した場合、サーバ３００にベストショット情報取得要求７０３を送信し、サーバ３００に対してベストショットとして抽出されたフレームを問い合わせる。サーバ３００はベストショット情報取得要求７０３に対する応答として、バンドルＲＡＷ画像ファイルからベストショットと判定されたＲＡＷ画像データのフレーム番号等のベストショット情報７０４を送信する。

＜カメラ２００の処理＞次に、図８を参照して、カメラ２００により実行される処理について説明する。

図８は、サーバ３００で抽出されたベストショット画像とカメラ２００で抽出された代表画像とが異なる場合のカメラ２００の処理を示すフローチャートである。

図８の処理は、カメラ２００の制御部２０１が不揮発性メモリ２０２に格納されているプログラムを作業用メモリ２０３に展開して実行し、各構成要素を制御することにより実現される。また、図８の処理は、図５（ａ）に示す選択画面４３０においてユーザが再生対象としてバンドルＲＡＷ画像ファイル４３４を選択したことに応じて開始される。また、図８の処理は、サーバ３００がカメラ２００から予めバンドルＲＡＷ画像を受信し、図７で説明したベストショット抽出完了状態７０７であることを前提とする。後述する図１０も同様である。

ステップＳ８０１では、制御部２０１は、記録媒体２０８からバンドルＲＡＷ画像ファイルを読み出し再生する処理を開始する。ここで、カメラ２００がサーバ３００と接続されていない場合は、ステップＳ８０２で、制御部２０１は、サーバ３００との接続処理を開始する。

ステップＳ８０３では、制御部２０１は、ステップＳ８０１で再生処理を開始したバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像とを比較する。そして、制御部２０１は、ステップＳ８０１で再生処理を開始したバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像とが相違していると判定した場合は、処理をステップＳ８０４に進める。また、制御部２０１は、ステップＳ８０１で再生処理を開始したバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像が同一であると判定した場合は、処理を終了する。

ステップＳ８０４では、制御部２０１は、記録媒体２０８に格納されているバンドルＲＡＷ画像ファイルの代表画像を、サーバ３００により抽出されたベストショット画像に置き換えるか否かを判定する。この場合、例えば、再生開始前に警告画面を表示することにより、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像とに差異があることをユーザに通知し、代表画像の置き換えをユーザに選択させるようにすればよい。

ステップＳ８０４で、制御部２０１は、記録媒体２０８に格納されているバンドルＲＡＷ画像ファイルの代表画像を、サーバ３００により抽出されたベストショット画像に置き換えると判定した場合は、処理をステップＳ８０５に進め、置き換えないと判定した場合は、処理をステップＳ８０６に進める。

ステップＳ８０５では、制御部２０１は、記録媒体２０８に格納されているバンドルＲＡＷ画像ファイルの代表画像を、サーバ３００により抽出されたベストショット画像に置き換える。置き換えは、図４（ｄ）で説明したバンドルＲＡＷ画像ファイル４２０のメタ情報４２１の代表画像情報をサーバ３００が抽出したベストショット画像のフレーム番号を置き換え、代表画像４２２の表示用ＪＰＥＧサイズ小をサーバ３００により抽出されたベストショット画像に置き換える。

ステップＳ８０６では、制御部２０１は、サーバ３００により抽出されたベストショット画像のフレーム番号を、バンドルＲＡＷ画像ファイル４２０のメタ情報４２１の中にあるベストショット情報に記録する。

図９は、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像とサーバ３００により抽出されたベストショット画像とが相違している場合の再生時の処理の説明図である。

カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像とサーバ３００により抽出されたベストショット画像とが同じ場合は、図９（ａ）に示すように、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像に対応する、スライダーバー４４１のマーク９０１に対応する位置の画像が表示される。一方で、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像とサーバ３００により抽出されたベストショット画像とが相違している場合は、再生時に代表画像情報とベストショット画像情報に差異がある場合、図９（ｂ）に示すように表示部２０６に警告画面９０３を表示し、ベストショット画像を表示するか否かをユーザに選択させる。ユーザが警告画面９０３において「はい」９０４を選択した場合は、図９（ａ）に示すスライダーバー４４１のマーク９０２に対応する位置のベストショット画像が表示される。また、ユーザが警告画面９０３において「いいえ」９０５を選択した場合は、スライダーバー４４１のマーク９０１に対応する位置の代表画像を表示する。

このように、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像とサーバ３００により抽出されたベストショット画像とが相違している場合に、ユーザが再生対象の画像として、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像とサーバ３００により抽出されたベストショット画像のいずれかを選択でき、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像をサーバ３００により抽出されたベストショット画像に置き換えることができるので、バンドルＲＡＷ画像ファイルの再生開始時にユーザの意図する画像を表示対象にすることが可能となる。

［変形例］
上述した実施形態では、サーバ３００においてバンドルＲＡＷ画像の中からベストショット画像の抽出を行い、ベストショット情報をデジタルカメラ２００に通知する例を説明した。しかしながら、サーバ３００でベストショット判定を行わずに、ユーザがベストショット判定を行う可能性もある。このため、以下では、バンドルＲＡＷ画像ファイルからユーザがベストショット画像を選択した場合の処理について説明する。

図１０は、ユーザがベストショット画像を選択した場合のカメラ２００の処理を示すフローチャートである。

ステップＳ１００１では、制御部２０１は、記録媒体２０８からバンドルＲＡＷ画像ファイルを読み出し再生する処理を開始する。

ステップＳ１００２では、制御部２０１は、図５（ｂ）の再生画面４４０において、ユーザがスラーだーバー４４１のマーク４４２の位置を移動させることにより、バンドルＲＡＷ画像ファイルの中から選択したベストショット画像の位置を記憶する。

ステップＳ１００３では、制御部２０１は、ステップＳ１００２で選択された再生処理を開始したバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像とを比較する。そして、制御部２０１は、ステップＳ８０１で再生処理を開始したバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像とが相違していると判定した場合は、処理をステップＳ８０４に進める。また、制御部２０１は、ステップＳ８０１で再生処理を開始したバンドルＲＡＷ画像ファイルの代表画像と、サーバ３００により抽出されたベストショット画像が同一であると判定した場合は、処理を終了する。

ステップＳ１００３では、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像と、ステップＳ１００２でユーザが選択したベストショット画像とを比較する。そして、制御部２０１は、デジタルカメラ２００に記憶されているバンドルＲＡＷ画像の代表画像と、ステップＳ１００２で選択されたベストショット画像が相違していると判定した場合は、処理をステップＳ１００４に進め、同一であると判定した場合は、処理を終了する。

ステップＳ１００４では、制御部２０１は、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像を、ステップＳ１００２で選択されたベストショット画像に置き換える。また、再生画面４４０のスライダーバー４４１にマークの位置もカメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像から、ユーザが選択したベストショット画像の位置に変更される。

このように、サーバ３００でベストショット判定を行わずに、ユーザがベストショット画像を選択した場合は、カメラ２００に記憶されているバンドルＲＡＷ画像ファイルの代表画像を、ユーザが選択したベストショット画像に置き換え、再生画面４４０のスライダーバー４４１にマークの位置も変更することで、バンドルＲＡＷ画像ファイルの再生開始時にユーザの意図する画像を表示対象として即座に表示できるようになる。

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…通信ネットワーク、２００…カメラ、２０１…制御部、２０４…撮像部、２０７…通信部、３００…サーバ、３０１…制御部、３０４…画像処理部、３０５…通信部、３０７…画像判定部

Claims (9)

1. 画像処理装置と通信可能な撮像装置であって、
   撮像手段により連続的に撮影して取得された複数枚のＲＡＷ画像を前記画像処理装置に送信する送信手段と、
   前記画像処理装置において、前記撮像装置から受信した複数枚のＲＡＷ画像から所定の条件を満たす所定のＲＡＷ画像を抽出すると共に、前記所定のＲＡＷ画像を現像した画像または抽出された結果を受信する受信手段と、
   前記撮像手段により取得した複数枚のＲＡＷ画像の中の所定の代表画像と、前記画像処理装置により抽出された所定のＲＡＷ画像とが相違している場合に、前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えるか否かを判定する判定手段と、を有することを特徴とする撮像装置。
2. 前記所定の代表画像と前記所定のＲＡＷ画像とが相違している場合に、前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えるか否かをユーザに通知する通知手段をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 複数枚のＲＡＷ画像を再生する再生手段をさらに有し、
   前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えた場合、前記再生手段は画像の再生を開始する位置を前記所定の代表画像から前記所定のＲＡＷ画像に変更することを特徴とする請求項１または２に記載の撮像装置。
4. 前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えない場合、前記所定のＲＡＷ画像に関する情報を記憶する記憶手段をさらに有することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記所定のＲＡＷ画像は、前記画像処理装置で抽出されたＲＡＷ画像ではなく、前記複数枚のＲＡＷ画像の中からユーザが選択したＲＡＷ画像であることを特徴とする請求項１に記載の撮像装置。
6. 前記再生手段は、前記複数枚のＲＡＷ画像の中の前記所定の代表画像の位置および／または前記所定のＲＡＷ画像の位置を表示することを特徴とする請求項３に記載の撮像装置。
7. 前記所定のＲＡＷ画像は、前記撮像装置から受信した複数枚のＲＡＷ画像の中から前記画像処理装置により抽出されたベストショットの画像であることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 画像処理装置と通信可能な撮像装置の制御方法であって、
   撮像手段により連続的に撮影して取得された複数枚のＲＡＷ画像を前記画像処理装置に送信するステップと、
   前記画像処理装置において、前記撮像装置から受信した複数枚のＲＡＷ画像から所定の条件を満たす所定のＲＡＷ画像を抽出すると共に、前記所定のＲＡＷ画像を現像した画像または抽出された結果を受信するステップと、
   前記撮像手段により取得した複数枚のＲＡＷ画像の中の所定の代表画像と、前記画像処理装置により抽出された所定のＲＡＷ画像とが相違している場合に、前記所定の代表画像を、前記所定のＲＡＷ画像に置き換えるか否かを判定するステップと、を有することを特徴とする制御方法。
9. コンピュータを、請求項１から７のいずれか１項に記載された撮像装置として機能させるためのプログラム。

Images