JP6021594B2 - 撮像装置及びプログラム - Google Patents

Description

本発明は、撮像装置及びプログラムに関する。

デジタルカメラで、動きの速い被写体（例えば、走行中の車）または動物や子供のように予測不可能な動きをする被写体を撮影する時は、シャッターチャンスを逃してしまうことが多々ある。このような被写体を撮影する時、ユーザは、デジタルカメラが有する連写撮影モードを利用することができる。具体的には、連写撮影モードを使って、被写体を短い間隔で数枚から数十枚連続で撮影しておく。ユーザは撮影した後に、撮影して得られた画像を一枚ずつ、デジタルカメラが備えるディスプレイ上に表示させて、写真の取捨選択を行う。これにより、ユーザは不要な写真を捨て、気に入った写真だけを記憶媒体に残すことができる。

また、デジタルカメラは、動画撮影機能を有しているものも多い。例えば、特許文献１には、メモリ手段に記憶された複数画面分の動画像信号に応じた複数の画像を一つの記憶媒体上に記録する記録手段と、記憶媒体上に記録された複数の画像の中から所望の画像を選択する選択手段と、選択手段により選択された画像に応じた画面の画像信号をメモリ手段から読み出して、この読み出した画像信号に応じた画像を記録するよう記録手段を制御する制御手段とを備える画像形成装置が開示されている。

特許第３５０１５０５号公報

以上、述べたように、撮像装置が予め被写体を、静止画連写モードまたは動画モードで撮影しておき、再生時に、ユーザが気に入ったものを選択するようにすれば、シャッターチャンスを逃すことなく、被写体を撮影することができる。しかしながら、一般的に静止画連写モードで撮影した場合、静止画は画素数が多いため、画像処理に時間がかかって、連写が途切れてしまう。また再生時にも、画素数が多いために再生に時間がかかり、写真の取捨選択に手間取り操作性が悪い。一方、動画像として記録された画像から静止画を抜き出す特許文献１の技術を用いた場合に、動画像の画素数が少なくすれば記録や再生がスムーズとなる。これにより、ユーザの操作性は向上するものの、抜き出した静止画の画素数が少なくなることで、ユーザは静止画としての画質に満足できないという問題がある。

そこで本発明の一態様は、上記問題に鑑みてなされたものであり、操作性を確保しつつユーザが望むタイミングの画像を高画質で取得することを可能とする撮像装置及びプログラムを提供することを課題とする。

（１）本発明の一態様は、被写体を撮像する撮像部と、前記撮像部が撮像して得た複数フレーム分の画像を縮小し、前記撮像部が撮像して得た画像であって前記複数フレーム分の画像それぞれに対応付けられた複数フレーム分の第２の画像データを転送する転送処理部と、前記転送処理部が縮小して得た複数フレーム分の第１の画像データを記憶媒体に記憶させ、前記転送処理部が転送した複数フレーム分の第２の画像データを記憶媒体に記憶させる記憶処理部と、前記記憶処理部が記憶させた第１の画像データを参照して、画像を複数フレーム分、表示部に表示させる処理部と、前記表示部が表示した第１の画像データのうちから、自装置を使用するユーザが選択した画像を受け付ける入力部と、を備え、前記処理部は、前記ユーザが選択した画像に対応する第２の画像データを特定し、前記処理部が特定した第２の画像データに対して画像処理を施す画像処理部を備え、前記記憶処理部は、前記画像処理部が画像処理を施した後の画像データを記憶媒体に記憶させる撮像装置である。

（２）また、本発明の一態様は、上述の撮像装置であって、撮影者による削除指示を受け付ける入力部を備え、前記記憶処理部は、前記入力部が撮影者による削除指示を受け付けたときに前記複数フレーム分の第１の画像データまたは複数フレーム分の第２の画像データの少なくともいずれか一方を、それぞれが記憶されている記憶媒体から削除する。

（３）また、本発明の一態様は、上述の撮像装置であって、前記処理部は、前記画像を再生する際に、前記画像をスロー再生、またはコマ送り再生させる。

（４）また、本発明の一態様は、上述の撮像装置であって、撮影者による静止画の撮影指示を受け付ける第２の入力部と、前記撮像部は、前記第２の入力部が撮影指示を受け付けたときに前記被写体を撮像し、前記記憶処理部は、前記撮像部が撮像して得た静止画データを記録媒体に記憶させる。

（５）また、本発明の一態様は、上述の撮像装置であって、前記静止画データはＲＡＷ画像データである。

（６）また、本発明の一態様は、上述の撮像装置であって、前記転送処理部は、前記撮像部が撮像して得た複数フレーム分の画像を縮小する第１の転送部と、前記撮像部が撮像して得た画像であって前記複数フレーム分の画像それぞれに対応付けられた複数フレーム分の第２の画像データを転送する第２の転送部と、を備える。

（７）また、本発明の一態様は、上述の撮像装置であって、前記転送処理部は、前記撮像部が撮像して得た奇数フレームまたは偶数フレームの画像を縮小し、前記撮像部が撮像して得た画像であって前記縮小する対象とならないフレームを転送する。

（８）また、本発明の一態様は、被写体を撮像する撮像部と、前記撮像部が撮像して得た複数フレーム分の画像を縮小し、前記撮像部が撮像して得た画像であって前記複数フレーム分の画像それぞれに対応付けられた複数フレーム分の第２の画像データを転送する転送処理部とを備える撮像装置に、前記転送処理部が縮小して得た複数フレーム分の第１の画像データを記憶媒体に記憶させ、前記転送処理部が転送した複数フレーム分の第２の画像データを記憶媒体に記憶させる記憶処理ステップと、前記記憶処理ステップで記憶させた第１の画像データを参照して、画像を複数フレーム分、表示部に表示させる処理ステップと、前記表示部が表示した第１の画像データのうちから、前記撮像装置を使用するユーザが選択した画像を受け付ける入力ステップと、前記ユーザが選択した画像に対応する第２の画像データを特定する特定ステップと、前記処理ステップが特定した第２の画像データに対して画像処理を施す画像処理ステップと、を実行させためのプログラムであって、前記記憶処理ステップは、前記画像処理ステップが画像処理を施した後の画像データを記憶媒体に記憶させるプログラムである。

本発明の一態様によれば、操作性を確保しつつユーザが望むタイミングの画像を高画質で取得することができる。

第１の実施形態における撮像装置の構成を示す概略ブロック図である。 第１の実施形態における撮像装置の撮影時の処理の流れの一例を示す図である。 記憶媒体に記憶される静止画とそれに対応する動画の一例である。 第１の実施形態における撮像装置の動画再生時の処理の流れの一例を示す図である。 第１の実施形態における撮像装置の静止画抽出時の処理の流れの一例を示す図である。 撮影時に記憶される動画像及び静止画像と、ユーザの操作に応じて新たに記録媒体に記憶させる静止画像の関係の一例を示す図である。 第２の実施形態における撮像装置の構成を示す概略ブロック図である。 第３の実施形態における撮像装置の構成を示す概略ブロック図である。

まず、本実施形態に係る撮像装置の構成を着想するに至った経緯を説明する。本願出願時において、撮像装置のイメージセンサの処理速度は、５００ＭＰｉｘｅｌ／ｓｅｃ程度である。撮像装置の画像処理部の処理速度は２００ＭＰｉｘｅｌ／ｓｅｃ程度である。撮像装置が装着される記憶媒体（例えば、ＳＤカード）の記録速度１００ＭＢｙｔｅ／ｓｅｃ程度である。これは、１画素の階調を２５６とした場合、記憶媒体が１秒間に１００ＭＰｉｘｅｌ分のデータを記録できることを意味する。この場合、記憶媒体の速度は、画像処理部の処理速度の半分程度しかなく、記憶媒体の速度が複数枚の画像を連続して記憶する際のボトルネックになっていた。

よって、従来、画像処理部が画像に圧縮をかけてデータ量を減らした後の画像（例えば、ＪＰＥＧ画像）を記憶媒体に記憶することで、記憶媒体の記録速度が遅くても複数枚の画像を連続して記憶できていた。

本願の発明者は、将来的に記憶媒体の記録速度が向上して、記憶媒体の記録速度が画像処理部の処理速度を上回ると、独自に予想した。その予想の下で、本願の発明者は、画像処理部の処理速度が複数枚の画像を連続して記憶する際のボトルネックになるという課題を新たに発見した。

その新たな課題を解決するために、本実施形態における撮像装置は、圧縮などの画像処理を施さずに画像データを記憶媒体に記録しておき、記録後に、ユーザが選択した画像に対して画像処理を施すものである。これによって、上述のボトルネックが記憶媒体の記録速度から画像処理部の処理速度に入れ替わった場合に、画像処理を施さずにデータを保存できるので、静止画の連写速度を向上させることができる。

以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における撮像装置１の構成を示す概略ブロック図である。撮像装置１は、イメージセンサ（撮像部）１０と、撮像ＩＦ（Ｉｎｔｅｒｆａｃｅ）部（転送処理部）２０と、画像処理部３０と、表示処理部４０と、表示デバイス（表示部）５０と、ＣＰＵ６０と、指示ボタン７０と、ＤＲＡＭコントローラ８０と、ＤＲＡＭ９０と、カードＩＦ（Ｉｎｔｅｒｆａｃｅ）部１００と、記憶媒体１１０と、データバス１２０とを備える。

まず、撮像装置１の処理の概要について説明する。撮像装置１は、高速で静止画撮影を行い、静止画像を記憶媒体１１０に保存しておくとともに、静止画像の縮小画像を動画像として記憶媒体１１０に保存しておく。撮影完了後、撮像装置１が保存された動画像を再生している最中にユーザが気にいったフレームを指示すると、撮像装置１は例えば、指示したフレームに対応する静止画像を選択する。そして、撮像装置１は例えば、選択した静止画像を１枚の画像ファイルとして記憶媒体１１０に記録する。また、撮像装置１は、ユーザの指示により、選択されなかった不要な画像を一括削除する。これにより、操作性を確保しつつ、ユーザが望むタイミングで撮影された静止画の画質を向上させることができる。

続いて、撮像装置１の各部の処理の概要について説明する。
イメージセンサ１０は、被写体を撮像し、撮像により得られた画像信号を撮像ＩＦ部２０へ出力する。イメージセンサ１０は、例えば、ＣＣＤまたはＣＭＯＳイメージセンサである。イメージセンサ１０は、例えば、レジスタ設定によって、駆動モードを変更することができる。

撮像ＩＦ部２０は、イメージセンサ１０から画像信号を取り込み、例えば前処理、リサイズの処理を施した後、処理後のデータをＤＲＡＭ９０に転送する。ここで、撮像ＩＦ部２０は、前処理部２１と、第１の転送部２２と、第２の転送部２３とを備える。
前処理部２１は、例えばイメージセンサ１０にて撮影された画像に、キズ補正、シェーディング補正、及び画素欠陥補正の前処理を施す。前処理部２１は、前処理後のデータを第１の転送部２２と第２の転送部２３へ出力する。

第１の転送部２２は、前処理部２１から入力された前処理後のデータにリサイズ処理（例えば、縮小処理）を施し、リサイズ処理後の画像をＤＲＡＭ９０に転送する。このように、第１の転送部２２は、例えば、撮影の際にイメージセンサ１０の撮像により得られた画像（例えば、前処理後の画像）を複数フレーム分の第１の画像を縮小する。
第２の転送部２３は、前処理部２１から入力された前処理後のデータを、ＤＲＡＭ９０に転送する。このように、第２の転送部２３は、例えば、撮影の際にイメージセンサ１０の撮像により得られた画像（例えば、前処理後の画像）を第１の転送部２２が縮小の対象とする画像と同じ複数フレーム分の第２の画像のデータ（以下、第２の画像データという）を転送する。ここで、本実施形態では、一例として第１の画像と第２の画像は同一の画像である。

画像処理部３０は、記録時には、例えば、ＤＲＡＭ９０から取得した前処理後のデータに、ノイズ除去、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理またはＨ．２６４圧縮処理等の画像処理を施し、表示画像または記録画像を生成する。そして、画像処理部３０は、例えば、生成した表示画像または記録画像をＤＲＡＭ９０へ転送する。また、画像処理部３０は、例えば、再生時には、ＤＲＡＭ９０から取得した画像データに対して、ＪＰＥＧ伸張、Ｈ．２６４伸張等の処理を施し、処理後の表示データをＤＲＡＭ９０へ転送する。

表示処理部４０は、ＤＲＡＭ９０から表示画像データを取得し、例えば、公知のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）重畳処理等の表示処理を施す。そして、表示処理部４０は、表示処理を施した後の画像信号を表示デバイス５０へ転送する。

表示デバイス５０は、表示処理部４０から供給された画像信号が示す画像を表示する。表示デバイス５０は、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）等のディスプレイである。なお、表示デバイス５０は、ＴＶ等の外部ディスプレイであっても良い。

ＣＰＵ６０は、撮像装置１全体の制御を行う。
指示ボタン７０は、撮影指示など、ユーザの指示を受け付けるボタンである。指示ボタン７０は、撮影者による削除指示を受け付ける入力部として機能する。なお、指示ボタン７０は、タッチパネルなどであってもよい。
ＤＲＡＭコントローラ８０は、データバス１２０に接続された複数のブロックからの転送要求を受理し、ＤＲＡＭ９０へＷｒｉｔｅ／Ｒｅａｄアクセスを行う。

ＤＲＡＭ９０は、第１の転送部２２から転送された第１の画像データと第２の転送部２３から転送された第２の画像データを一時的に保持する。
カードＩＦ部１００は、ＤＲＡＭ９０から第１の画像データ及び第２の画像データを取得し、取得した第１の画像データ及び第２の画像データを記憶媒体１１０へ転送する。また、カードＩＦ部１００は、記憶媒体１１０から第２の画像データを取得し、取得した第２の画像データをＤＲＡＭ９０へ転送する。
記憶媒体１１０は、ＣＰＵ６０によりカードＩＦ部１００を介して第１の画像データ及び第２の画像データが記録される。ここで記憶媒体１１０は、例えば、ＳＤカードやＣＦ等の記憶媒体である。本実施形態では、ＣＰＵ６０は、一例として第１の画像データ（動画像）の各フレームの画像データのヘッダに格納されたフレーム番号と、第２の画像データ（静止画）のヘッダに格納された番号とを用いて、両者を対応付けるものとする。なお、記憶媒体１１０には、例えばＣＰＵ６０により第１の画像データ（動画像）の各フレームの画像と、第２の画像データ（静止画）の画像との対応付けを示す規則が記憶されてもよい。
データバス１２０は、データを一方の部から他方の部へ転送するためのバスである。

続いて、撮像時、動画再生時、静止画抽出時に分けて撮像装置１の処理を説明する。図２は、本実施形態における撮像装置１の撮影時の処理の流れの一例を示す図である。ここで一例としてイメージセンサ１０の画素数が２０Ｍｐｉｘｅｌであるものとする。前処理部２１は、一例として同じデータを二つに分岐させる。撮像装置１は、分岐させた後の一方のデータを動画として処理し、他方のデータを静止画として処理する。撮像装置１は、動画の処理と静止画の処理を並行して行う。まず、動画の処理の流れについて説明する。
（ステップＳ１０１）まず、第１の転送部は、前処理部２１を介してイメージセンサ１０から取り込んだ画像に対して縮小処理を施して、縮小処理を施して得た縮小ＲＡＷ画像のデータ（以下、縮小ＲＡＷデータという）をＤＲＡＭ９０に格納する。縮小ＲＡＷデータは、例えば２ＭｐｉｘｅｌのＲＡＷ画像のデータである。

（ステップＳ１０２）次に、画像処理部３０は、ＤＲＡＭ９０から縮小ＲＡＷデータを読み出し、読み出した縮小ＲＡＷデータに対して一連の画像処理（例えば、ＹＣ変換処理、リサイズ処理、圧縮処理）を施す。そして、画像処理部３０は、画像処理を施して得た動画圧縮データ（例えば、２ＭｐｉｘｅｌのＨ．２６４形式の動画データ）をＤＲＡＭ９０に転送する。
（ステップＳ１０３）次に、ＣＰＵ６０は、ＤＲＡＭ９０に記憶された動画圧縮データをカードＩＦ部１００を介して記憶媒体（例えば、ＳＤカード）に保存する。

続いて、静止画の処理の流れについて説明する。
（ステップＳ１０４）まず、第２の転送部２３は、第１の転送部２２と並行して、イメージセンサ１０から前処理部２１を介して取り込んだＲＡＷ画像データ（例えば、２０Ｍｐｉｘｅｌの静止画データ）を、ＤＲＡＭ９０に格納する。
（ステップＳ１０５）次に、ＣＰＵ６０は、ＤＲＡＭ９０に記憶されたＲＡＷ画像データをカードＩＦ部１００を介して記憶媒体（例えば、ＳＤカード）に保存する。

上述した処理により、記憶媒体１１０には、図３の例に示す静止画とそれに対応する動画が記録される。図３は、記憶媒体１１０に記憶される静止画とそれに対応する動画の一例である。同図において、動画を構成する各フレームの画像ｍ１〜ｍ１２と、静止画ｓ１〜ｓ１２が示されている。動画を構成する各フレームの画像ｍｉ（ｉは１から１２までの整数）は、同じインデックスｉの静止画ｓｉに対応している。動画を構成する各フレームの画像ｍｉは、各静止画ｓｉよりも記録サイズが小さい。

図４は、本実施形態における撮像装置１の動画再生時の処理の流れの一例を示す図である。
（ステップＳ２０１）まず、ＣＰＵ６０は、記憶媒体１１０から動画圧縮データを読み出し、読み出した動画圧縮データをＤＲＡＭ９０に格納する。
（ステップＳ２０２）次に、画像処理部３０は、ＤＲＡＭ９０に格納された動画圧縮データを読み出し、読み出した動画圧縮データを伸張し、伸張後の動画圧縮データを表示データとしてＤＲＡＭ９０に格納する。
（ステップＳ２０３）次に、表示処理部４０は、ＤＲＡＭ９０から表示データを読み出し、読み出した表示データを表示デバイス５０に表示させる。これにより、表示データが示す動画像が表示デバイスに表示される。

（ステップＳ２０４）ユーザは、この動画像を見ながら、任意のタイミング（例えば、気に入ったタイミング）で、指示ボタン（例えば、レリーズボタン）７０を押す。指示ボタン７０が押されると、指示ボタン７０は指示ボタンが押された旨をＣＰＵ６０へ出力する。ＣＰＵ６０は指示ボタンが押された旨を指示ボタン７０から受け取ると、次の図５に示される静止画抽出処理を開始する。

図５は、本実施形態における撮像装置１の静止画抽出時の処理の流れの一例を示す図である。
（ステップＳ３０１）まず、ＣＰＵ６０は、ユーザが指示ボタン７０を押したタイミングで表示されていたフレームの画像に対応する静止画を抽出する。そして、ＣＰＵ６０は、選択した静止画を示すＲＡＷ画像データを読み出し、読み出したＲＡＷ画像データをＤＲＡＭ９０に格納する。

（ステップＳ３０２）次に、画像処理部３０は、例えばＤＲＡＭ９０からＲＡＷデータを読み出し、読み出したＲＡＷデータに対して現像処理を行う。現像処理は、例えばＹＣ変換、ノイズ除去、歪補正、ＪＰＥＧ圧縮処理を順番に行うものである。画像処理部３０は、現像処理後の画像データ（ここでは一例として、ＪＰＥＧ画像データ）をＤＲＡＭ９０に格納する。

（ステップＳ３０３）次に、ＣＰＵ６０は、ＤＲＡＭ９０からＪＰＥＧ画像データを読み出し、読み出したＪＰＥＧ画像データをカードＩＦ部１００を介して記憶媒体１１０に記憶させる。このようにして、ユーザが指示ボタン７０を押した時の動画像に対応する、静止画像が、記憶媒体１１０から読み出され、現像処理が行われた後、静止画像として、記憶媒体１１０に保存される。

この静止画抽出処理が完了後、ユーザが、指示ボタン７０により、一括消去を指定すると、ＣＰＵ６０は、抽出された画像以外、全て一括消去する

続いて、上述した処理の具体例を図６を用いて説明する。図６は、撮影時に記憶される動画像及び静止画像と、ユーザの操作に応じて新たに記憶媒体１１０に記憶させる静止画像の関係の一例を示す図である。同図には、撮影時に記憶され、表示デバイス５０に矢印Ａ６１の方向に連続再生される動画像を構成する各フレームの画像ｍ１〜ｍ１２、…が示されている。また、静止画（ＲＡＷ画像）がｓ１〜ｓ１２、…が示されている。

画像ｍ１〜ｍ１２、…が表示デバイス５０に連続再生されている最中に、ユーザが矢印Ａ６２のタイミング（７コマ目）で指示ボタン７０を押した場合、ＣＰＵ６０は、７コマ目の画像ｍ７に対応する７コマ目の静止画ｓ７を選択する。そして、同図の例において、画像処理部３０が選択された静止画ｓ７をＪＰＥＧ画像ｓＪ７に変換する。そして、ＣＰＵ６０は、変換後のＪＰＥＧ画像ｓＪ７を記憶媒体１１０に記憶する。
これらの一連の処理が完了後、ユーザが指示ボタン７０を使って一括消去を指示すると、ＣＰＵ６０は、変換後のＪＰＥＧ画像ｓＪ７以外の画像を一括消去する。これにより、記憶媒体１１０には、記録した７コマ目のＪＰＥＧ画像ｓＪ７のみが残る。

なお、撮像装置１は、選択した静止画（例えば、ＲＡＷ画像）をＪＰＥＧ画像に変換せずに、選択した画像以外の画像を消去してもよい。これにより、記憶媒体１１０には、選択した静止画（例えば、ＲＡＷ画像）のみが残る。

以上の処理をまとめると、本実施形態において、ＣＰＵ６０は、撮影の際に、第１の転送部２２が縮小して得た複数フレーム分の第１の画像データを記憶媒体に記憶させ、第２の転送部２３が転送した複数フレーム分の第２の画像データを記憶媒体に記憶させる記憶処理部として機能する。表示処理部４０は、撮影後に、第１の画像データを複数フレーム分、表示デバイス５０に表示させる処理部として機能する。そして、指示ボタン７０は、表示デバイス５０が表示した第１の画像データのうちから、自装置を使用するユーザが選択した画像を受け付ける入力部として機能する。そして、ＣＰＵ６０は、ユーザが選択した画像に対応する第２の画像データを特定する。

このように撮像装置１は、撮影時に、再生用の動画像と、静止画記録用の画像を記録しておく。再生時には、ユーザが動画像を見ながらその動画像の中から画像を選択する。撮像装置１は、選択された画像に対応する静止画像を現像処理し、現像処理後の画像データを記憶媒体１１０に記憶する。これにより、動画像を撮影した後から、ユーザは自身が望むタイミング（フレーム）の画像を選択し、選択した画像を高画質で保存できるので、ユーザはシャッターチャンスを逃すことなく高画質で画像を記録することができる。

また、動画像は画素数を少なくしているので、動画像を連続表示する際に表示にかかる撮像装置１の処理負荷を軽減することができるので、動画像の読み込みや連続表示の際に係る時間を低減することができる。それゆえ、本実施形態の撮像装置１は、従来の静止画連写と比較して操作性を向上させることができる。
また、従来の動画から静止画を抜き出すものは、選択された動画を拡大していたため画質がそれほど良くなかった。それに対し、本実施形態における撮像装置１は、ユーザが動画像から選択したフレームの画像に対応する静止画の画像を記憶媒体１１０から読み出すので、従来の動画から静止画を抜き出すものと比較して、ユーザが選択した画像の画質を向上させることができる。

また、本実施形態では、撮像ＩＦ部２０内に、第１の転送部２２と、第２の転送部２３を有している。第１の転送部２２が、縮小ＲＡＷデータを転送しつつ、第２の転送部２３が静止画用のＲＡＷデータを転送している。これにより、撮像装置１の処理負荷を圧迫することなく、記録処理をスムーズに行うことができる。
また、撮影時に、ユーザが最適な構図を指定するのは難しいが、動画を再生しながらユーザが最適な構図になったときに画像を選択するので、ユーザは容易に最適な構図を指定することができる。

なお、本実施形態では、静止画は２０ＭｐｉｘｅｌのＲＡＷ形式で、動画は２ＭｐｉｘｅｌのＨ．２６４形式での例を説明したが、これらに特に限定するものではない。静止画は、ＲＡＷ圧縮や、ＪＰＥＧ等でもよい。動画は、他の動画圧縮方式であってもよいし、静止画圧縮方式であってもよい。

また、本実施形態では、便宜上、動画という表現をしていたが、動画再生のように再生したいというものであって、圧縮方式は動画の圧縮方式でなくてもよい。例えば、撮像装置１は、動画を構成する各フレームの画像を静止画の圧縮方式でも圧縮してもよい。記憶媒体１１０は、取り外し可能な外付けの記憶媒体（例えば、ＳＤカード）でもよいし、撮像装置１が内部に備える専用メモリ（例えば、フラッシュメモリ）でもよい。また、撮像装置１の記憶媒体１１０は、外付けの記憶媒体と内部の専用メモリとを並列に備えていてもよい。例えば、撮像装置１は、撮影時の動画像と静止画像とを内部の専用メモリに記憶させ、撮像装置１は、ユーザが選択したフレームに対応する静止画を現像処理して得た画像を、外付けの記憶媒体に記憶させてもよい。

なお、本実施形態における撮像装置１は、一例として、全てのフレームに対して、動画と静止画をそれぞれ生成したが、これに限ったものではない。撮像装置１は、例えば、奇数フレームに対して動画を、偶数フレームに対して静止画を生成するようにしてもよい。その場合、撮像装置１は、動画中の各フレームと、静止画とが一対一に対応付けられていればよい。このように、動画と静止画との間で対応する画像同士は、元となるイメージセンサ１０から出力された画像データが同一でなくてもよい。このことから、第２の転送部２３は、撮影の際に、イメージセンサ１０が撮像して得た画像であって第１の転送部が縮小する対象となる複数フレーム分の画像、に対応付けられた複数フレーム分の第２の画像データを転送すればよい。

また、第１の転送部２２は、例えば、奇数フレームに動画を処理し、偶数フレーム時に静止画を処理するようにしてもよい。具体的には、例えば、第１の転送部２２は、イメージセンサ１０が撮像して得た奇数フレームの画像を縮小してもよい。また、第１の転送部２２は、イメージセンサ１０が撮像して得た画像であって縮小する対象となる奇数フレームの画像それぞれに対応付けられた偶数フレームの画像データを転送してもよい。この場合、第２の転送部２３は処理を行わないので、撮像ＩＦ部２０は、第２の転送部２３を備えなくてもよい。
また、上記とは逆に、第１の転送部２２は、偶数フレームに動画を処理し、奇数フレーム時に静止画を処理するようにしてもよい。すなわち、撮像ＩＦ部２０の第１の転送部２２は、イメージセンサ１０が撮像して得た奇数フレームまたは偶数フレームの画像を縮小し、イメージセンサ１０が撮像して得た画像であって上記縮小する対象とならないフレームを転送してもよい。

また、本実施形態において、ＣＰＵ６０は、指示ボタン７０が撮影者による削除指示を受け付けたときに、複数フレーム分の第１の画像データ及び複数フレーム分の第２の画像データを両方とも削除したが、これに限ったものではない。記憶処理部としてのＣＰＵ６０は、入力部としての指示ボタン７０が撮影者による削除指示を受け付けたときに、複数フレーム分の第１の画像データまたは複数フレーム分の第２の画像データの少なくともいずれか一方を、それぞれが記憶されている記憶媒体１１０から削除してもよい。

また、本実施形態では、画像処理部３０は、ユーザが選択したフレームの画像に対応する静止画に対して画像処理を施したが、これに限らず、画像処理を施さずにそのまま記憶媒体１１０に保存したままにしてもよい。その場合、ＣＰＵ６０は、ユーザが選択した画像に対応する静止画以外の画像を記憶媒体１１０から削除してもよい。

＜第２の実施形態＞
続いて第２の実施形態について説明する。第２の実施形態における撮像装置１ｂは、再生時にスロー再生モードや、コマ送りモードを設ける点で第１の実施形態における撮像装置１と異なる。図７は、第２の実施形態における撮像装置１ｂの構成を示す概略ブロック図である。図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図７の撮像装置１ｂの構成は、図１の撮像装置１の構成に対して、ＣＰＵ６０がＣＰＵ６０ｂに変更されたものになっている。

ＣＰＵ６０ｂは第１の実施形態におけるＣＰＵ６０と同様の処理を行うが、以下の点が追加されている。ＣＰＵ６０ｂは、例えば、記憶媒体１１０に記憶された動画圧縮データを再生する際に、伸張後の動画圧縮データが示す動画像をスロー再生、またはコマ送り再生させるように表示処理部４０を制御する。これにより、第１の実施形態の効果に加えて、動画像がスロー再生されるかまたはコマ送りで再生されるので、ユーザは動画像に含まれる画像から記録に残したい画像を容易に選択することができる。それゆえ、ユーザが動画像から一のフレームの画像を選択する際の操作性が向上する。
また、撮影時に、動画を再生しながらユーザが最適な構図になったときに画像を選択する際に、動画像がスロー再生されるかまたはコマ送りで再生されるので、ユーザは容易に最適な構図を指定することができる。

＜第３の実施形態＞
続いて第３の実施形態について説明する。第１の実施形態における撮像装置１は、撮影時は、動画と静止画（ＲＡＷ画像）を蓄積しておき、再生時に、ユーザが動画中から選択したフレームの画像に対応する静止画を特定するというものであった。それに対し、第３の実施形態における撮像装置１ｃでは、第１の実施形態で行った一連の処理を「とりこぼし防止モード」時の処理と位置づける。

図８は、第３の実施形態における撮像装置１ｃの構成を示す概略ブロック図である。図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図８の撮像装置１ｃの構成は、図１の撮像装置１の構成に対して、ＣＰＵ６０がＣＰＵ６０ｃに変更され、レリーズボタン（第２の入力部）７１が追加されたものになっている。

ＣＰＵ６０ｃは、第１の実施形態のＣＰＵ６０と同様の処理を行うが、以下の点で異なる。まず、前提として撮像装置１ｃの「とりこぼし防止モード」時には、ユーザは、通常、静止画を撮影する。その際、例えば、ユーザがレリーズボタン７１を押すと、ＣＰＵ６０ｃはイメージセンサ１０にそのタイミングで静止画を撮像させ、撮像された静止画を記憶媒体１１０に記憶させる。また、それと並行して、撮像装置１ｃは、第１の実施形態で行った動画と静止画（ＲＡＷ画像）の蓄積処理をバックアップとして、バックグラウンドで実行する。

これにより、ユーザは以下のような使い方をすることができる。ユーザは、気に入った静止画を撮影できた場合は、ユーザの指示により撮像装置１は、バックアップで撮影した動画と静止画（ＲＡＷ画像）のデータを一括削除する。一方、ユーザが、気に入った静止画を撮影できなかった場合、バックアップで撮影した動画と静止画（ＲＡＷ画像）のデータを使って、第１の実施形態と同様に、ユーザは例えば動画から気に入ったフレームの画像を選択する。その場合、撮像装置１は、例えばユーザが選択したフレームの画像に対応する静止画（ＲＡＷ画像）を特定し、特定した静止画（ＲＡＷ画像）をＪＰＥＧ画像に変換し、変換後のＪＰＥＧ画像を保存する。

このように、レリーズボタンは、撮影者による静止画の撮影指示を受け付ける第２の入力部として機能する。イメージセンサ１０は、レリーズボタンが撮影指示を受け付けたときに被写体を撮像する。そして、ＣＰＵ６０ｃは、イメージセンサ１０が撮像して得た静止画データを記憶媒体１１０に記憶させる記憶処理部として機能する。
これにより、第１の実施形態と同様の効果に加え、ユーザが気に入った静止画を撮影できなかった場合でも、後ほど動画から気に入ったフレームの画像を高画質で記録できるので、ユーザの使い勝手がより向上する。
なお、第２の転送部２３は、前処理部２１から入力された前処理後のデータにリサイズ処理（例えば、縮小処理）を施してもよい。この場合、静止画用のＲＡＷ画像の画素数が減少するので、静止画の処理に係る負荷を低減することができる。これは、特にユーザが画素数を減らしてもバックアップしたい場合に有効である。

また、各実施形態の撮像装置１は、画像処理部３０による画像処理が時間のかかる処理である場合に、特に有効である。これについて、時間がかかる画像処理の一例として、高感度時のノイズリダクション処理（以下、高感度ＮＲ処理という）を例にあげて以下説明する。画像処理部３０がフィルタタップ数を確保する為に、例えば画像処理を複数回実行するという処理を行うことにすると、通常の画像処理より時間がかかる。その場合、撮像装置１は例えば通常ＮＲ処理時において秒１０コマ撮影できるが、高感度ＮＲ処理時において秒５コマしか撮影できない場合がある。よって、従来方式だと、高感度ＮＲ処理時は、シャッターチャンスを逃してしまう確率が上昇するという問題がある。

それに対し、各実施形態では、撮影時に、撮像装置（１、１ｂまたは１ｃ）は動画と静止画（ＲＡＷ画像）の蓄積処理を行う。このとき、撮像装置１の画像処理部３０は、高感度ＮＲ処理は行わないので、撮像装置（１、１ｂまたは１ｃ）の連写間隔は低下しない。その後、撮像装置（１、１ｂまたは１ｃ）は、再生時に、蓄積された動画のうちから選択された画像にのみ、高感度ＮＲ処理を施し、高感度ＮＲ処理後の画像を記録する。このように、最終的に記録する画像に対してのみ高感度ＮＲ処理を施すことで、画像処理に時間がかかるような場合でも撮影時の連写間隔を低下させずに、最終的に記録する画像であってユーザが望むタイミングの画像の画質を向上させることができる。

なお、時間がかかる画像処理は、高感度ＮＲ処理に限らず、歪補正処理、アートフィルタ処理、超解像処理、傾き補正処理、台形補正処理、画素欠陥補正処理、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を使った処理等である。ここで、歪補正処理は、例えば画像の歪量が大きい場合に施す処理である。またアートフィルタ処理は、フィルタによって、肉眼とは異なるアーティスティックな映像を作り出す処理である。また、ＤＳＰを使った処理は、専用のハードウェアではないので時間がかかる。

なお、各実施形態における撮像装置（１、１ｂまたは１ｃ）は、再生時に、ズーム指示を与えると、デジタルズームが可能となってもよい。また、ユーザによるズーム指示の与え方としては、カメラのズームボタンを押すものでもよいし、撮像装置（１、１ｂまたは１ｃ）が一眼レフの撮像装置の場合はレンズを伸び縮みさせるものでもよい。また、撮像装置（１、１ｂまたは１ｃ）は、選択された静止画像のうち、一部を切り取るか、あるいは全体または一部を拡大して、記録してもよい。

また各実施形態における撮像装置（１、１ｂまたは１ｃ）は、特殊処理（例えば、アートフィルタ処理、露出制御処理）を施した撮影を実施してもよい。例えば、ユーザが特殊処理機能を有効にする指定をした場合、再生時に、記録する静止画像に、特殊処理を施してもよい。実撮影時に、最適な処理を施すのは難しいが、再生しながらの場合は、記録する静止画像に、処理強度などのパラメータを変えて何度でもやり直しがきく。特に、動きの早い被写体で、そのような特殊処理を施す場合には効果がある。また、撮像装置（１、１ｂまたは１ｃ）は、一例としてＲＡＷ画像を蓄積しておくので、ＲＡＷ画像に対してそのような特殊処理を施しても、生成される画像の画質を低減させないという利点がある。

また、各実施形態の撮像装置（１、１ｂまたは１ｃ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録して、当該記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像装置（１、１ｂまたは１ｃ）に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではない。各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は実施形態によって限定されることはなく、特許請求の範囲によってのみ限定される。

１、１ｂ、１ｃ 撮像装置
１０ イメージセンサ（撮像部）
２０ 撮像ＩＦ部（転送処理部）
２１ 前処理部
２２ 第１の転送部
２３ 第２の転送部
３０ 画像処理部
４０ 表示処理部
５０ 表示デバイス（表示部）
６０、６０ｂ、６０ｃ ＣＰＵ
７０ 指示ボタン
７１ レリーズボタン
８０ ＤＲＡＭコントローラ
９０ ＤＲＡＭ
１００ カードＩＦ部
１１０ 記憶媒体
１２０ データバス

Claims (8)

1. 被写体を撮像する撮像部と、
   前記撮像部が撮像して得た複数フレーム分の画像を縮小し、前記撮像部が撮像して得た画像であって前記複数フレーム分の画像それぞれに対応付けられた複数フレーム分の第２の画像データを転送する転送処理部と、
   前記転送処理部が縮小して得た複数フレーム分の第１の画像データを記憶媒体に記憶させ、前記転送処理部が転送した複数フレーム分の第２の画像データを記憶媒体に記憶させる記憶処理部と、
   前記記憶処理部が記憶させた第１の画像データを参照して、画像を複数フレーム分、表示部に表示させる処理部と、
   前記表示部が表示した第１の画像データのうちから、自装置を使用するユーザが選択した画像を受け付ける入力部と、
   を備え、
   前記処理部は、前記ユーザが選択した画像に対応する第２の画像データを特定し、
   前記処理部が特定した第２の画像データに対して画像処理を施す画像処理部を備え、
   前記記憶処理部は、前記画像処理部が画像処理を施した後の画像データを記憶媒体に記憶させる撮像装置。
2. 撮影者による削除指示を受け付ける入力部を備え、
   前記記憶処理部は、前記入力部が撮影者による削除指示を受け付けたときに前記複数フレーム分の第１の画像データまたは複数フレーム分の第２の画像データの少なくともいずれか一方を、それぞれが記憶されている記憶媒体から削除する請求項１に記載の撮像装置。
3. 前記処理部は、前記画像を再生する際に、前記画像をスロー再生、またはコマ送り再生させる請求項１から２のいずれか一項に記載の撮像装置。
4. 撮影者による静止画の撮影指示を受け付ける第２の入力部と、
   前記撮像部は、前記第２の入力部が撮影指示を受け付けたときに前記被写体を撮像し、
   前記記憶処理部は、前記撮像部が撮像して得た静止画データを記録媒体に記憶させる請求項１から３のいずれか一項に記載の撮像装置。
5. 前記静止画データはＲＡＷ画像データである請求項４に記載の撮像装置。
6. 前記転送処理部は、
   前記撮像部が撮像して得た複数フレーム分の画像を縮小する第１の転送部と、
   前記撮像部が撮像して得た画像であって前記複数フレーム分の画像それぞれに対応付けられた複数フレーム分の第２の画像データを転送する第２の転送部と、
   を備える請求項１から５のいずれか一項に記載の撮像装置。
7. 前記転送処理部は、前記撮像部が撮像して得た奇数フレームまたは偶数フレームの画像を縮小し、前記撮像部が撮像して得た画像であって前記縮小する対象とならないフレームを転送する請求項１から５のいずれか一項に記載の撮像装置。
8. 被写体を撮像する撮像部と、前記撮像部が撮像して得た複数フレーム分の画像を縮小し、前記撮像部が撮像して得た画像であって前記複数フレーム分の画像それぞれに対応付けられた複数フレーム分の第２の画像データを転送する転送処理部とを備える撮像装置に、
   前記転送処理部が縮小して得た複数フレーム分の第１の画像データを記憶媒体に記憶させ、前記転送処理部が転送した複数フレーム分の第２の画像データを記憶媒体に記憶させる記憶処理ステップと、
   前記記憶処理ステップで記憶させた第１の画像データを参照して、画像を複数フレーム分、表示部に表示させる処理ステップと、
   前記表示部が表示した第１の画像データのうちから、前記撮像装置を使用するユーザが選択した画像を受け付ける入力ステップと、
   前記ユーザが選択した画像に対応する第２の画像データを特定する特定ステップと、
   前記処理ステップが特定した第２の画像データに対して画像処理を施す画像処理ステップと、
   を実行させためのプログラムであって、
   前記記憶処理ステップは、前記画像処理ステップが画像処理を施した後の画像データを記憶媒体に記憶させるプログラム。

Images