JP4548041B2 - 撮像装置および撮像方法、プログラム、並びに記録媒体 - Google Patents

撮像装置および撮像方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4548041B2
JP4548041B2 JP2004239189A JP2004239189A JP4548041B2 JP 4548041 B2 JP4548041 B2 JP 4548041B2 JP 2004239189 A JP2004239189 A JP 2004239189A JP 2004239189 A JP2004239189 A JP 2004239189A JP 4548041 B2 JP4548041 B2 JP 4548041B2
Authority
JP
Japan
Prior art keywords
image
image data
processing
recording
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004239189A
Other languages
English (en)
Other versions
JP2006060449A (ja
Inventor
政範 笠井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004239189A priority Critical patent/JP4548041B2/ja
Publication of JP2006060449A publication Critical patent/JP2006060449A/ja
Application granted granted Critical
Publication of JP4548041B2 publication Critical patent/JP4548041B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置および撮像方法、プログラム、並びに記録媒体に関し、特に、ユーザにより記録が指令されたときに表示されている動画像を、静止画像として容易に記録することができるようにする撮像装置および撮像方法、プログラム、並びに記録媒体に関する。
図１は、従来のカメラシステムにおいて、動画像の記録中に静止画像を記録する静止画像記録処理を説明するフローチャートの一例である。この静止画像記録処理は、例えば、ユーザにより動画像の記録が指令されたとき開始される。
ステップＳ１１において、カメラシステムは、被写体を撮像し、動画像として所定の記録媒体に記録して（動画像を記録して）、ステップＳ１２に進む。
ステップＳ１２において、カメラシステムは、ユーザにより静止画像の記録が指令されたかどうかを判定し、ユーザにより静止画像の記録が指令されていないと判定された場合、ステップＳ１１に戻り、ユーザにより静止画像の記録が指令されるまで動画像を記録する。
一方、ステップＳ１２において、ユーザにより静止画像の記録が指令されたと判定された場合、ステップＳ１３に進み、カメラシステムは、動画像の記録を停止し、ステップＳ１４に進む。
ステップＳ１４において、カメラシステムは、撮像素子に蓄積されている電荷を掃き捨て（クリアして）、被写体の撮像を開始し、ステップＳ１５に進む。ステップＳ１５において、カメラシステムは、所定の露光時間が経過したかどうかを判定し、所定の露光時間が経過していないと判定された場合、所定の露光時間が経過したと判定されるまで待機する。
ステップＳ１５において、所定の露光時間が経過したと判定された場合、ステップＳ１６に進み、カメラシステムは、被写体の撮像を終了する。そして、カメラシステムは、撮像された被写体の画像を、静止画像として所定の記録媒体に記録し（静止画像を記録し）、ステップＳ１１に戻る。ステップＳ１１において、カメラシステムは、動画像の記録を再開し、上述した処理を繰り返す。
以上のように、図１の静止画像記録処理では、ステップＳ１３で説明したように、静止画像を記録する場合、動画像の記録を一時中断することになり、動画像の記録を中断せずに静止画像を記録するといったユーザの要望に応えることは困難であった。
また、図１の静止画像記録処理では、ステップＳ１２において、ユーザにより静止画像の記録が指令されたと判定された後、ステップＳ１４で被写体の撮像を開始するまでに、動画像の記録の停止（ステップＳ１３）、および撮像素子に蓄積されている電荷のクリアといった処理を行わなければならず、静止画像の記録が指令されてから、静止画像が撮像されるまでにタイムラグが発生する。これにより、ユーザは、シャッタチャンスを逃す場合があった。
図２は、従来のカメラシステムにおいて、動画像の表示中に静止画像を記録する静止画像記録処理を説明するフローチャートの一例である。この静止画像記録処理は、例えば、ユーザにより動画像の表示が指令されたとき開始される。
ステップＳ３１において、カメラシステムは、被写体を撮像し、動画像として表示させ、ステップＳ３２に進む。ステップＳ３２において、カメラシステムは、図１のステップＳ１２と同様に、ユーザにより静止画像の記録が指令されたかどうかを判定し、ユーザにより静止画像の記録が指令されていないと判定された場合、ステップＳ３１に戻り、ユーザにより静止画像の記録が指令されるまで動画像を表示させる。
一方、ステップＳ３２において、ユーザにより静止画像の記録が指令されたと判定された場合、ステップＳ３３に進み、カメラシステムは、動画像の表示を停止し、ステップＳ３４に進む。なお、ステップＳ３４乃至Ｓ３６の処理は、図１のステップＳ１４乃至Ｓ１６の処理と同様であるので、説明は省略する。
以上のように、図２の静止画像記録処理では、ステップＳ３３で説明したように、静止画像を記録する場合、動画像の表示を一時中断することになり、動画像の表示を中断せずに静止画像を記録するといったユーザの要望に応えることは困難であった。
また、図２の静止画像記録処理では、ステップＳ３２において、ユーザにより静止画像の記録が指令されたと判定された後、ステップＳ３４で被写体の撮像を開始するまでに、動画像の再生の停止（ステップＳ３３）、および撮像素子に蓄積されている電荷のクリアといった処理を行わなければならず、図１の静止画像記録処理と同様に、静止画像の記録が指令されてから、静止画像が撮像されるまでにタイムラグが発生する。これにより、ユーザは、シャッタチャンスを逃す場合があった。
そこで、動画像として記録される画像の一部を静止画像として記録することで、動画像の記録の中断や、静止画像の記録が指令されてから静止画像が撮像されるまでのタイムラグをなくしたビデオカメラ装置がある（例えば、特許文献１参照）。
このビデオカメラ装置は、撮像された画像をバッファメモリに記憶し、動画像として表示する。なお、バッファメモリは、撮像された時間的に連続する所定の数の画像を記憶し、その所定の数以上の画像が撮像された場合、撮像された時間が一番古い画像から順に、新しく撮像された画像に書き換える。ユーザは、表示される動画像を見ながら、所望の動画像が表示されたとき、静止画像の記録を指令する。ビデオカメラ装置は、ユーザにより静止画像の記録が指令されたとき、バッファメモリに記憶されている時間的に連続する複数の画像を表示させ、ユーザにより静止画像として記録させる画像を選択させる。そして、ビデオカメラ装置は、ユーザにより選択された画像を静止画像として記録する。
特開２００４−９６７８３号公報
しかしながら、特許文献１に記載されているビデオカメラ装置では、ユーザにより静止画像の記録が指令されたとき、バッファメモリに記録されている時間的に連続する複数の画像の中から、ユーザが、静止画像として記録させる画像、即ち静止画像の記録の指令時に表示されている動画像を選択する必要がある。このユーザの選択は、静止画像の記録の指令時に表示されている動画像と、実際に静止画像として記録される画像との多少のズレを回避するためのものであるが、操作としては面倒である。
本発明は、このような状況に鑑みてなされたものであり、ユーザにより記録が指令されたときに表示されている動画像を、静止画像として容易に記録することができるようにするものである。
本発明の撮像装置は、被写体を撮像し、画像データを出力する撮像手段と、撮像手段から出力される画像データに対して、動画像のための画像処理を行う動画像用画像処理手段と、動画像用画像処理手段により動画像のための画像処理が行われた画像データに基づいて、画像を表示する表示手段と、撮像手段から出力された時間的に連続する複数の画像データのそれぞれを記憶する複数の記憶手段と、画像の記録の指令を受け付ける受付手段と、受付手段により画像の記録の指令が受け付けられたときに、表示手段に表示されている画像に対応する画像データを記憶する記憶手段を、複数の記憶手段の中から選択する選択手段と、選択手段により選択された記憶手段に記憶されている画像データに対して、静止画像のための画像処理を行う静止画像用画像処理手段と、静止画像用画像処理手段により静止画像のための画像処理が行われた画像データをエンコードする静止画像用エンコード手段と、静止画像用エンコード手段によりエンコードされた画像データを記録させる記録制御手段とを備え、表示手段は、水平ラインごとに、自分自身に表示する画像を更新し、前記選択手段は、前記受付手段により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択することを特徴とする。
動画像用画像処理手段は、動画像のための画像処理として、画像データの画素数を変換する変換処理を行うことができる。
撮像装置は、動画像用画像処理手段により動画像のための画像処理が行われた画像データをエンコードする動画像用エンコード手段をさらに設け、記録制御手段は、動画像用エンコード手段によりエンコードされた画像データをさらに記録させることができる。
記録制御手段は、動画像用エンコード手段によりエンコードされた画像データと、静止画像用エンコード手段によりエンコードされた画像データとを、１つの記録媒体に記録させることができる。
複数の記憶手段の記憶容量は、撮像手段による画像データの出力が開始されてから、その画像データに基づく画像の表示が終了するまでの時間に基づいて決められた記憶容量であるようにすることができる。
受付手段は、撮像装置のモードを、画像を記録する記録モードにするための指令をさらに受け付け、撮像手段は、受付手段により記録モードにするための指令が受け付けられた場合、画像データの画素数を変化させることができる。
所定の数は、画像の水平ラインの数の1/2であるようにすることができる。
撮像手段は、被写体を画素単位で撮像する画素撮像手段と、画素撮像手段により撮像された結果得られる画像信号を、画素単位でA/D（Analog/Digital）変換する変換手段と、変換手段により変換された結果得られる画像データを画素単位で記憶し、画像データを出力する画素記憶手段とを画素ごとに設けることができる。
画素撮像手段、変換手段、および画素記憶手段は、２次元的に配置されるようにすることができる。
画素撮像手段、変換手段、および画素記憶手段は、３次元的に配置されるようにすることができる。
撮像手段は、線順次走査型の撮像素子であり、撮像素子の走査速度は、画像データのフレームレートに比べて速くすることができる。
本発明の撮像方法は、被写体を撮像し、画像データを出力する撮像ステップと、撮像ステップの処理により出力される画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップと、動画像用画像処理ステップの処理により動画像のための画像処理が行われた画像データに基づいて、表示手段に画像を表示させる表示制御ステップと、撮像ステップの処理により出力された時間的に連続する複数の画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップと、画像の記録の指令を受け付ける受付ステップと、受付ステップの処理により画像の記録の指令が受け付けられたときに、表示手段に表示されている画像に対応する画像データを記憶する記憶手段を、複数の記憶手段の中から選択する選択ステップと、選択ステップの処理により選択された記憶手段に記憶されている画像データに対して、静止画像のための画像処理を行う静止画像用画像処理ステップと、静止画像用画像処理ステップの処理により静止画像のための画像処理が行われた画像データをエンコードする静止画像用エンコードステップと、静止画像用エンコードステップの処理によりエンコードされた画像データを記録させる記録制御ステップとを含み、表示制御ステップの処理は、水平ラインごとに、表示手段に表示する画像を更新し、前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択することを特徴とする。
本発明のプログラムは、被写体を撮像し、画像データを出力する撮像ステップと、撮像ステップの処理により出力される画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップと、動画像用画像処理ステップの処理により動画像のための画像処理が行われた画像データに基づいて、表示手段に画像を表示させる表示制御ステップと、撮像ステップの処理により出力された時間的に連続する複数の画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップと、画像の記録の指令を受け付ける受付ステップと、受付ステップの処理により画像の記録の指令が受け付けられたときに、表示手段に表示されている画像に対応する画像データを記憶する記憶手段を、複数の記憶手段の中から選択する選択ステップと、選択ステップの処理により選択された記憶手段に記憶されている画像データに対して、静止画像のための画像処理を行う静止画像用画像処理ステップと、静止画像用画像処理ステップの処理により静止画像のための画像処理が行われた画像データをエンコードする静止画像用エンコードステップと、静止画像用エンコードステップの処理によりエンコードされた画像データを記録させる記録制御ステップとを含み、表示制御ステップの処理は、水平ラインごとに、表示手段に表示する画像を更新し、前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択することを特徴とする。
本発明の記録媒体に記録されているプログラムは、被写体を撮像し、画像データを出力する撮像ステップと、撮像ステップの処理により出力される画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップと、動画像用画像処理ステップの処理により動画像のための画像処理が行われた画像データに基づいて、表示手段に画像を表示させる表示制御ステップと、撮像ステップの処理により出力された時間的に連続する複数の画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップと、画像の記録の指令を受け付ける受付ステップと、受付ステップの処理により画像の記録の指令が受け付けられたときに、表示手段に表示されている画像に対応する画像データを記憶する記憶手段を、複数の記憶手段の中から選択する選択ステップと、選択ステップの処理により選択された記憶手段に記憶されている画像データに対して、静止画像のための画像処理を行う静止画像用画像処理ステップと、静止画像用画像処理ステップの処理により静止画像のための画像処理が行われた画像データをエンコードする静止画像用エンコードステップと、静止画像用エンコードステップの処理によりエンコードされた画像データを記録させる記録制御ステップとを含み、表示制御ステップの処理は、水平ラインごとに、表示手段に表示する画像を更新し、前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択することを特徴とする。
本発明においては、被写体を撮像して、画像データを出力し、その画像データに対して、動画像のための画像処理を行う。その動画像のための画像処理が行われた画像データに基づいて、水平ラインごとに画像を更新し、時間的に連続する複数の画像データのそれぞれを複数の記憶手段に記憶する。そして、画像の記録の指令を受け付け、画像の記録の指令が受け付けられたときに、表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する記憶手段を選択し、表示手段に表示されている更新後の画像の水平ラインの数が、所定の数より多い場合、その更新後の画像に対応する画像データを記憶する記憶手段を選択し、選択した記憶手段に記憶されている画像データに対して、静止画像のための画像処理を行う。その静止画像のための画像処理が行われた画像データをエンコードし、そのエンコードした画像データを記録させる。
本発明によれば、ユーザにより記録が指令されたときに表示されている動画像を、静止画像として容易に記録することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の撮像装置は、
被写体を撮像し、前記被写体の画像データを記録する撮像装置（例えば、図３のデジタルカメラ１）において、
前記被写体を撮像し、前記画像データを出力する撮像手段(例えば、図３の撮像素子１１)と、
前記撮像手段から出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理手段(例えば、図３のDSP１４)と、
前記動画像用画像処理手段により前記動画像のための画像処理が行われた前記画像データに基づいて、画像を表示する表示手段(例えば、図３の表示部１６)と、
前記撮像手段から出力された時間的に連続する複数の前記画像データのそれぞれを記憶する複数の記憶手段(例えば、図３のバッファメモリ２１−１乃至２１−３)と、
前記画像の記録の指令を受け付ける受付手段（例えば、図３の操作入力部２５）と、
前記受付手段により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段を、複数の前記記憶手段の中から選択する選択手段(例えば、図３の制御部２６)と、
前記選択手段により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理手段(例えば、図３のDSP２３)と、
前記静止画像用画像処理手段により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコード手段(例えば、図３のDSP２４)と、
前記静止画像用エンコード手段によりエンコードされた前記画像データを記録させる記録制御手段(例えば、図３の記録制御部１８)と
を備え、
前記表示手段は、水平ラインごとに、自分自身に表示する前記画像を更新し、
前記選択手段は、前記受付手段により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する（例えば、図１０のステップＳ９５またはステップＳ９６の処理）
ことを特徴とする。
請求項２に記載の撮像装置は、
前記動画像用画像処理手段は、前記動画像のための画像処理として、前記画像データの画素数を変換する変換処理(例えば、フィルタ処理)を行う
ことを特徴とする。
請求項３に記載の撮像装置は、
前記動画像用画像処理手段により前記動画像のための画像処理が行われた前記画像データをエンコードする動画像用エンコード手段(例えば、図３のDSP１７)
をさらに備え、
前記記録制御手段は、前記動画像用エンコード手段によりエンコードされた前記画像データをさらに記録させる(例えば、図６のステップＳ５８の処理)
ことを特徴とする。
請求項４に記載の撮像装置は、
前記記録制御手段は、前記動画像用エンコード手段によりエンコードされた前記画像データと、前記静止画像用エンコード手段によりエンコードされた前記画像データとを、１つの記録媒体に記録させる(例えば、図６のステップＳ５８の処理)
ことを特徴とする。
請求項５に記載の撮像装置は、
複数の前記記憶手段の記憶容量は、前記撮像手段による前記画像データの出力が開始されてから、その画像データに基づく画像の表示が終了するまでの時間(例えば、図５の時間ｔ0乃至ｔ5)に基づいて決められた記憶容量である
ことを特徴とする。
請求項６に記載の撮像装置は、
前記受付手段は、前記撮像装置のモードを、前記画像を記録する記録モードにするための指令をさらに受け付け（例えば、図１６のステップＳ１７１の処理）、
前記撮像手段は、前記受付手段により前記記録モードにするための指令が受け付けられた場合、前記画像データの画素数を変化させる(例えば、図１６のステップＳ１７３の処理)
ことを特徴とする。
請求項８に記載の撮像装置は、
前記撮像手段は、
前記被写体を画素単位で撮像する画素撮像手段(例えば、図１９の光電変換部６１)と、
前記画素撮像手段により撮像された結果得られる画像信号を、画素単位でA/D（Analog/Digital）変換する変換手段(例えば、図１９のA/D変換部６２)と、
前記変換手段により変換された結果得られる前記画像データを画素単位で記憶し、前記画像データを出力する画素記憶手段(例えば、図１９のメモリ６３)と
を画素ごとに備える
ことを特徴とする。
請求項１２に記載の撮像方法は、
被写体を撮像し、前記被写体の画像データを記録する撮像装置(例えば、図３のデジタ
ルカメラ１)の撮像方法において、
前記被写体を撮像し、前記画像データを出力する撮像ステップ(例えば、図６のステップＳ５１)と、
前記撮像ステップの処理により出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップ(例えば、図６のステップＳ５５)と、
前記動画像用画像処理ステップの処理により前記動画像のための画像処理が行われた前記画像データに基づいて、表示手段(例えば、図３の表示部１６)に画像を表示させる表示制御ステップ（例えば、図６のステップＳ５６）と、
前記撮像ステップの処理により出力された時間的に連続する複数の前記画像データのそれぞれを複数の記憶手段(例えば、図３のバッファメモリ２１)に記憶させる記憶制御ステップ(例えば、図７のステップＳ７１)と、
前記画像の記録の指令を受け付ける受付ステップ(例えば、図７のステップＳ７２)と、
前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段を、複数の前記記憶手段の中から選択する選択ステップ(例えば、図７のステップＳ７４)と、
前記選択ステップの処理により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理ステップ（例えば、図７のステップＳ７５）と、
前記静止画像用画像処理ステップの処理により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコードステップ(例えば、図７のステップＳ７８)と、
前記静止画像用エンコードステップの処理によりエンコードされた前記画像データを記録させる記録制御ステップ(例えば、図７のステップＳ７９)と
を含み、
前記表示制御ステップの処理は、水平ラインごとに、前記表示手段に表示する前記画像を更新し、
前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する
ことを特徴とする。
請求項１３に記載のプログラムおよび請求項１４に記載の記録媒体に記録されているプログラムは、
被写体を撮像し、前記被写体の画像データを記録する記録処理を、コンピュータに行わせるプログラムにおいて、
前記被写体を撮像し、前記画像データを出力する撮像ステップ(例えば、図６のステップＳ５１)と、
前記撮像ステップの処理により出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップ(例えば、図６のステップＳ５５)と、
前記動画像用画像処理ステップの処理により前記動画像のための画像処理が行われた前記画像データに基づいて、表示手段(例えば、図３の表示部１６)に画像を表示させる表示制御ステップ（例えば、図６のステップＳ５６）と、
前記撮像ステップの処理により出力された時間的に連続する複数の前記画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップ(例えば、図７のステップＳ７１)と、
前記画像の記録の指令を受け付ける受付ステップ(例えば、図７のステップＳ７２)と、
前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段(例えば、図３のバッファメモリ２１)を、複数の前記記憶手段の中から選択する選択ステップ(例えば、図７のステップＳ７４)と、
前記選択ステップの処理により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理ステップ（例えば、図７のステップＳ７５）と、
前記静止画像用画像処理ステップの処理により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコードステップ(例えば、図７のステップＳ７８)と、
前記静止画像用エンコードステップの処理によりエンコードされた前記画像データを記録させる記録制御ステップ(例えば、図７のステップＳ７９)と
を含み、
前記表示制御ステップの処理は、水平ラインごとに、前記表示手段に表示する前記画像を更新し、
前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する
ことを特徴とする。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図３は、本発明を適用したデジタルカメラの機能的構成例を示すブロック図である。
図３のデジタルカメラ１は、被写体を撮像し、その結果得られる画像を、動画像または静止画像として表示する。また、デジタルカメラ１は、撮像した結果得られる画像を、動画像または静止画像として記録する。
図３のデジタルカメラ１は、撮像素子１１、A/D変換部１２、フレームメモリ１３、DSP（Digital Signal Processor）１４，１７，２３、および２４、セレクタ１５，２０、および２２、表示部１６、記録制御部１８、記録部１９、バッファメモリ２１−１乃至２１−３、操作入力部２５、並びに制御部２６から構成される。
なお、バッファメモリ２１−１乃至バッファメモリ２１−３を区別する必要がない場合、それらをまとめてバッファメモリ２１という。
撮像素子１１は、例えば、CCD（Charge Coupled Device）、CMOS(Complementary Metal Oxide Semiconductor)センサなどから構成される。なお、以下では、撮像素子１１は、静止画像に適した画素（例えば、300万画素）のCMOSセンサとする。撮像素子１１は、図示せぬ光学系（レンズ）や絞りを介して、被写体を撮像し、静止画像に適した画素のアナログ信号である画像信号を、A/D変換部１２に供給する。即ち、撮像素子１１は、被写体からの反射光を受光し、その受光した反射光を光電変換することにより発生した電子の数に比例する静止画像に適した画素の画像信号を、A/D変換部１２に供給する。ここで、図１には図示しないが、デジタルカメラ１には、ＡＦ（Auto Focus）回路、ＡＥ（Auto Exposure）回路などが設けられている。ＡＦ回路は、光学系を制御してフォーカス制御を行い、ＡＥ回路は、絞りを制御して露出制御を行う。
A/D変換部１２は、撮像素子１１からの静止画像に適した画素の画像信号に対して、A/D変換を行い、画像信号を、例えば１０ビット以上のビット数のデジタルデータに変換する。A/D変換部１２は、その変換後の静止画像に適した画素のデジタルデータを画像データとして、フレームメモリ１３とセレクタ２０に供給する。なお、A/D変換部１２は、撮像素子１１にオンチップで形成されるようにしてもよい。
フレームメモリ１３は、A/D変換部１２からの静止画像に適した画素の１フレーム分の画像データを記憶し、記憶している画像データを、DSP１４に供給する。
DSP１４は、フレームメモリ１３からの静止画像に適した画素の画像データに対して、動画像のための画像処理を行う。具体的には、DSP１４は、静止画像に適した画素の画像データの画素数を、動画像に適した画素数に変換するための演算を行うフィルタ処理、色や感度の補間処理、ホワイトバランスを調整する処理、および画像データをRGBデータなどに変換するRGBデータ変換処理などを行う。ここで、DSP１４は、フィルタ処理により、例えば、フレームメモリ１３からの静止画像に適した３００万画素の画像データを、動画像に適した約３０万画素（VGA（Video Graphics Array）サイズ（640×480dot））の画像データに変換する。DSP１４は、動画像のための画像処理後の動画像に適した画素数の画像データ（以下、動画像データという）を、セレクタ１５とDSP１７に供給する。
セレクタ１５は、制御部２６から供給される動画像または静止画像の表示を指示する制御信号（以下、表示制御信号という）に基づいて、DSP１４からの動画像に適した画素の動画像データまたはDSP２３からの静止画像のための画像処理後の静止画像に適した画素の画像データ（以下、静止画像データという）を選択し、表示部１６に供給する。表示部１６は、例えば、液晶、有機EL(Electro Luminescent)などのディスプレイから構成される。表示部１６は、セレクタ１５からの動画像データまたは静止画像データに基づいて、動画像または静止画像を表示する。
DSP１７は、DSP１４からの動画像に適した画素の動画像データを、動画像データの記録に適するMPEG2(Moving Picture Experts Group phase 2)、MPEG4(Moving Picture Experts Group phase 4)、またはH.264（H.264／MPEG4 AVCや、MPEG4 Part10ともいわれる）などに準拠した所定のフォーマットにエンコードし、記録制御部１８に供給する。
記録制御部１８は、DSP１７からの動画像に適した画素の動画像データとDSP２４からの静止画像に適した画素の静止画像データとを、時分割多重化し、動画像と静止画像の多重化データとして、記録部１９に供給し、記録させる。例えば、記録制御部１８は、動画像データと静止画像データのそれぞれを、所定単位毎に順次所定のヘッダ情報を付加してパケット化し、パケット化後の動画像データおよび静止画像データを、時分割多重化して、多重化データとして、記録部１９に記録させる。動画像データと静止画像データとを時分割多重化して記録部１９に記録させる方法の詳細は、特開2000-188736号公報に開示されている。
記録部１９は、磁気テープ、DVD（Digital Versatile Disk）、EEPROM（Electronically Erasable and Programmable Read Only Memory）などから構成され、記録制御部１８からの多重化データを記録する。
なお、デジタルカメラ１では、２つの記録部１９を設け、一方が動画像データを記録し、他方が静止画像データを記録するようにすることもできる。この場合、記録制御部１８は、動画像データと静止画像データを時分割多重化する必要がない。
セレクタ２０には、A/D変換部１２からの静止画像に適した画素の画像データを記憶するバッファメモリ２１を表す制御信号（以下、記憶選択信号という）が供給される。セレクタ２０は、その記憶選択信号に基づいて、バッファメモリ２１を選択し、選択したバッファメモリ２１にA/D変換部１２からの１フレームの静止画像に適した画素の画像データを供給する。例えば、セレクタ２０は、記憶選択信号に基づいて、時間的に連続するA/D変換部１２からの画像データを、１フレームごとに、バッファメモリ２１−１から順に供給する。即ち、バッファメモリ２１−１乃至２１−３には、時間的に連続する３フレームの画像データのそれぞれが供給される。
バッファメモリ２１は、セレクタ２０からの１フレームの静止画像に適した画素の画像データを記憶する。なお、バッファメモリ２１は、セレクタ２０から画像データが供給されるたびに、記憶している画像データを消去し、セレクタ２０からの画像データを記憶する。即ち、バッファメモリ２１に記憶されている画像データは、セレクタ２０から画像データが供給されるたびに更新される。また、バッファメモリ２１は、記憶している画像データを、セレクタ２２に供給する。
セレクタ２２には、セレクタ２２から出力させるバッファメモリ２１からの画像データが記憶されているバッファメモリ２１を表す制御信号(以下、出力選択信号という)が、制御部２６から供給される。セレクタ２２は、出力選択信号に基づいて、バッファメモリ２１を選択し、選択したバッファメモリ２１からの静止画像に適した画素の画像データを、DSP２３に供給（出力）する。
DSP２３は、セレクタ２２からの静止画像に適した画素の画像データに対して、静止画像のための画像処理を行う。具体的には、DSP２３は、色や感度の補間処理、ホワイトバランスを調整する処理、および画像データをRGBデータなどに変換するRGBデータ変換処理などを行う。DSP２３は、静止画像のための画像処理後の静止画像に適した画素の画像データ(以下、静止画像データという)を、セレクタ１５とDSP２４に供給する。なお、DSP２３が行う画像処理の種類は、ユーザにより任意に設定することができる。例えば、ユーザが画像処理の種類を何も設定しない場合、DSP２３は、静止画像に適した画素の画像データに対して何も処理を行わず、静止画像に適した画素の画像データを、そのままセレクタ１５とDSP２４に供給する。
DSP２４は、DSP２３からの静止画像データを、静止画像データの記録に適するJPEG（Joint Photographic Experts Group）、またはJPEG2000などに準拠した所定のフォーマットにエンコードし、記録制御部１８に供給する。なお、フォーマットは、ユーザにより任意に設定することができる。例えば、ユーザがフォーマットを何も設定しない場合、即ち、ユーザがエンコードを行わない静止画像データを記録させる場合、DSP２４は、静止画像データをエンコードせず、記録制御部１８に供給する。
操作入力部２５は、ユーザからの図示せぬ各種のボタンの操作を受け付け、その操作に対応する入力信号を制御部２６に供給する。例えば、ユーザは、静止画像の記録の指令をするために、図示せぬシャッタボタンを操作する。操作入力部２５は、その操作(指令)を受け付け、操作に対応する静止画像の記録を指令するための入力信号を制御部２６に供給する。また、ユーザは、静止画像または動画像の表示の指令をするために、図示せぬ表示ボタンを操作する。操作入力部２５は、その操作を受け付け、操作に対応する静止画像または動画像の表示を指令するための入力信号を制御部２６に供給する。
制御部２６は、各部を制御する。例えば、制御部２６は、記憶選択信号をセレクタ２０に供給する。即ち、制御部２６は、記憶選択信号が表すバッファメモリ２１に、A/D変換部１２からの画像データを供給するように、セレクタ２０を制御する。例えば、まず最初に、制御部２６は、バッファメモリ２１−１を表す記憶選択信号をセレクタ２０に供給し、次に、バッファメモリ２１−２を表す記憶選択信号をセレクタ２０に供給する。そして、制御部２６は、バッファメモリ２１−３を表す記憶選択信号を供給し、次に、バッファメモリ２１−１を表す記憶選択信号をセレクタ２０に供給して、以降同様の処理を繰り返す。
このとき、セレクタ２０は、A/D変換部１２からの画像データを、バッファメモリ２１−１、バッファメモリ２１−２、バッファメモリ２１−３、バッファメモリ２１−１、・・・の順に供給する。
また、制御部２６は、操作入力部２５からの静止画像の記録を指令するための入力信号に応じて、バッファメモリ２１−１乃至２１−３の中から、操作入力部２５により静止画像の記録の指令が受け付けられたときに、表示部１６に表示されている動画像に対応する画像データを記憶するバッファメモリ２１を選択し、その選択したバッファメモリ２１を表す出力選択信号をセレクタ２２に供給する。即ち、制御部２６は、出力選択信号が表すバッファメモリ２１に記憶されている画像データを出力するように、セレクタ２２を制御する。
さらに、制御部２６は、操作入力部２５からの静止画像または動画像の表示を指令するための入力信号に応じて、動画像または静止画像の表示を指示する表示制御信号を、セレクタ１５に供給する。即ち、制御部２６は、動画像または静止画像を表示させるように、セレクタ１５を制御する。
図４は、ユーザが表示ボタンを操作して、表示部１６への動画像の表示を指令したときの図３のデジタルカメラ１の動作のタイミングを説明する図である。なお、図４では、まだユーザが静止画像の記録の指令を行っていない。
図４では、横軸が時間を表している。このとことは、後述する図５、図８、および図１３においても同様である。また、上から第１行目が撮像素子１１の処理、第２行目がA/D変換部１２の処理、第３行目がフレームメモリ１３とバッファメモリ２１の処理、第４行目がDSP１４の処理、第５行目が表示部１６の処理をそれぞれ表している。なお、以下では、ｉ（ｉは正の数）番目のフレームをフレーム＃ｉという。
図４に示すように、撮像素子１１は、時間ｔ0の間、被写体を撮像し、静止画像に適した画素のフレーム＃１の画像信号を、A/D変換部１２に出力する（Ａ１）。A/D変換部１２は、撮像素子１１が被写体の撮像を開始してから時間ｔ1後に、撮像素子１１から出力される画像信号に対して、A/D変換を行うA/D変換処理を開始し、A/D変換後の静止画像に適した画素のフレーム＃１の画像データを、フレームメモリ１３とセレクタ２０に供給する（Ｂ１）。
ここで、制御部２６は、バッファメモリ２１−１を表す記憶選択信号をセレクタ２２に供給する。セレクタ２０は、制御部２６からの記憶選択信号に基づいて、バッファメモリ２１−１を選択し、バッファメモリ２１−１に、A/D変換部１２からの静止画像に適した画素のフレーム＃１の画像データを供給する。A/D変換部１２がA/D変換処理を開始してから時間ｔ2後に、フレームメモリ１３は、A/D変換部１２からの静止画像に適した画素のフレーム＃１の画像データの記憶を開始し、記憶している画像データをDSP１４に供給する。このとき、バッファメモリ２１−１は、セレクタ２０からのフレーム＃１の静止画像に適した画素の画像データの記憶を開始し、記憶している画像データをセレクタ２２に供給する（Ｃ１）。
なお、バッファメモリ２１−２と２１−３も、記憶している画像データをセレクタ２２に供給する。ここで、図４では、まだユーザが静止画像の記録の指令を行っていないので、制御部２６は、出力選択信号をセレクタ２２に供給しない。従って、セレクタ２２は、すべてのバッファメモリ２１から供給される画像データをセレクタ２２に供給しない。
フレームメモリ１３およびバッファメモリ２１−１が、フレーム＃１の画像データの記録を開始してから時間ｔ3後に、DSP１４は、フレームメモリ１３から供給される静止画像に適した画素のフレーム＃１の画像データに対する動画像のための画像処理を開始し、動画像に適した画素のフレーム＃１の動画像データを、セレクタ１５に供給する（Ｄ１）。図４では、表示部１６が動画像を表示するので、制御部２６は、セレクタ１５に、動画像の表示を指示する表示制御信号を供給する。セレクタ１５は、その表示制御信号に基づいて、DSP１４からの動画像に適した画素のフレーム＃１の動画像データを、表示部１６に供給する。
DSP１４がフレーム＃１の画像データに対する動画像のための画像処理を開始してから時間ｔ4後に、表示部１６は、セレクタ１５からの動画像に適した画素のフレーム＃１の動画像データに基づいて、動画像の表示を開始し、フレーム＃１の動画像の表示を行う（Ｅ１）。表示部１６は、フレーム＃１の動画像の表示を開始してから時間ｔ5後に、フレーム＃１の動画像の表示を終了する。
以上のようにして、フレーム＃１の動画像が表示部１６に表示される。撮像素子１１は、フレーム＃１の画像信号をA/D変換部１２に供給した後、時間ｔ0の間、被写体を撮像し、静止画像に適した画素のフレーム＃２の画像信号をA/D変換部１２に出力する（Ａ２）。そして、フレーム＃２に対して、フレーム＃１と同様の処理（Ｂ２，Ｃ２，Ｄ２，Ｅ２）が行われ、表示部１６に表示される（Ｅ２）。但し、フレーム＃２の画像データは、バッファメモリ２１−１ではなく、バッファメモリ２１−２に記憶される。フレーム＃３以降の画像データにおいても同様の処理が行われる。但し、フレーム＃３の画像データは、バッファメモリ２１−３に（Ｃ３）、フレーム＃４の画像データは、バッファメモリ２１−１に記憶され（Ｃ４）、以下同様の順番で、バッファメモリ２１に画像データが記憶される。
なお、例えば、フレーム＃ｉの動画像データを記録部１９に記録させる場合、DSP１４は、動画像に適した画素のフレーム＃ｉの動画像データをDSP１７にも供給する。そして、表示部１６がフレーム＃ｉの画像データを表示している間に、DSP１７は、動画像に適した画素のフレーム＃ｉの動画像データを、動画像に適した所定のフォーマットにエンコードし、記録制御部１８が記録部１９にフレーム＃ｉの画像データを記録させる。また、図４において、時間ｔ0乃至ｔ5は、デジタルカメラ１の性能などによって異なるものである。
図５は、ユーザがシャッタボタンを操作して、静止画像の記録を指令したときの図３のデジタルカメラ１の動作のタイミングを説明する図である。なお、図４と同一のものには、図４と同一の符号を付してあり、説明は繰り返しになるので省略する。
図５では、上から第１行目が撮像素子１１の処理、第２行目がA/D変換部１２の処理、第３行目がフレームメモリ１３とバッファメモリ２１の処理、第４行目がDSP１４の処理、第５行目が表示部１６の処理、第６行目がDSP２３と２４の処理、第７行目が記録制御部１８の処理をそれぞれ表している。
図５では、時刻ｔAに、ユーザがシャッタボタンを操作し、静止画像の記録を指令している。ユーザにより時刻ｔAに、静止画像の記録を指令するためのシャッタボタンの操作が行われると、操作入力部２５は、その操作に対応する静止画像の記録を指令するための入力信号を制御部２６に供給する。制御部２６は、バッファメモリ２１−１乃至２１−３の中から、時刻ｔAに表示部１６に表示されている動画像に対応する画像データを記憶するバッファメモリ２１を選択する。図５の例では、時刻ｔAに表示部１６に表示されている動画像は、フレーム＃２の動画像である（Ｅ２）ので、フレーム＃２の動画像に対応する画像データが記憶されているバッファメモリ２１−２が選択される。制御部２６は、選択したバッファメモリ２１−２を表す出力選択信号をセレクタ２２に供給する。
セレクタ２２は、バッファメモリ２１−２を表す出力選択信号に基づいて、バッファメモリ２１−２からの静止画像に適した画素のフレーム＃２の画像データを、DSP２３に供給する。ユーザにより静止画像の記録の指令が行われてから時間ｔ6後に、DSP２３は、セレクタ２２からの静止画像に適した画素のフレーム＃２の画像データに対する静止画像のための画像処理を開始し、その画像処理後のフレーム＃２の静止画像データをDSP２４に供給する。そして、DSP２４は、DSP２３からの静止画像に適した画素のフレーム＃２の静止画像データを、所定のフォーマットにエンコードし、記録制御部１８に供給する（Ｆ２）。
DSP２３が静止画像のための画像処理を開始してから時間ｔ7後に、記録制御部１８は、DSP２４からの静止画像に適した画素のフレーム＃２の静止画像データの記録部１９への記録を開始し、記録部１９にフレーム＃２の静止画像データを記録させる（Ｇ２）。
また、制御部２６は、時刻ｔAにバッファメモリ２１（バッファメモリ２１−３）が記憶している（Ｃ３）フレーム＃３の画像データの次のフレーム、即ちフレーム＃４以降の画像データを、バッファメモリ２１のいずれにも供給しないように、セレクタ２０を制御する。即ち、制御部２６は、バッファメモリ２１−３を表す記憶選択信号をセレクタ２０に供給して、バッファメモリ２１−３に静止画像に適した画素のフレーム＃３の画像データを記憶させた後、バッファメモリ２１−１を表す記憶選択信号をセレクタ２０に供給しない。セレクタ２０は、制御部２６から記憶選択信号が供給されないので、A/D変換部１２からの静止画像に適した画素のフレーム＃４以降の画像データを、すべてのバッファメモリ２１に供給しない。従って、フレームメモリ１３だけが、静止画像に適した画素のフレーム＃４以降の画像データを記憶する（Ｃ´４）。
なお、制御部２６は、セレクタ２２からDSP２３に、すべてのフレーム＃２の静止画像データが供給された後、セレクタ２０に記憶選択信号を供給する。即ち、すべてのフレーム＃２の静止画像データがDSP２３に供給された後、バッファメモリ２１は、静止画像に適した画素の画像データの記憶を再開する。
以上のようにして、ユーザにより静止画像の記録の指令が行われる場合、ユーザが記録の指令を行ったとき（時刻ｔA）に、表示部１６に表示されているフレーム＃ｉA（ｉAは正の数）の動画像に対応する静止画像データが、記録部１９に記録される。
ここで、図５を参照して、必要なバッファメモリ２１の数について説明する。
図５に示したように、デジタルカメラ１（図３）では、ユーザにより静止画像の記録の指令が行われたとき（時刻ｔA）に、表示部１６に表示されているフレーム＃ｉAの動画像に対応する静止画像データが記録部１９に記録されるので、バッファメモリ２１は、その表示部１６に表示されているフレーム＃ｉAの動画像に対応する画像データを、記憶しておく必要がある。
しかしながら、１フレームの画像データを記憶するバッファメモリ２１の数によっては、ユーザにより静止画像の記録の指令が行われたときに、表示部１６に表示されているフレーム＃ｉAの動画像に対応する画像データが、バッファメモリ２１から消去されている場合がある。即ち、バッファメモリ２１−１乃至２１−３は、画像データを１フレームごとに順に記憶していき、すべてのバッファメモリ２１に画像データが記憶されると、既に画像データが記憶されているバッファメモリ２１のうち、最も古い画像データを記憶しているバッファメモリ２１から順に、新たな画像データを記憶していく。
つまり、バッファメモリ２１は、最も古い画像データを記憶しているバッファメモリ２１から順に更新されるので、バッファメモリ２１の数によっては、ユーザにより静止画像の記録の指令が行われたときに、表示部１６に表示されているフレーム＃ｉAの動画像に対応する画像データを記憶していたバッファメモリ２１が、既に更新され、その画像データが消去されている場合がある。
このような場合が生じることを防止するために、バッファメモリ２１の数ｆは、以下の式（１）に基づいて、例えば、製造元により決定され、デジタルカメラ１には、その数ｆのバッファメモリ２１が用意される。
ｆ＝（t1+ｔ2＋ｔ3＋ｔ4＋ｔ5）／ｔ0・・・（１）
式（１）によれば、撮像素子１１が被写体を撮像し、フレーム＃ｉの画像信号の出力を開始してから、表示部１６がフレーム＃ｉの動画像の表示を終了するまでの時間に、撮像素子１１が出力可能な画像信号のフレーム数が、バッファメモリ２１の数ｆとなっている。なお、バッファメモリ２１の数ｆが小数である場合、小数点以下は切り上げる。
例えば、ｔ0＝３３ｍｓ（１秒間に３０フレームの画像信号を出力），ｔ1＝１０ｍｓ，ｔ2=１５ｍｓ，ｔ3=１０ｍｓ，ｔ4＝２５ｍｓ，ｔ5＝３３ｍｓである場合、数ｆは、2.818・・・となり、小数点以下は切り上げられるので、バッファメモリ２１の数ｆは３個となる。
なお、上述したバッファメモリ２１の数ｆは、必要な最小のバッファメモリ２１の数であり、バッファメモリ２１は、ｆ個以上であれば、どのような個数であってもよい。また、１つのバッファメモリ２１が１フレームの画像データを記憶するのではなく、複数フレームの画像データを記憶する場合、すべてのバッファメモリ２１の記憶容量が、ｆ個以上のフレームの画像データを記憶可能な容量であれば、バッファメモリ２１の数は何個であってもよい。
次に、図６を参照して、図３のデジタルカメラ１が動画像を表示する動画像処理を説明する。この動画像処理は、例えば、ユーザが動画像の表示を指令するために表示ボタンを操作したとき開始され、フレームごとに行われる。また、図６の動画像処理は、図７の静止画像処理と同時に、画像処理として行われる。即ち、図３のデジタルカメラ１は、図６の動画像処理と図７の静止画像処理の両方を同時に、画像処理として行う。
ステップＳ５１において、撮像素子１１は、被写体を撮像して、静止画像に適した画素数のフレーム＃ｉの各画素の画素値を取得し、画素信号としてA/D変換部１２に出力する。ステップＳ５１の処理後は、ステップＳ５２に進み、A/D変換部１２は、撮像素子１１から出力される静止画像に適した画素のフレーム＃ｉの画像信号をA/D変換し、ステップＳ５３に進む。ステップＳ５３において、A/D変換部１２は、フレームメモリ１３に静止画像に適した画素のフレーム＃ｉのA/D変換後の画像データを供給し、記憶させる。フレームメモリ１３は、記憶しているフレーム＃ｉの画像データをDSP１４に供給する。ステップＳ５３の処理後は、ステップＳ５４に進み、A/D変換部１２は、ステップＳ５２でA/D変換された静止画像に適した画素のフレーム＃ｉの画像データを、セレクタ２０に供給し、ステップＳ５５に進む。
ステップＳ５５において、DSP１４は、フレームメモリ１３からの静止画像に適した画素のフレーム＃ｉの画像データに対して、動画像のための画像処理を行い、その画像処理後の動画像に適した画素のフレーム＃ｉの動画像データを、セレクタ１５とDSP１７に供給する。
ステップＳ５６において、セレクタ１５は、DSP１４からの動画像に適した画素のフレーム＃ｉの動画像データに基づいて、動画像を表示部１１に表示させる。具体的には、操作入力部２５は、ユーザによる動画像の表示を指令するための表示ボタンの操作を受け付け、その操作に対応する動画像の表示の指令を表す入力信号を制御部２６に供給する。制御部２６は、その動画像の表示の指令を表す入力信号に基づいて、セレクタ１５に動画像の表示を指示する表示制御信号を供給する。セレクタ１５は、制御部２６から動画像の表示を指示する表示制御信号に応じて、DSP１４からの動画像に適した画素のフレーム＃ｉの動画像データに基づく動画像を、表示部１１に表示させる。
ステップＳ５７において、記録制御部１８は、DSP１７からの動画像に適した画素のフレーム＃ｉの動画像データを、所定のフォーマットに変換し、記録制御部１８に供給して、ステップＳ５８に進む。ステップＳ５８において、記録制御部１８は、DSP１７からの動画像に適した画素のフレーム＃ｉの動画像データを、記録部１９に供給して記録させ、処理を終了する。
なお、ステップＳ５８の処理は、ユーザにより動画像の記録が指令されたときのみ、行うようにしてもよい。
次に、図７を参照して、デジタルカメラ１が静止画像を記憶する静止画像処理を説明する。この静止画像処理は、図６のステップＳ５４でセレクタ２０に、フレーム＃ｉの静止画像に適した画素の画像データが供給されるとき開始され、フレームごとに行われる。
ステップＳ７１において、セレクタ２０は、図６のステップＳ５４でA/D変換部１２から供給される静止画像に適した画素のフレーム＃ｉの画像データを、バッファメモリ２１に記憶させる。
具体的には、制御部２６は、セレクタ２０に、フレーム＃ｉの画像データを記憶するバッファメモリ２１を表す記憶選択信号を供給する。例えば、制御部２６は、バッファメモリ２１−１、バッファメモリ２１−２、バッファメモリ２１−３、バッファメモリ２１−１、・・・の順に、バッファメモリ２１の選択を表す記憶選択信号をセレクタ２０に供給する。セレクタ２０は、その記憶選択信号に基づいてバッファメモリ２１を選択し、選択したバッファメモリ２１に画像データを記憶させる。なお、セレクタ２０は、制御部２６から記憶選択信号が供給されない場合、すべてのバッファメモリ２１に画像データを記憶しない。すべてのバッファメモリ２１は、記憶している画像データをセレクタ２２に供給する。
ステップＳ７１の処理後は、ステップＳ７２に進み、制御部２６は、静止画像の記録が指令されたかどうかを判定する。具体的には、ユーザは、図６のステップＳ５６で表示部１６に表示される動画像を見ながら、所望の動画像が表示されたときに、静止画像の記録を指令するためのシャッタボタンの操作を行う。操作入力部２５は、その操作に対応する静止画像の記録を指令する入力信号を制御部２６に供給する。制御部２６は、操作入力部２５から静止画像の記録を指令する入力信号が供給されたかどうかを判定することにより、静止画像の記録が指令されたかどうかを判定する。
ステップＳ７２において、静止画像の記録が指令されていないと判定された場合、即ち操作入力部２５から静止画像の記録を指令する入力信号が供給されていないと判定された場合、処理を終了する。
また、ステップＳ７２において、静止画像の記録が指令されたと判定された場合、即ち操作入力部２５から静止画像の記録を指令する入力信号が供給されたと判定された場合、ステップＳ７３に進み、制御部２０は、セレクタ２０への記憶選択信号の供給を停止し、セレクタ２０は、いま記憶されているフレーム＃ｉの画像データより後のフレームの画像データのバッファメモリ２１への記憶を停止する。
ステップＳ７３の処理後は、ステップＳ７４に進み、制御部２６は、静止画像の記録が指令されたとき（例えば、図５の時刻ｔA）に、表示部１６に表示されているフレーム＃ｉAの動画像に対応する画像データ、即ち記録対象のフレーム＃ｉAの画像データが記憶されているバッファメモリ２１を選択する。
ここで、ユーザは、表示部１６に表示されている動画像を見ながら、所望の動画像が表示されたときに、静止画像の記録を指令する操作を行うので、ユーザが静止画像として記録したい画像は、静止画像の記録を指令したときに表示部１６に表示されているフレーム＃ｉAの動画像である。従って、制御部２６は、静止画像の記録が指令されたときに表示部１６に表示されているフレーム＃ｉAの動画像に対応する画像データが記憶されているバッファメモリ２１を選択する。
具体的には、制御部２６は、静止画像の記録が指令された時刻ｔAより時間（ｔ3＋ｔ4）前に、静止画像に適した画素のフレーム＃ｉAの画像データを記憶したバッファメモリ２１を選択する。そして、制御部２６は、選択したバッファメモリ２１を表す出力選択信号をセレクタ２２に供給する。セレクタ２２は、制御部２６からの出力選択信号に基づいて、その出力選択信号が表すバッファメモリ２１からの静止画像に適した画素のフレーム＃ｉAの画像データを、DSP２３に供給する。
ステップＳ７４の処理後は、ステップＳ７５に進み、DSP２３は、セレクタ２２からの静止画像に適した画素のフレーム＃ｉAの画像データに対して、静止画像のための画像処理を行い、その画像処理後の静止画像に適した画素のフレーム＃ｉAの静止画像データを、セレクタ１５とDSP２４に供給する。
ステップＳ７６において、セレクタ１５は、表示部１６に、DSP２３からの静止画像に適した画素のフレーム＃ｉAの静止画像を表示させるかどうかを判定する。具体的には、ユーザが静止画像の表示を指令するために表示ボタンの操作を行う場合、操作入力部２５は、その操作を受け付け、その操作に対応する静止画像の表示の指令を表す入力信号を制御部２６に供給する。制御部２６は、その静止画像の表示の指令を表す入力信号に基づいて、セレクタ１５に静止画像の表示を指示する表示制御信号を供給する。セレクタ１５は、制御部２６から静止画像の表示を指示する表示制御信号が供給されたかどうかを判定することにより、静止画像を表示部１１に表示させるかどうかを判定する。
ステップＳ７６において、表示部１６に静止画像に適した画素のフレーム＃ｉAの静止画像を表示させると判定された場合、即ち、制御部２６から静止画像の表示を指示する表示制御信号が供給されたと判定された場合、ステップＳ７７に進み、セレクタ１５は、DSP２３からの静止画像に適した画素のフレーム＃ｉAの静止画像データに基づいて、表示部１６に静止画像を表示させる。このとき、図６のステップＳ５６におけるフレーム＃ｉの動画像の表示部１６への表示を数秒間（例えば、２秒間）停止し、その間に表示部１６にフレーム＃ｉAの静止画像を表示させる。なお、セレクタ１５は、DSP１４からのフレーム＃ｉの動画像データと、DSP２３からのフレーム＃ｉAの静止画像データとを表示部１６に供給し、フレーム＃ｉの動画像と、フレーム＃ｉAの静止画像との両方を表示させるようにすることもできる。
ステップＳ７７の処理後、またはステップＳ７６において、表示部１６に静止画像を表示させないと判定された場合、即ち制御部２６から静止画像の表示を指示する表示制御信号が供給されていないと判定された場合は、ステップＳ７８に進み、DSP２４は、DSP２３からの静止画像に適した画素のフレーム＃ｉAの静止画像データを、所定のフォーマットに変換し、記録制御部１８に供給する。
ステップＳ７８の処理後は、ステップＳ７９に進み、記録制御部１８は、DSP２４からの静止画像に適した画素のフレーム＃ｉAの静止画像データを記録させる。このとき、記録制御部１８は、図６のステップＳ５８でDSP１７から供給される動画像に適した画素のフレーム＃ｉの動画像データと、DSP２４からの静止画像に適した画素のフレーム＃ｉAの静止画像データを時分割多重化して、記録部１９に記録させる。なお、制御部２６は、フレーム＃ｉAの静止画像データの記録部１９への記録が終了した場合、ステップＳ７３で停止させた画像データのバッファメモリ２１への記憶を、再開させる。
上述した図７の静止画像処理では、静止画像に適した画素のフレーム＃ｉの画像データがバッファメモリ２１に記憶され、静止画像の記録が指令された場合、そのときに表示部１６に表示されているフレーム＃ｉAの動画像に対応する画像データが、バッファメモリ２１から読み出されて、その画像データに対応する静止画像データが記録部１９に記録される。これにより、ユーザは、シャッタチャンスを逃すことなく、静止画像の記録を指令したときに表示部１６に表示されているフレーム＃ｉAの静止画像データを記録することができる。
また、図７の静止画像処理では、図６のステップＳ５１で撮像素子１１により撮像された静止画像に適した画素の画像信号に対応する画像データに対して、静止画像のための画像処理およびエンコードを行った後の静止画像データが記録部１９に記録されるので、動画像データに比べて画素数の多い、即ち高解像度の静止画像データを記録することができる。
これに対して、特許文献１に記載されているビデオカメラ装置では、静止画像として記録される画像は、動画像として記録される画像と同程度の画素数、即ち３０万画素程度(VGA(640×480))であり、静止画像としては、解像度の面において、性能不足である。
以上のように、図３のデジタルカメラ１では、図６の動画像処理と図７の静止画像処理が同時に行われるので、フレーム＃ｉの動画像データを記録している間に、フレーム＃ｉAの静止画像データを記録する場合においても、フレーム＃ｉの動画像データの記録が中断されることはない。また、フレーム＃ｉの動画像をフリーズさせることなく、表示部１６に表示させ続けることができる。
図８は、ユーザがシャッタボタンを操作して、静止画像の記録を指令したときの図３のデジタルカメラ１の動作のタイミングを説明する他の図である。なお、図４や図５と同一のものには、図４や図５と同一の符号を付してあり、説明は繰り返しになるので省略する。
図８では、上から第１行目がフレームメモリ１３とバッファメモリ２１の処理、第２行目がDSP１４の処理、第３行目が表示部１６の処理をそれぞれ表している。なお、第３行目の表示部１６の処理の縦軸は、表示される動画像の水平ライン(行)を表している。
即ち、図８の表示部１６は、自分自身に表示する動画像を水平ラインごとに更新（表示）する。なお、以下では、動画像のｊ（ｊは正の数）番目の水平ラインを水平ライン＃ｊという。また、１フレームの水平ライン数はＬ個（Ｌは偶数）とする。なお、ここでは、説明の便宜上、水平ライン数Ｌは偶数として説明するが、奇数であってもよい。即ち、表示部１６には、フレーム＃ｉの動画像の水平ライン＃１乃至＃Ｌが表示される。
図８では、表示部１６は、時間ｔ5の間に、１フレームの動画像の水平ライン＃Ｌから順に水平ライン＃１まで表示する。例えば、表示部１６は、時間ｔ5の間に、フレーム＃１の動画像の水平ライン＃Ｌから順に水平ライン＃１まで表示する（Ｅ´１）。その後、表示部１６は、時間ｔ5の間に、フレーム＃２の動画像の水平ライン＃Ｌから順に水平ライン＃１までの表示を更新する。従って、例えば、フレーム＃２の動画像の水平ライン＃Ｌが表示されたときに、表示部１６に表示されている動画像は、更新後のフレーム＃２の動画像の水平ライン＃Ｌと、更新前のフレーム＃１の動画像の水平ライン＃１乃至＃Ｌ−１となる。
このように、図８では、表示部１６に表示される動画像に、２つのフレームの動画像が混在している。但し、１つのフレームの動画像の表示が終了した時点では、その１つのフレームの動画像のみが表示部１６に表示される。例えば、フレーム＃２の動画像の表示が終了した時刻ｔBにおいては、表示部１６に、フレーム＃２の動画像のみが表示されている。
ここで、時刻ｔCにユーザにより静止画像の記録が指令され、時刻ｔCが１つのフレームの動画像の表示が終了したときではない場合、表示部１６には、更新前のフレーム＃２と更新後のフレーム＃３の動画像が混在して表示されるので、制御部２６は、ユーザが更新前のフレーム＃２の動画像に対応する静止画像の記録を指令したのか、更新後のフレーム＃３の動画像に対応する静止画像の記録を指令したのかを判断する必要がある。換言すれば、制御部２６は、所定のルールに基づいて、ユーザにより静止画像の記録が指令されたときに、表示部１６に表示されている動画像に対応する画像データが記憶されているバッファメモリ２１を選択する必要がある。なお、以下では、制御部２６により選択された記録対象の画像が記憶されているバッファメモリ２１を、選択バッファメモリ２１という。
そこで、図９乃至図１１を参照して、第１乃至第３のルールに基づいて、制御部２６が選択バッファメモリ２１を選択する処理について説明する。なお、選択バッファメモリ２１を選択するためのルールは、第１乃至第３のルールに限定されない。
図９は、第１のルールを説明する図である。
図９の上のグラフでは、横軸は時間を表し、縦軸は動画像の表示が更新される水平ライン（行）を表している。図９では、表示部１６はフレーム＃２乃至＃４の動画像を順に表示する。なお、フレーム＃２の動画像の表示を開始する時刻を０としている。また、図９の下のブロックは、第１のルールに基づいて、制御部２６が選択する選択バッファメモリ２１を表している。
第１のルールでは、図９に示すように、ユーザにより静止画像の記録が指令されたとき（時刻ｔC）に、表示部１６にL/2より多い数（過半数）の水平ラインが表示されている更新前のフレームｔCまたは更新後のフレーム（ｔC＋１）の動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択される。なお、表示部１６に更新前のフレームｔCおよび更新後のフレーム（ｔC＋１）の動画像の同数の水平ラインが表示される場合、例えば、更新前のフレームｔCの動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択される。
例えば、フレーム＃２の動画像の水平ライン＃Ｌから水平ライン＃L/2が更新されるまで(時刻０から時刻t5/2まで)の間に、ユーザにより静止画像の記録が指令された場合（０≦ｔC≦t5/2）、制御部２６は、選択バッファメモリ２１として、更新前のフレーム＃１の動画像に対応する画像データが記憶されているバッファメモリ２１−１を選択する。
即ち、例えば、表示部１６に表示されているフレーム＃１の動画像の水平ライン＃Ｌが、フレーム＃２の動画像の水平ライン＃Ｌに更新されるとき（時刻０）、水平ライン＃１乃至＃Ｌ−１は、まだ更新されていないので、表示部１６には、更新後のフレーム＃２の動画像の水平ライン＃Ｌと、更新前のフレームであるフレーム＃１のL/2より多い数のＬ−１個の水平ライン＃１乃至＃Ｌ−１が表示される。従って、制御部２６は、選択バッファメモリ２１として、フレーム＃１の動画像に対応する画像データが記憶されているバッファメモリ２１−１を選択する。
フレーム＃１の動画像の水平ライン＃（Ｌ−１）から水平ライン＃（L/2−１）までが更新されるときも、フレーム＃１の水平ライン＃Ｌが更新されるときと同様に、L/2より多い数の水平ラインが表示されている動画像は、更新前のフレーム＃１の動画像であるので、バッファメモリ２１−１が選択される。また、フレーム＃１の動画像の水平ライン＃L/2が更新されるとき、更新前のフレーム＃１と更新後のフレーム＃２の動画像が、それぞれL/2個の水平ラインずつ表示されるので、更新前のフレーム＃１の動画像であるので、バッファメモリ２１−１が選択される。
また、フレーム＃２の動画像の水平ライン＃L/2から水平ライン＃Ｌが更新されるまで(時刻t5/2から時刻ｔ5まで)の間に、ユーザにより静止画像の記録が指令された場合（t5/2＜ｔC≦ｔ5）、制御部２６は、選択バッファメモリ２１として、フレーム＃２の動画像に対応するフレーム＃２の画像データが記憶されているバッファメモリ２１−２を選択する。即ち、L/2より多い数の水平ラインが表示されている動画像は、更新後のフレーム＃２の動画像であるので、バッファメモリ２１−２が選択される。
さらに、フレーム＃３の動画像の水平ライン＃Ｌから水平ライン＃L/2が表示されるまで(時刻ｔ5から時刻３t5/2まで)の間に、ユーザにより静止画像の記録が指令された場合（ｔ5＜ｔC≦３t5/2）、制御部２６は、選択バッファメモリ２１として、更新前のフレーム＃２の動画像に対応する画像データが記憶されているバッファメモリ２１−２を選択する。即ち、L/2以上の水平ラインが表示されている動画像は、更新前のフレーム＃２の動画像であるので、バッファメモリ２１−２が選択される。
上述したように、第１のルールでは、ユーザにより、静止画像の記録が指令されたときに、L/2より多い数の水平ラインが表示されている更新前のフレームｔCまたは更新後のフレーム（ｔC＋１）の動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択されるので、ユーザの所望の静止画像を記録することができる。
即ち、ユーザは、表示部１６に表示される動画像を見ながら、所望の動画像が表示されたとき、静止画像の記録を指令する。このとき、表示される動画像に、更新前と更新後の２つのフレームの動画像が混在する場合があるが、ユーザは所望の画像の水平ラインが多く表示されているとき、所望の動画像が表示されていると判断し、静止画像の記録を指令する可能性が高い。従って、第１のルールでは、L/2より多い数の水平ラインが表示されている更新前のフレームｔCまたは更新後のフレーム（ｔC＋１）の動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択されることにより、ユーザの所望する多くの水平ラインが表示されている動画像に対応する静止画像を記録することができる。
次に、図１０を参照して、第１のルールを用いた場合のデジタルカメラ１が静止画像を記憶する静止画像処理を説明する。この静止画像処理は、図６のステップＳ５４でセレクタ２０に、フレーム＃ｉの静止画像に適した画素の画像データが供給されるとき開始され、フレームごとに行われる。なお、図１０の静止画像処理は、図６の動画像処理と同時に行われる。
ステップＳ９１乃至ステップＳ９３の処理は、図７のステップＳ７１乃至Ｓ７３の処理と同様であるので、説明は省略する。
ステップＳ９４において、制御部２６は、ユーザにより静止画像の記録が指令されたとき（ユーザによる記録の指令時）（図８の時刻ｔC）に、L/2より多い数の水平ラインの表示が更新されていたかどうかを判定する。即ち、図９の時刻０乃至ｔ5／２の間に、ユーザにより静止画像の記録が指令された場合（０≦ｔc≦t5/2）、更新される水平ラインは、水平ライン＃Ｌから＃L/2であり、L/2より多い数の水平ラインの表示が更新されていないので、L/2より多い数の水平ラインの表示が更新されていないと判定する。一方、図９の時刻ｔ5／２乃至ｔ5の間に、ユーザにより静止画像の記録が指令された場合（t5/2＜ｔc≦ｔ5）、更新される水平ラインは、水平ライン＃Ｌから＃１であり、L/2より多い数の水平ラインの表示が更新されているので、L/2より多い数の水平ラインの表示が更新されていると判定する。
ステップＳ９４において、ユーザによる静止画像の記録の指令時に、L/2より多い数の水平ラインの表示が更新されていたと判定された場合、ステップＳ９５に進み、制御部２６は、更新後のフレーム（ｔC＋１）の動画像に対応するフレーム（ｔC＋１）の画像データを記憶するバッファメモリ２１を、選択バッファメモリ２１として選択する。即ち、ユーザによる静止画像の記録の指令時に、表示部１６にL/2より多い数（過半数）の水平ラインが表示されている更新後のフレーム（ｔC＋１）の動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択される。
例えば、図９の時刻ｔ5／２乃至ｔ5の間に、ユーザにより静止画像の記録が指令された場合（t5/2＜ｔc≦ｔ5）、制御部２６は、更新後のフレーム＃２の動画像に対応する画像データが記憶されているバッファメモリ２１−２を、選択バッファメモリ２１として選択する。
一方、ステップＳ９４において、ユーザにより静止画像の記録の指令時に、L/2より多い数の水平ラインの表示が更新されていないと判定された場合、ステップＳ９６に進み、制御部２６は、更新前のフレームｔCの動画像に対応するフレームｔCの画像データを記憶するバッファメモリ２１を、選択バッファメモリ２１として選択する。即ち、ユーザによる静止画像の記録の指令時に、表示部１６にL/2以上の水平ラインが表示されている更新前のフレームｔCの動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択される。
例えば、図９の時刻０乃至ｔ5／２の間に、ユーザにより静止画像の記録が指令された場合（０≦ｔc≦t5/2）、更新前のフレーム＃１の動画像に対応する画像データが記憶されているバッファメモリ２１−１を、選択バッファメモリ２１として選択する。
ステップＳ９５またはＳ９６の処理後、制御部２６は、選択バッファメモリ２１を表す出力選択信号をセレクタ２２に供給する。セレクタ２２は、制御部２６からの出力選択信号に基づいて、その出力選択信号が表すバッファメモリ２１からの画像データを、DSP２３に供給し、ステップＳ９７に進む。
ステップＳ９７乃至ステップＳ１０１の処理は、図７のステップＳ７５乃至Ｓ７９と同様であるので、説明は省略する。
図１１は、第２のルールを説明する図である。
図１１では、表示部１６の表示画面が９分割され、領域４１−１乃至４１−９となっている。なお、以下では、領域４１−１乃至４１−９を区別する必要がない場合、それらをまとめて領域４１という。
ユーザは、例えば、動画像の表示を開始する前に、領域４１−１乃至４１−９の中から、画像の重要な部分が表示されると推測される領域４１を選択し、注目領域として設定する。
第２のルールでは、制御部２６は、ユーザにより静止画像の記録が指令されたとき（時刻ｔC）に、ユーザにより設定されている領域４１に表示されるフレームｔc´の動画像に対応する画像データが記憶されているバッファメモリ２１を、選択バッファメモリ２１として選択する。
このように、第２のルールでは、画像の重要な部分が表示されると推測される領域４１に表示されるフレームｔc´の動画像に対応する画像データが記憶されているバッファメモリ２１を、選択バッファメモリ２１として選択するので、ユーザの所望の静止画像を記録することができる。即ち、ユーザは、表示部１６に表示されている動画像を見ながら、所望の動画像が表示されたとき、静止画像の記録を指令する。このとき、表示される動画像に、更新前と更新後の２つのフレームの動画像が混在する場合があるが、ユーザは、画像の重要な部分が表示される領域４１に所望の動画像が表示されているとき、所望の動画像が表示されていると判断し、静止画像の記録を指令する可能性が高い。従って、第２のルールでは、画像の重要な部分が表示されると推測される領域４１に表示されるフレームｔc´の動画像に対応するフレームｔc´の画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択されることにより、ユーザの所望する動画像に対応する静止画像を記録することができる。
次に、図１２を参照して、第２のルールを用いた場合のデジタルカメラ１が静止画像を記憶する静止画像処理を説明する。この静止画像処理は、図６のステップＳ５４でセレクタ２０に、フレーム＃ｉの静止画像に適した画素の画像データが供給されるとき開始され、フレームごとに行われる。なお、図１２の静止画像処理は、図６の動画像処理と同時に行われる。また、ユーザは、領域４１のうち、画像の重要な部分が表示されると推測される領域４１を注目領域として設定している。
ステップＳ１１１乃至ステップＳ１１３の処理は、図７のステップＳ７１乃至Ｓ７３の処理と同様であるので、説明は省略する。
ステップＳ１１４において、制御部２６は、ユーザによる静止画像の記録の指令時（時刻ｔC）に、表示部１６の表示画面の領域４１（図１１）のうち、ユーザにより注目領域として設定された領域４１に表示されているフレームｔc´の動画像に対応する画像データが記憶されているバッファメモリ２１を、選択バッファメモリ２１として選択する。
例えば、ユーザにより注目領域として領域４１−３が設定されている場合、領域４１−３に表示されているフレームｔc´の動画像に対応する画像データが記憶されているバッファメモリ２１を、選択バッファメモリ２１として選択する。
制御部２６は、選択バッファメモリ２１を表す出力選択信号をセレクタ２２に供給する。セレクタ２２は、制御部２６からの出力選択信号に基づいて、その出力選択信号が表すバッファメモリ２１からの画像データを、DSP２３に供給し、ステップＳ１１５に進む。
ステップＳ１１５乃至ステップＳ１１９の処理は、図７のステップＳ７５乃至Ｓ７９と同様であるので、説明は省略する。
図１３は、第３のルールを説明する図である。
なお、図１３において、図８と同一のものには、同一の符号を付してあり、説明は繰り返しになるので省略する。
第３のルールでは、ユーザによる静止画像の記録の指令時に、表示部１６に混在して表示される更新前のフレームｔCおよび更新後のフレーム（ｔC＋１）の２つのフレームの動画像に対応する画像データの、それぞれが記憶される２つのバッファメモリ２１が、選択バッファメモリ２１として選択される。なお、ユーザによる静止画像の記録の指令時に、表示部１６に、更新前のフレームｔCおよび更新後のフレーム（ｔC＋１）の２つのフレームの動画像が混合して表示されない場合、即ち１つのフレームの動画像の表示の更新が終了したときに、ユーザによる静止画像の記録の指令が行われた場合（ｔC＝ｔB）、その１つのフレームの動画像に対応する画像データが記憶される１つのバッファメモリ２１が、選択バッファメモリ２１として選択される。
図１３に示すように、時刻ｔCにユーザにより静止画像の記録が指令された場合、そのとき表示部１６に表示されている動画像には、フレーム＃２の動画像とフレーム＃３の動画像が混在している（Ｅ´２）。
そこで、制御部２６は、フレーム＃２の動画像が記憶されているバッファメモリ２１−２と、フレーム＃３の動画像が記憶されているバッファメモリ２１−３を、選択バッファメモリ２１として選択し、そのバッファメモリ２１−１と２１−２を表す出力選択信号を、順にセレクタ２２に供給する。セレクタ２２は、まず最初に、バッファメモリ２１−２からの静止画像に適した画素のフレーム＃２の画像データを、DSP２３に供給する。
ユーザにより静止画像の記録が指令されてから時間ｔ6後に、DSP２３は、セレクタ２２からの静止画像に適した画素のフレーム＃２の画像データに対する静止画像のための画像処理を開始し、フレーム＃２の静止画像データとしてDSP２４に供給する。そして、DSP２４は、その静止画像に適した画素のフレーム＃２の静止画像データを、所定のフォーマットにエンコードし、記録制御部１８に供給する（Ｆ'２）。そして、DSP２３がフレーム＃２の画像データに対する静止画像のための画像処理を開始してから時間ｔ7後に、記録制御部１８は、静止画像に適した画素のフレーム＃２の静止画像データの記録を開始し、フレーム＃２の静止画像データを記録部１９に記録させる（Ｇ'２）。
また、セレクタ２２は、バッファメモリ２１−２からの静止画像に適した画素のフレーム＃２の画像データのDSP２３への供給を終了した後、バッファメモリ２１−３からの静止画像に適した画素のフレーム＃３の画像データを、DSP２３に供給する。DSP２３は、セレクタ２２からの静止画像に適した画素のフレーム＃２の画像データに対する静止画像のための画像処理を終了した後、セレクタ２２からの静止画像に適した画素のフレーム＃３の画像データに対する静止画像のための画像処理を開始し、フレーム＃３の静止画像データとしてDSP２４に供給する。そして、DSP２４は、その静止画像に適した画素のフレーム＃３の静止画像データを、所定のフォーマットにエンコードし、記録制御部１８に供給する（Ｆ'３）。
記録制御部１８は、静止画像に適した画素のフレーム＃２の静止画像データの記録を終了した後、DSP２４からの静止画像に適した画素のフレーム＃３の静止画像データの記録を開始し、静止画像に適した画素のフレーム＃３の静止画像データを記録部１９に記録させる（Ｇ'３）。
上述したように、第３のルールでは、ユーザにより、静止画像の記録が指令されたときに、表示部１６に混在して表示されている更新前のフレームｔCおよび更新後のフレーム（ｔC＋１）の２つのフレームの動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択されるので、ユーザの所望の静止画像を記録することができる。即ち、ユーザは、表示部１６に表示される動画像を見ながら、所望の動画像が表示されたとき、静止画像の記録を指令する。このとき、表示される動画像に、更新前のフレームｔCおよび更新後のフレーム（ｔC＋１）の２つのフレームの動画像が混在する場合がある。従って、第３のルールでは、その２つのフレームの動画像に対応する画像データが記憶されているバッファメモリ２１が、選択バッファメモリ２１として選択されることにより、ユーザの所望する動画像の可能性がある２つのフレームの動画像の両方に対応する静止画像を記録することができる。
次に、図１４を参照して、第３のルールを用いた場合のデジタルカメラ１が静止画像を記憶する静止画像処理を説明する。この静止画像処理は、図６のステップＳ５４でセレクタ２０に、フレーム＃ｉの静止画像に適した画素の画像データが供給されるとき開始され、フレームごとに行われる。なお、図１４の静止画像処理は、図６の動画像処理と同時に行われる。
ステップＳ１３１乃至ステップＳ１３３の処理は、図７のステップＳ７１乃至Ｓ７３の処理と同様であるので、説明は省略する。
ステップＳ１３４において、制御部２６は、静止画像の記録が指令されたときに表示部１６に混在して表示される更新前のフレームｔCおよび更新後のフレーム（ｔC＋１）の２つのフレームの動画像に対応する画像データが、それぞれ記憶されている２つのバッファメモリ２１を、選択バッファメモリ２１として選択する。そして、制御部２６は、２つの選択バッファメモリ２１のうちの一方（例えば、更新前のフレームｔCの画像データを記憶するバッファメモリ２１）を表す出力選択信号をセレクタ２２に供給する。セレクタ２２は、制御部２６からの出力選択信号に基づいて、その出力選択信号が表すバッファメモリ２１からの静止画像に適した画素の画像データを、DSP２３に供給する。
ステップＳ１３５乃至Ｓ１３９の処理は、図７のステップＳ７５乃至Ｓ７９の処理と同様であるので、説明は省略する。
ステップＳ１３９の処理後は、ステップＳ１４０に進み、制御部２６は、選択した２つのバッファメモリ２１のうちの他方（ステップＳ１３４で出力選択信号が表していないバッファメモリ２１（例えば、更新後のフレーム（ｔC＋１）の画像データを記憶するバッファメモリ２１）を表す出力選択信号をセレクタ２２に供給する。そして、制御部２６からの出力選択信号に基づいて、その出力選択信号が表すバッファメモリ２１からの静止画像に適した画素の画像データを、DSP２３に供給する。DSP２３は、セレクタ２２からの静止画像に適した画素の画像データに対して、静止画像のための画像処理を行い、その画像処理後の静止画像に適した画素の静止画像データを、セレクタ１５とDSP２４に供給する。
ステップＳ１４１乃至Ｓ１４４の処理は、図７のステップＳ７６乃至Ｓ７９の処理と同様であるので、説明は省略する。
以上のように、図３のデジタルカメラ１は、制御部２６が、第１乃至第３のルールに基づいて、選択バッファメモリ２１を選択することにより、ユーザの所望する静止画像を記録することができる。
図１５は、図３のデジタルカメラ１が行う加算画素値に基づく動画像処理を説明するフローチャートである。図１５では、撮像素子１１は、各画素の画素値をA/D変換部１２に供給するのではなく、所定の領域ごとに、その領域に含まれる画素の画素値を加算した加算画素値をA/D変換部１２に供給（出力）する。
即ち、ステップＳ１５１において、撮像素子１１は、被写体を撮像し、フレーム＃ｉの加算画素値を、画像信号としてA/D変換部１２に出力する。このように、撮像素子１１が加算画素値をA/D変換部１２に出力することにより、撮像素子１１が各画素の画素値をA/D変換部１２に出力する場合に比べて、撮像素子１１から出力する画素値の数を減らすことができる。これにより、撮像素子１１の消費電流を少なくすることができる。その結果、デジタルカメラ１の低消費電力化を実現することができる。
ステップＳ１５２乃至Ｓ１５８の処理は、図６のステップＳ５２乃至Ｓ５８の処理と同様であるので、説明は省略する。なお、ステップＳ１５５の画像処理では、既に画像データの画素数が少ないので、画素数の変換を行うフィルタ処理を行わないようにしてもよい。
図１６は、図３のデジタルカメラ１が行う画像処理を説明する他のフローチャートである。
ステップＳ１７１において、制御部２６は、ユーザにより静止画像の記録を指令するための図示せぬシャッタボタンが「半押し」されたかどうかを判定する。具体的には、ユーザは、デジタルカメラ１の動作モードを、静止画像を記録する静止画像モード（記録モード）にする場合、シャッタボタンを「半押し」する。なお、シャッタボタンの「半押し」とは、シャッタボタンのストロークの途中である所定の位置まで押下することをいう。また、シャッタボタンのストロークの最後まで押下することを「全押し」といい、ユーザは、静止画像の記録を指令するとき、シャッタボタンを「全押し」する。
ステップＳ１７１において、ユーザにより静止画像の記録を指令するためのシャッタボタンが「半押し」されていないと判定された場合、即ち、デジタルカメラ１の動作モードが、静止画像の記録を行わない通常モードであると判定された場合、デジタルカメラ１は、図１５の加算画素値に基づく動画像処理を行う。即ち、デジタルカメラ１の動作モードが通常モードである場合、撮像素子１１は、加算画素値をA/D変換部１２に供給し、デジタルカメラ１の低消費電力化を実現する。また、デジタルカメラ１は、図７、図１０、図１２、または図１４の静止画像処理を行わず、画像データをバッファメモリ２１に記憶しないので、静止画像処理を同時に行う場合に比べて、デジタルカメラ１の消費電力を低減することができる。
ステップＳ１７３において、ユーザにより静止画像の記録を指令するためのシャッタボタンが「半押し」されていると判定された場合、デジタルカメラ１は、動作モードを静止画像モードにし、図６の動画像処理と、図７、図１０、図１２、または図１４の静止画像処理とを同時に行う。即ち、デジタルカメラ１の動作モードが静止画像モードである場合、撮像素子１１は、各画素の画素値を画像信号として出力するので、撮像素子１１から出力される画像信号の画素数は、動作モードが通常モードの場合に比べて変化し、多くなる。
なお、静止画像データの記録が終了するか、またはシャッタボタンがキャンセル（取り消し）される場合、デジタルカメラ１は、動作モードを静止画像モードから通常モードに変更する。
以上のように、デジタルカメラ１の動作モードを、通常モードまたは静止画像モードの２つのモードに切り換えることにより、デジタルカメラ１の動作モードが切り換えられない場合に比べて、静止画像の記録を行わないときの消費電力を低減させることができる。
図１７Ａと図１７Ｂは、図３の撮像素子１１において、いわゆるローリングシャッタまたはフォーカルプレーンと呼ばれる行順次（線順次）（ラインスキャン）の動作を行う電子シャッタの方式が採用さているときの走査速度(露光速度)を説明する図である。
図１７Ａと図１７Ｂでは、横軸は時間を表し、縦軸は走査（露光）する水平ライン（行）を表している。なお、図１７Ａと図１７Ｂでは、撮像素子１１は、３０fpsの画像の各画素の画素値を取得する。
図１７Ａは、撮像素子１１の走査速度の例を示している。
図１７Ａでは、被写体を撮像して、１フレームの画像の各画素の画素値を取得する時間、即ち水平ライン＃Ｌから＃１までを走査する時間が、約1/30秒となっている。即ち、撮像素子１１は、被写体を撮像して、約1/30秒間で１フレームの画像の各画素の画素値を取得し、１フレームの画像の各画素の画素値の取得が終了した直後に、次のフレームの画像の各画素の画素値を取得する。この処理を繰り返すことにより、撮像素子１１は、３０fpsの画像を得る。
図１７Ｂは、撮像素子１１の走査速度の他の例を示している。
図１７Ｂでは、被写体を撮像して、１フレームの画像の各画素の画素値を取得する時間、即ち水平ライン＃Ｌから＃１までを走査する時間が、1/30秒より短いｔf秒（ｔf＜1/30）となっている。即ち、撮像素子１１は、被写体を撮像して、ｔf秒間で１フレームの画像の各画素の画素値を取得し、その撮像を開始してから1/30秒後に、次のフレームの画像の各画素の画素値を取得する。この処理を繰り返すことにより、撮像素子１１は、３０fpsの画像を得る。
このように、図１７Ｂでは、図１７Ａの場合と同一の３０fpsのフレームレートの画像が撮像されるが、撮像素子１１の走査時間は短くなっている。これにより、撮像される被写体の画像の歪みを低減することが可能となる。
即ち、図１７Ａと図１７Ｂでは、撮像素子１１において、行順次の動作を行う電子シャッタの方式が採用さているため、撮像される画像は同時性を持たない。つまり、撮像素子１１は、水平ラインごとに画像を取得し、すべての水平ラインの画像を同時に取得しない。これにより、撮像素子１１が動きのある被写体を撮像する場合、撮像される画像に歪みが生じる場合がある。
その歪みは、メカニカルシャッタを用いて、撮像される画像に同時性を持たせることにより、低減することができるが、被写体を撮像して、取得した画像を動画像として用いる場合、メカニカルシャッタを用いない方が望ましい。従って、図３のデジタルカメラ１では、撮像素子１１が取得した画像を、静止画像だけでなく動画像としても用いるので、メカニカルシャッタを用いない方が望ましい。
そこで、図１７Ｂでは、メカニカルシャッタを用いずに、撮像素子１１の走査速度を、フレームレートに比べて速め、すべての水平ラインの画像をほぼ同時に撮影する。これにより、撮影される画像の歪みを低減することができる。
図１８は、デジタルカメラ１の他の機能的構成例を示すブロック図である。
なお、図３と同一のものには、図３と同一の符号を付してあり、説明は繰り返しになるので省略する。
図１８のデジタルカメラ１では、図３の撮像素子１１、A/D変換部１２、およびフレームメモリ１３の代わりに、撮像素子５１が設けられている。
撮像素子５１は、画素ごとに、被写体を撮像する。具体的には、撮像素子５１は、画素ごとに被写体からの反射光を受光して、光電変換を行う。そして、撮像素子５１は、画素ごとに、光電変換後の画像信号に対してA/D変換を行い、A/D変換後の画像データを記憶する。撮像素子５１は、すべての画素に記憶されているA/D変換後の画像データを、DSP１４とセレクタ２０に供給する。
図１９は、図１８の撮像素子５１の構成例を示している。
撮像素子５１には、画素ごとに、被写体からの反射光を画素単位で光電変換する光電変換部６１、光電変換部６１で光電変換後の画像信号を、画素単位でA/D変換するA/D変換部６２、およびA/D変換部６２でA/D変換後の画像データを画素単位で記憶するメモリ６３が設けられている。
このように、撮像素子５１では、画素ごとに、光電変換部６１やA/D変換部６２が設けられているので、撮像素子５１は、行順次に動作して画像を取得するのではなく、すべての画素において、同時に画像を取得することができる。即ち、撮像素子５１により撮像される画像は、同時性があり、動きのある被写体を撮像する場合に生じる被写体の歪みを低減することができる。
なお、撮像素子５１において、画素ごとに設けられる光電変換部６１、A/D変換部６２、およびメモリ６３は、２次元的に配置されるようにしてもよいし、例えば、積層されたり、異なる面に配置されることにより、３次元的に配置されるようにしてもよい。
また、上述した図３のデジタルカメラ１は、所定の部またはすべての部を、１チップ上に形成し、システムLSI（Large Scale Integration）のような形態にすることもできる。
以上のように、デジタルカメラ１では、制御部２６が、操作入力部２５により静止画像の記録の指令が受け付けられたときに、表示部１６に表示されている動画像に対応する画像データを記憶するバッファメモリ２１を、３つのバッファメモリ２１の中から選択し、そのバッファメモリ２１を表す出力選択信号をセレクタ２２に供給する。そして、セレクタ２２は、DSP２３と２４を介して、出力選択信号が表すバッファメモリ２１に記憶されている画像データを記録制御部１８に供給し、記録部１９に記録させるようにしたので、ユーザにより記録が指令されたときに表示されている動画像を、静止画像として容易に記録することができる。
次に、上述した一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
従来のカメラシステムにおいて、動画像の記録中に静止画像を記録する静止画像記録処理を説明するフローチャートの一例を示す図である。 従来のカメラシステムにおいて、動画像の表示中に静止画像を記録する静止画像記録処理を説明するフローチャートの一例を示す図である。 本発明を適用したデジタルカメラの機能的構成例を示すブロック図である。 ユーザが表示ボタンを操作して、表示部への動画像の表示を指令したときの図３のデジタルカメラの動作のタイミングを説明する図である。 ユーザがシャッタボタンを操作して、静止画像の記録を指令したときの図３のデジタルカメラの動作のタイミングを説明する図である。 図３のデジタルカメラが動画像を表示する動画像処理を説明するフローチャートである。 デジタルカメラ１が静止画像を記憶する静止画像処理を説明するフローチャートである。 ユーザがシャッタボタンを操作して、静止画像の記録を指令したときの図３のデジタルカメラの動作のタイミングを説明する他の図である。 第１のルールを説明する図である。 第１のルールを用いた場合のデジタルカメラが静止画像を記憶する静止画像処理を説明するフローチャートである。 第２のルールを説明する図である。 第２のルールを用いた場合のデジタルカメラ１が静止画像を記憶する静止画像処理を説明するフローチャートである。 第３のルールを説明する図である。 第３のルールを用いた場合のデジタルカメラが静止画像を記憶する静止画像処理を説明する図である。 図３のデジタルカメラが行う加算画素値に基づく動画像処理を説明するフローチャートである。 図３のデジタルカメラが行う画像処理を説明する他のフローチャートである。 図３の撮像素子において、行順次（ラインスキャン）の動作を行う電子シャッタの方式が採用さているときの走査速度を説明する図である。 デジタルカメラの他の機能的構成例を示すブロック図である。 図１８の撮像素子の構成例を示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１ デジタルカメラ， １１ 撮像素子， １２ A/D変換部， １３ フレームメモリ， １４ DSP， １５ セレクタ， １６ 表示部， １７ DSP， １８，記録制御部， １９ 記録部， ２０ セレクタ， ２１ バッファメモリ， ２２ セレクタ， ２３ DSP, ２４ DSP， ２５ 操作入力部， ２６ 制御部， １０１ バス， １０２ CPU, １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１１ リムーバブル記録媒体

Claims (14)

  1. 被写体を撮像し、前記被写体の画像データを記録する撮像装置において、
    前記被写体を撮像し、前記画像データを出力する撮像手段と、
    前記撮像手段から出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理手段と、
    前記動画像用画像処理手段により前記動画像のための画像処理が行われた前記画像データに基づいて、画像を表示する表示手段と、
    前記撮像手段から出力された時間的に連続する複数の前記画像データのそれぞれを記憶する複数の記憶手段と、
    前記画像の記録の指令を受け付ける受付手段と、
    前記受付手段により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段を、複数の前記記憶手段の中から選択する選択手段と、
    前記選択手段により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理手段と、
    前記静止画像用画像処理手段により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコード手段と、
    前記静止画像用エンコード手段によりエンコードされた前記画像データを記録させる記録制御手段と
    を備え、
    前記表示手段は、水平ラインごとに、自分自身に表示する前記画像を更新し、
    前記選択手段は、前記受付手段により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する
    ことを特徴とする撮像装置。
  2. 前記動画像用画像処理手段は、前記動画像のための画像処理として、前記画像データの画素数を変換する変換処理を行う
    ことを特徴とする請求項１に記載の撮像装置。
  3. 前記動画像用画像処理手段により前記動画像のための画像処理が行われた前記画像データをエンコードする動画像用エンコード手段
    をさらに備え、
    前記記録制御手段は、前記動画像用エンコード手段によりエンコードされた前記画像データをさらに記録させる
    ことを特徴とする請求項１に記載の撮像装置。
  4. 前記記録制御手段は、前記動画像用エンコード手段によりエンコードされた前記画像データと、前記静止画像用エンコード手段によりエンコードされた前記画像データとを、１つの記録媒体に記録させる
    ことを特徴とする請求項３に記載の撮像装置。
  5. 複数の前記記憶手段の記憶容量は、前記撮像手段による前記画像データの出力が開始されてから、その画像データに基づく画像の表示が終了するまでの時間に基づいて決められた記憶容量である
    ことを特徴とする請求項１に記載の撮像装置。
  6. 前記受付手段は、前記撮像装置のモードを、前記画像を記録する記録モードにするための指令をさらに受け付け、
    前記撮像手段は、前記受付手段により前記記録モードにするための指令が受け付けられた場合、前記画像データの画素数を変化させる
    ことを特徴とする請求項１に記載の撮像装置。
  7. 前記所定の数は、前記画像の水平ラインの数の1/2である
    ことを特徴とする請求項１に記載の撮像装置。
  8. 前記撮像手段は、
    前記被写体を画素単位で撮像する画素撮像手段と、
    前記画素撮像手段により撮像された結果得られる画像信号を、画素単位でA/D（Analog/Digital）変換する変換手段と、
    前記変換手段により変換された結果得られる前記画像データを画素単位で記憶し、前記画像データを出力する画素記憶手段と
    を画素ごとに備える
    ことを特徴とする請求項１に記載の撮像装置。
  9. 前記画素撮像手段、前記変換手段、および前記画素記憶手段は、２次元的に配置される
    ことを特徴とする請求項８に記載の撮像装置。
  10. 前記画素撮像手段、前記変換手段、および前記画素記憶手段は、３次元的に配置される
    ことを特徴とする請求項８に記載の撮像装置。
  11. 前記撮像手段は、線順次走査型の撮像素子であり、
    前記撮像素子の走査速度は、前記画像データのフレームレートに比べて速い
    ことを特徴とする請求項１に記載の撮像装置。
  12. 被写体を撮像し、前記被写体の画像データを記録する撮像装置の撮像方法において、
    前記被写体を撮像し、前記画像データを出力する撮像ステップと、
    前記撮像ステップの処理により出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップと、
    前記動画像用画像処理ステップの処理により前記動画像のための画像処理が行われた前記画像データに基づいて、表示手段に画像を表示させる表示制御ステップと、
    前記撮像ステップの処理により出力された時間的に連続する複数の前記画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップと、
    前記画像の記録の指令を受け付ける受付ステップと、
    前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段を、複数の前記記憶手段の中から選択する選択ステップと、
    前記選択ステップの処理により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理ステップと、
    前記静止画像用画像処理ステップの処理により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコードステップと、
    前記静止画像用エンコードステップの処理によりエンコードされた前記画像データを記録させる記録制御ステップと
    を含み、
    前記表示制御ステップの処理は、水平ラインごとに、前記表示手段に表示する前記画像を更新し、
    前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する
    ことを特徴とする撮像方法。
  13. 被写体を撮像し、前記被写体の画像データを記録する記録処理を、コンピュータに行わせるプログラムにおいて、
    前記被写体を撮像し、前記画像データを出力する撮像ステップと、
    前記撮像ステップの処理により出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップと、
    前記動画像用画像処理ステップの処理により前記動画像のための画像処理が行われた前記画像データに基づいて、表示手段に画像を表示させる表示制御ステップと、
    前記撮像ステップの処理により出力された時間的に連続する複数の前記画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップと、
    前記画像の記録の指令を受け付ける受付ステップと、
    前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段を、複数の前記記憶手段の中から選択する選択ステップと、
    前記選択ステップの処理により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理ステップと、
    前記静止画像用画像処理ステップの処理により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコードステップと、
    前記静止画像用エンコードステップの処理によりエンコードされた前記画像データを記録させる記録制御ステップと
    を含み、
    前記表示制御ステップの処理は、水平ラインごとに、前記表示手段に表示する前記画像を更新し、
    前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する
    ことを特徴とするプログラム。
  14. 被写体を撮像し、前記被写体の画像データを記録する記録処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
    前記被写体を撮像し、前記画像データを出力する撮像ステップと、
    前記撮像ステップの処理により出力される前記画像データに対して、動画像のための画像処理を行う動画像用画像処理ステップと、
    前記動画像用画像処理ステップの処理により前記動画像のための画像処理が行われた前記画像データに基づいて、表示手段に画像を表示させる表示制御ステップと、
    前記撮像ステップの処理により出力された時間的に連続する複数の前記画像データのそれぞれを複数の記憶手段に記憶させる記憶制御ステップと、
    前記画像の記録の指令を受け付ける受付ステップと、
    前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている前記画像に対応する前記画像データを記憶する記憶手段を、複数の前記記憶手段の中から選択する選択ステップと、
    前記選択ステップの処理により選択された前記記憶手段に記憶されている前記画像データに対して、前記静止画像のための画像処理を行う静止画像用画像処理ステップと、
    前記静止画像用画像処理ステップの処理により前記静止画像のための画像処理が行われた前記画像データをエンコードする静止画像用エンコードステップと、
    前記静止画像用エンコードステップの処理によりエンコードされた前記画像データを記録させる記録制御ステップと
    を含み、
    前記表示制御ステップの処理は、水平ラインごとに、前記表示手段に表示する前記画像を更新し、
    前記選択制御ステップの処理は、前記受付ステップの処理により前記画像の記録の指令が受け付けられたときに、前記表示手段に表示されている更新後の画像の水平ラインの数が、所定の数以下である場合、更新前の画像に対応する画像データを記憶する前記記憶手段を選択し、前記表示手段に表示されている更新後の画像の水平ラインの数が、前記所定の数より多い場合、その更新後の画像に対応する画像データを記憶する前記記憶手段を選択する
    ことを特徴とするプログラムに記録されている記録媒体。
JP2004239189A 2004-08-19 2004-08-19 撮像装置および撮像方法、プログラム、並びに記録媒体 Expired - Fee Related JP4548041B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004239189A JP4548041B2 (ja) 2004-08-19 2004-08-19 撮像装置および撮像方法、プログラム、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004239189A JP4548041B2 (ja) 2004-08-19 2004-08-19 撮像装置および撮像方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2006060449A JP2006060449A (ja) 2006-03-02
JP4548041B2 true JP4548041B2 (ja) 2010-09-22

Family

ID=36107575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004239189A Expired - Fee Related JP4548041B2 (ja) 2004-08-19 2004-08-19 撮像装置および撮像方法、プログラム、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4548041B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169140A1 (ja) * 2011-06-08 2012-12-13 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116482A (ja) * 1994-10-14 1996-05-07 Sony Corp 撮像装置
JP2003008959A (ja) * 2001-06-22 2003-01-10 Canon Inc 撮像装置、及びそのモード選択方法
JP2003009044A (ja) * 2001-06-26 2003-01-10 Canon Inc 記録装置、再生装置及びその方法
JP2003264788A (ja) * 2003-01-23 2003-09-19 Casio Comput Co Ltd 電子カメラ装置
JP2004032100A (ja) * 2002-06-21 2004-01-29 Sony Corp 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2004096783A (ja) * 2003-10-20 2004-03-25 Victor Co Of Japan Ltd ビデオカメラ装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116482A (ja) * 1994-10-14 1996-05-07 Sony Corp 撮像装置
JP2003008959A (ja) * 2001-06-22 2003-01-10 Canon Inc 撮像装置、及びそのモード選択方法
JP2003009044A (ja) * 2001-06-26 2003-01-10 Canon Inc 記録装置、再生装置及びその方法
JP2004032100A (ja) * 2002-06-21 2004-01-29 Sony Corp 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2003264788A (ja) * 2003-01-23 2003-09-19 Casio Comput Co Ltd 電子カメラ装置
JP2004096783A (ja) * 2003-10-20 2004-03-25 Victor Co Of Japan Ltd ビデオカメラ装置

Also Published As

Publication number Publication date
JP2006060449A (ja) 2006-03-02

Similar Documents

Publication Publication Date Title
KR100917088B1 (ko) 촬상 장치 및 전자 줌 방법
TWI387330B (zh) 具有用於拍攝平移圖像之平移模式的攝像裝置
JP4904108B2 (ja) 撮影装置及び画像表示制御方法
US7415166B2 (en) Image processing device
KR20070050822A (ko) 촬상 장치, 화상 처리 방법, 및 프로그램
EP2355491A1 (en) Imaging device, imaging method and imaging program
JP2007053499A (ja) ホワイトバランス制御装置及び撮像装置
JP2008028960A (ja) 撮影装置及び露出制御方法
JP2010183173A (ja) 撮像装置及びそのスルー画像表示方法
JP4639406B2 (ja) 撮像装置
JP2007135135A (ja) 動画像撮像装置
JP2007259156A (ja) カメラ、カメラの画像処理方法、プログラム、記録媒体
JP3444281B2 (ja) 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体
JP6296767B2 (ja) 撮像装置及び画像信号処理方法
JP5820720B2 (ja) 撮像装置
WO2020137663A1 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP5959194B2 (ja) 撮像装置
JP4716182B2 (ja) 撮像装置及び撮像制御プログラム
JP4887167B2 (ja) 画像表示装置、画像表示プログラム及び撮影装置
JP2007202050A (ja) 画像生成装置および画像生成プログラム
JP4548041B2 (ja) 撮像装置および撮像方法、プログラム、並びに記録媒体
JP3826885B2 (ja) 電子カメラ
WO2019176309A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP4966680B2 (ja) 動画再生装置、動画再生方法及び撮影装置
JP2004304695A (ja) ホワイトバランス調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100628

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees