JP5118129B2 - 撮像装置、編集装置、画像処理方法及びプログラム - Google Patents

撮像装置、編集装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5118129B2
JP5118129B2 JP2009510749A JP2009510749A JP5118129B2 JP 5118129 B2 JP5118129 B2 JP 5118129B2 JP 2009510749 A JP2009510749 A JP 2009510749A JP 2009510749 A JP2009510749 A JP 2009510749A JP 5118129 B2 JP5118129 B2 JP 5118129B2
Authority
JP
Japan
Prior art keywords
image data
still image
continuous shooting
continuous
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009510749A
Other languages
English (en)
Other versions
JPWO2008129759A1 (ja
Inventor
忠則 手塚
郁雄 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009510749A priority Critical patent/JP5118129B2/ja
Publication of JPWO2008129759A1 publication Critical patent/JPWO2008129759A1/ja
Application granted granted Critical
Publication of JP5118129B2 publication Critical patent/JP5118129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215Recording a sequence of still pictures, e.g. burst mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Description

本発明は、デジタルカメラなどの撮像装置、画像処理を行う編集装置において、連写された複数枚の画像を合成する技術に関するものである。
従来のデジタルスチルカメラなどの撮像装置には、複数枚の画像を連写する機能を備え、連写した画像の一部分を合成して、静止画を生成する機能を有するものがある。例えば、特許文献1では、連写した画像を一時バッファに蓄えておき、一時バッファに蓄えた画像の一部分を合成することでシャッター速度を変えた静止画像と等価な画像を生成する方法が開示されている。
特許文献1に開示されている撮像装置では、連写モードにおいて、シャッターボタンが押されると、設定された連写間隔で所定コマ数分連続撮影を行ない、各画像を時系列の順に一時的に保存されるDRAM(Dynamic Random Access Memory)上に設けられたバッファに記録する。撮像装置は、バッファに連写画像を記録し、連写撮影が終了すると、直ちに合成画像の生成を行う合成処理を開始して、合成画像を生成及び生成した合成画像の記録を行う。合成処理においては、ユーザの操作により、合成に用いる画像の枚数の変更などを行うことで、記録されるべき合成画像が生成される。
以上のように、従来の撮像装置では、連写モードが選択され、シャッターボタンが押下されると、数コマの撮影を行い、撮影完了と同時に合成処理を開始し、生成された合成画像(静止画像)を保存する。
これにより、連写時とは異なるシャッター速度の画像の生成を可能とし、連写した後に好きな部分から好きなシャッター速度で撮影した静止画像と等価な画像を得ることができる。
特開2005−86228号公報
しかしながら、従来の撮像装置では、連写後、直ちに合成処理を行うため、合成処理中は、次の連写撮影を行うことができない。つまり、合成処理中に、次の撮影のシャッターチャンスが到来しても撮影することができない。
そのため、ユーザは、次のシャッターチャンスを気にするあまり満足できる合成画像を得ることができない可能性がある。
また、逆に、満足できる合成画像を得ようとして合成画像の生成に気をとられると、ユーザは、次のシャッターチャンスを逃す可能性もある。
そこで、本発明は上記の課題を鑑みたものであり、ユーザが、シャッターチャンスを逃すことなく、かつ、満足できる合成画像が生成できる撮像装置、編集装置、画像処理方法及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明は、複数の静止画像を連続的に生成し、前記静止画像から合成画像を生成する撮像装置であって、連写撮影の指示を行う撮影ボタンと、入射光から静止画像データを生成する撮像手段と、生成された前記静止画像データを記録媒体に書き込む静止画像データ書込手段と、複数の静止画像データを用いて、1の合成画像を生成する編集手段と、前記撮影ボタンの押下により連写撮影の指示がなされている期間中、前記撮像手段及び前記静止画像データ書込手段を繰返し制御して、連写撮影により得られる静止画像データを前記記録媒体へ順次保持する処理を行い、連写による撮影が終了すると、新たな指示を待ち受ける状態に転じ、その後、合成画像の生成開始の指示を受け付けると、前記編集手段を制御して、前記記録媒体に記録されている2以上の前記静止画像データを用いて、1の合成画像を生成する処理を行う制御手段とを備えることを特徴とする。
上記の構成によると、撮像装置は、合成画像の生成の指示を受け付けるまで、合成画像の生成を行わない。そのため、ユーザは、連写撮影を複数回連続して行うことができ、シャッターチャンスを逃すことはない。また、撮像装置は、連続撮影を所望しない期間において合成画像を作成するので、ユーザは、次のシャッターチャンスを気にすることなく満足できる合成画像を生成することができる。
ここで、前記制御手段は、さらに、前記前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データを1つのグループとなるよう、連写を示す連写モード識別情報を対応付けて前記記録媒体に書き込み、前記編集手段は、前記連写モード識別情報に対応付けて前記記録媒体に記録されている1以上の前記静止画像データを用いて、前記合成画像を生成するとしてもよい。
この構成によると、撮像装置は、連写モード識別情報を、連写にて生成された全ての静止画像データを1つのグループとして対応付けるので、合成画像の生成に用いる1以上の静止画像データを容易に特定することができる。
ここで、前記編集手段は、生成された前記全ての静止画像データのうち、第1の静止画像データと第2の静止画像データとを決定する決定部と、前記第1の静止画像データを先頭とし、前記第2の静止画像データを末尾とすることにより、定まる一連の静止画像データを前記記録媒体から取得する取得部と、取得した一連の静止画像データを合成して、前記合成画像を生成する合成部とを備えるとしてもよい。
この構成によると、撮像装置は、第1及び第2の静止画像データを決定するので、合成画像に用いる1枚以上の静止画像の範囲を容易に特定できる。
ここで、前記合成部は、取得した一連の静止画像データそれぞれから得られる各静止画像における同一の位置に配置されている画素の画素値を取得し、取得した画素値それそれに対して輝度調整を行い、輝度調整された各画素値に基づいて、生成されるべき合成画像において前記位置に配置された画素の画素値を決定し、生成されるべき合成画像を形成する全ての画素の決定されるように、前記静止画像データそれぞれから画素値の取得、及び画素値の決定を繰り返すことで、前記合成画像を生成するとしてもよい。
この構成によると、撮像装置は、取得した一連の静止画像データが示す静止画像の各画素から、合成画像の画素を生成することができる。
ここで、前記合成部は、取得した一連の静止画像データのそれぞれから取得した各画素値を、当該画素値が属する静止画像データの状況に応じて、輝度調整をして調整画素値を算出し、算出された全ての調整画素値の平均値に基づいて、生成されるべき合成画像において前記位置に配置された画素の画素値を決定するとしてもよい。
この構成によると、撮像装置は、算出された全ての調整画素値の平均値に基づいて、前記合成画像を生成することができる。
ここで、前記静止画像データ書込手段は、前記静止画像データに対して、前記連写による撮影順序を示す連写番号を付与して前記記録媒体に書き込み、前記合成部は、
Figure 0005118129

数式1により生成されるべき合成画像の座標(x,y)の画素値P’(x,y)を算出することにより、生成されるべき合成画像における前記座標(x,y)が示す位置の画素を生成するとしてもよい。aは前記第1の静止画像データに付与された第1の連写番号、bは前記第2の静止画像データに付与された第2の連写番号、Pi(x,y)は連写番号がi番である静止画像データが示す静止画像における座標(x,y)が示す画素に対する画素値、αi(x,y)はi番目の静止画像データが示す静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数、及びβ(x,y)は合成後の静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数である。
この構成によると、撮像装置は、数式1を用いることにより、合成する静止画像毎の特定エリアのみαi(x,y)を変更することで、特定の物体のみ異なる合成を行うことが可能になる。これにより、移動物体のみフラッシュモーション的に表現するなどを行うことができる。
ここで、前記静止画像データ書込手段は、前記静止画像データに対して、前記連写による撮影順序を示す連写番号を付与して前記記録媒体に書き込み、前記合成部は、
Figure 0005118129

数式2により合成画像の座標(x,y)それぞれの画素値P’(x,y)を算出することにより、合成画像における前記座標(x,y)が示す位置の画素を生成するとしてもよい。aは前記第1の静止画像データに付与された第1の連写番号、bは前記第2の静止画像データに付与された第2の連写番号、Pi(x,y)は連写番号がi番である静止画像データが示す静止画像における座標(x,y)が示す画素に対する画素値、αiはi番目の静止画像に設定する輝度調整用の定数、及びβは合成後の静止画像に設定する輝度調整用の定数である。
この構成によると、撮像装置は、数式2を用いることにより、各画像単位での露出補正や、合成後の露出補正が可能となる。これにより、撮像装置は、光源が高速に移動し、合成すると全体が暗くなってしまうような場合でも、生成する合成画像を好ましい明るさで生成することが可能になる。
ここで、前記制御手段は、予め定められた露出値に基づいて設定された露出情報を前記静止画像データに対応付け、前記合成部は、取得した一連の静止画像データのそれぞれから取得した各画素値を、当該画素値が属する静止画像データの状況に応じて、輝度調整をして調整画素値を算出し、算出された全ての調整画素値と、取得した一連の静止画像データのそれぞれに対応する露出情報とに基づいて、生成されるべき合成画像において前記位置に配置された画素の画素値を決定するとしてもよい。
この構成によると、撮像装置は、露出情報により輝度調整された静止画像データを用いて合成画像を生成することができる。
ここで、前記静止画像データ書込手段は、前記静止画像データに対して、前記連写による撮影順序を示す連写番号を付与して前記記録媒体に書き込み、前記合成部は、
Figure 0005118129

数式3により生成されるべき合成画像の座標(x,y)の画素値P’(x,y)を算出することにより、生成されるべき合成画像における前記座標(x,y)が示す位置の画素を生成するとしてもよい。aは前記第1の静止画像データに付与された第1の連写番号、bは前記第2の静止画像データに付与された第2の連写番号、Pi(x,y)は連写番号がi番である静止画像データが示す静止画像における座標(x,y)が示す画素に対する画素値、Eiはi番目の静止画像に対応付けられた露出情報、αiはi番目の静止画像データが示す静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数、βは合成後の静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数である。
この構成によると、撮像装置は、数式3を用いることにより、連写による撮影時の露出情報に基づいて、合成画像の露出を調整することができる。
ここで、前記制御手段は、さらに、前記前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、予め定められた第1の初期値第2の初期値それぞれを第1及び第2の情報として前記記録媒体に書き込み、前記決定部は、前記第1及び前記第2の情報を取得して、保持することにより、前記第1及び第2の静止画像データを決定し、前記取得部は、さらに、前記第1の情報にて示される前記第1の静止画像データを先頭とし、前記第2の情報にて示される前記第2の静止画像データを末尾とするとしてもよい。
この構成によると、撮像装置は、第1及び第2の初期値それぞれを第1及び第2の情報とするので、生成した複数の静止画像データから初めて合成画像を生成する場合、第1及び第2の初期値を用いることで容易に合成画像を生成することができる。
ここで、前記決定部は、さらに、ユーザから前記第1及び第2の情報のうち少なくとも何れかの変更指示を受け付けると、前記変更指示に応じて、保持している第1及び第2の情報のうち少なくとも何れかを更新し、前記撮像装置は、さらに、前記記録媒体に記録されている更新対象の情報を、前記決定部にて保持している更新された情報へと書き換える情報書込手段を備えるとしてもよい。
この構成によると、撮像装置は、と第1及び第2の情報の少なくとも何れかを更新し、前記記録媒体に記録されている第1及び第2の情報のうち更新対象である少なくとも1の情報を更新する。これにより、再度、新たな合成画像を生成する場合には、撮像装置は、記録媒体に記憶されている第1及び第2の情報を読み出すことにより、前回生成した合成画像を容易に復元することができる。
ここで、前記記録媒体には、前記連写とは異なる撮影により生成された別の静止画像データが記録されており、前記決定部は、前記連写モード識別情報に対応付けられた1以上の静止画像データから構成される静止画像データ群を特定し、特定した前記静止画像データ群から前記第1及び前記第2の静止画像データを決定するとしてもよい。
この構成によると、撮像装置は、連写による撮影とは異なる撮影にて生成された静止画像データが記録媒体に記録されている場合でも、連写モード識別情報を用いて、連写による撮影された静止画像データ群を特定して、特定した静止画像データ群から第1及び第2の静止画像データを取得することができる。
ここで、前記制御手段は、さらに、前記前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、連写時のシャッター速度を示す連写シャッター速度を前記記録媒体に書き込み、前記編集手段は、さらに、前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出し、前記撮像装置は、さらに、前記表示手段は、前記連写シャッター速度と前記合成シャッター速度とを表示する表示手段を備えるとしてもよい。
この構成によると、撮像装置は、合成画像に対する合成シャッター速度を表示するので、ユーザは、生成された合成画像のシャッター速度を容易に知ることができる。また、ユーザは、所望する合成シャッター速度にて合成画像を生成することができる。
撮像装置1の概観を示す図である。 撮像装置1の動作モードの遷移を示す図である。 撮像装置1の構成を示すブロック図である。 機能実行部352の構成を示すブロック図である。 撮像装置1のモードダイアル103の一例を示す図である。 撮像装置1のモード設定メニューM100の一例を示す図である。 撮像装置1の連写速度設定メニューM101の一例を示す図である。 シャッター速度と連写速度の関係を示す図である。 撮像装置1のメモリカード306におけるディレクトリ構造の一例を示す図である。 撮像装置1の編集モード時における一覧表示画面の一例を示す図である。 撮像装置1の編集モード時における編集画面の一例を示す図である。 撮像装置1のGUIと操作ボタンの対応関係の一例を示す図である。 撮像装置1において数式2を用いた場合の合成処理の演算の順序を示す図である。 撮像装置1の連写モード時における連写処理を示す流れ図である。 撮像装置1の編集モード時における編集処理を示す流れ図である。 動画像ストリームデータ601のデータ構造の一例を示す図である。 撮像装置1にて連写した花火の合成例を示す図である。 撮像装置2の構成を示すブロック図である。 機能実行部1352の構成を示すブロック図である。 動画像ストリームデータ1601のデータ構造の一例を示す図である。 撮像装置3の構成を示すブロック図である。 機能実行部2352の構成を示すブロック図である。 撮像装置3の連写モード時における連写処理を示す流れ図である。 撮像装置3の編集モード時における編集処理を示す流れ図である。 動画像ストリームデータ2601のデータ構造の一例を示す図である。 情報処理装置3000の構成を示すブロック図である。 本発明の利用形態の一例を示す図である。
1.実施の形態1
以下、本実施の形態1における撮像装置1について説明する。
1.1 撮像装置1の概要
図1は、撮像装置1の概観を示す図である。
撮像装置1は、図1に示すように、電源のオン・オフを行う電源スイッチ101、撮影を行うためのシャッターボタン102、被写体を拡大・縮小を行うためのズームレバー103、モードダイアル104、レンズ105、ピント・露出固定ボタン106、機能ボタン107〜111、MENU/決定ボタン112、キャンセル・削除ボタン113、表示ボタン114、及びプレビューやGUI表示を行うための液晶モニタ115を有している。
モードダイアル104は、撮像装置1の動作モードを変更するダイアルである。例えば、モードダイアル104により、静止画撮影モード、動画撮影モード、再生モードなどのデジタルカメラが基本的に備えている各モード、および1枚以上の画像を連写により撮影する連写モードと、連写モードにて撮影された1枚以上の画像から1枚の合成画像を編集する編集モードが設定可能となる。
図2は、撮像装置1の基本的なモード遷移を示したものである。
図2にて示すように、撮像装置1は、大きく分けて2つのモード(撮影モード201及び閲覧モード202)を持つ。撮像装置1は、モードダイアル104により撮影モード201及び閲覧モード202間の遷移が可能となる。
また、撮影モード201には、連写モード211、静止画撮影モード212、動画撮影モード213があり、閲覧モード202には、再生モード214及び編集モード215がある。撮像装置1は、撮影モード201時においてモードダイアル104により連写モード211、静止画撮影モード212及び動画撮影モード213間の遷移が、閲覧モード202時において再生モード214及び編集モード215間の遷移がそれぞれ可能となる。
機能ボタン107〜111は、現在の撮像装置の動作モードにより機能が変化するボタンである。例えば、撮影モード時には機能ボタン107はフラッシュの動作設定、閲覧モード時にはGUI上のカーソルを上に動かす機能となる。
MENU/決定ボタン112についても現在の動作状態によりMENU及び決定ボタンの何れかとして機能する。
また、キャンセル・削除ボタン113についても現在の動作状態によりキャンセル及び削除ボタンの何れかとして機能する。
1.2 撮像装置1の構成
撮像装置1は、図3に示すように、撮像部351、機能実行部352、圧縮/伸張回路305、メモリカード(二次記憶媒体)306、液晶モニタ115、作業エリアや一時記憶として利用されるDRAM310、絞りとシャッター制御を行う絞り・シャッタードライバ311、ズーム制御を行うズームドライバ312及びピント調整を行うフォーカスドライバ313から構成されている。
機能実行部352は、プログラムが格納されたフラッシュメモリ308と、システム全体の制御を行うCPU(Central Processing Unit)309とから構成されている。
撮像部351は、撮影レンズ300、メカニズム301、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子302、CCD、CMOSセンサからの入力をデジタルデータに変換するフロントエンド303、及び入力した画像データを信号処理するDSP(Digital Signal Processor)304から構成されている。
撮影レンズ300は、被写体を結像するためのものであり、ズーム機能を実現するためのズームレンズと、被写体に合焦させるためのフォーカスレンズとからなる。
メカニズム301は、メカニカルシャッタ、被写体の明るさを調整するための絞りや、フィルタ等からなり、シャッターや絞りなどを行う。
撮像素子302は、CCDやCMOSなどからなり、撮影レンズ300により結像された被写体像を電気信号に変換して、アナログの画像データを生成し、フロントエンド303へ出力する。
フロントエンド303は、撮像素子302からの出力に対してゲイン調整やA/D(analogue/digital)変換を行い、画像データをデジタルデータとして出力する。
DSP304は、入力された画素データを加工し、輝度・色差情報またはRGBデータを生成する。
圧縮/伸張回路305は、DSP304が生成したJPEG、MPEGなどの画像データを圧縮/伸張するデジタル信号プロセッサである。
メモリカード306は、SDメモリ、コンパクトフラッシュ(登録商標)、メモリスティック、xDカードなどの取り外し可能な画像データ記録用の記憶媒体(記録媒体)であり、圧縮された画像データを保存する。
以下、機能実行部352について説明する。
機能実行部352は、上述したように、CPU309及びフラッシュメモリ308から構成されている。
機能実行部352は、フォーカス、露出決定処理、静止画撮影処理、再生(プレビュー)処理、連写モードによる撮影処理、編集モードによる合成処理を行う。
機能実行部352は、ユーザ操作(モード切替)により、切り替えられたモードに対応する処理を起動して、当該処理を開始する。
フォーカス、露出決定処理、静止画撮影処理、再生(プレビュー)処理については、公知の技術であるので、ここでは、連写モードによる撮影処理、編集モードによる合成処理の動作について説明する。
フラッシュメモリ308は、図3にて示すように、連写プログラム355及び編集プログラム356を含んでいる。
連写プログラム355は、連写による撮影処理を行う。
編集プログラム356は、連写撮影された1枚以上の画像に合成処理を施して、1枚の合成画像を生成する処理を行う。なお、1枚の画像から生成された合成画像は、処理前の画像と同一のものである。言い換えると、編集プログラム356は、連写撮影された1以上の画像データに合成処理を施して、1の合成画像データを生成する処理を行う。ここで、1の画像データとは、1枚の画像を示すデータであり、1の合成画像データも同様に、1の合成画像を示すデータである。
また、各プログラムには、動作内容を示すコードの他、当該プログラムにて使用されるデータをも含まれる。
CPU309が、連写プログラム355及び編集プログラム356を用いて、他の構成要素と協働することにより機能実行部352の機能を実現する。
機能実行部352は、図4にて示すように、第1処理部361と第2処理部362とから構成されている。
第1処理部361は、CPU309が連写プログラム355を用いて他の構成要素と協働することにより実現される機能である。
第2処理部362は、CPU309が編集プログラム356を用いて他の構成要素と協働することにより実現される機能である。
機能実行部352(具体的には、CPU309)は、ユーザからの指示により、起動するプログラムを切り替えることで、機能の切り替えを行う。
具体的には、ユーザは、図5にて示すモードダイアル104や、図6にて示すように液晶モニタ115にてGUIに表示されるモード設定メニューM100などを利用して、モードを切り替える。これにより、CPU309は、ユーザにて指定されたモードに対応するプログラムを起動して、ユーザの所望する機能を実現する。
例えば、ユーザがモードダイアル104に記載されている連写モードの絵柄をモード選択位置150に合わせることで、機能実行部352は、連写プログラムを起動する。
また、ユーザはモードを編集モードへと変更することで、機能実行部352は、編集プログラムを起動して、合成画像の生成を開始する。
以下、第1処理部361及び第2処理部362について説明する。
(1)第1処理部361
第1処理部361は、連写制御部371と第1書込部372と速度設定部373とから構成されている。
(1−1)速度設定部373
速度設定部373は、連写モードが設定されると、予め定められた連写速度(例えば、60枚/秒 (1/60))をDRAM310に一時的に格納する。
速度設定部373は、ユーザから連写速度の設定要求を受け付けると、図7にて示す連写速度設定メニューM101を表示し、ユーザからの連写速度の指定を受け付ける。
速度設定部373は、ユーザから連写速度の指定を受け付けると、DRAM310に一時的に格納している連写速度を、受け付けた連写速度へと変更(更新)する。
本実施の形態においては、秒60枚、秒120枚、秒180枚が設定できるとしているが、さらに高速または低速な連写速度を設定できるようにしてもよい。なお、スローシャッター作成時に、移動する物体が飛び飛びに写らないようにするためには、例えば秒60枚を設定した場合には、シャッター速度も1/60に近い値に設定することが好ましい。シャッター速度と連写速度を近い値に設定しておくことで、連写画像からスローシャッター画像を生成する際に、実際にスローシャッターで撮影した画像と等価な画像の作成が可能となる。
図8は、これを説明するための図である。図8(A)は、シャッター速度と連写速度とが非常に近い場合を示したものであり、連写時の撮影間隔Δtとシャッターを開けているシャッター開放期間Δt’がほぼ等しい場合である。この場合は、斜線で示されるシャッターが開いていない期間、つまり撮影されていない期間が短いため、連写した画像を複数枚合成した場合もほぼ区間全体が撮影されていることになる。図8(B)は、シャッター速度が連写速度とが大きく異なる場合の図であり、シャッター開放期間Δt’が連写間隔Δtに対してかなり小さい(図では半分以下)となっている。この場合は、斜線で示される撮影されない区間が大きくなり、連写した画像の複数枚を合成した場合には、区間に対して撮影されない領域が、点在することになる。図から分かるように連写した複数の画像からスローシャッター画像を生成するには図8(A)のようにシャッター速度と連写速度とが非常に近い場合のほうが、より実際のスローシャッター撮影の画像を近似した画像を生成できる。
(1−2)第1書込部372
第1書込部372は、撮像部351にて生成された画像データを、圧縮/伸張回路305を用いて圧縮して、圧縮された画像データをメモリカード306に書き込む。
このとき、第1書込部372は、圧縮された1以上の画像データそれぞれのヘッダ部に連写撮影による撮影順を示す番号(連写番号)を付与してメモリカード306に書き込む。
なお、本実施の形態では、第1書込部372が圧縮された画像データをメモリカード306に書き込むとしたが、これに限定されない。例えば、第1書込部372は、圧縮/伸張回路305に圧縮された画像データをメモリカード306に書き込む旨の書込指示を出力し、圧縮/伸張回路305が圧縮された画像データを書き込むように制御してもよい。
ここで、メモリカード306としては、上述したように、例えばSDカード、メモリスティック、コンパクトフラッシュ(登録商標)、スマートメディア、xDピクチャカード、取り外し可能なハードディスクなどがある。本実施例では、取り込まれた画像データは圧縮/伸張回路305により圧縮され、第1書込部372がメモリカード306に順次書き込むとしたが、これに限定されない。第1書込部372は、非圧縮な画像データまたは、RAWデータと言われる撮像素子が取り込んだ生のデータを直接メモリカード306に順次記録してもよい。
(1−3)連写制御部371
連写制御部371は、設定部375と繰返制御部376と識別情報生成部377とから構成され、連写撮影に係る制御を行う。
連写モード中にシャッターボタンが押されると、連写制御部371は、撮像素子302から取り込まれた画像データの記録を開始する。
以下、その動作の詳細を説明する。
(設定部375)
設定部375は、シャッターボタン102が非押下状態から、半押し又は押下されると、絞りシャッタードライバ311及びフォーカスドライバ313を用いて、絞り設定及びフォーカス設定を行う。
具体的には、設定部375は、シャッターボタン102が押下されたとき、焦点距離および露出が確定していなければ、オートフォーカス(AF(Automatic Focus))および自動露出(AE(Automatic Exposure))といった機構を駆動し、焦点距離および露出を決定する。
設定部375は、シャッターボタン102が半押しされたとき、オートフォーカス(AF)および自動露出(AE)といった機構を駆動し、焦点距離および露出を決定する。
なお、焦点距離については、撮影中も被写体に焦点を合わせつづけるように動作してもよい。
また、焦点距離および露出がユーザによりマニュアルで設定されている場合には、焦点距離および露出の決定処理を省略してもよい。また、焦点距離設定を必要としないパンフォーカスにより焦点設定を省いてもよい。
(識別情報生成部377)
設定部375にて焦点距離および露出が決定されると、識別情報生成部377は、メモリカード306に書き込まれる画像データが連写モードで撮影された画像データであることを識別するための連写モード識別情報を生成する。以下、連写モードによる画像データを連写画像データ若しくは連写画像という。
ここで、連写モード識別情報は、連写画像データ(連写画像)を保存するフォルダの名称及びそのフォルダに属するサブフォルダの名称からなる。
識別情報生成部377は、連写モードで撮影される毎に、連写画像データを保存するための個別のサブフォルダを作成する。
図9は、メモリカード306のフォルダ構造の例を示したものである。DCIMフォルダは、一般的なデジタルカメラで使われている撮影した静止画を保存するフォルダである。yyyyは連写データを記録するためのフォルダで、その配下に各連写画像データを個別に保存するサブフォルダ(ここでは、zzz01とzzz02)を持つ。
また、各サブフォルダには連写画像データがそれぞれ格納される。例えば、サブフォルダ“zzz001”には、連写画像データ“bb001.JPG”及び“bb002.JPG”、・・・からなる連写画像データ群Aが格納されている。
識別情報生成部377は、撮影情報を含む情報ファイルを生成し、生成した情報ファイルを、今回の連写モードの設定により生成した連写モード識別情報、つまりサブフォルダの配下に書き込み、連写画像データの保存のためのメモリカードの初期設定を行う。
ここで、撮影情報とは撮影速度を含む情報である。
(繰返制御部376)
繰返制御部376は、シャッターボタン102が押下されている間、つまり連写撮影中において、設定された連写速度、設定部375にて決定された焦点距離及び露出に基づいて連写画像データを生成し、生成された連写画像データを圧縮し、圧縮された連写画像データを識別情報生成部377にて生成されたサブフォルダへの書き込みを繰り返し行うよう、撮像部351と第1書込部372との動作を制御する。具体的には、シャッターボタン102が押下されている間、繰返制御部376は、シャッターボタン102から連写撮影に係る撮影指示を受け付ける。撮影指示を受け付けている間、繰返制御部376は、撮像部351と第1書込部372との動作を制御する。
ユーザがシャッターボタン102を離すと、繰返制御部376は、第1書込部372の動作の制御を抑止することにより、連写画像データの記録を終了する。具体的には、繰返制御部376は、撮影指示を受け付けなくなると(検知しなくなると)、第1書込部372の動作の制御を抑止する。
なお、繰返制御部376は、連写画像データの記録中はその旨を示すアイコンを液晶モニタ115を用いてGUI画面に表示し、現在連写画像データの記録中であることをユーザに知らせる。
これにより、シャッター押下中の区間の連写画像データがメモリカードに順次記録される。このように一旦、外部のメモリカードに連写画像データを記録させることで、内蔵メモリに制限されない連写撮影が可能になる。
ここで、撮像装置1は、連写による一連の撮影が完了すると、新たな指示(モード変更や次の連写を行うためのシャッター押下など)を待ち受ける状態となる。
(2)第2処理部362
第2処理部362は、編集処理部381と第2書込部382とから構成されている。
第2処理部362は、モードが編集モードに設定されると、メモリカード306内に格納さている連写モードで撮影された画像のみの一覧を液晶モニタ115を用いてGUIに表示する。
第2処理部362は、ユーザから一覧表示した画像のうち1つの画像の選択を受け付けると、選択された画像を含む連写画像データ群に対する合成画像データの生成を開始する。
第2処理部362は、ユーザから合成画像の生成に係る変更要求を受け付けると、変更要求の内容に基づいて、合成画像データを生成する。ここで、変更要求とは、例えば、合成画像に用いる連写画像の開始位置の変更(連写画像に対応する連写画像データに付与された連写番号の変更)、合成枚数の変更、明るさの変更、露出の変更、合成モードの変更などである。合成モードについては後述する。
ここで、図10にて、編集モードで一覧表示を行うGUIの例を示す。連写モードで撮影されたデータは、代表画像のサムネイル401a〜401fが一覧表示され、現在選択中の静止画像(サムネイル)に選択枠402が設定されている。なお、モード切替時は、選択枠402はどこにあってもよいが、ここでは、現在時刻に最も近い日時に撮影されたデータにあるとする。
この場合、ユーザは、機能ボタン107〜110を押して選択枠402を上下左右に移動させ、編集したい静止画像(連写画像データ)を選択する。なお、一画面でサムネイルが表示できない場合には、サムネイルの右上または左下で機能ボタン107〜110を押して選択枠402を右または上、左または下に移動させようとすることで、前ページまたは次ページに切り替わる。画面下の次ページと前ページをあらわすアイコン403、404は、前ページや次ページがある場合に表示されたり、または色が変化したりする。
ユーザがMENU/決定ボタン112を押下することにより、編集画面が表示される。
図11は編集画面のGUIの一例である。編集画面では、選択された連写画像データ群から生成された合成画像データと、連写画像データのどの位置からどの位置までが合成されているかを示すスライダー501、合成画像の明るさを調整するゲイン設定用のスライダー502、連写時のシャッター速度と合成後のシャッター速度の表示503、および、合成モードを示すアイコン504が配置されている。合成モードは、次のような種類がある。例えばモードAは単純な平均化による合成、モードBは合成後の明るさを調整、モードCは個々の画像の合成時の露出を補正するモードなどである。合成自体は後で説明する数式により行われるが、合成モードは、この数式の各パラメータを予めプリセットしたり、ゲイン設定用のスライダーがどのパラメータに連動するかを決定する。
ユーザは、まず合成モードを決定し、開始点と終了点を変更しながら合成画像を確認し、好ましい画像になったところで、MENU/決定ボタン112を押して表示している合成画像を形成する合成画像データを、静止画像の画像データとしてメモリカード306に保存する。
なお、開始点の変更方法としては、機能ボタン110および機能ボタン108で開始点の左右への移動、ズームレバー103を左右に動かすことで合成する範囲、すなわち終了点を設定し、全体の明るさ調整などは機能ボタン107および機能ボタン109を押すことで上下させるなどが考えられる。図12は、各ボタンと動作の対応を示したものであるが、各ボタンの配置とGUIでの動作の方向を連動させることで、直観的な操作が可能となっている。なお、本実施の形態では、上記のようなボタンを利用して開始点、終了点、明るさゲインを調整したが、他のボタンに対応させた場合にも本実施の形態と同様の効果が期待できる。
なお、編集モードで作成された静止画像(つまり、合成画像)は、図9のDCIMフォルダのサブフォルダ“xxxx”に静止画像データとして保存される。なお、デジタルカメラで撮影された場合に付加されるEXIF情報等のヘッダ情報内のシャッター速度の部分には、合成後のシャッター速度が埋め込まれる。例えば、秒100枚連写の画像を4枚合成して生成した合成画像であればシャッター速度には1/25が埋め込まれる。
以下、第2処理部362が有する編集処理部381及び第2書込部382について説明する。
(2−1)編集処理部381
編集処理部381は、指示受付部391、検索部392、パラメータ更新部393、合成部394及び出力制御部395から構成されている。
(指示受付部391)
ユーザが、連写モードで撮影した画像を合成してスローシャッター画像を生成したい場合に図4のモードダイアルや図5のモード設定メニューM100を用いてモード設定を編集モードにすると、指示受付部391は、編集モード開始指示を検索部392へ出力する。
指示受付部391は、ユーザにより編集対象の連写画像データ群が選択されると、合成開始位置、終了位置、合成枚数等の各種パラメータを初期化する旨の初期化指示をパラメータ更新部393へ出力する。また、指示受付部391は、選択された連写画像データ群に対応する連写モード識別情報を合成部394へ出力する。
指示受付部391は、編集画面において、ユーザから変更要求を受け付けると、受け付けた変更要求をパラメータ更新部393へ出力する。
編集画面において、ユーザがMENU/決定ボタン112を押下すると、指示受付部391は、書き込みを行う旨の書込指示を第2書込部382へ出力する。
(検索部392)
検索部392は、指示受付部391から編集モード開始指示を受け取ると、連写モード識別情報を利用してメモリカード306に格納されている連写モードで撮影したデータを検索する。具体的には、検索部392は、ディレクトリの検索を行う。ここで、ディレクトリとは、連写モードで撮影されたデータが格納されている場所を示す名称であり、例えば、図9にて示す連写フォルダ“yyyy”及びその配下のサブフォルダ(“zzz001”や“zzz002”)から構成される。つまり、連写モード識別情報は、言い換えると、ディレクトリと同一となる。
検索部392は、連写モードで撮影された画像のみの一覧を液晶モニタ115を用いてGUIに表示する。
(パラメータ更新部393)
パラメータ更新部393は、初期化指示を受け取ると、各種パラメータの値を初期値に設定する。初期化時の値としては、例えば、開始位置及び終了位置が“1枚目(連写による最初の画像を示す画像データとなる)”、合成枚数が1枚とすればよい。
パラメータ更新部393は、変更要求を受け付けると、受け付けた変更要求に基づいて、変更対象のパラメータを更新し、パラメータを更新した旨を示す更新完了通知を合成部394へ出力する。
このとき、パラメータ更新部393は、合成枚数の変更を受け付けると、合成画像データの生成に用いる静止画像データの数(静止画像の枚数)の更新を行うとともに、更新した枚数にて生成される合成画像のシャッター速度を算出する。パラメータ更新部393は、編集画面のGUI内の表示中の連写時のシャッター速度と合成後のシャッター速度の表示503において、合成後のシャッター速度を算出した値に更新する。合成画像のシャッター速度は、例えば、“連写撮影時のシャッター速度 × 合成画像に用いる静止画像の枚数”により算出される。
(合成部394)
合成部394は、指示受付部391から連写モード識別情報を受け取ると、受け取った連写モード識別情報を示すサブフォルダに含まれる1枚以上の連写画像データから、パラメータ更新部393にて設定された各種パラメータに基づいて合成画像データを生成する。合成部394は、生成した合成画像データを、DRAM310に一時的に格納する。
合成部394は、パラメータ更新部393から更新完了通知を受け取ると、パラメータ更新部393にて更新後の各種パラメータに基づいて合成画像データを再生成する。合成部394は、DRAM310に一時的に格納されている合成画像データを、更新後の合成画像データ(再生成された合成画像データ)に置き換える。
なお、合成部394は、生成(再生成)した合成画像データをDRAM310に格納する際には、EXIF情報等のヘッダ情報の内容(シャッター速度等)も更新して格納する。
以下、合成部394の動作について詳しく説明を行う。
合成部394は、数式1を予め記憶している。
Figure 0005118129

数式1は、合成処理で行う演算処理である。数式1のP’(x,y)は合成画像の座標(x,y)の画素値、Pi(x,y)は連写画像データ群のうちi枚目の連写画像の座標(x,y)の画素値、αi(x,y)はi枚目の連写画像の画素(x,y)に設定する輝度(感度)調整用の定数、β(x,y)は合成後の画像の(x,y)に設定する輝度(感度)調整用の定数、aは連写画像データ群中の合成開始位置を示す連写番号、bは連写画像データ群中の合成終了位置を示す連写番号である。
数式1のとおり、a枚目からb枚目までの連写画像が合成の対象になり、入力されるi枚目の連写画像の各画素に対して定数αi(x,y)が積算され、a枚目からb枚目までの連写画像が加算された後に各画素がβ(x,y)倍され、枚数(b−a+1)で除算される。
合成部394は、合成画像を形成する全ての画素(以下、合成画素という。)に対して、前記数式1を繰返し用いることで、全ての合成画素に対する画素値を算出して、合成画像データを生成する。
なお、連写した画像における各画素値の平均値を出力とする場合、つまり合成モードAの場合は、αi(x,y)、β(x,y)はすべて1となる。基本的には、合成後の全体のゲインを調整したい場合(合成モードBの場合)にはβ(x,y)を、個別の画像のゲインを調整したい場合(合成モードCの場合)にはαi(x,y)を調整する。
なお、処理を簡略化するため、i枚目のαi(x,y)をすべて同一にしたり、β(x,y)をすべて同一にしても良い。この場合は、定数をαi、βと書き換えた数式2になる。
Figure 0005118129

図13は、数式2の演算を模式的に図示したものであり、合成開始位置としてi枚目が、合成終了位置としてi+n枚目(合成枚数としてn+1枚)が指定されている場合を示している。まず、各画像Pi〜Pi+nの座標(x,y)が示す画素(画素値)それぞれにαi〜αi+nが乗算される。次に、αi×Piからαi+n×Pi+nの結果がすべて加算され、その結果にβが乗算される。そして、合成枚数n+1で除算されることで合成画像における座標(x,y)が示す画素が生成されることになる。
数式1と同様に、合成画像を形成する全ての画素(以下、合成画素という。)に対して、前記数式2が繰返し用いられることで、全ての合成画素に対する画素値を算出して、合成画像データが生成される。
数式1の合成処理では、例えば物体検出などと併用し、合成する各画像毎の特定エリアのみαi(x,y)を変更するなどすることで、特定の物体のみ異なる合成を行うことが可能になる。これにより、移動物体のみフラッシュモーション的に表現するなどを行うことができる。
また、画像全体に同じαi、βを施す場合には、各画像単位での露出補正や、合成後の露出補正が可能となる。これにより、例えば花火のように、光源が高速に移動し、合成すると全体が暗くなってしまうような画像を好ましい明るさで合成することが可能になる。
合成部394にて、1以上の静止画像データから1の合成画像データを生成することができる。言い換えると、合成部394にて、1枚以上の静止画像から1枚の合成画像を生成することができる。
(出力制御部395)
出力制御部395は、DRAM310に格納されている合成画像データにて形成される合成画像を液晶モニタ115を用いてプレビュー表示する。
(2−2)第2書込部382
第2書込部382は、書込指示を編集処理部381から受け取ると、圧縮/伸張回路305を用いて、DRAM310に格納されている合成画像データを圧縮して、圧縮された合成画像データをメモリカード306における所定のフォルダ(ここでは、サブフォルダ“xxxx”)配下に書き込む。
1.3 撮像装置1の動作
以下、撮像装置1の動作について説明する。
(1)基本動作
ここでは、撮像装置1の基本動作であるフォーカス、露出決定処理、静止画撮影処理及び再生(プレビュー)処理について説明する。
なお、これら処理は、公知であるので、ここでは、簡単に説明する。
<フォーカス、露出決定処理>
フォーカス、露出決定処理は、ユーザのシャッターボタン102の半押しにより明示的に、または液晶モニタ115によるプレビュー中などに継続的に行われる処理である。
フォーカス・露出決定処理では、撮像素子302から入力したデータをDSP304で解析し、解析した結果を元にCPU309が絞り・シャッタードライバ311を駆動することで露出の調整を、フォーカスドライバ313を駆動することで合焦点の調整を行う。
調整後、再び撮像素子302からデータを取り込み、DSP304で再度解析し、これを基に絞りおよびフォーカスを再調整する。なお、露出は絞り、シャッター速度により決定されるため、例えば絞りと感度がユーザ設定により固定されている場合には、露出はシャッター速度の変更のみで決定され、シャッター速度が固定されている場合には、露出は絞りのみで調整されることになる。また、ピント・露出固定ボタン106が押された場合は、現在のフォーカスと露出に設定を固定し、ピント・露出固定が解除されるまで、現在の設定を保持する。
<静止画撮影処理>
ユーザがシャッターボタン102を押した時点で、もしフォーカスと露出が決定されていない場合には、フォーカス、露出設定処理を行う。
フォーカスと露出の決定後、撮像素子302からフロントエンド303を経由して入力された画像データはDSP304で処理される。DSP304での処理としては、ベイヤー配列などの撮像素子の生の画像情報のRGB,YCbCrといった色空間の画像への変換、撮像素子のキズ補正、ホワイトバランス補正、歪み補正、輪郭強調や色補正といった処理がある。
DSP304で処理された画像データは圧縮/伸張回路305で圧縮され、メモリカード306に記録される。なお、圧縮時には、シャッター速度、露出、合焦距離、フラッシュ使用・未使用等の撮影時の設定情報も同時に記録される。
また、画像データの記録方式として撮像素子302の生のデータが指定されている場合には、先にあげたDSP304での画像処理等を行わずに、撮影時の設定情報のみを付加した撮像素子302から出てきた生データがメモリカード306に記憶される。なお、撮像素子302のデータは大きいのでハフマン圧縮などの可逆圧縮により圧縮してメモリカード306に記録しても良い。
<再生(プレビュー)処理>
再生処理は、メモリカード306に記録された画像データが示す画像を液晶モニタ115に表示する処理である。
ユーザがモードを再生モードに設定すると、撮像装置1は、メモリカード306から静止画像データを読み出し、圧縮/伸張回路305で伸張し、伸張した画像データをDSP304により縮小して、画像データが示す画像を液晶モニタ115に表示する。
ユーザが機能ボタン108または機能ボタン109を押すと、撮像装置1は、メモリカード306から次または前の静止画像データを読み出し、読み出した静止画像データの伸張・縮小後、静止画像データが示す静止画像を液晶モニタ115に表示する。
ここでユーザがキャンセル・削除ボタン113を押下した場合は、撮像装置1は、表示している画像を削除するかどうかを問い合わせるダイアログを液晶モニタ115に表示する。ユーザがMENU/決定ボタン112を押下すると、撮像装置1は、現在表示されている静止画像を示す静止画像データをメモリカード306から削除する。
また、表示中にズームレバー103を操作することにより、表示されている画像が拡大または縮小され表示される。なお、拡大中は液晶モニタ115には部分画像だけが表示され、機能ボタン107〜110により表示される画像の位置を上下左右に移動できる。
(2)連写処理
ここでは、連写モード時における連写処理について、図14にて示す流れ図を用いて説明する。
速度設定部373は、連写速度設定要求がユーザにより行われたかどうかチェックする(ステップS5)。
要求が行われたと判断する場合には(ステップS5における「YES」)、速度設定部373は、液晶モニタに図7のような速度設定のためのGUIを表示し、連写速度の設定を行う(ステップS10)。具体的には、速度設定部373は、DRAM310に一時的に格納している連写速度を、ユーザから受け付けた連写速度へと変更(更新)する。また、連写速度設定要求は、例えば、連写モード時に機能ボタン111の押下などによりユーザにより指示される。なお、MENU/決定ボタン112により表示されるメニューから連写速度変更を行ってもよい。
速度設定要求が行われていないと判断する場合、又は速度設定が完了した場合(ステップS5における「NO」)すると、設定部375は、シャッターボタン102が半押しまたは押下されているかどうかチェックする(ステップS15)。
シャッターボタン102が押されていない場合には(ステップS15における「NO」)、処理は、ステップS5へ戻る。このように、シャッターボタン102が押されるまでは、連写速度設定が可能な状態で待機する。
シャッターボタン102が半押し、または押下された場合は(ステップS15における「YES」)、設定部375は、フォーカス設定と、絞り設定とを行う(ステップS20、S25)。
識別情報生成部377は、シャッターボタン102が押下されたかどうか判断する(ステップS30)。
押下されていないと判断する場合には(ステップS30における「NO」)、識別情報生成部377は、シャッターボタン102が半押しされているかどうかを判断する(ステップS35)。半押しされていると判断する場合には(ステップS35における「YES」)、処理はステップS30へ戻る。半押しされていないと判断する場合には(ステップS35における「NO」)、処理は、ステップS5へ戻る。
押下されていると判断する場合には(ステップS30における「YES」)、識別情報生成部377は、連写モード識別情報を生成する。
具体的には、識別情報生成部377は、フォルダ“yyyy”が存在するか否かを判断する(ステップS40)。存在しないと判断する場合には(ステップS40における「NO」)、識別情報生成部377は、フォルダ“yyyy”を生成し(ステップS45)、次に、サブフォルダ“zzz00n”を生成する(ステップS50)。存在すると判断する場合には(ステップS40における「YES」)、識別情報生成部377は、サブフォルダ“zzz00n”を生成する(ステップS50)。
識別情報生成部377は、情報ファイルを生成し、生成した情報ファイルを、今回の連写モードの設定により生成した連写モード識別情報、つまりサブフォルダの配下に書き込む(ステップS55)。
撮像部351及び第1書込部372は、設定された連写速度、設定部375にて決定された焦点距離及び露出に基づいて画像データ(連写画像データ)を生成し(ステップS60)、生成された画像データを圧縮し(ステップS65)、圧縮された画像データを識別情報生成部377にて生成されたサブフォルダへの書き込む(ステップS70)。
繰返制御部376は、シャッターボタン102が押下中であるか否かを判断する(ステップS75)。言い換えると、繰返制御部376は、シャッターボタン102から連写撮影に係る撮影指示の受付中であるか否かを判断する。
押下中であると判断する場合には(ステップS75における「YES」)、処理は、ステップS55へ戻る。つまり、繰返制御部376は、シャッターボタン102から連写撮影に係る撮影指示の受付中であると判断する場合には、処理は、ステップS55へ戻る。
押下中でないと判断する場合、つまりユーザがシャッターボタン102を離すと(ステップS75における「NO」)、処理は終了する。つまり、繰返制御部376は、撮影指示を受け付けなくなると(検知しなくなると)、処理を終了し、新たな指示(モード変更や次の連写を行うためのシャッター押下など)を待ち受ける状態となる。
このとき撮像素子302から取り込んだ画像データの撮影速度は、連写速度として設定した値となる。例えば、連写速度が秒180枚であれば秒180枚の画像データがメモリカード306に記録される。
以上にように連写モードでは、シャッターが押下されている間に撮像素子302から取り込まれた画像データを連写画像データとして記録し、取り外し可能なメモリカード306に保存する。
(3)編集処理
ここでは、編集モード時における編集処理について、図15にて示す流れ図を用いて説明する。
編集モードでは、撮像装置1は、連写モード識別情報を用いて、メモリカード306から連写モードで撮影されたデータを読み出し、一覧表示する。
指示受付部391は、ユーザにより編集対象の連写画像データ群の選択を受け付ける(ステップS100)。
パラメータ更新部393は、合成開始位置、終了位置、合成枚数等の各種パラメータを初期化する(ステップS105)。
合成部394は、設定された各種パラメータの値に基づいて、合成処理を行う(ステップS110)。具体的には、合成部394は、設定された各種パラメータの値に基づいて、合成対象である1以上の連写画像データから合成画像データを生成する。
出力制御部395は、生成された合成画像データにて形成される合成画像をプレビュー表示する(ステップS115)。
指示受付部391は、ユーザからの指示待ち状態となる(ステップS120)。
指示受付部391は、受け付けた指示が開始位置の変更要求であるか否かを判断する(ステップS125)。開始位置の変更要求であると判断する場合には(ステップS125における「YES」)、パラメータ更新部393は、開始位置の更新を行い(ステップS130)、ステップS110へ戻る。
開始位置の変更要求でないと判断する場合には(ステップS125における「NO」)、指示受付部391は、受け付けた指示がシャッター速度変更指示、つまり、終了位置の変更要求であるか否かを判断する(ステップS135)。シャッター速度変更指示であると判断する場合(ステップS135における「YES」)、パラメータ更新部393は、合成処理に用いる連写画像データの数(つまり、連写画像の枚数)を更新し(ステップS140)、ステップS110へ戻る。このとき、パラメータ更新部393は、更新した数に基づいて、合成画像のシャッター速度を算出する。パラメータ更新部393は、編集画面に表示中の合成後のシャッター速度を、算出したシャッター速度へと更新する。
シャッター速度変更指示でないと判断する(ステップS135における「NO」)、指示受付部391は、受け付けた指示が明るさの変更指示であるか否かを判断する(ステップS145)。明るさの変更指示であると判断する場合(ステップS145における「YES」)、パラメータ更新部393は、合成処理に用いる数式1の定数β(x,y)を更新し(ステップS150)、ステップS110へ戻る。
明るさの変更指示でないと判断する(ステップS145における「NO」)、指示受付部391は、受け付けた指示が露出の変更指示であるか否かを判断する(ステップS155)。露出の変更指示であると判断する場合(ステップS155における「YES」)、パラメータ更新部393は、合成処理に用いる数式1の定数、αi(x,y)及びβ(x,y)を更新し(ステップS160)、ステップS110へ戻る。
露出の変更指示でないと判断する(ステップS155における「NO」)、指示受付部391は、受け付けた指示がユーザ操作によりMENU/決定ボタン112を押下されたことによるOK指示であるか否かを判断する(ステップS165)。
OK指示であると判断する場合には(ステップS165における「YES」)、第2書込部382は、圧縮/伸張回路305を用いて生成された合成画像データを圧縮して、圧縮された合成画像データをメモリカード306における所定のフォルダ(ここでは、サブフォルダ“xxxx”)配下に保存する(書き込む)(ステップS175)。
OK指示でないと判断する場合には(ステップS165における「NO」)、処理はステップS125へ戻る。
以上が、編集モードでの編集処理の流れである。
1.4 実施の形態1の変形例
なお、本発明を上記実施の形態1に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記実施の形態1において、編集処理は編集モードにモード変更した場合のみに行うとしたが、これに限定されない。
再生モードにおいて、連写画像データが選択された場合に、ユーザの指示により編集処理を行ってもよい。
この場合の撮像装置の動作について説明する。
撮像装置は、再生モードにおいて、撮像装置で撮影した静止画像、動画像、連写画像をすべて一覧表示する。一覧表示から、ユーザが静止画像を選択した場合には、撮像装置は、選択された静止画像を液晶画面1面にプレビュー表示する。撮像装置は、ユーザ操作により、拡大・縮小を行い、静止画像が画面中に入りきれない場合には、任意の部分に表示を移動させたりする。
また、動画像が選択された場合には、撮像装置は、選択された動画像を再生する。このとき、ユーザは、ポーズ、巻き戻し、早送りなどの操作が可能となる。
ここで、連写画像データが選択された場合には、撮像装置は、再生するか編集するかを選択するメニューを表示する。再生が選ばれた場合には、選択された連写画像データを含む連写画像データ群の各画像データを動画として再生する。編集が選ばれた場合には、撮像装置は編集モードへと移行し、選択された連写画像データを含む連写画像データ群から合成画像データを生成し、生成した合成画像データにて形成される合成画像を図11にて示す合成画像生成用GUIにより表示する。なお、連写画像データの識別は、先に説明した連写モード識別情報を利用する。
これにより、ユーザは編集をしたい場合に、図10の編集モードの一覧表示を経由せずに直接合成処理に入ることが可能となる。
(2)上記実施の形態1において、メモリカード306への連写モード識別情報の記録方法としては、連写モード識別情報を連写画像データを格納するフォルダ及びサブフォルダの名称として、フォルダ及びサブフォルダを生成したが、これに限定されない。
例えば、連写モードで撮影される複数の連写画像それぞれが静止画像である場合、個々の画像データのヘッダ部分に、連写モード識別のためのタグ情報を書き込み、書き込んだタグ情報を連写モード識別情報としてもよい。
また、連写モードで撮影される連写画像データがMotion JPEG、MPEG−1、MPEG−2、MPEG−4、H.261、H.264等の動画像ストリームデータである場合、動画像ストリームデータのヘッダ部に連写モード識別のためのタグ情報を書き込み、書き込んだタグ情報を連写モード識別情報としてもよい。図16は連写モードで撮影された動画像ストリームデータ601の例を示す。図16にて示すように、連写モードで撮影された動画像ストリームデータ601のヘッダ部602には、連写モード識別タグ603と、撮影情報として連写速度604が埋め込まれる。
ここで、タグ情報は、例えば、当該タグ情報が埋め込まれている画像データやストリームデータが連写モードで撮影されたものであることを示す情報(例えば、ビット値“1”)である。
または、情報ファイルに連写モード識別情報を含めてもよい。
いずれの場合でも、連写モードで撮影したデータは、他の撮影モードで撮影したデータと区別可能となり、後で説明する編集モードで編集可能な連写モードの撮影データと他の撮影データを区別することができるようになる。
(3)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
1.5 実施の形態1のまとめ
以上説明したように、編集モードでは、あらかじめメモリカード306に連写モードで記録されていたデータのみを対象として一覧表示し、その中から編集したいものを選択し、連写データの任意の部分のスローシャッター画像を静止画像として保存することができる。
図17は、高速撮影によって撮影された花火の写真の一部分を合成することで、花火のスローシャッター映像を作成した例である。図17のように、連写画像は秒n枚であり、シャッター速度は1/mである。1/nと1/mの差が十分小さければ、無撮影区間は無視できるほど小さくなるので、連続する連写画像を合成することで、1/nより遅いシャッター速度の画像と等価な合成画像が生成可能である。また、合成開始位置と範囲を自由に変更できるため、花火のようなシャッターを押下するタイミングが難しく、かつシャッター速度設定が難しい画像を失敗することなく撮影することが可能となる。
また、連写モードで連写データをメモリカード記録しておき、任意で起動可能な編集モードで連写画像からスローシャッター画像を生成することで、従来できなかった、(1)スローシャッター画像の生成を後で行うことができるようになり、撮影時は撮影に集中することができるようになる、(2)連写データがメモリカードに記憶されているので、作成した画像が気に入らなかった場合には何度でも編集することができる、等の効果が期待できる。
特に、連写モードで撮影されたデータをメモリカード上で識別可能にしておくことで、編集モードでは連写モードで撮影されたデータのみが対象となり、ユーザの操作性が向上される。なお、メモリカードに記録された連写モードで撮影されたデータを識別可能としていることで、メモリカードを例えばPC等で読み込み、編集モードでの作業をPC上で行うなども可能となる。
なお、本発明における制御手段は、機能実行部361に相当する。特に、制御手段の機能のうち、連写撮影により得られる静止画像データを記録媒体へ順次保持する処理は繰返制御部376に相当する。また、合成画像の生成開始の指示を受け付けると前記編集手段を制御して記録媒体に記録されている2以上の前記静止画像データを用いて1の合成画像を生成する処理は、指示受付部391が編集モード開始指示を受け取る動作、つまり、編集を開始する動作に相当する。
2.実施の形態2
実施の形態2では、実施の形態1にて示す撮像装置1の機能に、連写速度が高速になり、連写された各画像の露出が不足している場合に適正露出のスローシャッター画像の生成を可能とする機能を追加する。
実施の形態2における撮像装置2は、連写モード時に、連写速度と、連写開始時に設定した露出の情報とからなる撮影情報を含む情報ファイルを生成する。
ここで、露出情報は、適正露出を1.0に正規化した情報(値)とし、露出がオーバーする場合は1.0より大きな値、アンダーな場合は1.0より小さな値をとる。例えば、露出が不足して適性露出時に比べて半分の明るさしかない場合は、露出情報は値“0.5”となる。
以下、実施の形態1と同じ部分については説明を省略し、実施の形態1の発明との差異と、それによる効果について説明を行う。なお、撮像装置2において、実施の形態1と同一の構成要素については、実施の形態1にて用いた符号を用いる。
2.1 撮像装置2の構成
撮像装置2は、図18に示すように、撮像部351、機能実行部1352、圧縮/伸張回路305、メモリカード(二次記憶媒体)306、液晶モニタ115、DRAM310、絞り・シャッタードライバ311、ズームドライバ312及びピント調整を行うフォーカスドライバ313から構成されている。
以下、実施の形態1とは異なる機能実行部1352の説明を行う。
機能実行部1352は、プログラムが格納されたフラッシュメモリ1308と、システム全体の制御を行うCPU1309とから構成されている。
ここでは、実施の形態1と同様に、連写モードによる撮影処理、編集モードによる合成処理における機能実行部1352の動作について説明する。
フラッシュメモリ1308は、図18にて示すように、連写プログラム1355及び編集プログラム1356を含んでいる。
連写プログラム1355は、連写による撮影処理を行う。
編集プログラム1356は、連写撮影された1枚以上の画像に合成処理を施して、1枚の合成画像を生成する処理を行う。なお、1枚以上の画像から生成された合成画像は、処理前の画像と同一のものである。
また、各プログラムには、動作内容を示すコードの他、当該プログラムにて使用されるデータをも含まれる。
CPU1309が、連写プログラム1355及び編集プログラム1356を用いて、他の構成要素と協働することにより機能実行部1352の機能を実現する。
機能実行部1352は、図19にて示すように、第1処理部1361と第2処理部1362とから構成されている。
第1処理部1361は、CPU1309が連写プログラム1355を用いて他の構成要素と協働することにより実現される機能である。
第2処理部1362は、CPU1309が編集プログラム1356を用いて他の構成要素と協働することにより実現される機能である。
CPU1309は、ユーザからの指示により、起動するプログラムを切り替えることで、機能の切り替えを行う。
機能切り替えの具体例は、実施の形態1と同様であるので、ここでの説明は省略する。
以下、第1処理部1361及び第2処理部1362について説明する。
(1)第1処理部1361
第1処理部1361は、連写制御部1371と第1書込部1372と速度設定部1373とから構成されている。
第1書込部1372及び速度設定部1373は、実施の形態1にて示す第1書込部372及び速度設定部373と同様であるので、ここでの説明は省略する。
(1−1)連写制御部1371
連写制御部1371は、設定部1375と繰返制御部1376と識別情報生成部1377とから構成され、連写撮影に係る制御を行う。
連写モード中にシャッターボタンが押されると、連写制御部1371は、撮像素子302から取り込まれた画像データ(連写画像データ)の記録を開始する。
以下、その動作の詳細を説明する。
(設定部1375)
設定部1375は、実施の形態1にて示す設定部375と同様であるので、ここでの説明は省略する。
(識別情報生成部1377)
設定部1375にて焦点距離および露出が決定されると、識別情報生成部1377は、連写モード識別情報を生成する。ここでは、実施の形態1と同様に、連写モード識別情報は、連写画像(連写画像データ)を保存するフォルダの名称及びそのフォルダに属するサブフォルダの名称からなる。
識別情報生成部1377は、連写モードで撮影される毎に、連写画像データを保存するための個別のサブフォルダを作成する。
識別情報生成部1377は、撮影情報を含む情報ファイルを生成し、生成した情報ファイルを、今回の連写モードの設定により生成した連写モード識別情報、つまりサブフォルダの配下に書き込み、連写画像データの保存のためのメモリカードの初期設定を行う。
ここで、撮影情報は、撮影速度と、設定部1375にて決定された露出の情報を含む。
(繰返制御部1376)
繰返制御部1376は、シャッターボタン102が押下されている間、実施の形態1における繰返制御部376と同様に、撮像部351と第1書込部1372との動作を制御する。
ユーザがシャッターボタン102を離すと、繰返制御部1376は、第1書込部1372の動作の制御を抑止することにより、画像データ(連写画像データ)の記録を終了する。
(2)第2処理部1362
第2処理部1362は、編集処理部1381と第2書込部1382とから構成されている。
第2処理部1362は、実施の形態1にて示す第2処理部362と同様の動作を行うが、合成を行う際に用いる数式が異なる。
以下、第2処理部362と異なる点を中心に、第2処理部1362について説明する。
(2−1)編集処理部1381
編集処理部1381は、指示受付部1391、検索部1392、パラメータ更新部1393、合成部1394及び出力制御部1395から構成されている。
指示受付部1391、検索部1392、パラメータ更新部1393及び出力制御部1395は、実施の形態1にて示す指示受付部391、検索部392、パラメータ更新部393及び出力制御部395と同様であるので、ここでの説明は省略する。
以下、合成部1394について説明する。
(合成部1394)
合成部1394は、下記に示す数式3を予め記憶している。
合成部1394は、指示受付部1391から連写モード識別情報を受け取ると、受け取った連写モード識別情報を示すサブフォルダに含まれる1以上の連写画像データから、パラメータ更新部1393にて設定された各種パラメータ、数式3及び情報ファイルに含まれている露出情報を用いて、合成画像データを生成する。合成部1394は、生成した合成画像データを、DRAM310に一時的に格納する。
合成部1394は、パラメータ更新部393から更新完了通知を受け取ると、パラメータ更新部1393にて更新後の各種パラメータ、数式3及び情報ファイルに含まれている露出情報を用いて、合成画像データを再生成する。合成部1394は、DRAM310に一時的に格納されている合成画像データを、更新後の合成画像データ(再生成された合成画像データ)に置き換える。
なお、合成部1394は、生成(再生成)した合成画像データをDRAM310に格納する際には、EXIF情報等のヘッダ情報の内容(シャッター速度等)も更新して格納する。
Figure 0005118129

数式3は、数式1における演算“(b−a+1)”の部分が露出情報をもちいた演算に置き換えられた式である。数式3において、Eiは合成する連写画像データの中の連写番号が“i”である連写画像データの露出情報である。なお、ここでは、連写開始時に、設定された1つの露出情報を用いるので、合成に用いる1以上の画像データに対する露出情報は、全て同じ値となる。
数式3によれば、連写画像データの露出情報がすべて0.25(1/4)の場合、1枚合成する場合には、明るさが4倍に設定され、2枚合成する場合には明るさが2倍に設定され、3枚では4/3倍、4枚では1倍、5枚では4/5倍、n枚では4/n倍となり、合成する枚数に応じて、露出が適正露出に調整される。
また、数式1、2と同様に、合成画像を形成する全ての画素(以下、合成画素という。)に対して、前記数式3が繰返し用いられることで、全ての合成画素に対する画素値を算出して、合成画像データが生成される。
このようにして、合成部1394は、1以上の静止画像データから1の合成画像データを生成することができる。言い換えると、合成部1394は、1枚以上の静止画像から1枚の合成画像を生成することができる。
(2−2)第2書込部1382
第2書込部1382は、実施の形態1に示す第2書込部382と同様であるので、ここでの説明は省略する。
2.2 撮像装置2の動作
(1)基本動作
ここでは、撮像装置2の基本動作であるフォーカス、露出決定処理、静止画撮影処理及び再生(プレビュー)処理については、実施の形態1にて示す処理と同様であるのでここでの説明は省略する。
(2)連写処理
ここでは、連写モード時における連写処理について、実施の形態1の処理と異なる点のみ図14にて示す流れ図を用いて説明する。
ここでは、図14にて示すステップS55の動作内容が、実施の形態1とは異なる。
撮像装置2の識別情報生成部1377は、ステップS55にて、各画像データが連写モードで撮影されたものであることを示す情報と、撮影速度と、設定部1375にて決定された露出情報を含む情報ファイルを生成し、生成した情報ファイルを、生成した連写モード識別情報、つまりサブフォルダの配下に書き込む。
(3)編集処理
ここでは、編集モード時における編集処理について、実施の形態1の処理と異なる点のみ図15にて示す流れ図を用いて説明する。
ここでは、図15にて示すステップS110の動作内容が、実施の形態1とは異なる。
撮像装置2の合成部1394は、ステップS110にて、パラメータ更新部1393にて設定された各種パラメータの値、予め記憶している数式3及び情報ファイルに含まれている露出情報を用いて、合成画像データを生成する。
2.3 実施の形態2の変形例
なお、本発明を上記実施の形態2に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記実施の形態2において、実施の形態1の変形例と同様に、再生モードにおいて、連写画像データが選択された場合に、ユーザの指示により編集処理を行ってもよい。
(2)上記実施の形態2において、実施の形態1と同様に、連写モード識別情報を連写画像データを格納するフォルダ及びサブフォルダの名称としたが、これに限定されない。
上記実施の形態1の変形例と同様に、例えば、連写モードで撮影される複数の連写画像それぞれが静止画像である場合、個々の画像に対応する画像データのヘッダ部分に、連写モード識別のためのタグ情報を書き込み、書き込んだタグ情報を連写モード識別情報としてもよい。
また、動画像ストリームデータである場合、ストリームデータのヘッダ部に連写モード識別のためのタグ情報を書き込み、書き込んだタグ情報を連写モード識別情報としてもよい。図20は連写モードで撮影された動画像ストリームデータ1601の例を示す。図20にて示すように、連写モードで撮影された動画像ストリームデータ1601のヘッダ部1602には、連写モード識別タグ1603と、撮影情報1610が埋め込まれる。ここで、撮影情報1610は、連写速度1604及び露出情報1605を含む。
ここで、タグ情報は、例えば、当該タグ情報が埋め込まれている画像データやストリームデータが連写モードで撮影されたものであることを示す情報(例えば、ビット値“1”)である。
または、情報ファイルに連写モード識別情報を含めてもよい。
(3)上記実施の形態2において、露出情報は、情報ファイルに含まれるとしたが、これに限定されない。
露出情報は、各連写データに対応づけられる状態で格納されていればよい。
例えば、連写画像データが動画像ストリームデータである場合には、露出情報は、図20にて示すようにヘッダ部1602に格納されてもよい。または、複数の連写画像それぞれが静止画像である場合には、露出情報は、画像データのヘッダ部に格納されてもよい。
(4)上記実施の形態2において、連写開始前に、一度のみ露出の決定を行ったが、これに限定されない。
連写中に連続的に露出の調整(決定)を行ってもよい。
この場合、例えば、撮像装置2は、撮影された画像に対応する画像データそれぞれのヘッダに、対応する露出の情報を埋め込む。
または、撮像装置2は、連写番号と対応付けて決定した露出を、情報ファイルに書き込む。
なお、上記実施の形態2では、露出情報がすべて同じであるとしたが、各画像の露出情報が異なる場合にも、数式3の演算により適正な露出に調整可能である。特に、個々に露出調整を行った方が、連写中の環境光の変化に対応でき、より画質のよいスローシャッター画像(合成画像)が生成可能となる。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
2.4 実施の形態2のまとめ
実施の形態2の構成によれば、1枚以上の連写画像からスローシャッター画像を生成する時に、明るさが適正露出に補正される。これにより、連写時に露出が不足する場合も、連写画像から適正露出のスローシャッター画像を生成することができる。また、個々に露出を補正してから合成するのに比べて、ゲイン増加のための演算回数を削減できるため演算量を削減可能となる。加えて、個々に露出補正して加算する場合に比べてゲイン増加によるノイズ成分の強調を抑えることが可能となる。
なお、本実施の形態2では、露出補正のための情報を直接連写データに格納する方法を示したが、絞り、シャッター速度、明るさなどの露出計算に必要な情報を格納しておき、合成時に適正露出になるように計算することでも、本実施の形態と同様の効果が期待できる。また、露出補正だけなく、例えば、撮影時のカメラの動きを加速度センサ等で取得し、これを格納しておけば、合成時の手ぶれによる位置ずれをあわせる処理に利用することができ、合成された画像の画質向上が期待できる。
3.実施の形態3
実施の形態3は、実施の形態1の連写モードでの連写画像の撮影時と、編集モードでの合成画像の生成時に合成情報を連写画像に合わせて記憶装置に保存する機能を追加したものである。以下、図面を参照しながら、実施の形態1と動作の異なる部分について説明する。
実施の形態3における撮像装置3は、連写モード時に、連写速度と、合成情報とからなる撮影情報を含む情報ファイルを生成する。
ここで、合成情報は、合成開始位置、合成終了位置または合成枚数、および、数式1又は数式2におけるαおよびβの値などを含む。
以下、実施の形態1と同じ部分については説明を省略し、実施の形態1の発明との差異と、それによる効果について説明を行う。なお、撮像装置3において、実施の形態1と同一の構成要素については、実施の形態1にて用いた符号を用いる。
3.1 撮像装置3の構成
撮像装置3は、図21に示すように、撮像部351、機能実行部2352、圧縮/伸張回路305、メモリカード(二次記憶媒体)306、液晶モニタ115、DRAM310、絞り・シャッタードライバ311、ズームドライバ312及びピント調整を行うフォーカスドライバ313から構成されている。
以下、実施の形態1とは異なる機能実行部2352の説明を行う。
機能実行部2352は、プログラムが格納されたフラッシュメモリ2308と、システム全体の制御を行うCPU2309とから構成されている。
ここでは、実施の形態2と同様に、連写モードによる撮影処理、編集モードによる合成処理における機能実行部2352の動作について説明する。
フラッシュメモリ2308は、図21にて示すように、連写プログラム2355及び編集プログラム2356を含んでいる。
連写プログラム2355は、連写による撮影処理を行う。
編集プログラム2356は、連写撮影された1枚以上の画像に合成処理を施して、1枚の合成画像を生成する処理を行う。なお、1枚以上の画像から生成された合成画像は、処理前の画像と同一のものである。
また、各プログラムには、動作内容を示すコードの他、当該プログラムにて使用されるデータをも含まれる。
CPU2309が、連写プログラム2355及び編集プログラム2356を用いて、他の構成要素と協働することにより機能実行部2352の機能を実現する。
機能実行部2352は、図22にて示すように、第1処理部2361と第2処理部2362とから構成されている。
第1処理部2361は、CPU2309が連写プログラム2355を用いて他の構成要素と協働することにより実現される機能である。
第2処理部2362は、CPU2309が編集プログラム2356を用いて他の構成要素と協働することにより実現される機能である。
CPU2309は、ユーザからの指示により、起動するプログラムを切り替えることで、機能の切り替えを行う。
機能切り替えの具体例は、実施の形態1と同様であるので、ここでの説明は省略する。
以下、第1処理部2361及び第2処理部2362について説明する。
(1)第1処理部2361
第1処理部2361は、連写制御部2371と第1書込部2372と速度設定部2373とから構成されている。
第1書込部2372及び速度設定部2373は、実施の形態1にて示す第1書込部372及び速度設定部373と同様であるので、ここでの説明は省略する。
(1−1)連写制御部2371
連写制御部2371は、設定部2375と繰返制御部2376と識別情報生成部2377とから構成され、連写撮影に係る制御を行う。
連写モード中にシャッターボタンが押されると、連写制御部2371は、撮像素子302から取り込まれた画像データの記録を開始する。
以下、その動作の詳細を説明する。
(設定部2375)
設定部2375は、実施の形態1にて示す設定部375と同様であるので、ここでの説明は省略する。
(識別情報生成部2377)
設定部2375にて焦点距離および露出が決定されると、識別情報生成部2377は、連写モード識別情報を生成する。ここでは、実施の形態1と同様に、連写モード識別情報は、連写画像データ(連写画像)を保存するフォルダの名称及びそのフォルダに属するサブフォルダの名称からなる。
識別情報生成部2377は、連写モードで撮影される毎に、連写画像データを保存するための個別のサブフォルダを作成する。
識別情報生成部2377は、撮影情報を含む情報ファイルを生成し、生成した情報ファイルを、今回の連写モードの設定により生成した連写モード識別情報、つまりサブフォルダの配下に書き込み、連写画像データの保存のためのメモリカードの初期設定を行う。
識別情報生成部2377は、繰返制御部1376から連写撮影が終了した旨の終了指示を受け取ると、合成情報の初期化を行う。ここでは、識別情報生成部2377は、合成開始位置、合成終了位置または合成枚数、および、数式1又は数式2におけるαおよびβの値などを初期値に設定し、初期値に設定された各種値からなる合成情報を生成する。例えば、識別情報生成部2377は、初期化の値としては、合成開始位置および合成終了位置を先頭画像を示す連写番号“1”に、αおよびβをすべて1にする。
識別情報生成部2377は、生成した合成情報を、サブフォルダの配下に保存する。具体的には、識別情報生成部2377は先に書き込んだ情報ファイル内に、生成した合成情報を追加する。
(繰返制御部2376)
繰返制御部2376は、シャッターボタン102が押下されている間、実施の形態1における繰返制御部376と同様に、撮像部351と第1書込部2372との動作を制御する。
ユーザがシャッターボタン102を離すと、繰返制御部2376は、第1書込部2372の動作の制御を抑止することにより、画像データの記録を終了し、終了指示を識別情報生成部2377へ出力する。
(2)第2処理部2362
実施の形態1にて示す第2処理部362と異なる点は、編集処理開始時に各パラメータの初期化を行わないこと、及び合成画像データの書き込み時に、情報ファイルに含まれる合成情報を更新することである。
以下、これら異なる点を中心に説明する。
第2処理部2362は、編集処理部2381及び第2書込部2382から構成されている。
(2−1)編集処理部2381
編集処理部2381は、指示受付部2391、検索部2392、パラメータ更新部2393、合成部2394及び出力制御部2395から構成されている。
(指示受付部2391)
ユーザ操作によりモードが編集モードに設定されると、指示受付部2391は、編集モード開始指示を検索部2392へ出力する。
指示受付部2391は、ユーザにより編集対象の連写画像データ群が選択されると、合成情報を取得する旨の取得指示と、選択された連写画像データ群に対応する連写モード識別情報とをパラメータ更新部2393へ出力する。また、指示受付部2391は、選択された連写画像データ群に対応する連写モード識別情報を合成部2394へ出力する。
指示受付部2391は、編集画面において、ユーザから変更要求を受け付けると、受け付けた変更要求をパラメータ更新部2393へ出力する。
編集画面において、ユーザがMENU/決定ボタン112を押下すると、指示受付部2391は、書き込みを行う旨の書込指示を第2書込部2382へ出力する。
(検索部2392)
検索部2392は、実施の形態1にて示す検索部392と同様であるので、ここでの説明は省略する。
(パラメータ更新部2393)
パラメータ更新部2393は、取得指示と連写モード識別情報とを受け取ると、受け取った連写モード識別情報に対応する情報ファイルに含まれる合成情報を取得する。具体的には、パラメータ更新部2393は、連写モード識別情報にて識別されるサブフォルダ配下に存在する情報ファイルから合成情報を読み出す。
パラメータ更新部2393は、取得した合成情報に含まれる各種パラメータの値をDRAM310へ一時的に格納する。
パラメータ更新部393は、変更要求を受け付けると、受け付けた変更要求に基づいて、DRAM310にて格納されている変更対象のパラメータを更新し、パラメータを更新した旨を示す更新完了通知を合成部2394へ出力する。
(合成部2394)
合成部2394は、数式1を予め記憶している。なお、数式2を記憶しておいてもよい。
合成部2394は、指示受付部2391から連写モード識別情報を受け取ると、受け取った連写モード識別情報を示すサブフォルダに含まれる1以上の連写画像データから、パラメータ更新部2393にて取得された合成情報に含まれる各種パラメータ及び数式1(又は数式2)を用いて、合成画像データを生成する。合成部2394は、生成した合成画像データを、DRAM310に一時的に格納する。
合成部2394は、パラメータ更新部393から更新完了通知を受け取ると、パラメータ更新部393にて更新後の各種パラメータ及び数式1(又は数式2)を用いて、合成画像データを再生成する。合成部394は、DRAM310に一時的に格納されている合成画像データを、更新後の合成画像データ(再生成された合成画像データ)に置き換える。
なお、合成部2394は、合成画像データの生成(再生成)時に用いる各種パラメータを、DRAM310から取得する。
また、合成部394は、生成(再生成)した合成画像データをDRAM310に格納する際には、EXIF情報等のヘッダ情報の内容(シャッター速度等)も更新して格納する。
(出力制御部2395)
出力制御部2395は、実施の形態1にて示す出力制御部2395と同様であるので、ここでの説明は省略する。
(2−2)第2書込部2382
第2書込部2382は、書込指示を編集処理部381から受け取ると、圧縮/伸張回路305を用いて、DRAM310に格納されている合成画像データを圧縮して、圧縮された合成画像データをメモリカード306における所定のフォルダ(ここでは、サブフォルダ“xxxx”)配下に書き込む。
さらに、第2書込部2382は、DRAM310に格納されている合成画像データの生成に用いられた合成情報を取得する。第2書込部2382は、合成画像の生成対象である連写画像データ群に対応する情報ファイルに含まれる合成情報を、取得した合成情報へと更新する。
3.2 撮像装置3の動作
(1)基本動作
ここでは、撮像装置3の基本動作であるフォーカス、露出決定処理、静止画撮影処理及び再生(プレビュー)処理については、実施の形態1にて示す処理と同様であるのでここでの説明は省略する。
(2)連写処理
ここでは、連写モード時における連写処理について、実施の形態1の処理と異なる点のみ図23にて示す流れ図を用いて説明する。
図23は、図14の連写モードの処理の流れに、合成情報の格納に関連した処理を追加したものである。図23においてS1005〜S1075に関しては、実施の形態1で説明した処理と同等のものであるので、ここでの説明は省略する。
以下、ステップS1075の判断結果以降、特に、押下中でないと判断された場合以降の動作について、説明する。
押下中でないと判断する場合、つまりユーザがシャッターボタン102を離すと(ステップS1075における「NO」)、識別情報生成部2377は、合成情報の初期化を行う(ステップS1080)。具体的には、識別情報生成部2377は、合成開始位置、合成終了位置または合成枚数、および、数式1又は数式2におけるαおよびβの値などを初期値に設定し、初期値に設定された各種値からなる合成情報を生成する。
識別情報生成部2377は、生成した合成情報を、サブフォルダの配下に保存する(ステップS1085)。具体的には、識別情報生成部2377は先に書き込んだ情報ファイル内に、生成した合成情報を追加する。
(3)編集処理
ここでは、編集モード時における編集処理について、実施の形態1の処理と異なる点のみ図24にて示す流れ図を用いて説明する。
図24は図15の編集モードの処理の流れに、合成情報の利用に関連した処理を追加したものである。
指示受付部2391は、ユーザにより編集対象の連写画像データ群の選択を受け付ける(ステップS1100)。
パラメータ更新部2393は、編集対象の連写画像データ群に対応する情報ファイルに含まれる合成情報を読み出す(ステップS1103)。
パラメータ更新部2393は、読み出した合成情報に含まれる各種パラメータの値を当該合成処理における初期値として設定する(ステップS1105)。具体的には、パラメータ更新部2393は、読み出した合成情報に含まれる各種パラメータの値をDRAM310へ一時的に格納する。
以降のステップS1110からステップS1175までは、図15にて示すステップS110からステップS175までと同様の動作であるので、ここでの説明は省略する。
合成画像データの保存後(ステップS1175)、第2書込部2382は、DRAM310に格納されている合成画像データの生成に用いられた合成情報を取得する。第2書込部2382は、合成画像データの生成対象である連写画像データ群に対応する情報ファイルに含まれる合成情報を、取得した合成情報へと更新する(ステップS1180)。
3.3 実施の形態3の変形例
なお、本発明を上記実施の形態3に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記実施の形態3において、実施の形態1の変形例と同様に、再生モードにおいて、連写画像データが選択された場合に、ユーザの指示により編集処理を行ってもよい。
(2)上記実施の形態3において、実施の形態1と同様に、連写モード識別情報を連写画像データを格納するフォルダ及びサブフォルダの名称としたが、これに限定されない。
上記実施の形態1の変形例と同様に、例えば、連写モードで撮影される複数の連写画像それぞれが静止画像である場合、個々の画像データのヘッダ部分に、連写モード識別のためのタグ情報を書き込み、書き込んだタグ情報を連写モード識別情報としてもよい。
また、動画像ストリームデータである場合、ストリームデータのヘッダ部に連写モード識別のためのタグ情報を書き込み、書き込んだタグ情報を連写モード識別情報としてもよい。図25は連写モードで撮影された動画像ストリームデータ2601の例を示す。図25にて示すように、連写モードで撮影された動画像ストリームデータ2601のヘッダ部2602には、連写モード識別タグ2603と、連写速度2610と、合成情報2605が埋め込まれる。ここで、合成情報2605は、開始位置2606、終了位置(合成枚数)2607及び合成パラメータ2608を含む。開始位置2606は合成開始位置を示す値であり、終了位置(合成枚数)2607は合成終了位置を示す値である。また、合成パラメータ2608は、数式1又は数式2におけるα及びβの値である。また、上述したように、撮影情報は、連写速度2610と、合成情報2605とから構成されている。
ここで、タグ情報は、例えば、当該タグ情報が埋め込まれている画像データやストリームデータが連写モードで撮影されたものであることを示す情報(例えば、ビット値“1”)である。
または、情報ファイルに連写モード識別情報を含めてもよい。
(3)上記実施の形態3において、合成開始位置を連写番号“1”となる画像データに対応する画像としたが、これに限定されない。
識別情報生成部2377は、焦点および測光状態、および顔検出機能などによる顔抽出状態により、合成開始位置の初期値を変更してもよい。例えば、顔検出機能により検出された顔が正面を向いている状態の最初の画像を開始位置に設定してもよい。この初期値の設定には、動画のシーン検出などで利用されている技術が応用可能であり、シーン検出で得られた重要な画像を開始画像と設定することで、使いやすさを向上可能となる。
(4)上記実施の形態3では、情報ファイルに合成情報を含めることで、連写画像データ群との関連付けを行ったが、これに限定されない。
関連づけ方法としては、例えば、情報ファイルとは個別のファイルとして、連写画像データが格納されるフォルダと同一のフォルダに格納する方法や、連写画像データが動画ストリームデータとして記憶される場合には図25のようにヘッダ部分に格納する方法などがある。また、連写モードで撮影される連写データが複数の静止画像データである場合、個々の画像データのヘッダ部分に、合成情報を格納してもよい。
(5)上記実施の形態3において、撮像装置3は、連写処理において、連写画像データの保存後に合成情報を記録するようにしたが、これに限定されない。
連写画像データの保存の前に、合成情報を記録するようにしてもよい。
例えば、撮像装置3は、図23にて示すステップS1080及びS1085を、ステップS1060の直前に行う。
(6)上記実施の形態3において、撮像装置は、合成画像の生成時には数式1若しくは2を用いるとしたが、数式3を用いてもよい。
この場合、撮影情報には、露出情報を付加することとで実現できる。
(7)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
3.4 実施の形態3のまとめ
以上のように、撮像装置3は、編集開始時に合成情報を読み出し、終了時に合成情報を書き戻す(更新する)ので、再度編集モードにおいて合成を行う場合には、前回合成画像を生成した時の合成情報が読み出されることになり、編集開始時において前回合成画像を作成した状態に復帰することができる。
これにより、作成した合成画像を再度作成したり、前回作成した合成画像からパラメータの一部を少しだけ変化させた合成画像などを容易に作成することができる。
なお、本実施の形態3においては、合成情報の保存は合成画像作成時に自動的に行われることとしたが、ユーザが明示的に保存を指示するようにしてもよい。この場合は、気に入ったパラメータを保存しておくことができるようになり、さらに便利性が向上する。また、合成情報は1つではなく、1つの連写画像について複数もてるようにし、ユーザが記録された合成情報を選択して呼び出せるようにしてもよい。複数保存できるようにすることで、複数の合成結果に対するパラメータを保存することができるようになり、便利性が向上する。
4.その他の変形例
なお、本発明を上記実施の形態1から3に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)各実施の形態で説明した処理は、コンピュータ上で動作するプログラムとして実現することも可能である。図21は、本発明の処理を動作させる情報処理装置3000の構成の例である。
情報処理装置3000は、図21に示すように、プログラムを実行するプロセッサ3101、映像を入力する映像入力部3102、SDカードなどのメモリカード3103、SDRAMなどの主記憶部3104、CRT,LCDなどの映像出力部3105、ハードディスク インタフェース(HDD I/F((Hard Disk Drive Interface))3106、HDDなどの磁気記憶媒体3107、ネットワークに接続するためのネットワークインタフェース(NW I/F(Network Interface))3108である。
主記憶部3104は、プログラム(ここでは、連写プログラム、編集プログラム)を、予め記憶している。
プロセッサ3101は、主記憶に格納されたプログラムを読み出しながら実行し、映像入力部3102、メモリカード3103、HDD I/F3106、磁気記憶媒体3107、NW I/F3108、映像出力部3105を制御しながら、本発明の実施の形態で説明した処理を行う。
具体的には、情報処理装置3000は、映像入力部3102から連写画像データを入力し、磁気記憶媒体3107、メモリカード3103、又はネットワークにより接続される機器等に連写画像データや合成画像データを格納し、連写画像や合成画像を映像出力部3105にGUIを表示させることにより本発明の実施の形態で示した処理を行う。
以上のように、本発明の方式は、コンピュータ上で実行可能なプログラムとしても実現可能である。
なお、主記憶部3104は、連写プログラム、編集プログラムを予め記憶しているとしたが、これに限定されない。主記憶部3104は、処理開始時に、メモリカード3103、磁気記憶媒体3107、またはネットワークから処理対象のプログラムを取得し、取得したプログラムを格納してもよい。
また、映像入力部3102は、メモリカード3103から連写画像データを取得してもよい。この場合、図27にて示すように、合成画像の生成する装置の選択肢が広がる。
図27では、撮像装置1にて連続撮影した連写画像データがメモリカード306に格納される。ユーザは、合成画像データの生成を、本体(撮像装置1)にて行うこともできるし、情報処理装置3000(例えば、パーソナルコンピュータ)で行うこともできる。
何れかの装置で生成された合成画像データは、メモリカード306に格納され、プリンタ3500によりメモリカード306に格納された合成画像データにて形成される合成画像が印刷される。
(2)上記の実施の形態で述べた構成要素については、その一部または全てを実現可能な範囲でソフトウェアとして実装してもよい。この場合、集積回路上に実装しなくてはならないハードウェアの量を抑えることができるので、より集積度を向上させることができる。
(3)上記の実施の形態で述べた構成要素については、その一部または全てを実現可能な範囲でハードウェアとして実装してもよい。この場合、上記の構成要素をソフトウェアで実装するよりも処理を高速化することができる。このような実装は、特に退避処理や復帰処理等、ユーザの利便性のために高速化が求められる処理などにおいて有用である。
(4)上記の実施の形態において、撮像装置は、連写時にはシャッターボタン376が押下され続けることにより、連写による撮影を行ったが、これに限定されない。
撮像装置は、連写時において、シャッターボタンが1度押下されると連写による撮影を開始し、次に押下されると連写による撮影を終了するようにしてもよい。
この場合、繰返制御部は、シャッターボタンが1度押下されるとシャッターボタンから連写に係る撮影指示を受け付け、繰返制御部376は、連写による撮影及び記録媒体への書き込みを行うように、撮像部351と第1書込部372との動作を制御する。繰返制御部は、シャッターボタンが次に押下されるとシャッターボタンから撮影終了指示を受け付け、繰返制御部376は、第1書込部372の動作の制御を抑止することにより、画像データの記録を終了する。
言い換えると、繰返制御部は、撮影指示を受け付けてから撮影終了指示を受け付けるまでの間は、撮影指示の受付中であるとして、連写の動作を制御する。
(5)上記実施の形態において、撮像装置は、シャッターボタンにより連写による撮影の指示を受け付けたが、これに限定されない。
連写による撮影指示を行うことのできるユーザインタフェースであれば、どのようなものでもよい。例えば、連写専用のボタンであってもよい。
(6)上記実施の形態において、連写画像データ及び合成画像データの書き込み先を、取り外し可能なメモリカード(記憶媒体、記録媒体)としたが、これに限定されない。
撮像装置に内蔵された記憶媒体(記録媒体)であってもよい。撮像装置に内蔵された記憶媒体(記録媒体)は、例えば、HDDなどの磁気記憶媒体である。
また、上記実施の形態において、連写画像データ及び合成画像データの書き込み先は同一の記憶媒体(記録媒体)としたが、これに限定されない。
連写画像データ及び合成画像データそれぞれの書き込み先は、異なってもよい。例えば、撮像装置は、連写画像データを撮像装置に内蔵された記憶媒体(記録媒体)に書き込み、合成画像データを取り外し可能な記憶媒体(記録媒体)へ書き込む。または、その逆でもよい。
(7)ここで、上記実施の形態及び本変形例において、画像データとは、装置内で処理される若しくは装置とメモリカードとの間において入出力されるものであり、画像とは、ディスプレイでの表示されるものやプリンタにより印刷されるものである。
なお、画像データと画像とを、特に区別する必要がない場合には、単に画像として記述している。
(8)システムLSIは集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもあるが、上記の各実施のシステムLSIを上記のいずれの集積度で実現した場合も本発明に含まれることは言うまでもない。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
(9)また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−rayDisc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記ディジタル信号であるとしてもよい。
(10)これらの実施の形態および変形例の組合せであってもよい。
5.まとめ
(1)本発明は、画像を入力する撮像素子と、撮像素子が入力した画像を表示する表示デバイスと、撮像素子が入力した画像を加工して二次記憶手段に記録する記録装置を備え、これらを連携させて複数の動作モードを実現し、これを切り替える機能を有する撮像装置において、撮影の開始を指示する撮影ボタンが押されると撮像素子から入力した画像を取り外し可能な二次記憶手段に記録開始し、前記撮影ボタンを離すと前記二次記録手段への記録を停止し、前記撮影ボタンが押されていた期間の前記撮像素子から所定の時間間隔で入力された複数の画像を、連写された画像であることを識別するための連写モード識別情報と共に二次記憶手段に記録する連写モードと、前記連写モードで撮影され、前記二次記憶手段に記録されている連写画像を前記連写モード識別情報により識別し、前記連写モードで撮影された1つまたは複数の連続画像を各々代表画像により一覧表示する一覧表示手段と、前記一覧表示手段においてどれか1つの連写画像が選択された場合に、合成開始位置と、合成終了位置を設定する合成範囲設定手段と、前記合成範囲設定手段で設定された前記連写画像中の合成開始位置から合成終了位置までの画像合成を行ない合成画像を生成し、合成した結果となる画像を前記二次記録手段に記録する編集モードを備えたことを特徴とする。
(2)上記(1)の撮像装置において、前記連写モードでは、入力された複数の画像と共に、全体で1つ、または、変化発生毎に、または各画像毎に撮影時のカメラの状態を示す情報である撮影情報を二次記憶手段に記録し、前記編集モードでの合成処理では、前記撮影情報を利用して合成を行うとしてもよい。
(3)上記(1)又は(2)の撮像装置において、前記連写モードでは、合成に必要となる情報である合成情報を初期化し、入力された複数の画像と共に合成情報を二次記憶手段に記録し、前記編集モードでは、前記合成情報を読み出して合成処理を初期化し、合成情報変更時または、合成した結果となる画像の二次記憶手段への記録時に二次記憶手段に記録された合成情報を更新するとしてもよい。
(4)また、本発明は、撮像装置であって、撮影の開始と終了を指示する撮影ボタンと、前記撮影ボタンにより指示された期間に所定の時間間隔で撮像素子から入力された複数の画像と、各入力画像撮影時のカメラの状態を示す撮影情報を合わせて記録する記録手段と、前記記録手段に記録された前記複数の画像の合成開始位置から、合成終了位置までの各画像を前記撮影情報を利用して合成し、合成された画像を生成し記録する合成手段を備えることを特徴とする。
(5)上記(2)から(4)の何れかの撮像装置において、前記撮影情報には露出情報が含まれ、前記合成処理では、合成された画像が適正露出になるように各画像に対するゲインを調整するとしてもよい。
(6)上記(2)から(5)の何れかの撮像装置において、前記合成処理では、合成枚数に応じて合成画像のシャッター速度を前記連写速度より算出し、表示デバイスに表示または合成画像にシャッター速度情報として埋め込むとしてもよい。
(7)上記(3)の撮像装置において、前記合成情報とは、合成開始位置と合成終了位置または、合成開始位置と合成枚数であるとしてもよい。
(8)上記(1)から(7)の何れかの撮像装置において、前記合成モードの合成処理では、合成する各画像毎または、各画像の各画素毎に予め設定された第1のゲイン値でゲイン調整を行ない、ゲイン調整後の各画像を合成後に、全体または各画祖毎に予め設定された第2のゲイン値でゲイン調整を行うとしてもよい。
(9)上記(3)の撮像装置において、前記合成モードの合成処理では、合成する各画像毎または、各画像の各画素毎に指定さされた第1のゲイン値でゲイン調整を行ない、ゲイン調整後の各画像を合成後に、全体または各画素毎に指定された第2のゲイン値でゲイン調整を行い、前記合成情報には、前記第1のゲイン値および第2のゲイン値を含むとしてもよい。
(10)また、本発明は、画像を入力する撮像素子と、撮像素子が入力した画像を表示する表示デバイスと、撮像素子が入力した画像を加工して二次記憶手段に記録する記録装置を備え、これらを連携させて複数の動作モードを実現し、これを切り替える機能を有する撮像装置に用いられる画像処理方法であって、撮影の開始を指示する撮影ボタンが押されると撮像素子から入力した画像を取り外し可能な二次記憶に記録開始し、前記撮影ボタンを離すと前記二次記録への記録を停止し、前記撮影ボタンが押されていた期間の前記撮像素子から所定の時間間隔で入力された複数の画像を、連写された画像であることを識別するための連写モード識別情報と共に二次記憶に記録する連写モードと、前記連写モードで撮影され、前記二次記憶手段に記録されている連写画像を前記連写モード識別情報により識別し、前記連写モードで撮影された1つまたは複数の連続画像を各々代表画像により一覧表示する一覧表示手段と、前記一覧表示手段においてどれか1つの連写画像が選択された場合に、合成開始位置と、合成終了位置を設定する合成範囲設定ステップと、前記合成範囲設定ステップで設定された前記連写画像中の合成開始位置から合成終了位置までの画像合成を行ない合成画像を生成し、合成した結果となる画像を前記二次記録手段に記録する編集モードを備えたことを特徴とする。
(11)上記(10)の画像処理方法において、前記連写モードでは、入力された複数の画像と共に、全体で1つ、または、変化発生毎に、または各画像毎に撮影時のカメラの状態を示す情報である撮影情報を二次記憶に記録し、前記編集モードでの合成処理では、前記撮影情報を利用して合成を行うとしてもよい。
(12)上記(10)又は(11)の画像処理方法であって、前記連写モードでは、合成に必要となる情報である合成情報を初期化し、入力された複数の画像と共に合成情報を二次記憶手段に記録し、前記編集モードでは、前記合成情報を読み出して合成処理を初期化し、合成情報変更時または、合成した結果となる画像の二次記憶への記録時に二次記憶に記録された合成情報を更新するとしてもよい。
(13)画像を入力する撮像素子と、撮像素子が入力した画像を表示する表示デバイスと、撮像素子が入力した画像を加工して二次記憶手段に記録する記録装置を備え、これらを連携させて複数の動作モードを実現し、これを切り替える機能を有する撮像装置に搭載されたコンピュータによって実行される画像処理用のプログラムであって、撮影の開始を指示する撮影ボタンが押されると撮像素子から入力した画像を取り外し可能な二次記憶に記録開始し、前記撮影ボタンを離すと前記二次記録への記録を停止し、前記撮影ボタンが押されていた期間の前記撮像素子から所定の時間間隔で入力された複数の画像を、連写された画像であることを識別するための連写モード識別情報と共に二次記憶に記録する連写モードと、前記連写モードで撮影され、前記二次記憶に記録されている連写画像を前記連写モード識別情報により識別し、前記連写モードで撮影された1つまたは複数の連続画像を各々代表画像により一覧表示する一覧表示処理と、前記一覧表示手段においてどれか1つの連写画像が選択された場合に、合成開始位置と、合成終了位置を設定する合成範囲設定処理と、前記合成範囲設定処理で設定された前記連写画像中の合成開始位置から合成終了位置までの画像合成を行ない合成画像を生成し、合成した結果となる画像を前記二次記録手段に記録する編集モードを備えることを特徴とする。
(14)上記(13)のプログラムにおいて、前記連写モードでは、入力された複数の画像と共に、全体で1つ、または、変化発生毎に、または各画像毎に撮影時のカメラの状態を示す情報である撮影情報を二次記憶に記録し、前記編集モードでの合成処理では、前記撮影情報を利用して合成を行うとしてもよい。
(15)上記(13)又は(14)のプログラムにおいて、前記連写モードでは、合成に必要となる情報である合成情報を初期化し、入力された複数の画像と共に合成情報を二次記憶手段に記録し、前記編集モードでは、前記合成情報を読み出して合成処理を初期化し、合成情報変更時または、合成した結果となる画像の二次記憶への記録時に二次記憶に記録された合成情報を更新するとしてもよい。
(16)本発明では、連写モードで撮影されたデータと他のモードで撮影された画像を区別するための連写画像識別情報を連写モードでの撮影時に連写された画像データと共に二次記憶装置に記録し、編集モードでの合成時には、この連写画像識別情報を利用して合成対象となる連写画像を二次記憶装置から取り出し、合成処理を行う。
これにより、連写モードで撮影された画像データのみが合成処理の対象となり、撮り貯め後に編集する場合であっても、連写されたデータのみを選択、編集可能とする。また、連写モードで撮影した画像を取り外し可能な二次記憶装置に保存することにより、撮像装置の内蔵メモリのサイズの制限以上の枚数の連写が可能となる。
これにより秒100枚といった高速連写時でも例えば内蔵メモリの容量を越えて数秒にわたる連写画像を記録しておくことが可能となる。
(17)また、本発明では、連写モードでは撮影された複数の画像に加え、撮影時のカメラの状態を示す撮影情報を記録しておき、編集モードでの合成処理では、この撮影情報を利用して合成画像を生成するので、撮影状態に合わせた合成処理を行うことが可能となる。これにより、連写時のカメラの状態により合成処理の内容を変更することが可能になり、より好ましい合成が可能となる。
(18)本発明では、連写モードにおいて合成に必要となる合成情報を初期化して記録しておき、編集モードでは合成前に記録された合成情報を参照して初期化を行ない、合成処理により画像を生成した時点の合成情報により合成情報を更新する。これにより、再度編集モードで合成を行う場合には、以前の合成時の設定から処理を開始することができるようになる。
(19)本発明では、撮影ボタンにより撮影の開始と終了を指示し、指示された期間に撮像素子より入力された所定の時間間隔の画像と各画像の撮影時のカメラの状態を示す撮影情報が記録され、撮影された画像のうち、合成開始位置から合成終了位置までの画像を撮影情報を利用して合成する。これにより、各画像の撮影時の情報を利用した合成ができるようになり、より好ましい画像が生成できる。
(20)本発明では、前記撮影情報に露出情報が含まれ、合成処理で合成された画像が適正露出になるように各画像に対するゲインが調整される。これにより、例えば、合成枚数にあわせたゲインの調整ができるようになり、ノイズ成分などを削減しながら好ましい合成画像が生成できる。
(21)本発明では、前記撮影情報に連写速度が含まれ、合成枚数に応じて表示および生成する画像に埋め込むシャッター速度を変更する。これにより、ユーザに現在の合成画像がどのようなシャッター速度の画像と同じであるのかを示すことができ、また、シャッター速度として補正された値が生成された画像に記録されるようになる。
(22)本発明によれば、連写モードで撮影したデータの再編集が可能となる。
本発明は、撮像装置、又は、画像処理を行う情報処理装置を製造及び販売する産業において、経営的、継続的、反復的に利用可能である。
本発明にかかる撮像装置、撮像装置の画像処理方法およびプログラムは、連写撮影された画像を2次記憶装置に保存し、連写された画像に対して合成処理を行うことでスローシャッター撮影の効果を高速連写で実現することができる。また、連写画像を2次記憶に保存しておき、後で編集可能とすることで合成画像を何度でも作成することができる。これらの機能はデジタルカメラなどの撮影において有用である。
1 撮像装置
101 電源スイッチ
102 シャッターボタン
103 ズームレバー
104 モードダイアル
105 レンズ
106 露出固定ボタン
107〜111 機能ボタン
112 MENU/決定ボタン
113 削除ボタン
114 表示ボタン
115 液晶モニタ
300 撮影レンズ
301 メカニズム
302 撮像素子
303 フロントエンド
304 DSP
305 圧縮/伸張回路
306 メモリカード
308 フラッシュメモリ
309 CPU
310 DRAM
311 シャッタードライバ
312 ズームドライバ
313 フォーカスドライバ
351 撮像部
352 機能実行部
355 連写プログラム
356 編集プログラム
361 第1処理部
362 第2処理部
371 連写制御部
372 第1書込部
373 速度設定部
375 設定部
376 繰返制御部
377 識別情報生成部
381 編集処理部
382 第2書込部
391 指示受付部
392 検索部
393 パラメータ更新部
394 合成部
395 出力制御部

Claims (25)

  1. 複数の静止画像を連続的に生成し、前記静止画像から合成画像を生成する撮像装置であって、
    連写撮影の指示を行う撮影ボタンと、
    入射光から静止画像データを生成する撮像手段と、
    生成された前記静止画像データを記録媒体に書き込む静止画像データ書込手段と、
    連写撮影で得られた連続する複数の静止画像データを用いて、1の合成画像を生成する編集手段と、
    前記撮影ボタンの押下により連写撮影の指示がなされている期間中、前記撮像手段及び前記静止画像データ書込手段を繰返し制御して、連写撮影により得られる静止画像データを前記記録媒体へ順次保持する処理を行い、連写による撮影が終了すると、新たな指示を待ち受ける状態に転じ、その後、連写撮影で得られた連続する複数の静止画像データから1の合成画像の生成の開始を指示する旨を受け付けると、前記編集手段を制御して、前記記録媒体に記録されている連写撮影で得られた連続する複数の静止画像データを用いて、1の合成画像を生成する処理を行う制御手段とを備え、
    前記制御手段は、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、連写時のシャッター速度を示す連写シャッター速度を前記記録媒体に書き込み、
    前記編集手段は、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする撮像装置。
  2. 前記制御手段は、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データを1つのグループとなるよう、連写を示す連写モード識別情報を対応付けて前記記録媒体に書き込み、
    前記編集手段は、
    前記連写モード識別情報に対応付けて前記記録媒体に記録されている1以上の前記静止画像データを用いて、前記合成画像を生成する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記編集手段は、
    生成された前記全ての静止画像データのうち、第1の静止画像データと第2の静止画像データとを決定する決定部と、
    前記第1の静止画像データを先頭とし、前記第2の静止画像データを末尾とすることにより、定まる一連の静止画像データを前記記録媒体から取得する取得部と、
    取得した一連の静止画像データを合成して、前記合成画像を生成する合成部と
    を備えることを特徴とする請求項2に記載の撮像装置。
  4. 前記合成部は、
    取得した一連の静止画像データそれぞれから得られる各静止画像における同一の位置に配置されている画素の画素値を取得し、
    取得した画素値それぞれに対して輝度調整を行い、輝度調整された各画素値に基づいて、生成されるべき合成画像において前記位置に配置された画素の画素値を決定し、生成されるべき合成画像を形成する全ての画素の決定されるように、前記静止画像データそれぞれから画素値の取得、及び画素値の決定を繰り返すことで、前記合成画像を生成する
    ことを特徴とする請求項3に記載の撮像装置。
  5. 前記合成部は、
    取得した一連の静止画像データのそれぞれから取得した各画素値を、当該画素値が属する静止画像データの状況に応じて、輝度調整をして調整画素値を算出し、
    算出された全ての調整画素値の平均値に基づいて、生成されるべき合成画像において前記位置に配置された画素の画素値を決定する
    ことを特徴とする請求項4に記載の撮像装置。
  6. 前記静止画像データ書込手段は、前記静止画像データに対して、前記連写による撮影順序を示す連写番号を付与して前記記録媒体に書き込み、
    前記合成部は、
    Figure 0005118129
    数式1により生成されるべき合成画像の座標(x,y)の画素値P'(x,y)を算出することにより、生成されるべき合成画像における前記座標(x,y)が示す位置の画素を生成する
    ことを特徴とする請求項5に記載の撮像装置。
    aは前記第1の静止画像データに付与された第1の連写番号、bは前記第2の静止画像データに付与された第2の連写番号、Pi(x,y)は連写番号がi番である静止画像データが示す静止画像における座標(x,y)が示す画素に対する画素値、αi(x,y)はi番目の静止画像データが示す静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数、及びβ(x,y)は合成後の静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数である。
  7. 前記静止画像データ書込手段は、前記静止画像データに対して、前記連写による撮影順序を示す連写番号を付与して前記記録媒体に書き込み、
    前記合成部は、
    Figure 0005118129
    数式2により合成画像の座標(x,y)それぞれの画素値P'(x,y)を算出することにより、合成画像における前記座標(x,y)が示す位置の画素を生成する
    ことを特徴とする請求項5に記載の撮像装置。
    aは前記第1の静止画像データに付与された第1の連写番号、bは前記第2の静止画像データに付与された第2の連写番号、Pi(x,y)は連写番号がi番である静止画像データが示す静止画像における座標(x,y)が示す画素に対する画素値、αiはi番目の静止画像に設定する輝度調整用の定数、及びβは合成後の静止画像に設定する輝度調整用の定数である。
  8. 前記制御手段は、前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成及び書き込みがされる静止画像データ毎に、予め定められた露出値に基づいて撮影時に設定された露出情報を対応付け、
    前記静止画像データ書込手段は、生成された静止画像データを前記記録媒体に書き込む際に、前記制御情報により対応付けられた露出情報をも前記記録媒体に書き込み、
    前記合成部は、
    合成画像を生成する際に、取得した一連の静止画像データそれぞれに対応する露出情報を用いて、生成すべき合成画像の明るさが適正露出となるよう補正して前記合成画像を生成する
    ことを特徴とする請求項4に記載の撮像装置。
  9. 前記合成部は、
    取得した一連の静止画像データのそれぞれから取得した各画素値を、当該画素値が属する静止画像データの状況に応じて、輝度調整をして調整画素値を算出し、
    算出された全ての調整画素値と、取得した一連の静止画像データのそれぞれに対応する露出情報とを用いて、生成されるべき合成画像において前記位置に配置された画素の画素値を決定する
    ことを特徴とする請求項8に記載の撮像装置。
  10. 前記静止画像データ書込手段は、前記静止画像データに対して、前記連写による撮影順序を示す連写番号を付与して前記記録媒体に書き込み、
    前記合成部は、
    Figure 0005118129
    数式3により生成されるべき合成画像の座標(x,y)の画素値P'(x,y)を算出することにより、生成されるべき合成画像における前記座標(x,y)が示す位置の画素を生成する
    ことを特徴とする請求項9に記載の撮像装置。
    aは前記第1の静止画像データに付与された第1の連写番号、bは前記第2の静止画像データに付与された第2の連写番号、Pi(x,y)は連写番号がi番である静止画像データが示す静止画像における座標(x,y)が示す画素に対する画素値、Eiはi番目の静止画像に対応付けられた露出情報、αiはi番目の静止画像データが示す静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数、βは合成後の静止画像における座標(x,y)が示す画素に設定する輝度調整用の定数である。
  11. 前記制御手段は、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、予め定められた第1の初期値第2の初期値それぞれを第1及び第2の情報として前記記録媒体に書き込み、
    前記決定部は、
    前記第1及び前記第2の情報を取得して、保持することにより、前記第1及び第2の静止画像データを決定し、
    前記取得部は、さらに、
    前記第1の情報にて示される前記第1の静止画像データを先頭とし、前記第2の情報にて示される前記第2の静止画像データを末尾とする
    ことを特徴とする請求項3に記載の撮像装置。
  12. 前記決定部は、さらに、
    ユーザから前記第1及び第2の情報のうち少なくとも何れかの変更指示を受け付けると、前記変更指示に応じて、保持している第1及び第2の情報のうち少なくとも何れかを更新し、
    前記撮像装置は、さらに、
    前記記録媒体に記録されている更新対象の情報を、前記決定部にて保持している更新された情報へと書き換える情報書込手段を備える
    ことを特徴とする請求項11に記載の撮像装置。
  13. 前記記録媒体には、前記連写とは異なる撮影により生成された別の静止画像データが記録されており、
    前記決定部は、
    前記連写モード識別情報に対応付けられた1以上の静止画像データから構成される静止画像データ群を特定し、特定した前記静止画像データ群から前記第1及び前記第2の静止画像データを決定する
    ことを特徴とする請求項3に記載の撮像装置。
  14. 前記連写モード識別情報は、複数の前記静止画像データが格納されている場所を示すディレクトリ名であり、
    前記決定部は、前記連写モード識別情報にて示されるディレクトリを検索して、前記静止画像データ群を特定する
    ことを特徴とする請求項13に記載の撮像装置。
  15. 前記撮像装置は、さらに
    記連写シャッター速度と前記合成シャッター速度とを表示する表示手段を備える
    ことを特徴とする請求項1に記載の撮像装置。
  16. 前記撮像装置は、さらに、
    生成した前記合成画像を形成する合成画像データと、前記編集手段により当該合成画像データに対して算出された合成シャッター速度とを対応付けて所定の記憶領域に書き込む合成画像データ書込手段を備える
    ことを特徴とする請求項15に記載の撮像装置。
  17. 前記撮像装置は、さらに、
    前記編集手段にて生成された前記合成画像を形成する合成画像データを所定の記憶領域に書き込む合成画像データ書込手段を備える
    ことを特徴とする請求項1に記載の撮像装置。
  18. 前記所定の記憶領域は、前記記録媒体内に存在する
    ことを特徴とする請求項17に記載の撮像装置。
  19. 複数の静止画像を連続的に生成し、前記静止画像から合成画像を生成する撮像装置であって、
    撮影ボタンの押下により連写撮影の指示がなされている期間中、入射光から静止画像データを生成する撮像手段及び生成された前記静止画像データを記録媒体に書き込む静止画像データ書込手段を繰返し制御して、連写撮影により得られる静止画像データを前記記録媒体へ順次保持する処理を行う連写モードと、
    連写撮影で得られた連続する複数の静止画像データから1の合成画像の生成の開始を指示する旨を受け付けると、前記記録媒体に記録されている連写撮影で得られた連続する前記静止画像データを用いて、1の合成画像を生成する編集モードと、
    ユーザ操作により前記連写モードと前記編集モードとを切り替える制御手段とを備え、
    前記連写モードは、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、連写時のシャッター速度を示す連写シャッター速度を前記記録媒体に書き込み、
    前記編集モードは、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする撮像装置。
  20. 連写撮影で連続的に生成された複数の静止画像から合成画像を生成する編集装置であって、
    連写撮影で得られた連続する複数の静止画像データから1の合成画像の生成の指示を受け付ける受付手段と、
    前記指示を受け付けると、連写撮影で連続的に生成された複数の静止画像データを記録している記録媒体から、連写撮影で得られた連続する静止画像データを読み出す読出手段と、
    読み出した前記静止画像データを用いて、1の合成画像を生成する編集手段とを備え、
    前記複数の静止画像データそれぞれに対して、連写時のシャッター速度を示す連写シャッター速度が対応付けられており、
    前記編集手段は、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする編集装置。
  21. 複数の静止画像を連続的に生成し、前記静止画像から合成画像を生成する撮像装置で用いられる画像処理方法であって、
    前記撮像装置は、
    連写撮影の指示を行う撮影ボタンを備え、
    前記画像処理方法は、
    入射光から静止画像データを生成する撮像ステップと、
    生成された前記静止画像データを記録媒体に書き込む静止画像データ書込ステップと、
    連写撮影で得られた連続する複数の静止画像データを用いて、1の合成画像を生成する編集ステップと、
    前記撮影ボタンの押下により連写撮影の指示がなされている期間中、前記撮像ステップ及び前記静止画像データ書込ステップを繰返し制御して、連写撮影により得られる静止画像データを前記記録媒体へ順次保持する処理を行い、連写による撮影が終了すると、新たな指示を待ち受ける状態に転じ、その後、連写撮影で得られた連続する複数の静止画像データから1の合成画像の生成の開始を指示する旨を受け付けると、前記編集ステップを制御して、前記記録媒体に記録されている連写撮影で得られた連続する複数の静止画像データを用いて、1の合成画像を生成する処理を行う制御ステップとを含み、
    前記制御ステップは、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、連写時のシャッター速度を示す連写シャッター速度を前記記録媒体に書き込み、
    前記編集ステップは、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする画像処理方法。
  22. 複数の静止画像を連続的に生成し、前記静止画像から合成画像を生成する撮像装置で用いられる画像処理のためのコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
    前記撮像装置は、
    連写撮影の指示を行う撮影ボタンを備え、
    前記記録媒体は、コンピュータに対して、
    入射光から静止画像データを生成する撮像ステップと、
    生成された前記静止画像データを記録媒体に書き込む静止画像データ書込ステップと、
    連写撮影で得られた連続する複数の静止画像データを用いて、1の合成画像を生成する編集ステップと、
    前記撮影ボタンの押下により連写撮影の指示がなされている期間中、前記撮像ステップ及び前記静止画像データ書込ステップを繰返し制御して、連写撮影により得られる静止画像データを前記記録媒体へ順次保持する処理を行い、連写による撮影が終了すると、新たな指示を待ち受ける状態に転じ、その後、連写撮影で得られた連続する複数の静止画像データから1の合成画像の生成の開始を指示する旨を受け付けると、前記編集ステップを制御して、前記記録媒体に記録されている連写撮影で得られた連続する複数の静止画像データを用いて、1の合成画像を生成する処理を行う制御ステップとを実行させるためのコンピュータプログラムを記録し、
    前記制御ステップは、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、連写時のシャッター速度を示す連写シャッター速度を前記記録媒体に書き込み、
    前記編集ステップは、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする記録媒体。
  23. 連写撮影で連続的に生成された複数の静止画像から合成画像を生成する編集装置で用いられる編集方法であって、
    合成画像の生成の指示を受け付ける受付ステップと、
    前記指示を受け付けると、連写撮影で連続的に生成された複数の静止画像データを記録している記録媒体から、連写撮影で得られた連続する静止画像データを読み出す読出ステップと、
    読み出した前記静止画像データを用いて、1の合成画像を生成する編集ステップとを含み、
    前記複数の静止画像データそれぞれに対して、連写時のシャッター速度を示す連写シャッター速度が対応付けられており、
    前記編集ステップは、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする編集方法。
  24. 連写撮影で連続的に生成された複数の静止画像から合成画像を生成する編集装置で用いられる画像処理のためのコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体であって、
    前記記録媒体は、コンピュータに対して、
    合成画像の生成の指示を受け付ける受付ステップと、
    前記指示を受け付けると、連写撮影で連続的に生成された複数の静止画像データを記録している記録媒体から、連写撮影で得られた連続する静止画像データを読み出す読出ステップと、
    読み出した前記静止画像データを用いて、1の合成画像を生成する編集ステップとを実行させるためのコンピュータプログラムを記録し、
    前記複数の静止画像データそれぞれに対して、連写時のシャッター速度を示す連写シャッター速度が対応づけられており、
    前記編集ステップは、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする記録媒体。
  25. 複数の静止画像を連続的に生成し、前記静止画像から合成画像を生成する撮像装置であって、
    撮影ボタンの押下により連写撮影の指示がなされている期間中、入射光から静止画像データを生成する撮像手段及び生成された前記静止画像データを記録媒体に書き込む静止画像データ書込手段を繰返し制御して、連写撮影により得られる静止画像データを前記記録媒体へ順次保持する処理を行う連写撮影処理、1の静止画像データを生成し、前記記録媒体へ保持する処理を行う静止画像撮影処理、及び動画像データを生成し、前記記録媒体へ保持する処理を行う動画像撮影処理を含む撮影モードと、
    撮影された画像データの再生を行う再生モードと、
    ユーザ操作により前記撮影モードと前記再生モードとを切り替える制御手段と、
    前記制御手段にて前記再生モードに切り替えられると、過去に動画像撮影処理にて撮影された画像データにて生成される画像と、過去に静止画像撮影処理にて撮影された画像データにて生成される画像と、過去に連写撮影処理にて撮影された画像データにて生成される画像とを一覧表示する第1表示手段と、
    前記一覧表示において、ユーザ操作により1の静止画像の選択を受け付ける選択手段と、
    前記静止画像撮影処理にて撮影された第1の静止画像を選択されると、選択された前記第1の静止画像を表示し、前記動画像撮影処理にて撮影された第2の静止画像を選択されると、選択された前記第2の静止画像を含む動画像を再生表示し、前記連写撮影処理にて生成された第3の静止画像が選択されると、選択された第3の静止画像を含む連写撮影で得られた連続する複数の静止画像データを連続的に再生するか、又は前記複数の静止画像から1の合成画像を生成するかを問い合わせる旨を表示する第2表示手段と、
    前記第2表示手段にて前記問い合わせ表示中に、ユーザ操作により合成画像を生成する旨を受け付けると、前記記録媒体に記録され、且つ前記選択された第3の静止画像を含む連写撮影で得られた連続する前記静止画像データを用いて、1の合成画像を生成する編集手段とを備え、
    前記撮影モードは、さらに、
    前記撮像手段及び前記静止画像データ書込手段の繰返し制御により生成される全ての静止画像データに対応付けて、連写時のシャッター速度を示す連写シャッター速度を前記記録媒体に書き込み、
    前記編集手段は、さらに、
    前記連写シャッター速度に、前記合成画像の生成に用いられる静止画像データの数を乗算することにより、合成後のシャッター速度を示す合成シャッター速度を算出する
    ことを特徴とする撮像装置。
JP2009510749A 2007-03-06 2008-02-28 撮像装置、編集装置、画像処理方法及びプログラム Active JP5118129B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009510749A JP5118129B2 (ja) 2007-03-06 2008-02-28 撮像装置、編集装置、画像処理方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007055584 2007-03-06
JP2007055584 2007-03-06
JP2009510749A JP5118129B2 (ja) 2007-03-06 2008-02-28 撮像装置、編集装置、画像処理方法及びプログラム
PCT/JP2008/000387 WO2008129759A1 (ja) 2007-03-06 2008-02-28 撮像装置、編集装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2008129759A1 JPWO2008129759A1 (ja) 2010-07-22
JP5118129B2 true JP5118129B2 (ja) 2013-01-16

Family

ID=39875298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009510749A Active JP5118129B2 (ja) 2007-03-06 2008-02-28 撮像装置、編集装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (2) US8284270B2 (ja)
EP (2) EP2129111B1 (ja)
JP (1) JP5118129B2 (ja)
WO (1) WO2008129759A1 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5406519B2 (ja) * 2008-12-22 2014-02-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5436975B2 (ja) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
JP5489636B2 (ja) * 2009-10-19 2014-05-14 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム
JP2012065282A (ja) * 2010-09-17 2012-03-29 Panasonic Corp 画像表示装置、画像編集装置、画像表示プログラムおよび画像編集プログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8957982B2 (en) * 2011-10-04 2015-02-17 Olympus Imaging Corp. Imaging device and imaging method
WO2013118535A1 (ja) * 2012-02-06 2013-08-15 ソニー株式会社 撮像制御装置、画像処理装置、撮像制御方法及び画像処理方法
CN103379275B (zh) * 2012-04-16 2019-01-11 三星电子株式会社 摄像机的图像处理装置和方法
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169851A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6006002B2 (ja) * 2012-05-31 2016-10-12 オリンパス株式会社 撮像装置、撮像方法、および撮像制御プログラム
US9137428B2 (en) * 2012-06-01 2015-09-15 Microsoft Technology Licensing, Llc Storyboards for capturing images
US9148582B2 (en) * 2012-06-29 2015-09-29 Intel Corporation Method and system for perfect shot imaging from multiple images
KR101949218B1 (ko) 2012-09-25 2019-02-18 삼성전자 주식회사 휴대 단말기의 이미지 촬영 방법 및 장치
JP6172934B2 (ja) 2012-12-27 2017-08-02 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
US9491366B2 (en) * 2013-02-01 2016-11-08 Htc Corporation Electronic device and image composition method thereof
US9294687B2 (en) * 2013-12-06 2016-03-22 Intel Corporation Robust automatic exposure control using embedded data
WO2015121699A1 (en) * 2014-02-12 2015-08-20 Sony Corporation A method for presentation of images
US9106820B1 (en) * 2014-03-18 2015-08-11 Here Global B.V. Multi-stage trigger for capturing video images
US9678649B2 (en) * 2014-05-14 2017-06-13 Htc Corporation Method for displaying photos and electronic device for using the same
JP6451141B2 (ja) * 2014-08-19 2019-01-16 株式会社リコー 撮像装置
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10154196B2 (en) * 2015-05-26 2018-12-11 Microsoft Technology Licensing, Llc Adjusting length of living images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN108965706B (zh) * 2018-07-19 2020-07-07 北京微播视界科技有限公司 视频拍摄方法、装置、终端设备和存储介质
CN112291475B (zh) * 2020-10-30 2022-04-12 维沃移动通信(杭州)有限公司 拍照方法、装置及电子设备
US11729318B2 (en) * 2020-11-18 2023-08-15 Micron Technology, Inc. Directing communication of data from an image sensor
JPWO2022195910A1 (ja) * 2021-03-15 2022-09-22

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114403A (ja) * 1997-06-13 1999-01-06 Sanyo Electric Co Ltd ディジタルカメラ
JPH11146323A (ja) * 1997-09-02 1999-05-28 Casio Comput Co Ltd 画像再生装置、及び画像再生方法
JP2001268345A (ja) * 2000-03-17 2001-09-28 Ricoh Co Ltd 画像合成装置
JP2005086228A (ja) * 2003-09-04 2005-03-31 Casio Comput Co Ltd 撮像装置、画像処理方法及びプログラム
JP2005244724A (ja) * 2004-02-27 2005-09-08 Konica Minolta Photo Imaging Inc 表示制御プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9007790D0 (en) 1990-04-06 1990-06-06 Lines Valerie L Dynamic memory wordline driver scheme
JPH0686158A (ja) 1992-08-31 1994-03-25 Matsushita Electric Ind Co Ltd 画像編集装置
US6630949B1 (en) * 1992-12-01 2003-10-07 Canon Kabushiki Kaisha Image processing system and information processing apparatus
KR100227679B1 (ko) * 1994-06-15 1999-11-01 유무성 카메라의 피사계 심도 단계별 연속 촬영 장치 및 그 방법
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
JPH11331762A (ja) * 1998-05-14 1999-11-30 Fuji Photo Film Co Ltd 撮像装置
JP2001028726A (ja) 1999-07-13 2001-01-30 Canon Inc 電子カメラ、撮影方法及び記憶媒体
JP2001257925A (ja) * 2000-03-14 2001-09-21 Olympus Optical Co Ltd 電子カメラ
JP2003069888A (ja) 2001-08-23 2003-03-07 Nidec Copal Corp 多重撮影機能付デジタルカメラ
US20030086002A1 (en) * 2001-11-05 2003-05-08 Eastman Kodak Company Method and system for compositing images
JP4103129B2 (ja) * 2002-04-19 2008-06-18 ソニー株式会社 固体撮像装置および撮像方法
JP3700687B2 (ja) * 2002-07-08 2005-09-28 カシオ計算機株式会社 カメラ装置及び被写体の撮影方法
JP2004048421A (ja) 2002-07-12 2004-02-12 Minolta Co Ltd 撮像装置
JP2005045552A (ja) * 2003-07-22 2005-02-17 Canon Inc 撮像装置及び方法
JP2005077886A (ja) * 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP4533119B2 (ja) * 2004-12-13 2010-09-01 キヤノン株式会社 撮像装置及び撮像装置の画像表示方法
JP4569389B2 (ja) 2005-05-31 2010-10-27 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2007052646A (ja) * 2005-08-18 2007-03-01 Fujifilm Holdings Corp 画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法
CN101803366B (zh) * 2007-07-25 2015-01-14 坎德拉微***(S)私人有限公司 用于成像***的曝光控制

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114403A (ja) * 1997-06-13 1999-01-06 Sanyo Electric Co Ltd ディジタルカメラ
JPH11146323A (ja) * 1997-09-02 1999-05-28 Casio Comput Co Ltd 画像再生装置、及び画像再生方法
JP2001268345A (ja) * 2000-03-17 2001-09-28 Ricoh Co Ltd 画像合成装置
JP2005086228A (ja) * 2003-09-04 2005-03-31 Casio Comput Co Ltd 撮像装置、画像処理方法及びプログラム
JP2005244724A (ja) * 2004-02-27 2005-09-08 Konica Minolta Photo Imaging Inc 表示制御プログラム

Also Published As

Publication number Publication date
US20100026843A1 (en) 2010-02-04
EP2129111A4 (en) 2012-02-22
EP2541902A1 (en) 2013-01-02
EP2541902B1 (en) 2014-06-25
US8553092B2 (en) 2013-10-08
EP2129111B1 (en) 2013-01-09
US8284270B2 (en) 2012-10-09
EP2129111A1 (en) 2009-12-02
US20120212641A1 (en) 2012-08-23
WO2008129759A1 (ja) 2008-10-30
JPWO2008129759A1 (ja) 2010-07-22

Similar Documents

Publication Publication Date Title
JP5118129B2 (ja) 撮像装置、編集装置、画像処理方法及びプログラム
KR100634565B1 (ko) 촬영장치 및 촬영방법
JP5806623B2 (ja) 撮像装置、撮像方法およびプログラム
JP5126207B2 (ja) 撮像装置
JP4697078B2 (ja) 撮像装置及びそのプログラム
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4760725B2 (ja) 画像再生装置、画像表示方法及びプログラム
JP4671053B2 (ja) 画像記録装置及び画像記録方法
JP5266701B2 (ja) 撮像装置、被写体分離方法、およびプログラム
JP2002290831A (ja) 画像処理装置、表示装置、プログラムおよび記憶媒体
JP4725854B2 (ja) 画像表示装置及び画像表示方法
JP2007325152A (ja) 撮像装置及びそのプログラム
JP4349288B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4826480B2 (ja) 撮像装置、画像管理方法及びプログラム
JP2014049882A (ja) 撮像装置
JP2006165770A (ja) デジタルカメラ
JP2009044728A (ja) データ記録装置、およびカメラ
JP2004320487A (ja) デジタルカメラ
JP5151947B2 (ja) 撮影装置及びそのプログラム
JP2005072729A (ja) 電子カメラ及び画像撮影方法
JP4552631B2 (ja) デジタルカメラ
JP2008054128A (ja) 撮像装置、画像表示装置及びそのプログラム
JP2007096809A (ja) 撮像装置、動画記憶方法および動画記憶プログラム
JP4807446B2 (ja) 撮像装置、記録制御方法及びプログラム
JP2007213231A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121018

R150 Certificate of patent or registration of utility model

Ref document number: 5118129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350