JP2013121173A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2013121173A JP2013121173A JP2011269708A JP2011269708A JP2013121173A JP 2013121173 A JP2013121173 A JP 2013121173A JP 2011269708 A JP2011269708 A JP 2011269708A JP 2011269708 A JP2011269708 A JP 2011269708A JP 2013121173 A JP2013121173 A JP 2013121173A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- image
- frame
- unit
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体が高速で移動する場合であっても、鮮明な画像を撮影できる撮像装置を提供する。
【解決手段】第１光学系と第２光学系と、第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、第１撮像素子から第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と、第２撮像素子から第２電気信号を第１周期とは異なる第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と、第１映像信号および第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部を備える。
【選択図】図３
【解決手段】第１光学系と第２光学系と、第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、第１撮像素子から第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と、第２撮像素子から第２電気信号を第１周期とは異なる第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と、第１映像信号および第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部を備える。
【選択図】図３
Description
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。詳しくは、複数の撮像光学系と撮像素子を用いる撮像装置に関する。
立体画像の撮影などを目的として、複数（２つ）の撮像光学系と撮像素子を備えた撮像装置が市販されている。この種の撮像装置では、立体画像の撮影という機能以外にも、通常撮影時の動画や静止画の画質向上を目的とした機能が提案・実用化されている。例えば、特許文献１の画像撮像装置は、少なくとも静止画用撮像部と動画用撮像部を有する。そして、両者の出力を選択して記録する画像撮像装置である。これによって、適正なフレームレートの動画、あるは高精細な静止画を得ることができるとしている。また特許文献２には、露光量が異なる複数の画像を撮影し、それらを合成する撮像装置が開示されている。すなわち、複数の撮像光学系を用いて、露光の長い画像と、露光の短い画像を順次撮影した後、合成する手順が開示されている。これによって、視差のある広ダイナミックレンジな静止画（ＨＤＲ静止画）を提供すると記載されている。
しかしながら、スポーツ撮影やペット撮影などのように被写体が高速で移動する場合には、被写体ブレという課題あった。これは、被写体の移動により画質が劣化するものである。例えば動画を撮影している場合には、フレーム間隔である１／３０秒間の露光時間中に蓄積された画像が記録される。よって、被写体が高速で移動するとブレた画像となり、鮮明な画像を得ることが困難であった。あるいはスロー再生時に、被写体の細かい動きが確認できないという顕著な課題があった。同様にＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成においても、露光量の異なる画像間で被写体の位置が異なると、合成したＨＤＲ画像が不鮮明になるという課題があった。
そこで本発明は、被写体が高速で移動する場合であっても、被写体ブレなどによる画質劣化を防止し、鮮明な画像を撮影できる撮像装置を提供することを目的とする。
上記目的は、以下の撮像装置により達成される。すなわち、被写体を撮影する撮像装置であって、
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なる第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部とを備えるものである。
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なる第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部とを備えるものである。
本発明よれば、被写体が高速で移動する場合であっても、鮮明な画像を撮影できる撮像装置を提供することができる。
［実施の形態１］
図１の外観図に示すように、撮像装置１００は第１光学系１０１と第２光学系１０２を有している。撮像装置１００の上部には、シャッターボタン１０３が設けられ、静止画撮影時のタイミングを決定するようになっている。また動画撮影時には、このシャッターボタン１０３を押すことで撮影が開始され、再度シャッターボタン１０３を押すと撮影を終了するように構成されている。
図１の外観図に示すように、撮像装置１００は第１光学系１０１と第２光学系１０２を有している。撮像装置１００の上部には、シャッターボタン１０３が設けられ、静止画撮影時のタイミングを決定するようになっている。また動画撮影時には、このシャッターボタン１０３を押すことで撮影が開始され、再度シャッターボタン１０３を押すと撮影を終了するように構成されている。
また、シャッターボタン１０３の横には、切替ボタン１１０が設けられている。この切替ボタン１１０を横にスライドして、撮像装置１００の電源のＯＮ／ＯＦＦと動作モードを選択する。すなわち、電源ＯＦＦと、撮影モードと、再生モードの何れかを選択できる。
また図２の外観図に示すように、撮像装置１００は液晶画面１１１を有している。液晶画面１１１は撮影モード時にモニタ画面として機能する。また、先の切替ボタン１１０をスライドして、再生モードに切り替えた場合には、再生画像を表示するように構成されている。また、液晶画面１１１には、ユーザによる操作を検出するタッチパネル１１２が一体的に設けられている。これによってユーザは、液晶画面１１１に表示される各種メニューやボタンを選択できる。すなわち、タッチパネル１１２を介して、撮像装置１００の動作をコントロールできるように構成されている。
図３に撮像装置１００の構成をブロック図で示す。撮像装置１００は、第１光学系１０１と、第２光学系１０２と、第１撮像素子２０５と、第２撮像素子２０６とを備えている。第１光学系１０１はズーム光学系である。すなわち、第１ズームレンズ２０１が前後に移動することによって、撮影画角が変化（変倍）する。例えば、広角側と望遠側との画角を５倍に変えることができる。また、第１光学系１０１は、合焦位置を調整する第１フォーカスレンズ２０３を有している。第１フォーカスレンズ２０３が前後に動くことによって、近距離から無限遠まで合焦位置を変えることができる。
第１撮像素子２０５は第１光学系１０１が形成する光学的な像を第１電気信号２３１に変換する。第１映像信号処理部２０７は、この第１電気信号２３１を第１周期で第１撮像素子２０５から読み出す。例えば動画撮影時にはフレームレートとして一般的な１／３０秒の周期で画像を読み出す。第1映像信号処理部２０７は、第１電気信号２３１のノイズの除去や増幅処理を行い、第1映像信号２４１を出力する。第１映像信号２４１は、映像信号記録部２１３と後述の画像合成部２２２に送出される。
また第１映像信号処理部２０７は、第１映像信号２４１内の任意領域を切り出して第１コントラスト検出部２０９に送出する。この送出タイミングも第１周期毎に行う。第１コントラスト検出部２０９は、受け取った画像のコントラスト値を計算する。そしてコントラスト値の計算結果が最大となる位置に、第１光学系１０１の第１フォーカスレンズ２０３を位置決めする。すなわち、第１コントラスト検出部２０９の指令に基づいて、第１フォーカス駆動部２１１が第１フォーカスレンズ２０３を駆動する。 第２光学系１０２は第１光学系１０１とほぼ同じ構成を有している。第２光学系１０２はズーム光学系である。第２ズームレンズ２０２が前後に移動して撮影画角を変化（変倍）させる。また第２フォーカスレンズ２０４の移動によって合焦位置を調整する。
同様に、第２撮像素子２０６は第２光学系１０２が形成する光学的な像を第２電気信号２３２に変換する。第２映像信号処理部２０８は、この第２電気信号２３２を第１周期とは異なる第２周期で第２撮像素子２０６から読み出す。例えば第１周期が１／３０秒であった時に、１０倍高速な１／３００秒の周期で読み出す。第２映像信号処理部２０８は、第２電気信号２３２のノイズの除去や増幅処理を行い、第２映像信号２４２を出力する。第２映像信号２４２は、映像信号記録部２１３と後述の画像合成部２２２に送られる。
また第２映像信号処理部２０８は、第２映像信号２４２の任意領域を切り出して第２コントラスト検出部２１０に送出する。この送出タイミングも第２周期に一致させて行う。第２コントラスト検出部２１０は、受け取った画像のコントラスト値を第２周期毎に計算する。そして、第２コントラスト検出部２１０は、第２フォーカスレンズ２０４を駆動する第２フォーカス駆動部２１２を制御する。また第２コントラスト検出部２１０は、第１フォーカス駆動部２１１も制御できるように構成されている。
映像信号記録部２１３は、記憶媒体２２０に第１映像信号２４１と第２映像信号２４２を記録する。この際、第１映像信号２４１と第２映像信号２４２は、異なるフレームレートで記録媒体２２０に記録される。例えば、第１映像信号２４１を１秒あたり３０フレームで記録し、第２映像信号２４２は１秒あたり３００フレームで記録する。なお記憶媒体２２０としては、ＳＤカードなどの半導体メモリを用いる。ＳＤカードは可搬型半導体メモリの代表的例である。ＳＤカードをＴＶやＰＣなどに差し替えることができる。すなわち、撮像装置１００で記録した動画や静止画などを、ＴＶやＰＣなどで表示できる。
撮像装置１００の上部にある切替ボタン１１０を再生モードに切り替える。すると、映像信号再生部２２１が、記憶媒体２２０に記録された第１映像信号２４１および／または第２映像信号２４２を読み出す。そして、画像合成部２２２に送出する。画像合成部２２２は、第１映像信号２４１および／または第２映像信号２４２を受け取る。
また、切替ボタン１１０が撮影モードの場合には、第１映像信号処理部２０７と第２映像信号処理部２０８から受け取る。そして画像合成部２２２は、第１映像信号２４１および／または前記第２映像信号２４２を、選択および／または合成して第３映像信号２４３を出力する。例えば、第１映像信号２４１をそのまま第３映像信号２４３として出力する場合もある。あるいは、第２映像信号２４２だけを時間軸方向に積算合成した画像とする場合もある。あるいは、第１映像信号２４１と第２映像信号２４２を合成してＨＤＲ画像を第３映像信号２４３とする場合もある。第３映像信号２４３の内容については、各実施の形態の動作において詳細に説明する。
第３映像信号２４３は、画像出力部２２３に送出され、撮像装置１００の裏面にある液晶画面１１１に表示される。すなわち、液晶画面１１１は撮影モード時にモニタ画面として機能する。また、再生モードに切り替えた場合には、再生画像を表示するように構成されている。
なお画像出力部２２３には、図示しない出力端子も接続されており、ＴＶやＰＣなどの外部表示装置に画像を表示することが可能となっている。出力端子としては、ＲＣＡ端子などのアナログ系の出力端子や、ＨＤＭＩ規格などのデジタル出力端子を用いるのが一般的である。
また第３映像信号２４３は映像信号記録部２１３にも送出される。映像信号記録部２１３は、第３映像信号２４３を記録媒体２２０に記録できるように構成されている。このようにして記録媒体２２０に記録した第３映像信号２４３も、液晶画面１１１に表示することも可能である。すなわち映像信号再生部２２１が、記憶媒体２２０に記録された第３映像信号２４３を読み出す。そして、画像合成部２２２に送出する。画像合成部２２２は、第３映像信号２４３を画像出力部２２３に送出する。こうして、液晶画面１１１に第３映像信号２４３が表示される。
以上のように構成した実施の形態１の撮像装置１００の動画撮影時の動作について、図４のフローチャートを用いて順に説明する。以下では、第１周期を１秒あたりＮフレーム（Ｎフレーム毎秒）、第２周期を１秒あたりＭフレーム（Ｍフレーム毎秒）とフレームレートで表記する。また、第２周期は第１周期のＫ倍であると呼称する。Ｋ＝Ｍ／Ｎ倍である。これは、フレームレートがＫ倍という意味である。例えば、第１周期が１／３０秒、第２周期が１／３００秒とする。この時、Ｎ＝３０、Ｍ＝３００、Ｋ＝１０となる。
（ステップＳ１００）
ユーザが切替ボタン１１０を操作して撮影モードを選択する。そして、シャッターボタン１０３を押すと、動画撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が第１電気信号２３１に変換する。同様に、第２光学系１０２が形成する光学像を、第２撮像素子２０６が第２電気信号２３２に変換する。第１映像信号２４１のフレーム番号Ｉはゼロを初期値として与える。
ユーザが切替ボタン１１０を操作して撮影モードを選択する。そして、シャッターボタン１０３を押すと、動画撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が第１電気信号２３１に変換する。同様に、第２光学系１０２が形成する光学像を、第２撮像素子２０６が第２電気信号２３２に変換する。第１映像信号２４１のフレーム番号Ｉはゼロを初期値として与える。
（ステップＳ１０１）
第１映像信号２４１のフレーム番号Ｉを１進める。
第１映像信号２４１のフレーム番号Ｉを１進める。
（ステップＳ１０２）
第１映像信号処理部２０７が、第１電気信号２３１を第１周期（Ｎフレーム毎秒）で第１撮像素子２０５から読み出す。そして、ノイズの除去や増幅処理を行った第１映像信号２４１を、映像信号記録部２１３と画像合成部２２２に送出する。この際、第１映像信号２４１は、１枚の画像として送出されるので、これを第１映像信号２４１のＩフレーム目の画像と呼ぶ。
第１映像信号処理部２０７が、第１電気信号２３１を第１周期（Ｎフレーム毎秒）で第１撮像素子２０５から読み出す。そして、ノイズの除去や増幅処理を行った第１映像信号２４１を、映像信号記録部２１３と画像合成部２２２に送出する。この際、第１映像信号２４１は、１枚の画像として送出されるので、これを第１映像信号２４１のＩフレーム目の画像と呼ぶ。
（ステップＳ１０３）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。これによって、ユーザは液晶画面１１１に表示されたモニタ画像を見ながら撮影できる。
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。これによって、ユーザは液晶画面１１１に表示されたモニタ画像を見ながら撮影できる。
（ステップＳ１０４）
ステップＳ１０２と並行して、第２映像信号処理部２０８が第２電気信号２３１を第２周期（Ｍフレーム毎秒）で第２撮像素子２０６から読み出す。そして、ノイズの除去や増幅処理を行った第２映像信号２４２を映像信号記録部２１３に送出する。第２映像信号２４２も、１枚の画像として送出されるので、これを第２映像信号２４２のＪフレーム目の画像と呼ぶ。
ステップＳ１０２と並行して、第２映像信号処理部２０８が第２電気信号２３１を第２周期（Ｍフレーム毎秒）で第２撮像素子２０６から読み出す。そして、ノイズの除去や増幅処理を行った第２映像信号２４２を映像信号記録部２１３に送出する。第２映像信号２４２も、１枚の画像として送出されるので、これを第２映像信号２４２のＪフレーム目の画像と呼ぶ。
第２映像信号２４２は第２周期（Ｍフレーム毎秒）で読み出される。第２周期Ｍは、第１周期ＮのＫ倍としたので、フレームレートがＫ倍となる。よって、ステップＳ１０２にて第１映像信号２４１のＩフレーム目を読み出す間に、第２映像信号２４２はＫ回読み出す。すなわち、第２映像信号２４２のＪフレームから、Ｊ＋１フレーム、Ｊ＋２フレームと逐次読み出し、Ｊ＋Ｋ−１フレームまでのＫフレーム分の画像を読み出す。
なお、第２映像信号２４２のフレーム番号Ｊは、Ｋ＝Ｍ／Ｎの関係から、Ｊ＝Ｋ×Ｉを開始値とする。また第２映像信号２４２は、画像合成部２２２に出力しなくても良い。ステップＳ１０３にて説明したように、画像合成部２２２は、第１映像信号２４１だけを選択するからである。
（ステップＳ１０５）
映像信号記録部２１３は、第１映像信号２４１と第２映像信号２４２を記録媒体２２０に記録する。すなわち、ステップＳ１０２で取得した第１映像信号２４１のＩフレーム目の画像と、ステップＳ１０４で取得した第２映像信号２４２のＪ＝Ｋ×Ｉフレーム目からＪ＋Ｋ−１フレーム目までのＫ個の画像を記録する。これらは同一ファイルとして一括して記録してもよい。あるいは、第１映像信号２４１の画像と、第２映像信号２４２の画像を、それぞれ別ファイルとして記録しても良い。
映像信号記録部２１３は、第１映像信号２４１と第２映像信号２４２を記録媒体２２０に記録する。すなわち、ステップＳ１０２で取得した第１映像信号２４１のＩフレーム目の画像と、ステップＳ１０４で取得した第２映像信号２４２のＪ＝Ｋ×Ｉフレーム目からＪ＋Ｋ−１フレーム目までのＫ個の画像を記録する。これらは同一ファイルとして一括して記録してもよい。あるいは、第１映像信号２４１の画像と、第２映像信号２４２の画像を、それぞれ別ファイルとして記録しても良い。
また、第１映像信号２４１と第２映像信号２４２のフレーム位置関係を示す索引データ（インデックスデータ）を作成する。この索引データも映像信号記録部２１３が記憶媒体２２０に記録する。すなわち、第１映像信号２４１のＩフレーム目と、第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までが、同一時刻に撮影されたフレームであることを記録する。索引データは、第１映像信号２４１の画像と同じファイルに記録しても良い。あるいは、独立した別ファイルとして記録してもよい。
（ステップＳ１０６）
ユーザがシャッターボタン１０３を再度押した場合には、ステップＳ１０７に進んで動画撮影動作を終了する。シャッターボタン１０３の操作がない場合には、ステップＳ１０１に戻って動画撮影動作を継続する。
ユーザがシャッターボタン１０３を再度押した場合には、ステップＳ１０７に進んで動画撮影動作を終了する。シャッターボタン１０３の操作がない場合には、ステップＳ１０１に戻って動画撮影動作を継続する。
（ステップＳ１０７）
動画撮影動作を終了する。
動画撮影動作を終了する。
ステップＳ１０１〜Ｓ１０６の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。これによって、第１映像信号２４１はＮ個のフレーム画像が取得される。一方、第２映像信号２４２はＫ×Ｎフレームの画像が取得される。よって、第２映像信号２４２のフレームレートは、Ｍ＝Ｋ×Ｎになる。すなわち、第２周期Ｍになる。
また映像信号記録部２１３は、第１映像信号２４１を第１周期（Ｎフレーム毎秒）で記録媒体２２０へ記録する。また第２映像信号２４２を、第２周期（Ｍフレーム毎秒）で記録媒体２２０へ記録する。よって、第１映像信号２４１と第２映像信号２４２は、互いに異なるフレームレートで記録媒体２２０に記録される。
なお、第１周期Ｎと第２周期Ｍの倍数Ｋは整数でなくても良い。例えば、第１周期は１／３０秒、第２周期は１／１００秒である場合には、Ｎ＝３０、Ｍ＝１００、Ｋ＝３．３３としても良い。
また、上記の動画撮影動作では、第２映像信号２４２を連続して（途切れることなく）記録媒体２２０に記録したが、ユーザが指定したときだけ断続的に記録しても良い。すなわち、ユーザの指定が無い場合には、第１映像信号２４１だけを記録する。そして、ユーザが指定した時間帯だけ第２映像信号２４２を記録する。例えば、１００ｍ走を撮影する場合を考える。スタートラインに静止するまでは、被写体が高速で動くことはない。よって、第１映像信号２４１だけを記録する。いよいよスタートという段階で、ユーザ（撮影者）が開始を指定し、第２映像信号２４２の記録を開始する。被写体がゴールラインを超えた後、ユーザが終了を指定して第２映像信号２４２の記録を停止する。この間も第１映像寝具２４１は連続して途切れることなく記録する。このように、第２映像信号２４２を断続的に記録すれば、記憶媒体２２０に記録される第２映像信号２４２の記録容量が少なくなる。よって、より長時間の撮影が可能になるという利点がある。
この時（断続的に第２映像信号２４２を記録する場合）、映像信号記録部２１３に所定時間のリングバッファを用意しておくとさらによい。すなわち、第２映像信号２４２の画像は、常にリングバッファに順次書き込む。ユーザが開始を指定した場合には、リングバッファに記録された所定時間前の画像から記録媒体２２０に記録する。例えば、ペット撮影などで、ペットが急に走りだした場合に、慌ててユーザが開始を指定する場合がある。このような場合でも、リングバッファに所定時間前の画像が記憶されているので、時間を遡って第２映像２４２を記録できるという利点がある。
また、第１映像信号２４１または第２映像信号２４２に対して、動き検出を行い、第２映像信号２４２の記録を自動的に行うように構成してもよい。すなわち、動き量を監視して、動き量が激しい時だけ第２映像信号２４２を記録する。登録された人物やペットの位置を検出して、その位置を追尾しているような場合には、それら被写体の動き量で判断すると特に有効である。また、このような場合にリングバッファを設けると、さらに効果的である。
さらにまた、動き量の大小に応じて第２周期を可変としてもよい。すなわち、第２映像信号２４２のフレームレートを変えてもよい。例えば、動き量が極端に大きい場合には、Ｋをさらに大きくＫ＝２０などとする。逆に動き量が大きくない場合には、Ｋ＝５とする。このようにして、第２周期（Ｍフレーム毎秒）を可変にしてもよい。
なお、断続的に第２映像信号２４２を記録する場合、索引データにも第２映像信号２４２の状態（記録の有無）を記録する。例えば、第１映像信号２４１だけを記録している時には、第１映像信号２４１のフレーム画像に対応する第２映像信号２４２は無いと記録する。一方、第２映像信号２４２が同時に記録されている時、第１映像信号２４１のＩ番目のフレーム画像と、第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までが、同一時刻に撮影されたフレームであると記録する。
次に、実施の形態１の撮像装置１００の動画再生時の動作について、図５のフローチャートを用いて順に説明する。
（ステップＳ２００）
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューから再生ボタンにタッチすると、タッチパネル１１２により検出されて、再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝１を初期値として与える。
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューから再生ボタンにタッチすると、タッチパネル１１２により検出されて、再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝１を初期値として与える。
（ステップＳ２０１）
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。
（ステップＳ２０２）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。
（ステップＳ２０３）
第１映像信号２４１のフレーム番号Ｉを１進める。
第１映像信号２４１のフレーム番号Ｉを１進める。
（ステップＳ２０４）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンにタッチすると、Ｓ２１４に進み再生動作を終了する。さもなくば、ステップＳ２０５に進む。
ユーザが液晶画面１１１に表示されるメニューから停止ボタンにタッチすると、Ｓ２１４に進み再生動作を終了する。さもなくば、ステップＳ２０５に進む。
（ステップＳ２０５）
ユーザが液晶画面１１１に表示されるメニューからスロー再生ボタンにタッチすると、Ｓ２０６に進み、スロー再生動作を開始する。ユーザによる操作がなければ、通常の再生動作を継続するためステップＳ２０１に戻る。
ユーザが液晶画面１１１に表示されるメニューからスロー再生ボタンにタッチすると、Ｓ２０６に進み、スロー再生動作を開始する。ユーザによる操作がなければ、通常の再生動作を継続するためステップＳ２０１に戻る。
ステップＳ２０１〜Ｓ２０５の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。これによって、第１光学系１０１で撮影した動画を、撮影動作時と同じ速度で再生できる。すなわち、ユーザは一般的なムービーやデジタルカメラと同様の動画を、実時間で視聴できる。
（ステップＳ２０６）
ユーザがスロー再生を指定した場合、第２映像信号２４２の記録状態を判定する。第２映像信号２４２が断続的に記録されている場合などを考慮しなくてはならないからである。そこで、映像信号再生部２２１は索引データを記録媒体２２０から読み出す。そして、再生中の第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ２０７に進む。存在しない場合は、「スロー再生はできません」と液晶画面１１１に表示して、ステップＳ２０１に戻る。
ユーザがスロー再生を指定した場合、第２映像信号２４２の記録状態を判定する。第２映像信号２４２が断続的に記録されている場合などを考慮しなくてはならないからである。そこで、映像信号再生部２２１は索引データを記録媒体２２０から読み出す。そして、再生中の第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ２０７に進む。存在しない場合は、「スロー再生はできません」と液晶画面１１１に表示して、ステップＳ２０１に戻る。
（ステップＳ２０７）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
（ステップＳ２０８）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目の画像を読み出す。そして、画像合成部２２２にＪフレーム目の画像を送る。
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目の画像を読み出す。そして、画像合成部２２２にＪフレーム目の画像を送る。
（ステップＳ２０９）
画像合成部２２２は、第２映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第２映像信号２４２のＪフレーム目の画像を液晶画面１１１に表示する。
画像合成部２２２は、第２映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第２映像信号２４２のＪフレーム目の画像を液晶画面１１１に表示する。
（ステップＳ２１０）
第２映像信号２４２のフレーム番号Ｊを１進める。
第２映像信号２４２のフレーム番号Ｊを１進める。
（ステップＳ２１１）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンにタッチすると、Ｓ２１４に進みスロー再生動作（および再生動作）を終了する。さもなくば、ステップＳ２１２に進む。
ユーザが液晶画面１１１に表示されるメニューから停止ボタンにタッチすると、Ｓ２１４に進みスロー再生動作（および再生動作）を終了する。さもなくば、ステップＳ２１２に進む。
（ステップＳ２１２）
ユーザが液晶画面１１１に表示されるメニューから通常再生ボタンにタッチすると、ステップＳ２１３に進み、通常の再生動作に戻る。また、第２映像信号２４２のＪフレーム目が存在しない場合もステップＳ２１３に進み、通常の再生動作に戻る。さもなくば、スロー再生動作を継続するためステップＳ２０８に戻る。
ユーザが液晶画面１１１に表示されるメニューから通常再生ボタンにタッチすると、ステップＳ２１３に進み、通常の再生動作に戻る。また、第２映像信号２４２のＪフレーム目が存在しない場合もステップＳ２１３に進み、通常の再生動作に戻る。さもなくば、スロー再生動作を継続するためステップＳ２０８に戻る。
ステップＳ２０８〜Ｓ２１２の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。これによって、第２光学系１０２で撮影した動画を、撮影動作時の１／Ｋ倍速度でスロー再生できる。
（ステップＳ２１３）
第１映像信号２４１のフレーム番号Ｉを、索引データを参照して設定する。すなわち、第２映像信号２４２のＪフレーム目の画像に対して、同時に撮影された第１映像信号２４１のフレーム画像の番号をＩとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｉ＝（Ｊ／Ｋ）により計算すれば良い。ここで、（Ａ）は実数Ａを超えない最大の整数を示すものとする。例えば、Ａ＝１０．２なら（Ａ）＝１０となる。第１映像信号のフレーム番号Ｉを設定した後、ステップＳ２０１に戻る。
第１映像信号２４１のフレーム番号Ｉを、索引データを参照して設定する。すなわち、第２映像信号２４２のＪフレーム目の画像に対して、同時に撮影された第１映像信号２４１のフレーム画像の番号をＩとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｉ＝（Ｊ／Ｋ）により計算すれば良い。ここで、（Ａ）は実数Ａを超えない最大の整数を示すものとする。例えば、Ａ＝１０．２なら（Ａ）＝１０となる。第１映像信号のフレーム番号Ｉを設定した後、ステップＳ２０１に戻る。
（ステップＳ２１４）
スロー再生動作および再生動作を終了する。
スロー再生動作および再生動作を終了する。
以上説明したように、実施の形態１の撮像装置１００は、第１映像信号２４１と第２映像信号２４２を互いに異なるフレームレートで記録媒体２２０に記録する。すなわち映像信号記録部２１３は、第１映像信号２４１を第１周期（Ｎフレーム毎秒）で記録媒体２２０へ記録する。また第２映像信号２４２を、第２周期（Ｍフレーム毎秒）で記録媒体２２０へ記録する。これによって再生動作時には、第１映像信号２４１と第２映像信号２４２を選択して再生できる。
また、第２映像信号２４２は第１周期（Ｎフレーム毎秒）のＫ倍の第２周期（Ｍフレーム毎秒）で記録する。よって、第２映像信号２４２の各フレーム画像の露光時間は１／Ｋ倍に短くなる。これにより、被写体が高速で移動している場合でも、第２映像信号２４２のフレーム画像では被写体ブレがほとんど無い。
しかも第２映像信号はフレーム数がＫ倍の動画となる。よって、第１周期で第２映像信号２４２を再生するだけで、１／Ｋ倍速のスロー再生が実現できる。しかも、フレーム数がＫ倍となるので、第１映像信号２４１を用いた場合に比べて、単位時間当たりＫ倍のフレームを表示できる。よって、被写体の細かな動きを容易に確認できるという効果がある。
また、第１映像信号２４１と第２映像信号２４２のフレーム位置関係を示す索引データを作成している。ユーザが第１映像信号２４１を再生中に、スロー再生動作を指定する。すると、索引データを参照して、直ちに対応する第２映像信号２４２のフレーム番号が設定される。よって、シームレスに第２映像信号２４２のスロー再生を開始できるという利点がある。
なお、本実施の形態１においては、スロー再生時に第２映像信号２４２を第１周期（Ｎフレーム毎秒）で表示したが、この表示周期は任意に変えてもよい。例えば、毎秒２×Ｎフレーム表示してもよい。毎秒０．５フレームと固定してもよい。
あるいは、ステップＳ２１０において、フレーム番号の更新をＪ＝Ｊ＋２などとしてもよい。すなわち、第２映像信号２４２の全てのフレーム画像を表示する必要はなく、間引き表示してもよい。
なお、本実施の形態１のステップＳ２０６においては、第２映像信号２４２の記録状態を判定している。ここで、対応する第２映像信号２４２が存在しない場合には、ステップＳ２０１に戻って通常再生を継続しているが、第１映像信号２４１を用いてスロー再生を行っても良い。
［実施の形態２］
実施の形態２の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。また、動画撮影動作も実施の形態１（図４）と同じであるので、説明を省略する。
実施の形態２の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。また、動画撮影動作も実施の形態１（図４）と同じであるので、説明を省略する。
実施の形態２の撮像装置１００の高画質再生時の動作について、図６のフローチャートを用いて順に説明する。
（ステップＳ３００）
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューから高画質再生ボタンにタッチすると、タッチパネル１１２により検出されて、高画質再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューから高画質再生ボタンにタッチすると、タッチパネル１１２により検出されて、高画質再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。
（ステップＳ３０１）
第１映像信号２４１のフレーム番号Ｉを１進める。
第１映像信号２４１のフレーム番号Ｉを１進める。
（ステップＳ３０２）
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ３０６に進み第２映像信号２４２の積算画像生成と再生動作を行う。存在しない場合は、ステップＳ３０３に進み第１映像信号２４１の再生を行う。
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ３０６に進み第２映像信号２４２の積算画像生成と再生動作を行う。存在しない場合は、ステップＳ３０３に進み第１映像信号２４１の再生を行う。
（ステップＳ３０３）
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。
（ステップＳ３０４）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。この際、液晶画面１１１に「通常再生」とオーバーラップ表示させるとよい。
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。この際、液晶画面１１１に「通常再生」とオーバーラップ表示させるとよい。
（ステップＳ３０５）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、Ｓ３１１に進み高画質再生動作を終了する。ユーザの操作がない場合にはステップＳ３０１に戻って再生動作を継続する。
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、Ｓ３１１に進み高画質再生動作を終了する。ユーザの操作がない場合にはステップＳ３０１に戻って再生動作を継続する。
以上のステップＳ３０１〜Ｓ３０５の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。
（ステップＳ３０６）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
（ステップＳ３０７）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。
（ステップＳ３０８）
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。
（ステップＳ３０９）
画像合成部２２２は、積算合成した画像を第３映像信号２４３（のＩフレーム目）の画像として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。
画像合成部２２２は、積算合成した画像を第３映像信号２４３（のＩフレーム目）の画像として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。
（ステップＳ３１０）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、Ｓ３１１に進み高画質再生動作を終了する。ユーザの操作がない場合にはステップＳ３０１に戻って再生動作を継続する。
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、Ｓ３１１に進み高画質再生動作を終了する。ユーザの操作がない場合にはステップＳ３０１に戻って再生動作を継続する。
以上のステップＳ３０１〜Ｓ３１０の処理も第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。
（ステップＳ３１１）
高画質再生動作を終了する。
高画質再生動作を終了する。
このようにして、第２映像信号２４２の積算画像を第３映像信号２４３として表示する。第２映像信号は第１周期（Ｎフレーム毎秒）のＫ倍の第２周期（Ｍフレーム毎秒）で記録する。第２映像信号２４２の各フレーム画像の露光時間は１／Ｋ倍に短くなる。よって、被写体が高速で移動している場合でも、第２映像信号２４２のフレーム画像では被写体ブレがほとんど無い。そこで、ステップＳ３０８においては、第２映像信号２４２の各フレーム間の動き検出を行い、動き量に応じた積算を行う。個々のフレーム画像の動きが少ない領域は、そのまま加算すればよい。被写体の動きが大きい部分は、動き量を考慮して被写***置を修正しながら加算してもよい。あるいは、動き量に応じて重み付け加算してもよい。こうして、第１映像信号２４１に比べて、被写体ブレの小さい鮮明な画像を合成できる。
あるいは、ステップＳ３０８においては、動き検出結果に応じて、積算する画像を選択することも可能である。例えば、第２映像信号２４２のＪフレーム目からＫ個のフレームのうち、先行するＫ１個のフレームでは動きが小さく、後続のＫ２個のフレームでは動きが大きい場合には、先行するＫ１個のフレームだけを積算しても良い。全フレームで動きが小さい場合には、Ｋ個全てのフレームを積算すればよい。全フレームで動きが大きいと判定した場合には、最もノイズの少ない画像を選択して、積算動作は行わずに第３映像信号２４３としてもよい。
また積算画像は、ランダムノイズを消去できるという特徴がある。個々のフレーム画像には、ランダムに発生するノイズが含まれる。しかし、発生位置がランダムであるので、複数の画像を積算合成することでこれをキャンセルできる。また、フレーム間の画像比較からノイズと思われる画素を検出して、周りの画素の輝度や色情報を用いて補間することも可能である。こうすれば、固定的なノイズを減らすことも可能である。
また、上述のような各種の積算方法から、最も高画質になる手法を逐次選びながら実施してもよい。あるいは、各積算方法を全て行って候補画像を複数作成してから最も高画質となる（すなわち被写体ブレが無く、ノイズが少ない）画像を選んでもよい。
このように、ステップＳ３０８において各種の積算方法を選択可能となるのは、再生時に積算処理を行うからである。一般に、記録媒体２２０として用いるＳＤカードなどの半導体メモリでは、記録時と再生時の速度が大きく異なることが知られている。すなわち、一定量のデジタルデータを書き込む速度（記録速度）は、それを読み出す速度（再生速度）の２〜１０倍程度遅い。高フレームレートの第２周期（Ｍフレーム毎秒）で第２映像信号２４２を記録する場合、記録するだけで大半の時間を要することになる。しかし、実施の形態２では再生時に第２映像信号２４２を積算しているので、記録媒体２２０から高速に読み出すことができる。よって、十分な処理時間を確保することができるという利点がある。
また第３映像信号２４３の再生フレームレートは、第１映像信号２４１と同じ第１周期（Ｎフレーム毎秒）に一致させているので、視聴対象を液晶画面１１１に限定する必要がない。通常、第１周期としては３０フレーム毎秒のフレームレートなどが常用される。この時、画像出力部２２３からの出力をＴＶやＰＣなどの外部機器に接続だけでよい。すると、第１映像信号２４１だけでなく第３映像信号２４３も視聴できる。すなわち、被写体ブレの小さい鮮明な画像を、多種多様な機器で視聴できるという利点がある。
次に、実施の形態２の撮像装置１００の待機状態における動作について、図７のフローチャートを用いて順に説明する。
（ステップＳ４００）
ユーザが切替ボタン１１０を操作して再生モードや撮影モードを選択した後、待機状態を長時間継続した場合、撮像装置１００は、待機時高画質記録動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。
ユーザが切替ボタン１１０を操作して再生モードや撮影モードを選択した後、待機状態を長時間継続した場合、撮像装置１００は、待機時高画質記録動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。
（ステップＳ４０１）
第１映像信号２４１のフレーム番号Ｉを１進める。
第１映像信号２４１のフレーム番号Ｉを１進める。
（ステップＳ４０２）
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ４０４に進み第２映像信号２４２の積算画像生成と記録動作を行う。存在しない場合は、ステップＳ４０３に進む。
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ４０４に進み第２映像信号２４２の積算画像生成と記録動作を行う。存在しない場合は、ステップＳ４０３に進む。
（ステップＳ４０３）
ユーザがシャッターボタン１０３や切替ボタン１１０を操作した場合、あるいはタッチパネル１１２を操作した場合には、もはや待機状態ではない。Ｓ４０９に進み待機時高画質記録動作を停止する。ユーザの操作がない場合にはステップＳ４０１に戻る。
ユーザがシャッターボタン１０３や切替ボタン１１０を操作した場合、あるいはタッチパネル１１２を操作した場合には、もはや待機状態ではない。Ｓ４０９に進み待機時高画質記録動作を停止する。ユーザの操作がない場合にはステップＳ４０１に戻る。
（ステップＳ４０４）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
（ステップＳ４０５）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。
（ステップＳ４０６）
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。積算方法はステップＳ３０８と同じ処理がよい。
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。積算方法はステップＳ３０８と同じ処理がよい。
（ステップＳ４０７）
画像合成部２２２は、積算合成した画像を第３映像信号２４３の画像として映像信号記録部２１３に出力する。映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。
画像合成部２２２は、積算合成した画像を第３映像信号２４３の画像として映像信号記録部２１３に出力する。映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。
また、第１映像信号２４１と第３映像信号２４３のフレーム位置関係を示す索引データ（インデックスデータ）を作成し、記憶媒体２２０に記録してもよい。すなわち、第１映像信号２４１のＩフレーム目と、第３映像信号２４３のＬフレーム目が同一時刻に撮影されたフレームであることを記録する。
（ステップＳ４０８）
ユーザがシャッターボタン１０３や切替ボタン１１０を操作した場合、あるいはタッチパネル１１２を操作した場合には、もはや待機状態ではない。Ｓ４０９に進み待機時高画質記録動作を停止する。ユーザの操作がない場合にはステップＳ４０１に戻る。
ユーザがシャッターボタン１０３や切替ボタン１１０を操作した場合、あるいはタッチパネル１１２を操作した場合には、もはや待機状態ではない。Ｓ４０９に進み待機時高画質記録動作を停止する。ユーザの操作がない場合にはステップＳ４０１に戻る。
以上のステップＳ４０１〜Ｓ４０８の処理は、任意の時間をかけて実施すればよい。すなわち、「１秒間にＮ回繰返し実行する」といった制約はない。
（ステップＳ４０９）
待機時高画質記録動作を終了する。
待機時高画質記録動作を終了する。
このようにして、待機時に第２映像信号２４２の積算画像を合成し、第３映像信号２４３として記録媒体２２０に記録する。待機時には再生時よりさらに時間的な余裕があるので、より高画質な（被写体ブレがなく鮮明な）画像を記録できる。
なお再生時には、索引データを参照して、記録済みの第３映像信号２４３の存在をまず確認し、存在する場合には映像信号再生部２２１がこれを読み出す。画像合成部２２２は読み出した第３映像信号２４３を選択して、画像出力部２２３に出力する。
なお、本実施の形態２においては、Ｋ個のフレーム画像から１個の積算画像を合成したが、複数の積算画像を合成することも可能である。例えばＫフレームのうち、３フレームずつをシフトしながら積算してもよい。すなわち、ＪとＪ＋１とＪ＋２フレームを積算した画像、Ｊ＋１とＪ＋２とＪ＋３フレームを積算した画像、Ｊ＋Ｋ−３とＪ＋Ｋ−２とＪ＋Ｋ−１フレームを積算した画像、と順次合成してもよい。こうして、Ｋ個の画像からＫ−２個の積算画像を合成する。このようにすれば、被写体ブレが無く、しかもランダムノイズなどを消去した鮮明な複数の画像を合成できる。このＫ−２個の（複数の）積算画像を第３映像信号２４３として、記録媒体２２０に記録する。すると、実施の形態１と同様のスロー再生も可能になる。すなわち、スロー再生が選択された時には、第３映像信号２４３を、実施の形態１の第２映像信号２４２として取り扱えばよい。より鮮明でノイズの少ない画像を用いたスロー再生が実現できる。
また、本実施の形態２では、動画撮影後の再生動作などについて説明を行ったが、本発明はそれに限られるものではない。静止画撮影や連写撮影時にも適用可能である。個々のフレーム画像を１枚の静止画とみなせばよい。
［実施の形態３］
実施の形態３の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。また、動画撮影動作も実施の形態１（図４）と同じであるので、説明を省略する。
実施の形態３の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。また、動画撮影動作も実施の形態１（図４）と同じであるので、説明を省略する。
実施の形態３の撮像装置１００のＨＤＲ再生時の動作について、図８のフローチャートを用いて順に説明する。
（ステップＳ５００）
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューからＨＤＲ再生ボタンにタッチすると、タッチパネル１１２により検出されて、ＨＤＲ再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。
ユーザが切替ボタン１１０を操作して再生モードを選択する。さらに液晶画面１１１に表示されるメニューからＨＤＲ再生ボタンにタッチすると、タッチパネル１１２により検出されて、ＨＤＲ再生動作を開始する。第１映像信号２４１のフレーム番号ＩはＩ＝０を初期値として与える。
（ステップＳ５０１）
第１映像信号２４１のフレーム番号Ｉを１進める。
第１映像信号２４１のフレーム番号Ｉを１進める。
（ステップＳ５０２）
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。
映像信号再生部２２１は、記録媒体２２０から第１映像信号２４１のＩフレーム目の画像を読み出す。そして、画像合成部２２２にＩフレーム目の画像を送る。
（ステップＳ５０３）
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ５０６に進みＨＤＲ画像生成と再生動作を行う。存在しない場合は、ステップＳ５０４に進み第１映像信号２４１の再生を行う。
第２映像信号２４２の記録状態を判定する。映像信号再生部２２１が索引データを記録媒体２２０から読み出す。そして、第１映像信号２４１のＩフレームに対応する第２映像信号２４２の記録結果が存在するかどうかを判定する。対応する第２映像信号２４２が存在する場合は、ステップＳ５０６に進みＨＤＲ画像生成と再生動作を行う。存在しない場合は、ステップＳ５０４に進み第１映像信号２４１の再生を行う。
（ステップＳ５０４）
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。
画像合成部２２２は、第１映像信号２４１だけを選択して、第３映像信号２４３として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３、すなわち第１映像信号２４１のＩフレーム目の画像を液晶画面１１１に表示する。
（ステップＳ５０５）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、ステップＳ５１２に進み再生動作を終了する。ユーザの操作がなければ、ステップＳ５０１に戻って再生動作を継続する。
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、ステップＳ５１２に進み再生動作を終了する。ユーザの操作がなければ、ステップＳ５０１に戻って再生動作を継続する。
以上のステップＳ５０１〜Ｓ５０５の処理を第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。
（ステップＳ５０６）
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
第２映像信号２４２のフレーム番号Ｊを、索引データを参照して設定する。すなわち、第１映像信号２４１のＩフレーム目に対して、同時に撮影された第２映像信号２４２の先頭フレーム画像の番号をＪとして設定する。例えば、第２映像信号２４２が連続的に（途切れることなく）記録媒体２２０に記録されていた場合には、Ｊ＝Ｋ×Ｉとなる。
（ステップＳ５０７）
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。
映像信号再生部２２１は、記録媒体２２０から第２映像信号２４２のＪフレーム目からＪ＋Ｋ−１フレーム目までのＫ個のフレーム画像を読み出す。そして、画像合成部２２２へ、読み出したＫ個のフレーム画像を送る。
（ステップＳ５０８）
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。積算方法は実施の形態２のステップＳ３０８と同じ処理がよい。
画像合成部２２２は、読み出したＫ個のフレーム画像を積算合成する。積算方法は実施の形態２のステップＳ３０８と同じ処理がよい。
（ステップＳ５０９）
画像合成部２２２は、第２映像信号２４２を積算合成した画像と、第１映像信号２４１のＩフレーム目の画像から、ＨＤＲ画像を合成する。
画像合成部２２２は、第２映像信号２４２を積算合成した画像と、第１映像信号２４１のＩフレーム目の画像から、ＨＤＲ画像を合成する。
（ステップＳ５１０）
合成したＨＤＲ画像を、第３映像信号２４３（のＩフレーム目）として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。
合成したＨＤＲ画像を、第３映像信号２４３（のＩフレーム目）として画像出力部２２３に出力する。画像出力部２２３は、この第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。
（ステップＳ５１１）
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、ステップＳ５１２に進みＨＤＲ再生動作を終了する。ユーザの操作がない場合にはステップＳ５０１に戻ってＨＤＲ再生動作を継続する。
ユーザが液晶画面１１１に表示されるメニューから停止ボタンなどにタッチすると、ステップＳ５１２に進みＨＤＲ再生動作を終了する。ユーザの操作がない場合にはステップＳ５０１に戻ってＨＤＲ再生動作を継続する。
以上のステップＳ５０１〜Ｓ５１１の処理も第１周期で繰返し実行する。すなわち、１秒間にＮ回繰返し実行する。
（ステップＳ５１２）
高画質再生動作を終了する。
高画質再生動作を終了する。
ステップＳ５０９におけるＨＤＲ画像（広ダイナミックレンジ画像）の合成は、例えば以下のように行う。第１映像信号２４１のＩフレーム目の画像は、長時間露光画像である。第２映像信号２４２のＪフレーム目からＫ個の画像を積算合成した画像は、短時間露光画像である。両画像を輝度信号と色差信号に分離して、各画像の適正露出領域を求める。次に、各適正露出領域に対して諧調補正を行う。そして、適正露出領域だけを使って、両画像を合成する。このようにして、長時間露光画像の適正露出領域と、短時間露光画像の適正露出領域を合成して広ダイナミックレンジな画像、ＨＤＲ画像が合成できる。
第１映像信号２４１と第２映像信号２４２は同時に撮影した画像であるので、被写体が高速で移動する場合であっても、被写体ブレの無いＨＤＲ画像を合成できる。しかもＨＤＲ動画として連続的に表示することも可能である。
また、一般に露光時間が短い画像ではノイズ成分が残りやすく、特にランダムノイズが目立つ場合が多い。しかし本実施の形態３では、短時間露出画像として、第２映像信号２４２の積算合成画像を用いているので、積載合成時にノイズを消去できる。これによって、ＨＤＲ合成画像のノイズも少なくできる。
また上記ＨＤＲ画像合成の処理過程においてもノイズが悪影響を及ぼす。ノイズ成分が顕著な画像では、適正露出範囲を誤る場合が多い。また、ノイズの輝度に誘引されて諧調補正を失敗する場合がある。しかし本実施の形態３では短時間露出画像のノイズが少ないので、適正露出範囲や諧調補正を精度良く実施でき、より鮮明なＨＤＲ合成画像が得られる。
なお実施の形態２と同様に、待機時にＨＤＲ画像合成処理を行っても良い。この場合には、画像合成部２２２がＨＤＲ画像を生成し、第３映像信号２４３として映像信号記録部２１３に出力する。映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。
さらに、実施の形態２において説明したように、例えば３フレームずつシフトしながら積算してもよい。これによって、Ｋ−２個の積算合成画像が生成できるので、それらを第１映像信号２４１のＩフレーム目の画像と個別に合成してもよい。すると、実施の形態１と同様のスロー再生も可能になる。すなわち、ＨＤＲ画像のスロー再生が可能になる。
また、本実施の形態３では、動画撮影後の再生動作などについて説明を行ったが、本発明はそれに限られるものではない。静止画撮影や連写撮影時にも適用可能である。個々のフレーム画像を１枚の静止画とみなせばよい。
［実施の形態４］
実施の形態４の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。
実施の形態４の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。
実施の形態４の撮像装置１００のＨＤＲ撮影動作時の動作について、図９のフローチャートを用いて順に説明する。
（ステップＳ６００）
ユーザが切替ボタン１１０を操作して撮影モードを選択する。さらに液晶画面１１１に表示されるメニューからＨＤＲ撮影ボタンにタッチすると、ＨＤＲ撮影モードに切り変わる。そして、シャッターボタン１０３を押すと、ＨＤＲ撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が第１電気信号２３１に変換する。同様に、第２光学系１０２が形成する光学像は、第２撮像素子２０６が第２電気信号２３２に変換する。第１映像信号２４１のフレーム番号Ｉはゼロを初期値として与える。
ユーザが切替ボタン１１０を操作して撮影モードを選択する。さらに液晶画面１１１に表示されるメニューからＨＤＲ撮影ボタンにタッチすると、ＨＤＲ撮影モードに切り変わる。そして、シャッターボタン１０３を押すと、ＨＤＲ撮影動作が開始される。すなわち、第１光学系１０１が形成する光学的な像を、第１撮像素子２０５が第１電気信号２３１に変換する。同様に、第２光学系１０２が形成する光学像は、第２撮像素子２０６が第２電気信号２３２に変換する。第１映像信号２４１のフレーム番号Ｉはゼロを初期値として与える。
（ステップＳ６０１）
第１映像信号２４１のフレーム番号Ｉを１進める。
第１映像信号２４１のフレーム番号Ｉを１進める。
（ステップＳ６０２）
第１映像信号処理部２０７が、第１電気信号２３１を第１周期（Ｎフレーム毎秒）で第１撮像素子２０５から読み出す。そして、ノイズの除去や増幅処理を行い、第１映像信号２４１のＩフレーム目の画像を、画像合成部２２２に送出する。
第１映像信号処理部２０７が、第１電気信号２３１を第１周期（Ｎフレーム毎秒）で第１撮像素子２０５から読み出す。そして、ノイズの除去や増幅処理を行い、第１映像信号２４１のＩフレーム目の画像を、画像合成部２２２に送出する。
（ステップＳ６０３）
ステップＳ６０２と並行して、第２映像信号処理部２０８が第２電気信号２３１を第２周期（Ｍフレーム毎秒）で第２撮像素子２０６から読み出す。そして、ノイズの除去や増幅処理を行い、第２映像信号２４２のＪフレームからＪ＋Ｋ−１フレームまでのＫフレーム分の画像を画像合成部２２２に送出する。なお、Ｊ＝Ｋ×Ｉである。
ステップＳ６０２と並行して、第２映像信号処理部２０８が第２電気信号２３１を第２周期（Ｍフレーム毎秒）で第２撮像素子２０６から読み出す。そして、ノイズの除去や増幅処理を行い、第２映像信号２４２のＪフレームからＪ＋Ｋ−１フレームまでのＫフレーム分の画像を画像合成部２２２に送出する。なお、Ｊ＝Ｋ×Ｉである。
（ステップＳ６０４）
画像合成部２２２は、受け取ったＫ個のフレーム画像を積算合成する。積算方法は実施の形態２のステップＳ３０８と同じ処理がよい。
画像合成部２２２は、受け取ったＫ個のフレーム画像を積算合成する。積算方法は実施の形態２のステップＳ３０８と同じ処理がよい。
（ステップＳ６０５）
画像合成部２２２は、第２映像信号２４２のＫ個のフレーム画像を積算合成した画像と、第１映像信号２４１のＩフレーム目の画像から、ＨＤＲ画像を合成する。そして、合成したＨＤＲ画像を、第３映像信号２４３（のＩフレーム目）として画像出力部２２３と映像信号記録部２１３に出力する。ＨＤＲ画像の合成方法は、実施の形態３のステップＳ５０９と同じ処理がよい。
画像合成部２２２は、第２映像信号２４２のＫ個のフレーム画像を積算合成した画像と、第１映像信号２４１のＩフレーム目の画像から、ＨＤＲ画像を合成する。そして、合成したＨＤＲ画像を、第３映像信号２４３（のＩフレーム目）として画像出力部２２３と映像信号記録部２１３に出力する。ＨＤＲ画像の合成方法は、実施の形態３のステップＳ５０９と同じ処理がよい。
（ステップＳ６０６）
画像出力部２２３は、受け取った第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。
画像出力部２２３は、受け取った第３映像信号２４３（のＩフレーム目）の画像を液晶画面１１１に表示する。
（ステップＳ６０７）
映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。 また、第１映像信号２４１と第３映像信号２４３のフレーム位置関係を示す索引データ（インデックスデータ）を作成し、記憶媒体２２０に記録してもよい。すなわち、第１映像信号２４１のＩフレーム目と、第３映像信号２４３のＬフレーム目が同一時刻に撮影されたフレームであることを記録する。
映像信号記録部２１３は、受け取った第３映像信号２４３を記録媒体２２０に記録する。 また、第１映像信号２４１と第３映像信号２４３のフレーム位置関係を示す索引データ（インデックスデータ）を作成し、記憶媒体２２０に記録してもよい。すなわち、第１映像信号２４１のＩフレーム目と、第３映像信号２４３のＬフレーム目が同一時刻に撮影されたフレームであることを記録する。
（ステップＳ６０８）
ユーザがシャッターボタン１０３を再度押した場合には、ステップＳ６０９に進んでＨＤＲ撮影動作を終了する。シャッターボタン１０３の操作がない場合には、ステップＳ６０１に戻ってＨＤＲ撮影動作を継続する。
ユーザがシャッターボタン１０３を再度押した場合には、ステップＳ６０９に進んでＨＤＲ撮影動作を終了する。シャッターボタン１０３の操作がない場合には、ステップＳ６０１に戻ってＨＤＲ撮影動作を継続する。
（ステップＳ６０９）
ＨＤＲ撮影動作を終了する。
ＨＤＲ撮影動作を終了する。
以上のように本実施の形態４においては、撮影時に積算画像の合成とＨＤＲ画像合成処理を実施し、その結果を液晶画面１１１に表示している。よって、ユーザがＨＤＲ画像の合成結果を確認しながら撮影を継続できるという利点がある。
また、合成したＨＤＲ画像を第３映像信号２４３として記録媒体２２０に記録する。この第３映像信号２４３は、第１映像信号２４１と同じ第１周期のフレームレート（Ｎフレーム毎秒）で記録する。よって、記憶媒体２２０の容量を圧迫することなく長時間のＨＤＲ録画が可能になる。
なお、ステップＳ６０５をスキップして（実施しないで）、第２映像信号２４２の積算画像による高画質動画を、第３映像信号２４３として表示および記録してもよい。
また、本実施の形態４では、動画撮影時の動作などについて説明を行ったが、本発明はそれに限られるものではない。静止画撮影や連写撮影時にも適用可能である。個々のフレーム画像を１枚の静止画とみなせばよい。
［実施の形態５］
実施の形態５の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。
実施の形態５の撮像装置１００の構成は、図１、図２、図３に示す実施の形態１と同じであるので、説明を省略する。
実施の形態５の撮像装置１００のＡＦ（オートフォーカス）動作について、図１０のフローチャートを用いて順に説明する。
（ステップＳ７００）
ユーザが切替ボタン１１０を操作して撮影モードを選択すると、ＡＦ動作を開始する。
ユーザが切替ボタン１１０を操作して撮影モードを選択すると、ＡＦ動作を開始する。
（ステップＳ７０１）
第２撮像素子２０６は第２光学系１０２が形成する光学的な像を第２電気信号２３２に変換する。第２映像信号処理部２０８は、この第２電気信号２３２を第２周期で第２撮像素子２０６から読み出す。
第２撮像素子２０６は第２光学系１０２が形成する光学的な像を第２電気信号２３２に変換する。第２映像信号処理部２０８は、この第２電気信号２３２を第２周期で第２撮像素子２０６から読み出す。
（ステップＳ７０２）
第２映像信号処理部２０８は、第２映像信号２４２の任意領域を切り出して第２コントラスト検出部２１０に送出する。第２コントラスト検出部２１０は、受け取った画像のコントラスト値を計算する。
第２映像信号処理部２０８は、第２映像信号２４２の任意領域を切り出して第２コントラスト検出部２１０に送出する。第２コントラスト検出部２１０は、受け取った画像のコントラスト値を計算する。
（ステップＳ７０３）
第２コントラスト検出部２１０が計算したコントラスト値などから、第２光学系１０２の合焦状態を判定する。合焦していると判定した場合は、ステップＳ７０５へ進む。合焦状態が確定していなければ、ステップＳ７０４に進む。
第２コントラスト検出部２１０が計算したコントラスト値などから、第２光学系１０２の合焦状態を判定する。合焦していると判定した場合は、ステップＳ７０５へ進む。合焦状態が確定していなければ、ステップＳ７０４に進む。
（ステップＳ７０４）
第２フォーカス駆動部２１２を制御して、第２フォーカスレンズ２０４を移動させる。そして、ステップＳ７０１に戻る。
第２フォーカス駆動部２１２を制御して、第２フォーカスレンズ２０４を移動させる。そして、ステップＳ７０１に戻る。
以上のようにして、ステップＳ７０１〜Ｓ７０４の処理を第２周期で繰返し実行する。すなわち、１秒間にＭ回繰返し実行する。こうして、合焦サーチ動作を実行する。なお、合焦サーチ動作のアルゴリズムとしては、ウォブリング（微小振幅の振動）を使って、逐次コントラスト値を比較する山登り方式がよい。あるいは、一定区間をサーチして複数のコントラスト値を求めた後、コントラスト値のピーク位置を予測する方法でもよい。
（ステップＳ７０５）
合焦サーチ動作が完了したら、第２フォーカス駆動部２１２を制御して、第２フォーカスレンズ２０４を合焦位置に移動させる。同時に、第１フォーカス駆動部２１１を制御して、第１フォーカスレンズ２０３も合焦位置に移動させる。
合焦サーチ動作が完了したら、第２フォーカス駆動部２１２を制御して、第２フォーカスレンズ２０４を合焦位置に移動させる。同時に、第１フォーカス駆動部２１１を制御して、第１フォーカスレンズ２０３も合焦位置に移動させる。
（ステップＳ７０６）
ユーザが切替ボタン１１０を操作して電源ＯＦＦまたは再生モードを選択すると、ステップＳ７０７に進みＡＦ動作を終了する。ユーザの操作がない場合には、ステップＳ７０１に戻ってＡＦ動作を継続する。
ユーザが切替ボタン１１０を操作して電源ＯＦＦまたは再生モードを選択すると、ステップＳ７０７に進みＡＦ動作を終了する。ユーザの操作がない場合には、ステップＳ７０１に戻ってＡＦ動作を継続する。
（ステップＳ７０７）
ＡＦ動作を終了する。
ＡＦ動作を終了する。
以上のように本実施の形態５においては、第２光学系１０２のＡＦ動作を第２周期（Ｍフレーム毎秒）で行っているので、被写体の高速移動による合焦位置変化にも瞬時に対応できる。しかも第１周期（Ｎフレーム毎秒）で撮影している第１光学系１０１についても被写体の高速移動に伴う合焦ずれを解消できるという効果がある。すなわち、第１映像信号２４１のＩフレーム目の画像を露光中に、第２光学系１０２のＡＦ動作はＫ倍高速な第２周期で実施される。よって、第１映像信号２４１のＩフレーム目の露光が完了する前に、ＡＦサーチ動作を完了させて、第１フォーカス駆動部２１１を制御し、第１フォーカスレンズ２０３も第１光学系１０１の合焦位置に移動できる。
なお、第１周期と第２周期の関係は、必ずしもＭ＞Ｎとする必要はなく、Ｍ＜Ｎでもよい。例えば、太陽などの強い光源によって、背景の一部が非常に明るい場合に、光源と反対向きの被写体（例えば顔）が暗くなる場合がある。このような場合に被写体の顔に合焦させたい場合には、Ｍ＜Ｎとして第２光学系を長時間露光としてもよい。ＡＦの動作速度は遅くなるが、露光時間を長くできるので暗い顔にも正確に合焦することができる。
なお、第１コントラスト検出部２０９は、通常の動作を行えばよい。第１フォーカス駆動部２１１は、第１コントラスト検出部２０９の指令に従う。そして、第２コントラスト検出部２１０からの指令があった時だけ、これを優先すればよい。
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に好適である。
１００ 撮像装置
１０１ 第１光学系
１０２ 第２光学系
１０３ シャッターボタン
１１０ 切替ボタン
１１１ 液晶画面
１１２ タッチパネル
２０１ 第１ズームレンズ
２０２ 第２ズームレンズ
２０３ 第１フォーカスレンズ
２０４ 第２フォーカスレンズ
２０５ 第１撮像素子
２０６ 第２撮像素子
２０７ 第１映像信号処理部
２０８ 第２映像信号処理部
２０９ 第１コントラスト検出部
２１０ 第２コントラスト検出部
２１１ 第１フォーカス駆動部
２１２ 第２フォーカス駆動部
２１３ 映像信号記録部
２２０ 記録媒体
２２１ 映像信号再生部２２１
２２２ 画像合成部
２２３ 画像出力部
２３１ 第１電気信号
２３２ 第２電気信号
２４１ 第１映像信号
２４２ 第２映像信号
２４３ 第３映像信号
１０１ 第１光学系
１０２ 第２光学系
１０３ シャッターボタン
１１０ 切替ボタン
１１１ 液晶画面
１１２ タッチパネル
２０１ 第１ズームレンズ
２０２ 第２ズームレンズ
２０３ 第１フォーカスレンズ
２０４ 第２フォーカスレンズ
２０５ 第１撮像素子
２０６ 第２撮像素子
２０７ 第１映像信号処理部
２０８ 第２映像信号処理部
２０９ 第１コントラスト検出部
２１０ 第２コントラスト検出部
２１１ 第１フォーカス駆動部
２１２ 第２フォーカス駆動部
２１３ 映像信号記録部
２２０ 記録媒体
２２１ 映像信号再生部２２１
２２２ 画像合成部
２２３ 画像出力部
２３１ 第１電気信号
２３２ 第２電気信号
２４１ 第１映像信号
２４２ 第２映像信号
２４３ 第３映像信号
Claims (4)
- 被写体を撮影する撮像装置であって、
第１光学系と第２光学系と、
前記第１光学系で形成される光学像を第１電気信号に変換する第１撮像素子と、
前記第２光学系で形成される光学像を第２電気信号に変換する第２撮像素子と、
前記第１撮像素子から前記第１電気信号を第１周期で読み出し、第１映像信号を生成する第１映像信号処理部と、
前記第２撮像素子から前記第２電気信号を前記第１周期とは異なる第２周期で読み出し、第２映像信号を生成する第２映像信号処理部と、
前記第１映像信号および前記第２映像信号を互いに異なるフレームレートで記録媒体に記録する記録部と、を備える、
撮像装置。 - 前記記録媒体から、前記第１映像信号および／または前記第２映像信号を読み出す再生部と、をさらに備える、
請求項１に記載の撮像装置。 - 前記第１映像信号および／または前記第２映像信号を、選択および／または合成する画像合成部と、をさらに備える、
請求項１〜２に記載の撮像装置。 - 前記記録部は、前記画像合成部の出力を、前記記憶媒体に記録する、
請求項３に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011269708A JP6031670B2 (ja) | 2011-12-09 | 2011-12-09 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011269708A JP6031670B2 (ja) | 2011-12-09 | 2011-12-09 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013121173A true JP2013121173A (ja) | 2013-06-17 |
| JP6031670B2 JP6031670B2 (ja) | 2016-11-24 |
Family
ID=48773606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011269708A Expired - Fee Related JP6031670B2 (ja) | 2011-12-09 | 2011-12-09 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6031670B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018504790A (ja) * | 2015-12-08 | 2018-02-15 | ▲楽▼視控股（北京）有限公司Ｌｅ Ｈｏｌｄｉｎｇｓ（Ｂｅｉｊｉｎｇ）Ｃｏ．，Ｌｔｄ． | ハイダイナミックレンジ画像の生成方法及び装置 |
| JP2019165506A (ja) * | 2015-12-07 | 2019-09-26 | グーグル エルエルシー | マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法 |
| JP2020537382A (ja) * | 2017-11-30 | 2020-12-17 | オッポ広東移動通信有限公司Ｇｕａｎｇｄｏｎｇ Ｏｐｐｏ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．， Ｌｔｄ． | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 |
| JP7495411B2 (ja) | 2018-09-18 | 2024-06-04 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | エンハンスト画像センサのタイミングのための方法及びシステム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210035369A (ko) | 2019-09-23 | 2021-04-01 | 삼성전자주식회사 | 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003274358A (ja) * | 2002-03-14 | 2003-09-26 | Sony Corp | 撮像装置、撮像方法、撮像管理装置、撮像管理システム |
| JP2005124138A (ja) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | 動画生成装置、方法及びプログラム |
| JP2011205406A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 複眼カメラ |
| JP2011217394A (ja) * | 2008-04-03 | 2011-10-27 | Sony Corp | 再生制御装置及び再生制御方法並びにプログラム |
-
2011
- 2011-12-09 JP JP2011269708A patent/JP6031670B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003274358A (ja) * | 2002-03-14 | 2003-09-26 | Sony Corp | 撮像装置、撮像方法、撮像管理装置、撮像管理システム |
| JP2005124138A (ja) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | 動画生成装置、方法及びプログラム |
| JP2011217394A (ja) * | 2008-04-03 | 2011-10-27 | Sony Corp | 再生制御装置及び再生制御方法並びにプログラム |
| JP2011205406A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | 複眼カメラ |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016012225; 浜本隆之: '『撮像-画像処理-表示系の連携による高画質映像システム〜高ダイナミックレンジ化』' 映像情報メディア学会誌 第６５巻第１０号, 20111001, 第１３６９〜１３７２頁, （社）映像情報メディア学会 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019165506A (ja) * | 2015-12-07 | 2019-09-26 | グーグル エルエルシー | マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法 |
| JP7186672B2 (ja) | 2015-12-07 | 2022-12-09 | グーグル エルエルシー | マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法 |
| JP2018504790A (ja) * | 2015-12-08 | 2018-02-15 | ▲楽▼視控股（北京）有限公司Ｌｅ Ｈｏｌｄｉｎｇｓ（Ｂｅｉｊｉｎｇ）Ｃｏ．，Ｌｔｄ． | ハイダイナミックレンジ画像の生成方法及び装置 |
| JP2020537382A (ja) * | 2017-11-30 | 2020-12-17 | オッポ広東移動通信有限公司Ｇｕａｎｇｄｏｎｇ Ｏｐｐｏ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．， Ｌｔｄ． | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 |
| JP7145208B2 (ja) | 2017-11-30 | 2022-09-30 | オッポ広東移動通信有限公司 | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 |
| JP7495411B2 (ja) | 2018-09-18 | 2024-06-04 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | エンハンスト画像センサのタイミングのための方法及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6031670B2 (ja) | 2016-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7086571B2 (ja) | 撮像装置、レンズ装置およびこれらの制御方法 | |
| JP5806623B2 (ja) | 撮像装置、撮像方法およびプログラム | |
| JP5513024B2 (ja) | 撮像装置、ズーム補正情報作成方法およびプログラム | |
| US10234653B2 (en) | Imaging device with focus lens stopped at each of focus positions during video capturing | |
| JP2013123210A (ja) | 撮像装置 | |
| JP6031670B2 (ja) | 撮像装置 | |
| KR101626002B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
| JP2006162991A (ja) | 立体画像撮影装置 | |
| KR102172114B1 (ko) | 결합하는 동영상의 동영상 선별 장치, 동영상 선별 방법 및 기억 매체 | |
| JP2006303961A (ja) | 撮像装置 | |
| KR20120002834A (ko) | 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법 | |
| JP5013852B2 (ja) | 画角補正装置及び方法並びに撮像装置 | |
| JP2015139020A (ja) | 電子機器及び制御プログラム | |
| JP6188474B2 (ja) | ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体 | |
| JP5322817B2 (ja) | ３次元画像撮像装置及び３次元画像表示方法 | |
| US20130177287A1 (en) | Reproduction apparatus, image capturing apparatus, and program | |
| JP2019032370A (ja) | 撮像装置、及びその制御方法 | |
| KR101960508B1 (ko) | 디스플레이 장치 및 방법 | |
| JP2006157604A (ja) | カメラ装置及び自動撮影制御プログラム | |
| JPWO2017061095A1 (ja) | 撮像装置 | |
| WO2013065642A1 (ja) | 画像処理装置 | |
| JP5455485B2 (ja) | 撮像装置 | |
| JP6234103B2 (ja) | ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体 | |
| KR101946574B1 (ko) | 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체 | |
| KR101923185B1 (ko) | 디스플레이 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141006 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20141112 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160421 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160926 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6031670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |