<本技術を適用したディジタルカメラの一実施の形態>
図1は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。
図1において、ディジタルカメラは、光学系11、撮像装置12、ディジタル信号処理部13、表示装置14及び15、メモリ16、入力装置17、制御部18、センサ部19、並びに、ドライバIC(Integrated Circuit)20を有する。
光学系11は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、撮像装置12に入射させる。
撮像装置12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサで構成され、撮像を行う。すなわち、撮像装置12は、光学系11からの入射光を受光し、光電変換を行って、光学系11からの入射光に対応する電気信号としての画像(信号)を得る。そして、撮像装置12は、撮像により得られる画像を出力する。
ここで、撮像装置12は、例えば、マルチストリームを出力すること、すなわち、複数のフレームレートの画像のストリームを同時に出力することが可能なイメージセンサで構成され、撮像により得られる1又は複数の画像のストリームを出力する。
例えば、撮像装置12は、あらかじめ決められたデフォルトのフレームレート、及び、デフォルトのフレームレートよりも高速又は低速のフレームレート等の複数のフレームレートで撮像を行い、フレームレートが異なる複数の画像(のストリーム)を出力することができる。
また、撮像装置12では、極めて高速なフレームレートをデフォルトのフレームレートとして、そのデフォルトのフレームレートで撮像を行い、その撮像により得られるデフォルトのフレームレートの画像のフレームを必要に応じて間引くことにより、デフォルトのフレームレート以下の、複数のフレームレートの画像を出力することができる。フレームを間引く方法としては、例えば、フレームを単純に間引く方法や、複数のフレームを加算することでフレームを間引く方法等を採用することができる。
さらに、撮像装置12は、1個のイメージセンサで構成する他、複数のイメージセンサで構成し、複数のイメージセンサそれぞれにおいて、異なるフレームレートで撮像を行い、その撮像により得られる複数のフレームレートの画像を出力することができる。
また、撮像装置12では、出力可能な複数のフレームレートの画像のうちの、1以上の画像について、外部からの指示等に応じて、フレームレートを、例えば、1[fps](frame per second)等の単位でシームレスに変更することができる。
以上のように、撮像装置12は、複数のフレームレートの画像を出力することができ、かつ、その複数のフレームレートの画像のうちの1以上の画像について、フレームレートを変更する機能を有すれば、その構成は、特に限定されるものではない。
なお、以下では、説明を簡単にするため、撮像装置12は、デフォルトのフレームレート、及び、デフォルトのフレームレートとは異なるフレームレートで撮像を行い、その撮像により得られるデフォルトのフレームレートの第1の画像、及び、デフォルトのフレームレートとは異なるフレームレートの第2の画像を出力することが可能であることとする。
さらに、撮像装置12は、少なくとも、第2の画像のフレームレートの変更が可能であることとする。
撮像装置12が出力する第1及び第2の画像は、ディジタル信号処理部13に供給される。なお、ディジタル信号処理部13には、撮像装置12が出力する第1及び第2の画像の他、例えば、サーバからダウンロードされた、異なるフレームレートの複数の画像や、記録媒体から再生された、異なるフレームレートの複数の画像を供給することができる。
ディジタル信号処理部13は、撮像装置12からの第1及び第2の画像(のストリーム)に、必要な信号処理を施し、表示装置14や15、メモリ16に供給する。
ディジタル信号処理部13は、現像処理部31及び32、画像解析部33、記録再生処理部34、並びに、表示制御部35を有する。
現像処理部31には、撮像装置12からの第1の画像が供給される。現像処理部31は、撮像装置12からの第1の画像に現像処理を施し、現像処理後の第1の画像を出力する。現像処理部31が出力する現像処理後の第1の画像は、表示制御部35に供給される。
ここで、現像処理には、いわゆるRAWデータの画像から、例えば、R(red),G(green)、及び、B(blue)の各色成分のデータを有する画像を生成する処理の他、ノイズ除去等の高画質化の処理を含めることができる。
現像処理部32には、撮像装置12からの第2の画像が供給される。現像処理部32は、撮像装置12からの第2の画像に現像処理を施し、現像処理後の第2の画像を出力する。現像処理部32が出力する現像処理後の第2の画像は、表示制御部35に供給される。
画像解析部33には、撮像装置12が出力する第1及び第2の画像が供給されるとともに、現像処理部31が出力する現像処理後の第1の画像、及び、現像処理部32が出力する現像処理後の第2の画像が供給される。
画像解析部33は、撮像装置12からの第1及び第2の画像、又は、現像処理部31からの現像処理後の第1の画像、及び、現像処理部32からの現像処理後の第2の画像を解析する。さらに、画像解析部33は、第1及び第2の画像の解析により得られる解析結果に基づいて、第1及び第2の画像について、イベントポイントを検出する。画像解析部33は、イベントポイントを、第1及び第2の画像(撮像装置12からの第1及び第2の画像のセット、並びに、現像処理後の第1及び第2の画像のセットのうちの一方、又は、両方)とともに、記録再生処理部34に供給する。
ここで、イベントポイントとは、シーンチェンジのフレームや、ハイライトシーンの(開始、終了)フレーム、所定の被写体が動き出したフレーム、第1及び第2の画像に映る人等の動物の表情が変化したフレーム等の、所定のイベントが生じたフレームを表す。所定のイベントは、例えば、あらかじめ設定することができる。
記録再生処理部34は、画像解析部33からの第1及び第2の画像を対象として、記録(記憶)媒体に対する記録や再生を行う。すなわち、記録再生処理部34は、画像解析部33からの第1及び第2の画像を、必要に応じて符号化し、メモリ16に記録する(記憶させる)。また、記録再生処理部34は、メモリ16から第1及び第2の画像を読み出し、必要に応じて復号することで、第1及び第2の画像を再生し、表示制御部35や図示せぬ外部出力端子に供給する。
なお、記録再生処理部34は、第1及び第2の画像を、メモリ16に記録するときに、その第1及び第2の画像について検出されたイベントポイントも、メモリ16に記録することができる。メモリ16に記録されたイベントポイントは、例えば、メモリ16に記録された第1及び第2の画像を再生するときに、イベントポイントが表すフレームからの頭出し等に使用することができる。
表示制御部35は、現像処理部31及び32から供給される第1及び第2の画像それぞれを、表示装置14や15に表示させる表示制御を行う。さらに、表示制御部35は、アイコン等の、第1及び第2の画像以外の画像を、表示装置14や15に表示させる表示制御を行う。
表示装置14及び15は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)等で構成され、表示制御部35の制御に従い、第1の画像や第2の画像、その他の画像を表示する。
なお、表示装置14は、例えば、ディジタルカメラの背面に設けられた表示パネルを構成し、表示装置15は、例えば、ディジタルカメラのEVF(Electric Viewfinder)を構成する。
メモリ16は、記録再生制御部34の制御に従い、第1及び第2の画像等のデータを記憶する。
入力装置17は、ユーザが操作可能な操作手段である。入力装置17は、シャッタ(録画)ボタンやダイヤル等の機械的に操作可能な物理的な操作手段や、表示装置14に表示される、ボタン等としてのアイコン等の、仮想的な操作手段で構成することができる。入力装置17は、ユーザの操作に応じた操作信号を、制御部18に供給する。
制御部18は、例えば、マイクロコンピュータで構成され、ディジタルカメラを構成する各ブロックを制御する。
すなわち、制御部18は、撮像装置12から得られる情報や、入力装置17からの操作信号、ディジタル信号処理部13から得られる情報、センサ部19が出力するセンサ情報、ドライバIC20から得られる情報等に応じて、撮像装置12や、ディジタル信号処理部13、入力装置17、センサ部19、ドライバIC20等を制御する。
例えば、撮像装置12は、制御部18の制御に従い、第1の画像の撮像や、第2の画像の撮像、第2の画像のフレームレートの変更等を行う。
センサ部19は、例えば、マイク等の音を検知するセンサや、加速度を検知するセンサ、時間を検知(計時)するセンサ、その他の任意の物理量を検知するセンサで構成することができる。センサ部19は、所定の物理量を検知し、その物理量を表すセンサ情報を出力する。センサ部19が出力するセンサ情報は、制御部18に供給される。
ここで、制御部18では、センサ部19からのセンサ情報に基づき、第1及び第2の画像について、イベントポイントを検出することができる。
例えば、制御部18では、センサ部19からのセンサ情報としての音の検知結果に基づき、第1及び第2の画像について、大きな音が発生した(開始、終了)フレーム等を、イベントポイントとして検出することができる。また、例えば、制御部18では、センサ部19からのセンサ情報としての加速度の検知結果に基づき、第1及び第2の画像について、ディジタルカメラがパンされている(開始、終了)フレーム等を、イベントポイントとして検出することができる。
ドライバIC20は、制御部18の制御に従い、光学系11の絞りや、フォーカス、ズームを制御(駆動)する。
以上のように構成されるディジタルカメラでは、撮像装置12が、光学系11からの入射光を受光し、その入射光に応じて、第1の画像や第2の画像を出力する。
撮像装置12が出力する第1の画像や第2の画像は、ディジタル信号処理部13に供給される。
ディジタル信号処理部13では、現像処理部31が、撮像装置12からの第1の画像に現像処理を施し、表示制御部35に供給する。また、現像処理部32が、撮像装置12からの第2の画像に現像処理を施し、表示制御部35に供給する。
表示制御部35は、現像処理部31からの第1の画像や、現像処理部32からの第2の画像を、表示装置14及び15に表示させ、これにより、表示装置14及び15には、第1の画像や第2の画像が、スルー画として表示される。
また、ディジタルカメラでは、ユーザが、入力装置17を構成する録画ボタンを操作した場合、ディジタル信号処理部13において、記録再生処理部34は、例えば、録画ボタンが再度操作されるまで、撮像装置12が出力する第1の画像や第2の画像を録画する(第1の画像や第2の画像をメモリ16に記録する)。
なお、以下では、説明を簡単にするため、第1及び第2の画像が、表示装置14及び15のうちの、表示装置14に表示される場合に注目して、説明を行う。
<第1及び第2の画像の例>
図2は、撮像装置12が出力する第1及び第2の画像の例を示す図である。
撮像装置12は、異なるフレームレートで、同一の被写体の撮像を行うことで、フレームレートが異なり、同一被写体が映る第1及び第2の画像(のストリーム)を同時に出力することができる。
第1の画像のフレームレートとしては、例えば、60[fps]等の、あらかじめ決められたデフォルトのフレームレートを採用することができる。
第2の画像のフレームレートは、ユーザの指定に従って、任意のフレームレートX[fps]に変更することができる。
なお、図2では、デフォルトのフレームレートとして、60[fps]を採用するが、デフォルトのフレームレートは、60[fps]に限定されるものではない。
また、第1の画像のフレームレートは、デフォルトのフレームレートに固定することもできるし、第2の画像フレームレートと同様に、ユーザの指定に従って変更可能なようにすることもできる。
図2では、第2の画像のフレームレートXの方が、デフォルトのフレームレート(第1の画像のフレームレート)よりも高速になっている。
この場合、フレームレートの相違に応じて、第1及び第2の画像の(撮像時の)露光時間に相違が生じることがある。第1及び第2の画像の露光時間に相違がない場合には、第1の画像と第2の画像は、同一時刻のフレームの画質が同一の画像になり得るが、第1及び第2の画像の露光時間に相違がある場合には、第1の画像と第2の画像は、露光時間の相違により、同一時刻のフレームの画質が異なる画像になる。
すなわち、第2の画像のフレームレートXの方が、デフォルトのフレームレートよりも高速であるために、第2の画像の露光時間が、第1の画像の露光時間よりも短いときには、第1の画像と第2の画像の、同一時刻のフレームの画質については、第1の画像のS/N(Signal to Noise Ratio)の方が、第2の画像のS/Nよりも良くなる。
また、第2の画像のフレームレートXの方が、デフォルトのフレームレート(第1の画像のフレームレート)よりも高速である場合には、第2の画像の処理の負荷が大となるために、撮像装置12が、第2の画像として、第1の画像よりも画素数(解像度)が小さい画像を出力することや、ディジタル信号処理部13において、第2の画像に対する一部の処理が省略されることがある。
この場合、同一時刻のフレームについては、第2の画像は、第1の画像よりも画質が劣化した画像になる。
以上のように、第1及び第2の画像は、同一時刻のフレームの画質が異なる画像になることがある。
ここで、撮像装置12で、1秒あたりに撮像されるフレーム数を撮像レートともいい、表示装置14で、1秒あたりに表示されるフレーム数を表示レートともいうこととする。
第1の画像や第2の画像のフレームレートとは、フレームの間引きや補間がされない限り、撮像レートを意味する。
また、画像を、その画像のフレームレート(撮像レート)と等しい表示レートで表示する場合には、画像は、リアルタイムで表示(リアルタイム再生)(1倍速再生)されるが、画像を、その画像のフレームレート未満の表示レートで表示する場合には、画像は、スローで表示(スロー再生)される。
さらに、画像を、その画像のフレームレートより大の表示レートで表示する場合には、画像は、早送りで表示(早送り再生)される。
<ディジタルカメラの処理>
図3は、図1のディジタルカメラの処理の例を説明するフローチャートである。
ステップS11において、ユーザが、電源をオンにするように、入力装置17を操作するのを待って、制御部18は、ディジタルカメラの電源をオン状態にし、処理は、ステップS12に進む。
ステップS12では、ユーザが、ディジタルカメラの動作モードをマルチストリームモードにするように、入力装置17を操作するのを待って、制御部18は、動作モードを、マルチストリームモードに設定する。
ここで、マルチストリームモードとは、撮像装置12がマルチストリームの出力、すなわち、ここでは、フレームレートが異なる第1及び第2の画像の出力を行い、ディジタル信号処理部13が、その第1及び第2の画像の処理を行うことが可能なモードである。さらに、マルチストリームモードでは、後述する基準レート表示制御処理を行うことが可能になる。
また、動作モードがマルチストリームモードに設定されると、入力装置17を構成する所定の操作部の操作に対して、マルチストリームモードに特有の機能が割り当てられる。この点については、後述する。
動作モードがマルチストリームモードに設定されると、制御部18は、第1の画像のフレームレート(撮像レート)をデフォルトのフレームレートに設定し、そのデフォルトのフレームレートの第1の画像を出力するように、撮像装置12を制御する。
撮像装置12は、制御部18の制御に従って、デフォルトのフレームレートの第1の画像の出力を開始し、ディジタル信号処理部13は、その第1の画像の処理を開始する。
以上のように、第1の画像の処理が開始されると、処理は、ステップS12からステップS13に進む。
ステップS13では、ディジタル信号処理部13において、表示制御部35が、表示装置14の表示領域(表示画面)の所定の位置としての、例えば、表示領域の中心を中心とする矩形の領域(例えば、表示領域の全体等)に表示する表示対象として、第1の画像を設定し、表示対象を、表示装置14に表示させる表示制御を開始する。これにより、表示装置14では、表示対象としての第1の画像を、表示領域の所定の位置に表示することが開始される。
その後、処理は、ステップS13からステップS14に進み、制御部18は、ユーザが、入力装置17の操作として、画像のフレームレート(撮像レート)を変更する変更操作を行ったかどうかを判定する。
ステップS14において、変更操作が行われていないと判定された場合、処理は、ステップS15及びS16をスキップして、ステップS17に進む。
また、ステップS14において、変更操作が行われたと判定された場合、処理は、ステップS15に進む。
ステップS15では、制御部18は、第2の画像のフレームレート(撮像レート)を、変更操作に従って設定し、その変更操作に従ったフレームレートの第2の画像を出力するように、撮像装置12を制御する。
撮像装置12は、制御部18の制御に従って、変更操作に従ったフレームレートの第2の画像の出力を開始し、ディジタル信号処理部13は、その第2の画像の処理を開始する。
以上のように、第2の画像の処理が開始されると、処理は、ステップS15からステップS16に進む。
ステップS16では、ディジタル信号処理部13において、表示制御部35が、表示装置14の表示領域の所定の位置に表示する表示対象として、第2の画像を設定し、表示対象を、いままで表示されていた画像に代えて、表示装置14に表示させる表示制御を開始する。これにより、表示装置14では、表示対象としての第2の画像を、表示領域の所定の位置に表示することが開始される。
その後、処理は、ステップS16からステップS17に進み、制御部18は、ユーザが、入力装置17の操作として、表示対象を切り替える切り替え操作を行ったかどうかを判定する。
ステップS17において、切り替え操作が行われていないと判定された場合、処理は、ステップS18をスキップして、ステップS14に戻る。
また、ステップS17において、切り替え操作が行われたと判定された場合、処理は、ステップS18に進む。
ステップS18では、表示制御部35は、表示対象を、第1及び第2の画像のうちの、表示対象になっていなかった方に切り替え(設定し)、表示対象を、表示装置14に表示させる表示制御を開始する。これにより、表示装置14では、第1及び第2の画像のうちの、切り替え操作直前に、表示対象になっていなかった方の画像を、いままで表示されていた画像に代えて、表示領域の所定の位置に表示することが開始される。
そして、処理は、ステップS18からステップS14に戻り、以下、同様の処理が繰り返される。
以上のように、マルチストリームモードでは、ユーザが変更操作を行うと、その変更操作に従ったフレームレートの第2の画像が、表示装置14の所定の位置に表示される。
したがって、ユーザは、変更操作を行うだけで、その変更操作に従ったフレームレートの第2の画像を確認することができる。
また、マルチストリームモードでは、ユーザが切り替え操作を行うと、表示対象が、第1及び第2の画像のうちの、表示対象になっていなかった方の画像に切り替えられ、その切り替え後の表示対象が、表示装置14に表示される。
また、マルチストリームモードでは、表示対象が、第1及び第2の画像のうちのいずれに設定されても、表示装置14の表示領域の所定の位置に表示される。
したがって、表示対象が、第1及び第2の画像のうちのいずれに設定されても、表示装置14の表示領域の同一位置に表示される。
以上のように、表示装置14の表示領域の同一位置に表示される表示対象は、切り替え操作によって、第1の画像と第2の画像とに交互に切り替えられる。
いま、ある画像が表示されていた位置と同一位置に、その画像に代えて、他の画像を表示することで、画像を切り替えることをフリップ切り替えということとすると、第1及び第2の画像を対象に、フリップ切り替えを行うことで、第1及び第2の画像それぞれに映る同一の被写体が同一の位置に映るので、第1及び第2の画像の、S/Nや解像度等の画質の相違、すなわち、例えば、デフォルトのフレームレートの第1の画像を基準とする、変更操作に従ったフレームレートの第2の画像の画質の程度を、容易に把握することができる。なお、フリップ切り替えでは、第1及び第2の画像の画角が異なる場合には、第1及び第2の画像のうちの一方又は両方の拡大や縮小を行い、画角を一致させることで、第1及び第2の画像それぞれに映る同一の被写体を同一の位置に表示させることができる。
以上のように、ユーザは、変更操作及び切り替え操作を行うことで、第1の画像を基準とする、第2の画像の画質を容易に確認しつつ、第2の画像のフレームレートを容易に変更することができる。
したがって、図1のディジタルカメラによれば、例えば、ユーザが許容することができる画質を維持することができる第2の画像のフレームレート等の、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。
なお、ユーザが、第1及び第2の画像の、S/Nや解像度等の画質の相違を把握することができる画像の表示方法としては、上述したように、フリップ切り替えを行って、第1及び第2の画像を、表示装置14の表示領域の同一位置に表示する方法(以下、フリップ切り替え法ともいう)の他、第1及び第2の画像を、縦や横に並べて同時に表示する方法(以下、並列表示法ともいう)が考えられる。
しかしながら、並列表示法では、表示装置14の他に、表示装置14と同様の表示装置を新たに設け、例えば、表示装置14に第1の画像を表示するとともに、新たに設けた表示装置に第2の画像を表示する必要がある。又は、並列表示法では、表示装置14の表示領域を2つの小領域に分割し、一方の小領域に第1の画像を表示するとともに、他方の表示領域に第2の画像を表示する必要がある。
表示装置14の他に、表示装置14と同様の表示装置を新たに設けるのでは、ディジタルカメラが大型化する。表示装置14の表示領域を2つの小領域に分割するのでは、第1及び第2の画像を表示するときのサイズが小になり、第1及び第2の画像の画質の相違を把握することが困難となる。
これに対して、フリップ切り替え法によれば、以上のようなディジタルカメラを大型化することなく、かつ、第1及び第2の画像を表示するときのサイズを小にすることなく、第1及び第2の画像の画質の相違を、直感的に(容易に)把握することができる。
なお、同一の被写体が映り、S/N又は解像度が異なる2枚の画像を、PC(Personal Computer)の表示画面としてのLCDに表示する場合には、2枚の画像を並べて表示したときよりも、フリップ切り替えを行って、2枚の画像を同一位置に表示した方が、同一位置の画質の相違が目に付き、僅かな画質の相違であっても、極めて容易に把握することを、実際に確認することができる。
ここで、図3では、フリップ切り替えを、ユーザの切り替え操作に応じて行うこととしたが、フリップ切り替えは、切り替え操作に応じて行う他、例えば、周期的に行うことや、イベントポイントで行うことが可能である。
また、マルチストリームモードでは、後述する基準レート表示制御処理以外では、第1及び第2の画像は、リアルタイムで表示される。
例えば、いま、説明を簡単にするため、表示装置14の表示レートが、固定のレートであり、第1の画像のフレームレート(撮像レート)に等しいこととする。
第1の画像の、リアルタイムでの表示では、第1の画像は、そのまま、表示装置14に表示レートで表示される。
第2の画像の、リアルタイムでの表示では、第2の画像は、フレームレートが表示レートに等しくなるように間引かれてから、表示装置14に表示レートで表示される。例えば、第1の画像のフレームレートが60[fps]であり、第2の画像のフレームレートXが240[fps]であれば、第2の画像は、フレーム数を1/4=60/240に間引くことにより、フレームレートを、表示レートである60[fps]にしてから、表示装置14に表示レートで表示される。
なお、第2の画像のフレームレートXが、第1の画像のフレームレートよりも大である場合には、上述のように、フレームの間引きを行うことによって、第2の画像がリアルタイムで表示されるが、第2の画像のフレームレートXが、第1の画像のフレームレートよりも小である場合には、フレームの補間を行うことによって、第2の画像をリアルタイムで表示することができる。
また、表示装置14の表示レートが可変である場合には、第1の画像を、その第1の画像のフレームレートに等しい表示レートで表示し、第2の画像を、その第2の画像のフレームレートに等しい表示レートで表示することで、上述のようなフレームの間引きや補間を行うことなく、リアルタイムでの表示を行うことができる。以上のように、第2の画像を、その第2の画像のフレームレートに等しい表示レートで表示する場合、第2の画像のフレームレート(操作装置12で第2の画像を撮像する撮像レート)を変更することにより、各フレームレートでの第2の画像の滑らかさを、視覚的に容易に確認することができる。
さらに、図3では、説明を簡単にするため、変更操作によって、第1及び第2の画像のうちの、第2の画像のフレームレートを変更することとしたが、変更操作に応じたフレームレートの変更は、第1及び第2の画像のうちの、変更操作がされたときに表示対象になっている方の画像を対象に行うことができる。
また、図3では(以下でも同様)、第1及び第2の画像の2ストリームの画像を対象に、フレームレートの変更や、フリップ切り替えを行うこととしたが、フレームレートの変更や、フリップ切り替えは、3ストリーム以上の画像を対象に行うことができる。
3ストリーム以上の画像を対象とするフレームレートの変更では、その3ストリーム以上の画像のうちの、例えば、表示対象になっている1つのストリームの画像を対象に、フレームレートを変更することができる。
また、3ストリーム以上の画像を対象とするフリップ切り替えでは、例えば、その3ストリーム以上の画像をループ状に順序づけ、切り替え操作が行われるごとに、3ストリーム以上の画像を、順序づけに従った順番で、表示対象に設定することができる。3ストリーム以上の画像の順序づける順番は、例えば、あらかじめディジタルカメラに設定しておくことや、ユーザによる入力装置17の操作に従って設定することができる。
<フレームレートの変更>
図4は、変更操作に従った、第2の画像のフレームレートの変更の例を説明する図である。
図4では、ディジタルカメラの背面に、表示パネルとしての表示装置14が設けられている。
さらに、ディジタルカメラでは、表示装置14の右下側に、ダイヤル41が設けられており、上面の右端に、シャッタ(録画)ボタン42が設けられている。
マルチストリームモード以外の動作モードでは、例えば、ダイヤル41の回転操作は、フレームレートの変更以外の機能に割り当てられる。マルチストリームモードでは、例えば、ダイヤル41の回転操作は、フレームレートの変更に割り当てられる。
シャッタボタン42は、動画の録画を開始するときや終了するとき、写真としての静止画を撮影(記録)するとき等に押圧操作される。
図4では、ディジタルカメラの動作モードがマルチストリームモードになっている。そして、第1及び第2の画像のうちの、第2の画像が表示対象に設定され、ディジタルカメラの背面に設けられた表示装置14の表示領域の所定の位置に、表示対象としての第2の画像が表示されている。
ユーザが、ダイヤル41を回転操作すると、その回転操作を変更操作として、表示装置14に表示対象としてリアルタイムで表示されている第2の画像のフレームレート(撮像レート)が変更される。
すなわち、変更操作としてのダイヤル41の回転操作の回転方向及び回転量に応じて、撮像装置12で撮像されている第2の画像のフレームレートが、例えば、1[fps]単位等で連続的に増減される。図4では、第2の画像のフレームレートが、ダイヤル41の回転操作に応じて、60[fps]から240[fps]に、連続的に変更されている。
したがって、ユーザは、変更操作としてのダイヤル41の回転操作を行うことで、フレームレートを変更した場合の第2の画像の画質の変化、すなわち、例えば、フレームレートが大になるほど、輝度が低下して、S/Nが悪くなることを、視覚的に容易に確認することができる。
ここで、図4では、表示装置14の表示レートが60[fps]になっており、そのため、表示制御部35において、フレームレートが60[fps]の第2の画像は、フレームの補間や間引きを行わずに、リアルタイムで表示される。一方、変更操作後の第2の画像、すなわち、フレームレートが240[fps]の第2の画像は、フレーム数を1/4に間引くことで、リアルタイムで表示される。
図4では、表示制御部35において、フレームレートが240[fps]の第2の画像のフレームを間引くことで、例えば、フレームレートが60[fps]の第2の画像のフレームと同一時刻のフレームだけが、表示装置14に表示される。
なお、変更操作としては、ダイヤル41の回転操作の他、任意の1回の操作を採用することができる。
ここで、「1回の操作」とは、所定の操作を、他の操作を経由することなく、いわば直接的に行うことができる場合の、その所定の操作を意味する。
例えば、所定の項目を選択する場合に、メニューを表示させる操作を行い、その操作によって表示されるメニューから所定の項目を選択する操作を行う必要があるときには、所定の項目を選択する操作は、「1回の操作」に該当しない。この場合、所定の項目を選択する操作を行うのに、メニューを表示させる操作を経由する必要があるからである。
本実施の形態では、ダイヤル41の回転操作が、フレームレートの変更に割り当てられ、ダイヤル41は、ディジタルカメラの背面に露出しているので、ダイヤル41の回転操作は、1回の操作に該当する。
以上のように、1回の操作であるダイヤル41の回転操作を、変更操作として採用することで、ユーザは、思い立ったときに、即座に、変更操作を行い、第2の画像のフレームレートを変更して、フレームレートの変更後の第2の画像の画質を確認することができる。
なお、図4では、変更操作に応じて、表示装置14に表示対象として表示されている第2の画像のフレームレートを変更することとしたが、第1の画像が表示対象として表示装置14に表示されている場合には、例えば、表示対象である第1の画像のフレームレートを変更すること、又は、表示対象を第1の画像から、第1の画像と同一のフレームレートの第2の画像に変更し、変更後の表示対象である第2の画像のフレームレートを変更することができる。
図5は、変更操作に従った、第2の画像のフレームレートの変更の他の例を説明する図である。
図4で説明したように、マルチストリームモードでは、変更操作としてのダイヤル41の回転操作に応じて、撮像装置12で撮像されている第2の画像のフレームレートが連続的に変更(増減)される。
以上のように、撮像装置12において、第2の画像のフレームレートが変更される場合、特に、フレームレートが大に変更される場合、撮像装置12での処理量が増加するため、その処理量の増加を抑制するために、高フレームレートの第2の画像になるほど、画素数が少なくされることがある。
すなわち、例えば、撮像装置12では、第2の画像のフレームレートが高フレームレートであるほど、イメージセンサで撮像する画像の画角を小さくすることや、イメージセンサでの撮像に用いる画素(画像を構成する画素値を得る画素)を間引くことで、第2の画像の横及び縦の画素数を小にすることができる。
この場合、表示制御部35では、第2の画像を、その第2の画像の画素数に応じたサイズで、表示装置14に表示させることができる。
以上のように、第2の画像が、その画素数に応じたサイズで表示されることで、ユーザは、変更操作により、第2の画像のフレームレートを変更しながら、そのフレームレートの変更に伴う第2の画像の画素数の変化を、直感的に認識することができる。
ここで、図5では、図4の場合と同様に、第2の画像のフレームレートが、ダイヤル41の回転操作に応じて、60[fps]から240[fps]に、連続的に変更されている。
例えば、撮像装置12において、第2の画像のフレームレートが高フレームレートになるほど、その第2の画像の横及び縦の画素数が小にされる場合には、第2の画像のフレームレートが、ダイヤル41の回転操作に応じて、60[fps]から240[fps]に、連続的に変更されると、表示装置14に表示される第2の画像のサイズは、図5に示すように、第2の画像のフレームレートが60[fps]から240[fps]に連続的に変更されることに応じて、徐々に小になる。
<フリップ切り替え>
図6は、切り替え操作に従ったフリップ切り替えの例を説明する図である。
マルチストリームモードでは、例えば、ダイヤル41の押圧操作が可能である場合には、ダイヤル41の押圧操作が、フリップ切り替えに割り当てられる。又は、例えば、表示装置14の表示領域の任意の位置のタップや、表示領域の周辺部のタップ等の1回の操作が、フリップ切り替えに割り当てられる。
図6では、ディジタルカメラの動作モードがマルチストリームモードになっている。そして、撮像装置12において、フレームレートが60[fps]の第1の画像と、フレームレートが240[fpf]の第2の画像との撮像が行われ、その第1及び第2の画像が出力されている。
ディジタルカメラにおいて、第1及び第2の画像については、そのうちの一方の画像を、表示対象として、その表示対象が、表示装置14の表示領域の所定の位置(図6では、表示領域の全体)に表示される。
ユーザが、切り替え操作としての、例えば、ダイヤル41の押圧操作や、表示装置14の表示領域のタップを行うと、その切り替え操作が行われるごとに、表示制御部35において、表示対象が、第1及び第2の画像のうちの、いま表示装置14に表示されている方の画像から、他方の画像に切り替えられ、その切り替え後の表示対象が、表示装置14の表示領域の所定の位置に表示されるフリップ切り替えが行われる。
したがって、ユーザは、切り替え操作を行うことで、60[fps]の第1の画像と、240[fpf]の第2の画像との画質の差、すなわち、例えば、60[fps]の第1の画像に対して、240[fpf]の第2の画像のS/Nの悪さがどの程度であるかを、視覚的に容易に確認することができる。
ここで、図6では、表示装置14の表示レートが60[fps]になっており、そのため、(フレームレートが)60[fps]の第1の画像は、フレームの補間や間引きを行わずに、リアルタイムで表示される。一方、240[fps]の第2の画像は、フレーム数を1/4に間引くことで、リアルタイムで表示される。
図6では、240[fps]の第2の画像のフレームを間引くことで、例えば、フレームレートが60[fps]の第2の画像のフレームと同一時刻のフレームだけが、表示装置14に表示される。
なお、切り替え操作としては、ダイヤル41の押圧操作や、表示装置14の表示領域のタップの他、任意の1回の操作を採用することができる。
1回の操作であるダイヤル41の押圧操作や、表示装置14の表示領域のタップを、切り替え操作として採用することで、ユーザは、思い立ったときに、即座に、切り替え操作を行い、表示装置14の表示を、第1及び第2の画像のうちの一方の画像から他方の画像に即座に切り替え、その第1及び第2の画像の画質の差を確認することができる。
図7は、切り替え操作に従ったフリップ切り替えの他の例を説明する図である。
マルチストリームモードでは、例えば、表示装置14の表示領域の任意の位置のダブルタップ等が、表示装置14に表示された画像を拡大する拡大操作として、表示装置14に表示された画像の拡大に割り当てられる。
図7では、図6と同様に、ディジタルカメラの動作モードがマルチストリームモードになっている。そして、撮像装置12において、フレームレートが60[fps]の第1の画像と、フレームレートが240[fpf]の第2の画像との撮像が行われ、その第1及び第2の画像が出力されている。
ディジタルカメラにおいて、第1及び第2の画像のうちの一方の画像を、表示対象として、その表示対象が、表示装置14の表示領域に表示されている場合において、ユーザが、拡大操作としての、例えば、表示装置14の表示領域のダブルタップを行うと、表示制御部35において、表示装置14に表示されている画像の一部が拡大される。すなわち、表示装置14の表示領域のダブルタップが行われた位置を中心とする所定の範囲Rが、拡大画像に拡大されて、表示装置14に表示される。
そして、表示装置14に拡大画像が表示されている状態で、ユーザが、切り替え操作を行うと、画像の拡大を維持したまま、切り替え操作が行われるごとに、図6の場合と同様の、第1及び第2の画像のフリップ切り替えが行われる。
したがって、ユーザは、拡大操作後に切り替え操作を行うことで、第1及び第2の画像の細部の画質の差を、視覚的に容易に確認することができる。
なお、拡大操作としては、ダブルタップのタップの他、任意の1回の操作を採用することができる。
1回の操作であるダブルタップを、拡大操作として採用することで、ユーザは、思い立ったときに、即座に、拡大操作を行い、表示装置14に表示された画像の所望の部分を拡大して、その所望の部分について、第1及び第2の画像の画質の差を確認することができる。
図8は、第1及び第2の画像のフリップ切り替えを模式的に示す図である。
フリップ切り替えでは、表示装置14の所定の位置の表示が、第1及び第2の画像のうちの一方の画像から他方の画像に切り替えられる。
したがって、第1及び第2の画像が同一の位置に表示されるため、フリップ切り替えを繰り返すことにより、ユーザは、第1及び第2の画像どうしの差分を、極めて容易に確認することができる。
ここで、図8では(後述する図9でも同様)、第1及び第2の画像として、撮像時の画素数として、横×縦が1920×1080画素の画像が採用されている。第1及び第2の画像のフレームレートは、それぞれ、60[fps]及び480[fps]であり、フレームレートが低い第1の画像の方が、フレームレートが高い第2の画像よりも、高S/Nであることを僅かに確認することができる。
図9は、第1及び第2の画像のフリップ切り替えを行う場合と、第1及び第2の画像を並列表示法で表示する場合とを説明する図である。
図9のAは、第1及び第2の画像のフリップ切り替えを説明する図である。
フリップ切り替えでは、第1及び第2の画像が交互に同一位置に表示される。図19のAの第1の画像と第2の画像とを上下に重ねて、上側の画像を捲ること、及び、戻すことを繰り返すことにより、フリップ切り替えを擬似的に体験することができる。
フリップ切り替えによれば、第1及び第2の画像に映る同一の被写体が同一位置に表示されることにより、第1及び第2の画像どうしの差、特に、S/Nや、解像度、色むら、明るさ等の画質の差が、極めて分かりやすい。
また、例えば、映画制作者等の映像のプロフェッショナルのユーザからは、画素単位や画素単位に近い微小単位での画質の違いを見分けやすいことが要請されることが多くなっている。フリップ切り替えによれば、かかるユーザの要請に応えることができる。
図9のBは、第1及び第2の画像を、並列表示法で表示した様子を示している。
いま、画像を、所定のサイズの表示領域に表示することとすると、フリップ切り替えでは、第1及び第2の画像それぞれを、表示領域の全体に表示することができる。しかしながら、並列表示法において、第1及び第2の画像を横に並べて表示する場合には、第1及び第2の画像との横と縦の表示サイズは、最大でも、表示領域のサイズの1/2になる。
以上のように、並列表示法では、第1及び第2の画像が小になるため、フリップ切り替えに比較して、第1及び第2の画像どうしの差が分かりにくくなる。
さらに、並列表示法では、第1及び第2の画像に映る同一の被写体が異なる位置に表示されるため、フリップ切り替えに比較して、第1及び第2の画像どうしの差が分かりにくくなる。
<基準レート表示制御処理>
図10は、基準レート表示制御処理の例を説明するフローチャートである。
マルチストリームモードでは、図4ないし図9で説明した、表示装置14に表示される画像のフレームレートの変更やフリップ切り替えの他、基準レート表示制御処理が行われる。
基準レート表示制御処理では、第1の画像及び第2の画像のうちの一方の画像のフレームレートに等しい表示レートで、他方の画像が表示される。
いま、説明を簡単にするため、第1の画像のフレームレートを基準レートということとする。基準レート表示制御処理では、表示装置14の表示レートが基準レートに固定され(又は、第1の画像のフレームレートが、表示装置14の表示レートに固定され)、第1及び第2の画像は、基準レートで表示される。
この場合、第1の画像は、リアルタイムで表示(リアルタイム再生)される。
一方、第2の画像は、第1の画像よりもフレームレートが大である場合には、スローで表示(スロー再生)される。また、第2の画像は、第1の画像よりもフレームレートが小である場合には、早送りで表示(早送り再生)される。
基準レート表示制御処理では、ステップS31において、表示制御部35は、ディジタルカメラで、第1及び第2の画像の処理が行われているかどうか、すなわち、ディジタルカメラが、第1及び第2の画像を表示することが可能な状態にあるかどうかを判定する。
ステップS31において、第1及び第2の画像の処理が行われていると判定された場合、処理は、ステップS32に進み、表示制御部35は、第1及び第2の画像の重畳表示を開始する操作である重畳開始操作が行われたかどうかを判定する。
ここで、重畳開始操作としては、例えば、シャッタボタン42の半押し操作や、その他の1回の操作を採用することができる。重畳開始操作として、シャッタボタン42の半押し操作を採用する場合には、マルチストリームモードの設定時において、シャッタボタン42の半押し操作が、重畳開始操作に割り当てられる。
ステップS32において、重畳開始操作が行われていないと判定された場合、処理は、ステップS31に戻り、以下、同様の処理が繰り返される。
また、ステップS32において、重畳開始操作が行われたと判定された場合、処理は、ステップS33に進み、表示制御部35は、表示対象を、第1及び第2の画像の両方に設定する。そして、表示制御部35は、第1の画像のフレームレートを基準レートとして、表示対象である第1及び第2の画像の、基準レートでの重畳表示を開始させる。これにより、表示装置14では、第1及び第2の画像が、基準レートで、表示領域の同一位置に重畳表示される。
ここで、第1及び第2の画像の重畳表示は、例えば、第1及び第2の画像を、アルファブレンディングにより合成し、その合成により得られる合成画像を表示することによって行うことができる。第1及び第2の画像をアルファブレンディングにより合成するときのブレンド率(いわゆるα)は、例えば、あらかじめ設定しておくことや、ユーザの操作に応じて設定することができる。
その後、処理は、ステップS33からステップS34に進み、表示制御部35は、第1及び第2の画像の重畳表示の終了を指定する操作である重畳終了操作が行われたかどうかを判定する。
ここで、重畳終了操作としては、例えば、シャッタボタン42の半押し操作の解除や、その他の1回の操作を採用することができる。重畳終了操作として、シャッタボタン42の半押し操作の解除を採用する場合には、マルチストリームモードの設定時において、シャッタボタン42の半押し操作の解除が、重畳終了操作に割り当てられる。
ステップS34において、重畳終了操作が行われていないと判定された場合、処理は、ステップS34に戻り、以下、同様の処理が繰り返される。
また、ステップS34において、重畳終了操作が行われたと判定された場合、処理は、ステップS35に進み、表示制御部35は、第1及び第2の画像の重畳表示を終了する終了処理を行う。
終了処理では、例えば、表示対象が、第1及び第2の画像から、重畳開始操作が行われる直前に表示対象であった第1の画像に切り替えられ(設定され)、表示装置14に表示される。
その後、処理は、ステップS35からステップS31に戻り、以下、同様の処理が繰り返される。
以上のように、基準レート表示制御処理では、第1及び第2の画像が、基準レートで表示されるので、第2の画像のスローや早送りでの表示が、どの程度のスローや早送りになるのかを、第1の画像のリアルタイムでの表示との対比で、視覚的に、容易に把握することができる。
なお、図10では、重畳開始操作が行われた場合に、第1及び第2の画像の両方を表示対象として、基準レートで重畳表示することとしたが、基準レート表示制御処理において、基準レートでの第1及び第2の画像の表示としては、重畳表示ではなく、上述のフリップ切り替えでの表示を採用することができる。
また、基準レート表示制御処理については、同一時刻のフレームの画質に差がある第1及び第2の画像を対象とする場合は勿論、同一時刻のフレームの画質に差がない第1及び第2の画像を対象とする場合であっても、第2の画像のスローや早送りの程度を確認することができる。
さらに、重畳開始操作や重畳終了操作としては、1回の操作ではない操作を採用することができる。但し、重畳開始操作や重畳終了操作として、シャッタボタン42の半押しやその半押しの解除等の1回の操作を採用することにより、ユーザは、思い立ったときに、即座に、重畳開始操作や重畳終了操作を行い、ストレスなく(待ち時間なく)、第2の画像のスローや早送りの程度を確認することができる。
図11は、基準レート表示制御処理を説明する図である。
図11では、撮像装置12において、60[fps]の第1の画像と、240[fps]の第2の画像とが撮像されて出力されている。
以上のような、60[fps]の第1の画像と、240[fps]の第2の画像とを対象として、基準レート表示制御処理が行われる場合、第1の画像のフレームレートを基準レートとして、第1及び第2の画像が表示される。したがって、第1の画像は、リアルタイムで表示され、第2の画像は、スローで表示される。
なお、基準レート表示制御処理では、第1の画像のフレームレートではなく、第2の画像フレームレートを基準レートとして、第1及び第2の画像を表示することができる。この場合、上述のように、60[fps]の第1の画像と、240[fps]の第2の画像とを対象として、基準レート表示制御処理が行われるときには、第1の画像は、早送りで表示され、第2の画像は、リアルタイムで表示される。
ここで、第1の画像を早送りで表示する場合には、第1の画像のフレームを、早送りに必要な分だけバッファリングしてから、第1の画像を表示する必要がある。そのため、早送りでの表示を行う場合には、バッファリングを行う分の遅延が生じる。
図12は、基準レート表示制御処理での第1及び第2の画像の表示の表示例を説明する図である。
図12では、図11の場合と同様に、撮像装置12において、60[fps]の第1の画像と、240[fps]の第2の画像とが撮像されて出力されている。さらに、第1及び第2の画像のうちの、第1の画像が、表示対象に設定され、表示装置14に表示されている。
第1及び第2の画像には、左から右に歩いて行く人が、被写体として映っている。
ここで、第1及び第2の画像のそれぞれに映る被写体は、同一の被写体であるが、第1の画像に映る被写体を、被写体obj1とも記載し、第2の画像に映る被写体を、被写体obj2とも記載する。
図12のAは、撮像装置12において、60[fps]の第1の画像と、240[fps]の第2の画像とが撮像され、第1の画像が、表示対象に設定されて、表示装置14に表示されている場合に、特に操作が行われなかったときの、表示装置14の表示例を示している。
この場合、第1の画像は、表示対象とされたまま、第1の画像のフレームレートを表示レートとして表示される。したがって、表示装置14には、第1の画像がリアルタムで表示されるので、その表示は、第1の画像に映る被写体obj1がリアルタイムで歩くシーンになる。
図12のBは、撮像装置12において、60[fps]の第1の画像と、240[fps]の第2の画像とが撮像され、第1の画像が、表示対象に設定されて、表示装置14に表示されている場合に、重畳開始操作が行われた場合の、表示装置14の表示例を示している。
この場合、第1及び第2の画像が、表示対象とされ、第1の画像のフレームレートを表示レートとして重畳表示される。したがって、表示装置14には、第1の画像がリアルタムで表示されるとともに、第2の画像がスローで表示されるので、その表示は、第1の画像に映る被写体obj1がリアルタイムで歩くシーンと、第2の画像に映る被写体obj2がスローで歩くシーンとが重畳された表示になる。
ユーザは、かかる表示を見ることにより、第1の画像に映る被写体obj1のリアルタイムの動きと、第2の画像に映る被写体obj2のスローの動きとを比較し、第2に画像に映る被写体obj2の動きのスローの程度を、直感的に把握することができる。
重畳開始操作が行われた後のN(>0)秒後に、重畳終了操作が行われると、図10で説明したように、表示制御部35による終了処理が行われる。終了処理では、重畳開始操作が行われる直前に表示対象であった第1の画像が、再び、表示対象に設定され、表示装置14に表示される。
ここで、終了処理では、即座に、第1の画像を表示対象に設定して、表示装置14に表示することができる。
この場合、重畳終了操作が行われた直後に、表示装置14の表示は、第1の画像に映る被写体obj1がリアルタイムで歩くシーンと、第2の画像に映る被写体obj2がスローで歩くシーンとが重畳された表示から、第1の画像に映る被写体obj1がリアルタイムで歩くシーンに変化する。
また、終了処理では、第1及び第2の画像のうちの、フレームレートの小さい一方の画像の、表示装置14での再生を停止し、その一方の画像の再生が停止されたフレームと同一時刻のフレームまで、他方の画像の、表示装置14での再生を続行してから、その他方の画像の、表示装置14での再生を停止することができる。
すなわち、終了処理では、第1の画像の、表示装置14での再生を停止し、第1の画像の再生が停止されたフレームと同一時刻のフレームまで、第2の画像の、表示装置14での再生を続行してから、第2の画像の、表示装置14での再生を停止することができる。
そして、その後、第1の画像を表示対象に設定して、表示装置14に表示することができる。
この場合、重畳終了操作が行われた直後に、第1の画像の、表示装置14での再生が停止されるので、第1の画像については、重畳終了操作が行われたときのフレームが、静止画として表示され続ける。
一方、第2の画像の、表示装置14での再生は続行されるので、第2の画像については、被写体obj2がスローで歩くシーンが表示され続ける。
そして、第2の画像の、表示装置14での再生は、第1の画像の再生が停止されたフレームと同一時刻のフレームまで続行されて停止され、その後、第1の画像が表示対象に設定されて、表示装置14に表示される。
したがって、第2の画像の、表示装置14での再生は、その第2の画像に映る被写体obj2が、静止画として表示されている第1の画像に映る被写体obj1と重なるまで続行される。その後、表示装置14の表示は、第1の画像に切り替わる。この場合、表示装置14に表示される第1の画像に映るシーンは、重畳終了操作が行われた時のシーンから、いま現在、撮像装置12が撮像している第1の画像に映るシーンに切り替わる。
ここで、以上のような終了処理によれば、表示装置14では、第2の画像に映る被写体obj2が、静止画として表示されている第1の画像に映る被写体obj1に追いつくようなシーンか表示される。かかる表示を、以下、追っかけ表示ともいう。
図13は、追っかけ表示の例を説明する図である。
図13では、図12の場合と同様に、撮像装置12において、60[fps]の第1の画像と、240[fps]の第2の画像とが撮像されている。そして、第1の画像が、表示対象に設定され、表示装置14に表示されている。
さらに、図13では、図12の場合と同様に、第1及び第2の画像には、左から右に歩いて行く人が、被写体obj1及びobj2としてそれぞれ映っている。
図13のAは、第1の画像が、表示対象に設定され、表示装置14に表示されている場合に、特に操作が行われなかったときの、表示装置14の表示例を示している。
この場合、図12のAで説明したように、表示装置14には、第1の画像がリアルタムで表示され、表示装置14の表示は、第1の画像に映る被写体obj1がリアルタイムで歩くシーンになる。
図13のBは、第1の画像が、表示対象に設定されて、表示装置14に表示されている場合に、重畳開始操作が行われ、さらに、その後、重畳終了操作が行われた場合の、表示装置14の表示例を示している。
この場合、図12のBで説明したように、重畳開始操作が行われた後、表示装置14には、第1の画像がリアルタムで表示されるとともに、第2の画像がスローで表示され、表示装置14の表示は、第1の画像に映る被写体obj1がリアルタイムで歩くシーンと、第2の画像に映る被写体obj2がスローで歩くシーンとが重畳された表示になる。
図13のBでは、重畳開始操作が行われた時刻を基準(0)として、その5秒後に、重畳終了操作が行われている。
重畳終了操作が行われると、終了処理が行われる。終了処理において、追っかけ表示が行われる場合、第1の画像の、表示装置14での再生が停止され、重畳終了操作が行われたときに再生されていた第1の画像のフレームが、静止画として表示され続ける。
一方、第2の画像の、表示装置14での再生は続行され、第2の画像に映る被写体obj2がスローで歩くシーンが表示され続ける。
図13のBでは、重畳開始操作が行われた時刻を基準として5秒後に行われた重畳終了操作の後、重畳終了操作が行われたときに再生されていた第1の画像のフレームと、スローで再生されている第2の画像のフレームとの重畳表示が開始されている。
そして、その重畳表示は、重畳開始操作が行われた時刻から10秒を経過した後(重畳終了操作が行われてから5秒を経過した後)も、続行されている。
第2の画像の、表示装置14での再生は、第1の画像の再生が停止されたフレームと同一時刻のフレームまで続行されて停止される。
図13のBでは、重畳開始操作が行われてから、5秒後に、重畳終了操作が行われている。したがって、第2の画像の、表示装置14での再生は、重畳開始操作が行われた時刻から5秒分のフレームまで行われる。
240[fps]の第2の画像の5秒分のフレーム数は、240×5フレームであり、追っかけ表示では、この240×5フレームが、第1の画像のフレームレートである60[fps]を表示レートとして表示される。
したがって、第2の画像の5秒分のフレーム(240×5フレーム)の、表示装置14での再生には、20秒=240×5/60を要する。
以上から、重畳終了操作が行われたときに再生されていた第1の画像のフレームと、スローで再生されている第2の画像のフレームとの重畳表示は、重畳開始操作が行われた時刻から20秒間(重畳終了操作が行われてから15秒間)行われる。
そして、重畳開始操作が行われた時刻から20秒間が経過すると、第2の画像に映る被写体obj2が、静止画として表示されている第1の画像に映る被写体obj1と重なり、その後、表示装置14の表示は、第1の画像に切り替えられる。
以上のような追っかけ表示によれば、ユーザは、リアルタイムでの表示と、スローでの表示との間に、どの程度の時間の乖離があるのかを、直感的に把握することができる。
なお、上述の追っかけ表示では、第2の画像に映る被写体obj2が、静止画として表示されている第1の画像に映る被写体obj1と重なった後、表示装置14の表示を、第1の画像に切り替えることとしたが、その他、例えば、第2の画像に映る被写体obj2が第1の画像に映る被写体obj1と重なった状態の表示を、ユーザの操作等の所定のベントが生じるまで維持し、所定のイベントが生じた場合に、表示装置14の表示を、第1の画像に切り替えることができる。
また、上述の追っかけ表示では、第2の画像に映る被写体obj2が、静止画として表示されている第1の画像に映る被写体obj1と重なるまで、第2の画像の、表示装置14での再生を続行することとしたが、その他、例えば、第2の画像の、表示装置14での再生中に、ユーザの操作等の所定のベントが生じた場合には、第2の画像の、表示装置14での再生を停止し、表示装置14の表示を、第1の画像に切り替えることができる。
図14は、第1及び第2の画像を模式的に示す図である。
図14では、図12の場合と同様に、撮像装置12において、60[fps]の第1の画像と、240[fps]の第2の画像とが撮像され、第1及び第2の画像には、左から右に歩いて行く人が、被写体obj1及びobj2としてそれぞれ映っている。
ここで、重畳開始操作後に行われる、第1及び第2の画像の、基準レートでの重畳表示を、単に、第1及び第2の画像の重畳表示ともいう。第1及び第2の画像の重畳表示には、重畳終了操作後に行われる追っかけ表示で行われる第1及び第2の画像の重畳表示が、必要に応じて含まれる。
第1及び第2の画像の重畳表示では、第1及び第2の画像の、異なる時刻のフレームが重畳されることがある。
一方、ディジタルカメラでの画像の撮像時には、手ぶれが生じることや、ディジタルカメラをパンする等して撮像が行われることがあり、ディジタルカメラが動くことがある。
ディジタルカメラでの画像の撮像時に、ディジタルカメラに動きがあると、第1及び第2の画像の、異なる時刻のフレームに映る被写体に回転ずれ(姿勢のずれ)が生じることや、例えば、背景等の、動いていない被写体に位置ずれが生じることがある。
図14では、第1の画像の時刻t=Tのフレームに映る被写体obj1と、第2の画像の、時刻t=Tとは異なる時刻t=T'のフレームに映る被写体obj2とに、回転ずれが生じている。
回転ずれや位置ずれが生じている第1及び第2の画像のフレームを、そのまま用いて重畳表示を行う場合、その重畳表示のために行われる、第1及び第2の画像のフレームの合成により得られる合成画像は、ユーザに違和感を感じさせる画像になるおそれがある。
すなわち、合成画像は、例えば、被写体obj1及びobj2の姿勢に不自然なずれがある画像や、背景に不自然な位置ずれがある画像になることがある。
そこで、第1及び第2の画像の重畳表示では、表示制御部35において、重畳表示の対象の第1及び第2の画像のフレームの位置ずれや回転ずれ等の、ディジタルカメラが動くことに起因して生じるずれ(以下、動きずれともいう)を補正する変換処理(以下、補正変換処理ともいう)を、第1及び第2の画像のフレームの一方、又は、両方に施してから、第1及び第2の画像のフレームの合成を行うことができる。
図15は、補正変換処理の例を説明する図である。
図15では、第2の画像のフレームに補正変換処理が施され、補正変換処理後の第2の画像のフレームとして、元の第2の画像のフレームを、僅かに時計回りに回転したフレームが得られている。
これにより、補正変換処理後の第2の画像のフレームは、第1の画像のフレームとの間の動きずれが軽減されたフレームになっている。かかるフレーム(補正変換処理後の第2の画像のフレーム)と、第1の画像のフレームとが合成されることにより、違和感(不自然さ)が軽減された合成画像を得ることができる。
なお、補正変換処理では、例えば、重畳表示の対象の第1及び第2の画像のフレームに映る主要被写体の回転ずれに起因する、第1及び第2の画像のフレームの画素値どうしの差分をなくすように、第2の画像のフレームを変換することができる。
表示制御部35では、主要被写体として、例えば、第1及び第2の画像のフレームに映る被写体の中から、サイズが閾値以上の被写体や、動き量が閾値以上の被写体等を選択することができる。その他、主要被写体としては、ユーザが入力装置17を操作することにより指定する被写体を選択することができる。
また、補正変換処理では、例えば、背景や、水平方向、あおり具合のずれに起因する、第1及び第2の画像のフレームの画素値どうしの差分をなくすように、第2の画像のフレームを変換することができる。
さらに、補正変換処理では、例えば、第1及び第2の画像のフレームのうちの一方のフレームを基準とする、他方のフレーム全体のずれを表すグローバルベクトルを求め、そのグローバルベクトルを0にするように、第2の画像のフレームを変換することができる
以上のような補正変換処理を行うことにより、動きずれに起因する影響を軽減した、第1及び第2の画像の重畳表示を行うことができる。
以上のように、図1のディジタルカメラによれば、撮像装置12で撮像される画像について、フレームレートを自在に変更し、表示装置14に、リアルタイムで表示することができる。したがって、ユーザが最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。
さらに、図1のディジタルカメラによれば、撮像装置12において、フレームレートが異なる複数の画像としての、例えば、第1及び第2の画像を撮像して出力し、フリップ切り替えで、表示装置14の表示領域の同一位置に表示することができる。したがって、ユーザが、撮影現場において、フレームレートが異なる第1及び第2の画像の画質の違いを直感的に認識し、最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。
また、図1のディジタルカメラによれば、基準レート表示制御処理において、第1の画像のフレームレートを基準レートとして、表示装置14の表示レートが基準レートに固定され、第1及び第2の画像が、基準レートで表示される。この場合、第1の画像は、リアルタイムで表示され、第2の画像は、スロー又は早送りで表示される。したがって、ユーザが、撮影現場において、スローや早送りの表示の効果を直感的に認識し、最適なフレームレートを容易に決定するために有用なインターフェースを提供することができる。
<本技術を適用したコンピュータの説明>
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図16は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、フレームレートが異なり、かつ、同一時刻のフレームの画質が異なる第1の画像及び第2の画像の他、フレームレートが異なる、又は、同一時刻のフレームの画質が異なる第1の画像及び第2の画像、すなわち、フレームレートが異なり、同一時刻のフレームの画質が同一の第1の画像及び第2の画像、又は、フレームレートが同一で、同一時刻のフレームの画質が異なる第1の画像及び第2の画像に適用することができる。
さらに、例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
<1>
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第1の画像及び第2の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部を備える
表示制御装置。
<2>
前記第1の画像及び前記第2の画像のうちの一方の画像のフレームレートが、ユーザの1回の操作に応じて変更される
<1>に記載の表示制御装置。
<3>
前記第1の画像及び前記第2の画像のうちの前記表示装置に表示されている画像のフレームレートが変更される
<2>に記載の表示制御装置。
<4>
前記表示制御部は、前記表示装置に表示させる表示対象を、前記第1の画像及び前記第2の画像のうちの、前記表示装置に表示されている方の画像から、他方の画像に切り替える
<1>ないし<3>のいずれかに記載の表示制御装置。
<5>
前記表示制御部は、ユーザの1回の操作に応じて、前記表示対象を切り替える
<4>に記載の表示制御装置。
<6>
前記表示制御部は、前記表示対象の画像の一部を拡大して表示させる
<4>又は<5>に記載の表示制御装置。
<7>
前記表示制御部は、ユーザの1回の操作に応じて、前記表示対象の画像の一部を拡大する
<6>に記載の表示制御装置。
<8>
前記表示制御部は、前記表示対象の画像を、その画像の画素数に応じたサイズで表示させる
<4>又は<5>に記載の表示制御装置。
<9>
前記表示制御部は、前記第1の画像及び前記第2の画像を、リアルタイムで表示装置に表示させる
<1>ないし<8>のいずれかに記載の表示制御装置。
<10>
前記表示制御部は、前記第1の画像及び前記第2の画像のうちの一方の画像のフレームレートに等しい表示レートで、他方の画像を表示させる
<1>に記載の表示制御装置。
<11>
前記表示制御部は、前記第1の画像及び前記第2の画像を重畳表示させる
<10>に記載の表示制御装置。
<12>
前記表示制御部は、ユーザの1回の操作に応じて、前記第1の画像及び前記第2の画像を重畳表示させる
<11>に記載の表示制御装置。
<13>
前記表示制御部は、前記第1の画像及び前記第2の画像が重畳表示された後、前記第1の画像及び前記第2の画像のうちの、フレームレートの小さい一方の画像の、前記表示装置での再生を停止し、前記一方の画像の再生が停止されたフレームと同一時刻のフレームまで、他方の画像の、前記表示装置での再生を続行してから、前記他方の画像の、前記表示装置での再生を停止する
<11>又は<12>に記載の表示制御装置。
<14>
前記表示制御部は、
ユーザの1回の操作に応じて、前記第1の画像及び前記第2の画像の重畳表示を解除し、
前記第1の画像及び前記第2の画像の重畳表示を解除するときに、前記一方の画像の、前記表示装置での再生を停止し、前記一方の画像の再生が停止されたフレームと同一時刻のフレームまで、前記他方の画像の、前記表示装置での再生を続行してから、前記他方の画像の、前記表示装置での再生を停止する
<13>に記載の表示制御装置。
<15>
前記表示制御部は、前記第1の画像及び前記第2の画像に映る被写体のずれを補正した補正後の、前記第1の画像及び前記第2の画像を重畳表示させる
<11>ないし<14>のいずれかに記載の表示制御装置。
<16>
前記表示制御部は、前記表示装置に表示させる表示対象を、前記第1の画像及び前記第2の画像のうちの、前記表示装置に表示されている画像から、他の画像に切り替える
<10>に記載の表示制御装置。
<17>
前記表示制御部は、ユーザの1回の操作に応じて、前記表示対象を切り替える
<16>に記載の表示制御装置。
<18>
前記第1の画像及び前記第2の画像は、所定のフレームレートの1ストリームの画像から生成された、前記所定のフレームレート以下のフレームレートの画像である
<1>ないし<17>のいずれかに記載の表示制御装置。
<19>
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第1の画像及び第2の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う
ステップを含む表示制御方法。
<20>
フレームレートが異なる、又は、同一時刻のフレームの画質が異なる、少なくとも第1の画像及び第2の画像を、表示装置の表示領域の同一位置に表示させる表示制御を行う表示制御部
として、コンピュータを機能させるためのプログラム。