JP2017011676A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】被写体の動きのボケ具合（被写体のフォーカス感）が好適なＨＤＲ合成動画を容易に得ることができる技術を提供する。【解決手段】本発明の画像処理装置は、撮像によって得られた第１フレームと、前記第１フレームよりも短い露光時間での撮像によって得られた第２フレームとを含む動画データを取得する第１取得手段と、前記動画データの再生速度に関する情報である再生情報を取得する第２取得手段と、前記再生情報に基づいて、前記第１フレームと前記第２フレームとを合成する合成手段と、を有し、前記合成手段は、前記動画データの再生速度に応じて、前記第１フレームと前記第２フレームとの合成比率を変更する。【選択図】図８

Description

本発明は、画像処理装置及び画像処理方法に関する。

比較的長い露光時間での撮像によって得られた画像（第１フレーム）と、比較的短い露光時間での撮像によって得られた画像（第２フレーム）とを含む複数の画像を合成することにより、ダイナミックレンジが高い画像を生成する技術がある。このような技術（合成）は「ハイダイナミックレンジ合成（ＨＤＲ合成）」と呼ばれ、ＨＤＲ合成によって生成された画像は「ハイダイナミックレンジ合成画像（ＨＤＲ合成画像）」と呼ばれる。ＨＤＲ合成を行うことにより、露光時間による受光データのオーバーシュートの発生が抑制されたＨＤＲ合成画像を生成することができる。即ち、白とびや黒つぶれの発生が抑制されたＨＤＲ合成画像を生成することができる。

近年、撮像時にＨＤＲ合成をリアルタイムで行うことで、撮像動画（撮像によって得られた動画）として、各フレームがＨＤＲ合成画像である動画（ＨＤＲ合成動画）を得ることが可能となった。図１６は、ＨＤＲ合成動画が生成される様子を示す。図１６の例では、撮像によって第１フレームと第２フレームが交互に得られ、第１フレームと第２フレームが得られる度に、得られた第１フレームと第２フレームを合成することによりＨＤＲ合成画像が生成される。それにより、ＨＤＲ合成動画が生成される。

ＨＤＲ動画の生成では、ＨＤＲ合成における第１フレームと第２フレームの重みを変えることで、ダイナミックレンジだけでなく、被写体の動きのボケ具合（被写体のフォーカス感）を変えることができる。図１７（Ａ）は、水平方向に動く黒い円形の物体を撮像して得られた第１フレームの一例を示す。第１フレームでは、露光時間が長いため、暗部の階調情報を詳細に保持できるが、動きのボケが大きい。図１７（Ｂ）は、水平方向に動く黒い円形の物体を撮像して得られた第２フレームの一例を示す。第２フレームでは、露光時間が短いため、明部の階調情報を詳細に保持でき、動きのボケが小さい。図１７（Ｃ）及び図１７（Ｄ）は、図１７（Ａ）の第１フレームと図１７（Ｂ）の第２フレームとを合成して得られたＨＤＲ合成画像の一例を示す。図１７（Ｃ）は、第１フレームの重みが大きく、且つ、第２フレームの重みが小さい場合の例を示す。この場合、図１７（Ｃ）に示すように、動きのボケが残ったＨＤＲ画像が生成される。図１７（Ｄ）は、第１フレームの重みが小さく、且つ、第２フレームの重みが大きい場合の例を示す。この場合、図１７（Ｄ）に示すように、図１７（Ｃ）に比べ動きのボケが小さいＨＤＲ画像が生成される。一般的に、通常の再生速度での動画の再生では、自然な動きを表現するために、動きのボケがある程度残った画像（例えば、図１７（Ｃ）のような画像）が使用されることが望ましい。一方、通常の再生速度より遅い再生速度での動画の再生（スロー再生や一時停止再生）では、フォーカス感の高い画像（例えば、図１７（Ｄ）のような画像）が使用されることが望ましい。

近年、ビデオカメラの撮像センサのサイズが増しており、一眼レフカメラに用意された豊富なレンズ群をビデオカメラにマウントできることが一般的になってきている。このような背景から、撮像によって高解像度の動画を取得し、動画の１フレームを静止画として抽出する、といったワークフローが注目されている。以後、このようなワークフローを「モーションキャプチャワークフロー」と記載する。モーションキャプチャワークフローでは、例えば、撮像によってＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）やＰＶ（Ｐｒｏｍｏｔｉｏｎ Ｖｉｄｅｏ）用の高解像度動画が取得され、高解像度動画の１フレームが雑誌や広告用の静止画として抽出される。

図１８は、モーションキャプチャワークフローで使用される画像表示システムの構成の一例を示す図である。図１８の画像表示システムは、撮像装置１１００、再生装置１２００、現像装置１３００、及び、画像表示装置１４００を有する。撮像装置１１００は、撮像によって動画データを生成し、生成した動画データを出力する。撮像装置１１００は、動画データとして、各フレームの画像データがＲＡＷ画像データであるＲＡＷ動画データを出力する。再生装置１２００は、撮像装置１１００から出力されたＲＡＷ動画データを記憶する。また、再生装置１２００は、記憶しているＲＡＷ動画データを出力する。現像装置１３００は、再生装置１２００から出力されたＲＡＷ動画データに現像処理を施し、現像処理後の動画データを出力する。画像表示装置１４００は、現像装置１３００から出力された動画データに基づく動画を表示する。

図１８の画像表示システムでは、まず、撮像装置１１００によって得られたＲＡＷ動画データが、再生装置１２００に蓄積される。その後、再生装置１２００に蓄積されたＲＡＷ動画データが現像装置１３００によって現像され、現像結果が画像表示装置１４００によって表示される。ユーザ（例えば、カメラマン）は、画像表示装置１４００の表示を見ることで、撮像動画の確認、静止画の選定、等を行う。

図１９は、モーションキャプチャワークフローの一例を示すフローチャートである。ここでは、撮像動画が通常再生されている状態からの作業について説明する。通常再生は、通常の再生速度で動画を再生する再生方法である。

まず、ユーザは、画像表示装置１４００の表示を確認し、静止画として使用できそうな画像群（シーン）を探す（Ｓ１００１；確認作業）。そして、ユーザは、探した画像群の近辺のフレームからの一時停止再生のためのユーザ操作（一時停止操作）を行い、コマ送りのためのユーザ操作（コマ送り操作）を繰り返し行う（Ｓ１００２）。それにより、探した画像群の近辺のフレームが表示され、コマ送り操作が行われる度に次のフレームに表示が切り替えられる。次に、ユーザは、コマ送り操作を行いながら画像表示装置１４００の表示を確認し、静止画として使用するフレームを選定する（Ｓ１００３；選定作業）。一般的に、画像の構図の他に、フォーカス感の有無を考慮して、フレームが選定される。例えば、雑誌や広告に使用する上で必要十分なフォーカス感が残ったフレームが選定される。そして、ユーザは、選定されたフレームのＲＡＷ画像データを静止画データとして再生装置１２００から抽出するユーザ操作（抽出操作）を行う（Ｓ１００４）。次に、ユーザは、モーションキャプチャワークフローを終了するか否かを判断する（Ｓ１００５）。モーションキャプチャワークフローを終了する場合には、本フローチャートが終了され、モーションキャプチャワークフローを終了しない場合には、Ｓ１００２に作業が戻され、引き続きコマ送り操作が行われる。モーションキャプチャワークフローを終了しない場合に、Ｓ１００１に作業が戻されてもよい。なお、ＲＡＷ画像データは、画像の編集に非常に適している。静止画データとしてＲＡＷ画像データを抽出することにより、雑誌や広告などの用途に応じたレタッチなどの編集作業を好適に行うことができる。

ところで、モーションキャプチャワークフローにおいてＨＤＲ合成動画を生成する場合には、Ｓ１００１の確認作業では、通常の再生速度での動画の再生に適した重みを用いてＨＤＲ合成動画が生成されることが好ましい。しかしながら、そのような重みを使用すると、Ｓ１００３の選定作業において、フォーカス感が足りない表示が行われることが多い。そして、そのような表示が行わる度にユーザによって重みが調整されることが想定される。

モーションキャプチャワークフローでは、膨大な画像（フレーム）から好適な画像を選定（選別）するのに非常に長い時間を要し、ユーザの負担が非常に大きい。そして、選定
作業において重みの調整が必要になると、作業時間やユーザの負担がさらに増してしまう。

ＨＤＲ合成に関する従来技術は、例えば、特許文献１，２に開示されている。特許文献１に開示の技術では、長時間露光の画像と短時間露光の画像の重みが、ＨＤＲ合成動画における被写体の動きの有無に基づいて調整される。特許文献２に開示の技術では、ＨＤＲ合成に用いる画像の枚数と、ＨＤＲ合成に用いる画像の露光条件とが、ユーザ操作に応じて調整される。

しかしながら、特許文献１，２に開示の技術では、ＨＤＲ合成動画の１フレームに関して一意に重みが決定される。１フレームに関して一意に重みが決定されると、Ｓ１００１の確認作業時に動きのボケが小さい不自然な表示が行われたり、Ｓ１００３の選定作業時にフォーカス感が足りない表示が行われたりする。そのため、同一のフレームに関する重みとして、確認作業時と選定作業時とで異なる重みが使用されることが好ましい。特許文献１，２に開示の技術を用いたとしても、このような処理は実現できず、重みを調整するユーザ操作が必要となる。

特開２０１２−０８４９８３号公報 特開２０１２−１７５２７７号公報

本発明は、被写体の動きのボケ具合（被写体のフォーカス感）が好適な合成動画を容易に得ることができる技術を提供することを目的とする。

本発明の第１の態様は、
撮像によって得られた第１フレームと、前記第１フレームよりも短い露光時間での撮像によって得られた第２フレームとを含む動画データを取得する第１取得手段と、
前記動画データの再生速度に関する情報である再生情報を取得する第２取得手段と、
前記再生情報に基づいて、前記第１フレームと前記第２フレームとを合成する合成手段と、
を有し、
前記合成手段は、前記動画データの再生速度に応じて、前記第１フレームと前記第２フレームとの合成比率を変更する
ことを特徴とする画像処理装置である。

本発明の第２の態様は、
撮像によって得られた第１フレームと、前記第１フレームよりも短い露光時間での撮像によって得られた第２フレームとを含む動画データを取得する第１取得ステップと、
前記動画データの再生速度に関する情報である再生情報を取得する第２取得ステップと、
前記再生情報に基づいて、前記第１フレームと前記第２フレームとを合成する合成ステップと、
を有し、
前記合成ステップでは、前記動画データの再生速度に応じて、前記第１フレームと前記第２フレームとの合成比率が変更される
ことを特徴とする画像処理方法である。

本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、被写体の動きのボケ具合（被写体のフォーカス感）が好適な合成動画を容易に得ることができる。

実施例１に係る画像表示システムの構成の一例を示す図 実施例１に係る撮像装置の機能構成の一例を示すブロック図 実施例１に係るＲＡＷ−ＨＤＲ動画データの一例を示す図 実施例１に係る再生装置の機能構成の一例を示すブロック図 実施例１に係る再生用ＲＡＷ−ＨＤＲ動画データの一例を示す図 実施例１に係る現像装置の機能構成の一例を示すブロック図 実施例１に係る画像表示装置の機能構成の一例を示すブロック図 実施例１に係る画像表示装置の動作の一例を示すフローチャート 実施例１に係る表示画像の一例を示す図 実施例２に係る画像表示装置の機能構成の一例を示すブロック図 実施例２に係る画像表示装置の動作の一例を示すフローチャート 実施例２に係るヒストグラムデータの一例を示す図 実施例３に係る画像表示装置の機能構成の一例を示すブロック図 実施例３に係る表示画像の一例を示す図 実施例４に係る画像表示装置の機能構成の一例を示すブロック図 ＨＤＲ合成動画が生成される様子の一例を示す図 画像の一例を示す図 画像表示システムの一例を示す図 モーションキャプチャワークフローの一例を示すフローチャート

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及び画像処理方法について説明する。なお、以下では、本実施例に係る画像処理装置が画像表示装置に設けられている例を説明するが、本実施例に係る画像処理装置は画像表示装置とは別体の装置であってもよい。本実施例に係る画像処理装置は、画像表示装置とは異なる装置に設けられていてもよい。

図１は、本実施例に係る画像表示システムの構成の一例を示す図である。図１の画像表示システムは、例えば、モーションキャプチャワークフローで使用される。図１に示すように、本実施例に係る画像表示システムは、撮像装置１００、再生装置２００、現像装置３００、及び、画像表示装置４００を有する。

撮像装置１００は、撮像によって動画データを生成し、生成した動画データを出力する。本実施例では、撮像装置１００は、動画データとして、各フレームの画像データがＲＡＷ画像データであるＲＡＷ動画データを出力する。再生装置２００は、撮像装置１００から出力されたＲＡＷ動画データを記憶部に記録する。また、再生装置２００は、ＲＡＷ動画データを記憶部から読み出し、読み出したＲＡＷ動画データから、設定された再生方法に基づくＲＡＷ動画データを生成し、生成したＲＡＷ動画データを出力する。現像装置３００は、再生装置２００から出力されたＲＡＷ動画データに現像処理を施し、現像処理後の動画データを出力する。画像表示装置４００は、現像装置３００から出力された動画データに基づく動画を表示する。

なお、撮像装置１００、再生装置２００、現像装置３００、及び、画像表示装置４００のうちの２つ以上の装置が一体化されていてもよい。例えば、再生装置２００と現像装置３００が一体化されていてもよいし、撮像装置１００、再生装置２００、及び、現像装置３００が一体化されていてもよいし、現像装置３００と画像表示装置４００が一体化されていてもよい。

なお、撮像装置１００が動画データを出力する際に、撮像装置１００によって現像処理が行われてもよい。再生装置２００が動画データを記憶部に記録する際に、再生装置２００によって現像処理が行われてもよい。設定された再生方法に基づく動画データを再生装置２００が生成する際に、再生装置２００によって現像処理が行われてもよい。再生装置２００が動画データを出力する際に、再生装置２００によって現像処理が行われてもよい。撮像装置１００や再生装置２００で現像処理が行われる場合、現像装置３００は不要となる。この場合、「撮像装置１００や再生装置２００に現像装置３００が設けられている」とも言える。

図２は、撮像装置１００の機能構成の一例を示すブロック図である。図２に示すように、撮像装置１００は、レンズ部１０１、撮像部１０２、信号処理部１０３、出力部１０４、ユーザＩ／Ｆ部１０５、及び、制御部１０６を少なくとも備える。これらの機能部は、内部バス１０７によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス１０７を用いて行われる。各機能部の動作は、制御部１０６によって制御される。

レンズ部１０１は、撮像部１０２の前段に設置されており、撮像対象（被写体）からの光である入射光を撮像部１０２へ結像する。

撮像部１０２は、レンズ部１０１によって結像された入射光の露出時間を変更する露出変更処理を行い、入射光をアナログ電気信号に変換し（撮像）、得られたアナログ電気信号を出力する。本実施例では、撮像部１０２において、第１の撮像と、第１の撮像よりも露光時間が短い第２の撮像とが交互に行われる。そして、第１の撮像によって得られたアナログ電気信号と、第２の撮像によって得られたアナログ電気信号とが、撮像部１０２から交互に出力される。

信号処理部１０３は、撮像部１０２から出力されたアナログ電気信号に対して信号処理を施すことにより、撮像部１０２から出力されたアナログ電気信号をデジタル電気信号であるＲＡＷ画像データに変換する。そして、信号処理部１０３は、ＲＡＷ画像データを出力する。信号処理は、アナログ電気信号をデジタル電気信号に変換するＡ／Ｄ変換処理、種々の補正を行う補正処理、等を含む。補正処理では、撮像部１０２が有する撮像センサ（ＣＣＤ、ＣＭＯＳ、等）の欠陥に起因した誤差、レンズ部１０１が有するレンズの光学バラつきに起因した誤差、等が低減される。

上述したように、撮像部１０２からは、第１の撮像によって得られたアナログ電気信号と、第２の撮像によって得られたアナログ電気信号とが交互に出力される。そのため、信号処理部１０３からは、ＲＡＷ−ＨＤＲ動画データが出力される。ＲＡＷ−ＨＤＲ動画データは、各フレームの画像データとしてＲＡＷ画像データを有する動画データである。また、ＲＡＷ−ＨＤＲ動画データは、第１の撮像によって得られた第１フレームと、第２の撮像によって得られた第２フレームとを含むフレームペアが繰り返される動画データでもある。

出力部１０４は、信号処理部１０３から出力されたＲＡＷ−ＨＤＲ動画データを、再生
装置２００に所定のフレームレートで出力する。出力部１０４は、ＲＡＷ−ＨＤＲ動画データを出力する際に、ＲＡＷ−ＨＤＲ動画データの各フレーム（各ＲＡＷ画像データ）に、そのフレームに関する情報であるＨＤＲメタ情報を含むメタデータを付加する。本実施例では、ＨＤＲメタ情報は、ＨＤＲ識別情報（動画識別情報）、ペア識別情報、フレーム識別情報、及び、露光時間情報を含む。

ＨＤＲ識別情報は、出力部１０４から出力された動画データがＨＤＲ動画データ（第１の撮像によって得られた第１フレームと、第２の撮像によって得られた第２フレームとを含むフレームペアが繰り返される動画データ）であるか否かを示す情報である。本実施例では、ＲＡＷ−ＨＤＲ動画データが撮像装置１００から出力されるため、ＨＤＲ識別情報は、「出力部１０４から出力された動画データがＲＡＷ−ＨＤＲ動画データであることを示す情報」とも言える。ＨＤＲ識別情報は、動画データの全てのフレームに対して付加されてもよいし、そうでなくてもよい。例えば、ＨＤＲ識別情報は、動画データの先頭のフレームに対してのみ付加されてもよい。先頭のフレームは、例えば、撮像の開始を指示するユーザ操作に応じて検出することができる。

ペア識別情報は、出力部１０４から出力されたＨＤＲ動画データ（ＲＡＷ−ＨＤＲ動画データ）のフレームペアを識別する情報である。例えば、１つのフレームペアに含まれる第１フレームと第２フレームのそれぞれに対して、同じ識別子が、ペア識別情報として付加される。そのような識別子を使用する場合、ＨＤＲ動画データの全てのフレームに対してペア識別情報が付加される。第１フレームに対して、当該第１フレームと同じフレームペアに含まれる第２フレームを示す情報が、ペア識別情報として付加されてもよい。第２フレームに対して、当該第２フレームと同じフレームペアに含まれる第１フレームを示す情報が、ペア識別情報として付加されてもよい。そのような情報を使用する場合、ＨＤＲ動画データの第１フレームと第２フレームの少なくとも一方に対してペア識別情報が付加される。

フレーム識別情報と露光時間情報は、ＨＤＲ動画データの全てのフレームに対して付加される。フレーム識別情報は、出力部１０４から出力されたＨＤＲ動画データ（ＲＡＷ−ＨＤＲ動画データ）の第１フレームと第２フレームを識別する情報である。具体的には、フレーム識別情報は、対応するフレームが第１フレームであるか第２フレームであるかを示す情報である。露光時間情報は、出力部１０４から出力された動画データの各フレームの露光時間を示す情報である。具体的には、露光時間情報は、対応するフレームの露光時間を示す情報である。

なお、ＨＤＲメタ情報は、ＨＤＲ識別情報、ペア識別情報、フレーム識別情報、及び、露光時間情報以外の情報を含んでいてもよい。例えば、ＨＤＲメタ情報は、タイムコード等の情報を含んでいてもよい。

図３は、撮像装置１００から出力されたＲＡＷ−ＨＤＲ動画データの一例を示す図である。図３に示すように、ＲＡＷ−ＨＤＲ動画データでは、第１フレームと第２フレームが交互に並んでいる。また、各フレームにＨＤＲメタ情報が付加されている。撮像装置１００（出力部１０４）と再生装置２００は、有線または無線で互いに接続されている。撮像装置１００と再生装置２００を互いに接続するためのケーブルとしては、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブル、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル、等が使用される。ＳＤＩケーブルを用いて撮像装置１００が再生装置２００に接続されている場合には、ＨＤＲメタ情報は、例えば、垂直ブランキング領域であるアンシラリー領域に付加される。なお、撮像装置１００と再生装置２００が一体化されている場合には、内部バスを介して出力部１０４から再生装置２００にＲＡＷ−ＨＤＲ動画データが伝送されて
もよい。

ユーザＩ／Ｆ部１０５は、撮像装置１００に対するユーザ操作を受け付ける。そして、ユーザＩ／Ｆ部１０５は、撮像装置１００に対して行われたユーザ操作を示す操作情報を、制御部１０６へ出力する。例えば、不図示のシャッターボタンが押下されると、ユーザＩ／Ｆ部１０５は、シャッターボタンが押下されたことを示す操作情報を、制御部１０６へ出力する。

制御部１０６は、撮像装置１００が有する各機能部の動作を制御する。例えば、制御部１０６は、ユーザＩ／Ｆ部１０５からの操作情報に基づいて各機能部に指示を出力することにより、各機能部の動作を制御する。具体的には、シャッターボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部１０５から出力されると、制御部１０６は、撮像部１０２に第１フレームと第２フレームの露出時間を通知し、撮像部１０２に撮像の開始を指示する。

図４は、再生装置２００の機能構成の一例を示すブロック図である。図４に示すように、再生装置２００は、入力部２０１、記憶部２０２、再生情報付加部２０３、出力部２０４、ユーザＩ／Ｆ部２０５、及び、制御部２０６を少なくとも備える。これらの機能部は、内部バス２０７によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス２０７を用いて行われる。各機能部の動作は、制御部２０６によって制御される。

入力部２０１は、撮像装置１００から出力されたＲＡＷ−ＨＤＲ動画データを所定のフレームレートで取得し、記憶部２０２に記録する。記憶部２０２は、動画データを記憶可能な記憶装置である。記憶部２０２としては、例えば、磁気ディスク、光ディスク、半導体メモリ、等が使用される。なお、記憶部２０２は、再生装置２００に対して着脱不可能な記憶装置であってもよいし、再生装置２００に対して着脱可能な記憶装置であってもよい。

ユーザＩ／Ｆ部２０５は、再生装置２００に対するユーザ操作を受け付ける。そして、ユーザＩ／Ｆ部２０５は、再生装置２００に対して行われたユーザ操作を示す操作情報を、制御部２０６へ出力する。例えば、不図示の記録開始ボタンが押下されると、ユーザＩ／Ｆ部２０５は、記録開始ボタンが押下されたことを示す操作情報を、制御部２０６へ出力する。不図示の再生開始ボタンが押下されると、ユーザＩ／Ｆ部２０５は、再生開始ボタンが押下されたことを示す操作情報を、制御部２０６へ出力する。不図示の一時停止ボタンが押下されると、ユーザＩ／Ｆ部２０５は、一時停止ボタンが押下されたことを示す操作情報を、制御部２０６へ出力する。不図示のスロー再生ボタンが押下されると、ユーザＩ／Ｆ部２０５は、スロー再生ボタンが押下されたことを示す操作情報を、制御部２０６へ出力する。不図示のコマ送りボタンが押下されると、ユーザＩ／Ｆ部２０５は、コマ送りボタンが押下されたことを示す操作情報を、制御部２０６へ出力する。不図示の再生停止ボタンが押下されると、ユーザＩ／Ｆ部２０５は、再生停止ボタンが押下されたことを示す操作情報を、制御部２０６へ出力する。

制御部２０６は、再生装置２００が有する各機能部の動作を制御する。例えば、制御部２０６は、ユーザＩ／Ｆ部２０５からの操作情報に基づいて各機能部に指示を出力することにより、各機能部の動作を制御する。具体的には、記録開始ボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部２０５から出力されると、制御部２０６は、入力部２０１に動画データの記録を指示する。再生開始ボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部２０５から出力されると、制御部２０６は、再生情報付加部２０３に通常再生を指示する。それにより、再生方法として通常再生が設定される。一時停止ボタンが押下
されたことを示す操作情報がユーザＩ／Ｆ部２０５から出力されると、制御部２０６は、再生情報付加部２０３に一時停止再生を指示する。それにより、再生方法として一時停止再生が設定される。スロー再生ボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部２０５から出力されると、制御部２０６は、再生情報付加部２０３にスロー再生を指示する。それにより、再生方法としてスロー再生が設定される。コマ送りボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部２０５から出力されると、制御部２０６は、再生情報付加部２０３にコマ送りを指示する。再生停止ボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部２０５から出力されると、制御部２０６は、再生情報付加部２０３に再生停止を指示する。

再生情報付加部２０３は、制御部２０６からの指示に応じて設定された再生方法に基づいて、記憶部２０２に記録されたＲＡＷ−ＨＤＲ動画データから、再生用ＲＡＷ−ＨＤＲ動画データを生成する。そして、再生情報付加部２０３は、再生用ＲＡＷ−ＨＤＲ動画データを所定のフレームレートで出力する。また、再生情報付加部２０３は、再生用ＲＡＷ−ＨＤＲ動画データを出力する際に、再生用ＲＡＷ−ＨＤＲ動画データの各フレームに再生情報を含むメタデータを付加する。再生情報は、設定された再生方法に関する情報である。

例えば、制御部２０６から通常再生が指示されると、再生情報付加部２０３は、記憶部２０２に記録されたＲＡＷ−ＨＤＲ動画データの各フレームを順次出力する。このとき、通常再生を示す再生情報が各フレームに付加される。一時停止再生が指示されると、再生情報付加部２０３は、一時停止再生が指示されたときに取得（又は出力）したフレームペアを繰り返し出力する。このとき、一時停止再生を示す再生情報が各フレームに付加される。一時停止再生が指示された後、コマ送りが指示されると、再生情報付加部２０３は、一時停止再生が指示されたときに取得（又は出力）したフレームペアの次のフレームペアを記憶部２０２から読み出し、読み出したフレームペアを繰り返し出力する。このときも、一時停止再生を示す再生情報が各フレームに付加される。スロー再生が指示されると、再生情報付加部２０３は、記憶部２０２に記録されたＲＡＷ−ＨＤＲ動画データの各フレームをＮ回（Ｎは２以上の整数）ずつ出力する。このとき、スロー再生を示す再生情報が各フレームに付加される。再生停止が指示されると、再生情報付加部２０３は、再生用ＲＡＷ−ＨＤＲ動画データの出力を停止する。

通常再生は、通常の再生速度（第２再生速度）で動画を再生する再生方法である。一時停止再生とスロー再生は、通常の再生速度よりも低い再生速度（第１再生速度）で動画を再生する再生方法である。一時停止再生は、再生対象のフレームペアを更新しない再生方法である。このように、本実施例では、再生速度が互いに異なる複数の再生方法が使用される。そのため、再生情報は、「再生速度に関する情報」とも言える。再生速度を示す情報が再生情報として使用されてもよい。なお、再生方法や再生情報はこれらに限らない。例えば、再生方法として、撮像時刻が遅いフレームから再生する逆再生が使用されてもよい。

出力部２０４は、再生情報付加部２０３から出力された再生用ＲＡＷ−ＨＤＲ動画データを、現像装置３００に所定のフレームレートで出力する。図５は、再生装置２００から出力された再生用ＲＡＷ−ＨＤＲ動画データの一例を示す図である。図５に示すように、再生用ＲＡＷ−ＨＤＲ動画データでは、第１フレームと第２フレームが交互に並んでいる。また、各フレームにＨＤＲメタ情報と再生情報が付加されている。再生装置２００（出力部２０４）と現像装置３００は、有線または無線で互いに接続されている。再生装置２００と現像装置３００を互いに接続するためのケーブルとしては、例えば、ＳＤＩケーブル、ＨＤＭＩケーブル、等が使用される。ＳＤＩケーブルを用いて再生装置２００が現像装置３００に接続されている場合には、再生情報は、例えば、垂直ブランキング領域であ
るアンシラリー領域に付加される。なお、再生装置２００と現像装置３００が一体化されている場合には、内部バスを介して出力部２０４から現像装置３００に再生用ＲＡＷ−ＨＤＲ動画データが伝送されてもよい。

図６は、現像装置３００の機能構成の一例を示すブロック図である。図６に示すように、現像装置３００は、入力部３０１、現像部３０２、出力部３０３、ユーザＩ／Ｆ部３０４、及び、制御部３０５を少なくとも備える。これらの機能部は、内部バス３０６によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス３０６を用いて行われる。各機能部の動作は、制御部３０５によって制御される。

入力部３０１は、再生装置２００から出力された再生用ＲＡＷ−ＨＤＲ動画データを所定のフレームレートで取得し、現像部３０２に出力する。現像部３０２は、入力部３０１から出力された再生用ＲＡＷ−ＨＤＲ動画データに現像処理（Ｄｅｂａｙｅｒ処理）を施す。ＲＡＷ画像データは、撮像部１０２の素子配列に依存した画素値を有する。現像処理により、ＲＡＷ画像データの画素値が一般的な画素値に変換される。本実施例では、ＲＡＷ画像データの画素値をＲＧＢ値（サンプリング数４：４：４）に変換する現像処理が行われる。それにより、再生用ＲＡＷ−ＨＤＲ動画データの画素値をＲＧＢ値に変換した再生用ＲＧＢ−ＨＤＲ動画データが生成される。そして、現像部３０２は、再生用ＲＧＢ−ＨＤＲ動画データを出力する。なお、現像処理後の画素値はＲＧＢ値に限らない。例えば、現像処理後の画素値はＹＣｂＣｒ値であってもよい。

出力部３０３は、現像部３０２から出力された再生用ＲＧＢ−ＨＤＲ動画データを、画像表示装置４００に所定のフレームレートで出力する。再生用ＲＧＢ−ＨＤＲ動画データの構造は、再生用ＲＡＷ−ＨＤＲ動画データ（図５）と同様である。即ち、再生用ＲＧＢ−ＨＤＲ動画データにも、ＨＤＲメタ情報と再生情報が付加されている。現像装置３００（出力部３０３）と画像表示装置４００は、有線または無線で互いに接続されている。現像装置３００と画像表示装置４００を互いに接続するためのケーブルとしては、例えば、ＳＤＩケーブル、ＨＤＭＩケーブル、等が使用される。なお、現像装置３００と画像表示装置４００が一体化されている場合には、内部バスを介して出力部３０３から画像表示装置４００に再生用ＲＧＢ−ＨＤＲ動画データが伝送されてもよい。

ユーザＩ／Ｆ部３０４は、現像装置３００に対するユーザ操作を受け付ける。そして、ユーザＩ／Ｆ部３０４は、現像装置３００に対して行われたユーザ操作を示す操作情報を、制御部３０５へ出力する。例えば、不図示の現像開始ボタンが押下されると、ユーザＩ／Ｆ部３０４は、現像開始ボタンが押下されたことを示す操作情報を、制御部３０５へ出力する。

制御部３０５は、現像装置３００が有する各機能部の動作を制御する。例えば、制御部３０５は、ユーザＩ／Ｆ部３０４からの操作情報に基づいて各機能部に指示を出力することにより、各機能部の動作を制御する。具体的には、現像開始ボタンが押下されたことを示す操作情報がユーザＩ／Ｆ部３０４から出力されると、制御部３０５は、現像部３０２に現像処理の開始を指示する。

図７は、画像表示装置４００の機能構成の一例を示すブロック図である。図７に示すように、画像表示装置４００は、入力部４０１、再生情報抽出部４０２、ＨＤＲ判断部４０３、ＨＤＲ合成部４０４、画像処理部４０５、表示部４０６、制御部４０７、及び、合成比率決定部４０８を少なくとも備える。これらの機能部は、内部バス４０９によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス４０９を用いて行われる。各機能部の動作は、制御部４０７によって制御される。

入力部４０１は、現像装置３００から出力された再生用ＲＧＢ−ＨＤＲ動画データを所定のフレームレートで取得する（第１取得処理）。そして、入力部４０１は、取得した再生用ＲＧＢ−ＨＤＲ動画データを所定のフレームレートで再生情報抽出部４０２とＨＤＲ判断部４０３に出力する。なお、入力部４０１では、ＨＤＲ動画データ以外の動画データが取得されることもある。

再生情報抽出部４０２は、入力部４０１からフレームデータ（１フレーム分の画像データ）が出力される度に、当該フレームデータから再生情報を抽出し（第２取得処理）、抽出した再生情報を制御部４０７に出力する。

ＨＤＲ判断部４０３は、入力部４０１からフレームデータが出力される度に、当該フレームデータからＨＤＲメタ情報を抽出する。そして、ＨＤＲ判断部４０３は、抽出したＨＤＲメタ情報からＨＤＲ識別情報を取得し（第６取得処理）、入力部４０１によって取得された動画データが再生用ＲＧＢ−ＨＤＲ動画データであるか否かをＨＤＲ識別情報に応じて判断する（動画判断処理）。入力部４０１によって取得された動画データが再生用ＲＧＢ−ＨＤＲ動画データでない場合には、ＨＤＲ判断部４０３は、入力部４０１からのフレームデータを画像処理部４０５に出力する。入力部４０１によって取得された動画データが再生用ＲＧＢ−ＨＤＲ動画データである場合には、ＨＤＲ判断部４０３は、入力部４０１からのフレームデータをＨＤＲ合成部４０４に出力する。また、入力部４０１によって取得された動画データが再生用ＲＧＢ−ＨＤＲ動画データである場合には、ＨＤＲ判断部４０３は、抽出したＨＤＲメタ情報をＨＤＲ合成部４０４と合成比率決定部４０８に出力する。

なお、再生用ＲＧＢ−ＨＤＲ動画データが画像表示装置４００に入力されることが前提である場合には、第６取得処理と動画判断処理は行われなくてもよい。また、動画判断処理の方法は特に限定されない。例えば、ペア識別情報とフレーム識別情報の少なくとも一方を用いて、動画データが再生用ＲＧＢ−ＨＤＲ動画データであるか否かが判断されてもよい。即ち、ペア識別情報とフレーム識別情報の少なくとも一方が、ＨＤＲ識別情報を兼ねていてもよい。第１フレームの露光時間は比較的長いため、第１フレームは明るいことが多い。そして、第２フレームの露光時間は比較的短いため、第２フレームは暗いことが多い。そのため、入力部４０１によって取得された動画データの輝度の時間変化に基づいて、当該動画データが再生用ＲＧＢ−ＨＤＲ動画データであるか否かを判断することもできる。

ＨＤＲ合成部４０４は、ＨＤＲ判断部４０３から出力されたＨＤＲメタ情報を取得し、取得したＨＤＲメタ情報からフレーム識別情報を取得する（第４取得処理）。そして、ＨＤＲ合成部４０４は、ＨＤＲ判断部４０３からのフレームデータが第１フレームのデータであるか第２フレームのデータであるかをフレーム識別情報に応じて判断する（フレーム判断処理）。即ち、本実施例では、入力部４０１によって取得された再生用ＲＧＢ−ＨＤＲ動画データの第１フレームと第２フレームが、フレーム識別情報を用いて識別される。また、ＨＤＲ合成部４０４は、取得したＨＤＲメタ情報からペア識別情報を取得する（第５取得処理）。そして、ＨＤＲ合成部４０４は、入力部４０１によって取得された再生用ＲＧＢ−ＨＤＲ動画データのフレームペアを、ペア識別情報を用いて識別する（ペア識別処理）。

そして、ＨＤＲ合成部４０４は、フレームペアが取得される度に、当該フレームペアの第１フレームと第２フレームを合成する合成処理を行い、合成処理の結果（合成フレームデータ）を画像処理部４０５に出力する。合成処理では、合成比率決定部４０８から出力された合成比率に応じた重みで第１フレームと第２フレームが合成される。合成処理を行うために、ＨＤＲ合成部４０４は、フレームデータを記憶するバッファ（フレームメモリ
）を有する。再生用ＲＧＢ−ＨＤＲ動画データの各フレームペアについて合成処理が行われることにより、ＨＤＲ合成動画データが生成される。

合成処理では、例えば、以下の式１を用いて第１フレームと第２フレームが合成される。式１は、１つの画素位置に対する合成処理を示す。各画素位置に対して式１を用いた合成処理が行われる。式１において、Ｋは合成比率、Ｌ１は第１フレームの輝度値、Ｌ２は第２フレームの輝度値、Ｌｃは合成結果（合成処理後の輝度値）を示す。Ｋは０以上且つ１以下の値である。

Ｌｃ＝Ｌ２×Ｋ＋Ｌ１×（１−Ｋ） ・・・（式１）

なお、再生用ＲＧＢ−ＨＤＲ動画データにおける第１フレームと第２フレームの順番が予め定められていてもよい。そして、再生用ＲＧＢ−ＨＤＲ動画データにおける第１フレームと第２フレームの順番を画像表示装置４００が予め把握している場合には、第４取得処理とフレーム判断処理は行われなくてもよい。また、フレーム判断処理の方法は特に限定されない。例えば、ＨＤＲ判断部４０３からのフレームデータの輝度に基づいて、当該フレームデータが第１フレームのデータであるか第２フレームのデータであるかが判断されてもよい。また、フレームペアに含まれる第１フレームと第２フレームの順番が予め定められていてもよい。そして、フレームペアに含まれる第１フレームと第２フレームの順番を画像表示装置４００が予め把握している場合には、第５取得処理とペア識別処理は行われなくてもよい。

画像処理部４０５は、ＨＤＲ判断部４０３から出力されたフレームデータ、または、ＨＤＲ合成部４０４から出力された合成フレームデータに所定の画像処理を施すことにより、処理フレームデータを生成する。そして、画像処理部４０５は、生成した処理フレームデータを表示部４０６に出力する。画像処理部４０５は、画像処理部４０５にフレームデータ（合成フレームデータ）が入力される度に、上述した処理を行う。所定の画像処理として、例えば、白色の輝度を変更する白輝度変更処理、階調値を変更する階調変更処理、色度を変更する色度変更処理、等が行われる。
なお、合成フレームデータ間の合成比率の差によって、合成フレームデータが一つ前の合成フレームと比べて暗くなったり明るくなったりするといった顕著な輝度変化が生じる場合がある。画像処理部４０５は、このような輝度変化を低減するために、輝度を増減させる画像処理を行っても良い。具体的には、合成フレームデータ間の輝度平均値の差やピーク輝度値（最大輝度値）の差を監視し、その差が所定の差以上の場合は、当該差が所定の差以下に収まるよう白輝度（白色の輝度）を変更する処理等を行ってもよい。或いは、合成フレームデータ毎に、合成比率決定部４０８から合成比率を取得し、その合成比率に応じて輝度を変更する処理等を行ってもよい。

表示部４０６は、画像処理部４０５から出力された処理動画データに応じた動画を画面に表示する。処理動画データは、各フレームの画像データとして処理フレームデータを有する動画データである。具体的には、表示部４０６は、フレームデータを記憶するバッファ（フレームメモリ）と表示パネルを有する。表示部４０６は、画像処理部４０５から処理フレームデータが出力される度に、画像処理部４０５から出力された処理フレームデータをバッファに記録（上書き）する。そして、表示部４０６は、バッファから処理フレームデータを所定のリフレッシュレートで読み出し、読み出した処理フレームデータを表示パネルに出力する。表示パネルに入力された処理フレームデータに応じて表示パネルの各表示素子が駆動され、処理フレームデータに応じた画像が表示される。表示パネルとしては、例えば、液晶パネル、有機ＥＬパネル、プラズマパネル、等が使用される。

制御部４０７は、画像表示装置４００が有する各機能部の動作を制御する。例えば、制御部４０７は、再生情報抽出部４０２から出力された再生情報を合成比率決定部４０８に出力することにより、合成比率決定部４０８の動作を制御する。なお、制御部４０７は、再生情報抽出部４０２から出力された再生情報に基づく情報を生成し、生成した情報を再生情報の代わりに出力してもよい。例えば、制御部４０７は、再生情報に基づいて、現在の再生方法が一時停止再生であるか否かを示す情報を生成してもよい。

合成比率決定部４０８は、制御部４０７からの再生情報に基づいて、合成比率Ｋを決定する。上述した式１に示されているように、本実施例では、合成比率Ｋとして、第２フレームの重みが決定される。本実施例では、合成比率決定部４０８は、再生情報に基づいて、現在の再生方法が一時停止再生であるか否を判断する。そして、合成比率決定部４０８は、現在の再生方法の判断結果に応じて、以下のように合成比率Ｋを決定する。合成比率決定部４０８は、決定した合成比率ＫをＨＤＲ合成部４０４に出力する。

現在の再生方法が通常再生である場合：Ｋ＝０．５
現在の再生方法が一時停止再生である場合：Ｋ＝０．８

このように、本実施例では、現在の再生方法が一時停止再生である場合に、現在の再生方法が通常再生である場合に比べて大きい値が第２フレームの重みとして使用されるように、合成比率Ｋが決定される。現在の再生方法が一時停止再生である場合に大きい値が第２フレームの重みとして使用されることにより、合成フレームデータとして、被写体のフォーカス感が高い画像を表す画像データを得ることができる。現在の再生方法が通常再生である場合の合成比率Ｋは、基準値（デフォルト値）であり、通常再生において被写体の自然な動きを表現可能な値である。再生方法に対応する合成比率Ｋの値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

なお、合成比率Ｋの値は、上述した値（０．５と０．８）に限らない。現在の再生方法が通常再生である場合の合成比率Ｋは、０．５より大きくても小さくてもよい。現在の再生方法が一時停止再生である場合の合成比率Ｋは、０．８より大きくても小さくてもよい。例えば、現在の再生方法が一時停止再生である場合の合成比率Ｋとして１が使用されてもよい。即ち、現在の再生方法が一時停止再生である場合に、第１フレームの合成比率（重み）としてゼロが使用され、第２フレームの合成比率として１が使用されてもよい。その場合、露光時間が長い第１フレームと露光時間が短い第２フレームのうち、第２のフレームのみを選択して出力する選択処理を行い、合成処理を行わなくてもよい。

なお、合成比率Ｋとして、第２フレームの重み以外の値が決定されてもよい。例えば、合成比率Ｋとして、第１フレームの重みが決定されてもよい。合成比率Ｋとして、第１フレームの重みに対する第２フレームの重みの割合が決定されてもよい。合成比率Ｋとして、第２フレームの重みに対する第１フレームの重みの割合が決定されてもよい。

なお、現在の再生方法が一時停止再生と異なる場合に基準値が合成比率Ｋとして使用されてもよいし、そうでなくてもよい。例えば、現在の再生方法がスロー再生である場合に、現在の再生方法が通常再生である場合に比べて大きい値が第２フレームの重みとして使用されるように、合成比率Ｋが決定されてもよい。現在の再生方法がスロー再生である場合に、現在の再生方法が一時停止再生である場合と同じ値が第２フレームの重みとして使用されるように、合成比率Ｋが決定されてもよい。現在の再生方法がスロー再生である場合に、現在の再生方法が通常再生である場合よりも大きく、且つ、現在の再生方法が一時停止再生である場合よりも小さい値が第２フレームの重みとして使用されるように、合成比率Ｋが決定されてもよい。

なお、合成比率Ｋを決定する決定処理の方法は上記方法に限らない。例えば、現在の再生方法が一時停止再生（またはスロー再生）である場合に、第１フレームと第２フレームの輝度（ＨＤＲ判断部４０３からのフレームデータの輝度）に基づいて、合成比率Ｋが決定（調整）されてもよい。現在の再生方法が一時停止再生（またはスロー再生）である場合に、第１フレームと第２フレームの露光時間に基づいて、合成比率Ｋが決定されてもよい。第１フレームと第２フレームの露光時間の差が小さい場合には、第２フレームの重みの増加によるフォーカス感の増加が小さい。そのため、第１フレームと第２フレームの露光時間の差が第１閾値未満である場合に、露光時間の差が第１閾値以上である場合に比べて基準値に近い値が第２フレームの重みとして使用されるように、合成比率Ｋが決定されてもよい。具体的には、以下のように合成比率Ｋが決定されてもよい。これにより、再生方法の違いによるフォーカス感の変化を低減でき、ユーザの違和感を低減することができる。これらの方法では、例えば、ＨＤＲメタ情報から露出時間情報が取得され（第３取得処理）、露出時間情報によって示された露光時間が使用される。第１閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

現在の再生方法が通常再生である場合：Ｋ＝０．５
現在の再生方法が一時停止再生であり、
且つ、露光時間の差が第１閾値以上である場合：Ｋ＝０．８
現在の再生方法が一時停止再生であり、
且つ、露光時間の差が第１閾値未満である場合：Ｋ＝０．６

図８は、画像表示装置４００の動作の一例を示すフローチャートである。ここでは、画像表示装置４００に再生用ＲＧＢ−ＨＤＲ動画データが入力された場合の例を説明する。

まず、制御部４０７が、再生情報抽出部４０２から再生情報を取得し、取得した再生情報を合成比率決定部４０８に出力する（Ｓ１０１）。次に、合成比率決定部４０８が、制御部４０７から出力された再生情報に基づいて、現在の再生方法が一時停止再生であるか否かを判断する（Ｓ１０２）。そして、合成比率決定部４０８が、ＨＤＲ判断部４０３から第１フレームと第２フレームの露出時間情報を取得する（Ｓ１０３）。次に、合成比率決定部４０８が、Ｓ１０２の判断結果とＳ１０３で取得された露出時間情報とに基づいて、合成比率Ｋを決定する（Ｓ１０４）。そして、ＨＤＲ合成部４０４は、Ｓ１０４で決定された合成比率Ｋを用いて、第１フレームと第２フレームを合成する（Ｓ１０５）。Ｓ１０１からＳ１０５までの処理は、再生用ＲＧＢ−ＨＤＲ動画データの各フレームペアに対して繰り返し行われる（Ｓ１０６）。

図９（Ａ），９（Ｂ）は、本実施例における表示画像（画面に表示された画像）の一例を示す図である。図９（Ａ），９（Ｂ）の表示画像は、合成フレームデータに応じて表示された画像である。モーションキャプチャワークフローでは、まず、通常再生が設定され、ユーザによって動画が確認される。このときは、合成比率Ｋとして基準値が使用される。その結果、図９（Ａ）に示すように、被写体の動きのボケがある程度残った画像が表示される。動きのボケがある程度残った画像が表示されることによって、自然な動きを表現することができる。その後、静止画データとして抽出する合成フレームデータを選定するために、スロー再生や一時停止再生が設定されたり、コマ送りが行われたりする。このときは、合成比率Ｋ（第２フレームの重み）として基準値よりも大きい値が使用される。その結果、図９（Ｂ）に示すように、被写体のフォーカス感が高い画像が表示される。フォーカス感の高い画像が表示されることにより、ユーザは、静止画データとして抽出する合成フレームデータを容易且つ適切に選定することができる。合成フレームデータの代わりに、静止画データの生成に使用するフレームペアが抽出されてもよい。

以上述べたように、本実施例によれば、第１フレームと第２フレームを合成する際に使用される合成比率が、ＨＤＲ動画データの再生方法に基づいて自動で決定される。それにより、被写体の動きのボケ具合（被写体のフォーカス感）が好適なＨＤＲ合成動画データを容易に得ることができる。具体的には、再生方法を変える度に合成比率を変更するユーザの手間を省くことができ、ユーザの作業時間や負担を低減することができる（作業の効率化）。また、モーションキャプチャワークフローにおいて、ユーザは、好適な合成フレームデータやフレームペアを短時間且つ容易に選定（選別）することができる。

なお、本実施例では、ＨＤＲ識別情報、ペア識別情報、フレーム識別情報、露光時間情報、再生情報、等がメタデータとして伝送される例を説明したが、これに限らない。例えば、ＨＤＲ識別情報、ペア識別情報、フレーム識別情報、露光時間情報、及び、再生情報の少なくともいずれかが、動画データとは別に伝送されてもよい。ＨＤＲ識別情報、ペア識別情報、フレーム識別情報、露光時間情報、及び、再生情報の少なくともいずれかが、ユーザ操作に応じて取得されてもよい。ユーザ操作は、撮像装置に対するユーザ操作、再生装置に対するユーザ操作、画像表示装置に対するユーザ操作、等である。

なお、本実施例では、第１フレームと第２フレームの２つのフレームを合成する例を説明したが、これに限らない。ＨＤＲ動画データは、３つ以上のフレームを含むフレーム群が繰り返される動画データであってもよい。例えば、短時間露光で撮像されたフレーム、適正露光で撮像されたフレーム、及び、長時間露光で撮像されたフレームの３つのフレームを含むフレーム群が繰り返される動画データが使用されてもよい。その場合、フレーム群に含まれる３つ以上のフレームが合成されてもよい。また、ＨＤＲ動画データにおいて、第１フレームと第２フレームは連続していなくてもよい。

＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及び画像処理方法について説明する。本実施例では、合成比率Ｋの決定方法が実施例１と異なる。以下では、実施例１と異なる構成や処理について詳しく説明し、実施例１と同じ構成や処理についての説明は省略する。本実施例に係る画像表示システムの構成は、実施例１と同じである。また、本実施例に係る撮像装置、再生装置、及び、現像装置の構成も、実施例１と同じである。

図１０は、本実施例に係る画像表示装置５００の機能構成の一例を示すブロック図である。図１０に示すように、画像表示装置５００は、入力部４０１、再生情報抽出部４０２、ＨＤＲ判断部４０３、ＨＤＲ合成部４０４、画像処理部４０５、表示部４０６、制御部４０７、合成比率決定部５０８、及び、ヒストグラム取得部５１０を少なくとも備える。これらの機能部は、内部バス４０９によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス４０９を用いて行われる。各機能部の動作は、制御部４０７によって制御される。なお、図１０において、実施例１（図７）と同じ機能部には実施例１と同じ符号を付し、その説明は省略する。

本実施例では、入力部４０１によって取得された動画データがＨＤＲ動画データ（再生用ＲＧＢ−ＨＤＲ動画データ）である場合に、ＨＤＲ判断部４０３は、入力部４０１からのフレームデータをＨＤＲ合成部４０４とヒストグラム取得部５１０に出力する。また、ＨＤＲ判断部４０３は、抽出したＨＤＲメタ情報を、ＨＤＲ合成部４０４、合成比率決定部５０８、及び、ヒストグラム取得部５１０に出力する。

ヒストグラム取得部５１０は、入力部４０１によって取得されたＨＤＲ動画データの第１フレーム、第２フレーム、及び、フレームペアを、ＨＤＲ合成部４０４と同様の方法で識別する。そして、ヒストグラム取得部５１０は、フレームペアが取得される度に、当該
フレームペアの第１フレームと第２フレームを合成する合成処理を行い、合成フレームデータの各階調値を取得する（第７取得処理）。ここでは、候補比率を合成比率Ｋとして用いた合成処理が行われる。具体的には、複数の候補比率のそれぞれについて、その候補比率を合成比率Ｋとして用いた合成処理が行われる。それにより、複数の候補比率のそれぞれについて、合成フレームデータの各階調値が取得される。候補比率は、合成比率Ｋの候補である。合成処理を行うために、ヒストグラム取得部５１０は、フレームデータを記憶するバッファ（フレームメモリ）を有する。

なお、候補比率を合成比率Ｋとして用いた合成処理はＨＤＲ合成部４０４で行われてもよい。そして、ＨＤＲ合成部４０４によって生成された合成フレームデータの各階調値を取得する処理が、第７取得処理として行われてもよい。また、候補比率の値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

ヒストグラム取得部５１０は、取得した階調値を合成比率決定部５０８に出力する。本実施例では、ヒストグラム取得部５１０は、複数の候補比率のそれぞれについて、各階調値の数を表すヒストグラムデータを生成する。そして、ヒストグラム取得部５１０は、生成した複数のヒストグラムデータを合成比率決定部５０８に出力する。なお、ヒストグラム取得部５１０によって取得された階調値（ヒストグラムデータ）は黒つぶれの確認に使用されるため、大きな階調値に関する情報を合成比率決定部５０８に出力する必要はない。そのため、第４閾値以下の階調値のみが合成比率決定部５０８に出力されてもよい。第４閾値以下の各階調値の数のみを表すヒストグラムデータが合成比率決定部５０８に出力されてもよい。第４閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

合成比率決定部５０８は、実施例１と同様に、再生情報に基づいて合成比率Ｋを決定する。但し、本実施例では、入力部４０１に入力されたＨＤＲ動画データに基づいて、合成処理に起因した黒つぶれ（暗部階調のつぶれ）が生じないように合成比率Ｋが決定される（黒つぶれ抑制処理）。黒つぶれ抑制処理の方法は特に限定されない。本実施例では、合成比率決定部５０８は、ヒストグラム取得部５１０によって取得された階調値（ヒストグラムデータ）に基づいて、合成フレームデータの画素のうち階調値が第２閾値以下の画素の数が第３閾値以下となるように合成比率を決定する。第２閾値として、第４閾値より小さい値が使用される。

なお、黒つぶれ抑制処理が常に行われてもよいし、再生方法が所定の再生方法である場合に限って黒つぶれ抑制処理が行われてもよい。第２フレームの重みとして大きい値を使用した場合は、第２フレームの重みとして小さい値を使用した場合に比べ、黒つぶれが発生しやすい。そのため、再生方法が一時停止再生またはスロー再生である場合に限って黒つぶれ抑制処理が行われてもよい。再生方法が一時停止再生である場合に限って黒つぶれ抑制処理が行われてもよい。再生方法がスロー再生である場合に限って黒つぶれ抑制処理が行われてもよい。また、第２閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。第３閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

図１１は、画像表示装置５００の動作の一例を示すフローチャートである。ここでは、画像表示装置５００にＨＤＲ動画データ（再生用ＲＧＢ−ＨＤＲ動画データ）が入力された場合の例を説明する。図１１に示すように、本実施例では、Ｓ２０１〜Ｓ２０７の処理が順に行われる。Ｓ２０１〜Ｓ２０３の処理は、図８のＳ１０１〜Ｓ１０３の処理と同じであり、Ｓ２０６とＳ２０７の処理は、図８のＳ１０５とＳ１０６の処理と同じである。

Ｓ２０４では、ヒストグラム取得部５１０が、複数の候補比率に対応する複数のヒストグラムデータを取得し、取得した複数のヒストグラムデータを合成比率決定部５０８に出力する。図１２（Ａ）〜１２（Ｃ）は、ヒストグラムデータの一例を示す。図１２（Ａ）〜１２（Ｃ）において、縦軸は画素数を示し、横軸は階調値を示す。図１２（Ａ）は、第１の候補比率に対応するヒストグラムデータを示す。図１２（Ｂ）は、第１の候補比率よりも大きい第２の候補比率に対応するヒストグラムデータを示す。そして、図１２（Ｃ）は、第２の候補比率よりも大きい第３の候補比率に対応するヒストグラムデータを示す。第１の候補比率、第２の候補比率、及び、第３の候補比率は、第２フレームの重みである。図１２（Ａ）〜１２（Ｃ）から、第２フレームの重みの増加に伴い黒つぶれが発生及び増加することがわかる。

Ｓ２０５では、合成比率決定部５０８が、Ｓ１０２の判断結果、Ｓ１０３で取得された露出時間情報、及び、Ｓ２０４で取得されたヒストグラムデータに基づいて、合成比率Ｋを決定する。現在の再生方法が一時停止再生でない場合には、基準値が合成比率Ｋとして決定される。現在の再生方法が一時停止再生である場合には、合成フレームデータの画素のうち階調値が第２閾値以下の画素の数が第３閾値以下となるように、基準値よりも大きい値が合成比率Ｋとして決定される。現在の再生方法が一時停止再生である場合のＳ２０５の処理について、図１２（Ａ）〜１２（Ｃ）を用いて具体的に説明する。図１２（Ａ）では、破線で示された矩形領域内の階調値を有する画素が存在しない。図１２（Ｂ）では、矩形領域内の階調値を有する画素の数が、矩形領域のサイズに相当する数の約半分である。図１２（Ｃ）では、矩形領域内の階調値を有する画素の数が、矩形領域のサイズに相当する数よりも多い。Ｓ２０５では、例えば、矩形領域内の階調値を有する画素の数が、矩形領域のサイズに相当する数の半分以下になるように、合成比率Ｋが決定される。そのため、図１２（Ｂ）に示すヒストグラムデータに対応する第２の候補比率が、合成比率Ｋとして決定される。

以上述べたように、本実施例によれば、撮像情報に基づいて合成比率が自動で決定されるため、実施例１と同様の効果を得ることができる。さらに、本実施例では、黒つぶれの発生が抑制されるように合成比率が決定される。それにより、より高画質なＨＤＲ合成動画データを得ることができる。

なお、本実施例では、複数の候補比率を使用する例を説明したが、使用される候補比率の数は１つであってもよい。使用される候補比率が１つである場合の例を説明する。階調値が第２閾値以下の画素の数、合成比率Ｋ、及び、再生方法の対応関係が予め定められる。そして、再生情報、ヒストグラム取得部５１０によって取得された階調値、及び、上記対応関係に基づいて、合成比率Ｋが決定される。具体的には、再生情報によって示された再生方法と、ヒストグラム取得部５１０によって取得された階調値が第２閾値以下である画素の数との組み合わせに対応する合成比率Ｋが、上記対応関係から取得される。一時停止再生時にのみ黒つぶれ抑制処理が行われる場合には、階調値が第２閾値以下の画素の数と、合成比率Ｋとの対応関係が予め定められていればよい。その場合には、ヒストグラム取得部５１０によって取得された階調値が第２閾値以下である画素の数に対応する合成比率Ｋが、上記対応関係から取得されればよい。

＜実施例３＞
以下、本発明の実施例３に係る画像処理装置及び画像処理方法について説明する。以下では、実施例１と異なる構成や処理について詳しく説明し、実施例１と同じ構成や処理についての説明は省略する。本実施例に係る画像表示システムの構成は、実施例１と同じである。また、本実施例に係る撮像装置、再生装置、及び、現像装置の構成も、実施例１と同じである。なお、以下で述べる本実施例の特徴となる構成は、実施例２や後述の実施例４の構成に組み合わせることもできる。

図１３は、本実施例に係る画像表示装置６００の機能構成の一例を示すブロック図である。図１３に示すように、画像表示装置６００は、入力部４０１、再生情報抽出部４０２、ＨＤＲ判断部４０３、ＨＤＲ合成部４０４、画像処理部４０５、表示部４０６、制御部４０７、合成比率決定部４０８、及び、画像合成部６１０を少なくとも備える。これらの機能部は、内部バス４０９によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス４０９を用いて行われる。各機能部の動作は、制御部４０７によって制御される。なお、図１３において、実施例１（図７）と同じ機能部には実施例１と同じ符号を付し、その説明は省略する。

本実施例では、合成比率決定部４０８は、決定した合成比率ＫをＨＤＲ合成部４０４と画像合成部６１０に出力する。また、画像処理部４０５は、生成した処理フレームデータ（第１処理フレームデータ）を画像合成部６１０に出力する。

画像合成部６１０は、合成比率決定部４０８から出力された合成比率Ｋをユーザに通知する。本実施例では、画像合成部６１０は、フレームデータを記憶するバッファ（フレームメモリ）を有し、画像処理部４０５から出力された第１処理フレームデータをバッファに記録（上書き）する。そして、画像合成部６１０は、合成比率決定部４０８から出力された合成比率Ｋと、バッファに記録された第１処理フレームデータとに基づいて、合成比率画像を処理フレーム画像に重ねた画像を表すフレームデータ（第２処理フレームデータ）を生成する。合成比率画像は、合成比率を表すグラフィック画像であり、処理フレーム画像は、第１処理フレームデータによって表された画像である。具体的には、画像合成部６１０は、合成比率Ｋに基づいて、合成比率画像を表す画像データ（グラフィック画像データ）を生成する。そして、画像合成部６１０は、グラフィック画像データを第１処理フレームデータに合成することにより、第２処理フレームデータを生成する。その後、画像合成部６１０は、生成した第２処理フレームデータを表示部４０６に出力する。その結果、合成比率画像を処理フレーム画像に重ねた画像が表示され、合成比率がユーザに通知される。画像合成部６１０は、画像処理部４０５から処理フレームデータが出力される度に上述した処理を行う。それにより、ＨＤＲ合成動画データに基づく動画に合成比率画像を重ねた動画を表す動画データが生成され、表示される。

図１４は、本実施例に係る表示画像の一例を示す図である。図１４では、合成比率画像として、合成比率Ｋを示すバー画像が表示されている。なお、合成比率画像は、図１４に示す画像に限らない。例えば、合成比率Ｋの数値が記述されたテキスト画像が合成比率画像として使用されてもよい。合成比率Ｋの値に対応するアイコンが合成比率画像として使用されてもよい。

以上、本実施例によれば、撮像情報に基づいて合成比率が自動で決定されるため、実施例１と同様の効果を得ることができる。さらに、本実施例では、現在の合成比率がユーザに通知される。それにより、ユーザは、自身が確認している画像の合成比率を把握することができる。ユーザによって把握された合成比率は、例えば、別途行われる作業において利用される。具体的には、静止画データとして抽出された画像データを用いたレタッチ作業などにおいて、ユーザによって把握された合成比率が利用される。第１フレームと第２フレームを様々な合成比率で合成して複数の静止画データを得るために、ユーザによって把握された合成比率が利用されることもある。なお、本実施例では画像表示によって合成比率がユーザに通知される例を説明したが、ユーザへの通知方法はこれに限らない。例えば、音声やランプ（光源）からの光を用いて、合成比率がユーザに通知されてもよい。

＜実施例４＞
以下、本発明の実施例４に係る画像処理装置及び画像処理方法について説明する。以下
では、実施例１と異なる構成や処理について詳しく説明し、実施例１と同じ構成や処理についての説明は省略する。本実施例に係る画像表示システムの構成は、実施例１と同じである。また、本実施例に係る撮像装置、再生装置、及び、現像装置の構成も、実施例１と同じである。なお、以下で述べる本実施例の特徴となる構成は、実施例２や実施例３の構成に組み合わせることもできる。

図１５は、本実施例に係る画像表示装置７００の機能構成の一例を示すブロック図である。図１５に示すように、画像表示装置７００は、入力部４０１、再生情報抽出部４０２、ＨＤＲ判断部４０３、ＨＤＲ合成部４０４、画像処理部４０５、表示部４０６、制御部４０７、合成比率決定部４０８、比率情報生成部７１０、及び、出力部７１１を少なくとも備える。これらの機能部は、内部バス４０９によって互いに接続されている。これらの機能部間のデータの送受信は、内部バス４０９を用いて行われる。各機能部の動作は、制御部４０７によって制御される。なお、図１５において、実施例１（図７）と同じ機能部には実施例１と同じ符号を付し、その説明は省略する。

本実施例では、ＨＤＲ判断部４０３は、抽出したＨＤＲメタ情報をＨＤＲ合成部４０４、合成比率決定部４０８、及び、比率情報生成部７１０に出力する。また、合成比率決定部４０８は、決定した合成比率Ｋを、ＨＤＲ合成部４０４と比率情報生成部７１０に出力する。

比率情報生成部７１０は、ＨＤＲ判断部４０３から出力されたＨＤＲメタ情報に、合成比率決定部４０８から出力された合成比率Ｋを付加する（関連付ける）ことにより、比率情報を生成する。また、比率情報生成部７１０は、比率情報（合成比率Ｋが付加されたＨＤＲメタ情報）を記憶するバッファを有し、比率情報をバッファに記録（上書き）する。そして、比率情報生成部７１０は、制御部４０７からの指示に応じて、比率情報をバッファから読み出して出力部７１１に出力する。制御部４０７は、例えば、ユーザ操作に応じて、比率情報の出力を比率情報生成部７１０に指示する。なお、ＨＤＲメタ情報は使用されなくてもよい。合成比率Ｋを表す情報であれば、どのような情報が比率情報として生成されてもよい。但し、合成比率Ｋがフレームペアに関連付けられた情報が比率情報として使用されることが好ましい。

出力部７１１は、比率情報生成部７１０から出力された比率情報を外部に出力する。例えば、出力部７１１は、比率情報をファイル形式で外部に出力することにより、画像表示装置７００に接続された外部装置である記憶装置に比率情報を記録する。記憶装置としては、例えば、磁気ディスク、光ディスク、半導体メモリ、等が使用される。半導体メモリとしては、例えば、ＳＤカードが使用される。比率情報用の記憶部を画像表示装置７００が有し、比率情報生成部７１０から出力された比率情報が記憶部に記録されてもよい。比率情報を外部に出力する出力処理と、比率情報を記憶部（画像表示装置７００に設けられた記憶部、外部装置である記憶装置、等）に記録する記録処理との一方が行われてもよいし、そうでなくてもよい。出力処理と記録処理の両方が行われてもよい。なお、複数のフレームペアのそれぞれに関する比率情報が出力されたり記録されたりしてもよい。

以上述べたように、本実施例によれば、撮像情報に基づいて合成比率が自動で決定されるため、実施例１と同様の効果を得ることができる。さらに、本実施例では、合成比率を表す比率情報が、外部に出力されたり、記憶部に記録されたりする。出力または記録された合成比率は、例えば、別途行われる作業において利用される。具体的には、静止画データとして抽出された画像データを用いたレタッチ作業などにおいて、出力または記録された合成比率が利用される。第１フレームと第２フレームを様々な合成比率で合成して複数の静止画データを得るために、出力または記録された合成比率が利用されることもある。

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４００，５００，６００，７００：画像表示装置 ４０１：入力部
４０２：再生情報抽出部 ４０４：ＨＤＲ合成部 ４０８，５０８：合成比率決定部

Claims (19)

1. 撮像によって得られた第１フレームと、前記第１フレームよりも短い露光時間での撮像によって得られた第２フレームとを含む動画データを取得する第１取得手段と、
   前記動画データの再生速度に関する情報である再生情報を取得する第２取得手段と、
   前記再生情報に基づいて、前記第１フレームと前記第２フレームとを合成する合成手段と、
   を有し、
   前記合成手段は、前記動画データの再生速度に応じて、前記第１フレームと前記第２フレームとの合成比率を変更する
   ことを特徴とする画像処理装置。
2. 前記合成手段は、第１再生速度に関する再生情報が前記第２取得手段によって取得された場合に、前記第１再生速度よりも高い第２再生速度に関する再生情報が前記第２取得手段によって取得された場合に比べて大きい値を、前記第２フレームの合成比率として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１再生速度に関する再生情報は、前記動画データの一時停止を示す再生情報である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記第１再生速度に関する再生情報が前記第２取得手段によって取得された場合に、前記第１フレームの合成比率としてゼロを決定し、前記第２フレームの合成比率として１を決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記合成手段は、前記第１再生速度に関する再生情報が前記第２取得手段によって取得された場合に、前記第１フレームと前記第２フレームの露光時間に基づいて前記合成比率を決定する
   ことを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記合成手段は、
   前記第２再生速度に関する再生情報が前記第２取得手段によって取得された場合に、基準値を前記第２フレームの合成比率として決定し、
   前記第１再生速度に関する再生情報が前記第２取得手段によって取得され、且つ、前記第１フレームと前記第２フレームの露光時間の差が第１閾値未満である場合に、前記第１フレームと前記第２フレームの露光時間の差が前記第１閾値以上である場合に比べて前記基準値に近い値を、前記第２フレームの合成比率として決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記動画データの各フレームの露光時間を示す時間情報を取得する第３取得手段をさらに有し、
   前記合成手段は、前記第１再生速度に関する再生情報が前記第２取得手段によって取得された場合に、前記時間情報を用いて前記合成比率を決定する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記第１フレームと前記第２フレームを識別するフレーム識別情報を取得する第４取得手段をさらに有し、
   前記合成手段は、前記第１フレームと前記第２フレームを、前記フレーム識別情報を用
   いて識別する
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記第１フレームと前記第２フレームを含むフレームペアを識別するペア識別情報を取得する第５取得手段をさらに有し、
   前記合成手段は、前記フレームペアを、前記ペア識別情報を用いて識別する
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１取得手段によって取得された動画データが前記第１フレームと前記第２フレームを含むか否かを判断する判断手段をさらに有する
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記第１取得手段によって取得された動画データが前記第１フレームと前記第２フレームを含むか否かを示す動画識別情報を取得する第６取得手段をさらに有し、
    前記判断手段は、前記動画識別情報に応じて、前記第１取得手段によって取得された動画データが前記第１フレームと前記第２フレームを含むか否かを判断する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記合成手段は、前記動画データに基づいて、前記第１フレームと前記第２フレームの合成に起因した黒つぶれが生じないように、前記合成比率を決定する
    ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 前記合成比率の候補である候補比率に応じて前記第１フレームと前記第２フレームを合成したフレームの各階調値を取得する第７取得手段をさらに有し、
    前記合成手段は、前記第７取得手段によって取得された各階調値に基づいて、前記第１フレームと前記第２フレームを合成した後の階調値が第２閾値以下の画素の数が第３閾値以下となるように、前記合成比率を決定する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記合成比率をユーザに通知する通知手段をさらに有する
    ことを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
15. 前記第１フレームと前記第２フレームとを合成することにより得られた動画データである合成動画データと、前記合成比率とに基づいて、前記合成比率を表すグラフィック画像を前記合成動画データに基づく動画に重ねた動画を表す動画データを生成する生成手段をさらに有する
    ことを特徴とする請求項１〜１４のいずれか１項に記載の画像処理装置。
16. 前記合成比率を表す比率情報を外部に出力する出力手段をさらに有する
    ことを特徴とする請求項１〜１５のいずれか１項に記載の画像処理装置。
17. 前記合成比率を表す比率情報を記憶部に記録する記録手段をさらに有する
    ことを特徴とする請求項１〜１６のいずれか１項に記載の画像処理装置。
18. 撮像によって得られた第１フレームと、前記第１フレームよりも短い露光時間での撮像によって得られた第２フレームとを含む動画データを取得する第１取得ステップと、
    前記動画データの再生速度に関する情報である再生情報を取得する第２取得ステップと、
    前記再生情報に基づいて、前記第１フレームと前記第２フレームとを合成する合成ステップと、
    を有し、
    前記合成ステップでは、前記動画データの再生速度に応じて、前記第１フレームと前記第２フレームとの合成比率が変更される
    ことを特徴とする画像処理方法。
19. 請求項１８に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images