JP5489649B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、例えば広ダイナミックレンジ技術を利用した画像処理装置及び画像処理方法に関し、複数のフレームの画像データで１枚の画像が構成される動画データを処理する技術に関する。

撮影条件を変えて露出を行った異なる複数の画像について、各画像の露出状態を考慮して合成することにより、合成後の画像の階調表現を豊かにする、ＨＤＲ(Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ)と称する技術が注目されている。
現在、ＨＤＲ画像は主に映画、特殊効果、３Ｄ（三次元）映像作品、一部のハイエンド写真などで使用されている。一般的にＨＤＲ画像の合成はコンピュータなどの情報処理装置を用いて行われる。これに対して、露出の異なる複数の画像を所定の順序で表示することで、ＨＤＲ表現を実現する手段も提案されている。この場合、複雑な演算処理を対象画像に施こさずに画像合成ができるので、簡単でリアルタイム性の高いＨＤＲ表示を行える。例えば図６は、露出の異なる複数（本例では３）フレームの画像データで１つの画像が構成される動画（以下、ＨＤＲ動画という）を示す。図中のＶＳＹＮＣは垂直同期信号を示し、ＦＲＡＭＥに示すＨ、Ｍ、Ｌは露出の異なる画像データ列を表す。つまりＨは露出の高いフレーム、Ｍは露出が中間のフレーム、Ｌは露出の低いフレームをそれぞれ表している。またＨ，Ｍ，Ｌに続く数字は時間経過の順序を示しており、本例では１から順に３セット分のフレームがＶＳＹＮＣに同期して表示される様子を示す。

このような表示方法によるＨＤＲ動画の再生において、ユーザが特定のシーンで一時停止を装置に指示した場合、露出の偏った１つのフレームが表示されてしまう。つまり一時停止指示のタイミングによっては、白とびや黒つぶれした画像が表示される可能性があり、ユーザに不快感を与えてしまうという課題がある。そこで、動画再生中の一時停止において、破綻した見づらい静止画が表示されないように回避する方法が、例えば特許文献１に開示されており、プルダウン変換されたインタレース映像の再生中に一時停止する場合について述べられている。この例ではプログレッシブ映像への再変換を行わない構成において、フィールド間でブレを生じたポーズ画が表示されないように防いでいる。同一のフレームに属するトップフィールドとボトムフィールドが読み出されるようにメモリ制御を行い、それらを交互に読み出すことにより、ブレを生じたポーズ画が表示されないようにしている。

特開２００６−３１９４８１号公報

しかしながら、従来の技術は、露出の異なる複数の画像を用いる場合に対応できないという課題がある。上述した技術では、同一フレームに属するトップフィールドとボトムフィールドを検出し、それらを交互に出力するのみであるため、ＨＤＲ動画のように、露出の異なる複数の画像の合成には適用できない。また、映像ソースによって露出の異なる画像が何枚で１つの画像を構成しているかが異なる。このため、１画像の構成枚数を検出する手段が設けられていない場合、露出の異なる複数の画像を合成した静止画を破綻無く表示することが困難である。
そこで、本発明の目的は、ＨＤＲ動画の画像処理装置において、画像再生の一時停止指示が行われた場合に、ＨＤＲ表現による画像を破綻無く表示することである。

上記課題を解決するために本発明に係る装置は、画像処理装置であって、動画データを入力する入力手段と、入力された動画データが、それぞれ異なる撮影条件で撮影された複数のフレームで各組の画像が構成される動画データであるか否か、および各組の画像を構成するフレーム数を検出する検出手段と、前記動画データの再生の一時停止を指示する操作手段と、前記操作手段によって一時停止の指示が行われた場合、前記検出手段による検出結果に基づいて、入力された動画データが、それぞれ異なる撮影条件で撮影された複数のフレームで各組の画像が構成される動画データであれば、１組の画像を構成する複数のフレームの画像データを順次繰り返し出力するように制御する制御手段と、を備える。

本発明によれば、ユーザが画像再生の一時停止を指示しても、ＨＤＲ表現による画像を破綻無く表示できる。

図２及び３と併せて本発明の第１実施形態を説明するために、装置の構成例を概略的に示したブロック図である。 ＨＤＲ動画の一時停止処理を説明するフローチャートである。 ＨＤＲ動画の一時停止処理を説明するタイミングチャートである。 図５と併せて本発明の第２実施形態を説明するために、装置の構成例を概略的に示したブロック図である。 ＨＤＲ動画の印刷処理を説明するフローチャートである。 ＨＤＲ動画の入力例を説明するタイミングチャートである。

[第１実施形態]
以下、本発明の第１実施形態に係る画像処理装置について、添付図面を用いて説明する。図１は本実施形態を適用したシステム構成の一例として、画像送信装置及び画像処理装置を概略的に示したブロック図である。
本システム例では画像送信装置１０１としてビデオカメラが使用され、画像処理装置として、テレビジョン放送受信装置が使用される。画像送信装置１０１はＨＤＲ動画のデータや通常の動画データを画像処理装置１０２に送信する。本例では送信時に垂直同期信号ＶＳＹＮＣ及び映像データ１１１とＨＤＲＳＹＮＣ信号１１２を画像送信装置１０１が画像処理装置１０２に送信する。このＨＤＲ ＳＹＮＣ信号１１２は、ＨＤＲ動画が何枚で１つの画像（静止画）を構成しているかを示すとともに送信タイミングを示す信号であり、垂直同期信号ＶＳＹＮＣに同期して画像処理装置１０２に出力される。画像処理装置１０２はＨＤＲ ＳＹＮＣ信号１１２を受信して、該信号に応じた処理を行う。

画像処理装置１０２は入力部１０３、ＨＤＲ検出部１０４、ＣＰＵ(中央演算処理装置)１０５、書き込み選択部１０６、読み出し選択部１０７、フレームメモリ部１０８、表示部１０９、操作部１１０を備える。入力部１０３は垂直同期信号ＶＳＹＮＣ及び映像データ１１１、ＨＤＲ ＳＹＮＣ信号１１２を受信する入力インタフェース部である。垂直同期信号ＶＳＹＮＣ及び映像データ１１１は書き込み選択部１０６に送られ、ＨＤＲ ＳＹＮＣ信号１１２はＨＤＲ検出部１０４に送られる。
ＨＤＲ検出部１０４はＨＤＲ ＳＹＮＣ信号１１２を受け取り、対象の動画データがＨＤＲ動画のデータであるか否かを検出するとともに、ＨＤＲ動画の場合に何枚のフレームで１つの画像を構成しているかを検出する。そしてＨＤＲ検出部１０４は検出結果をＣＰＵ１０５に通知する。

ＣＰＵ１０５はＨＤＲ検出部１０４からの検出結果、つまりＨＤＲ動画の場合に何枚で１つの画像を構成しているかを示す情報に従って、フレームメモリ部１０８に何枚分のフレームのメモリ領域を確保してデータを蓄積すべきかを決定する。例えば３フレームで１つの画像を構成しているＨＤＲ動画の場合、入出力のフレーム遅延が１フレーム分の時間であるとすると、合計で４フレーム分のフレームメモリ領域を確保する必要がある。ＣＰＵ１０５は上述の決定に従い、書き込み選択部１０６及び読み出し選択部１０７に指令を出し、フレームメモリ部１０８の書き込み領域及び読み出し領域の選択を制御する。
書き込み選択部１０６はＣＰＵ１０５からの指令を受けて、入力部１０３からの映像データをフレームメモリ部１０８に書き込む。また読み出し選択部１０７はＣＰＵ１０５からの指令を受けて、フレームメモリ部１０８から映像データを読み出し、これを後段の表示部１０９に送信する。

フレームメモリ部１０８は、上述したフレーム分（本例では４フレーム）だけメモリ領域を確保する。メモリ領域はフレーム毎に分割されており、図１の例では、フレームメモリ部１０８内に４フレーム分のデータを蓄積できるように０乃至３の数字を付したメモリ領域が使用される。例えば、ある時点においてフレームメモリ部１０８の「０」で示す領域が書き込み領域となり、「１」で示す領域が読み出し領域になる。次フレームのデータが入力された場合、「１」で示す領域が書き込み領域となり、「２」で示す領域が読み出し領域となる。このように、４フレーム分のメモリ領域を確保し、書き込み領域と読み出し領域を順次にずらしながら使用していくことにより、常に３フレーム分のデータを蓄積することができる。ここでは説明を簡単にするため、フレームメモリ部１０８にて４フレーム分のメモリ領域を確保する例を述べたが、ブランキング期間を考慮して「３フレーム＋数ライン」分のメモリ領域を確保してもよい。
表示部１０９は、読み出し選択部１０７から読み出された映像データを処理して表示画面上に画像表示する。

操作部１１０はユーザの操作指示を受け付けるインタフェース部である。例えば、画像再生の一時停止についてＯＮ／ＯＦＦの指示が操作部１１０からＣＰＵ１０５に通知されると、ＣＰＵ１０５はデータの書き込み及び読み出しを制御する。再生の一時停止が指示された場合、書き込み領域が固定され、読み出し領域に対するデータの読み出し動作が３フレームを１組にして繰り返されるように制御が行われる。その詳細は後で説明する。なお図示は省略するが、画像処理装置１０２にはＣＰＵ１０５によって解釈及び実行されるプログラムや制御パラメータ等の記憶部が設けられている。

次に、ＨＤＲ動画の再生時における一時停止処理について、図２のフローチャートを用いて説明する。なお本処理はＣＰＵ１０５によって解釈及び実行されるプログラムに従って実現される。
Ｓ２０１にて処理が開始し、Ｓ２０２でＨＤＲ動画のデータが再生され、画像表示が行われる。次のＳ２０３にてユーザからの一時停止指示があったか否かが判定される。その結果、一時停止指示があった場合、Ｓ２０５へ進むが、当該指示がない場合にはＳ２０４に進み、処理が終了する。

Ｓ２０５にて、ＨＤＲ ＳＹＮＣ信号の１周期内で複数フレームの画像が繰り返し表示される。図３はその様子を示すタイミングチャートであり、図中、ＶＳＹＮＣ ＩＮは入力されたＶＳＹＮＣを示し、ＦＲＡＭＥ ＩＮは入力されたフレームのデータを示し、ＨＤＲ ＳＹＮＣ ＩＮは入力されたＨＤＲ ＳＹＮＣを示している。本例のＨＤＲ動画では、３フレームで１つの画像を構成しており、Ｈ，Ｍ，Ｌの意味は図６にて説明した通りである。Ｈ，Ｍ，Ｌに続く数字は、３フレームを１組として時系列に沿って付与した番号である。また、ＳＴＯＰ ＳＩＧＮＡＬは操作部１１０による再生の一時停止信号であり、本例ではフレームＭ２の期間中に一時停止が指示され（ＯＮ指示）、フレームＬ４の期間中に一時停止の解除が指示される（ＯＦＦ指示）。ＶＳＹＮＣ ＯＵＴ、ＦＲＡＭＥ ＯＵＴは表示部１０９への出力信号を示す。ＶＳＹＮＣ ＯＵＴは出力されるＶＳＹＮＣを示し、ＦＲＡＭＥ ＯＵＴは出力されるフレームのデータを示しており、ＶＳＹＮＣ ＩＮやＦＲＡＭＥ ＩＮに対して１フレーム分の遅延時間をもって出力される。

ＳＴＯＰ ＳＩＧＮＡＬに示すように、フレームＭ２の入力中に一時停止指示があった場合、出力フレームはＨ２、Ｍ２、Ｌ２の順に出力される。その後、ＨＤＲ ＳＹＮＣによる切り替わり時点でＨ３に移行せずに、再びＨ２、Ｍ２、Ｌ２のフレームが繰り返し出力される。すなわち、入力されたフレームＬ４がＨＤＲ ＳＹＮＣによって切り替わる時点までの期間中、フレームＨ２、Ｍ２、Ｌ２がこの順序で繰り返し出力される。

図２の２０６では、一時停止の解除指示があったか否かが判定される。その結果、解除指示がない場合、Ｓ２０５に戻って上述のように３フレームで１組の画像が繰り返し表示される。一方、一時停止の解除指示があった場合には、Ｓ２０７に進み、次のＨＤＲ ＳＹＮＣから順次に画像表示が続行され、Ｓ２０２へ戻る。図３に示すように、フレームＬ４の入力時に一時停止の解除指示があると、フレームＬ４後のＨＤＲ ＳＹＮＣに続くＶＳＹＮＣ ＯＵＴのタイミングで、フレームＨ５、Ｍ５、Ｌ５が出力される。
第１実施形態によれば、ユーザ操作により一時停止指示があったとしても、１つの画像を構成する複数のフレームの画像を繰り返し表示させることで、ＨＤＲ表現による画像を破綻無く表示できる。
[第２実施形態]

次に本発明の第２実施形態について図４及び５を用いて説明する。第１実施形態ではＨＤＲ動画の一時停止時の表示形態について述べたが、第２実施形態では、一時停止時に画像を印刷する場合を説明する。印刷の場合には、フレーム画像を所定の順序で表示する方法でＨＤＲ効果を得ることができないので、演算によってＨＤＲ画像を生成する必要がある。この時、印刷実行前のプレビュー表示では演算によって生成したＨＤＲ画像が表示される。
図４は第２実施形態を適用した場合の構成例を示した概略ブロック図である。以下では、図１に示した構成要素と同様の機能をもつ構成要素については第１実施形態の場合と同じ符号を用いることでそれらの説明を省略し、相違点を中心に説明する。

画像処理装置４０１の合成選択部４０２はＣＰＵ１０５の指令を受けて、前記した一時停止処理によって繰り返し表示している３フレームの画像データを選択する。選択した３フレームの画像データは、ＨＤＲ合成部４０３に転送される。ＨＤＲ合成部４０３は３フレームの画像データを合成する演算を行い、１枚のＨＤＲ画像のデータを生成する。生成されたＨＤＲ画像のデータは表示選択部４０４及び印刷装置４０５に送られる。印刷装置４０５はデータを受信してＨＤＲ画像を印刷する。表示選択部４０４はＣＰＵ１０５からの指令を受けて、前記一時停止処理による画像表示時には、読み出し選択部１０７が読み出したフレームの画像データを選択して表示部１０９に出力し、画像を繰り返し表示させる。また表示選択部４０４は、印刷プレビュー表示時にはＨＤＲ合成部４０３からのＨＤＲ画像のデータを選択して表示部１０９に出力する。

次に、ＨＤＲ画像の再生時における印刷処理例について、図５のフローチャートを用いて説明する。なおＳ２０１乃至２０４の処理は第１実施形態の場合と同様であるため、それらの説明を省略する。
ユーザ操作による一時停止指示を受けた場合、Ｓ２０５に進む。ここでＨＤＲ ＳＹＮＣ内で３枚１組のフレームの画像が繰り返し表示される状態となる。この状態において次のＳ５０１では、ユーザ操作により印刷要求があったか否かが判定される。その結果、印刷要求がない場合はＳ５０６へ進むが、印刷要求があった場合、Ｓ５０２に進む。

Ｓ５０２にてＨＤＲ合成部４０３は、合成選択部４０２が選択した３フレームの画像データを受け取り、ＨＤＲ合成処理を行うことで印刷プレビュー画像のデータを生成する。プレビュー画像のデータが生成されると、Ｓ５０３にて表示部１０９がプレビュー画像を表示する。次のＳ５０４は、ユーザ操作により印刷の実行指示が行われたか否かの判定処理であり、印刷実行指示があった場合(Ｓ５０４でＹｅｓ)、Ｓ５０５に進み、ＨＤＲ合成部４０３が印刷装置４０５にデータを送り、印刷処理が行われる。また、印刷実行指示がない場合(Ｓ５０４でＮｏ)、Ｓ５０６に進む。

Ｓ５０６は、ユーザ操作により一時停止の解除指示が行われたか否かの判定処理である。一時停止の解除指示があった場合、Ｓ２０７に進み、次のＨＤＲ ＳＹＮＣから順次に画像表示が続行され、Ｓ２０２へ戻る。また一時停止の解除指示がない場合、Ｓ２０５に戻ってＨＤＲ画像を構成する各フレームの画像が繰り返し表示される。
第２実施形態によれば、ＨＤＲ合成処理を行った画像の印刷プレビュー表示を行うことにより、ユーザはその画像を確認しながら実際に印刷を行うかどうかを判断できる。

１０２ 画像処理装置
１０４ ＨＤＲ検出部
１０５ ＣＰＵ
１０６ 書き込み選択部
１０７ 読み出し選択部
１０８ フレームメモリ部
１０９ 表示部
１１０ 操作部
４０１ 画像処理装置

Claims (8)

1. 画像処理装置であって、
   動画データを入力する入力手段と、
   入力された動画データが、それぞれ異なる撮影条件で撮影された複数のフレームで各組の画像が構成される動画データであるか否か、および各組の画像を構成するフレーム数を検出する検出手段と、
   前記動画データの再生の一時停止を指示する操作手段と、
   前記操作手段によって一時停止の指示が行われた場合、前記検出手段による検出結果に基づいて、入力された動画データが、それぞれ異なる撮影条件で撮影された複数のフレームで各組の画像が構成される動画データであれば、１組の画像を構成する複数のフレームの画像データを順次繰り返し出力するように制御する制御手段と、を備えることを特徴とする画像処理装置。
2. 前記動画データに係る複数のフレームの画像データを記憶するメモリ手段
   をさらに備え、
   前記操作手段によって一時停止の指示が行われた場合、前記制御手段は、前記検出手段による検出結果に基づいて前記１組の画像を構成する複数のフレームの画像データを前記メモリ手段から順次読み出して繰り返し出力するように制御することを特徴とする、請求項１に記載の画像処理装置。
3. 前記検出手段によって前記動画データが検出された場合、前記制御手段は、前記動画データに係る所定数のフレームの画像データを、フレーム毎に前記メモリ手段のメモリ領域に記憶させることを特徴とする、請求項２に記載の画像処理装置。
4. 前記操作手段によって印刷が指示された場合、１組の画像を構成する複数のフレームの画像データを合成して１つの画像データを出力する合成手段をさらに備えることを特徴とする、請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 画像処理方法であって、
   動画データを入力する入力ステップと、
   入力された動画データが、それぞれ異なる撮影条件で撮影された複数のフレームで各組の画像が構成される動画データであるか否か、および各組の画像を構成するフレーム数を検出する検出ステップと、
   操作手段による前記動画データの再生を一時停止させる指示を受け付ける受け付けステップと、
   前記一時停止の指示があった場合、前記検出ステップにおける検出結果に基づいて、入力された動画データが、それぞれ異なる撮影条件で撮影された複数のフレームで各組の画像が構成される動画データであれば、１組の画像を構成する複数のフレームの画像データを順次繰り返し出力するように制御する制御ステップと、を有することを特徴とする画像処理方法。
6. 前記動画データに係る複数のフレームの画像データをメモリ手段に記憶する記憶ステップ
   をさらに有し、
   前記一時停止の指示があった場合、前記制御ステップでは、前記検出ステップにおける検出結果に基づいて前記１組の画像を構成する複数のフレームの画像データを前記メモリ手段から順次読み出して繰り返し出力するように制御することを特徴とする、請求項５に記載の画像処理方法。
7. 前記検出ステップによって前記動画データが検出された場合、前記制御ステップでは、前記動画データに係る所定数のフレームの画像データを、フレーム毎に前記メモリ手段のメモリ領域に記憶させることを特徴とする、請求項６に記載の画像処理方法。
8. 前記操作手段によって印刷が指示された場合、１組の画像を構成する複数のフレームの画像データを合成して１つの画像データを出力する合成ステップをさらに有することを特徴とする、請求項５乃至７のいずれか１項に記載の画像処理方法。
   

Images