JP2018074215A - 画像処理装置 - Google Patents

Abstract

【課題】複数のフォーカス距離画像を有する動画データ作成する場合の圧縮効率を高くする。【解決手段】１フレームが複数のフォーカス距離画像で構成され、複数のフレームから構成される動画データを処理する画像処理装置であって、各フレームに含まれる複数のフォーカス距離画像から主フォーカス距離画像を選択する主フォーカス距離画像選択手段と、複数のフレームの前記選択された主フォーカス距離画像を時間軸圧縮した主フォーカス距離画像圧縮データを生成する手段と、各フレームに含まれる主フォーカス距離画像以外の各フォーカス距離画像と主フォーカス距離画像の差分を算出し、前記算出した差分を圧縮した副フォーカス距離画像圧縮データを生成する手段とを備える。【選択図】 図３

Description

本発明は画像処理装置に関する。

画像記録を行うデジタルカメラにおいて、センサー前面にマイクロレンズアレイを配置したライトフィールドカメラに関する技術が開示されている。画像センサーとマイクロレンズアレイで構成される撮像部が、カメラに入射する光線集合であるライトフィールドを取得し、ライトフィールド画像データを生成して記録する。記録されたライトフィールド画像データに対して画像処理を施すことによって、カメラのフォーカス距離を変更した画像を生成するリフォーカス機能がライトフィールドカメラによって実現できる。

ライトフィールド画像データから実際に表示を行う画像データの生成には多くの計算が必要となるため、ライトフィールド画像データから複数のフォーカス距離画像を生成し、パソコンなどで表示が容易なフォーマットに変換する処理が行われる。たとえば、複数のフォーカス距離画像をそれぞれJPEG形式で圧縮した画像を生成し、１つのファイルに記録し、表示アプリケーションではユーザーが指定したフォーカス距離に該当するJPEG画像を選択して表示する。

ライトフィールドカメラによって動画を記録した場合、前記のようにJPEG圧縮による変換を行うと圧縮効率が低いため、MPEG2のような時間軸圧縮処理が必要となる。従来複数のフォーカス距離を持つ動画の記録方法として、それぞれのフォーカス距離の動画を別個に圧縮符号化して記録する技術が開示されている。

特開2009-100176号公報

複数のフォーカス距離画像を有する動画データ作成する場合に、別個に圧縮符号化するため、圧縮効率が低いという課題があった。

上記課題を解決するために、本発明は、１フレームが複数のフォーカス距離画像で構成され、複数のフレームから構成される動画データの作成方法であって、各フレームに含まれる複数のフォーカス距離画像から主フォーカス距離画像を選択する主フォーカス距離画像選択手段を有し、複数のフレームの前記選択された主フォーカス距離画像を時間軸圧縮した主フォーカス距離画像圧縮データを生成し、各フレームに含まれる主フォーカス距離画像以外の各フォーカス距離画像と主フォーカス距離画像の差分を算出し、前記算出した差分を圧縮した副フォーカス距離画像圧縮データを生成することを特徴とする。

本発明によれば、データの増大を抑えてアクセス性の良い、複数フォーカス距離画像を含んだ動画像データを作成することができる。

画像処理装置のブロック図。 ライトフィールド画像から生成された複数のフォーカス距離画像を示す図。 圧縮処理を説明する図。 画像データ出力部の動作を説明するための図。

図１は本実施例における画像装置のブロック図である。１０１は画像処理装置全体を制御するＣＰＵ、１０２記録媒体等からライトフィールド画像データを読み込んで後段の処理部に入力するためのライトフィールド画像データ入力部、１０３は入力されたライトフィールド画像データを処理するためのライトフィールド画像データ処理部、１０４はライトフィールド画像データから生成された複数のフォーカス距離の画像データを保持するためのフレームバッファである。

１０５は前記フレームバッファに保持された画像データから、特定のフォーカス距離を選択するためのフォーカス距離選択部、１０６はフレームバッファ１０４に保持されている画像データを圧縮符号化する圧縮符号化部、１０７は圧縮符号化されたデータを記録媒体等に出力するための複数フォーカス画像データ出力部である。

ライトフィールド画像データ入力部１０２は記録媒体等から１フレームのライトフィールド画像データを読み込んで、ライトフィールド画像データ処理部１０３に出力する。ライトフィールド画像データ処理部１０３は公知の技術により、入力されたライトフィールド画像データを処理して、複数のフォーカス距離画像を生成する。図2は１フレームのライトフィールド画像データから生成された複数のフォーカス距離画像を示す。図２では、５つの異なるフォーカス距離画像を生成した例を示し、フォーカス距離Aが最も遠いフォーカス距離画像であり、フォーカス距離Eが最も近いフォーカス距離画像である。

生成された複数のフォーカス距離画像はフレームバッファ１０４に入力、保持される。本実施例では、フレームバッファ１０４は複数フレームの画像を保持できるようになっているものとする。フォーカス距離選択部１０５は前記フレームバッファに保持されている複数フォーカス距離画像から、特定のフォーカス距離の画像を主フォーカス距離画像として選択する。あらかじめ決定された特定フォーカス距離を選択してもよいし、図1中に図示しないユーザーインターフェースでユーザーが指定したフォーカス距離を選択してもよい。

また、各フォーカス距離画像のうち、最も高周波成分が多いフォーカス距離画像を検出、選択することで、もっとも解像度の高いフォーカス距離を選択することも可能である。また、顔検出機能などの被写体検出機能を有し、検出した被写体に対する高周波成分が多い画像を検出選択することで、主被写体にフォーカスがあったフォーカス距離の画像を選択することも可能である。フォーカス距離の選択は、１フレーム毎に行ってもよいし、定期的に変更してもよい。例えば後述する時間軸圧縮方法としてMPEG2規格に従う場合は、MPEG2のGOP（Group of Pictures）の単位で変更することも可能である。

圧縮符号化部１０６は、フレームバッファに保持されている複数フレームの複数フォーカス距離画像に対して圧縮符号化処理を行う。図３は圧縮符号化部１０６によって圧縮された画像データを示す。図３では、前記フォーカス距離選択部１０５によって、フォーカス距離Cが主フォーカス距離画像として選択されているものとし、フレーム１が時間的に先頭のフレームで、先頭から6フレーム目までの画像を示す。図中の矢印はフレーム間の参照関係を示している。各フレームの主フォーカス距離画像については、MPEG2規格に従ってフレーム間圧縮を行う。

各フレーム内の主フォーカス距離画像以外の画像については、各フレーム内で主フォーカス距離画像との差分データを圧縮する。前記差分は単純な画像間差分でもよいし、ブロック分割を行って動きベクトルを用いた動き補償に基づく圧縮であってもよい。

図３に示すように主フォーカス距離画像をフレーム間差分に基づく時間軸圧縮を行うことで、主フォーカス距離画像のみを通常のMPEG2圧縮動画と同様に復号、再生を行うことが可能である。また、主フォーカス距離画像以外の画像に関しては、主フォーカス距離画像の復号および、差分の復号を行うことで、計算量を大幅に増加させることなく復号、再生を行うことが可能である。

圧縮符号化部１０６で圧縮符号化されたデータは、複数フォーカス画像データ出力部１０７で記録媒体等に出力される。図４は本実施例でのデータ出力について説明する。図４はSMPTE（Society of Motion Picture & Television Engineers）で規格化されているMXF(Material eXchange Format)に基づく概念図である。MXFはファイル記録および伝送に対応したフォーマットであり、複数フォーカス画像データ出力部１０７から出力されるデータは記録媒体への記録や、IP伝送に使用することができる。

MXFではヘッダー部に続き、映像データおよび１フレーム単位で画像データをPicture Itemとして、またそのフレームに付随するデータをData Itemとしてペアでセットすることができる。複数フォーカス画像データ出力部１０７は主フォーカス距離画像の圧縮データをPicture Item部にセットし、主フォーカス距離画像以外のフォーカス距離画像をData Item部にセットする。時間軸圧縮にMPEG2規格を使用している場合は、再生アプリケーションではPicture Itemを再生することで、通常のMPEG2ストリームと同様にデータを扱うことができる。

リフォーカス機能に対応したアプリケーションは、さらにData Itemに記録されている主フォーカス距離画像以外の画像データを復号することで、リフォーカス機能を実現することができる。なお、本実施例では時間軸圧縮の方法としてMPEG2を例に挙げたが、他の時間軸圧縮方法を適用することも可能である。

１０１ ＣＰＵ
１０２ ライトフィールド画像データ入力部
１０３ ライトフィールド画像データ処理部
１０４ フレームバッファ
１０５ フォーカス距離選択部
１０６ 圧縮符号化部
１０７ 複数フォーカス画像データ出力部

Claims (6)

1. １フレームが複数のフォーカス距離画像で構成され、複数のフレームから構成される動画データを処理する画像処理装置であって、
   各フレームに含まれる複数のフォーカス距離画像から主フォーカス距離画像を選択する主フォーカス距離画像選択手段と、
   複数のフレームの前記選択された主フォーカス距離画像を時間軸圧縮した主フォーカス距離画像圧縮データを生成する手段と、
   各フレームに含まれる主フォーカス距離画像以外の各フォーカス距離画像と主フォーカス距離画像の差分を算出し、前記算出した差分を圧縮した副フォーカス距離画像圧縮データを生成する手段とを備えることを特徴とする画像処理装置。
2. 前記主フォーカス距離画像選択手段は、GOP（Group Of Picture)単位で主フォーカス距離画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記主フォーカス距離画像選択手段は、前記フレームに含まれる複数のフォーカス距離画像から、高周波成分が最も多いフォーカス距離画像を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記主フォーカス距離画像選択手段は、前記フレームに含まれる主被写体を検出する被写体検出手段を有し、複数のフォーカス距離画像から前記被写体検出手段で検出した被写体にフォーカスがあっているフォーカス距離画像を選択することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記主フォーカス距離画像圧縮データと、前記主フォーカス距離画像圧縮データと同一フレームの副フォーカス距離画像圧縮データをペアで記録または伝送することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記主フォーカス距離画像圧縮データを画像データとして、前記副フォーカス距離画像圧縮データを前記画像データの付加データとして記録または伝送することを特徴とする請求項５に記載の画像処理装置。