JP2023090079A - ３ｄルックアップテーブル回路及び３ｄルックアップテーブルの格子点の補間方法 - Google Patents

Abstract

【課題】映像データの信号の変換処理に必要とされる変換処理精度に基づいて、３Ｄルックアップテーブルを構成する３Ｄルックアップテーブル回路及び特に補間方法を提供することを目的とする。【解決手段】入力されるデータ信号に対して、所定の変換処理を行うために３Ｄルックアップテーブルの構成を構築する３Ｄルックアップテーブル回路であって、入力信号の値から格子点のデータを読み出しアドレスを生成するＬＵＴアドレス生成部と、ＬＵＴアドレス生成部より出力されたアドレスを元に格子点のデータを出力するメモリ部と、フィルタの計数を求めるための係数計算部と、メモリ部から読み出したデータと係数計算部で求めた係数を元に積和演算を行うフィルタ計算部とを有し、読み出す近傍要素を３次元の各軸からそれぞれ前後３個ずつ読み出してフィルタ計算によるフィルタ補間の処理を行う。【選択図】 図１

Description

本発明は、複雑なデジタル計算処理の効率化と、処理のリアルタイム性を両立させるために用いられる３Ｄルックアップテーブル回路について、詳しくは、入力されるデータ、特に、映像データの信号の変換処理に必要とされる変換処理精度に基づいて、３Ｄルックアップテーブルを構成する３Ｄルックアップテーブル回路及び特に補間方法に関するものである。

従来から、複雑なデジタル計算処理を行うには、ハード的に高性能な演算処理機能を有することが、必要条件として求められており、さらに、映像処理のようにリアルタイム性が求められる処理においては、より一層に高い性能が、ハード的に要求されている。

しかしながら、このような処理性能を満たすものは、大規模回路になり、また、費用の面からも実現することが困難な場合が多い。そこで、一般的に、予定される入力データに対する計算結果を予めルックアップテーブルに保存しておき、処理を行う際に、実際の計算を行う代わりに、ルックアップテーブルから目的のデータを読み出すルックアップテーブル回路を用いた方法が知られている。

近頃では、映像の処理において、ルックアップテーブルを用いた処理回路を実装している装置が多く存在し、特に、色の補正処理などでは、Ｇ／Ｂ／Ｒや、Ｙ／Ｐｂ／Ｐｒの映像入力信号に対し、その３つの入力信号強度の比率を出力に反映させる必要があるため、３Ｄルックアップテーブルでの回路構成を持つものが主流となっている。

例えば、特許文献１には、Ｒ，Ｇ，Ｂ空間を複数の立方体に分割し、該分割された立方体に色補正値を設定し、入力されたＲ，Ｇ，Ｂ信号で前記立方体の一つを選択し、該選択された立方体に設定された色補正値を線形補間することによって入力Ｒ，Ｇ，Ｂ信号に対応するイエロー、マゼンダ、シアンの色補正信号を算出する色補正方式において、前記分割された立方体は所定の領域で密に分割されていることを特徴とする色補正方式が開示されている。

また、例えば、特許文献２には、第１の画像処理デバイスにおいて、ターゲットデバイスとした第２の画像処理デバイスを用いた場合の色再現を行うエミュレーションのために、上記第１の画像処理デバイスで使用する画像信号の色変換を行う色変換装置において、入力された画像信号の信号値を、三次元ルックアップテーブルを用いて出力信号値に変換するとともに、上記三次元ルックアップテーブルは、上記第２の画像処理デバイスの入出力特性を再現するための色変換と、上記第２の画像処理デバイスと上記第１の画像処理デバイスとの間の色域変換としての色変換と、上記第１の画像処理デバイスの入出力特性に応じた補正としての色変換と、としての各色変換要素が含まれた入出力値が設定されたものであることを特徴とする色変換装置が開示されている。

３ＤＬＵＴ（３次元ルックアップテーブル）を図で説明する際は、図３のように３次元の立方体の塊で示すのが一般的である。立方体群の内の１つの立方体をキューブと称する。また、キューブの頂点は、３ＤＬＵＴのテーブルデータとし、キューブの頂点を格子点と称する。

従来の３ＤＬＵＴの補間方法は、主に２つあり、立方体補間、三角錐補間が挙げられる。
１つ目の方法の立方体補間は、図４のように、入力信号に一番近いキューブを読み出し、その呼び出したキューブの８つの格子点を使用して３次元の線形補間を行う方法である。

２つ目の方法の三角錐補間は、図５のように、入力信号に一番近いキューブを読み出し、１つのキューブを更に６つの三角錐の領域に分類して、入力信号がどの領域に属するか確認し、属している領域の三角錐の頂点を用いて三角錐補間を行う方法である。この方法は、特許文献３に見られる。

特開平５－３２８１１４号公報 特開２００８－８５９８０号公報 特開２０１０－２８７９１８号公報

従来の３ＤＬＵＴの補間方法である立方体補間、三角錐補間は、ともに補間誤差によりバンディングなどの問題が発生する場合がある。これにより輝度、色味の階調が劣化してしまう。前記の補間の欠点の一例を挙げると、色空間はＲＧＢ、入力信号をマゼンタ色のランプ波形、３ＤＬＵＴの補間を立体補間で行い、テーブルデータは、彩度下げてモノクロにする処理を行った場合、図６のような結果となる。

前記の一例の劣化の原因は、１つのキューブで補間を行っているからだと考えられる。通常３ＤＬＵＴのテーブルデータを線形に変化させた場合は問題ないが、３ＤＬＵＴのテーブルデータを非線形に変化させた場合は歪みが生じる場合がある。また、データによっては、１つのキューブで補間すると、キューブとキューブの境界部分を考慮していないので微分が不連続となってしまう問題が生じることがある。

本願は上述のような補間誤差等により発生する劣化や歪みの課題を大幅に軽減することのできる３Ｄルックアップテーブル回路及び３Ｄルックアップテーブルの格子点の補間方法を提供することにある。

上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、入力されるデータ信号に対して、所定の変換処理を行うために３Ｄルックアップテーブルの構成を構築する３Ｄルックアップテーブル回路であって、データ信号が入力される入力信号部と、入力信号の値からあらかじめ保存されている格子点のデータを読み出しアドレスを生成するＬＵＴアドレス生成部と、前記ＬＵＴアドレス生成部より出力されたアドレスを元に格子点のデータを出力するメモリ部と、フィルタの計数を求めるための係数計算部と、前記メモリ部から読み出したデータと前記係数計算部で求めた係数を元に積和演算を行うフィルタ計算部と、前記フィルタ計算部の結果を出力する出力信号部と、を有することを特徴とする３Ｄルックアップテーブル回路である。

また、請求項２記載の発明は、前記フィルタ計算部は前記３Ｄルックアップテーブルから読み出す近傍要素を３次元の各軸からそれぞれ複数読み出してフィルタ計算によるフィルタ補間の処理を行うことを特徴とする請求項１に記載の３Ｄルックアップテーブル回路である。

また、請求項３記載の発明は、前記フィルタ補間は読み出す近傍要素を３次元の各軸からそれぞれ前後３個ずつ読み出してフィルタ補間の処理を行うことを特徴とする請求項２に記載の３Ｄルックアップテーブル回路である。

また、請求項４記載の発明は、入力されるデータ信号に対して、所定の変換処理を行うために３Ｄルックアップテーブルの構成を構築する３Ｄルックアップテーブルの格子点の補間方法であって、データ信号が入力される入力信号手段と、入力信号の値からあらかじめ保存されている格子点のデータを読み出しアドレスを生成するＬＵＴアドレス生成手段と、前記ＬＵＴアドレス生成部より出力されたアドレスを元に格子点のデータを出力するメモリ手段と、フィルタの計数を求めるための係数計算手段と、前記メモリ部から読み出したデータと前記係数計算部で求めた係数を元に積和演算を行うフィルタ計算手段と、前記フィルタ計算部の結果を出力する出力信号手段と、を有する３Ｄルックアップテーブル回路の３Ｄルックアップテーブルの格子点の補間方法において、前記３Ｄルックアップテーブルから読み出す近傍要素を３次元の各軸からそれぞれ複数読み出してフィルタ計算によるフィルタ補間の処理を行うことを特徴とする３Ｄルックアップテーブルの格子点の補間方法である。

また、請求項５記載の発明は、前記フィルタ補間は読み出す近傍要素を３次元の各軸からそれぞれ前後３個ずつ読み出してフィルタ補間の処理を行うことを特徴とする請求項２に記載の３Ｄルックアップテーブルの格子点の補間方法である。

本発明の３Ｄルックアップテーブル回路及び３Ｄルックアップテーブルの格子点の補間方法によって従来課題となっていた補間誤差によるバインディングの問題によって階調の劣化や歪みの発生を大きく抑えることができるので、理想ローパスの結果に近づき、歪みをほぼ無くすことができる。また、ルックアップテーブルのデータ量の増加を抑えることもできる。

本発明の３Ｄルックアップテーブル回路の構成概略図である。 本発明の格子点の補間方法をキューブを使用して表した図である。 ３Ｄルックアップテーブルを図で表したキューブの形状である。 従来の３Ｄルックアップテーブル補間方法である立方体補間を表した図である。（ａ）は全体図、（ｂ）は入力信号近傍を拡大した図である。 従来の３Ｄルックアップテーブル補間方法である三角錐補間を表した図である。（ａ）は全体図、（ｂ）は入力信号近傍を拡大した図、（ｃ）は三角錐補間の例である。 従来の３Ｄルックアップテーブル補間方法を用いて処理した階調劣化の一例である。

本発明に係る３Ｄルックアップテーブル回路の第１の実施形態について、図面を参照しながら説明する。図１は本発明に係る３Ｄルックアップテーブル回路の第１の実施形態を示した構成概略図で、図２は本発明の格子点の補間方法をキューブを使用して表した図、図３は３Ｄルックアップテーブルを図で表したキューブの形状、図４は来の３Ｄルックアップテーブル補間方法である立方体補間を表した図、図５は従来の３Ｄルックアップテーブル補間方法である三角錐補間を表した図、図６は来の３Ｄルックアップテーブル補間方法を用いて処理した階調劣化の一例である。なお、図中及び明細書中の「ＬＵＴ」は、ルックアップテーブルの略である。

まず、ルックアップテーブル回路において、誤差なく最も精度の高い処理変換の実施をするためには、入力されるデータに対するルックアップテーブル保存の変換処理データを、１対１で対応させる必要がある。しかしながら、すべての入力データに１対１で対応するルックアップテーブルを用意する場合、入力データビット数によっては、ルックアップテーブルのサイズ（データ数）が増大する。

例えば、入力データが１０ビットとすると、ルックアップテーブルの数が、１０２４個必要となり、これが３次元構造である３Ｄルックアップテーブルでは、１０２４×１０２４×１０２４個のルックアップテーブルが必要となる。つまり、１次元で必要なルックアップテーブルの数に対して、３Ｄルックアップテーブルでは、３乗の割合で増大し、結果として、回路規模の巨大化を招いてしまう。

そのため、ルックアップテーブルを用いたデータ変換回路の多くでは、入力データに１対１で対応するのではなく、特定の間隔毎の入力データ値に対して、変換後の値をルック
アップテーブルに保存し、間引かれた入力データ値に対する変換は、近しい値の入力データ値に対応するルックアップテーブルの変換値を複数個読み出し、それらを補間処理することで、回路としての処理を実現している。

よって、ルックアップテーブルでの変換処理精度が求められている場合は、入力データ値の特定の間隔を狭めて、間引かれた入力データ値の補間精度を上げることによって、回路としての変換処理精度の向上を図るわけである。一方で、変換処理精度が求められていない場合は、入力データ値の特定の間隔を大きくすることにより、補間精度が下がり、回路としての変換処理精度も下がることになるが、対応するルックアップテーブルの数は少なくすることが可能となる。

３ＤＬＵＴ（３次元ルックアップテーブル）を図で説明する際は、図３のように３次元の立方体の塊で示すのが一般的である。立方体群の内の１つの立方体をキューブと称する。また、キューブの頂点は、３ＤＬＵＴのテーブルデータとし、キューブの頂点を格子点と称する。

続いて、本実施形態における３Ｄルックアップテーブル回路１０は、図１に示すように、データ変換処理装置内に組み込まれ、入力されるデータ信号の変換処理に用いられるもので、入力されるデータ信号に応じて、このデータ信号の変換処理に要する変換処理精度を複数判別し、判別した変換処理精度に対応する複数のそれぞれ異なる変換処理精度を持つルックアップテーブルを所定順に連続的に繋げて組み合わせることによって、３Ｄルックアップテーブルの構成を構築するものである。

３Ｄルックアップテーブル回路１０は、主に、データ信号が入力される入力信号部１と、入力信号の値からあらかじめ保存されている格子点のデータを読み出しアドレスを生成するＬＵＴアドレス生成部２と、前記ＬＵＴアドレス生成部より出力されたアドレスを元に格子点のデータを出力するメモリ部３と、フィルタの計数を求めるための係数計算部４と、前記メモリ部から読み出したデータと前記係数計算部で求めた係数を元に積和演算を行うフィルタ計算部５と、前記フィルタ計算部の結果を出力する出力信号部６と、から構成される。

入力信号部１は映像信号が入力される。色空間は、ＲＧＢ、ＹＰｂＰｒなどどれでも良いが、入力信号とメモリに書き込むのに想定した色空間は一致させることが必要となる。言い換えると、メモリに書き込むデータの色空間はどれでも良いが、３ＤＬＵＴの格子点と入力信号の色空間は一致させる必要がある。

ＬＵＴアドレス生成部２は入力信号の値からあらかじめ保存されている格子点のデータを読み出しアドレスを生成しフィルタの係数の重みづけを生成する。定義は以下の通りとなる。入力信号をＲ，Ｇ，Ｂとする。入力信号に入力しうる最大値をＲ_ｍａｘ，Ｇ_ｍａｘ，Ｂ_ｍａｘとする。３ＤＬＵＴの１軸の格子点の数をＮとする。ｆｌｏｏｒ関数は小数点切り捨てとする。係数計算で使用する重みづけをｗｅｉｇｈｔ_ｒ，ｗｅｉｇｈｔ_ｇ，ｗｅｉｇｈｔ_ｂとする。メモリに読み出すアドレスをａｄｄｒとする。

アドレスを生成する数式は以下の数式１となる。この場合、一番近傍のアドレスを求めるものであり、各軸それぞれ、入力信号に一番近い格子点の前後ｎ個のデータを読み出す。合計でｎの３乗個になる。

メモリ部３はＬＵＴアドレス生成部２より出力されたアドレスを元に３ＤＬＵＴの格子点つまりメモリのデータを出力する。メモリの構成は主に２つのパターンがある。１つ目は、大きな１つのメモリで格子点のデータを保存するパターン、２つ目は、複数のメモリに分けて格子点のデータを保存するパターンである。その他様々なパターンがあるが、その一例としてフィルタのタップ数分メモリを用意する方法も挙げられる。なお、メモリの構成によってＬＵＴアドレス生成とフィルタ計算でのデータの受け渡し方法が異なる。

係数計算部４はフィルタの計数を求める。本実施例では標本化関数を用いる。また、フィルタのタップは有限なので、連続性を保たせるために窓関数も活用する。定義は以下の通りとなる。フィルタのタップ数をｎとする。窓関数をｗｉｎｄｏｗとする。窓関数の種類はどれでもよい。例として以下の数式２のハミング窓が挙げられる。

また、フィルタの係数は、３入力それぞれに分かれており、それぞれをＣ_０，Ｃ_１，Ｃ_２とする。そうすると数式は以下の数式３のようになる。

フィルタ計算部５はメモリ部３から読み出したデータと係数計算部４で求めた係数を元に積和演算を行う。３ＤＬＵＴは３入力なのでそれぞれの軸で積和演算を行う。定義はフィルタのタップ数をｎとする。メモリから読み出したｎ３個のデータを以下の数式４とする。

フィルタ計算は以下の数式５の通りである。

本発明では３ＤＬＵＴから読み出す近傍要素（キューブ）を増やしてフィルタ補間を行う。一例では図２のようにｘ，ｙ，ｚ軸それぞれ前後３個ずつ読み出す。
この方法であれば、理論上では、フィルタを理想ローパスとし、３ＤＬＵＴの１軸の格子点の数を目的の色変換のナイキスト周波数よりも細かく取ることで歪みなしで補間できることが、サンプリング定理により保証される。

しかし、理想ローパスは無限個のフィルタのタップが必要なので実現不可能である。ところが、有限のフィルタのタップであっても、理想ローパスで必要な３ＤＬＵＴの１軸の格子点の数より細かく取れば、理想ローパスの結果に近づき、歪みを限りなく無くすことができる。

本発明は、映像信号の補間に適しており、色空間はＲＧＢ、ＹＰｂＰｒなどどれにでも適用することができるので多種の映像処理に適用可能である。

Ａ 入力信号
１０ ３Ｄルックアップテーブル回路
１ 入力信号部
２ ＬＵＴアドレス生成部
３ メモリ部
４ 係数計算部
５ フィルタ計算部
６ 出力信号部

Claims (5)

1. 入力されるデータ信号に対して、所定の変換処理を行うために３Ｄルックアップテーブルの構成を構築する３Ｄルックアップテーブル回路であって、
   データ信号が入力される入力信号部と、
   入力信号の値からあらかじめ保存されている格子点のデータを読み出しアドレスを生成するＬＵＴアドレス生成部と、
   前記ＬＵＴアドレス生成部より出力されたアドレスを元に格子点のデータを出力するメモリ部と、
   フィルタの計数を求めるための係数計算部と、
   前記メモリ部から読み出したデータと前記係数計算部で求めた係数を元に積和演算を行うフィルタ計算部と、
   前記フィルタ計算部の結果を出力する出力信号部と、
   を有することを特徴とする３Ｄルックアップテーブル回路。
2. 前記フィルタ計算部は前記３Ｄルックアップテーブルから読み出す近傍要素を３次元の各軸からそれぞれ複数読み出してフィルタ計算によるフィルタ補間の処理を行うことを特徴とする請求項１に記載の３Ｄルックアップテーブル回路。
3. 前記フィルタ補間は読み出す近傍要素を３次元の各軸からそれぞれ前後３個ずつ読み出してフィルタ補間の処理を行うことを特徴とする請求項２に記載の３Ｄルックアップテーブル回路。
4. 入力されるデータ信号に対して、所定の変換処理を行うために３Ｄルックアップテーブルの構成を構築する３Ｄルックアップテーブルの格子点の補間方法であって、
   データ信号が入力される入力信号手段と、
   入力信号の値からあらかじめ保存されている格子点のデータを読み出しアドレスを生成するＬＵＴアドレス生成手段と、
   前記ＬＵＴアドレス生成部より出力されたアドレスを元に格子点のデータを出力するメモリ手段と、
   フィルタの計数を求めるための係数計算手段と、
   前記メモリ部から読み出したデータと前記係数計算部で求めた係数を元に積和演算を行うフィルタ計算手段と、
   前記フィルタ計算部の結果を出力する出力信号手段と、
   を有する３Ｄルックアップテーブル回路の３Ｄルックアップテーブルの格子点の補間方法において、
   前記３Ｄルックアップテーブルから読み出す近傍要素を３次元の各軸からそれぞれ複数読み出してフィルタ計算によるフィルタ補間の処理を行うこと
   を特徴とする３Ｄルックアップテーブルの格子点の補間方法。
5. 前記フィルタ補間は読み出す近傍要素を３次元の各軸からそれぞれ前後３個ずつ読み出してフィルタ補間の処理を行うことを特徴とする請求項４に記載の３Ｄルックアップテーブルの格子点の補間方法。

Images