JP3835059B2 - カラー画像処理方法およびその装置 - Google Patents
カラー画像処理方法およびその装置 Download PDFInfo
- Publication number
- JP3835059B2 JP3835059B2 JP13821199A JP13821199A JP3835059B2 JP 3835059 B2 JP3835059 B2 JP 3835059B2 JP 13821199 A JP13821199 A JP 13821199A JP 13821199 A JP13821199 A JP 13821199A JP 3835059 B2 JP3835059 B2 JP 3835059B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- color
- gradation
- image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、カラー画像処理技術一般、特にカラーマネジメント技術に関する。
【0002】
【従来の技術】
近年、カラーマネジメント技術の分野では、スキャナ、モニタ、プリンタなどのデバイスの間のカラーマッチングを図るためコンピュータのOSレベルでソフトウエア的な仕組みが組み込まれるようになっている。 このCMS(カラーマネジメントシステム)の機能は、あらかじめ各カラーデバイス毎に「プロファイル」とよばれるデバイス色変換特性情報を用意しておき、色変換エンジンがカラー画像を前記プロファイルに基づき色変換実行することにより行われる。プロファイルと色変換エンジンの構成として最近使われているのが多次元補間法である。
【0003】
この方法は色変換における入出力関係をM次元の入力からN次元の出力空間への数学的変換と見なし、色変換を計算でなく色変換テーブルのルックアップで実行するものである。現在使用されている多くのカラー画像の場合、画素値が(RGB)あるいは(CIE-LAB)あるいは(CMYK)など3変数、4変数にて表現されるためM、Nは、3あるいは4である。しかし将来使用が想定されるカラーマルチスペクトル画像の場合にはM,Nは10次元以上の可能性もある。ここでは説明の都合上、色変換を、3入力1出力の変換と考えることとする。テーブル法は、3次元の場合各色信号が8ビットあるとすると、そのままでは1600万色にもおよぶフルカラーの色の各々に対する膨大なサイズのテーブルを構成する必要がある。そこで例えば入力色が(RGB)空間内にある場合、まず、入力色空間を格子に区切り、格子点上での出力値を3次元テーブルf(i,j,k)に蓄積しこれを「プロファイル」とする。
【0004】
実際の色変換に際しては、色変換エンジンが画像の各画素のカラー値(RGB)を前記3次元テーブルの3次元空間内で近傍格子点での出力値を探し、それらを重み付け加算する補間方法にて出力を計算する。この手法はテーブルサイズを大きくすることにより変換精度がいくらでも高められること、変換速度が高速でかつ色変換内容によらず一定であること、などの理由で広く使われるに至った。図17に、この色変換エンジンの典型的な構成図を示す。この図では、色空間の3次元補間に四面体(三角錐)を用いているが、同図の下部に示すように立方体(8点)、三角柱、斜三角柱(6点)、ピラミッド(5点)など様々な3次元補間方法が従来から開発されている。
【0005】
さて、3次元補間方法では補間誤差の発生は避けられない。特に色の値同志の絶対的な誤差よりも、画像の滑らかな階調を色変換した結果に生じる補間結果の暴れ現象(リップル)が人間の視覚上非常に影響が大きい。このリップルについては、例えば、本出願人による文献1:金森:「3Dテーブルを用いた色変換における補間誤差解析」(カラーフォーラム JAPAN’98)に解説されている。グレイの階調上ではおなじガンマ変換を立方体を用いる3次元補間する場合でも色空間全体を定義域とする大域的(グローバル)ガンマ変換では変換後の階調カーブが折れ線近似される補間特性を示すが色空間内のグレイ階調部分だけを局所的にガンマ変換する場合には補間結果で階調が反転する程の補間曲線の暴れ現象を呈し(リップル)しかもテーブルサイズを大きくしてもリップル振幅は変化しないという特異現象も見つかっている。
【0006】
この例からもわかるように一般に線形の多次元補間方法では、多くの格子点情報を用いる必要があり、それが画像の2次元平面内の滑らかな階調上に隠れた高次元特性を顕現する結果リップルが出現し階調特性が悪化することが多かった。また、リップル現象は、現在3次元補間において既に発生しているが、より高次元の4次元色空間やマルチスペクトル画像を扱う際の10次元色空間になれば一層深刻な問題になることは容易に想像できる。
【0007】
一方、文献2:James M.Kasson:“Performing color space conversions with three-dimentional linear interpolation”、Journal of Electronic imaging /Jul 1995 Vol.4(3) pp.226-249)におけるディスフェノイド補間や特開平8−83330号公報での体心構造を用いた四面体補間方法では四面体群を同一形状としたこと、最も補間誤差の大きい立方体の体心に格子点を位置させること、格子点数を各軸2倍に増加すると全体で8倍になるところを2倍の増加で済むことなどの特徴を持っており、良好な補間特性を持つとされている。特に、四面体稜線が色空間内で多くの方向に発生するため、画像の入力方向に対して稜線方向が合致する度合いが増え、先に述べたように大きなリップルを発生することが少ない効果がある。
【0008】
しかし、体心構造では、RGB立方体の外部に不必要な外挿点を持つ必要があること、空間分割が複雑で処理時間がかかる、などの欠点がある。また、稜線方向がいかに増えても、それをはずれる入力は常に作り得るため問題の完全な解決にはなっていない。また3次元においても複雑な空間分割手法を使用する必要がありマルチスペクトルを用いた高次元でのカラー処理においては計算量が多大なものとなりやすい課題もある。
【0009】
また、従来、特開平6−311355号公報では、入力色によってトライ・リニア補間と四面体補間を切り替えたり、特開平7−95423号公報ではトライ・リニア補間、三角柱補間、ピラミッド補間を切り替えたり、色空間内で入力する色の位置によって異なる補間方法を採用することによって全体での色変換誤差を小さくする方法もある。
【0010】
しかし、これらの方法は、入力した色の空間内の位置により補間方法が決定されるため種々の非線形性色変換において汎用的に対処できるものではない。
【0011】
【発明が解決しようとする課題】
以上のように従来の多次元色空間補間法を用いた色変換においては、様々な色変換、様々な画像入力に対応して常に階調性が良好な補間方法を実行することが要求されているが、あらゆる画像、あるいは今後予想される多次元カラー処理において充分対応可能な解決策がなかった。
【0012】
本発明は、上記の課題を解決するもので、カラーマネジメント分野でカラー画像を多次元補間方法で色変換する場合において、色変換自身が非線形性をもつ場合には、カラー画像上の色空間内における階調(グラデーション)方向を画像の画面内の部分領域毎に検出し、該部分領域ごとに補間方法を逐次制御すること、より詳細には色空間内の補間において入力点を囲む全ての格子点を使うのではなく画像の階調方向に存在する少数の格子点を選択して補間することにより多次元補間における非線形性を下げ、リップルを生じない階調性を重視した色変換を実施することができるカラー画像処理方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
この課題を解決するため本発明は、カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する階調方向判定部と、前記階調方向判定部で計算した方向重みを画像面内で連続的に補間し階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記複数の色空間補間部からの出力を前記階調方向係数補間部から出力される階調方向係数により混合あるいは選択する出力制御部とを備える。
【0014】
これにより、いかなる色変換、いかなる画像入力についても画像全体でリップルを生じない階調性を重視した色変換を実施することができるものである。
【0015】
本発明の第1の実施の形態は、カラー画像を走査し各画素値を入力し、前記画素値の色空間内の位置情報から色変換テーブルを参照し多次元補間方法を用いて色変換する方法において、前記画素値を含むカラー画像を複数の分割領域内で各色版毎に輝度勾配の大きさを判定し、当該階調の方向について色空間内で離散化した方向軸ごとの方向重み係数を計算することにより、画像の階調方向情報を求め、前記階調方向情報を用いて前記多次元補間方法の制御することを特徴とするカラー画像処理方法であり、複数の補間方法から階調方向に合致した補間方法を特に重視して出力するため不必要に多くの格子点を使うために発生していた非線形性を低下させ、出力階調にリップルなどのアーティファクトが低減されるという作用を有する。また、画像の階調の方向を色空間内の方向として表現できる。
【0017】
好ましくは、カラー画像を分割領域内での大評点近傍の階調の離散化した方向軸への方向重みを前記分割領域間で連続的に補間することにより、複数の異なる多次元補間方法を画像の階調方向によって画像面内で逐次切り替えても画像の階調の連続性が崩れないという作用を有する。
【0018】
本発明の第2の実施の形態は、カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する階調方向判定部と、前記階調方向判定部で計算した方向重みを画像面内で連続的に補間し階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記複数の色空間補間部からの出力を前記階調方向係数補間部から出力される階調方向係数により混合あるいは選択する出力制御部とからなるものであり、複数の補間方法から階調方向に合致した補間方法を特に重視して出力するため出力階調においてリップルが削減されるという作用を有する。
【0019】
本発明の第3の実施の形態は、カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する階調方向判定部と、前記階調方向判定部で計算した方向重みを画像面内で連続的に補間し、階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記複数の色空間補間部からの補間出力を比較する出力比較部と、前記複数の色空間補間部からの補間出力を出力比較部での判定結果に基づき前記階調方向係数により混合あるいは選択する出力制御部とからなるものであり、色変換自体に非線形性がある場合に限り複数の補間方法から階調方向に合致した補間方法を特に重視して出力するため、処理速度を落とさずに出力階調にリップルが削減されるという作用を有する。
【0020】
本発明の第4の実施の形態は、カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する調方向判定部と、前記方向判定部で計算した方向重みを画像面内で連続的に補間し階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記色変換テーブルのうち非線形性が強い領域を記述するテーブル非線形性マップと、複数の色空間補間部からの出力を前記テーブル非線形性マップに基づき前記階調方向係数により混合あるいは選択する出力制御部とからなるものであり、色変換自体に非線形性がある場合に限り複数の補間方法から階調方向に合致した補間方法を特に重視して出力するため、処理速度を落とさずに出力階調にリップルが削減されるという作用を有する。
【0022】
好ましくは、多次元テーブルに対してあらかじめ用意したテスト信号を入力して異なる多次元補間を実施し、それら出力のばらつきに基づいて色変換テーブル内の非線形強度の大きい部分を判定し、ファイル化するものであり、あらかじめ多次元色変換テーブル内で非線型性強度の強い部分を判定し対処することができるという作用を有する。
【0023】
以下、本発明の実施の形態について図1から図15を用いて説明する。
【0024】
(実施の形態1)
図1に本発明の実施の形態1におけるカラー画像処理装置のブロック構成図を示し説明する。本実施例において、カラー入力画像101として想定しているものは、1画素が(R,G,B)の3変数信号で規定される画像であり、3種の画像としてR版、G版、B版と呼ぶものとする。
【0025】
図1において、102は、カラー画像101を走査し各画素値を入力する画素入力部、104は画素を含む画像上の部分領域毎で階調の色空間内での方向性を判定し各領域の方向重みuを求める階調方向判定部、105は階調方向判定部104での方向重みuを画像面内で連続的に補間し階調方向係数Wi(m,n)を出力する階調方向係数補間部、107は多次元色変換テーブル103を用いて前記画素値に対して色変換を実施する複数の相異なる種類の色空間補間部、106は複数の色空間補間部107からの出力を階調方向係数補間部105から出力される階調方向係数Wi(m,n)によって混合あるいは選択し、出力カラー画像108を出力する出力制御部である。
【0026】
上記のように構成されたカラー画像処理装置の動作を以下に説明する。
【0027】
カラー入力画像101における注目画素の画面上のxy座標を(m,n)、カラー値を(R,G,B)とする。画素入力部102は、注目画素のカラー値(R,G,B)を各信号を8ビット構成とした場合、上位信号3ビットの組(Rh,Gh,Bh)と下位信号5ビットの組(Rl,Gl,Bl)に分割し、それぞれ色変換テーブル103と色空間補間部107に供給する。
【0028】
画素入力部102にて分割された上位信号(Rh,Gh,Bh)にて色変換テーブル103をルックアップし、下位信号(Rl,Gl,Bl)とで補間演算を実施する。色変換テーブル103には、上位信号(Rh,Gh,Bh)に対応して全RGB色空間を8×8×8=256に分割した頂点である9×9×9個の格子点での色変換出力が格納されている。ここで用いた3ビットと5ビットというビット分割方法は色変換テーブル103のサイズ、すなわち格子点数(格子点間距離:ここでは25=32)を決定しているが実際には任意である。色変換テーブル103は、色再現を実行する各種色補正を目的とする数式(モデル式)にて表現できる色変換を表現できるのみならず、カラー機器の測色によって数式モデルを持たない自由度の高いテーブルを作成することも可能である。
【0029】
また、色変換の入出力の定義も様々であり、従来は積分濃度空間(Dr,DgDb)からインク(トナー)信号(C,M,Y,K)へのプリンタ用の色変換が一般的であったが、カラーマネジメントの世界では(R,G,B)から標準色空間(L,A,B)(X,Y,Z)への変換、あるいは逆変換などが対象とされる。本発明に関しては(R,G,B)から任意のある出力色fへの色変換を考えることとする。すなわち色変換テーブルには出力1色分についてはf(R,G,B)という3変数関数が格納されていることになる。
【0030】
さて、画素入力部102からの上位信号(Rh,Gh,Bh)は、色変換テーブル103の8×8×8の分割された立方体の1つを指定する。つまり上位信号によって入力色を内包する最近傍点8個が見つかり、そこでの出力fが得られる。この8点を用いて補間する方法がもっとも一般的な3次元補間方法であるトライ・リニア補間である。
【0031】
色空間補間部107のうち、(0)は、このトライ・リニア補間方法を実行する部分であり以下その機能について図2を用いて簡単に説明する。得られた8点で構成される立方体内で入力信号を表現するのは下位信号(Rl,Gl,Bl)であり、3次元補間処理では、これらを重みとして用いる。ここで図2に示すように入力色をPとし、Pを含む色空間内の立方体をABCD-EFGHとし、Pの位置を(Rh+Rl,Gh+Bl,Bh+Bl)とすると、
【0032】
【数1】
【0033】
であるから、Pでの補間出力fIが以下の(数2)で表現できる。
【0034】
【数2】
【0035】
ただし、その際の重み係数は(表1)の通りである。
【0036】
【表1】
【0037】
トライ・リニア補間は、公知技術として従来から使用されている。しかし、8点を用いる補間法であるため一般には精度が高いといわれながら、非線型色変換では補間特性にリップルを生ずることが知られている。この原因は表1の各重み係数が3次式となっていることに関係がある。この課題の解決のため従来から利用されてきた方法が四面体補間である。四面体補間とは、色空間で入力色を含む4点を用いた線形補間の総称であるが、最も一般的なのは前記の立方体ABCD-EFGHを対角線を境界の陵線として6個の体積が等しい四面体分割を行い、いずれの四面体領域に含まれるかを判定した上で当該の4点を用いて補間するダイアゴナル・テトラヘドロン補間方法である。ダイアゴナル・テトラヘドロン補間では補間立体内では線形補間が行われるためリップルが発生しない上、用いる点数が3次元補間では最小数である4点であるため計算量も少ないという良好な性質を持っている。しかし3次元空間で等方的な8点補間と異なり、上記の良好な性質は方向性により特性が異なる。そこで本発明ではダイアゴナル・テトラヘドロン補間について方向性を考えて4種類を用いている。つまり、図1の色空間補間部107の(1)から色空間補間部(4)までは、全てダイアゴナル・テトラヘドロン補間を実行するが、図3、および(表2)の(D1)、(D2),(D3),(D4)、に示すようにダイアゴナルテトラヘドロンの分割方法である対角線方向が4種類に異なっている。
【0038】
【表2】
【0039】
ここでは(D1)タイプ則ち立方体ABCD-EFGHのA-G対角線に沿った分割を例として補間方法を説明することとするが、他の3タイプの場合にも説明は同様である。
【0040】
図4は、ダイアゴナル・テトラヘドロン補間方法(D1)の6分割方法を説明する図である。(表3)に従い、下位信号(Rl,Gl,Bl)の大小関係は6通り存在し、これが6分割四面体のいずれかを決定する。Rl=Gl=Blの時にはArea0からArea5までのいずれに含ませても良いがここではArea0とした。
【0041】
【表3】
【0042】
分割された四面体が決定した後に、以下のように4点補間が実行される。
【0043】
【数3】
【0044】
この際の重み係数は以下の(表4)のように決定する。
【0045】
【表4】
【0046】
次に、階調方向判定部104、階調方向係数補間部105および出力制御部106について説明する
【0047】
階調方向判定部104にて入力画像の階調の方向を判定し、方向重みuを求める。階調方向係数補間部105は、階調方向判定部からの方向重みuを画像画面内で連続的に補間し、階調補間係数Wi(m,n)を出力する。
【0048】
出力制御部106において当該方向に近い方向の分割線を持つ補間方法に大きな階調方向係数を与え、相異なる方向の分割線を持つ補間方法には小さな階調方向係数を与えて出力結果を加算する。出力制御部106では、色空間補間部(0)から(4)までの出力をfI(i)(i=0-4)と表現し、階調方向係数Wiを用いて混合する。
【0049】
【数4】
【0050】
この階調方向係数Wiは、各補間方法ごとに与えられるものであり、
【0051】
【数5】
【0052】
を満たすものとする。
【0053】
次に、階調方向係数Wiの計算の仕方について、図8を用いて説明する。まず、カラー画像を、Red,Green,Blueの3つの色版からなる単色版の画像と考え、各々の版毎に局所的な画像の階調の大きさを判定する。はじめに図9に示すように、画像を部分領域に分割しておき、これから色変換を行う対象画素位置(m,n)を含む領域内で代表点(m0,n0)を決定し、その場所で階調方向を算出する。すなわち画像に対して輝度勾配ベクトルDを算出するフィルタリングを実施すればよく、ここでは偏微分を用いるが現実にはこの操作はデジタル的な差分操作となる。
【0054】
【数6】
【0055】
この階調方向ベクトルDは、階調の急激さとは無関係な量にするため長さ=1に正規化するのが望ましい。次に階調方向ベクトルDの方向性を調べる。これは簡易的には、7個の方向ベクトルVjと内積をとることで実現できる。7個の方向ベクトルVとは図8で示すV1からV7の7方向であり、各ベクトルのRGB座標成分は以下の(表5)の通りである。
【0056】
【数7】
【0057】
【表5】
【0058】
以上求めた各成分ごとの7個の重み係数ujについて、u1からu4までは色空間補間部(1)から(4)までの重みとしてそのまま用いられ、u5からu7までは加算され色空間補間部(0)の重みとして用いられる。
【0059】
【数8】
【0060】
そして、W0とW1、W2, W3, W4の階調方向係数Wiが領域Bnごとに決定される。
【0061】
この値をそのまま出力し、分割領域ごとに用いても良いが、階調方向係数Wiが領域間で大きく変化した場合、分割領域ごとに色や階調の段差が発生する可能性があり、これを防ぐため階調方向係数Wiが画像内で連続性を保つように、階調方向係数補間部105で画面内のバイ・リニア補間によって階調方向係数Wi(m,n)を補間出力している。
【0062】
【数9】
【0063】
【数10】
【0064】
ただし、階調方向係数の重み係数ωP、ωQ、ωR、ωSは、以下の(表6)に示す通りである。ここでBX,BYは分割領域の幅、高さを示す。また上記の内挿補間は、画像内で各Wiごとに実施するものとする。
【0065】
【表6】
【0066】
図9、図10に示すようにこの方法では、重み係数は画像の周辺に内挿不可能な領域を残すが、ここは外挿あるいは分割領域での代表点(m0,n0)の値をそのまま使用することも考えられる。また代表点(m0,n0)を各分割領域の左上にとり、画像の右端では仮想的な固定値を採用することにより外挿を不必要にすることも可能である。
【0067】
次に、実際の画像処理の流れについて図11を用いて説明する。この例では、カラー画像は入力出力とも(RGB)点順次画像を想定しており、色変換処理も点順次に実行されていくこととする。
【0068】
処理開始後、S1101のステップにおいて、カラー画像は図9のように各領域に分割される。S1102のステップで領域内の代表点(m0,n0)における階調方向判定が行われ、各分割領域ごとの階調方向係数Wiを求める。ステップS1103において色変換に用いる3次元テーブルを読み込む。ここまでは画像処理の前処理として実行される。
【0069】
次に、カラー画像の各画素を走査しながら、全画素の処理が終了するまでステップS1106以降ステップS1110までの処理を各画素ごとに繰り返す。最初にステップS1106において、画素の位置(m,n)および画素値(RGB)が入力される。ステップS1107において、当該画素位置(m,n)での階調方向係数Wi(m,n)が、前記の各分割領域ごとの階調方向係数Wiを補間して求められる。
【0070】
次に、ステップS1108において、異なる色空間補間処理を並列に実行して補間出力fI(0)からfI(4)を求める。ステップS1109においてS1107で求めた階調方向係数Wi(m,n)を用いて補間出力が混合される。ステップ1110において出力画素(R’G’B’)が出力画像に挿入される。
【0071】
処理は、そのまま繰り返しのためステップS1104へ戻り、全画素の処理が終了した場合にはステップS1105の判定により処理が終了する。
【0072】
なお、以上の説明では、色空間補間部107をトライリニア補間とダイアゴナル・テトラヘドロン補間4種類ということで説明したが、方向性を持つ分割空間であれば他の補間方法での組み合わせでも同様に実施可能であり種類も4種類には限らないことはもちろんである。
【0073】
以上まで、本発明の構成および動作を説明してきたが、ここで階調方向によって補間内容を変更するという本発明の原理の説明を行う。まず何故トライリニア補間とダイアゴナルテトラヘドロン補間(しかも4種)を併用しているのか、さらに画像の階調方向を考慮してそれら重み付けしているのかを説明する。
【0074】
従来、トライ・リニア補間とダイアゴナル・テトラヘドロン補間のどちらが高精度な補間方法であるかについては用いる色空間、用いる色変換が異なった場合、明解な説明がなかった。しかし、前述の文献1に解説されているように用いる色変換自身が1次元変換の線形結合にて表現される場合には補間結果は全ての線形補間で同一となり、出力結果が各成分ごとに折れ線状態になることが知られている。つまり、この場合にはトライ・リニア補間とダイアゴナル・テトラヘドロン補間両者の結果の差はなくリップルも存在しない。
【0075】
このことを2次元の補間を例にとって図形的に説明する。はじめに2次元では、トライリニア補間は4点を用いるバイリニア補間に対応し、ダイアゴナル・テトラヘドロン補間は、正方形を2分割した三角形の3点補間に相当することに注意する。図5の500において正方形ABCDはRG平面に設定された1つの補間区間であり、出力1成分をfとしてこの2次元平面上に立てた矢印にて表現する。色変換が線形であるとは、この正方形内ではf(A)、f(B)、f(C)、f(D)が同一平面π上に存在することに相当する。従ってこの4点からの線形補間であるバイリニア補間による補間値は501に示すように同一平面π上に拘束されており、正方形ABCD内をいかなる軌跡で入力された色についても出力は直線となる。
【0076】
次に、図5の502,503は、A-C分割、B-D分割という異なる種類の三角形分割における補間結果をしめす図である。いずれの分割方法の場合でも平面内の入力点が2種の三角形のいずれに属するかを判定した上で各三角形内で補間される。三角形内での補間値はこの平面πを三角形ABC、または三角形ADCに分割して補間することに相当するが、元々平面を分割するのであるからA-C分割、B-D分割いずれの三角形分割でもうバイリニア補間と同一の補間結果となることは明らかである。このように色変換自身が非線形性を持たない場合には、補間方法の如何にかかわらず、結果が理想値からずれたり出力が曲線になる現象(リップル)が出現することもない。
【0077】
次に、特開平6−311355号公報にてダイアゴナル・テトラヘドロン補間がトライリニア補間よりも良好な結果を得たと言われている色変換がMIN演算の場合、特にダイアゴナル・テトラヘドロン補間の中でも原点を通る分割線を採用する(D1)型の場合を取り上げる。同じように2次元で考えると、MIN演算とは、2変数の組(R,G)の小さい方を出力するものであるから図6の600に示すようにR≧Gの領域に相当する三角形ABC内では、MIN(R,G)=Gであり、R<Gの領域に相当する三角形ADC内ではMIN(R,G)=Rであるから直線R=Gを稜線として2枚の三角形平面が折れて接続されているような平面を構成する。これがMIN演算の場合における真の計算値である。
【0078】
次に、これを補間で演算することを考える。まず601に示すようにABCDの4点補間法では補間面が曲面を形成してしまいこれがリップルを発生する原因になる。次に、図6の602に示すA-C分割での三角形分割では、稜線がA-C方向に形成されるため補間結果は正しい結果と完全に同一になる。しかし、603のB-D分割ではB-D方向で分割された1つの三角形では値が0に固定されたままとなり、2つの分割方法で補間出力が大きく異ってしまう。
【0079】
前記特開平6−311355号公報では、この場合を取り上げてA-C分割の三角形補間がABCD4点より良好な結果を得るとしている。しかし正確に言えばMIN演算の真値の演算において、A-Cの分割線が全く違う特性を示す2種の平面が接続された稜線となっており、この稜線と三角形の分割境界とが一致しているため補間誤差が0になり良好な補間が行われるというのが正しい。結局、非線形性の強い色変換であってもMIN演算のように真の計算値が知られている場合には最適な補間方法が何らかの指標によって定まる点が重要である。逆にいえば非線形性が強い場合において真の計算値が不明な場合にはいかなる分割・補間をすれば良いかを知る指標が無くなるため即座に困難に直面することになる。
【0080】
この困難を生む典型的な例が、前述の文献1で取り上げた局所ガンマ変換のような非線形変換である。この変換では、非線形性の強い色変換テーブルだけが与えられるので、色変換に当たってはこれを3次元補間する必要がある。すなわち先の例では、f(A)、f(B)、f(C)、f(D)という格子点上での値だけが非線形性が強い状態で与えられ、その間を接続する真の計算値は全く与えられない。非線形性が強いという意味は2次元では図7の700に示すようにABCDの各点で対角線位置にあるA,Cで小さな値、B,Dでは大きな値をとるような場合である。これをバイリニア4点補間すると701に示すようにf軸R軸G軸で作られる空間において複雑な2次曲面を形成し、リップルの原因となる。
【0081】
また、3点補間では702と703に示すようにA-C分割とB-D分割では、前者がA-C方向が深い谷を形成するのに対して後者はB-Dが稜線を形成して全く異なる補間結果となるが、いずれもリップルの代わりに激しい凹凸が発生する原因となる。つまり4点補間でも2種類の3点補間でも補間結果は大きく異なる上に、どれも良好な補間とはいえないという困難な状況となる。
【0082】
本発明の基本的な考え方は、ここに入力画像の階調性の方向の情報を入れて最適な補間を決定するものである。たとえば図7の700において鎖線(1)(2)が入力階調を示すものとすると、(1)のようなA-C方向の階調が入力された場合にはA-C分割の3点補間を採用し、(2)のようなB-D方向の階調が入力された場合にはB-D分割の3点補間を採用するものということができる。
【0083】
次に、入力階調方向が求まった後、いかなる補間方法を使用するべきか、おなじく2次元の場合を例に図12を用いて説明する。図12では、入力階調として正方形ABCDの中心点を通る4種の方向を設定し、入力点を黒丸で、その点での補間出力値を黒丸上の矢印で表示している。1200と1201は入力階調方向がそれぞれEF方向、GH方向の場合であり、このときは両方とも同一のバイリニア補間を使用すればよい。
【0084】
図7の701では、複雑な2次曲面を呈しているかのように見えるバイリニア補間面であるが、1200で示すように入力方向がEF方向のときは補間結果がABの中点EとCDの中点F上での値f(E)とf(F)を結ぶ直線となりリップルが現れない性質がある。同様に1201の入力階調方向がGHの時もバイリニア補間の結果、補間値がf(G)とf(H)を結ぶ直線上に位置する。
【0085】
次に1203では入力階調がAC方向の場合なので、AC分割の三角形補間を用い、1204では入力階調方向がBDなのでBD分割の三角形補間を用いることにより、いずれの場合も補間結果がそれぞれf(A)とf(C)、あるいはf(B)とf(D)を結ぶ直線上に位置するためリップルは現れない。以上のように2次元の場合には、階調方向4種類(1)EF、(2)GH、(3)AC、(4)BDについて(1)(2)はバイリニア補間、(3)と(4)は異なる三角形補間を使用すればよい。もちろん画像上の各画素で異なる補間方法を次々に変更していくと画像上にノイズを生む原因となる。このため補間方法の制御としては、最適な補間を1種選択するよりは重みとして用いるほが望ましい。つまり画像の階調方向から考えて最適な補間方法の結果には大きな重みを与え、そうでない補間結果には小さい重みを与えるように何種類からの補間方法に対して一種の重みづけを行う。
【0086】
以上の議論を3次元に拡張すると、図8の方向ベクトルでV5とV6とV7のような立方体軸に平行の入力階調の場合にはいずれもトライリニア補間を用いるのがよく、その他の対角方向の入力V1、V2、V3、V4では、各々図3のD1,D2、D3、D4方法の分割のダイアゴナルテトラテドロン補間を用いるのが良いという結論が導かれる。このため、(数8)のように方向重みu5、u6、u7、u8についてはそれらを加算したものをトライリニア補間用の階調方向係数W0として用い、他のW1、W2、W3、W4はu1、u2、u3、u4をそのまま用いている。
【0087】
以上のように、本発明の第1の実施形態では、いかなる非線形色変換においても、入力画像の階調を求め、数種類の補間方法を実施してその結果に重み付けすることで出力階調でのリップルを抑制するものである。
【0088】
(実施の形態2)
図13に本発明の実施の形態2の画像処理装置のブロック図を示し説明する。
【0089】
実施の形態1では、異なる色空間補間部107からの出力は入力画像101の画素位置から計算される階調方向係数によって画素ごとに常に重み付け混合されていたが、この重みづけ混合の計算は画像の全画素について実行されるため計算処理負担が大きい。また実際には非線型の高い色変換やそれによる画像の階調の劣化は常に発生するわけではない。
【0090】
そこで、本実施の形態では、5種の色空間補間部(0)〜(4)での出力を非線形性判定部1301にて比較しこれらが大きく異なる場合、すなわち非線形性が高い場合にのみ、重み付け混合を実施することによって、処理の負担を下げるものである。非線形判定部1301では、以下のような演算を行う。ここでTHRESHは固定の閾値、fI(i)、fI(j)はfI(0)から fI(4)のいずれかを示す。MAXは最大値演算を示す。
【0091】
つまり、ある入力色について異なる分割方向や異なる種類の補間を用いたとき最大でどの程度の変動があるかを調査し、ある閾値以上であったら非線形性のが強いと判断し、結果resultをYESと判定し、そのほかはNOと判定し、この結果を一緒に出力制御部106に送ることにより出力混合を行うのかどうかを決定する。
【0092】
【数11】
【0093】
この方法では、非線形性判定部1301がYES/NOの判定を行う境界が生じるため出力の切り替えによって階調飛びが生じるように思われるるが、閾値を人間の視覚が階調とびを認識できる限界値に選んでおけば補間方法による差が閾値を超える前までは出力混合を停止して、超えた時点で出力混合を開始してもそのギャップは前記閾値よりは小さいことが保証されるため認識できる大きな階調飛びは発生しない。
【0094】
(実施の形態3)
図14に本発明の実施の形態3における画像処理装置のブロック図を示し説明する。実施の形態3は、実施の形態2における非線形性判定部を無くし、その代わりにあらかじめ用意したテーブル非線形性マップ1401の情報を元に、入力画素の色信号値が色変換テーブル内での非線形性の大きい部分に入った場合にのみ、重み付け混合を実施することによって処理の負担を下げるものである。この場合、色変換テーブルを作成した段階でテーブル非線形性マップが一緒に作られ、この情報はICCプロファイルのようなカラープロファイルの1つの情報として蓄積しておくこともできる。
【0095】
次に、図15を用いてテーブル非線形性マップの作成方法を説明する。図15はテーブル非線形性マップ作装置を示すブロック図である。色変換のための3次元テーブルに対応して入力格子点の色空間内の位置において色変換の非線形性、主として分割方向による補間結果の差の大きさを判定し当該色での補間出力の混合が必要かどうかを判定するものである。作成方法は、第2の実施例に似た構成で、対象となる色変換テーブルを用いてテスト用カラー画像を色変換する。異なる色空間補間部で出力された補間出力どうしを非線形性判別部1301で(数11)と同一の判定を行い、(Rh,Gh,Bh)をアドレス入力とした時の非線形性の結果として、判定結果YES/NOをテーブル非線形性マップ1501に格納する。
【0096】
(実施の形態4)
図16に本発明の実施の形態4における画像処理装置のブロック図を示し説明する。実施の形態4は、実施の形態1における3次元色変換テーブルを異なる複数の色空間補間部107(0)〜(4)ごとに専用の色変換テーブル1601としたものである。本発明の実施の形態1から3では、1つの3次元色変換テーブルに対して画像の階調方向によって方向性をもつ色空間補間部107を使いわけることに利点を有するが、本実施の形態は3次元色変換テーブル自体をも使い分けることにより、画像の階調方向性の階調性を一層良好なものとすることができる。
【0097】
尚、本発明は3次元のカラー画像を対象にして実施の形態を書いているが入力空間は一般に4次元以上のM次元でも同一の考え方でかまわない。出力空間がN次元の場合にはM入力1出力の個々の色変換部をN個並べるだけで実現できる。
【0098】
従って本発明は、M入力N出力のマルチスペクトルカラー画像の色変換においても有効である。
【0099】
なお、本発明は、階調判定の単位を画面上のブロック分割領域としたが、画像内の別のセグメンテーション方法によるものであってもよい。
【0100】
【発明の効果】
以上のように本発明によれば、従来技術が色変換を各画素値のみを用いて行っていたため生ずる階調の乱れの問題に対して、カラー画像上の階調(グラデーション)方向を画面内の部分領域毎に検出し、該部分領域ごとに補間方法を逐次制御することにより、いかなる色変換、いかなる画像入力についても画像全体でリップルを生じない階調性を重視した色変換を実施することができるカラー画像処理装置を提供することができる。
多次元カラーマルチスペクトル画像の補間方法においては、入力次元が増大するため高次項が補間結果により深刻な影響を与え未知のリップルが発生しやくなることが考えられるが本発明の画像の階調方向を考慮するという考え方を利用すれば現実的に良好な補間演算が可能になる。
【図面の簡単な説明】
【図1】本発明の実施の形態1によるカラー画像処理装置のブロック構成図
【図2】トライ・リニア補間方法を示す図
【図3】4種の四面体分割方法を示す図
【図4】 D1分割方法でのダイアゴナル・テトラヘドロン補間方法を示す図
【図5】2次元の場合における非線形性が無い色変換補間を示す図
【図6】2次元の場合におけるMIN演算の色変換補間を示す図
【図7】2次元の場合における非線形性が強い色変換補間を示す図
【図8】カラー画像の階調方向判定を示す図
【図9】カラー画像ブロック分割領域と輝度勾配算出の代表点位置を示す図
【図10】階調方向係数の補間を示す図
【図11】本発明の実施の形態1における処理の流れを示す図
【図12】2次元の場合における異なる階調方向で使用すべき補間方法を示す図
【図13】本発明の実施の形態2におけるカラー画像処理装置のブロック構成図
【図14】本発明の実施の形態3におけるカラー画像処理装置のブロック構成図
【図15】本発明の実施の形態3におけるテーブル非線型性マップ作成のためのブロック構成図
【図16】本発明の実施の形態4におけるカラー画像処理装置のブロック構成図
【図17】従来の色変換エンジンのブロック構成図
【符号の説明】
101 入力カラー画像
102 画素入力部
103 3次元色変換テーブル
104 階調方向判定部
105 階調方向係数補間部
106 出力混合部
107 色空間補間部
108 出力カラー画像
1301 非線形性判定部
1401 テーブル非線形性マップ
1601 5種の色変換テーブル
Claims (6)
- カラー画像を走査し各画素値を入力し、前記画素値の色空間内の位置情報から色変換テーブルを参照し多次元補間方法を用いて色変換する方法において、前記画素値を含むカラー画像を複数の分割領域内で各色版毎に輝度勾配の大きさを判定し、当該階調の方向について色空間内で離散化した方向軸ごとの方向重み係数を計算することにより、画像の階調方向情報を求め、前記階調方向情報を用いて前記多次元補間方法の制御することを特徴とするカラー画像処理方法。
- 階調方向情報の算出は、前記方向重み係数を画像内の領域間で連続的に補間することを特徴とする請求項1記載のカラー画像処理方法。
- カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する階調方向判定部と、前記階調方向判定部で計算した方向重みを画像面内で連続的に補間し階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記複数の色空間補間部からの出力を前記階調方向係数補間部から出力される階調方向係数により混合あるいは選択する出力制御部とからなることを特徴とするカラー画像処理装置。
- カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する階調方向判定部と、前記階調方向判定部で計算した方向重みを画像面内で連続的に補間し、階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記複数の色空間補間部からの補間出力を比較する出力比較部と、前記複数の色空間補間部からの補間出力を出力比較部での判定結果に基づき前記階調方向係数により混合あるいは選択する出力制御部とからなることを特徴とするカラー画像処理装置。
- カラー画像を走査し各画素値を入力する画素入力部と、前記画素を含む画像上の部分領域毎で、各色版毎に輝度勾配の大きさを判定し当該階調の方向性を色空間内で離散化した方向軸ごとの方向重みを計算する調方向判定部と、前記方向判定部で計算した方向重みを画像面内で連続的に補間し階調補間係数を出力する階調方向係数補間部と、色変換テーブルを用いて前記画素値に対して色変換を実施する複数の相異なる色空間補間部と、前記色変換テーブルのうち非線形性が強い領域を記述するテーブル非線形性マップと、複数の色空間補間部からの出力を前記テーブル非線形性マップに基づき前記階調方向係数により混合あるいは選択する出力制御部からなることを特徴とするカラー画像処理装置。
- 多次元テーブルに対してあらかじめ用意したテスト信号を入力して異なる多次元補間を実施し、それら出力のばらつきに基づいて色変換テーブル内の非線形強度の大きい部分を判定し、ファイル化する請求項5記載のテーブル非線型性マップの作成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13821199A JP3835059B2 (ja) | 1999-05-19 | 1999-05-19 | カラー画像処理方法およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13821199A JP3835059B2 (ja) | 1999-05-19 | 1999-05-19 | カラー画像処理方法およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000333028A JP2000333028A (ja) | 2000-11-30 |
JP3835059B2 true JP3835059B2 (ja) | 2006-10-18 |
Family
ID=15216688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13821199A Expired - Fee Related JP3835059B2 (ja) | 1999-05-19 | 1999-05-19 | カラー画像処理方法およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3835059B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006154452A (ja) | 2004-11-30 | 2006-06-15 | Toshiba Corp | 映像信号処理装置とグラデーション段差検出方法 |
JP4481881B2 (ja) * | 2005-06-07 | 2010-06-16 | キヤノン株式会社 | 色分解テーブル作成方法および画像処理装置 |
JP2007134750A (ja) * | 2005-10-12 | 2007-05-31 | Seiko Epson Corp | 色変換装置、色変換方法、色変換プログラム、画像処理装置、及び画像表示装置 |
-
1999
- 1999-05-19 JP JP13821199A patent/JP3835059B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000333028A (ja) | 2000-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4209599B2 (ja) | 2次元非線形補間システム及び補間方法、並びに2次元混合補間システム及び混合補間方法 | |
US6058208A (en) | Color correction device and color correction method | |
US6075926A (en) | Computerized method for improving data resolution | |
US7046862B2 (en) | Image processing apparatus and program | |
JP3664364B2 (ja) | 色変換方法 | |
EP1221812B1 (en) | Fast interpolation of large color lookup tables | |
JP3830304B2 (ja) | 補間方法及び装置 | |
US20020067864A1 (en) | Image processing device and image processing method | |
US5442717A (en) | Sharpness processing apparatus | |
JP3583924B2 (ja) | 解像度変換方法及び変換装置 | |
JP3835059B2 (ja) | カラー画像処理方法およびその装置 | |
JP4164944B2 (ja) | 色域圧縮装置及び色域圧縮方法 | |
JP4265363B2 (ja) | 画像処理装置 | |
US7127118B2 (en) | System and method for compressing image files while preserving visually significant aspects | |
JP3045134B2 (ja) | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
JPH0799587A (ja) | 色変換方法および色変換装置 | |
JPH0814843B2 (ja) | 色変換方法および色変換装置 | |
JPH0467670B2 (ja) | ||
JP3777672B2 (ja) | 画像処理方法および画像処理装置 | |
US20040091173A1 (en) | Method, apparatus and system for the spatial interpolation of color images and video sequences in real time | |
JP3743036B2 (ja) | 色変換方法および色変換装置 | |
JP2001525623A (ja) | 第1の解像度のラスタのデジタルデータを第2の解像度のデジタルデータに変換する方法 | |
JPH0946542A (ja) | 補間演算方法およびデータ変換装置 | |
JP3201338B2 (ja) | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
JP3403912B2 (ja) | 色変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060717 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |