JP2005322205A - 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 - Google Patents
視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 Download PDFInfo
- Publication number
- JP2005322205A JP2005322205A JP2004264005A JP2004264005A JP2005322205A JP 2005322205 A JP2005322205 A JP 2005322205A JP 2004264005 A JP2004264005 A JP 2004264005A JP 2004264005 A JP2004264005 A JP 2004264005A JP 2005322205 A JP2005322205 A JP 2005322205A
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- gradation conversion
- image
- processing
- visual processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 861
- 230000000007 visual effect Effects 0.000 title claims abstract description 433
- 238000003672 processing method Methods 0.000 title claims description 84
- 239000004065 semiconductor Substances 0.000 title claims description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 535
- 230000002093 peripheral effect Effects 0.000 claims description 224
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 9
- 238000009795 derivation Methods 0.000 abstract description 10
- 238000012937 correction Methods 0.000 description 60
- 230000000694 effects Effects 0.000 description 57
- 238000000034 method Methods 0.000 description 34
- 238000012986 modification Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000007423 decrease Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical group [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】 視覚処理装置1は、入力信号ISを画像領域毎に階調処理する視覚処理装置であって、画像分割部2と、階調変換曲線導出部10と、階調処理部5とを備えている。画像分割部2と、階調変換曲線導出部10とは、広域画像領域Emの明度ヒストグラムHmを用いて、画像領域Pmの階調変換曲線Cmを作成する。階調処理部5は、導出された階調変換曲線Cmに基づいて、画像領域Pmの階調処理を行う。
【選択図】 図1
Description
空間処理とは、処理対象となる対象画素の周辺の画素を用い、対象画素の処理を行うことである。また、空間処理された画像信号を用いて、原画像のコントラスト強調、ダイナミックレンジ(DR)圧縮など行う技術が知られている。コントラスト強調では、原画像とボケ信号との差分(画像の鮮鋭成分)を原画像に加え、画像の鮮鋭化が行われる。DR圧縮では、原画像からボケ信号の一部が減算され、ダイナミックレンジの圧縮が行われる。
図33に、原画像を複数に分割した画像領域のそれぞれについてLUTを決定して用いる視覚処理装置300を示す。視覚処理装置300は、入力信号ISとして入力される原画像を複数の画像領域Sm(1≦m≦n:nは原画像の分割数)に分割する画像分割部301と、それぞれの画像領域Smに対して階調変換曲線Cmを導出する階調変換曲線導出部310と、階調変換曲線Cmをロードしそれぞれの画像領域Smに対して階調処理した出力信号OSを出力する階調処理部304とを備えている。階調変換曲線導出部310は、それぞれの画像領域Sm内の明度ヒストグラムHmを作成するヒストグラム作成部302と、作成された明度ヒストグラムHmからそれぞれの画像領域Smに対する階調変換曲線Cmを作成する階調曲線作成部303とから構成される。
ここで、画像ブロックとは、画像信号を矩形に分割したそれぞれの領域である。
本発明の視覚処理装置では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
対象画像データとは、対象画像領域の画像データあるいは画像データから導出されるデータなどであり、例えば、対象画像領域の画素値、階調特性(画素毎の輝度や明度)、サムネイル(縮小画像や解像度を落とした間引き画像)などである。
階調変換特性決定手段は、例えば、ヒストグラムの値を累積した累積曲線を階調変換特性として決定する、あるいはヒストグラムに応じた階調変換特性を選択する。
請求項6に記載の視覚処理装置は、請求項4に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予めテーブル化された階調変換特性を選択することを特徴とする。
階調変換特性決定手段は、特徴パラメータの値のそれぞれに対応するテーブルを選択する。
請求項7に記載の視覚処理装置は、請求項6に記載の視覚処理装置であって、予めテーブル化された階調変換特性は、変更可能なことを特徴とする。
請求項8に記載の視覚処理装置は、請求項7に記載の視覚処理装置であって、階調変換特性の変更は、階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする。
請求項9に記載の視覚処理装置は、請求項4に記載の視覚処理装置であって、階調変換特性決定手段は、特徴パラメータを用いて予め決定された演算により階調変換特性を生成することを特徴とする。
請求項10に記載の視覚処理装置は、請求項9に記載の視覚処理装置であって、予め決定された演算は、変更可能なことを特徴とする。
請求項11に記載の視覚処理装置は、請求項10に記載の視覚処理装置であって、演算の変更は、演算の少なくとも一部を補正することによって実現されることを特徴とする。
請求項12に記載の視覚処理装置は、請求項4に記載の視覚処理装置であって、階調変換特性は、複数の階調変換特性を内挿または外挿して得られるものであることを特徴とする。
本発明の視覚処理装置では、複数の階調変換特性を内挿あるいは外挿することにより得られる新たな階調変換特性を用いて、階調処理を行うことが可能となる。このため、階調変換特性を記憶するための記憶容量を削減しても、より多様な階調処理を実現することが可能となる。
本発明の視覚処理方法では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
本発明の視覚処理方法では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
本発明の視覚処理プログラムでは、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
本発明の視覚処理プログラムでは、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
本発明の半導体装置では、周辺画像領域を画像ブロック単位で処理することが可能となる。このため、周辺画像領域の決定や、階調変換特性の導出に要する処理負荷を低減することが可能となる。
本発明の半導体装置では、対象画像領域の階調変換特性を判断する際に、対象画像領域の対象画像データだけでなく、周辺画像領域の周辺画像データを用いて判断を行う。このため、対象画像領域の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
本発明の第1実施形態としての視覚処理装置1について図1〜図5を用いて説明する。視覚処理装置1は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置1は、従来に比して細かく分割された画像領域のそれぞれについて階調処理を行う点を特徴として有している。
図1に、視覚処理装置1の構造を説明するブロック図を示す。視覚処理装置1は、入力信号ISとして入力される原画像を複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割する画像分割部2と、それぞれの画像領域Pmに対して階調変換曲線Cmを導出する階調変換曲線導出部10と、階調変換曲線Cmをロードしそれぞれの画像領域Pmに対して階調処理した出力信号OSを出力する階調処理部5とを備えている。階調変換曲線導出部10は、それぞれの画像領域Pmと画像領域Pm周辺の画像領域とから構成される広域画像領域Emの画素の明度ヒストグラムHmを作成するヒストグラム作成部3と、作成された明度ヒストグラムHmからそれぞれの画像領域Pmに対する階調変換曲線Cmを作成する階調曲線作成部4とから構成される。
図2〜図4を用いて、各部の動作について説明を加える。画像分割部2は、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図2参照。)。ここで、原画像の分割数は、図33に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
図5に、視覚処理装置1における視覚処理方法を説明するフローチャートを示す。図5に示す視覚処理方法は、視覚処理装置1においてハードウェアにより実現され、入力信号IS(図1参照)の階調処理を行う方法である。図5に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS10〜S16)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS11)、画像領域Pm毎に階調処理される(ステップS12〜S15)。
〈効果〉
(1)
階調変換曲線Cmは、それぞれの画像領域Pmに対して作成される。このため、原画像全体に対して同一の階調変換を行う場合に比して、適切な階調処理を行うことが可能となる。
それぞれの画像領域Pmに対して作成される階調変換曲線Cmは、広域画像領域Emの明度ヒストグラムHmに基づいて作成される。このため、画像領域Pm毎の大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmを作成することが可能となる。
隣接する画像領域に対する広域画像領域は、重なりを有している。このため、隣接する画像領域に対する階調変換曲線は、お互いに似通った傾向を示すことが多い。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり隣接する画像領域の境界のつなぎ目が不自然に目立つことが防止可能となる。
それぞれの画像領域Pmの大きさは、従来に比して小さい。このため、画像領域Pm内での疑似輪郭の発生を抑えることが可能となる。
〈変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
上記実施形態では、原画像の分割数の一例として、4800分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果(例えば、疑似輪郭の抑制など)を得ることが可能となる。
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、25個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。
本発明の第2実施形態としての視覚処理装置11について図6〜図18を用いて説明する。視覚処理装置11は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置11は、あらかじめLUTとして記憶した複数の階調変換曲線を切り換えて用いる点を特徴として有している。
図6に、視覚処理装置11の構造を説明するブロック図を示す。視覚処理装置11は、画像分割部12と、選択信号導出部13と、階調処理部20とを備えている。画像分割部12は、入力信号ISを入力とし、入力信号ISとして入力される原画像を複数に分割した画像領域Pm(1≦m≦n:nは原画像の分割数)を出力とする。選択信号導出部13は、それぞれの画像領域Pmの階調処理に適用される階調変換曲線Cmを選択するための選択信号Smを出力する。階調処理部20は、階調処理実行部14と、階調補正部15とを備えている。階調処理実行部14は、複数の階調変換曲線候補G1〜Gp(pは候補数)を2次元LUTとして備えており、入力信号ISと選択信号Smとを入力とし、それぞれの画像領域Pm内の画素について階調処理した階調処理信号CSを出力とする。階調補正部15は、階調処理信号CSを入力とし、階調処理信号CSの階調を補正した出力信号OSを出力とする。
図7を用いて、階調変換曲線候補G1〜Gpについて説明する。階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値と階調処理信号CSの画素の明度値との関係を与える曲線である。図7において、横軸は入力信号ISにおける画素の明度値を、縦軸は階調処理信号CSにおける画素の明度値を示している。階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしている。例えば、階調変換曲線候補G1〜Gpがそれぞれ入力信号ISの画素の明度値を変数とする「べき関数」であり、Gm=x^(δm)と表される場合(1≦m≦p、xは変数、δmは定数)、δ1≦δ2≦・・・≦δpの関係を満たしている。ここで、入力信号ISの明度値は、値[0.0〜1.0]の範囲であるとする。
各部の動作について説明を加える。画像分割部12は、図1の画像分割部2とほぼ同様に動作し、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図2参照)。ここで、原画像の分割数は、図33に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
階調処理実行部14は、入力信号ISが含む画像領域Pmの画素の明度値と選択信号Smとを入力とし、例えば、図8に示す2次元LUT41を用いて、階調処理信号CSの明度値を出力する。
図10に、視覚処理装置11における視覚処理方法を説明するフローチャートを示す。図10に示す視覚処理方法は、視覚処理装置11においてハードウェアにより実現され、入力信号IS(図6参照)の階調処理を行う方法である。図10に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS20〜S26)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS21)、画像領域Pm毎に階調処理される(ステップS22〜S24)。
なお、図10に示す視覚処理方法のそれぞれのステップは、コンピュータなどにより、視覚処理プログラムとして実現されるものであっても良い。
〈効果〉
本発明により、上記[第1実施形態]の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第2実施形態特有の効果を記載する。
それぞれの画像領域Pmに対して選択される階調変換曲線Cmは、広域画像領域Emの平均明度値に基づいて作成される。このため、画像領域Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmを選択して適用することが可能となる。
階調処理実行部14は、あらかじめ作成された2次元LUTを有している。このため、階調処理に要する処理負荷、より具体的には、階調変換曲線Cmの作成に要する処理負荷を削減することが可能となる。この結果、画像領域Pmの階調処理に要する処理を高速化することが可能となる。
階調処理実行部14は、2次元LUTを用いて階調処理を実行する。2次元LUTは、視覚処理装置11が備えるハードディスクあるいはROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す2次元LUTの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。
階調補正部15は、1つの階調変換曲線Cmを用いて階調処理された画像領域Pmの画素の階調を補正する。このため、より適切に階調処理された出力信号OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号OSにおいては、それぞれの画像領域Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
上記実施形態では、原画像の分割数の一例として、4800分割としたが、本発明の効果は、この場合に限定されるものではなく、他の分割数でも同様の効果を得ることが可能である。なお、階調処理の処理量と視覚的効果とは分割数についてトレードオフの関係にある。すなわち、分割数を増やすと階調処理の処理量は増加するがより良好な視覚的効果(例えば、疑似輪郭の抑制された画像など)を得ることが可能となる。
上記実施形態では、広域画像領域を構成する画像領域の個数の一例として、25個としたが、本発明の効果は、この場合に限定されるものではなく、他の個数でも同様の効果を得ることが可能である。
上記実施形態では、64行64列のマトリクスからなる2次元LUT41を2次元LUTの一例とした。ここで、本発明の効果は、このサイズの2次元LUTに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ISの画素値をさらに細かいステップに区切った値に対する階調処理信号CSの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば10ビットで表される入力信号ISのそれぞれの画素値に対して、階調処理信号CSの画素値を並べたもので有っても良い。
(4)
上記実施形態では、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値、すなわち64段階に分けられた入力信号ISの値に対する階調処理信号CSの画素値が並んでいる、と説明した。ここで、階調処理信号CSは、階調処理実行部14により、入力信号ISの画素値の下位4ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分が並んでおり、入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分と、入力信号ISの画素値の上位6ビットの値に[1]を加えた値に対するマトリクスの成分(例えば、図8では、1行下の成分)とを入力信号ISの画素値の下位4ビットの値を用いて線形補間し、階調処理信号CSとして出力する。
(5)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択すると説明した。ここで、階調変換曲線Cmの選択方法は、この方法に限られない。例えば、広域画像領域Emの最大明度値、あるいは最小明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択してもよい。なお、階調変換曲線Cmの選択に際して、選択信号Smの値[Sm]は、広域画像領域Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。この場合、選択信号Smの取りうる値を64段階に分けたそれぞれの値に対して、階調変換曲線候補G1〜G64が関連付けられていることとなる。
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択すると説明した。ここで、広域画像領域Emの単純平均でなく、加重平均(重み付き平均)に基づいて、画像領域Pmに適用する階調変換曲線Cmを選択してもよい。例えば、図11に示すように、広域画像領域Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域Pmの平均明度値と大きく異なる平均明度値を持つ画像領域Ps1,Ps2,・・・については、重み付けを軽くして、あるいは除外して、広域画像領域Emの平均明度値を求める。
上記実施形態において、階調補正部15の存在は任意としても良い。すなわち、階調処理信号CSを出力とした場合であっても、従来の視覚処理装置300(図33参照)に比して、[第1実施形態]の〈効果〉に記載したのと同様の効果、および[第2実施形態]の〈効果〉(1)および(2)に記載したのと同様の効果を得ることが可能である。
上記実施形態では、階調変換曲線候補G1〜Gpは、添え字について単調減少する関係にあり、全ての入力信号ISの画素の明度値に対して、G1≧G2≧・・・≧Gpの関係を満たしていると説明した。ここで、2次元LUTが備える階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値の一部に対して、G1≧G2≧・・・≧Gpの関係を満たしていなくてもよい。すなわち、階調変換曲線候補G1〜Gpのいずれかが、互いに交差する関係にあってもよい。
また、上記実施形態では、2次元LUTが備える階調変換曲線候補G1〜Gpは、「べき関数」であると説明した。ここで、階調変換曲線候補G1〜Gpは、厳密に「べき関数」として定式化されるもので無くともよい。また、S字、逆S字などといった形状を有する関数であってもよい。
視覚処理装置11では、2次元LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置1(図1参照)における画像分割部2と階調変換曲線導出部10とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして2次元LUTに格納する。
上記実施形態において、入力信号ISの画素の明度値は、値[0.0〜1.0]の範囲の値でなくてもよい。入力信号ISが他の範囲の値として入力される場合には、その範囲の値を値[0.0〜1.0]に正規化して用いてもよい。また、正規化は行わず、上記した処理において取り扱う値を適宜変更してもよい。
階調変換曲線候補G1〜Gpのそれぞれは、通常のダイナミックレンジよりも広いダイナミックレンジを有する入力信号ISを階調処理し、通常のダイナミックレンジの階調処理信号CSを出力する階調変換曲線であってもよい。
ここで、図12に示すように、値[0.0〜1.0]を超える範囲の入力信号ISに対しても、値[0.0〜1.0]の階調処理信号CSを出力するような階調変換曲線を用いる。
また、上記実施形態では、「階調処理信号CSの画素値は、階調変換曲線候補G1〜Gpが「べき関数」である場合、例えば、値[0.0〜1.0]の範囲の値を有する。」と記載した。ここで、階調処理信号CSの画素値は、この範囲に限られない。例えば、値[0.0〜1.0]の入力信号ISに対して、階調変換曲線候補G1〜Gpは、ダイナミックレンジ圧縮を行うものであってもよい。
上記実施形態では、「階調処理実行部14は、階調変換曲線候補G1〜Gpを2次元LUTとして有している。」と説明した。ここで、階調処理実行部14は、階調変換曲線候補G1〜Gpを特定するための曲線パラメータと選択信号Smとの関係を格納する1次元LUTを有するものであってもよい。
図13に、階調処理実行部14の変形例としての階調処理実行部44の構造を説明するブロック図を示す。階調処理実行部44は、入力信号ISと選択信号Smとを入力とし、階調処理された入力信号ISである階調処理信号CSを出力とする。階調処理実行部44は、曲線パラメータ出力部45と演算部48とを備えている。
演算部48は、曲線パラメータP1およびP2と、入力信号ISとを入力とし、階調処理信号CSを出力とする。
第1LUT46および第2LUT47は、それぞれ選択信号Smに対する曲線パラメータP1およびP2の値を格納する1次元LUTである。第1LUT46および第2LUT47について詳しく説明する前に、曲線パラメータP1およびP2の内容について説明する。
第1LUT46および第2LUT47は、それぞれ選択信号Smに対する曲線パラメータP1およびP2の値を格納している。より具体的には、例えば、6ビットの信号として与えられるそれぞれの選択信号Smに対して、曲線パラメータP1およびP2の値がそれぞれ6ビットで与えられる。ここで、選択信号Smや曲線パラメータP1およびP2にたいして確保されるビット数はこれに限られない。
《演算部48について》
演算部48は、取得した曲線パラメータP1およびP2(値[R1m]および値[R2m])に基づいて、入力信号ISに対する階調処理信号CSを導出する。具体的な手順を以下記載する。ここで、入力信号ISの値は、値[0.0〜1.0]の範囲で与えられるものとする。また、階調変換曲線候補G1〜Gpは、値[0.0〜1.0]の範囲で与えられる入力信号ISを、値[0.0〜1.0]の範囲に階調変換するものとする。なお、本発明は、入力信号ISをこの範囲に限定しない場合にも適用可能である。
入力信号ISの値(値[X]とする)が[0.0]以上[X1]未満である場合、図14における原点と座標([X1],[R1m])とを結ぶ直線上において、値[X]に対する階調処理信号CSの値(値[Y]とする)が求められる。より具体的には、値[Y]は、次式[Y]=([X]/[X1])*[R1m]、により求められる。
《階調処理方法・プログラム》
上述の処理は、階調処理プログラムとして、コンピュータなどにより実行されるものであってもよい。階調処理プログラムは、以下記載する階調処理方法をコンピュータに実行させるためのプログラムである。
まず、選択信号Smが取得されると、第1LUT46および第2LUT47から曲線パラメータP1およびP2が出力される。第1LUT46、第2LUT47、曲線パラメータP1およびP2については、詳細な説明を省略する。
以上の階調処理方法により、入力信号ISに対する階調処理信号CSが導出される。
階調処理実行部14の変形例としての階調処理実行部44では、2次元LUTではなく、2つの1次元LUTを備えている。このため、ルックアップテーブルを記憶するための記憶容量を削減することが可能となる。
(1)
上記変形例では、「曲線パラメータP1およびP2の値は、入力信号ISの所定の値に対する階調変換曲線候補Gmの値である。」、と説明した。ここで、曲線パラメータP1およびP2は、階調変換曲線候補Gmの他の曲線パラメータであってもよい。以下、具体的に説明を加える。
曲線パラメータは、階調変換曲線候補Gmの傾きであってもよい。図14を用いて具体的に説明する。選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、入力信号ISの所定の範囲[0.0〜X1]における階調変換曲線候補Gmの傾きの値[K1m]であり、曲線パラメータP2の値は、入力信号ISの所定の範囲[X1〜X2]における階調変換曲線候補Gmの傾きの値[K2m]である。
演算部48では、取得した曲線パラメータP1およびP2に基づいて、入力信号ISに対する階調処理信号CSを導出する。具体的な手順を以下記載する。
入力信号ISの値(値[X]とする)が[0.0]以上[X1]未満である場合、図14における原点と座標([X1],[K1m]*[X1](以下、[Y1]と記載する))とを結ぶ直線上において、値[X]に対する階調処理信号CSの値(値[Y]とする)が求められる。より具体的には、値[Y]は、次式[Y]=[K1m]*[X]、により求められる。
(1−2)
曲線パラメータは、階調変換曲線候補Gm上の座標であってもよい。図17を用いて具体的に説明する。選択信号Smにより階調変換曲線候補Gmが指定された場合、曲線パラメータP1の値は、階調変換曲線候補Gm上の座標の一方の成分の値[Mm]であり、曲線パラメータP2の値は、階調変換曲線候補Gm上の座標の他方の成分の値[Nm]である。さらに、階調変換曲線候補G1〜Gpは、全て座標(X1,Y1)を通過する曲線である。
演算部48では、図14を用いて説明した変形例と同様の処理により、入力信号ISから階調処理信号CSが導出される。詳しい説明は、省略する。
以上の変形例は、一例であり、曲線パラメータP1およびP2は、階調変換曲線候補Gmのさらに他の曲線パラメータであってもよい。
また、曲線パラメータの個数も上記に限られない。さらに少なくてもよいし、さらに多くてもよい。
上記変形例では、「曲線パラメータ出力部45は、第1LUT46と第2LUT47から構成される。」と説明した。ここで、曲線パラメータ出力部45は、選択信号Smの値に対する曲線パラメータP1およびP2の値を格納するLUTを備えないものであってもよい。
これにより、LUTを記憶するためのメモリを用いずに曲線パラメータを出力することが可能となる。すなわち、装置が備えるメモリの容量をさらに削減することが可能となる。
本発明の第3実施形態としての視覚処理装置21について図19〜図21を用いて説明する。視覚処理装置21は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置である。視覚処理装置21は、あらかじめLUTとして記憶した複数の階調変換曲線を階調処理の対象となる画素ごとに切り換えて用いる点を特徴として有している。
図19に、視覚処理装置21の構造を説明するブロック図を示す。視覚処理装置21は、画像分割部22と、選択信号導出部23と、階調処理部30とを備えている。画像分割部22は、入力信号ISを入力とし、入力信号ISとして入力される原画像を複数に分割した画像領域Pm(1≦m≦n:nは原画像の分割数)を出力とする。選択信号導出部23は、それぞれの画像領域Pmに対して階調変換曲線Cmを選択するための選択信号Smを出力する。階調処理部30は、選択信号補正部24と、階調処理実行部25とを備えている。選択信号補正部24は、選択信号Smを入力とし、それぞれの画像領域Pm毎の選択信号Smを補正した信号である画素毎の選択信号SSを出力する。階調処理実行部25は、複数の階調変換曲線候補G1〜Gp(pは候補数)を2次元LUTとして備えており、入力信号ISと画素毎の選択信号SSとを入力とし、それぞれの画素について階調処理した出力信号OSを出力とする。
階調変換曲線候補G1〜Gpについては、[第2実施形態]において図7を用いて説明したのとほぼ同様であるため、ここでは説明を省略する。但し、本実施形態においては、階調変換曲線候補G1〜Gpは、入力信号ISの画素の明度値と出力信号OSの画素の明度値との関係を与える曲線である。
各部の動作について説明を加える。画像分割部22は、図1の画像分割部2とほぼ同様に動作し、入力信号ISとして入力される原画像を複数(n個)の画像領域Pmに分割する(図2参照)。ここで、原画像の分割数は、図33に示す従来の視覚処理装置300の分割数(例えば、4〜16分割)よりも多く、例えば、横方向に80分割し縦方向に60分割する4800分割などである。
選択信号補正部24は、それぞれの画像領域Pmに対して出力されたそれぞれの選択信号Smを用いた補正により、入力信号ISを構成する画素毎に階調変換曲線を選択するための画素毎の選択信号SSを出力する。例えば、画像領域Pmに含まれる画素に対する選択信号SSは、画像領域Pmおよび画像領域Pmの周辺の画像領域に対して出力された選択信号の値を画素位置の内分比で補正して求められる。
ここで、階調補正の対象となる画素xの位置を、画像領域Poの中心と画像領域Ppの中心とを[i:1−i]に内分し、かつ、画像領域Poの中心と画像領域Pqの中心とを[j:1−j]に内分する位置であるとする。この場合、画素xに対する選択信号SSの値[SS]は、[SS]={(1−j)・(1−i)・[So]+(1−j)・(i)・[Sp]+(j)・(1−i)・[Sq]+(j)・(i)・[Sr]}と求められる。なお、[So],[Sp],[Sq],[Sr]は、選択信号So,Sp,Sq,Srの値であるとする。
なお、選択信号SSの値[SS]が、2次元LUT41の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、値[SS]に最も近い整数を添え字とする階調変換曲線候補G1〜Gpが入力信号ISの階調処理に用いられる。
図21に、視覚処理装置21における視覚処理方法を説明するフローチャートを示す。図21に示す視覚処理方法は、視覚処理装置21においてハードウェアにより実現され、入力信号IS(図19参照)の階調処理を行う方法である。図21に示す視覚処理方法では、入力信号ISは、画像単位で処理される(ステップS30〜S37)。入力信号ISとして入力される原画像は、複数の画像領域Pm(1≦m≦n:nは原画像の分割数)に分割され(ステップS31)、画像領域Pm毎に階調変換曲線Cmが選択され(ステップS32〜S33)、画像領域Pm毎に階調変換曲線Cmを選択するための選択信号Smに基づいて、原画像の画素毎に階調変換曲線が選択され、画素単位での階調処理が行われる(ステップS34〜S36)。
それぞれの画像領域Pmに対して階調変換曲線Cmが階調変換曲線候補G1〜Gpの中から選択される(ステップS32)。具体的には、画像領域Pmの広域画像領域Emの平均明度値を計算し、計算された平均明度値に応じて階調変換曲線候補G1〜Gpのいずれかの選択が行われる。階調変換曲線候補G1〜Gpは、広域画像領域Emの平均明度値に関連づけられており、平均明度値が大きくなるほど、添え字の大きい階調変換曲線候補G1〜Gpが選択される。ここで、広域画像領域Emについては、説明を省略する(上記〈作用〉の欄参照。)。選択結果は、階調変換曲線候補G1〜Gpのいずれかを示す選択信号Smとして出力される。より具体的には、選択信号Smは、階調変換曲線候補G1〜Gpの添え字(1〜p)の値として出力される。さらに、全ての画像領域Pmについての処理が終了したか否かを判定し(ステップS33)、処理が終了したと判定されるまで、ステップS32〜S33の処理を原画像の分割数回繰り返す。以上により、画像領域単位の処理が終了する。
〈効果〉
本発明により、上記[第1実施形態]および[第2実施形態]の〈効果〉とほぼ同様の効果を得ることが可能である。以下、第3実施形態特有の効果を記載する。
それぞれの画像領域Pmに対して選択される階調変換曲線Cmは、広域画像領域Emの平均明度値に基づいて作成される。このため、画像領域Pmの大きさは小さくとも十分な明度値のサンプリングが可能となる。また、この結果、小さな画像領域Pmに対しても、適切な階調変換曲線Cmが選択される。
選択信号補正部24は、画像領域単位で出力される選択信号Smに基づいた補正により、画素毎の選択信号SSを出力する。入力信号ISを構成する原画像の画素は、画素毎の選択信号SSが指定する階調変換曲線候補G1〜Gpを用いて、階調処理される。このため、より適切に階調処理された出力信号OSを得ることができる。例えば、疑似輪郭の発生を抑制することが可能となる。また、出力信号OSにおいては、それぞれの画像領域Pmの境界のつなぎ目が不自然に目立つことがさらに防止可能となる。
階調処理実行部25は、あらかじめ作成された2次元LUTを有している。このため、階調処理に要する処理負荷を削減すること、より具体的には、階調変換曲線Cmの作成に要する処理負荷を削減することが可能となる。この結果、階調処理を高速化することが可能となる。
階調処理実行部25は、2次元LUTを用いて階調処理を実行する。ここで、2次元LUTの内容は、視覚処理装置21が備えるハードディスクあるいはROMなどの記憶装置から読み出されて階調処理に用いられる。読み出す2次元LUTの内容を変更することにより、ハードウェアの構成を変更せずに様々な階調処理を実現することが可能となる。すなわち、原画像の特性により適した階調処理を実現することが可能となる。
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。例えば、上記[第2実施形態]〈変形例〉とほぼ同様の変形を第3実施形態に適用することが可能である。特に、[第2実施形態]〈変形例〉の(10)〜(12)では、選択信号Smを選択信号SSと、階調処理信号CSを出力信号OSと読み替えることにより、同様に適用可能である。
(1)
上記実施形態では、64行64列のマトリクスからなる2次元LUT41を2次元LUTの一例とした。ここで、本発明の効果は、このサイズの2次元LUTに限定されるものではない。例えば、さらに多くの階調変換曲線候補を行方向に並べたマトリクスであっても良い。また、入力信号ISの画素値をさらに細かいステップに区切った値に対する出力信号OSの画素値をマトリクスの列方向に並べたもので有っても良い。具体的には、例えば10ビットで表される入力信号ISのそれぞれの画素値に対して、出力信号OSの画素値を並べたもので有っても良い。
(2)
上記実施形態では、選択信号SSの値[SS]が、2次元LUT41(図8参照)の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、値[SS]に最も近い整数を添え字とする階調変換曲線候補G1〜Gpが入力信号ISの階調処理に用いられる、と説明した。ここで、選択信号SSの値[SS]が、2次元LUT41の備える階調変換曲線候補G1〜Gpの添え字(1〜p)と等しい値にならない場合、選択信号SSの値[SS]を超えない最大の整数(k)を添え字とする階調変換曲線候補Gk(1≦k≦p−1)と、[SS]を超える最小の整数(k+1)を添え字とする階調変換曲線候補Gk+1との双方を用いて階調処理した入力信号ISの画素値を、選択信号SSの値[SS]の小数点以下の値を用いて加重平均(内分)し、出力信号OSを出力してもよい。
上記実施形態では、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対する出力信号OSの画素値が並んでいる、と説明した。ここで、出力信号OSは、階調処理実行部25により、入力信号ISの画素値の下位4ビットの値で線形補間されたマトリクスの成分として出力されるものであっても良い。すなわち、マトリクスの列方向には、例えば10ビットで表される入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分が並んでおり、入力信号ISの画素値の上位6ビットの値に対するマトリクスの成分と、入力信号ISの画素値の上位6ビットの値に[1]を加えた値に対するマトリクスの成分(例えば、図8では、1行下の成分)とを入力信号ISの画素値の下位4ビットの値を用いて線形補間し、出力信号OSとして出力する。
(4)
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに対する選択信号Smを出力すると説明した。ここで、選択信号Smの出力方法は、この方法に限られない。例えば、広域画像領域Emの最大明度値、あるいは最小明度値に基づいて、画像領域Pmに対する選択信号Smを出力してもよい。なお、選択信号Smの値[Sm]は、広域画像領域Emの平均明度値、最大明度値、あるいは最小明度値そのものであってもよい。
上記実施形態では、広域画像領域Emの平均明度値に基づいて、画像領域Pmに対する選択信号Smを出力すると説明した。ここで、広域画像領域Emの単純平均でなく、加重平均(重み付き平均)に基づいて、画像領域Pmに対する選択信号Smを出力しても良い。詳細は、上記[第2実施形態]で図11を用いて説明したのと同様であり、広域画像領域Emを構成するそれぞれの画像領域の平均明度値を求め、画像領域Pmの平均明度値と大きく異なる平均明度値を持つ画像領域Ps1,Ps2,・・・については、重み付けを軽くして広域画像領域Emの平均明度値を求める。
視覚処理装置21では、2次元LUTが格納する値であるプロファイルデータを作成するプロファイルデータ作成部をさらに備えていても良い。具体的には、プロファイルデータ作成部は、視覚処理装置1(図1参照)における画像分割部2と階調変換曲線導出部10とから構成されており、作成された複数の階調変換曲線の集合をプロファイルデータとして2次元LUTに格納する。
図22〜図25を用いて本発明の第4実施形態としての視覚処理装置61について説明する。
図22に示す視覚処理装置61は、画像信号の空間処理、階調処理など視覚処理を行う装置である。視覚処理装置61は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、プリンタ、スキャナなどの画像を取り扱う機器において、画像信号の色処理を行う装置とともに画像処理装置を構成する。
従来、対象画素の周辺の画素を用いてボケ信号を導出する際に、周辺の画素が対象画素と大きく濃度の異なる画素を含むと、ボケ信号は、濃度の異なる画素の影響を受ける。すなわち、画像において物体のエッジ近傍の画素を空間処理する場合、本来エッジでない画素がエッジの濃度の影響を受けることとなる。このため、この空間処理により、例えば、擬似輪郭の発生などが引き起こされることとなる。
そこで、本発明の第4実施形態としての視覚処理装置61では、適切なボケ信号を出力することを目的とし、かつ、装置における回路規模、あるいは処理負荷を削減することを目的とする。
図22に、画像信号(入力信号IS)に視覚処理を行い視覚処理画像(出力信号OS)を出力する視覚処理装置61の基本構成を示す。視覚処理装置61は、入力信号ISとして取得した原画像の画素ごとの明度値に空間処理を実行しアンシャープ信号USを出力する空間処理部62と、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、原画像の視覚処理を行い、出力信号OSを出力する視覚処理部63とを備えている。
図23を用いて、空間処理部62の空間処理について説明する。空間処理部62は、空間処理の対象となる対象画素65と、対象画素65の周辺領域の画素(以下、周辺画素66という)との画素値を入力信号ISから取得する。
第1周辺画素67のうち、対象画素65の画素値との差の絶対値が所定の閾値よりも小さい画素値を有する画素に対しては、重み係数[Wij]は、値[1]である。第1周辺画素67のうち、差の絶対値が所定の閾値よりも大きい画素値を有する画素に対しては、重み係数[Wij]は、値[1/2]である。すなわち、第1周辺画素67に含まれる画素であっても、画素値に応じて与えられる重み係数が異なっている。
以上により計算された加重平均が、アンシャープ信号USとして出力される。
〈視覚処理部63〉
視覚処理部63では、同一の画素についての入力信号ISとアンシャープ信号USとの値を用いて、視覚処理を行う。ここで行われる視覚処理は、入力信号ISのコントラスト強調、あるいはダイナミックレンジ圧縮などといった処理である。コントラスト強調では、入力信号ISとアンシャープ信号USとの差、あるいは比を強調する関数を用いて強調した信号を入力信号ISに加え、画像の鮮鋭化が行われる。ダイナミックレンジ圧縮では、入力信号ISからアンシャープ信号USが減算される。
〈視覚処理方法・プログラム〉
上述の処理は、視覚処理プログラムとして、コンピュータなどにより実行されるものであってもよい。視覚処理プログラムは、以下記載する視覚処理方法をコンピュータに実行させるためのプログラムである。
視覚処理ステップでは、同じ画素についての入力信号ISとアンシャープ信号USとを用いて、視覚処理部63の説明において記載した視覚処理を行い出力信号OSを出力する。詳細については、上述したため省略する。
図25(a)〜(b)を用いて、視覚処理装置61による視覚処理の効果を説明する。図25(a)と図25(b)とは、従来のフィルタによる処理を示している。図25(b)は、本発明のフィルタによる処理を示している。
さらに、視覚処理装置61では、実質的に、空間フィルタのフィルタサイズ、およびフィルタが参照する画像の形状を画像内容に応じて適応的に変更することが可能である。このため、画像内容に適した空間処理を行うことが可能となる。
(1)
上記した周辺画素66、第1周辺画素67、第2周辺画素などの大きさは、一例であり、他の大きさであってもよい。
(1−a)
画素値の差の絶対値を変数とする関数により重み係数の値を与えてもよい。関数は、例えば、画素値の差の絶対値が小さいときは重み係数が大きく(1に近く)、画素値の差の絶対値が大きいときは重み係数が小さく(0に近く)なるような、画素値の差の絶対値に対して単調減少する関数である。
対象画素65からの距離を変数とする関数により重み係数の値をあたえてもよい。関数は、例えば、対象画素65からの距離が近いときには重み係数が大きく(1に近く)、対象画素65からの距離が遠いときには重み係数が小さく(0に近く)なるような、対象画素65からの距離に対して単調減少する関数である。
上記したそれぞれの画素についての処理は、複数の画素を含むブロックを単位として行われても良い。具体的には、まず、空間処理の対象となる対象ブロックの平均画素値と、対象ブロックの周辺の周辺ブロックの平均画素値とが計算される。さらに、それぞれの平均画素値が上記と同様の重み係数を用いて加重平均される。これにより、対象ブロックの平均画素値がさらに空間処理されることとなる。
《構成》
図26は、図22〜図25を用いて説明した処理を複数の画素を含むブロック単位で行う視覚処理装置961の構成を示すブロック図である。
図27を用いて、空間処理部962の空間処理について説明する。図27は、複数画素を含む画像ブロックに分割された入力信号ISを示している。ここで、それぞれの画像ブロックは、縦3画素・横3画素の9画素を含む領域に分割されている。なお、この分割方法は、一例であり、このような分割方法に限定されるわけではない。また、視覚処理効果を十分に発揮するためには、かなり広い領域を対象として空間処理信号US2を生成することが好ましい。
周辺領域966は、対象画像ブロック965の周辺に位置する領域であり、対象画像ブロック965を中心として広がる縦5ブロック、横5ブロックの領域である。なお、周辺領域966の大きさは、この場合に限定されず、より小さくてもよいし、より大きくてもよい。また、周辺領域966は、対象画像ブロック965からの距離に応じて近いものから第1周辺領域967、第2周辺領域968と分けられている。
空間処理部962は、対象画像ブロック965の特徴パラメータに対してフィルタ演算を行う。
ここで、[Wij]は、対象画像ブロック965および周辺領域966において、i行j列目に位置する画像ブロックに対する重み係数であり、[Aij]は、対象画像ブロック965および周辺領域966において、i行j列目に位置する画像ブロックの特徴パラメータの値である。また、「Σ」は、対象画像ブロック965および周辺領域966のそれぞれの画像ブロックについての合計の計算を行うことを意味している。
重み係数[Wij]は、対象画像ブロック965と周辺領域966の周辺画像ブロックとの距離および特徴パラメータの値の差に基づいて定められる値である。より具体的には、特徴パラメータの値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。
第1周辺領域967のうち、対象画像ブロック965の特徴パラメータの値との差の絶対値が所定の閾値よりも小さい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1]である。第1周辺領域967のうち、差の絶対値が所定の閾値よりも大きい特徴パラメータの値を有する周辺画像ブロックに対しては、重み係数[Wij]は、値[1/2]である。すなわち、第1周辺領域967に含まれる周辺画像ブロックであっても、特徴パラメータの値に応じて与えられる重み係数が異なっている。
以上により計算された加重平均が、空間処理信号US2として出力される。
《効果》
空間処理部962の処理では、画像ブロックを単位とした処理が行われる。このため、空間処理部962の処理量を削減でき、より高速の視覚処理が実現可能となる。また、ハードウェア規模を小さくすることが可能となる。
上記では、正方のブロック単位で処理を行うと記載した。ここで、ブロックの形状は、任意としてもよい。
また、上記した重み係数、閾値なども適宜変更可能である。
また、空間処理部962では、対象画像ブロック965と周辺領域966との特徴パラメータを用いて空間処理を行うと説明したが、空間処理は、周辺領域966のみの特徴パラメータを用いて行うものであってもよい。すなわち、空間処理の加重平均の重みにおいて、対象画像ブロック965の重みを値[0]としてもよい。
視覚処理部63における処理は、上記したものに限られない。例えば、視覚処理部63は、入力信号ISの値A、アンシャープ信号USの値B、ダイナミックレンジ圧縮関数F4、強調関数F5を用いて、次式C=F4(A)*F5(A/B)により演算される値Cを出力信号OSの値として出力するものであってもかまわない。ここで、ダイナミックレンジ圧縮関数F4は、上に凸のべき関数などの単調増加関数であり、例えば、F4(x)=x^γ(0<γ<1)と表される。強調関数F5は、べき関数であり、例えば、F5(x)=x^α(0<α≦1)と表される。
一方、アンシャープ信号USが適切でなく、ボケが少なすぎる場合には、エッジ強調的ではあるがコントラストの強調が適切に行えない。また、ボケが多すぎる場合には、コントラストの強調は行えるが、ダイナミックレンジの圧縮が適切に行えない。
本発明の第5実施形態として、上記第1〜第4実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例と、それを用いたシステムとについて説明する。
視覚処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDAなど、画像を取り扱う機器に内蔵、あるいは接続されて、画像の階調処理を行う装置であり、LSIなどの集積回路として実現される。
図1、図6、図19、図22、図26の各ブロックの処理は、例えば、視覚処理装置が備える中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。また、図6、図19の階調処理実行部14,25において参照される2次元LUTは、ハードディスク、ROMなどの記憶装置に格納されており、必要に応じて参照される。さらに、2次元LUTは、視覚処理装置に直接的に接続される、あるいはネットワークを介して間接的に接続される2次元LUTの提供装置から提供されるものであってもよい。また、図13の階調処理実行部44において参照される1次元LUTについても同様である。
また、それぞれの視覚処理装置では、上記第1〜第4実施形態で説明した視覚処理方法が実行される。
[第6実施形態]
本発明の第6実施形態として、上記で説明した視覚処理装置、視覚処理方法、視覚処理プログラムの応用例とそれを用いたシステムを図29〜図32を用いて説明する。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
図30は、上記実施形態の視覚処理装置を備えた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図32に示すようにディジタル放送用システムにも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態で説明した視覚処理装置を備えていてもよい。また、上記実施形態の視覚処理方法を用いるものであってもよい。さらに、視覚処理プログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した視覚処理装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
このように、上記実施形態で説明した視覚処理装置、視覚処理方法、視覚処理プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
上記実施形態に記載の本発明は、次のように表現することも可能である。
〈付記の内容〉
(付記1)
入力された画像信号を複数の画像領域に分割する画像領域分割手段と、
前記画像領域毎に階調変換特性を導出する手段であって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出手段は、前記階調特性を用いてヒストグラムを作成するヒストグラム作成手段と、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成手段とを有している、
付記1に記載の視覚処理装置。
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理手段は、前記複数の階調変換テーブルを2次元LUTとして有している、
付記1に記載の視覚処理装置。
前記2次元LUTは、前記画像信号の全ての値において、前記選択信号の値に対する階調処理された前記画像信号の値が単調増加あるいは単調減少する順序で前記複数の階調変換テーブルを格納している、
付記3に記載の視覚処理装置。
前記2次元LUTは、プロファイルデータの登録により変更可能である、
付記3又は4に記載の視覚処理装置。
(付記6)
前記選択信号の値は、前記対象画像領域と前記周辺画像領域とのそれぞれの画像領域について導出された選択信号である個別選択信号の特徴量として導出される、
付記3〜5のいずれかに記載の視覚処理装置。
前記選択信号は、前記対象画像領域と前記周辺画像領域との階調特性を用いて導出される特徴量である階調特性特徴量に基づいて導出される、
付記3〜5のいずれかに記載の視覚処理装置。
前記階調処理手段は、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行手段と、前記階調処理された前記画像信号の階調を補正する手段であって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正手段とを有している、
付記3〜7のいずれかに記載の視覚処理装置。
前記階調処理手段は、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正手段と、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行手段とを有している、
付記3〜7のいずれかに記載の視覚処理装置。
入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、
前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出ステップは、前記階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、
付記10に記載の視覚処理方法。
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、
付記10に記載の視覚処理方法。
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、
付記10に記載の視覚処理方法。
コンピュータにより視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理プログラムは、コンピュータに、
入力された画像信号を複数の画像領域に分割する画像領域分割ステップと、
前記画像領域毎に階調変換特性を導出するステップであって、前記階調変換特性の導出対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性を用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法を行わせるものである、
視覚処理プログラム。
前記階調変換特性は、階調変換曲線であり、
前記階調変換特性導出ステップは、前記階調特性を用いてヒストグラムを作成するヒストグラム作成ステップと、作成された前記ヒストグラムに基づいて前記階調変換曲線を作成する階調曲線作成ステップとを有している、
付記14に記載の視覚処理プログラム。
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号が選択する前記階調変換テーブルを用いて前記対象画像領域の階調処理を実行する階調処理実行ステップと、前記階調処理された前記画像信号の階調を補正するステップであって、補正の対象となる対象画素を含む画像領域と前記対象画素を含む前記画像領域の隣接画像領域とについて選択された前記階調処理テーブルに基づいて、前記対象画素の階調を補正する補正ステップとを有している、
付記14に記載の視覚処理プログラム。
前記階調変換特性は、前記画像信号を階調処理する複数の階調変換テーブルの中から1つの階調変換テーブルを選択するための選択信号であり、
前記階調処理ステップは、前記選択信号を補正し、前記画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する補正ステップと、前記補正選択信号が選択する前記階調変換テーブルを用いて前記画像信号の階調処理を実行する階調処理実行ステップとを有している、
付記14に記載の視覚処理プログラム。
前記階調処理手段は、前記画像信号を階調処理するための階調変換曲線の曲線パラメータを、前記階調変換特性に基づいて出力するパラメータ出力手段を有しており、前記階調変換特定と前記曲線パラメータとに基づいて特定される前記階調変換曲線を用いて、前記画像信号を階調処理する、
付記1に記載の視覚処理装置。
前記パラメータ出力手段は、前記階調変換特性と前記曲線パラメータとの関係を格納するルックアップテーブルである、
付記18に記載の視覚処理装置。
前記曲線パラメータは、前記画像信号の所定の値に対する前記階調処理された画像信号の値を含む、
付記18または19に記載の視覚処理装置。
前記曲線パラメータは、前記画像信号の所定の区間における前記階調変換曲線の傾きを含む、
付記18〜20のいずれかに記載の視覚処理装置。
前記曲線パラメータは、前記階調変換曲線が通る少なくとも1点の座標を含む、
付記18〜21のいずれかに記載の視覚処理装置。
(付記23)
入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段であって、前記空間処理では、前記空間処理の対象となる対象画像領域と前記対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、前記対象画像領域と前記周辺画像領域との階調特性の加重平均を行う、空間処理手段と、
前記対象画像領域の階調特性と前記空間処理信号とに基づいて、前記対象画像領域の視覚処理を行う視覚処理手段と、
を備える視覚処理装置。
前記重み付けは、前記階調特性の差の絶対値が大きいほど小さくなる、
付記23に記載の視覚処理装置。
(付記25)
前記重み付けは、前記対象画像領域と前記周辺画像領域との距離が大きいほど小さくなる、
付記23または24に記載の視覚処理装置。
前記画像領域は、複数の画素から構成されており、
前記対象画像領域と前記周辺画像領域との階調特性は、それぞれの画像領域を構成する画素値の特徴量として定められている、
付記23〜25のいずれかに記載の視覚処理装置。
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定手段と、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定手段と、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定ステップと、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定ステップと、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。
コンピュータを用いて、入力された画像信号の視覚処理を行う視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理方法は、
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定ステップと、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定ステップと、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法である、
視覚処理プログラム。
入力された画像信号から階調変換特性の導出対象となる対象画像領域を決定する対象画像領域決定部と、
前記対象画像領域の周辺に位置し複数の画素を含む少なくとも1つの周辺画像領域を決定する周辺画像領域決定部と、
前記周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、
を備える半導体装置。
付記1に記載の視覚処理装置は、画像領域分割手段と、階調変換特性導出手段と、階調処理手段とを備えている。画像領域分割手段は、入力された画像信号を複数の画像領域に分割する。階調変換特性導出手段は、画像領域毎に階調変換特性を導出する手段であって、階調変換特性の導出対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性を用いて、対象画像領域の階調変換特性を導出する。階調処理手段は、導出された階調変換特性に基づいて、画像信号の階調処理を行う。
本発明の視覚処理装置では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果を向上させる階調処理を実現することが可能となる。
本発明の視覚処理装置では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理手段は、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。
付記4に記載の視覚処理装置は、付記3に記載の視覚処理装置であって、2次元LUTは、画像信号の全ての値において、選択信号の値に対する階調処理された画像信号の値が単調増加あるいは単調減少する順序で複数の階調変換テーブルを格納している。
付記5に記載の視覚処理装置は、付記3又は4に記載の視覚処理装置であって、2次元LUTは、プロファイルデータの登録により変更可能である。
本発明の視覚処理装置では、2次元LUTを変更することにより、ハードウェアの構成を変更せずに階調処理の特性を様々に変更することが可能となる。
ここで、個別選択信号の特徴量とは、例えば、それぞれの画像領域について導出された選択信号の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
ここで、階調特性特徴量とは、例えば、対象画像領域と周辺画像領域との広域の階調特性の平均値(単純平均または加重平均)、最大値、あるいは最小値などである。
付記9に記載の視覚処理装置は、付記3〜7のいずれかに記載の視覚処理装置であって、階調処理手段は、補正手段と、階調処理実行手段とを有している。補正手段は、選択信号を補正し、画像信号の画素毎に階調処理テーブルを選択するための補正選択信号を導出する。階調処理実行手段は、補正選択信号が選択する階調変換テーブルを用いて画像信号の階調処理を実行する。
本発明の視覚処理装置では、画素毎に選択信号を導出することが可能となる。このため、画像領域の境界が不自然に目立つことがさらに防止され、視覚的効果を向上させることが可能となる。
本発明の視覚処理方法では、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。
本発明の視覚処理方法では、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
本発明の視覚処理プログラムでは、画像領域毎の階調変換特性を判断する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の画像領域の階調特性を用いて判断を行う。このため、画像領域毎の階調処理に空間処理的効果を加えることが可能となり、さらに視覚的効果の高い階調処理を実現することが可能となる。
本発明の視覚処理プログラムでは、ヒストグラムを作成する際に、画像領域毎の階調特性だけでなく、周辺の画像領域を含めた広域の階調特性を用いてヒストグラムの作成を行う。このため、画像信号の分割数を増やし画像領域の大きさを小さくすることが可能となり、階調処理による疑似輪郭の発生を抑制することが可能となる。また、画像領域の境界が不自然に目立つことが防止可能となる。
選択信号は、例えば、複数の階調変換テーブルのそれぞれに割り付けられた値の中から選択される1つの階調変換テーブルに割り付けられた値を有している。階調処理ステップは、選択信号の値と画像信号の画素値とから2次元LUTを参照して階調処理された画像信号の画素値を出力する。補正ステップは、例えば、対象画像領域毎に導出された選択信号を画素位置および対象画像領域に隣接する画像領域について導出された選択信号に基づいて補正し、画素毎の選択信号を導出する。
ルックアップテーブルは、階調変換特性と曲線パラメータとの関係を格納している。階調処理手段は、特定された階調変換曲線を用いて、画像信号を階調処理する。
階調処理手段では、画像信号の所定の値と視覚処理の対象となる画像信号の値との関係を用いて、曲線パラメータが含む階調処理された画像信号の値を非線形あるいは線形に内分し、階調処理された画像信号の値を導出する。
付記21に記載の視覚処理装置は、付記18〜20のいずれかに記載の視覚処理装置であって、曲線パラメータは、画像信号の所定の区間における階調変換曲線の傾きを含む。
本発明の視覚処理装置では、画像信号の所定の区間における階調変換曲線の傾きにより、階調変換曲線を特定し、階調処理を行うことが可能となる。
曲線パラメータでは、階調変換曲線が通る少なくとも1点の座標が特定されている。すなわち画像信号の値に対する階調処理後の画像信号の値が少なくとも1点特定されている。階調処理手段では、特定された画像信号の値と、視覚処理の対象となる画像信号の値との関係を用いて、特定された階調処理後の画像信号の値を非線形あるいは線形に内分することにより階調処理された画像信号の値を導出する。
付記23に記載の視覚処理装置は、空間処理手段と、視覚処理手段とを備えている。空間処理手段は、入力された画像信号における複数の画像領域毎の空間処理を行い空間処理信号を導出する手段である。空間処理では、空間処理の対象となる対象画像領域と対象画像領域の周辺画像領域との階調特性の差に基づいた重み付けを用いて、対象画像領域と周辺画像領域との階調特性の加重平均を行う。視覚処理手段は、対象画像領域の階調特性と空間処理信号とに基づいて、対象画像領域の視覚処理を行う。
本発明の視覚処理装置では、空間処理信号において、階調特性が大きく異なる画像領域から受ける影響を抑制することなどが可能となる。例えば、周辺画像領域が物体の境界などを含む画像であり、対象画像領域とは階調特性が大きく異なる場合にも、適切な空間処理信号を導出することが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
ここで、重みは、階調特性の差に応じて単調減少する値として与えられるものであってもよいし、所定の閾値と階調特性の差との比較により、所定の値に設定されるものであってもよい。
ここで、重みは、対象画像領域と周辺画像領域との距離の大きさに応じて単調減少する値として与えられるものであってもよいし、所定の閾値と距離の大きさとの比較により、所定の値に設定されるものであってもよい。
本発明の視覚処理装置では、画像領域毎の空間処理を行う際に、画像領域毎に含まれる画素だけでなく、周辺の画像領域を含めた広域の画像領域に含まれる画素の階調特性を用いて処理を行う。このため、より適切な空間処理を行うことが可能となる。この結果、空間処理信号を用いた視覚処理においても、特に擬似輪郭などの発生を抑制することなどが可能となる。このため、視覚的効果を向上させる視覚処理を実現することが可能となる。
2,12,22 画像分割部
3 ヒストグラム作成部
4 階調曲線作成部
5,20,30 階調処理部
10 階調変換曲線導出部
13,23 選択信号導出部
14,25 階調処理実行部
15 階調補正部
24 選択信号補正部
IS 入力信号
OS 出力信号
Pm 画像領域
Em 広域画像領域
Hm 明度ヒストグラム
Cm 階調変換曲線
Sm 選択信号
SS 画素毎の選択信号
CS 階調処理信号
Claims (24)
- 入力された画像信号を画像領域毎に階調処理する視覚処理装置であって、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出手段と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理手段と、
を備える視覚処理装置。 - 前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
請求項1に記載の視覚処理装置。 - 前記階調変換特性導出手段は、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
請求項1または2に記載の視覚処理装置。 - 前記階調変換特性導出手段は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出手段と、前記特徴パラメータ導出手段で導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定手段とを有している、
請求項3に記載の視覚処理装置。 - 前記特徴パラメータは、ヒストグラムであることを特徴とする、
請求項4に記載の視覚処理装置。 - 前記階調変換特性決定手段は、前記特徴パラメータを用いて予めテーブル化された前記階調変換特性を選択することを特徴とする、
請求項4に記載の視覚処理装置。 - 予めテーブル化された前記階調変換特性は、変更可能なことを特徴とする、
請求項6に記載の視覚処理装置。 - 前記階調変換特性の変更は、前記階調変換特性の少なくとも一部を補正することによって実現されることを特徴とする、
請求項7に記載の視覚処理装置。 - 前記階調変換特性決定手段は、前記特徴パラメータを用いて予め決定された演算により前記階調変換特性を生成することを特徴とする、
請求項4に記載の視覚処理装置。 - 予め決定された前記演算は、変更可能なことを特徴とする、
請求項9に記載の視覚処理装置。 - 前記演算の変更は、前記演算の少なくとも一部を補正することによって実現されることを特徴とする、
請求項10に記載の視覚処理装置。 - 前記階調変換特性は、複数の前記階調変換特性を内挿または外挿して得られるものであることを特徴とする、
請求項4記載の視覚処理装置。 - 入力された画像信号を画像領域毎に階調処理する視覚処理方法であって、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法。 - 前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
請求項13に記載の視覚処理方法。 - 前記階調変換特性導出ステップは、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
請求項13または14に記載の視覚処理方法。 - 前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、
請求項15に記載の視覚処理方法。 - コンピュータを用いて、入力された画像信号を画像領域毎に階調処理する視覚処理方法を行うための視覚処理プログラムであって、
前記視覚処理方法は、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出ステップと、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理ステップと、
を備える視覚処理方法である、
視覚処理プログラム。 - 前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
請求項17に記載の視覚処理プログラム。 - 前記階調変換特性導出ステップは、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
請求項17または18に記載の視覚処理プログラム。 - 前記階調変換特性導出ステップは、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出ステップと、前記特徴パラメータ導出ステップで導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定ステップとを有している、
請求項19に記載の視覚処理プログラム。 - 入力された画像信号を画像領域毎に階調処理する半導体装置であって、
前記階調処理の対象となる対象画像領域の周辺に位置する画像領域であって、複数の画素を含む少なくとも1つの周辺画像領域の周辺画像データを用いて、前記対象画像領域の前記階調変換特性を導出する階調変換特性導出部と、
導出された前記階調変換特性に基づいて、前記対象画像領域の画像信号の階調処理を行う階調処理部と、
を備える半導体装置。 - 前記周辺画像領域は、前記画像信号を所定の単位に分割した画像ブロックである、
請求項21に記載の半導体装置。 - 前記階調変換特性導出部は、前記対象画像領域の対象画像データをさらに用いて、前記対象画像領域の前記階調変換特性を導出する、
請求項21または22に記載の半導体装置。 - 前記階調変換特性導出部は、前記対象画像データおよび前記周辺画像データを用いて前記対象画像領域の特徴を示すパラメータである特徴パラメータを導出する特徴パラメータ導出部と、前記特徴パラメータ導出部で導出された前記対象領域の前記特徴パラメータに基づいて前記階調変換特性を決定する階調変換特性決定部とを有している、
請求項23に記載の半導体装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004264005A JP4126298B2 (ja) | 2003-09-11 | 2004-09-10 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003320059 | 2003-09-11 | ||
JP2004115166 | 2004-04-09 | ||
JP2004264005A JP4126298B2 (ja) | 2003-09-11 | 2004-09-10 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008010747A Division JP4414464B2 (ja) | 2003-09-11 | 2008-01-21 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005322205A true JP2005322205A (ja) | 2005-11-17 |
JP2005322205A5 JP2005322205A5 (ja) | 2007-10-18 |
JP4126298B2 JP4126298B2 (ja) | 2008-07-30 |
Family
ID=35469424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004264005A Active JP4126298B2 (ja) | 2003-09-11 | 2004-09-10 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4126298B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007166475A (ja) * | 2005-12-16 | 2007-06-28 | Fuji Xerox Co Ltd | 画像処理装置 |
CN103065281A (zh) * | 2011-12-17 | 2013-04-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种短波红外图像增强方法和基于fpga的装置 |
-
2004
- 2004-09-10 JP JP2004264005A patent/JP4126298B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007166475A (ja) * | 2005-12-16 | 2007-06-28 | Fuji Xerox Co Ltd | 画像処理装置 |
JP4591337B2 (ja) * | 2005-12-16 | 2010-12-01 | 富士ゼロックス株式会社 | 画像処理装置 |
CN103065281A (zh) * | 2011-12-17 | 2013-04-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种短波红外图像增强方法和基于fpga的装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4126298B2 (ja) | 2008-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009211708A (ja) | 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ | |
JP4157592B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP5259785B2 (ja) | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
JP4688945B2 (ja) | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
JP4410304B2 (ja) | 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
JP4437150B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
KR101314390B1 (ko) | 시각 처리 장치, 시각 처리 방법, 프로그램, 기록 매체, 표시 장치 및 집적 회로 | |
JP4440245B2 (ja) | 視覚処理装置、表示装置および集積回路 | |
JP4641784B2 (ja) | 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム | |
JP2008159069A5 (ja) | ||
JP4126297B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末 | |
JP4414307B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4094652B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP4414464B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4126298B2 (ja) | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 | |
JP4437149B2 (ja) | 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路 | |
JP2005322205A5 (ja) | ||
CN101453544B (zh) | 灰度变换处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070830 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20071030 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20071106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4126298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |