JP2012075071A - 信号処理装置、画像処理装置、並びに撮影装置 - Google Patents
信号処理装置、画像処理装置、並びに撮影装置 Download PDFInfo
- Publication number
- JP2012075071A JP2012075071A JP2010234577A JP2010234577A JP2012075071A JP 2012075071 A JP2012075071 A JP 2012075071A JP 2010234577 A JP2010234577 A JP 2010234577A JP 2010234577 A JP2010234577 A JP 2010234577A JP 2012075071 A JP2012075071 A JP 2012075071A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- value
- digital
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 131
- 238000013139 quantization Methods 0.000 claims abstract description 115
- 238000006243 chemical reaction Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims 5
- 241001270131 Agaricus moelleri Species 0.000 abstract 3
- 230000006870 function Effects 0.000 description 55
- 238000010586 diagram Methods 0.000 description 42
- 238000007906 compression Methods 0.000 description 27
- 230000006835 compression Effects 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000012937 correction Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100283966 Pectobacterium carotovorum subsp. carotovorum outN gene Proteins 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】不自然な階調を発生させずにRAW画像を圧縮する。
【解決手段】光子数xを電圧に変換し、ディジタル値aに変換する。次いで、ディジタル信号aを、イメージ・センサーで発生した電子数xに一旦変換する。そして、あらかじめ求めたノイズ除去前量子化ステップ関数r(x)を用いた信号変換式を用いて、電子数xを非線形値y=f(x)に変換する。ノイズ除去前量子化ステップ関数r(x)は、量子化前の信号の期待値と量子化後の信号の期待値との差が小さくなるように決定されるので、上記の信号変換処理によって、不自然な階調を発生させずにRAW画像信号を少ない階調数に圧縮できる。
【選択図】 図7
【解決手段】光子数xを電圧に変換し、ディジタル値aに変換する。次いで、ディジタル信号aを、イメージ・センサーで発生した電子数xに一旦変換する。そして、あらかじめ求めたノイズ除去前量子化ステップ関数r(x)を用いた信号変換式を用いて、電子数xを非線形値y=f(x)に変換する。ノイズ除去前量子化ステップ関数r(x)は、量子化前の信号の期待値と量子化後の信号の期待値との差が小さくなるように決定されるので、上記の信号変換処理によって、不自然な階調を発生させずにRAW画像信号を少ない階調数に圧縮できる。
【選択図】 図7
Description
本発明は、例えばCCDやCMOSなどのイメージ・センサーで撮影された画像信号を処理する信号処理装置、画像処理装置、並びに撮影装置に係り、特に、デモザイクなどの処理を行なっていないRAW画像の信号処理を行なう信号処理装置、画像処理装置、並びに撮影装置に関する。
最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、CCD(Charge Coupled Device)やCMOS(ComplementaryMetal−Oxide Semiconductor)などのイメージ・センサーで捕捉した画像をディジタル符号化するディジタルカメラが広範に普及している。ディジタルカメラによれば、ディジタル符号化された画像をメモリーに記憶し、コンピューターによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
CCD、CMOSいずれのイメージ・センサーも、2次元に配列された各画素(フォトダイオード)が光電効果を利用して光を電荷に変換する仕組みにより構成される。多くのディジタルカメラでは、単板式カラーが採用されており、画素毎にR(赤)、緑(G)、青(B)のうち単一の色情報しか持たない。このため、撮影時に各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補間してフルカラー画像を作り出す「デモザイク」(de−mosaic)処理を行なっている。そして、完成した画像をJPEG(Joint Photographic Expert Group)やTIFF(Tag Image File Format)などの汎用画像フォーマットに圧縮して保存する。
しかしながら、デモザイク処理の精度は完成画像の画質に大きな影響を及ぼす他、デモザイク後はホワイトバランス(色温度)などが固定されてしまうため容易に修正ができない。また、JPEGなどの画像記録用フォーマットは画像処理済みのデータを入力して処理することが前提となっているため、RAW画像信号の記録用に用いることはできなかった。このような事情から、高機能カメラを中心に、デモザイク前のRAW画像信号(すなわち、イメージ・センサーの出力信号)をそのままファイルとして保存する機能が要求されている。RAW画像信号は一般的に無圧縮又は可逆圧縮であるため、JPEGと比較すると非常に大きなファイル・サイズになるが、JPEGと同じファイル・サイズに抑えることができれば(図15を参照のこと)、カメラ商品の機能が向上し、市場での競争力が向上する。RAW画像とJPEG画像の比較を以下の表にまとめておく。
JPEGなどの画像圧縮手法は、DCTを用いて画像信号の振幅を周波数空間に変換し、視覚の性質に基づいた情報量の削減を実現している。一方、RAW画像信号の圧縮手法については、データの雑音に着目した手法が過去に報告されている。
例えば、雑音の平均振幅(以下、「ノイズ・レベル」と呼ぶ)以下の振幅を有する交流成分を切り捨てて量子化を行なう信号変換装置について提案がなされている(例えば、特許文献1を参照のこと)。イメージ・センサーからの出力信号xは、明るさに相当する電子数(すなわち離散値)であり、電子数に応じてポアソン・ノイズが発生する。具体的には、明るくなるにつれノイズが増大するので、ノイズ・レベルも増大する。上記信号変換装置は、画像信号xに対して、下式(1)で定められる出力信号yを得ることができる。
上式(1)において、ξは入力信号xの値に相当する積分変数であり、n(ξ)は積分変数ξの関数として表された入力信号に重畳するノイズの標準偏差(平均振幅)、bは明るさが0のときの信号電圧(定数)、cは所定の定数値である。そして、上式(1)によれば、信号変換装置で発生するノイズがyに含まれるノイズ全体に対して無視し得る場合、yのノイズ・レベルnyは、下式(2)に示すようにyに依らない定数となる。したがって、信号yを後段で量子化処理すると、LSB(Least Significant Bit)を下式(2)のcに相当するように量子化して、ディジタル信号Yを得る。このとき、出力信号yの伝送路に必要な容量は、入力信号xの伝送路に必要な容量より小さくて済む。
RAW画像信号の圧縮率を上げるには、上式(1)において、定数cを小さくすればよい。つまり、この定数cを小さくすることによって、データ量を下げることができる。しかし、これは画質とのトレードオフとなる。さらに、定数cの減少に伴って、信号変換後の画像には不自然な階調が目立つようになる。特許文献1には、この現象については何ら記載されておらず、不自然な階調の出現を予測することができないため、経験に基づいた調整に頼らざるを得ない。
図16A〜図16Dには、ある画像サンプルを、定数cを変えながら上式(1)に従って信号変換した結果を示している。定数cが小さくなるにつれ、不自然な階調が現れる様子を観察することができる。また、図17には、同画像サンプルを輝度方向に整数化し、その後さらに平滑化したときの、位置の変化に従って明から暗に変化する輝度分布を示している。但し、横軸が位置、縦軸が輝度である。図17から、上式(1)において定数cが過小であると、不自然な階調(solarization)の原因になることが分かる。
本発明の目的は、例えばCCDやCMOSなどのイメージ・センサーで撮影されたRAW画像信号を好適に処理することができる、優れた信号処理装置、画像処理装置、並びに撮影装置を提供することにある。
本発明のさらなる目的は、RAW画像の信号変換処理を行なって、画像圧縮処理の効率を上げることができる、優れた信号処理装置、画像処理装置、並びに撮影装置を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の発明は、イメージ・センサーからの入力信号xを、後述する式(3)に示す関数関係で出力信号yに変換する信号処理装置である。
請求項1に記載の信号処理装置への入力信号xは、請求項2に記載の通り、明るさに応じた電子数に相当する信号電圧であり、bは明るさ0のときの信号電圧であり、入力信号xに重畳するノイズの標準偏差は入力信号xの値に対して依存性がある。
また、請求項1に記載の信号処理装置からの出力信号yは、請求項3に記載の通り、LSBが1に相当するように量子化したディジタル信号である。また、関数r(x)は、量子化する前の信号の期待値と量子化した後の信号の期待値との差が小さくなるように、後述する式(3)を決定するノイズ除去前量子化ステップ関数である。
具体的には、ノイズ除去前量子化ステップ関数r(x)は、請求項4に記載の通り、後述する式(6)のように表され、同式(6)を後述する式(7)で示される制約条件の下で求めることができる。なお、現像処理によってノイズが除去された後の画像データの階調の増分に対する入力信号xの増分を定める入力信号xのノイズ除去後量子化ステップ関数R(x)は、請求項5に記載の通り、後の画像処理において利用するトーンカーブY(x)に基づいて求めることができる。あるいは、関数R(x)は、請求項6に記載の通り、後述する式(11)に基づいて求めることができる(但し、kは画像に不自然な階調が発生しない定数であ)。
また、請求項7に記載の発明によれば、請求項1に記載の信号処理装置において、後述する式(3)中の関数r(x)は、後述する式(12)のように置き換えることができる。但し、r’(x)は上式(2)中のr(x)であり、q(x)は所定の関数である。
また、請求項8に記載の発明によれば、請求項6に記載の信号処理装置において、関数q(x)は後述する式(15)で表わされる。但し、n(x)は信号の大きさに応じたノイズの大きさを表す関数、cは所定の定数である。
また、請求項9に記載の発明によれば、請求項4に記載の信号処理装置は、後述する式(6)のr(x)の定義域を複数の区間に区分けし、各区間を定数で近似するように構成されている。
また、請求項10に記載の発明によれば、請求項9に記載の信号処理装置は、後述する式(6)のr(x)を、後述する式(7)で表わされる式で置き換えている(但し、定数r0及びr1は、それぞれ後述する式(17)、(18)に示すように、その区間の最小値を探すことで得られる値である)。
また、請求項11に記載の発明によれば、請求項9に記載の信号処理装置は、上記各区間の定数で表わされた量子化ステップを線形AD変換器で実現し、これらの複数の線形AD変換器を同時並列で動作させるように構成されている。
また、請求項12に記載の発明によれば、請求項9に記載の信号処理装置は、上記各区間の定数で表わされた量子化ステップを線形AD変換器で実現し、1つの線形AD変換器を時分割で動作させて複数回のAD変換を行なうように構成されている。
また、請求項13に記載の発明によれば、請求項9に記載の信号処理装置は、少なくとも2レベルの調整用信号を用いて量子化ステップの変動を補正するように構成されている。
また、請求項14に記載の発明によれば、請求項9に記載の信号処理装置は、少なくとも1つの調整用信号を用いて量子化オフセットの変動を補正するように構成されている。
また、請求項15に記載の発明によれば、請求項13又は14のいずれかに記載の信号処理装置は、ある平均レベルを持ったノイズ源又は一定レベルの信号源を前記調整用信号に用いるように構成されている。
また、請求項16に記載の発明によれば、請求項13又は14のいずれかに記載の信号処理装置は、オプティカルブラック領域の出力を前記調整用信号に用いる。
また、本願の請求項17に記載の発明は、
イメージ・センサーから出力される光子数xに相当する信号電圧からなる電圧信号v=V(x)をディジタル変換したディジタル電圧信号a=A(v)を、前記イメージ・センサーで発生した電子数x=V-1(A-1(a))に変換してから、後述する式(3)に示す関数関係で非線形変換y=f(x)するとともに、電子数x=f-1(y)に非線形逆変換する信号処理部と、
非線形逆変換された電子数xからなるRAW画像信号に対し、所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
を具備することを特徴とする画像処理装置である。
イメージ・センサーから出力される光子数xに相当する信号電圧からなる電圧信号v=V(x)をディジタル変換したディジタル電圧信号a=A(v)を、前記イメージ・センサーで発生した電子数x=V-1(A-1(a))に変換してから、後述する式(3)に示す関数関係で非線形変換y=f(x)するとともに、電子数x=f-1(y)に非線形逆変換する信号処理部と、
非線形逆変換された電子数xからなるRAW画像信号に対し、所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
を具備することを特徴とする画像処理装置である。
また、本願の請求項18に記載の発明は、
入射光の光子数xを電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するAD変換器と、
ディジタル電圧信号に相当する電子数xを、後述する式(3)に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得る非線形逆変換部と、
RAW画像信号に対し所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
入射光の光子数xを電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するAD変換器と、
ディジタル電圧信号に相当する電子数xを、後述する式(3)に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得る非線形逆変換部と、
RAW画像信号に対し所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
また、本願の請求項19に記載の発明は、
入射光の光子数xを電圧信号に変換するセンサー部と、
電圧信号に相当する電子数xを、後述する式(3)に示す関数関係で非線形変換するとともにディジタル値に変換する非線形AD変換器と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得る非線形逆変換部と、
RAW画像信号に対し所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
入射光の光子数xを電圧信号に変換するセンサー部と、
電圧信号に相当する電子数xを、後述する式(3)に示す関数関係で非線形変換するとともにディジタル値に変換する非線形AD変換器と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得る非線形逆変換部と、
RAW画像信号に対し所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
また、本願の請求項20に記載の発明は、
入射光の光子数を電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するAD変換器と、
ディジタル電圧信号に相当する電子数xを、後述する式(3)に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得るとともに、所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
入射光の光子数を電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するAD変換器と、
ディジタル電圧信号に相当する電子数xを、後述する式(3)に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得るとともに、所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
本発明によれば、RAW画像の信号変換処理を行なって、データ量の圧縮や伝送路の小容量化を実現し、画像圧縮処理の効率を上げることができる、優れた信号処理装置、画像処理装置、並びに撮影装置を提供することができる。
また、本発明によれば、現像後に得られる画像データの明るさの階調に基づいて信号変換処理を行なうことができるので、不自然な階調を発生させずに画像を圧縮することが可能である。また、経験に基づいた調整に頼らないで好適な信号変換処理を行なうことができる。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
本発明は、例えばイメージ・センサーの出力信号を非線形量子化処理する信号処理装置並びに信号処理方法に関するものであり、データ量の圧縮や伝送路の小容量化を実現することを1つの目的とする。
本発明では、イメージ・センサーの出力信号を非線形量子化するための信号変換式として、下式(3)を提案する。
上式(3)では、関数r(ξ)は、あらかじめ求めた「出力信号yの増分に対する入力信号xの増分を定める入力信号xのノイズ除去前量子化ステップ関数」であり、上式(1)のノイズ平均振幅n(ξ)に置き換わるものである。また、上式(1)で使用した定数cを、上式(3)では排除した。また、実際にメモリーに記録される画素データは、上式(4)に従って四捨五入した値である。つまり、上式(4)によってLSBが1に相当するように量子化する。そして、メモリーから読み出した画素データは、上式(5)に従って元のRAW画像信号となる。なお、qは四捨五入を行なうときの切り上げと切り下げの閾値を定める定数である。また、上式(5)の値0.5の項の代わりに平均0.5となる適切なジッターを含む確率変数を用いてもよい。
上式(5)を適切に用いてイメージ・センサーの出力信号を非線形量子化することによって、不自然な階調を発生させずに画像データの圧縮や伝送路の小容量化を実現できる。この実現のためには、出力信号yの増分に対する入力信号xの増分を定める入力信号xのノイズ除去前量子化ステップ関数r(x)を適切に求める必要がある。
出力信号yの増分に対する入力信号xの増分を定める入力信号xのノイズ除去前量子化ステップ関数r(x)は、アナログ量をディジタル量に変換するときのノイズ除去前量子化ステップ関数である。図1を参照しながら、ノイズ除去前量子化ステップ関数r(x)について説明する。
ノイズ除去前量子化ステップ関数r(x)は、信号の真値xに対応したノイズ除去前量子化ステップを決定する。ある入力信号の真値xにおいて、ノイズ除去前量子化ステップ関数r(x)並びにノイズを含む信号の確率分布x+N(x)が図示の通りとする。ノイズを含む信号のサンプルの値が当該階調の中央a+0.5未満且つ1以上のときにはaに、a+0.5以上且つa+1未満のときにはa+1に、それぞれ量子化する。ノイズ除去前量子化ステップ関数r(x)はこのような量子化を行なう際に、量子化前のサンプルの平均値(量子化前の信号の期待値)と量子化後のサンプルの平均値(量子化後の信号の期待値)の差が小さくなるように、ノイズ除去前量子化ステップ関数r(x)すなわちa〜a+1の幅をx軸上で決定する。このことは、信号の真値xに対応したノイズ除去前量子化ステップ関数r(x)を(式(6)を参照)、下式(7)で表される制約条件の下で求めることに相当する。
上式(6)、(7)において、R(x)はノイズを含む信号のノイズを除去した信号を量子化するときに用いるノイズ除去後量子化ステップを定める関数である。また、pはイメージ・センサーの出力信号の原点とAD変換器の原点とのずれなどを吸収するために用いる外乱値であり、上式(7)においてp∈[0,1)で探索すれば十分である。
また、ノイズの確率変数N(x)は、下式(8)に示す性質を満たすものとする。但し、E(・)は期待値を表す汎関数とする。要するに、ノイズN(x)の平均を0とする。
上式(7)の計算内容を説明するため、左辺の絶対値記号の内側にある式、すなわち下式(9)で考えてみる。図2A〜図2Eには、x=一定値、且つp=一定値でr(x)を変化させながら下式(9)の計算過程と結果を表わしている。図2Aは量子化前の信号x+N(x)のサンプル値の分布である。グラフの横軸の原点は、量子化前の分布の中心としている。正規分布の曲線形状は信号に含まれているノイズN(x)の分布を表わしており、中央の縦実線は平均値を表わしており、その左右の縦点線は標準偏差の大きさを表している。この時の平均値は真値xと同値である。図2B〜図2Eはそれぞれノイズ除去前量子化ステップr(x)が異なる。矩形の横幅はノイズ除去前量子化ステップr(x)の大きさを表わしており、矩形の縦幅はサンプルの頻度に比例している。また、中央付近の縦実線はサンプルの平均値を表わしており、その左右の縦点線は標準偏差の大きさ表している。これらの図から分かるように、ノイズ除去前量子化ステップ関数r(x)の値が大きくなるほど平均値が真値からズレていっていることが分かる。このズレが下式(9)で計算される値となる。つまり、上式(7)のR(x)は、このズレの大きさの限度を表す関数と考えてよい。
さらに、図2F〜図2Jには、x=一定値、且つr(x)=一定値で、外乱値pを変化させながら上式(9)の計算過程と結果を表わしている。図2Fは量子化前の信号のサンプル値の分布であり、図2Aと同じものである。図2G〜図2Jは外乱値pが異なる。これらの図から分かるように、外乱値pの変化によって平均値が真値からズレていることが分かる。この外乱値pはイメージ・センサーの出力信号の原点とAD変換器の原点とのズレなどによって生じるため、上式(6)でこの外乱値pによる最悪のケースを考慮してノイズ除去前量子化ステップ関数r(x)の値を求めている。
現像処理によってノイズが除去された画像データの階調の増分に対する入力信号xの増分を定める入力信号xのノイズ除去後量子化ステップ関数R(x)は、後段の各種画像処理により結果的にもたらされる階調変換特性から推定することができる。以後、この階調変換特性をトーンカーブという。説明を簡単にするため、後段のデモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の一連の画像信号処理を単一の処理とみなし、その単一の処理の入出力の関係を、トーンカーブY(x)と等価であると仮定する。このとき、階調変換は図3に示すようないずれかのトーンカーブY(x)を用いて値を変換すれば目的の画像で表示する明るさが得られる。つまり、図3の横軸の信号値に対応する画像の明るさをいずれかのトーンカーブY(x)を使って縦軸の明るさの値に変換すればよい。
現像処理によってノイズが除去された画像データの階調の増分に対する入力信号xの増分を定める入力信号xのノイズ除去後量子化ステップ関数R(x)とは、図3に示すそれぞれのトーンカーブY(x)において、縦軸の画像の明るさの増分に対する横軸の入力信号の増分に対応する。つまり、ノイズ除去後量子化ステップ関数R(x)は、以下の計算式(10)となる。図4には、このノイズ除去後量子化ステップ関数R(x)を図3のトーンカーブY(x)に対応して描いたものを示している。
上式(7)の計算で実際に用いるR(x)は、図4のように得られたカーブの中から1つを選んでR(x)としてよい。さらに、複数の非線形カーブの信号値x毎の最小値を計算してR(x)としても良い。この最小値を用いたR(x)は、図4においては、点線で表された下式(11)のような直線となる。ユーザはこの直線の傾きkを調整することによって、簡単にノイズ除去後量子化ステップ関数R(x)を調整することができる。kの値は大きければ圧縮効率は上がるが、大き過ぎると不自然な階調が発生する。適切なkを求めるためには、不自然な階調が発生しないような大きな値を探せばよい。
R(x)が求まると、上式(6)で表されるr(x)を、上式(7)に示した制約条件下で、p∈[0,1)で探索すれば十分である。
図5には、上式(7)に示した制約条件下でノイズ除去前量子化ステップ関数r(x)を計算し、その結果を用いて上式(3)の関数をグラフ化して示している。同図では、比較のため、上式(1)を用いた従来例A〜Cも示している。同図から分かるように、本手法による計算結果は従来例とは異なり、また、上式(1)では決して得られないものである。また、暗から明になめらかに変化するグラデーション画像を用いて、図5の本手法に対応する処理結果を図6Aに示し、比較のために、図5の従来Cに対応する処理結果を図6Bに示している。どちらも最大145階調に量子化されているが画質は異なり、図6Aの本手法では不自然な階調は見られないが、図6Bの従来の手法では不自然な階調が顕著に現れている。
なお、本手法は別の手法で求めたノイズ除去前量子化ステップ関数q(x)と組み合わせて使用することもできる。例えば、図18のように、本手法で求めたノイズ除去前量子化ステップ関数r(x)をr’(x)と書き換えて、他の手法で求めたノイズ除去前量子化ステップ関数q(x)と値の大小を比較し、小さい方選択して、上式(6)に相当するr(x)を下式(12)のように求める。
また、図19に示すように、上式(12)が仮にすべての通常とり得る範囲のすべてのxに対して下式(13)に示す条件を満たすならば、上式(12)を単純に下式(14)のようにしてもよい。
このノイズ除去前量子化ステップ関数q(x)を、前述の式(1)の考え方(従来技術)を参考にして、関数n(x)と定数cを下式(15)のように用いることで、従来の手法と本発明にい係る手法の特徴をうまく組み合わせることもできる。
ちなみに、従来の手法と本発明に係る手法とそれぞれで得られる計算結果は、例えばすでに説明した図5のように本来の性質は異なるものである。この上式(15)を用いることで、従来の式(1)において定数cを変化させることによってざらつき感のあるノイズ量をコントロールさせながら、本発明に係る手法でソラリゼーションのようなノイズの発生を抑えることができ、画質をコントロールする自由度が向上する。
また、本発明に係る手法をイメージデバイスに実装するための工夫として、関数r(x)を近似関数に変換して利用してもよい。従来から用いられているAD変換器などの線形量子化器は信号値と出力値の関係は線形で、量子化ステップは一定値となる。一方、本発明に係る手法はxの値によって量子化ステップは変化するため、実装における技術的な隔たりは大きい。そこで、次のように線形AD変換器などの線形量子化器を複数組み合わせた構成に準じてr(x)の定義域を複数の区間に区分けし、各区間を定数で近似する。これによって、画質を維持したまま線形AD変換器のような容易な実装手段を用いて本発明に係る手法を実現することができる。
例えば、図20に示すように、r(x)の定義域が[x0、x1]であるとき、[x0、xt]で定義される線分と[xt、x1]で定義される2つの定数で近似することができる。下式(16)はその近似式を表したものである。
これらの定数r0及びr1は、それぞれ下式(17)、(18)のように、その区間の最小値を探すことで得られる。
これらの定数r0及びr1は、信号値xを量子化するときの量子化ステップとなる。量子レベル数は、下式(19)、(20)のようにそれぞれL0、L1となる。
実際の信号値と変換後の値の関係は、式(3)で計算される関数で得られる。例えば図20に示したr(x)を用いた場合は、式(1)で実現される変換関数をグラフにすると図21のようになる。なお、上記の説明では区間数を2で説明したが、3以上の区間で行なうことも当然可能である。
xtの値は、実装に応じて最適化する。例えば、上記各区間の定数で表わされた量子化ステップを線形AD変換器で実現し、これらの複数の線形AD変換器を同時並列で動作させるように実現する場合は、図22に示すように、すべてのAD変換器の変換動作を同時に開始してすべてのAD変換器が変換動作を終了するまでにかかる時間が、最適化の1つの基準となる。つまり、下式(21)のような最適化式でxtを求める。
また、例えば、上記各区間の定数で表わされた量子化ステップを線形AD変換器で実現し、1つの線形AD変換器を時分割で動作させて複数回のAD変換を行なって実現する場合は、図23に示すように、2回連続の変換動作が終了するまでにかかる時間が、最適化の1つの基準となる。つまり下式(22)のような最適化式でxtを求める。
なお、上記の最適化計算において、デバイスの物理的な制約が動作時間に影響する場合は、それらの影響を考慮して最適化するのが望ましい。例えば、AD変換を連続して行なうとき、電気回路の信号が安定するまで待機する時間などが必要となる。このようなオーバーヘッドとなる時間を考慮して最適化を行なうのが好ましい。
図32には、AD変換器320を含むイメージデバイスの一般的な構成例を示している。
画素アレイ326は、光を受光し光電変換して電圧を出力する素子を格子状に並べて構成される。また、行選択回路327は、この画素アレイ326の画素を行毎に選択する。選択された画素から電圧が出力される。
AD変換器320は、スロープ生成回路321と、並列比較器322と、カウンター323A及び323Bと、タイミング生成回路324と、列選択回路325から構成される。
タイミング生成回路324は、時間の経過に合わせてAD変換器320の構成回路を制御し順次動作させる。スロープ生成回路321は、上式(16)などで求められた量子化ステップに従って、参照電圧を時間に応じて変化させながら出力する。 並列比較器322は、画素の出力電圧とスロープ生成回路321が出力する参照電圧を比較し、それらの大小関係をカウンター323A及び323Bに出力する。カウンター323A及び323Bは、主に時間経過に応じてディジタル値を増減し、並列比較器322の出力に応じてカウンター323A及び323Bの値を記憶する働きを持つ。
本実施形態におけるAD変換は、図32に示したようなイメージデバイスを用いて、特にスロープ生成回路321を、上式(16)で求められた量子化ステップr(x)に対応した参照電圧を生成させる実現する。以下の説明では、スロープ生成回路が生成する参照電圧の波形を中心に説明するが、タイミング生成回路324やカウンター323A及び323Bなどのその他の部分が、このような参照電圧を生成するべく動作することが自明であることは言うまでもない。
式(16)で求められた量子化ステップr(x)は、実際のAD変換器を用いて図24のように実現される。イメージデバイスの種類によって、AD変換器は外付けであったり内蔵されていたりする。特に内蔵するタイプでは、画素アレイの行単位に1ライン分の画素の信号値を一括して並列にAD変換を行なう。図24は、そのような1ラインの画素を一括して変換するAD変換器のコンパレータに供給する参照電圧を表している。この参照電圧は時刻に従って変化し、信号値とこの参照電圧の大小関係が反転した時刻をコンパレータで検出することによって、信号の大小をディジタル値に変換する。式(16)中の定数r0、r1はAD変換する時の量子化ステップに対応し、すなわち参照電圧の傾きに対応する。図24は、2種類の傾きの参照電圧で時分割に2回AD変換する時の参照電圧の様子を表している。信号レベルの小さい部分では傾きが小さい参照電圧で測定できるため、量子化ステップが細かくなり小さな信号でも細かく測定できる。信号レベルの大きい部分は傾きが大きい参照電圧でできるため、大きなダイナミックレンジで測定することができる。
イメージデバイスでは、通常画素の信号値を得るためには、信号レベルとリセットレベルの差分を求めることによって、リセットレベルのノイズを含まない信号値を得る。この処理をCDS(Correalated Double Sampling:相関2重サンプリング)と呼ぶ。このCDSは、アナログ回路で行なうものとディジタル回路で行なうものがある。図24は、アナログ回路で既にCDSが行なわれた信号を入力するAD変換器を前提に描いたものである。一方、図25は、ディジタル回路でCDSを行なう場合の参照電圧の例を示している。リセットレベルを測定するために2種類の量子化ステップでAD変換し、その後信号レベルを測定するために2種類の量子化ステップでAD変換している。
なお、アナログCDSとディジタルCDSを混在させてもよい。図31には、ディジタルCDSとアナログCDSを混在させて、異なる量子化ステップでAD変換する例を示している。同図において、信号レベルの小さい部分では計測感度のよいディジタルCDSと傾きの小さい参照電圧を用いて、信号レベルの大きい方ではアナログCDSと傾きの大きい参照電圧を用いてもよい。ここで、アナログCDSとは、サンプルホールド回路を用いて、画素のリセットレベルの電圧と信号レベルの電圧との差をアナログ的に引き算して、リセットレベルの変動を打ち消してノイズを低減する手法である。但し、本発明の要旨はこのようなサンプルホールド回路を用いたものに限定されるものではなく、リセットレベルのノイズを低減させる任意の手法を用いてもよい。また、リセットノイズの画質にほとんど影響しないと考えられる場合は、リセットレベルのノイズを除去しなくても構わない。
また、AD変換器の量子化ステップの切り替えを画素毎に行なうのではなく、水平走査単位やフレーム単位など画素毎よりも周期の長い単位で切り換えてAD変換を行なうことで、画素単位毎に複数のAD変換を擬似的に行なうことができる。
例えば、従来のイメージデバイスには特に動画を出力するときに用いる画素加算モードや画素間引きモードがある。これらのモードでは、複数の隣接した水平ラインの画素を1ラインとみなしてデータを出力するが、本発明に係る手法と組み合わせることにより、例えば図26のように偶数ラインと奇数ラインとを異なる量子化ステップでAD変換して、画質の良い方を選んで出力する様なモードを新たに実現することができる。図26はアナログCDSの場合の例であり、図27はディジタルCDSの場合の例である。
さらには、ライン毎や画素アレイの1画素以上の領域毎に、動的に異なる量子化ステップを選択して用いてもよい。この選択は、当該画素やラインの時間や空間方向で隣接する画素値等を参考にして行なう。
複数のAD変換器を組み合わせて疑似的に単一のAD変換器の出力と同様の出力を実現するとき、各AD変換器の量子化ステップや量子化オフセットのばらつきなどによる変換特性のずれを補正する補正処理の方法が問題となる。また、ディジタルCDSの場合でも、リセットレベルは一度しか測定できないこともある。このような場合でも、同様の処理が必要になる。
もし、量子化ステップの変動が無視できない場合は、量子化ステップの変動を補正する必要がある。そのためには、例えば図28に示すように、少なくとも2レベルの調整用信号を用意し、1つのAD変換器でそれぞれの通過時刻を計測するようにしてもよい。図示のように、時間に対する電圧差を計算することで、そのAD変換器の実際の量子化ステップを推定できる。これによって、デバイスのばらつきで生じる画質の劣化を防ぐ。
一方、量子化オフセットを補正するためには、例えば図29に示すように、少なくとも1つの調整用信号を用意し、再現性のある参照電圧の制御ができることを前提にして、ある基準時刻T0と2つの異なる量子化ステップのAD変換器でそれぞれの通過時刻T1、T2を計測する。そして、以下に示す連立方程式(23)を解くと、それぞれの量子化オフセットが求められる。これによって、デバイスのばらつきで生じる画質の劣化を防ぐ。
但し、a0、a1は各AD変換器の量子化ステップ、v0は調整用信号、b0、b1は量子化オフセットとなる。これを解くことにより、b1−b0の値が求められるため、一方のAD変換器の変換値を他方のAD変換器の変換値に変換できるようになる。なお、a0、a1が同値であると仮定できる場合でも、同様の方法でb1−b0を求めることは、上記の連立方程式(23)を解けば当然可能である。つまり、列毎に存在する固定値のノイズなどもこの方法で除去することができる。
調整用信号は、ある平均レベルを持ったノイズ源や一定レベルの信号源を用いる。オプティカルブラック領域の出力を調整用信号に用いてもよい。なお、調整用信号にノイズが含まれる場合は、1度の計測ではノイズの影響が無視できなくなるため、複数回の計測結果の平均をとればよい。また、調整用信号を増やして、最小2乗法の考え方を用いて、計測値の平均をとることによってノイズの影響を軽減してもよい。
この補正処理は、例えば図30に示すように、1AD変換周期毎に行なう。この1AD変換周期の中では、ディジタルCDSのためにリセットレベルと信号レベルの測定が行なわれ、続いて補正処理のための調整信号レベルの計測が行なわれる。調整信号レベルは調整用基準信号を用いて計測が行なわれる。調整信号レベルの計測は、イメージデバイスの物理的な特性に応じて、頻度を減らしても構わない。例えば、数回のAD変換に1度であっても構わないし、1フレームに対して数回であっても構わない。温度や経年に対しても補正処理が不必要であれば、この調整信号レベルの計測や補正処理を工場出荷時に1度だけ行なうようにしてもよいし、全く調整が必要なければ取り去っても構わない。
調整用基準信号を測定するときの問題を述べる。2つのAD変換器の量子化ステップが大きく異なる場合は、大きい量子化ステップでAD変換するとかなり粗い量子化が行なわれる。この粗い量子化でイメージデバイスの黒レベルを測定すると、量子化ステップに対してノイズの大きさが小さ過ぎるためにこの黒レベルの測定結果に誤差が生じ易い。この問題を解決するため、調整用基準信号は一定値ではなく、適切な確率分布のノイズを含んだ基準電圧が必要となる。調整用基準信号はノイズを含むため十分な回数で計測し、計測値を平均化するなどしてノイズを除き、その平均値を用いて補正処理を行なえばよい。
図7には、イメージ・センサーに光源を取り込んでから画像データを獲るまでの信号処理の流れを模式的に示している。
まず、光源からは、光子数x’の光が照射されたとする。イメージ・センサーは、光子数x’の光子を光電変換で電子に変換し、さらに電圧vに変換する(下式(24)を参照)。そして、AD変換器(ADC)は、アナログの電圧値vをディジタル値aに変換する(下式(25)を参照)。
次いで、ディジタル信号aを非線形量子化するために、まず、ディジタル信号aを、下式(26)に従って、イメージ・センサーで発生したと推定される電子数xに一旦変換する。
そして、あらかじめ求めたノイズ除去前量子化ステップ関数r(x)を用いた上記の信号変換式(3)を用いて、電子数xを非線形値y=f(x)に変換する(下式(27)を参照)。
ノイズ除去前量子化ステップ関数r(x)は、量子化前の信号の期待値と量子化後の信号の期待値との差が小さくなるように決定されている。したがって、上記の信号変換処理によって、不自然な階調を発生させずにRAW画像信号を少ない階調に圧縮することができる。
その後、非線形逆変換を行なって、非線形値yから電子数xを得ると(下式(28)を参照のこと)、所定のトーンカーブY(x)を用いて、電子数xに相当するsRGB信号Y(x)を得ることができる(下式(29)を参照のこと)。なお、sRGBは、異なる環境間で色の再現性を確保するために定められた色空間で、CRT(Cathod Ray Tube)ディスプレイの色表現をベースに策定されたIEC(International Electrotechnical Commission:国際電気標準会議)規格である。
図8には、上述した信号変換方法を適用したディジタルカメラの機能的構成例を模式的に示している。図示のディジタルカメラは、RAW画像の記録の前後で上式(3)〜(5)に従って信号変換を行なうタイプであり、センサー部81と、AD変換器(ADC)82と、非線形変換部83と、記録部84と、非線形逆変換部85と、画像処理部86と、表示部87で構成される。
センサー部81は、例えばCCDやCMOSなどのイメージ・センサーからなり、露光時の入射光の光子数を電圧信号に変換する。そして、AD変換器82は、この電圧信号をディジタル値に変換する。
非線形変換部83は、ディジタル電圧信号を一旦電子数に変換し、上記の信号変換式(5)を用いて非線形変換する。この結果、不自然な階調を発生させずに RAW画像信号を少ない階調数に圧縮することができる。そして、圧縮されたRAW画像信号は、記録部84に記録される。なお、圧縮されたRAW画像信号に対し、さらに別の任意の圧縮手法による可逆圧縮や不自然な階調が発生する副作用が少ない任意の圧縮手法の不可逆圧縮を施してから記録部84に記録するようにしてもよい。
その後、記録画像を表示出力する際には、記録部84から圧縮されたRAW画像信号を読み出すと、非線形逆変換部85では、上式(5)に従って逆変換して電子数に相当するRAW画像信号を得る。但し、圧縮されたRAW画像信号に可逆圧縮などの別の圧縮手法が施されている場合には、記録部84から読み出した信号を復元してから非線形逆変換部85で処理する。画像処理部86は、このRAW画像信号に対し、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像処理を施し、表示部87の画面に表示出力される。
図9には、上述した信号変換方法を適用したディジタルカメラの他の機能的構成例を模式的に示している。図示のディジタルカメラは、上式(3)に従った信号変換処理を非線形AD変換器内の参照電圧回路に実装したタイプであり、センサー部91と、非線形AD変換器(ADC)92と、記録部93と、非線形逆変換部94と、画像処理部95と、表示部96で構成される。
センサー部91は、例えばCCDやCMOSなどのイメージ・センサーからなり、露光時の入射光の光子数を電圧信号に変換する。そして、非線形AD変換器92は、この電圧信号を上記の信号変換式(3)を用いて非線形変換するとともに圧縮されたRAW画像信号に変換する。この結果、不自然な階調を発生させずにRAW画像信号を少ない階調数に圧縮することができる。そして、圧縮されたRAW画像信号は、記録部93に記録される。なお、圧縮されたRAW画像信号に対し、さらに別の任意の圧縮手法による可逆圧縮や不自然な階調が発生する副作用が少ない任意の圧縮手法の不可逆圧縮を施してから記録部93に記録するようにしてもよい。
その後、記録画像を表示出力する際には、記録部93から圧縮されたRAW画像信号を読み出すと、非線形逆変換部94では、上式(5)に従って逆変換して電子数に相当するRAW画像信号を得る。但し、圧縮されたRAW画像信号に可逆圧縮などの別の圧縮手法が施されている場合には、記録部93から読み出した信号を復元してから非線形逆変換部94で処理する。画像処理部95は、このRAW画像信号に対し、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像信号処理を施し、表示部96の画面に表示出力される。
図10には、非線形AD変換器92の内部構成例を示している。図示のAD変換器92は、N入出力の並列構成である。各サンプルホールド回路S/H1、S/H2、…、S/HNは、入力毎の入力電圧信号Vin1、Vin2、…、VinNを保持し、それぞれ対応する比較回路CMP1、CMP2、…、CMPNの一方の入力となる。一方、カウンターによるカウント値を非線形変換部で非線形関数により非線形変換したディジタル信号をDA変換器(DAC)により変換したアナログ比較信号は、参照電圧Vrefとして各比較回路CMP1、CMP2、…、CMPNの他方の入力となる。また、カウンターのカウント値は、各ビット位置のレジスターReg1、Reg2、…、RegNに保持される。そして、各比較回路CMP1、CMP2、…、CMPNによる大小比較結果の出力信号が各レジスターReg1、Reg2、…、RegNの出力をイネーブルすることによって、入力電圧信号が入出力毎のディジタル・データDout1、Dout2、…、DoutNにエンコードされる。
なお、非線形AD変換器は、図10に示した構成に限定されるものではなく、変換器内部のディジタルの線形特性を非線形特性に変換又は置き換えたものであればよい。また、図10に示した回路は、非線形のディジタル信号を入力するDA変換器を使用して非線形のアナログ比較信号を生成しているが、アナログ回路を用いて非線形なアナログ比較信号を生成する回路構成であってもよい。
図11には、上述した信号変換方法を適用したディジタルカメラのさらに他の機能的構成例を模式的に示している。図示のディジタルカメラは、RAW画像の記録の前で上式(5)に従って信号変換を行なうとともに、その逆変換を画像処理の中で行なうタイプであり、センサー部111と、AD変換器(ADC)112と、非線形変換部113と、記録部114と、画像処理部115と、表示部116で構成される。
センサー部111は、例えばCCDやCMOSなどのイメージ・センサーからなり、露光時の入射光の光子数を電圧信号に変換する。そして、AD変換器112は、この電圧信号をディジタル値に変換する。
非線形変換部113は、ディジタル電圧信号を一旦電子数に変換し、上記の信号変換式(3)を用いて非線形変換する。この結果、不自然な階調を発生させずにRAW画像信号を少ない階調に圧縮することができる。そして、圧縮されたRAW画像信号は、記録部114に記録される。なお、圧縮されたRAW画像信号に対し、さらに別の任意の圧縮手法による可逆圧縮や不自然な階調が発生する副作用が少ない任意の圧縮処方の不可逆圧縮を施してから記録部114に記録するようにしてもよい。
その後、記録画像を表示出力する際には、記録部114から圧縮されたRAW画像信号を読み出す。ここで、圧縮されたRAW画像信号に可逆圧縮などの別の圧縮手法が施されている場合には、記録部114から読み出した信号を可逆復元する。画像処理部115では、上式(5)に従って逆変換して電子数に相当するRAW画像信号を得て、このRAW画像信号に対し、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像信号処理を施し、表示部116の画面に表示出力される。
図12には、一般的なディジタルカメラのハードウェア構成例を模式的に示している。図示のディジタルカメラは、イメージ・センサー121と、AD変換器(ADC)122と、ディジタル信号処理部(DSP)123と、記録メディア124と、表示部125で構成される。イメージ・センサー121は、CCDやCMOSなどの撮像素子で構成される。ディジタル信号処理部123は、図8に示した機能ブロック図中の機能モジュール83〜86、図9に示した機能ブロック図中の機能モジュール93〜95、又は、図11に示した記録ブロック図中の機能モジュール113〜115に相当するディジタル処理を実現する。
ディジタル信号処理部123は、汎用的な演算回路や値を記憶するレジスター回路、画像処理を効率的に処理するための専用回路、適切な外部入出力インターフェースを有しており、さらに必要に応じたDRAMやSRAMなどのメモリー回路を内部又は外部に接続している。
なお、ディジタルカメラのハードウェア構成は、図12に示したものに限定されない。図示しないが、ディジタルカメラは、シャッターボタン等のユーザー・インターフェースや、PCと接続するUSBインターフェース、フラッシュライト、フォーカス機構や絞り機構等、一般的なディジタルカメラが備える機能を有するものとする。
図13には、図12に示したディジタルカメラにおいて実施される撮影処理の手順をフローチャートの形式で示している。
シャッターボタンの押下などのタイミングで撮影が開始される。まず露光処理を行なうと、イメージ・センサー121からは入射光の光子数に相当する電圧信号が出力される(ステップS1301)。そして、AD変換器122にてディジタル値に変換された電圧信号を読み取ると(ステップS1302)、ディジタル信号処理部123内では、ディジタル電圧信号を一旦電子数に変換し、上記の信号変換式(3)を用いて非線形変換する(ステップS1303)。この結果、不自然な階調を発生させずにRAW画像信号を少ない階調数に圧縮することができる。
その後、圧縮されたRAW画像信号を可逆圧縮などの別の圧縮処方を施してから(ステップS1304)、記録メディア124に記録して(ステップS1305)、本処理ルーチンを終了する。
図14には、図12に示したディジタルカメラにおいて実施される表示処理の手順をフローチャートの形式で示している。
ユーザー・インターフェースの操作等によって表示が開始される。まず、ディジタル信号処理部123は、記録メディア124から可逆圧縮されたRAW画像信号を読み出すと(ステップS1401)、これを復元する(ステップS1402)。
次いで、ディジタル信号処理部123は、上式(5)に従って逆変換して電子数に相当するRAW画像信号を得る(ステップS1403)。さらに、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像信号処理を施した後(ステップS1404)、表示部125の画面に表示出力される(ステップS1405)。
本実施形態によれば、ステップS1303において、現像後に得られる画像データの明るさの階調に基づいて信号変換処理を行なうことができるので、続くステップS1304では、不自然な階調を発生させずにRAW画像を圧縮することが可能である。また、ステップS1303では、経験に基づいた調整に頼らないノイズ除去前量子化ステップ関数(上式(7)、(8)を参照のこと)を用いて信号変換処理を行なうことができる。
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、CCDやCMOSなどのイメージ・センサーによる画像信号を変換する信号変換装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。信号に重畳するノイズ分布(ノイズの平均振幅)が信号値に対する依存性があるさまざまな信号を対象とする信号変換装置に対して本発明が同様に実現可能であることは言うまでもない。
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
81…センサー部
82…AD変換器(ADC)
83…非線形変換部
84…記録部
85…非線形逆変換部
86…画像処理部
87…表示部
91…センサー部
92…非線形AD変換器(ADC)
93…記録部
94…非線形逆変換部
95…画像処理部
96…表示部
111…センサー部
112…AD変換器(ADC)
113…非線形変換部
114…記録部
115…画像処理部
116…表示部
121…イメージ・センサー
122…AD変換器(ADC)
123…ディジタル信号処理部(DSP)
124…記録メディア
125…表示部
82…AD変換器(ADC)
83…非線形変換部
84…記録部
85…非線形逆変換部
86…画像処理部
87…表示部
91…センサー部
92…非線形AD変換器(ADC)
93…記録部
94…非線形逆変換部
95…画像処理部
96…表示部
111…センサー部
112…AD変換器(ADC)
113…非線形変換部
114…記録部
115…画像処理部
116…表示部
121…イメージ・センサー
122…AD変換器(ADC)
123…ディジタル信号処理部(DSP)
124…記録メディア
125…表示部
Claims (20)
- イメージ・センサーからの入力信号xを下式(1)に示す関数関係で出力信号yに変換する信号処理装置。
- 入力信号xは明るさに応じた電子数に相当する信号電圧であり、bは明るさ0のときの信号電圧であり、入力信号xに重畳するノイズの標準偏差は入力信号xの値に対して依存性がある、
請求項1に記載の信号処理装置。 - 前記出力信号yはLSBが1に相当するように量子化したディジタル信号であり、
前記関数r(x)は、量子化する前の信号の期待値と量子化した後の信号の期待値との差が小さくなるように上式(1)を決定する関数である、
請求項1に記載の信号処理装置。 - 下式(2)に示す関数r(x)を、下式(3)で表される制約条件の下で求める、
請求項1に記載の信号処理装置。
- 前記関数R(x)を、後の画像処理において利用するトーンカーブY(x)に基づいて下式(4)にて求める、
請求項4に記載の信号処理装置。
- 前記関数R(x)を、下式(5)に基づいて求める、
請求項4に記載の信号処理装置。
- 上式(2)中の関数r(x)を下式(5)で置き換える、
請求項4に記載の信号処理装置。
- 上式(5)中の関数q(x)は下式(6)で表わされる、
請求項6に記載の信号処理装置。
- 上式(2)のr(x)の定義域を複数の区間に区分けし、各区間を定数で近似した、
請求項4に記載の信号処理装置。 - 上式(2)のr(x)を、下式(8)で表わされる式で置き換える、
請求項9に記載の信号処理装置。
- 上記各区間の定数で表わされた量子化ステップを線形AD変換器で実現し、これらの複数の線形AD変換器を同時並列で動作させる、
請求項9に記載の信号処理装置。 - 上記各区間の定数で表わされた量子化ステップを線形AD変換器で実現し、1つの線形AD変換器を時分割で動作させて複数回のAD変換を行なう、
請求項9に記載の信号処理装置。 - 少なくとも2レベルの調整用信号を用いて量子化ステップの変動を補正する、
請求項9に記載の信号処理装置。 - 少なくとも1つの調整用信号を用いて量子化オフセットの変動を補正する、
請求項9に記載の信号処理装置。 - ある平均レベルを持ったノイズ源又は一定レベルの信号源を前記調整用信号に用いる、
請求項13又は14のいずれかに記載の信号処理装置。 - オプティカルブラック領域の出力を前記調整用信号に用いる、
請求項13又は14のいずれかに記載の信号処理装置。 - イメージ・センサーから出力される光子数xに相当する信号電圧からなる電圧信号v=V(x)をディジタル変換したディジタル電圧信号a=A(v)を、前記イメージ・センサーで発生した電子数x=V-1(A-1(a))に変換してから下式(11)に示す関数関係で非線形変換y=f(x)するとともに、電子数x=f-1(y)に非線形逆変換する信号処理部と、
非線形逆変換された電子数xからなるRAW画像信号に対し、所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
を具備する画像処理装置。
- 入射光の光子数xを電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するAD変換器と、
ディジタル電圧信号に相当する電子数xを下式(12)に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得る非線形逆変換部と、
RAW画像信号に対し所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備する撮像装置。
- 入射光の光子数xを電圧信号に変換するセンサー部と、
電圧信号に相当する電子数xを下式(13)に示す関数関係で非線形変換するとともにディジタル値に変換する非線形AD変換器と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得る非線形逆変換部と、
RAW画像信号に対し所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備する撮像装置。
- 入射光の光子数を電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するAD変換器と、
ディジタル電圧信号に相当する電子数xを下式(14)に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号yを記録する記録部と、
ディジタル非線形信号yを逆変換して電子数xに相当するRAW画像信号を得るとともに、所定のトーンカーブY(x)を用いてデモザイクその他の画像処理を行なって画像信号y=Y(x)を得る画像処理部と、
画像信号yを表示出力する表示部と、
を具備する撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010234577A JP2012075071A (ja) | 2009-10-28 | 2010-10-19 | 信号処理装置、画像処理装置、並びに撮影装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009247224 | 2009-10-28 | ||
JP2009247224 | 2009-10-28 | ||
JP2010192141 | 2010-08-30 | ||
JP2010192141 | 2010-08-30 | ||
JP2010234577A JP2012075071A (ja) | 2009-10-28 | 2010-10-19 | 信号処理装置、画像処理装置、並びに撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012075071A true JP2012075071A (ja) | 2012-04-12 |
Family
ID=43898103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010234577A Withdrawn JP2012075071A (ja) | 2009-10-28 | 2010-10-19 | 信号処理装置、画像処理装置、並びに撮影装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8493480B2 (ja) |
JP (1) | JP2012075071A (ja) |
CN (1) | CN102055914A (ja) |
TW (1) | TW201136294A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017179593A1 (ja) * | 2016-04-13 | 2017-10-19 | ソニー株式会社 | Avサーバおよびavサーバシステム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6389010B1 (en) * | 1995-10-05 | 2002-05-14 | Intermec Ip Corp. | Hierarchical data collection network supporting packetized voice communications among wireless terminals and telephones |
EP2904770B1 (en) * | 2012-10-05 | 2018-01-10 | Rambus Inc. | Conditional-reset, multi-bit read-out image sensor |
US9077924B2 (en) * | 2013-08-29 | 2015-07-07 | Sony Corporation | CMOS image sensor implementing correlated double sampling with compression |
JP6478488B2 (ja) * | 2014-06-18 | 2019-03-06 | キヤノン株式会社 | Ad変換装置及び固体撮像装置 |
JP6669397B2 (ja) * | 2016-03-31 | 2020-03-18 | キヤノン株式会社 | 信号抽出処理装置および信号抽出処理方法 |
JP7018293B2 (ja) * | 2017-11-06 | 2022-02-10 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
US11841424B2 (en) * | 2017-11-28 | 2023-12-12 | Texas Instruments Incorporated | Methods and electronic device for dynamic distance measurements |
CN109274907B (zh) * | 2018-11-21 | 2020-10-16 | 中电科技集团重庆声光电有限公司 | 一种cmos图像传感器上的信号处理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3716849A (en) * | 1970-06-08 | 1973-02-13 | Solarton Electronic | Integrating measurements with noise reduction |
JP2548005B2 (ja) | 1987-05-22 | 1996-10-30 | 株式会社 日立メディコ | 信号変換器 |
JP3757747B2 (ja) * | 2000-04-03 | 2006-03-22 | 株式会社ニコン | 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法 |
CN1910614A (zh) * | 2004-01-15 | 2007-02-07 | 松下电器产业株式会社 | 光学传递函数的测定方法、图像恢复方法以及数字图像拍摄装置 |
CN100576882C (zh) * | 2006-12-28 | 2009-12-30 | 比亚迪股份有限公司 | Cmos图像传感器固定模式噪声消除电路 |
CN101241173B (zh) * | 2007-02-07 | 2011-08-24 | 南京理工大学 | 红外体视热像方法及其*** |
EP2009828B1 (en) * | 2007-06-28 | 2016-01-27 | Alcatel Lucent | Method for providing unequal error protection to data packets in a burst transmission system |
-
2010
- 2010-10-07 TW TW099134269A patent/TW201136294A/zh unknown
- 2010-10-08 US US12/901,203 patent/US8493480B2/en not_active Expired - Fee Related
- 2010-10-19 JP JP2010234577A patent/JP2012075071A/ja not_active Withdrawn
- 2010-10-21 CN CN201010530232XA patent/CN102055914A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017179593A1 (ja) * | 2016-04-13 | 2017-10-19 | ソニー株式会社 | Avサーバおよびavサーバシステム |
JPWO2017179593A1 (ja) * | 2016-04-13 | 2019-02-21 | ソニー株式会社 | Avサーバおよびavサーバシステム |
US10897655B2 (en) | 2016-04-13 | 2021-01-19 | Sony Corporation | AV server and AV server system |
Also Published As
Publication number | Publication date |
---|---|
CN102055914A (zh) | 2011-05-11 |
US8493480B2 (en) | 2013-07-23 |
US20110096184A1 (en) | 2011-04-28 |
TW201136294A (en) | 2011-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012075071A (ja) | 信号処理装置、画像処理装置、並びに撮影装置 | |
KR100617781B1 (ko) | 이미지 센서의 화질 개선장치 및 방법 | |
TW201916674A (zh) | 電子裝置以及取像方法 | |
KR102156463B1 (ko) | 신호 처리 장치 및 방법, 촬상 소자, 및 촬상 장치 | |
JP2011010108A (ja) | 撮像制御装置、撮像装置及び撮像制御方法 | |
US8508618B2 (en) | Image pickup apparatus and restoration gain data generation method | |
JP2013251677A (ja) | 信号処理装置および方法、撮像素子、並びに、撮像装置 | |
WO2018098981A1 (zh) | 控制方法、控制装置、电子装置和计算机可读存储介质 | |
US8823832B2 (en) | Imaging apparatus | |
JP6643919B2 (ja) | 信号処理装置及び方法、及び撮像装置 | |
WO2010010871A1 (ja) | 撮像装置 | |
US20110090238A1 (en) | Black level calibration method and system | |
KR100631996B1 (ko) | 디지털 카메라의 자동 화이트 밸런스 장치 및 방법 | |
KR20090081273A (ko) | 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서 | |
US8248477B2 (en) | Image recording system and method of calibrating, compressing and decompressing image signal values | |
JP2007324998A (ja) | 撮像装置 | |
JP2016158940A (ja) | 撮像装置及びその作動方法 | |
US9185310B2 (en) | Solid-state imaging device, illuminance measuring method performed by solid-state imaging device, and camera module | |
WO2016158315A1 (ja) | 撮像素子、撮像方法、電子機器 | |
KR101959521B1 (ko) | 이미지 데이터 처리 방법 및 장치 | |
JP2005086630A (ja) | 撮像装置 | |
JP2011234148A (ja) | 画像信号処理装置 | |
JP2007074637A (ja) | 撮像装置 | |
JP2016029753A (ja) | 撮像装置 | |
JP2022119630A (ja) | 画像処理装置、画像処理方法、および撮像装置、ならびにそれらの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140107 |