JP2012075071A - 信号処理装置、画像処理装置、並びに撮影装置 - Google Patents

信号処理装置、画像処理装置、並びに撮影装置 Download PDF

Info

Publication number
JP2012075071A
JP2012075071A JP2010234577A JP2010234577A JP2012075071A JP 2012075071 A JP2012075071 A JP 2012075071A JP 2010234577 A JP2010234577 A JP 2010234577A JP 2010234577 A JP2010234577 A JP 2010234577A JP 2012075071 A JP2012075071 A JP 2012075071A
Authority
JP
Japan
Prior art keywords
signal
image
value
digital
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010234577A
Other languages
English (en)
Inventor
Hiroyuki Shiotani
浩之 塩谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010234577A priority Critical patent/JP2012075071A/ja
Publication of JP2012075071A publication Critical patent/JP2012075071A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】不自然な階調を発生させずにＲＡＷ画像を圧縮する。
【解決手段】光子数ｘを電圧に変換し、ディジタル値ａに変換する。次いで、ディジタル信号ａを、イメージ・センサーで発生した電子数ｘに一旦変換する。そして、あらかじめ求めたノイズ除去前量子化ステップ関数ｒ（ｘ）を用いた信号変換式を用いて、電子数ｘを非線形値ｙ＝ｆ（ｘ）に変換する。ノイズ除去前量子化ステップ関数ｒ（ｘ）は、量子化前の信号の期待値と量子化後の信号の期待値との差が小さくなるように決定されるので、上記の信号変換処理によって、不自然な階調を発生させずにＲＡＷ画像信号を少ない階調数に圧縮できる。
【選択図】 図７

Description

本発明は、例えばＣＣＤやＣＭＯＳなどのイメージ・センサーで撮影された画像信号を処理する信号処理装置、画像処理装置、並びに撮影装置に係り、特に、デモザイクなどの処理を行なっていないＲＡＷ画像の信号処理を行なう信号処理装置、画像処理装置、並びに撮影装置に関する。
最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージ・センサーで捕捉した画像をディジタル符号化するディジタルカメラが広範に普及している。ディジタルカメラによれば、ディジタル符号化された画像をメモリーに記憶し、コンピューターによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。
ＣＣＤ、ＣＭＯＳいずれのイメージ・センサーも、２次元に配列された各画素（フォトダイオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。多くのディジタルカメラでは、単板式カラーが採用されており、画素毎にＲ（赤）、緑（Ｇ）、青（Ｂ）のうち単一の色情報しか持たない。このため、撮影時に各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補間してフルカラー画像を作り出す「デモザイク」（ｄｅ−ｍｏｓａｉｃ）処理を行なっている。そして、完成した画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などの汎用画像フォーマットに圧縮して保存する。
しかしながら、デモザイク処理の精度は完成画像の画質に大きな影響を及ぼす他、デモザイク後はホワイトバランス（色温度）などが固定されてしまうため容易に修正ができない。また、ＪＰＥＧなどの画像記録用フォーマットは画像処理済みのデータを入力して処理することが前提となっているため、ＲＡＷ画像信号の記録用に用いることはできなかった。このような事情から、高機能カメラを中心に、デモザイク前のＲＡＷ画像信号（すなわち、イメージ・センサーの出力信号）をそのままファイルとして保存する機能が要求されている。ＲＡＷ画像信号は一般的に無圧縮又は可逆圧縮であるため、ＪＰＥＧと比較すると非常に大きなファイル・サイズになるが、ＪＰＥＧと同じファイル・サイズに抑えることができれば（図１５を参照のこと）、カメラ商品の機能が向上し、市場での競争力が向上する。ＲＡＷ画像とＪＰＥＧ画像の比較を以下の表にまとめておく。
ＪＰＥＧなどの画像圧縮手法は、ＤＣＴを用いて画像信号の振幅を周波数空間に変換し、視覚の性質に基づいた情報量の削減を実現している。一方、ＲＡＷ画像信号の圧縮手法については、データの雑音に着目した手法が過去に報告されている。
例えば、雑音の平均振幅（以下、「ノイズ・レベル」と呼ぶ）以下の振幅を有する交流成分を切り捨てて量子化を行なう信号変換装置について提案がなされている（例えば、特許文献１を参照のこと）。イメージ・センサーからの出力信号ｘは、明るさに相当する電子数（すなわち離散値）であり、電子数に応じてポアソン・ノイズが発生する。具体的には、明るくなるにつれノイズが増大するので、ノイズ・レベルも増大する。上記信号変換装置は、画像信号ｘに対して、下式（１）で定められる出力信号ｙを得ることができる。
上式（１）において、ξは入力信号ｘの値に相当する積分変数であり、ｎ（ξ）は積分変数ξの関数として表された入力信号に重畳するノイズの標準偏差（平均振幅）、ｂは明るさが０のときの信号電圧（定数）、ｃは所定の定数値である。そして、上式（１）によれば、信号変換装置で発生するノイズがｙに含まれるノイズ全体に対して無視し得る場合、ｙのノイズ・レベルｎyは、下式（２）に示すようにｙに依らない定数となる。したがって、信号ｙを後段で量子化処理すると、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を下式（２）のｃに相当するように量子化して、ディジタル信号Ｙを得る。このとき、出力信号ｙの伝送路に必要な容量は、入力信号ｘの伝送路に必要な容量より小さくて済む。
ＲＡＷ画像信号の圧縮率を上げるには、上式（１）において、定数ｃを小さくすればよい。つまり、この定数ｃを小さくすることによって、データ量を下げることができる。しかし、これは画質とのトレードオフとなる。さらに、定数ｃの減少に伴って、信号変換後の画像には不自然な階調が目立つようになる。特許文献１には、この現象については何ら記載されておらず、不自然な階調の出現を予測することができないため、経験に基づいた調整に頼らざるを得ない。
図１６Ａ〜図１６Ｄには、ある画像サンプルを、定数ｃを変えながら上式（１）に従って信号変換した結果を示している。定数ｃが小さくなるにつれ、不自然な階調が現れる様子を観察することができる。また、図１７には、同画像サンプルを輝度方向に整数化し、その後さらに平滑化したときの、位置の変化に従って明から暗に変化する輝度分布を示している。但し、横軸が位置、縦軸が輝度である。図１７から、上式（１）において定数ｃが過小であると、不自然な階調（ｓｏｌａｒｉｚａｔｉｏｎ）の原因になることが分かる。
特許第２５４８００５号公報
本発明の目的は、例えばＣＣＤやＣＭＯＳなどのイメージ・センサーで撮影されたＲＡＷ画像信号を好適に処理することができる、優れた信号処理装置、画像処理装置、並びに撮影装置を提供することにある。
本発明のさらなる目的は、ＲＡＷ画像の信号変換処理を行なって、画像圧縮処理の効率を上げることができる、優れた信号処理装置、画像処理装置、並びに撮影装置を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、イメージ・センサーからの入力信号ｘを、後述する式（３）に示す関数関係で出力信号ｙに変換する信号処理装置である。
請求項１に記載の信号処理装置への入力信号ｘは、請求項２に記載の通り、明るさに応じた電子数に相当する信号電圧であり、ｂは明るさ０のときの信号電圧であり、入力信号ｘに重畳するノイズの標準偏差は入力信号ｘの値に対して依存性がある。
また、請求項１に記載の信号処理装置からの出力信号ｙは、請求項３に記載の通り、ＬＳＢが１に相当するように量子化したディジタル信号である。また、関数ｒ（ｘ）は、量子化する前の信号の期待値と量子化した後の信号の期待値との差が小さくなるように、後述する式（３）を決定するノイズ除去前量子化ステップ関数である。
具体的には、ノイズ除去前量子化ステップ関数ｒ（ｘ）は、請求項４に記載の通り、後述する式（６）のように表され、同式（６）を後述する式（７）で示される制約条件の下で求めることができる。なお、現像処理によってノイズが除去された後の画像データの階調の増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去後量子化ステップ関数Ｒ（ｘ）は、請求項５に記載の通り、後の画像処理において利用するトーンカーブＹ（ｘ）に基づいて求めることができる。あるいは、関数Ｒ（ｘ）は、請求項６に記載の通り、後述する式（１１）に基づいて求めることができる（但し、ｋは画像に不自然な階調が発生しない定数であ）。
また、請求項７に記載の発明によれば、請求項１に記載の信号処理装置において、後述する式（３）中の関数ｒ（ｘ）は、後述する式（１２）のように置き換えることができる。但し、ｒ’（ｘ）は上式（２）中のｒ（ｘ）であり、ｑ（ｘ）は所定の関数である。
また、請求項８に記載の発明によれば、請求項６に記載の信号処理装置において、関数ｑ（ｘ）は後述する式（１５）で表わされる。但し、ｎ（ｘ）は信号の大きさに応じたノイズの大きさを表す関数、ｃは所定の定数である。
また、請求項９に記載の発明によれば、請求項４に記載の信号処理装置は、後述する式（６）のｒ（ｘ）の定義域を複数の区間に区分けし、各区間を定数で近似するように構成されている。
また、請求項１０に記載の発明によれば、請求項９に記載の信号処理装置は、後述する式（６）のｒ（ｘ）を、後述する式（７）で表わされる式で置き換えている（但し、定数ｒ0及びｒ1は、それぞれ後述する式（１７）、（１８）に示すように、その区間の最小値を探すことで得られる値である）。
また、請求項１１に記載の発明によれば、請求項９に記載の信号処理装置は、上記各区間の定数で表わされた量子化ステップを線形ＡＤ変換器で実現し、これらの複数の線形ＡＤ変換器を同時並列で動作させるように構成されている。
また、請求項１２に記載の発明によれば、請求項９に記載の信号処理装置は、上記各区間の定数で表わされた量子化ステップを線形ＡＤ変換器で実現し、１つの線形ＡＤ変換器を時分割で動作させて複数回のＡＤ変換を行なうように構成されている。
また、請求項１３に記載の発明によれば、請求項９に記載の信号処理装置は、少なくとも２レベルの調整用信号を用いて量子化ステップの変動を補正するように構成されている。
また、請求項１４に記載の発明によれば、請求項９に記載の信号処理装置は、少なくとも１つの調整用信号を用いて量子化オフセットの変動を補正するように構成されている。
また、請求項１５に記載の発明によれば、請求項１３又は１４のいずれかに記載の信号処理装置は、ある平均レベルを持ったノイズ源又は一定レベルの信号源を前記調整用信号に用いるように構成されている。
また、請求項１６に記載の発明によれば、請求項１３又は１４のいずれかに記載の信号処理装置は、オプティカルブラック領域の出力を前記調整用信号に用いる。
また、本願の請求項１７に記載の発明は、
イメージ・センサーから出力される光子数ｘに相当する信号電圧からなる電圧信号ｖ＝Ｖ（ｘ）をディジタル変換したディジタル電圧信号ａ＝Ａ（ｖ）を、前記イメージ・センサーで発生した電子数ｘ＝Ｖ-1（Ａ-1（ａ））に変換してから、後述する式（３）に示す関数関係で非線形変換ｙ＝ｆ（ｘ）するとともに、電子数ｘ＝ｆ-1（ｙ）に非線形逆変換する信号処理部と、
非線形逆変換された電子数ｘからなるＲＡＷ画像信号に対し、所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
を具備することを特徴とする画像処理装置である。
また、本願の請求項１８に記載の発明は、
入射光の光子数ｘを電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するＡＤ変換器と、
ディジタル電圧信号に相当する電子数ｘを、後述する式（３）に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号ｙを記録する記録部と、
ディジタル非線形信号ｙを逆変換して電子数ｘに相当するＲＡＷ画像信号を得る非線形逆変換部と、
ＲＡＷ画像信号に対し所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
画像信号ｙを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
また、本願の請求項１９に記載の発明は、
入射光の光子数ｘを電圧信号に変換するセンサー部と、
電圧信号に相当する電子数ｘを、後述する式（３）に示す関数関係で非線形変換するとともにディジタル値に変換する非線形ＡＤ変換器と、
ディジタル非線形信号ｙを記録する記録部と、
ディジタル非線形信号ｙを逆変換して電子数ｘに相当するＲＡＷ画像信号を得る非線形逆変換部と、
ＲＡＷ画像信号に対し所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
画像信号ｙを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
また、本願の請求項２０に記載の発明は、
入射光の光子数を電圧信号に変換するセンサー部と、
電圧信号をディジタル値に変換するＡＤ変換器と、
ディジタル電圧信号に相当する電子数ｘを、後述する式（３）に示す関数関係で非線形変換する非線形変換部と、
ディジタル非線形信号ｙを記録する記録部と、
ディジタル非線形信号ｙを逆変換して電子数ｘに相当するＲＡＷ画像信号を得るとともに、所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
画像信号ｙを表示出力する表示部と、
を具備することを特徴とする撮像装置である。
本発明によれば、ＲＡＷ画像の信号変換処理を行なって、データ量の圧縮や伝送路の小容量化を実現し、画像圧縮処理の効率を上げることができる、優れた信号処理装置、画像処理装置、並びに撮影装置を提供することができる。
また、本発明によれば、現像後に得られる画像データの明るさの階調に基づいて信号変換処理を行なうことができるので、不自然な階調を発生させずに画像を圧縮することが可能である。また、経験に基づいた調整に頼らないで好適な信号変換処理を行なうことができる。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、量子化前信号の平均値と量子化後信号のノイズの平均値との差が小さくなるような、出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数ｒ（ｘ）の決定方法を説明するための図である。 図２Ａは、量子化前の信号ｘ＋Ｎ（ｘ）のサンプル値の分布を示した図である。 図２Ｂは、ノイズ除去前量子化ステップｒ（ｘ）をある大きさに設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｃは、ノイズ除去前量子化ステップｒ（ｘ）を図２Ｂよりも大きく設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｄは、ノイズ除去前量子化ステップｒ（ｘ）を図２Ｃよりも大きく設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｅは、ノイズ除去前量子化ステップｒ（ｘ）を図２Ｄよりも大きく設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｆは、量子化前の信号ｘ＋Ｎ（ｘ）のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｇは、外乱値ｐをある大きさに設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｈは、外乱値ｐをある大きさに設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｉは、外乱値ｐをある大きさに設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図２Ｊは、外乱値ｐをある大きさに設定した場合の、量子化後の信号のサンプル値の分布とサンプル値の平均値と標準偏差を示した図である。 図３は、入力信号ｘと変換後の階調Ｙ（ｘ）の関係を描いたトーンカーブを示した図である。 図４は、入力信号ｘと現像処理によってノイズが除去された画像データの階調の増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去後量子化ステップ関数Ｒ（ｘ）の関係を示した図である。 図５は、従来の下式（１）と本発明による下式（３）の計算結果を比較して示した図である。 図６Ａは、図５に示した本発明に係る方法による下式（３）の計算結果を用いてＲＡＷ画像を圧縮し復元した結果の例を示した図である。 図６Ｂは、図５に示した従来の方法による下式（１）の計算結果を用いてＲＡＷ画像を圧縮し復元した結果の例を示した図である。 図７は、イメージ・センサーに光源を取り込んでから画像データを獲るまでの信号処理の流れを模式的に示した図である。 図８は、本発明に係る信号変換方法を適用したディジタルカメラの構成例を模式的に示した機能ブロック図である。 図９は、本発明に係る信号変換方法を適用したディジタルカメラの他の構成例を模式的に示した機能ブロック図である。 図１０は、非線形ＡＤ変換器９２の内部構成例を示した図である。 図１１は、本発明に係る信号変換方法を適用したディジタルカメラのさらに他の構成例を模式的に示した機能ブロック図である。 図１２は、一般的なディジタルカメラのハードウェア構成例を模式的に示した図である。 図１３は、図１２に示したディジタルカメラにおいて実施される撮影処理の手順を示したフローチャートである。 図１４は、図１２に示したディジタルカメラにおいて実施される表示処理の手順を示したフローチャートである。 図１５は、ＪＰＥＧ画像とＲＡＷ画像の処理手順を比較した図である。 図１６Ａは、画像サンプルを、下式（１）に従って信号変換した結果（但し、定数ｃ＝１／２）を示した図である。 図１６Ｂは、画像サンプルを、下式（１）に従って信号変換した結果（但し、定数ｃ＝１／３）を示した図である。 図１６Ｃは、画像サンプルを、下式（１）に従って信号変換した結果（但し、定数ｃ＝１／４）を示した図である。 図１６Ｄは、画像サンプルを、下式（１）に従って信号変換した結果（但し、定数ｃ＝１／８）を示した図である。 図１７は、画像サンプルを輝度方向に整数化し、その後さらに平滑化したときの、位置の変化に従って明から暗に変化する輝度分布を示した図である。 図１８は、ノイズ除去前量子化ステップ関数ｒ（ｘ）を書き換えたｒ’（ｘ）と他の手法で求めたノイズ除去前量子化ステップ関数ｑ（ｘ）と値の大小比較を示した図である。 図１９は、ノイズ除去前量子化ステップ関数ｒ（ｘ）を書き換えたｒ’（ｘ）と他の手法で求めたノイズ除去前量子化ステップ関数ｑ（ｘ）と値の大小比較を示した図である。 図２０は、ｒ（ｘ）を［ｘ0、ｘt］で定義される線分と［ｘt、ｘ1］で定義される２つの定数で近似した様子を示した図である。 図２１は、図２０に示したｒ（ｘ）を用いた場合に、式（３）で実現される変換関数をグラフにした図である。 図２２は、変換動作を同時にした各ＡＤ変換器が変換動作を終了するまでの時間を示した図である。 図２３は、１つの線形ＡＤ変換器を時分割で動作させて実質２回のＡＤ変換を行なう場合に各回の変換動作が終了するまでの時間を示した図である。 図２４は、１ラインの画素を一括して変換するＡＤ変換器のコンパレータに供給する参照電圧を示した図である。 図２５は、ディジタル回路でＣＤＳを行なう場合の参照電圧の例を示した図である。 図２６は、偶数ラインと奇数ラインとを異なる量子化ステップでＡＤ変換する例（但し、アナログＣＤＳの場合）を示した図である。 図２７は、偶数ラインと奇数ラインとを異なる量子化ステップでＡＤ変換する例（但し、ディジタルＣＤＳの場合）を示した図である。 図２８は、２つの調整用信号を用意し、１つのＡＤ変換器でそれぞれの通過時刻を計測する様子を示した図である。 図２９は、１つの調整用信号を用意し、ある基準時刻Ｔ0と２つの異なる量子化ステップのＡＤ変換器でそれぞれの通過時刻Ｔ1、Ｔ2を計測する様子を示した図である。 図３０は、１ＡＤ周期毎に補正処理を行なう様子を示した図である。 図３１は、ディジタルＣＤＳとアナログＣＤＳを混在させて、異なる量子化ステップでＡＤ変換する例を示した図である。 図３２は、ＡＤ変換器３２０を含むイメージデバイスの一般的な構成例を示した図である。
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
本発明は、例えばイメージ・センサーの出力信号を非線形量子化処理する信号処理装置並びに信号処理方法に関するものであり、データ量の圧縮や伝送路の小容量化を実現することを１つの目的とする。
本発明では、イメージ・センサーの出力信号を非線形量子化するための信号変換式として、下式（３）を提案する。
上式（３）では、関数ｒ（ξ）は、あらかじめ求めた「出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数」であり、上式（１）のノイズ平均振幅ｎ（ξ）に置き換わるものである。また、上式（１）で使用した定数ｃを、上式（３）では排除した。また、実際にメモリーに記録される画素データは、上式（４）に従って四捨五入した値である。つまり、上式（４）によってＬＳＢが１に相当するように量子化する。そして、メモリーから読み出した画素データは、上式（５）に従って元のＲＡＷ画像信号となる。なお、ｑは四捨五入を行なうときの切り上げと切り下げの閾値を定める定数である。また、上式（５）の値０．５の項の代わりに平均０．５となる適切なジッターを含む確率変数を用いてもよい。
上式（５）を適切に用いてイメージ・センサーの出力信号を非線形量子化することによって、不自然な階調を発生させずに画像データの圧縮や伝送路の小容量化を実現できる。この実現のためには、出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数ｒ（ｘ）を適切に求める必要がある。
出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数ｒ（ｘ）は、アナログ量をディジタル量に変換するときのノイズ除去前量子化ステップ関数である。図１を参照しながら、ノイズ除去前量子化ステップ関数ｒ（ｘ）について説明する。
ノイズ除去前量子化ステップ関数ｒ（ｘ）は、信号の真値ｘに対応したノイズ除去前量子化ステップを決定する。ある入力信号の真値ｘにおいて、ノイズ除去前量子化ステップ関数ｒ（ｘ）並びにノイズを含む信号の確率分布ｘ＋Ｎ（ｘ）が図示の通りとする。ノイズを含む信号のサンプルの値が当該階調の中央ａ＋０．５未満且つ１以上のときにはａに、ａ＋０．５以上且つａ＋１未満のときにはａ＋１に、それぞれ量子化する。ノイズ除去前量子化ステップ関数ｒ（ｘ）はこのような量子化を行なう際に、量子化前のサンプルの平均値（量子化前の信号の期待値）と量子化後のサンプルの平均値（量子化後の信号の期待値）の差が小さくなるように、ノイズ除去前量子化ステップ関数ｒ（ｘ）すなわちａ〜ａ＋１の幅をｘ軸上で決定する。このことは、信号の真値ｘに対応したノイズ除去前量子化ステップ関数ｒ（ｘ）を（式（６）を参照）、下式（７）で表される制約条件の下で求めることに相当する。
上式（６）、（７）において、Ｒ（ｘ）はノイズを含む信号のノイズを除去した信号を量子化するときに用いるノイズ除去後量子化ステップを定める関数である。また、ｐはイメージ・センサーの出力信号の原点とＡＤ変換器の原点とのずれなどを吸収するために用いる外乱値であり、上式（７）においてｐ∈［０，１）で探索すれば十分である。
また、ノイズの確率変数Ｎ（ｘ）は、下式（８）に示す性質を満たすものとする。但し、Ｅ（・）は期待値を表す汎関数とする。要するに、ノイズＮ（ｘ）の平均を０とする。
上式（７）の計算内容を説明するため、左辺の絶対値記号の内側にある式、すなわち下式（９）で考えてみる。図２Ａ〜図２Ｅには、ｘ＝一定値、且つｐ＝一定値でｒ（ｘ）を変化させながら下式（９）の計算過程と結果を表わしている。図２Ａは量子化前の信号ｘ＋Ｎ（ｘ）のサンプル値の分布である。グラフの横軸の原点は、量子化前の分布の中心としている。正規分布の曲線形状は信号に含まれているノイズＮ（ｘ）の分布を表わしており、中央の縦実線は平均値を表わしており、その左右の縦点線は標準偏差の大きさを表している。この時の平均値は真値ｘと同値である。図２Ｂ〜図２Ｅはそれぞれノイズ除去前量子化ステップｒ（ｘ）が異なる。矩形の横幅はノイズ除去前量子化ステップｒ（ｘ）の大きさを表わしており、矩形の縦幅はサンプルの頻度に比例している。また、中央付近の縦実線はサンプルの平均値を表わしており、その左右の縦点線は標準偏差の大きさ表している。これらの図から分かるように、ノイズ除去前量子化ステップ関数ｒ（ｘ）の値が大きくなるほど平均値が真値からズレていっていることが分かる。このズレが下式（９）で計算される値となる。つまり、上式（７）のＲ（ｘ）は、このズレの大きさの限度を表す関数と考えてよい。
さらに、図２Ｆ〜図２Ｊには、ｘ＝一定値、且つｒ（ｘ）＝一定値で、外乱値ｐを変化させながら上式（９）の計算過程と結果を表わしている。図２Ｆは量子化前の信号のサンプル値の分布であり、図２Ａと同じものである。図２Ｇ〜図２Ｊは外乱値ｐが異なる。これらの図から分かるように、外乱値ｐの変化によって平均値が真値からズレていることが分かる。この外乱値ｐはイメージ・センサーの出力信号の原点とＡＤ変換器の原点とのズレなどによって生じるため、上式（６）でこの外乱値ｐによる最悪のケースを考慮してノイズ除去前量子化ステップ関数ｒ（ｘ）の値を求めている。
現像処理によってノイズが除去された画像データの階調の増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去後量子化ステップ関数Ｒ（ｘ）は、後段の各種画像処理により結果的にもたらされる階調変換特性から推定することができる。以後、この階調変換特性をトーンカーブという。説明を簡単にするため、後段のデモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の一連の画像信号処理を単一の処理とみなし、その単一の処理の入出力の関係を、トーンカーブＹ（ｘ）と等価であると仮定する。このとき、階調変換は図３に示すようないずれかのトーンカーブＹ（ｘ）を用いて値を変換すれば目的の画像で表示する明るさが得られる。つまり、図３の横軸の信号値に対応する画像の明るさをいずれかのトーンカーブＹ（ｘ）を使って縦軸の明るさの値に変換すればよい。
現像処理によってノイズが除去された画像データの階調の増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去後量子化ステップ関数Ｒ（ｘ）とは、図３に示すそれぞれのトーンカーブＹ（ｘ）において、縦軸の画像の明るさの増分に対する横軸の入力信号の増分に対応する。つまり、ノイズ除去後量子化ステップ関数Ｒ（ｘ）は、以下の計算式（１０）となる。図４には、このノイズ除去後量子化ステップ関数Ｒ（ｘ）を図３のトーンカーブＹ（ｘ）に対応して描いたものを示している。
上式（７）の計算で実際に用いるＲ（ｘ）は、図４のように得られたカーブの中から１つを選んでＲ（ｘ）としてよい。さらに、複数の非線形カーブの信号値ｘ毎の最小値を計算してＲ（ｘ）としても良い。この最小値を用いたＲ（ｘ）は、図４においては、点線で表された下式（１１）のような直線となる。ユーザはこの直線の傾きｋを調整することによって、簡単にノイズ除去後量子化ステップ関数Ｒ（ｘ）を調整することができる。ｋの値は大きければ圧縮効率は上がるが、大き過ぎると不自然な階調が発生する。適切なｋを求めるためには、不自然な階調が発生しないような大きな値を探せばよい。
Ｒ（ｘ）が求まると、上式（６）で表されるｒ（ｘ）を、上式（７）に示した制約条件下で、ｐ∈［０，１）で探索すれば十分である。
図５には、上式（７）に示した制約条件下でノイズ除去前量子化ステップ関数ｒ（ｘ）を計算し、その結果を用いて上式（３）の関数をグラフ化して示している。同図では、比較のため、上式（１）を用いた従来例Ａ〜Ｃも示している。同図から分かるように、本手法による計算結果は従来例とは異なり、また、上式（１）では決して得られないものである。また、暗から明になめらかに変化するグラデーション画像を用いて、図５の本手法に対応する処理結果を図６Ａに示し、比較のために、図５の従来Ｃに対応する処理結果を図６Ｂに示している。どちらも最大１４５階調に量子化されているが画質は異なり、図６Ａの本手法では不自然な階調は見られないが、図６Ｂの従来の手法では不自然な階調が顕著に現れている。
なお、本手法は別の手法で求めたノイズ除去前量子化ステップ関数ｑ（ｘ）と組み合わせて使用することもできる。例えば、図１８のように、本手法で求めたノイズ除去前量子化ステップ関数ｒ（ｘ）をｒ’（ｘ）と書き換えて、他の手法で求めたノイズ除去前量子化ステップ関数ｑ（ｘ）と値の大小を比較し、小さい方選択して、上式（６）に相当するｒ（ｘ）を下式（１２）のように求める。
また、図１９に示すように、上式（１２）が仮にすべての通常とり得る範囲のすべてのｘに対して下式（１３）に示す条件を満たすならば、上式（１２）を単純に下式（１４）のようにしてもよい。
このノイズ除去前量子化ステップ関数ｑ（ｘ）を、前述の式（１）の考え方（従来技術）を参考にして、関数ｎ（ｘ）と定数ｃを下式（１５）のように用いることで、従来の手法と本発明にい係る手法の特徴をうまく組み合わせることもできる。
ちなみに、従来の手法と本発明に係る手法とそれぞれで得られる計算結果は、例えばすでに説明した図５のように本来の性質は異なるものである。この上式（１５）を用いることで、従来の式（１）において定数ｃを変化させることによってざらつき感のあるノイズ量をコントロールさせながら、本発明に係る手法でソラリゼーションのようなノイズの発生を抑えることができ、画質をコントロールする自由度が向上する。
また、本発明に係る手法をイメージデバイスに実装するための工夫として、関数ｒ（ｘ）を近似関数に変換して利用してもよい。従来から用いられているＡＤ変換器などの線形量子化器は信号値と出力値の関係は線形で、量子化ステップは一定値となる。一方、本発明に係る手法はｘの値によって量子化ステップは変化するため、実装における技術的な隔たりは大きい。そこで、次のように線形ＡＤ変換器などの線形量子化器を複数組み合わせた構成に準じてｒ（ｘ）の定義域を複数の区間に区分けし、各区間を定数で近似する。これによって、画質を維持したまま線形ＡＤ変換器のような容易な実装手段を用いて本発明に係る手法を実現することができる。
例えば、図２０に示すように、ｒ（ｘ）の定義域が［ｘ0、ｘ1］であるとき、［ｘ0、ｘt］で定義される線分と［ｘt、ｘ1］で定義される２つの定数で近似することができる。下式（１６）はその近似式を表したものである。
これらの定数ｒ0及びｒ1は、それぞれ下式（１７）、（１８）のように、その区間の最小値を探すことで得られる。
これらの定数ｒ0及びｒ1は、信号値ｘを量子化するときの量子化ステップとなる。量子レベル数は、下式（１９）、（２０）のようにそれぞれＬ0、Ｌ1となる。
実際の信号値と変換後の値の関係は、式（３）で計算される関数で得られる。例えば図２０に示したｒ（ｘ）を用いた場合は、式（１）で実現される変換関数をグラフにすると図２１のようになる。なお、上記の説明では区間数を２で説明したが、３以上の区間で行なうことも当然可能である。
ｘtの値は、実装に応じて最適化する。例えば、上記各区間の定数で表わされた量子化ステップを線形ＡＤ変換器で実現し、これらの複数の線形ＡＤ変換器を同時並列で動作させるように実現する場合は、図２２に示すように、すべてのＡＤ変換器の変換動作を同時に開始してすべてのＡＤ変換器が変換動作を終了するまでにかかる時間が、最適化の１つの基準となる。つまり、下式（２１）のような最適化式でｘtを求める。
また、例えば、上記各区間の定数で表わされた量子化ステップを線形ＡＤ変換器で実現し、１つの線形ＡＤ変換器を時分割で動作させて複数回のＡＤ変換を行なって実現する場合は、図２３に示すように、２回連続の変換動作が終了するまでにかかる時間が、最適化の１つの基準となる。つまり下式（２２）のような最適化式でｘtを求める。
なお、上記の最適化計算において、デバイスの物理的な制約が動作時間に影響する場合は、それらの影響を考慮して最適化するのが望ましい。例えば、ＡＤ変換を連続して行なうとき、電気回路の信号が安定するまで待機する時間などが必要となる。このようなオーバーヘッドとなる時間を考慮して最適化を行なうのが好ましい。
図３２には、ＡＤ変換器３２０を含むイメージデバイスの一般的な構成例を示している。
画素アレイ３２６は、光を受光し光電変換して電圧を出力する素子を格子状に並べて構成される。また、行選択回路３２７は、この画素アレイ３２６の画素を行毎に選択する。選択された画素から電圧が出力される。
ＡＤ変換器３２０は、スロープ生成回路３２１と、並列比較器３２２と、カウンター３２３Ａ及び３２３Ｂと、タイミング生成回路３２４と、列選択回路３２５から構成される。
タイミング生成回路３２４は、時間の経過に合わせてＡＤ変換器３２０の構成回路を制御し順次動作させる。スロープ生成回路３２１は、上式（１６）などで求められた量子化ステップに従って、参照電圧を時間に応じて変化させながら出力する。 並列比較器３２２は、画素の出力電圧とスロープ生成回路３２１が出力する参照電圧を比較し、それらの大小関係をカウンター３２３Ａ及び３２３Ｂに出力する。カウンター３２３Ａ及び３２３Ｂは、主に時間経過に応じてディジタル値を増減し、並列比較器３２２の出力に応じてカウンター３２３Ａ及び３２３Ｂの値を記憶する働きを持つ。
本実施形態におけるＡＤ変換は、図３２に示したようなイメージデバイスを用いて、特にスロープ生成回路３２１を、上式（１６）で求められた量子化ステップｒ（ｘ）に対応した参照電圧を生成させる実現する。以下の説明では、スロープ生成回路が生成する参照電圧の波形を中心に説明するが、タイミング生成回路３２４やカウンター３２３Ａ及び３２３Ｂなどのその他の部分が、このような参照電圧を生成するべく動作することが自明であることは言うまでもない。
式（１６）で求められた量子化ステップｒ（ｘ）は、実際のＡＤ変換器を用いて図２４のように実現される。イメージデバイスの種類によって、ＡＤ変換器は外付けであったり内蔵されていたりする。特に内蔵するタイプでは、画素アレイの行単位に１ライン分の画素の信号値を一括して並列にＡＤ変換を行なう。図２４は、そのような１ラインの画素を一括して変換するＡＤ変換器のコンパレータに供給する参照電圧を表している。この参照電圧は時刻に従って変化し、信号値とこの参照電圧の大小関係が反転した時刻をコンパレータで検出することによって、信号の大小をディジタル値に変換する。式（１６）中の定数ｒ0、ｒ1はＡＤ変換する時の量子化ステップに対応し、すなわち参照電圧の傾きに対応する。図２４は、２種類の傾きの参照電圧で時分割に２回ＡＤ変換する時の参照電圧の様子を表している。信号レベルの小さい部分では傾きが小さい参照電圧で測定できるため、量子化ステップが細かくなり小さな信号でも細かく測定できる。信号レベルの大きい部分は傾きが大きい参照電圧でできるため、大きなダイナミックレンジで測定することができる。
イメージデバイスでは、通常画素の信号値を得るためには、信号レベルとリセットレベルの差分を求めることによって、リセットレベルのノイズを含まない信号値を得る。この処理をＣＤＳ（Ｃｏｒｒｅａｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）と呼ぶ。このＣＤＳは、アナログ回路で行なうものとディジタル回路で行なうものがある。図２４は、アナログ回路で既にＣＤＳが行なわれた信号を入力するＡＤ変換器を前提に描いたものである。一方、図２５は、ディジタル回路でＣＤＳを行なう場合の参照電圧の例を示している。リセットレベルを測定するために２種類の量子化ステップでＡＤ変換し、その後信号レベルを測定するために２種類の量子化ステップでＡＤ変換している。
なお、アナログＣＤＳとディジタルＣＤＳを混在させてもよい。図３１には、ディジタルＣＤＳとアナログＣＤＳを混在させて、異なる量子化ステップでＡＤ変換する例を示している。同図において、信号レベルの小さい部分では計測感度のよいディジタルＣＤＳと傾きの小さい参照電圧を用いて、信号レベルの大きい方ではアナログＣＤＳと傾きの大きい参照電圧を用いてもよい。ここで、アナログＣＤＳとは、サンプルホールド回路を用いて、画素のリセットレベルの電圧と信号レベルの電圧との差をアナログ的に引き算して、リセットレベルの変動を打ち消してノイズを低減する手法である。但し、本発明の要旨はこのようなサンプルホールド回路を用いたものに限定されるものではなく、リセットレベルのノイズを低減させる任意の手法を用いてもよい。また、リセットノイズの画質にほとんど影響しないと考えられる場合は、リセットレベルのノイズを除去しなくても構わない。
また、ＡＤ変換器の量子化ステップの切り替えを画素毎に行なうのではなく、水平走査単位やフレーム単位など画素毎よりも周期の長い単位で切り換えてＡＤ変換を行なうことで、画素単位毎に複数のＡＤ変換を擬似的に行なうことができる。
例えば、従来のイメージデバイスには特に動画を出力するときに用いる画素加算モードや画素間引きモードがある。これらのモードでは、複数の隣接した水平ラインの画素を１ラインとみなしてデータを出力するが、本発明に係る手法と組み合わせることにより、例えば図２６のように偶数ラインと奇数ラインとを異なる量子化ステップでＡＤ変換して、画質の良い方を選んで出力する様なモードを新たに実現することができる。図２６はアナログＣＤＳの場合の例であり、図２７はディジタルＣＤＳの場合の例である。
さらには、ライン毎や画素アレイの１画素以上の領域毎に、動的に異なる量子化ステップを選択して用いてもよい。この選択は、当該画素やラインの時間や空間方向で隣接する画素値等を参考にして行なう。
複数のＡＤ変換器を組み合わせて疑似的に単一のＡＤ変換器の出力と同様の出力を実現するとき、各ＡＤ変換器の量子化ステップや量子化オフセットのばらつきなどによる変換特性のずれを補正する補正処理の方法が問題となる。また、ディジタルＣＤＳの場合でも、リセットレベルは一度しか測定できないこともある。このような場合でも、同様の処理が必要になる。
もし、量子化ステップの変動が無視できない場合は、量子化ステップの変動を補正する必要がある。そのためには、例えば図２８に示すように、少なくとも２レベルの調整用信号を用意し、１つのＡＤ変換器でそれぞれの通過時刻を計測するようにしてもよい。図示のように、時間に対する電圧差を計算することで、そのＡＤ変換器の実際の量子化ステップを推定できる。これによって、デバイスのばらつきで生じる画質の劣化を防ぐ。
一方、量子化オフセットを補正するためには、例えば図２９に示すように、少なくとも１つの調整用信号を用意し、再現性のある参照電圧の制御ができることを前提にして、ある基準時刻Ｔ0と２つの異なる量子化ステップのＡＤ変換器でそれぞれの通過時刻Ｔ1、Ｔ2を計測する。そして、以下に示す連立方程式（２３）を解くと、それぞれの量子化オフセットが求められる。これによって、デバイスのばらつきで生じる画質の劣化を防ぐ。
但し、ａ0、ａ1は各ＡＤ変換器の量子化ステップ、ｖ0は調整用信号、ｂ0、ｂ1は量子化オフセットとなる。これを解くことにより、ｂ1−ｂ0の値が求められるため、一方のＡＤ変換器の変換値を他方のＡＤ変換器の変換値に変換できるようになる。なお、ａ0、ａ1が同値であると仮定できる場合でも、同様の方法でｂ1−ｂ0を求めることは、上記の連立方程式（２３）を解けば当然可能である。つまり、列毎に存在する固定値のノイズなどもこの方法で除去することができる。
調整用信号は、ある平均レベルを持ったノイズ源や一定レベルの信号源を用いる。オプティカルブラック領域の出力を調整用信号に用いてもよい。なお、調整用信号にノイズが含まれる場合は、１度の計測ではノイズの影響が無視できなくなるため、複数回の計測結果の平均をとればよい。また、調整用信号を増やして、最小２乗法の考え方を用いて、計測値の平均をとることによってノイズの影響を軽減してもよい。
この補正処理は、例えば図３０に示すように、１ＡＤ変換周期毎に行なう。この１ＡＤ変換周期の中では、ディジタルＣＤＳのためにリセットレベルと信号レベルの測定が行なわれ、続いて補正処理のための調整信号レベルの計測が行なわれる。調整信号レベルは調整用基準信号を用いて計測が行なわれる。調整信号レベルの計測は、イメージデバイスの物理的な特性に応じて、頻度を減らしても構わない。例えば、数回のＡＤ変換に１度であっても構わないし、１フレームに対して数回であっても構わない。温度や経年に対しても補正処理が不必要であれば、この調整信号レベルの計測や補正処理を工場出荷時に１度だけ行なうようにしてもよいし、全く調整が必要なければ取り去っても構わない。
調整用基準信号を測定するときの問題を述べる。２つのＡＤ変換器の量子化ステップが大きく異なる場合は、大きい量子化ステップでＡＤ変換するとかなり粗い量子化が行なわれる。この粗い量子化でイメージデバイスの黒レベルを測定すると、量子化ステップに対してノイズの大きさが小さ過ぎるためにこの黒レベルの測定結果に誤差が生じ易い。この問題を解決するため、調整用基準信号は一定値ではなく、適切な確率分布のノイズを含んだ基準電圧が必要となる。調整用基準信号はノイズを含むため十分な回数で計測し、計測値を平均化するなどしてノイズを除き、その平均値を用いて補正処理を行なえばよい。
図７には、イメージ・センサーに光源を取り込んでから画像データを獲るまでの信号処理の流れを模式的に示している。
まず、光源からは、光子数ｘ’の光が照射されたとする。イメージ・センサーは、光子数ｘ’の光子を光電変換で電子に変換し、さらに電圧ｖに変換する（下式（２４）を参照）。そして、ＡＤ変換器（ＡＤＣ）は、アナログの電圧値ｖをディジタル値ａに変換する（下式（２５）を参照）。
次いで、ディジタル信号ａを非線形量子化するために、まず、ディジタル信号ａを、下式（２６）に従って、イメージ・センサーで発生したと推定される電子数ｘに一旦変換する。
そして、あらかじめ求めたノイズ除去前量子化ステップ関数ｒ（ｘ）を用いた上記の信号変換式（３）を用いて、電子数ｘを非線形値ｙ＝ｆ（ｘ）に変換する（下式（２７）を参照）。
ノイズ除去前量子化ステップ関数ｒ（ｘ）は、量子化前の信号の期待値と量子化後の信号の期待値との差が小さくなるように決定されている。したがって、上記の信号変換処理によって、不自然な階調を発生させずにＲＡＷ画像信号を少ない階調に圧縮することができる。
その後、非線形逆変換を行なって、非線形値ｙから電子数ｘを得ると（下式（２８）を参照のこと）、所定のトーンカーブＹ（ｘ）を用いて、電子数ｘに相当するｓＲＧＢ信号Ｙ（ｘ）を得ることができる（下式（２９）を参照のこと）。なお、ｓＲＧＢは、異なる環境間で色の再現性を確保するために定められた色空間で、ＣＲＴ（Ｃａｔｈｏｄ Ｒａｙ Ｔｕｂｅ）ディスプレイの色表現をベースに策定されたＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ：国際電気標準会議）規格である。
図８には、上述した信号変換方法を適用したディジタルカメラの機能的構成例を模式的に示している。図示のディジタルカメラは、ＲＡＷ画像の記録の前後で上式（３）〜（５）に従って信号変換を行なうタイプであり、センサー部８１と、ＡＤ変換器（ＡＤＣ）８２と、非線形変換部８３と、記録部８４と、非線形逆変換部８５と、画像処理部８６と、表示部８７で構成される。
センサー部８１は、例えばＣＣＤやＣＭＯＳなどのイメージ・センサーからなり、露光時の入射光の光子数を電圧信号に変換する。そして、ＡＤ変換器８２は、この電圧信号をディジタル値に変換する。
非線形変換部８３は、ディジタル電圧信号を一旦電子数に変換し、上記の信号変換式（５）を用いて非線形変換する。この結果、不自然な階調を発生させずに ＲＡＷ画像信号を少ない階調数に圧縮することができる。そして、圧縮されたＲＡＷ画像信号は、記録部８４に記録される。なお、圧縮されたＲＡＷ画像信号に対し、さらに別の任意の圧縮手法による可逆圧縮や不自然な階調が発生する副作用が少ない任意の圧縮手法の不可逆圧縮を施してから記録部８４に記録するようにしてもよい。
その後、記録画像を表示出力する際には、記録部８４から圧縮されたＲＡＷ画像信号を読み出すと、非線形逆変換部８５では、上式（５）に従って逆変換して電子数に相当するＲＡＷ画像信号を得る。但し、圧縮されたＲＡＷ画像信号に可逆圧縮などの別の圧縮手法が施されている場合には、記録部８４から読み出した信号を復元してから非線形逆変換部８５で処理する。画像処理部８６は、このＲＡＷ画像信号に対し、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像処理を施し、表示部８７の画面に表示出力される。
図９には、上述した信号変換方法を適用したディジタルカメラの他の機能的構成例を模式的に示している。図示のディジタルカメラは、上式（３）に従った信号変換処理を非線形ＡＤ変換器内の参照電圧回路に実装したタイプであり、センサー部９１と、非線形ＡＤ変換器（ＡＤＣ）９２と、記録部９３と、非線形逆変換部９４と、画像処理部９５と、表示部９６で構成される。
センサー部９１は、例えばＣＣＤやＣＭＯＳなどのイメージ・センサーからなり、露光時の入射光の光子数を電圧信号に変換する。そして、非線形ＡＤ変換器９２は、この電圧信号を上記の信号変換式（３）を用いて非線形変換するとともに圧縮されたＲＡＷ画像信号に変換する。この結果、不自然な階調を発生させずにＲＡＷ画像信号を少ない階調数に圧縮することができる。そして、圧縮されたＲＡＷ画像信号は、記録部９３に記録される。なお、圧縮されたＲＡＷ画像信号に対し、さらに別の任意の圧縮手法による可逆圧縮や不自然な階調が発生する副作用が少ない任意の圧縮手法の不可逆圧縮を施してから記録部９３に記録するようにしてもよい。
その後、記録画像を表示出力する際には、記録部９３から圧縮されたＲＡＷ画像信号を読み出すと、非線形逆変換部９４では、上式（５）に従って逆変換して電子数に相当するＲＡＷ画像信号を得る。但し、圧縮されたＲＡＷ画像信号に可逆圧縮などの別の圧縮手法が施されている場合には、記録部９３から読み出した信号を復元してから非線形逆変換部９４で処理する。画像処理部９５は、このＲＡＷ画像信号に対し、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像信号処理を施し、表示部９６の画面に表示出力される。
図１０には、非線形ＡＤ変換器９２の内部構成例を示している。図示のＡＤ変換器９２は、Ｎ入出力の並列構成である。各サンプルホールド回路Ｓ／Ｈ1、Ｓ／Ｈ2、…、Ｓ／ＨNは、入力毎の入力電圧信号Ｖin1、Ｖin2、…、ＶinNを保持し、それぞれ対応する比較回路ＣＭＰ1、ＣＭＰ2、…、ＣＭＰNの一方の入力となる。一方、カウンターによるカウント値を非線形変換部で非線形関数により非線形変換したディジタル信号をＤＡ変換器（ＤＡＣ）により変換したアナログ比較信号は、参照電圧Ｖrefとして各比較回路ＣＭＰ1、ＣＭＰ2、…、ＣＭＰNの他方の入力となる。また、カウンターのカウント値は、各ビット位置のレジスターＲｅｇ1、Ｒｅｇ2、…、ＲｅｇNに保持される。そして、各比較回路ＣＭＰ1、ＣＭＰ2、…、ＣＭＰNによる大小比較結果の出力信号が各レジスターＲｅｇ1、Ｒｅｇ2、…、ＲｅｇNの出力をイネーブルすることによって、入力電圧信号が入出力毎のディジタル・データＤout1、Ｄout2、…、ＤoutNにエンコードされる。
なお、非線形ＡＤ変換器は、図１０に示した構成に限定されるものではなく、変換器内部のディジタルの線形特性を非線形特性に変換又は置き換えたものであればよい。また、図１０に示した回路は、非線形のディジタル信号を入力するＤＡ変換器を使用して非線形のアナログ比較信号を生成しているが、アナログ回路を用いて非線形なアナログ比較信号を生成する回路構成であってもよい。
図１１には、上述した信号変換方法を適用したディジタルカメラのさらに他の機能的構成例を模式的に示している。図示のディジタルカメラは、ＲＡＷ画像の記録の前で上式（５）に従って信号変換を行なうとともに、その逆変換を画像処理の中で行なうタイプであり、センサー部１１１と、ＡＤ変換器（ＡＤＣ）１１２と、非線形変換部１１３と、記録部１１４と、画像処理部１１５と、表示部１１６で構成される。
センサー部１１１は、例えばＣＣＤやＣＭＯＳなどのイメージ・センサーからなり、露光時の入射光の光子数を電圧信号に変換する。そして、ＡＤ変換器１１２は、この電圧信号をディジタル値に変換する。
非線形変換部１１３は、ディジタル電圧信号を一旦電子数に変換し、上記の信号変換式（３）を用いて非線形変換する。この結果、不自然な階調を発生させずにＲＡＷ画像信号を少ない階調に圧縮することができる。そして、圧縮されたＲＡＷ画像信号は、記録部１１４に記録される。なお、圧縮されたＲＡＷ画像信号に対し、さらに別の任意の圧縮手法による可逆圧縮や不自然な階調が発生する副作用が少ない任意の圧縮処方の不可逆圧縮を施してから記録部１１４に記録するようにしてもよい。
その後、記録画像を表示出力する際には、記録部１１４から圧縮されたＲＡＷ画像信号を読み出す。ここで、圧縮されたＲＡＷ画像信号に可逆圧縮などの別の圧縮手法が施されている場合には、記録部１１４から読み出した信号を可逆復元する。画像処理部１１５では、上式（５）に従って逆変換して電子数に相当するＲＡＷ画像信号を得て、このＲＡＷ画像信号に対し、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像信号処理を施し、表示部１１６の画面に表示出力される。
図１２には、一般的なディジタルカメラのハードウェア構成例を模式的に示している。図示のディジタルカメラは、イメージ・センサー１２１と、ＡＤ変換器（ＡＤＣ）１２２と、ディジタル信号処理部（ＤＳＰ）１２３と、記録メディア１２４と、表示部１２５で構成される。イメージ・センサー１２１は、ＣＣＤやＣＭＯＳなどの撮像素子で構成される。ディジタル信号処理部１２３は、図８に示した機能ブロック図中の機能モジュール８３〜８６、図９に示した機能ブロック図中の機能モジュール９３〜９５、又は、図１１に示した記録ブロック図中の機能モジュール１１３〜１１５に相当するディジタル処理を実現する。
ディジタル信号処理部１２３は、汎用的な演算回路や値を記憶するレジスター回路、画像処理を効率的に処理するための専用回路、適切な外部入出力インターフェースを有しており、さらに必要に応じたＤＲＡＭやＳＲＡＭなどのメモリー回路を内部又は外部に接続している。
なお、ディジタルカメラのハードウェア構成は、図１２に示したものに限定されない。図示しないが、ディジタルカメラは、シャッターボタン等のユーザー・インターフェースや、ＰＣと接続するＵＳＢインターフェース、フラッシュライト、フォーカス機構や絞り機構等、一般的なディジタルカメラが備える機能を有するものとする。
図１３には、図１２に示したディジタルカメラにおいて実施される撮影処理の手順をフローチャートの形式で示している。
シャッターボタンの押下などのタイミングで撮影が開始される。まず露光処理を行なうと、イメージ・センサー１２１からは入射光の光子数に相当する電圧信号が出力される（ステップＳ１３０１）。そして、ＡＤ変換器１２２にてディジタル値に変換された電圧信号を読み取ると（ステップＳ１３０２）、ディジタル信号処理部１２３内では、ディジタル電圧信号を一旦電子数に変換し、上記の信号変換式（３）を用いて非線形変換する（ステップＳ１３０３）。この結果、不自然な階調を発生させずにＲＡＷ画像信号を少ない階調数に圧縮することができる。
その後、圧縮されたＲＡＷ画像信号を可逆圧縮などの別の圧縮処方を施してから（ステップＳ１３０４）、記録メディア１２４に記録して（ステップＳ１３０５）、本処理ルーチンを終了する。
図１４には、図１２に示したディジタルカメラにおいて実施される表示処理の手順をフローチャートの形式で示している。
ユーザー・インターフェースの操作等によって表示が開始される。まず、ディジタル信号処理部１２３は、記録メディア１２４から可逆圧縮されたＲＡＷ画像信号を読み出すと（ステップＳ１４０１）、これを復元する（ステップＳ１４０２）。
次いで、ディジタル信号処理部１２３は、上式（５）に従って逆変換して電子数に相当するＲＡＷ画像信号を得る（ステップＳ１４０３）。さらに、デモザイクや、ホワイトバランス、トーンカーブによる階調補正、その他の画像信号処理を施した後（ステップＳ１４０４）、表示部１２５の画面に表示出力される（ステップＳ１４０５）。
本実施形態によれば、ステップＳ１３０３において、現像後に得られる画像データの明るさの階調に基づいて信号変換処理を行なうことができるので、続くステップＳ１３０４では、不自然な階調を発生させずにＲＡＷ画像を圧縮することが可能である。また、ステップＳ１３０３では、経験に基づいた調整に頼らないノイズ除去前量子化ステップ関数（上式（７）、（８）を参照のこと）を用いて信号変換処理を行なうことができる。
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、ＣＣＤやＣＭＯＳなどのイメージ・センサーによる画像信号を変換する信号変換装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。信号に重畳するノイズ分布（ノイズの平均振幅）が信号値に対する依存性があるさまざまな信号を対象とする信号変換装置に対して本発明が同様に実現可能であることは言うまでもない。
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
８１…センサー部
８２…ＡＤ変換器（ＡＤＣ）
８３…非線形変換部
８４…記録部
８５…非線形逆変換部
８６…画像処理部
８７…表示部
９１…センサー部
９２…非線形ＡＤ変換器（ＡＤＣ）
９３…記録部
９４…非線形逆変換部
９５…画像処理部
９６…表示部
１１１…センサー部
１１２…ＡＤ変換器（ＡＤＣ）
１１３…非線形変換部
１１４…記録部
１１５…画像処理部
１１６…表示部
１２１…イメージ・センサー
１２２…ＡＤ変換器（ＡＤＣ）
１２３…ディジタル信号処理部（ＤＳＰ）
１２４…記録メディア
１２５…表示部

Claims (20)

  1. イメージ・センサーからの入力信号ｘを下式（１）に示す関数関係で出力信号ｙに変換する信号処理装置。
    但し、ｂは所定の定数、ξは入力信号ｘの値に相当する積分変数、ｒ（ξ）は出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数である。
  2. 入力信号ｘは明るさに応じた電子数に相当する信号電圧であり、ｂは明るさ０のときの信号電圧であり、入力信号ｘに重畳するノイズの標準偏差は入力信号ｘの値に対して依存性がある、
    請求項１に記載の信号処理装置。
  3. 前記出力信号ｙはＬＳＢが１に相当するように量子化したディジタル信号であり、
    前記関数ｒ（ｘ）は、量子化する前の信号の期待値と量子化した後の信号の期待値との差が小さくなるように上式（１）を決定する関数である、
    請求項１に記載の信号処理装置。
  4. 下式（２）に示す関数ｒ（ｘ）を、下式（３）で表される制約条件の下で求める、
    請求項１に記載の信号処理装置。
    但し、Ｒ（ｘ）は現像処理によってノイズが除去された画像データの階調の増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去後量子化ステップ関数、Ｅ（・）は期待値を表す汎関数、ｐは外乱値である。また、Ｎ（ｘ）は入力信号ｘに含まれる平均値０のノイズを表す確率変数である。
  5. 前記関数Ｒ（ｘ）を、後の画像処理において利用するトーンカーブＹ（ｘ）に基づいて下式（４）にて求める、
    請求項４に記載の信号処理装置。
  6. 前記関数Ｒ（ｘ）を、下式（５）に基づいて求める、
    請求項４に記載の信号処理装置。
    但し、ｋは画像に不自然な階調が発生しない定数である。
  7. 上式（２）中の関数ｒ（ｘ）を下式（５）で置き換える、
    請求項４に記載の信号処理装置。
    但し、ｒ’（ｘ）は上式（２）中のｒ（ｘ）であり、ｑ（ｘ）は所定の関数である。
  8. 上式（５）中の関数ｑ（ｘ）は下式（６）で表わされる、
    請求項６に記載の信号処理装置。
    但し、ｎ（ｘ）は信号の大きさに応じたノイズの大きさを表す関数、ｃは所定の定数である。
  9. 上式（２）のｒ（ｘ）の定義域を複数の区間に区分けし、各区間を定数で近似した、
    請求項４に記載の信号処理装置。
  10. 上式（２）のｒ（ｘ）を、下式（８）で表わされる式で置き換える、
    請求項９に記載の信号処理装置。
    但し、定数ｒ0及びｒ1は、それぞれ下式（９）、（１０）に示すように、その区間の最小値を探すことで得られる値である。
  11. 上記各区間の定数で表わされた量子化ステップを線形ＡＤ変換器で実現し、これらの複数の線形ＡＤ変換器を同時並列で動作させる、
    請求項９に記載の信号処理装置。
  12. 上記各区間の定数で表わされた量子化ステップを線形ＡＤ変換器で実現し、１つの線形ＡＤ変換器を時分割で動作させて複数回のＡＤ変換を行なう、
    請求項９に記載の信号処理装置。
  13. 少なくとも２レベルの調整用信号を用いて量子化ステップの変動を補正する、
    請求項９に記載の信号処理装置。
  14. 少なくとも１つの調整用信号を用いて量子化オフセットの変動を補正する、
    請求項９に記載の信号処理装置。
  15. ある平均レベルを持ったノイズ源又は一定レベルの信号源を前記調整用信号に用いる、
    請求項１３又は１４のいずれかに記載の信号処理装置。
  16. オプティカルブラック領域の出力を前記調整用信号に用いる、
    請求項１３又は１４のいずれかに記載の信号処理装置。
  17. イメージ・センサーから出力される光子数ｘに相当する信号電圧からなる電圧信号ｖ＝Ｖ（ｘ）をディジタル変換したディジタル電圧信号ａ＝Ａ（ｖ）を、前記イメージ・センサーで発生した電子数ｘ＝Ｖ-1（Ａ-1（ａ））に変換してから下式（１１）に示す関数関係で非線形変換ｙ＝ｆ（ｘ）するとともに、電子数ｘ＝ｆ-1（ｙ）に非線形逆変換する信号処理部と、
    非線形逆変換された電子数ｘからなるＲＡＷ画像信号に対し、所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
    を具備する画像処理装置。
    但し、ｂは所定の定数、ξは入力信号ｘの値に相当する積分変数、ｒ（ξ）は出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数である。
  18. 入射光の光子数ｘを電圧信号に変換するセンサー部と、
    電圧信号をディジタル値に変換するＡＤ変換器と、
    ディジタル電圧信号に相当する電子数ｘを下式（１２）に示す関数関係で非線形変換する非線形変換部と、
    ディジタル非線形信号ｙを記録する記録部と、
    ディジタル非線形信号ｙを逆変換して電子数ｘに相当するＲＡＷ画像信号を得る非線形逆変換部と、
    ＲＡＷ画像信号に対し所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
    画像信号ｙを表示出力する表示部と、
    を具備する撮像装置。
    但し、ｂは所定の定数、ξは入力信号ｘの値に相当する積分変数、ｒ（ξ）は出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数である。
  19. 入射光の光子数ｘを電圧信号に変換するセンサー部と、
    電圧信号に相当する電子数ｘを下式（１３）に示す関数関係で非線形変換するとともにディジタル値に変換する非線形ＡＤ変換器と、
    ディジタル非線形信号ｙを記録する記録部と、
    ディジタル非線形信号ｙを逆変換して電子数ｘに相当するＲＡＷ画像信号を得る非線形逆変換部と、
    ＲＡＷ画像信号に対し所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
    画像信号ｙを表示出力する表示部と、
    を具備する撮像装置。
    但し、ｂは所定の定数、ξは入力信号ｘの値に相当する積分変数、ｒ（ξ）は出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数である。
  20. 入射光の光子数を電圧信号に変換するセンサー部と、
    電圧信号をディジタル値に変換するＡＤ変換器と、
    ディジタル電圧信号に相当する電子数ｘを下式（１４）に示す関数関係で非線形変換する非線形変換部と、
    ディジタル非線形信号ｙを記録する記録部と、
    ディジタル非線形信号ｙを逆変換して電子数ｘに相当するＲＡＷ画像信号を得るとともに、所定のトーンカーブＹ（ｘ）を用いてデモザイクその他の画像処理を行なって画像信号ｙ＝Ｙ（ｘ）を得る画像処理部と、
    画像信号ｙを表示出力する表示部と、
    を具備する撮像装置。
    但し、ｂは所定の定数、ξは入力信号ｘの値に相当する積分変数、ｒ（ξ）は出力信号ｙの増分に対する入力信号ｘの増分を定める入力信号ｘのノイズ除去前量子化ステップ関数である。
JP2010234577A 2009-10-28 2010-10-19 信号処理装置、画像処理装置、並びに撮影装置 Withdrawn JP2012075071A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010234577A JP2012075071A (ja) 2009-10-28 2010-10-19 信号処理装置、画像処理装置、並びに撮影装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009247224 2009-10-28
JP2009247224 2009-10-28
JP2010192141 2010-08-30
JP2010192141 2010-08-30
JP2010234577A JP2012075071A (ja) 2009-10-28 2010-10-19 信号処理装置、画像処理装置、並びに撮影装置

Publications (1)

Publication Number Publication Date
JP2012075071A true JP2012075071A (ja) 2012-04-12

Family

ID=43898103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010234577A Withdrawn JP2012075071A (ja) 2009-10-28 2010-10-19 信号処理装置、画像処理装置、並びに撮影装置

Country Status (4)

Country Link
US (1) US8493480B2 (ja)
JP (1) JP2012075071A (ja)
CN (1) CN102055914A (ja)
TW (1) TW201136294A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179593A1 (ja) * 2016-04-13 2017-10-19 ソニー株式会社 Ａｖサーバおよびａｖサーバシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389010B1 (en) * 1995-10-05 2002-05-14 Intermec Ip Corp. Hierarchical data collection network supporting packetized voice communications among wireless terminals and telephones
EP2904770B1 (en) * 2012-10-05 2018-01-10 Rambus Inc. Conditional-reset, multi-bit read-out image sensor
US9077924B2 (en) * 2013-08-29 2015-07-07 Sony Corporation CMOS image sensor implementing correlated double sampling with compression
JP6478488B2 (ja) * 2014-06-18 2019-03-06 キヤノン株式会社 Ａｄ変換装置及び固体撮像装置
JP6669397B2 (ja) * 2016-03-31 2020-03-18 キヤノン株式会社 信号抽出処理装置および信号抽出処理方法
JP7018293B2 (ja) * 2017-11-06 2022-02-10 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11841424B2 (en) * 2017-11-28 2023-12-12 Texas Instruments Incorporated Methods and electronic device for dynamic distance measurements
CN109274907B (zh) * 2018-11-21 2020-10-16 中电科技集团重庆声光电有限公司 一种cmos图像传感器上的信号处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3716849A (en) * 1970-06-08 1973-02-13 Solarton Electronic Integrating measurements with noise reduction
JP2548005B2 (ja) 1987-05-22 1996-10-30 株式会社 日立メディコ 信号変換器
JP3757747B2 (ja) * 2000-04-03 2006-03-22 株式会社ニコン 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法
CN1910614A (zh) * 2004-01-15 2007-02-07 松下电器产业株式会社 光学传递函数的测定方法、图像恢复方法以及数字图像拍摄装置
CN100576882C (zh) * 2006-12-28 2009-12-30 比亚迪股份有限公司 Cmos图像传感器固定模式噪声消除电路
CN101241173B (zh) * 2007-02-07 2011-08-24 南京理工大学 红外体视热像方法及其***
EP2009828B1 (en) * 2007-06-28 2016-01-27 Alcatel Lucent Method for providing unequal error protection to data packets in a burst transmission system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179593A1 (ja) * 2016-04-13 2017-10-19 ソニー株式会社 Ａｖサーバおよびａｖサーバシステム
JPWO2017179593A1 (ja) * 2016-04-13 2019-02-21 ソニー株式会社 Ａｖサーバおよびａｖサーバシステム
US10897655B2 (en) 2016-04-13 2021-01-19 Sony Corporation AV server and AV server system

Also Published As

Publication number Publication date
CN102055914A (zh) 2011-05-11
US8493480B2 (en) 2013-07-23
US20110096184A1 (en) 2011-04-28
TW201136294A (en) 2011-10-16

Similar Documents

Publication Publication Date Title
JP2012075071A (ja) 信号処理装置、画像処理装置、並びに撮影装置
KR100617781B1 (ko) 이미지 센서의 화질 개선장치 및 방법
TW201916674A (zh) 電子裝置以及取像方法
KR102156463B1 (ko) 신호 처리 장치 및 방법, 촬상 소자, 및 촬상 장치
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
US8508618B2 (en) Image pickup apparatus and restoration gain data generation method
JP2013251677A (ja) 信号処理装置および方法、撮像素子、並びに、撮像装置
WO2018098981A1 (zh) 控制方法、控制装置、电子装置和计算机可读存储介质
US8823832B2 (en) Imaging apparatus
JP6643919B2 (ja) 信号処理装置及び方法、及び撮像装置
WO2010010871A1 (ja) 撮像装置
US20110090238A1 (en) Black level calibration method and system
KR100631996B1 (ko) 디지털 카메라의 자동 화이트 밸런스 장치 및 방법
KR20090081273A (ko) 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서
US8248477B2 (en) Image recording system and method of calibrating, compressing and decompressing image signal values
JP2007324998A (ja) 撮像装置
JP2016158940A (ja) 撮像装置及びその作動方法
US9185310B2 (en) Solid-state imaging device, illuminance measuring method performed by solid-state imaging device, and camera module
WO2016158315A1 (ja) 撮像素子、撮像方法、電子機器
KR101959521B1 (ko) 이미지 데이터 처리 방법 및 장치
JP2005086630A (ja) 撮像装置
JP2011234148A (ja) 画像信号処理装置
JP2007074637A (ja) 撮像装置
JP2016029753A (ja) 撮像装置
JP2022119630A (ja) 画像処理装置、画像処理方法、および撮像装置、ならびにそれらの制御方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140107