JP2014022801A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents
情報処理装置、情報処理方法、および情報処理プログラム Download PDFInfo
- Publication number
- JP2014022801A JP2014022801A JP2012157242A JP2012157242A JP2014022801A JP 2014022801 A JP2014022801 A JP 2014022801A JP 2012157242 A JP2012157242 A JP 2012157242A JP 2012157242 A JP2012157242 A JP 2012157242A JP 2014022801 A JP2014022801 A JP 2014022801A
- Authority
- JP
- Japan
- Prior art keywords
- raw image
- pixel
- imaging
- unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 title claims description 110
- 230000002950 deficient Effects 0.000 claims abstract description 124
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- 230000007547 defect Effects 0.000 claims description 111
- 230000002093 peripheral effect Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 abstract description 4
- 238000012937 correction Methods 0.000 description 69
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 10
- 230000005284 excitation Effects 0.000 description 10
- 238000003702 image correction Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 239000012472 biological sample Substances 0.000 description 7
- 230000004397 blinking Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】RAW画像の欠陥画素値の補正を高速化できる情報処理装置、情報処理方法、および情報処理プログラムを提供する。
【解決手段】撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する。
【選択図】図28
【解決手段】撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する。
【選択図】図28
Description
本技術は、撮像素子の欠陥画素による異常な輝度値を含むRAW画像を高速に補正する情報処理装置、情報処理方法、および情報処理プログラムに関する。
欠陥画素を含んだ撮像素子により撮像して得たRAW画像に含まれる異常な輝度値を除外するためは、通常メディアンフィルタが用いられる(例えば、特許文献1参照。)。メディアンフィルタによる演算は、ループ処理内での条件分岐が多く用いられる演算であり、その処理速度は通常遅いものである。
また、近年では計算機に組み込まれているグラフィック・レンダリング用のGPU(Graphics Processing Unit)を、レンダリングのみならず、他の数値演算にも利用するGPGPU (General-purpose computing on graphics processing units; GPUによる汎目的計算)という技術分野が存在する。
GPUは安価なうえ、入手が容易であり、かつ高速な演算が実現できるため、画像の特殊効果(エフェクト)などの処理を行うGPUを組み込んだ編集システムがローコストで開発できるようになった。
しかしながら、単純にGPU上で動作するプログラムを作成し、実行すれば、簡単に高速化が図れるというわけではない。サイズの大きな画像の処理や、演算量の多い画像処理を、リアルタイムに実現するには、そのプログラム開発において、画像処理アルゴリズムの工夫や、実装上の工夫が必要である。
最近では、GPUを使った演算の高速化の工夫に言及する発明が、いくつか公開されている。
例えば特許文献2は、ビデオ信号の復号に関して、GPUとCPUで処理ステップを使い分け、GPUとCPUの作業負担の釣り合いをとるものである。CPUとGPUの間のデータ通信が最小限にされ、CPUおよびGPUの作業負荷の釣合いがとられ、GPUにオフロードされるモジュールを、効率的に実現できるという技術が開示されている。
これまでは、メディアンフィルタにおいて用いられる演算処理の性格上、その処理をGPGPUにおいて行うことができず、演算をGPGPUを用いて行う事によるRAW画像の欠陥画素値の補正の高速化を行うことができなかった。
以上のような事情に鑑み、本技術の目的は、RAW画像の欠陥画素値の補正を高速化できる情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
(1)上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する。
本技術では、通常メディアンフィルタを用いて一連の処理として行う欠陥画素値の補正処理を、欠陥画素を特定する処理までと、特定した後、実際に輝度値を補正するまでの処理とに分離している。また、画像の撮影も、予備撮影と本撮影に分離している。そのため、制御部での処理方法を、各処理に最適化でき、欠陥画素の輝度値の補正処理を高速化することができる。
(2)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第1の演算処理部と、前記本撮影によって取得した第2のRAW画像の輝度値を前記欠陥位置データを用いて補正する第2の演算処理部とを具備する。
本技術では、制御部が2つの演算処理部を持っているので、欠陥画素を特定する処理と、特定した後、実際に輝度値を補正する処理のそれぞれに合わせて、各演算処理部を最適化できるので、欠陥画素の輝度値の補正処理をさらに高速化することができる。
(3)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記第2の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する構成でもよい。
本技術では、メディアンフィルタのように、欠陥画素の輝度値を補正するために、メディアン(中央値)を求めるのではなく、欠陥位置の周辺画素の輝度値の平均値を用いている。そのため、補正する輝度値を得るために、メディアンフィルタのように、演算対象となる複数の画素の輝度値を並べ替えて中央値を求める演算を行う必要がない。それ故、欠陥画素の輝度値の補正処理をさらに高速化することができる。
(4)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記第1の演算処理部は、前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する構成でもよい。
本技術では、予備撮影時には、より多くの欠陥画素が出る、すなわち、明滅欠陥画素が必ず欠陥として特定される撮影条件を用いて撮影を行う。それ故、本撮影時に得られるRAW画像において、欠陥画素に対し確実に輝度値の補正をかけることができる。
(4)上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記第2の演算処理部は、グラフィックス・プロセッシング・ユニットである構成でもよい。
本技術では、第2の演算部として、高速な並列演算処理を行うことができるグラフィックス・プロセッシング・ユニットを用いるので、欠陥画素の輝度値の補正処理をさらに高速化することができる。
(5)上記目的を達成するため、本技術の一形態に係る情報処理方法では、画像取得部が、撮像素子を有する撮像部により撮像されたRAW画像を取得し、制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する。
(6)上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部、および前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部としてコンピュータを機能させる。
以上のように、本技術によれば、RAW画像の欠陥画素値の補正を高速化できる。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
まずメディアンフィルタについて説明した後、従来技術の問題点と本技術のポイントについて説明し、本技術を使用する環境について説明する。
<第1の実施形態>
まずメディアンフィルタについて説明した後、従来技術の問題点と本技術のポイントについて説明し、本技術を使用する環境について説明する。
[メディアンフィルタ]
撮像素子の撮像面を構成する画素には欠陥画素が含まれており、撮像を行った際に、欠陥画素からは、周辺の画素とはかけ離れた異常な輝度値が出力される。メディアンフィルタは、その異常な輝度値を取り除くために用いられる。
撮像素子の撮像面を構成する画素には欠陥画素が含まれており、撮像を行った際に、欠陥画素からは、周辺の画素とはかけ離れた異常な輝度値が出力される。メディアンフィルタは、その異常な輝度値を取り除くために用いられる。
図1は、メディアンフィルタの基本的な仕組みを表す図である。ある画素(マトリクスM1の中央斜線部)に注目し、その画素と周辺の8画素の輝度値を考える。まず、これらの輝度値をマトリクスM1の左上から順に書き出す。書き出したものが、数列L1である。値は左から順に11、33、25、67、80、35、55、66、94である。
次に、数列L1内の輝度値を小さい値から順に並べなおす。並べなおしたものが数列L2である。
そして最後に、数列L3に示すように、数列の中央値(メディアン)である値55を取り出し、注目画素の値を80から55に置き換える。置き換えたものがマトリックスM2である。
以上がメディアンフィルタの基本的な仕組みである。但し、このままメディアンフィルタを用いると、周辺の画素の輝度値とは明らかに異なる突出した異常値以外の輝度値も除かれてしまう可能性が高い。そこで実際には閾値を導入し、閾値を基準として輝度値の置き換えを行うか否かを判断する。
図2は、閾値との比較により、注目画素の輝度値を置き換えるか否かの判断を行う例を示す図である。図1と同じ例を使って説明する。まず、マトリクスM1の注目画素の元の輝度値は80である。また、メディアンとなる輝度値は55である。ここで、置き換える前の輝度値と置き換え候補である輝度値の差分をとり、この差分と予め定めた閾値(dth)との比較を行う。
もし、差分が閾値(例えばdth=20)より大きければ(|80−55|>dth)、この注目画素の輝度値は置き換え対象として、マトリクスM3に示すように、置き換え候補である値55と置き換えられる。もし、差分が閾値(例えばdth=30)より小さければ(|80−55|<dth)、この注目画素の輝度値は置き換え対象とはならないので、マトリクスM4に示すように、輝度値は元の値のままとなる。
このように、閾値を適切に設定することにより、明らかな異常値のみをメディアンフィルタにより補正することができる。
[従来技術の問題点と本技術のポイント]
上記のとおり、撮像素子の欠陥画素から発生する異常な輝度値を取り除くためにメディアンフィルタが用いられる。しかし、メディアンフィルタの演算処理では、上述のとおり、輝度値の並べ替え処理や、差分と閾値との大きさを比較する条件分岐処理などがあり、演算処理の高速化が難しかった。
上記のとおり、撮像素子の欠陥画素から発生する異常な輝度値を取り除くためにメディアンフィルタが用いられる。しかし、メディアンフィルタの演算処理では、上述のとおり、輝度値の並べ替え処理や、差分と閾値との大きさを比較する条件分岐処理などがあり、演算処理の高速化が難しかった。
また、近年、画像処理では、並列演算により処理の高速化を図るために、GPGPU(General-purpose computing on graphics processing units)というハードウェアが用いられるようになった。しかし、GPGPUは、単純な演算を並列化して高速に処理することはできるものの、値の並べ替えや値の大小比較など、ループ処理や条件分岐処理を行うことは難しかった。それ故、メディアンフィルタ処理をGPGPUを用いて行うことは、GPGPUを用いても高速化のメリットを大きく受ける方法ではなかった。
そこで、本技術では、メディアンフィルタによる処理を、欠陥画素の検出と、欠陥画素値の補正の2つの処理に明確に分けた。そして、それぞれの処理を行うハードウェアの最適化と運用方法の最適化を行った。
まず、ハードウェアの最適化である。欠陥画素の検出では、輝度値の並べ替え、および注目画素の輝度値と中央値である輝度値との比較までを行う。これらの処理には多くの条件分岐処理が含まれているので、処理はCPUにおいて行うほうが適している。
欠陥画素値の補正では、後述する単純な演算処理、例えば加算、乗算、配列内での要素の無条件な移動、およびビットシフトのみにより、欠陥画素の輝度値を補正するので、処理はGPGPUにおいて行うほうが適している。
次に、運用面での最適化である。欠陥画素の検出は、画像の撮影ごとに行う必要はなく、一連の検体スライドの入れ替え時や、毎朝1回など行えばよい。それ故、欠陥画素の検出処理は、行う頻度が少ないので、多少時間がかかっても、検体の撮影処理に与える影響は少なくなる。
それに対し、欠陥画素値の補正は、画像の撮影ごとに行わなければならない。それ故、GPGPUを用いた高速化により、連続撮影の場合でも補正の処理時間を最小限にとどめることが望ましい。このように、長時間の処理を少ない頻度により行い、短時間の処理を多くの頻度により行うことで最適化を行っている。
以上が、従来技術の問題点と、本技術のポイントである。
以上が、従来技術の問題点と、本技術のポイントである。
[欠陥画素の検出処理について]
次に、欠陥画素の検出処理について説明する。欠陥画素の検出とは、撮像素子の撮像面を構成する画素のうち、欠陥がある画素の位置を、撮影されたRAW画像を用いて特定する処理である。この処理を行う際に、注意しなければいけない事は、明滅欠陥の存在である。明滅欠陥とは、ある撮影条件において、欠陥となり異常な輝度値を出力したり、欠陥ではなくなり正常な輝度値を出力したりする欠陥である。
次に、欠陥画素の検出処理について説明する。欠陥画素の検出とは、撮像素子の撮像面を構成する画素のうち、欠陥がある画素の位置を、撮影されたRAW画像を用いて特定する処理である。この処理を行う際に、注意しなければいけない事は、明滅欠陥の存在である。明滅欠陥とは、ある撮影条件において、欠陥となり異常な輝度値を出力したり、欠陥ではなくなり正常な輝度値を出力したりする欠陥である。
図3は、常時欠陥となる画素と明滅欠陥となる画素を測定した例である。この例では、24メガピクセルの撮像素子を用いて、ISO400の感度において1秒間露光したものである。欠陥を判断する為に、メディアンフィルタを閾値dth=700として用いた。表の各行は、撮影を行う明るさを1(照明なし)から5(もっとも明るい)まで5段階で変化させている。
また、各明るさでは、3回(shot#0から2まで)撮影を行った。表の各列は、欠陥の位置を表すxy座標である。注目画素の輝度値とメディアンの輝度値の差分の値が700を超えるものを1として表し、それ以外を0として表している。
この図から、座標(50,582)の画素は常に欠陥となっているのに対し、座標(461,1251)の画素や座標(518,731)の画素は、輝度値の値が正常であったり異常になったりして、欠陥と判断されたりされなかったりしていることがわかる。
欠陥画素の検出の為の撮影を予備撮影、検体サンプルの撮影を本撮影と呼ぶと、常時欠陥となる画素であれば、予備撮影の時にその欠陥画素が検出され、本撮影により取得された画像の補正が適切にできる。しかし、明滅欠陥があると、予備撮影の時には欠陥にならず、本撮影の時に欠陥となると、その補正を行うことができない。
そこで、本技術では、予備撮影を本撮影よりも欠陥が出やすい撮影条件を用いて行い、明滅欠陥に対処することを行う。
図4は、撮影条件と欠陥の関係を表した図である。この図では、各欠陥をその座標により特定した上で、その数を数えている。撮像素子は、24メガピクセルの撮像素子を用いて、その温度を摂氏25度に設定し測定している。
図の上側では、ISO感度を400とし、1秒間露光し、閾値を700としてメディアンフィルタにより欠陥画素の特定を行った際の欠陥数が123個であることを示している。そして、その123個のうち122個はISO感度を100とし4秒間露光し、閾値を700として欠陥画素の特定を行って得られた欠陥数185個に含まれるが、123個のうち1個は、外れていることがわかる。
すなわち、このことは、予備撮影および欠陥の検出をISO感度100、露光4秒、閾値700として行った場合、本撮影では1個の欠陥が補正の対象外になってしまうことを表している。
図の下側では、上記と同じ123個が、ISO感度100、露光4秒、閾値500において検出された欠陥356個に全て含まれていることを表している。
このように、予備撮影の撮影条件および欠陥検出のためのメディアンフィルタの閾値を適切に設定すれば、本撮影の際に発生する欠陥を全て含むように、欠陥画素の検出を行うことができる。
なお、上記の例では、本撮影において123個の欠陥が発生するのに対し、356個の補正を行うことになってしまい、本来正常である(356−123=)233個の画素の値を補正してしまう。しかし、その数は全体の画素数24メガピクセルに比べれば、有効画素率の観点から無視できる範囲である。
僅かな数の正常な画素の輝度値を補正してしまうことよりも、欠陥画素の輝度値の補正漏れを防ぐことのほうが補正結果に与える影響が大きいので、大事である。
以下では、撮像素子の画素配列の例として、単板RGB配列、単板RGBW配列、3板RGB配列、および単板白黒配列について、それぞれ欠陥画素の検出方法を説明する。
[欠陥画素の検出方法の例1(単板RGB配列)]
ここでは、撮像素子の画素配列が単板RGB配列の場合の、欠陥画素の検出方法を説明する。図5は、単板RGB配列の例を示す図である。Rは赤色の光学フィルタが設けられた画素を表し、Bは同じく青色、Gは同じく緑色である。なお、説明の便宜上、緑色の画素をG1およびG2に分けて表している。
ここでは、撮像素子の画素配列が単板RGB配列の場合の、欠陥画素の検出方法を説明する。図5は、単板RGB配列の例を示す図である。Rは赤色の光学フィルタが設けられた画素を表し、Bは同じく青色、Gは同じく緑色である。なお、説明の便宜上、緑色の画素をG1およびG2に分けて表している。
図6は、単板RGB配列の場合の、赤色の画素に対してメディアンフィルタをかける対象(9個)を表した図である。欠陥画素の検出にメディアンフィルタを用いることは基本的に変わらない。しかし、必ずメディアンフィルタを用いなければいけないわけではなく、他のアルゴリズムを用いて欠陥画素を検出してもよい。
図6に示すように、図中丸印を用いて示した注目画素の欠陥判定を行うためには、図中斜線により示した8つの画素および注目画素の輝度値に対してメディアンフィルタをかける。ここで注意しなければならないことは、同じ色の画素を対象としてメディアンフィルタをかけることである。この点は、他の色やほかの撮像素子の画素配列でも同様である。
メディアンフィルタをかける際の詳細は、撮影機材により異なるので、ここでの説明は省略する。
なお、図6では、全部で9個の画素を対象としてメディアンフィルタをかけたが、このほかに、図7に示す位置の画素を対象としてメディアンフィルタをかけてもよい。図7は、単板RGB配列の場合の、赤色の画素に対してメディアンフィルタをかける対象(5個)を表した図である。メディアンフィルタをかける対象の画素数を減らすことにより、輝度値の並べ替え処理に要する時間を短縮することができる。
以上が赤色を対象としたメディアンフィルタのかけ方の説明である。青色の画素は、単板RGB配列の場合、赤色と同じ配列となるので、説明は省略する。
次に、緑色の画素に対してメディアンフィルタをかける例を3つ示す。図中の丸印は、注目画素の位置を表し、斜線は、メディアンフィルタの対象となる画素であることを表している。図8は、単板RGB配列の場合の、緑色G1の注目画素に対してメディアンフィルタをかける対象(注目画素のG1および周辺のG2、合計5個)を表した図である。
図9は、単板RGB配列の場合の、緑色G1の注目画素に対してメディアンフィルタをかける対象(注目画素のG1および周辺のG1、合計9個)を表した図である。図10は、単板RGB配列の場合の、緑色G1の注目画素に対してメディアンフィルタをかける対象(注目画素のG1および周辺のG1、合計5個)を表した図である。
以上、撮像素子の画素配列が単板RGB配列の場合の各色に対するメディアンフィルタのかけ方について説明を行った。
[欠陥画素の検出方法の例2(単板RGBW配列)]
ここでは、撮像素子の画素配列が単板RGBW配列の場合の、欠陥画素の検出方法を説明する。図11は、単板RGBW配列の例を示す図である。Rは赤色の光学フィルタが設けられた画素を表し、Bは同じく青色、Gは同じく緑色、Wは同じく白色である。
ここでは、撮像素子の画素配列が単板RGBW配列の場合の、欠陥画素の検出方法を説明する。図11は、単板RGBW配列の例を示す図である。Rは赤色の光学フィルタが設けられた画素を表し、Bは同じく青色、Gは同じく緑色、Wは同じく白色である。
図12は、単板RGBW配列の場合の、赤色の画素に対してメディアンフィルタをかける対象(5個)を表した図である。図12に示すように、図中丸印を用いて示した注目画素の欠陥判定を行うためには、図中斜線により示した4つの画素および注目画素の輝度値に対してメディアンフィルタをかける。
以上が赤色を対象としたメディアンフィルタのかけ方の説明である。青色の画素は、単板RGBW配列の場合、赤色と同じ配列となるので、説明は省略する。
次に、緑色の画素に対してメディアンフィルタをかける例を示す。図中の丸印は、注目画素の位置を表し、斜線は、メディアンフィルタの対象となる画素であることを表している。図13は、単板RGBW配列の場合の、緑色の注目画素に対してメディアンフィルタをかける対象(注目画素のGおよび周辺のG、合計3個)を表した図である。
次に、白色の画素に対してメディアンフィルタをかける例を示す。図14は、単板RGBW配列の場合の、白色の注目画素に対してメディアンフィルタをかける対象(注目画素のWおよび周辺のW、合計5個)を表した図である。
以上、撮像素子の画素配列が単板RGBW配列の場合の各色に対するメディアンフィルタのかけ方について説明を行った。
[欠陥画素の検出方法の例3(3板RGB配列)]
ここでは、撮像素子の画素配列が3板RGB配列の場合の、欠陥画素の検出方法を説明する。図15は、3板RGB配列のうち、赤色の撮像素子の配列の例を示す図である。青色および緑色の撮像素子も同じ配列となり、同じ方法を用いてメディアンフィルタをかけるので、説明は省略する。
ここでは、撮像素子の画素配列が3板RGB配列の場合の、欠陥画素の検出方法を説明する。図15は、3板RGB配列のうち、赤色の撮像素子の配列の例を示す図である。青色および緑色の撮像素子も同じ配列となり、同じ方法を用いてメディアンフィルタをかけるので、説明は省略する。
図16は、3板RGB配列のうち、赤色の画素に対してメディアンフィルタをかける対象(9個)を表した図である。
また、図16では、全部で9個の画素を対象としてメディアンフィルタをかけたが、このほかに、図17に示す位置の画素を対象としてメディアンフィルタをかけてもよい。図17は、3板RGB配列のうち、赤色の画素に対してメディアンフィルタをかける対象(5個)を表した図である。
以上、撮像素子の画素配列が3板RGB配列の場合の各色に対するメディアンフィルタのかけ方について説明を行った。
[欠陥画素の検出方法の例4(単板白黒配列)]
撮像素子が単板白黒配列である場合は、3板RGB配列の3色のうちいずれか1つの配列と同じ配列となるので、説明は省略する。
撮像素子が単板白黒配列である場合は、3板RGB配列の3色のうちいずれか1つの配列と同じ配列となるので、説明は省略する。
[欠陥位置データについて]
欠陥位置データは、例えば、撮像素子の画素の配置に対応させて、正常な画素の位置は1により表現し、欠陥である画素の位置は0により表現した、マトリックスとして表現することができる。要素の値が0または1のマトリックスとすることにより、GPGPUを用いて輝度値の補正処理を行う際の演算を単純化することができる。
欠陥位置データは、例えば、撮像素子の画素の配置に対応させて、正常な画素の位置は1により表現し、欠陥である画素の位置は0により表現した、マトリックスとして表現することができる。要素の値が0または1のマトリックスとすることにより、GPGPUを用いて輝度値の補正処理を行う際の演算を単純化することができる。
マトリックスは、例えば撮像素子の画素配列が単板RGB配列の場合、赤色および青色共通の欠陥位置マトリックスと、緑色専用の欠陥位置マトリックスを作成しておくのがよい。輝度値補正の段階では、輝度値の補正を赤色および青色に対する処理と、緑色に対する処理の2つに分けて行うが、その際に使用する欠陥位置マトリックスが異なるからである。
なお、GPGPUにおける欠陥画素値の補正処理の際に演算で用いるために、欠陥位置マトリックスの0と1を論理反転させた論理反転マトリックスも、欠陥位置データに含めて作成しておく。
[欠陥画素値の補正処理について]
欠陥画素値の補正処理は、高速化のため、GPGPUにおいて行う。メディアンフィルタを用いて補正まで行う場合は、その補正値はメディアンである値を用いる。しかし、GPGPUを用いて演算処理の高速化を行う場合には、メディアンではなく、欠陥画素に近接する周辺画素の平均値により、欠陥画素の輝度値の補正を行う。
欠陥画素値の補正処理は、高速化のため、GPGPUにおいて行う。メディアンフィルタを用いて補正まで行う場合は、その補正値はメディアンである値を用いる。しかし、GPGPUを用いて演算処理の高速化を行う場合には、メディアンではなく、欠陥画素に近接する周辺画素の平均値により、欠陥画素の輝度値の補正を行う。
なお、前者および後者による補正結果が実用上同じ結果になることは確認済みである。その理由は、欠陥画素は1個の独立した画素であることがほとんどであり、欠陥画素の突出した輝度値に比べ、欠陥画素の周辺画素の輝度値はほぼ同様の輝度値になるので、中央値であっても平均値であっても、目視した際に大きな違いは感じられないからである。
さらに言うと、欠陥画素値の補正処理では、GPGPU用に最適化された演算方法として、なるべく、マトリックスの加算、乗算、要素位置の移動、ビットシフトを組み合わせて、近接する周辺画素の平均値を求めることが、高速化のポイントとなる。ループ処理や条件分岐処理を無くし、なるべく並列化の度合いを高めることも、高速化のポイントである。
以下では、上記において説明した、単板RGB配列、単板RGBW配列、3板RGB配列、単板白黒配列の例について、それぞれ補正の演算方法を説明する。
[欠陥画素値の補正方法の例1(単板RGB配列)]
ここでは、撮像素子の画素配列が単板RGB配列の場合の、欠陥画素値の補正方法を説明する。なお、単板RGB配列の場合、赤色と青色の配列方法は同じであり、赤色と青色の補正方法は同じであり同時に行えるので、以下では赤色を例に説明を行う。
ここでは、撮像素子の画素配列が単板RGB配列の場合の、欠陥画素値の補正方法を説明する。なお、単板RGB配列の場合、赤色と青色の配列方法は同じであり、赤色と青色の補正方法は同じであり同時に行えるので、以下では赤色を例に説明を行う。
図18は、単板RGB配列の場合の、赤色の画素に対して欠陥画素値を補正するために平均をとる周辺画素(4個)を示した図である。図中、丸印により示した画素が欠陥画素であり、その周辺にある斜線を引いた画素が、欠陥画素の輝度値を補正するために、平均値をとる周辺画素である。
図中で注目すべき点は、欠陥画素と平均値をとる周辺画素の位置関係である。4個の周辺画素は、欠陥画素からみて、それぞれ上方向、下方向、右方向、左方向へ2画素分移動した位置にあるという点である。この点を念頭に置いて、GPGPUに適した演算を考えると、例えば、図19に示す演算が考えられる。
図19は、単板RGB配列の場合の、赤色および青色の欠陥画素値の補正を行う演算方法の例を示す図である。図中、元のRAW画像S0のRおよびBにより示す個所に丸印が付いているが、これは欠陥画素の位置を示しており、欠陥位置マトリックスDMでは、それらの丸印に対応した位置に1が立っている。
まず、元のRAW画像S0に対し、それぞれ上方向、下方向、右方向、左方向へ2画素分、画素値を移動させたシフトRAW画像S1からS4までを作成する。そして、シフトRAW画像S1からS4までを画素ごとに加算する。加算した結果を、仮に加算RAW画像と呼ぶ。ここまでの演算により、図18の斜線により示した周辺画素の輝度値を合計する処理が、欠陥の有無にかかわらず全体的に行われたことになる。
ここまでの演算では、欠陥の有無を考慮していないので、ここからの演算では、欠陥位置マトリックスDMおよび論理反転マトリックスNMを用いて、欠陥の有無による値の選別の処理を行う。
まず、上記の演算で得られた加算RAW画像に対して欠陥位置マトリックスDMを乗じて、欠陥位置の加算結果のみを取り出す。そして、元のRAW画像S0を4倍したものに倫理反転マトリックスNMを乗じて、欠陥位置以外の、4倍にされた輝度値を取り出す。最後に、欠陥位置の加算結果と、欠陥位置以外の、4倍にされた輝度値とを合計する。
以上が、単板RGB配列の場合に、赤色および青色を補正する演算方法である。以上の演算は、GPGPU用に最適化されているので、演算の中にループ処理や条件判断処理が入っていない点がポイントである。
なお、周辺画素の平均値を求める場合、最後に加算した画素の個数により合計値を除さなければならないが、その処理は、RAW画像の現像処理の後に行われる8bit化処理の際に合わせて行われるので、ここでは除算は行わない。
また、上記の演算では、なるべく4という数字を用いている。これは、4倍にする場合は、2ビット桁を上げる方向にビットシフトすれば得られる値であり、4で除する場合は、逆方向に2ビットだけビットシフトすればよいので演算が簡略化されるからである。
次に、図8に示した緑色の補正について説明する。図20は、単板RGB配列の場合の、緑色の画素に対して欠陥画素値を補正するために平均をとる周辺画素(4個)を示した図である。図中、丸印により示した画素が欠陥画素であり、その周辺にある斜線を引いた画素が、欠陥画素の輝度値を補正するために、平均値をとる周辺画素である。また、図21は、単板RGB配列の場合の、緑色の欠陥画素値の補正を行う演算方法の例を示す図である。
図8に示した緑色の補正も、基本的な方法は、赤色および青色の場合と同様である。但し、補正する輝度値の位置に対し、平均値をとる周辺画素は、それぞれ右上方向、左上方向、右下方向、左下方向に、1画素分移動した位置にある。そこで、シフトRAW画像S1からS4までも、元のRAW画像S0を、それぞれ右上方向、左上方向、右下方向、左下方向に、1画素分移動させて作成することになる。この点以外は、赤色および青色の補正方法と同様なので、説明は省略する。なお、上記説明では、緑色の画素の補正に図8に示した場合の補正を用いた場合を示したが、図10に示す緑色の補正方法を用いる場合には、赤色および青色と同様の補正方法であるので、図19に示した方法により赤色青色緑色の補正を同時に行うことも可能となる。
[欠陥画素値の補正方法の例2(単板RGBW配列)]
ここでは、撮像素子の画素配列が単板RGBW配列の場合の、欠陥画素値の補正方法を説明する。なお、単板RGBW配列の場合、赤色と青色の配列方法は同じであり、赤色と青色の補正方法は同じであり同時に行えるので、以下では赤色を例に説明を行う。
ここでは、撮像素子の画素配列が単板RGBW配列の場合の、欠陥画素値の補正方法を説明する。なお、単板RGBW配列の場合、赤色と青色の配列方法は同じであり、赤色と青色の補正方法は同じであり同時に行えるので、以下では赤色を例に説明を行う。
図22は、単板RGBW配列の場合の、赤色の画素に対して欠陥画素値を補正するために平均をとる周辺画素(4個)を示した図である。図中、丸印により示した画素が欠陥画素であり、その周辺にある斜線を引いた画素が、欠陥画素の輝度値を補正するために、平均値をとる周辺画素である。
この図から分かるように、単板RGBW配列の場合に、赤色および青色の補正を行う際は、上記の単板RGB配列での補正の際の演算方法において、シフトRAW画像S1からS4を作成するために、元のRAW画像S0をそれぞれ右上方向、左上方向、右下方向、左下方向に、2画素分移動させればよいことがわかる。この点以外は、単板RGB配列での補正と同じなので説明は省略する。
図23は、単板RGBW配列の場合の、緑色の画素に対して欠陥画素値を補正するために平均をとる周辺画素(2個)を示した図である。平均値をとる周辺画素が2個だけなので、上記の単板RGB配列での補正の際の演算方法からの変更点は、シフトRAW画像が、元のRAW画像をそれぞれ右上方向および左下方向に1画素分移動させたS1およびS2の2枚だけとなる点である。また、元のRAW画像S0は、4倍するのではなく、2倍することになる。
図24は、単板RGBW配列の場合の、白色の画素に対して欠陥画素値を補正するために平均をとる周辺画素(4個)を示した図である。シフトRAW画像S1からS4を作成するために、元のRAW画像S0をそれぞれ右上方向、左上方向、右下方向、左下方向に、1画素分移動させればよいことがわかる。
[欠陥画素値の補正方法の例3(3板RGB配列および単板白黒配列)]
最後の例は、撮像素子の画素配列が3板RGB配列または単板白黒配列の場合の、欠陥画素値の補正方法である。基本的な考え方は上記において説明した通りである。
最後の例は、撮像素子の画素配列が3板RGB配列または単板白黒配列の場合の、欠陥画素値の補正方法である。基本的な考え方は上記において説明した通りである。
図25は、3板RGB配列または単板白黒配列の場合の、単色の画素に対して欠陥画素値を補正するために平均をとる周辺画素(4個)を示した図である。図25から分かるように、シフトRAW画像S1からS4を作成するために、元のRAW画像S0をそれぞれ上方向、下方向、右方向、左方向に、1画素分移動させればよいことがわかる。
[画像取得装置の構成]
次に、上記において説明した欠陥画素の検出処理および欠陥画素値の補正処理を実際に行う情報処理装置の構成に関する説明を行う。図26は本実施形態に係る情報処理装置を含んで構成される、蛍光画像を取得する画像取得装置100の構成を示す図である。なお、ここでは蛍光顕微鏡を例に挙げているが、顕微鏡はこれ以外に明視野顕微鏡であってもよい。
次に、上記において説明した欠陥画素の検出処理および欠陥画素値の補正処理を実際に行う情報処理装置の構成に関する説明を行う。図26は本実施形態に係る情報処理装置を含んで構成される、蛍光画像を取得する画像取得装置100の構成を示す図である。なお、ここでは蛍光顕微鏡を例に挙げているが、顕微鏡はこれ以外に明視野顕微鏡であってもよい。
画像取得装置100は蛍光顕微鏡10と、情報処理装置20とを有する。
蛍光顕微鏡10は、ステージ11、光学系12、光源13、撮像素子14、光源駆動部15、ステージ駆動部16、およびカメラ制御部17を有する。
蛍光顕微鏡10は、ステージ11、光学系12、光源13、撮像素子14、光源駆動部15、ステージ駆動部16、およびカメラ制御部17を有する。
ステージ11は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルSPLを配置可能な面を有する。ステージ11は、その面に対して平行方向(xy軸)及び直交方向(z軸方向)に移動自在に構成される。
ステージ11の上方には光学系12が配置される。光学系12は、対物レンズ12A、結像レンズ12B、ダイクロイックミラー12C、エミッションフィルタ12D及び励起フィルタ12Eを有する。
励起フィルタ12Eは、生体サンプルSPLの蛍光像を得る場合に、光源13から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー12Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ12Aへ導く。対物レンズ12Aは、当該励起光を生体サンプルSPLへ集光する。そして対物レンズ12A及び結像レンズ12Bは、生体サンプルSPLの像を所定の倍率に拡大し、当該拡大像を撮像素子14の撮像面に結像させる。
光源13は、例えば水銀ランプ等の電球やLED(Light Emitting Diode)などであり、生体サンプルSPLに付された蛍光標識に対する励起光を照射するものである。
生体サンプルSPLに励起光が照射されると、生体サンプルSPLの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ12Aを介してダイクロイックミラー12Cを透過し、エミッションフィルタ12Dを介して結像レンズ12Bへ到達する。
エミッションフィルタ12Dは、上記対物レンズ12Aによって拡大された、励起フィルタ12Eを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ12Bにより拡大され、撮像素子14上に結像される。
撮像素子14としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、CCD(Charge Coupled Device)イメージセンサ、およびCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。
光源駆動部15は、情報処理装置20からの発光命令S1をもとに光源13Aに一定の駆動電流を供給して光源13Aを発光させるドライブ回路を少なくとも有する。
ステージ駆動部16は、情報処理装置20からのステージ制御信号S2をもとにステージ11を駆動するためのxyzの3軸方向それぞれのステージ駆動電流を供給してステージ11を3軸方向に移動させる。
カメラ制御部17は、情報処理装置20からの露光制御信号S3をもとに撮像素子14の制御を行う。カメラ制御部17は、撮像素子14から読み出された各画素に対応する信号(RAWデータ)をA/D(Analog to Digital)変換して情報処理装置20に供給する。
情報処理装置20は、顕微鏡10のカメラ制御部17より供給されるRAWデータに画像処理(後述)を行い、保存する。また、情報処理装置20は、所定のプログラムに基づいて光源駆動部15、ステージ駆動部16及びカメラ制御部17をそれぞれ制御するための演算処理を実行する。
[情報処理装置20の構成]
次に、情報処理装置20の構成について説明する。
図27は、本技術に係る情報処理装置20のハードウェアの構成を示すブロック図である。
次に、情報処理装置20の構成について説明する。
図27は、本技術に係る情報処理装置20のハードウェアの構成を示すブロック図である。
情報処理装置20は、演算制御を行うCPU(Central Processing Unit)21(制御部、第1の演算処理部)、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令を入力する操作入力部24、インターフェイス部25、表示部26、記憶部27、ネットワークインターフェイス部28、GPGPU(General-purpose computing on graphics processing units)30(制御部、第2の演算処理部)、およびこれらを互いに接続するバス29を備える。
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、顕微鏡10が接続される。ネットワークインターフェイス部28には、ネットワークが接続される。
表示部26には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。記憶部27には、HDD(Hard Disk Drive)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、表示部26及び記憶部27を適宜制御する。またCPU21は、RAM23に展開されたプログラムに従って、インターフェイス部25を介して顕微鏡10の各部を適宜制御する。
GPGPU30は、RAW画像補正処理、シェーディング処理、JPEG化処理などの画像処理を並列演算処理により実行することが可能である。
CPU21およびGPGPU30は、後述する各機能ブロックを実現する。CPU21は、ROM22および記憶部27等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、情報処理装置20は、種々の機能ブロックを実現することができ、上記各部材を、情報処理装置20として動作させることができる。
[情報処理装置20の機能ブロック]
図28は、本技術に係る情報処理装置20の機能ブロック図である。なお、図中に示されている実線の矢印は、情報処理装置20における、撮影された画像データの流れを示している。また、太線の矢印は、撮像素子14の欠陥画素の位置を示す位置欠陥データの流れを示している。
図28は、本技術に係る情報処理装置20の機能ブロック図である。なお、図中に示されている実線の矢印は、情報処理装置20における、撮影された画像データの流れを示している。また、太線の矢印は、撮像素子14の欠陥画素の位置を示す位置欠陥データの流れを示している。
なお、予備撮影の際に機能するのは、順に、画像取得部43、欠陥位置データ生成部44、欠陥位置データ格納部45である。本撮影の際に機能するのは、順に、画像取得部43、欠陥位置データ格納部45、画像補正部46、現像処理部47、シェーディング処理部48、カラーバランス補正部49、ガンマ補正部50、8bit化処理部51、ディストーション補正部52と続く。さらに本撮影では、スティッチング処理部53、タイル分割処理部54、JPEG化処理部55へと処理が続き、処理された画像が記憶部27に一時保存された後、ネットワークインターフェイス部28を通じてイメージ管理サーバへアップロードされる。
CPU21は、撮像素子14の欠陥画素の位置を特定するプログラムおよび8bitJPEGカラー画像の作成命令に対応するプログラムに従って、図4に示すように、ステージ制御部41、光源制御部42、画像取得部43(画像取得部)、欠陥位置データ生成部44、スティッチング処理部53、タイル分割処理部54として機能する。
また、GPGPU30は、欠陥画素の位置にある輝度値を補正するプログラムおよび8bitJPEGカラー画像の作成命令に対応するプログラムに従って、画像補正部46、現像処理部47、シェーディング処理部48、カラーバランス補正部49、ガンマ補正部50、8bit化処理部51、ディストーション補正部52、JPEG化処理部55として機能する。
また、記憶部27は、欠陥位置データ格納部45として機能する。
ステージ制御部41は、ステージ駆動部16を制御信号S2により制御することにより、ステージ11の移動を行う。
光源制御部42は、光源駆動部15を制御信号S1により制御することにより、光源13Aの制御を行う。
画像取得部43は、カメラ制御部17を信号S3により制御することにより、様々な撮影条件を設定して画像の撮影を行い、撮影された画像を、RAW画像として、撮像素子14からカメラ制御部17を介して取得する。
欠陥位置データ生成部44は、撮像素子14を用いた予備撮影により撮像されたRAW画像を画像取得部43から取得し、メディアンフィルタを用いて、撮像素子14の欠陥位置を特定し、欠陥位置データを生成する。生成された欠陥位置データは、欠陥位置データ格納部45に格納される。
欠陥位置データ格納部45は、欠陥位置データ生成部44により生成された欠陥位置データを格納し、必要に応じ画像補正部46に供給する。
画像補正部46は、画像取得部43から渡されたRAW画像に含まれる画素の欠陥を、欠陥位置データ格納部45から渡された欠陥位置データに基づいて補正する。補正は、欠陥画素の輝度値を周辺画素の輝度値平均により置き換えることにより行う。
現像処理部47は、画像取得部43が取得し、画像補正部46が補正したRAW画像の現像(デモザイク)処理を行い、カラー画像化する。
シェーディング処理部48は、現像処理部47が現像した画像に対してシェーディング処理を行う。カラーバランス補正部49は、シェーディング処理された画像に対して、カラーバランス(ホワイトバランス)補正を行い、本来無彩色の部分を無彩色に修正する。ガンマ補正部50は、カラーバランス補正された画像に対してガンマ補正を行い、色のデータと、それが実際に出力される際の信号の相対関係を調節する。
8bit化処理部51は、ガンマ補正された画像の階調値を16bitから8bitにする。ディストーション補正部52は、8bit化された画像に対しディストーション補正を行い、レンズの歪曲収差(ディストーション)を補正する。
スティッチング処理部53は、ディストーション補正が済んだ複数の画像にスティッチングを行い、近接位置画像との相対位置情報の取得を行うことにより、隣り合う画像同士を貼り合わせる。
タイル分割処理部54は、高速表示を行う為に貼り合わせられた画像をタイルに分割する。なお、タイル分割処理は画像データを高速に表示するために行うものであり、必須の処理ではない。JPEG化処理部55は、タイル分割された画像のJPEG化を行う。JPEG化された画像は、記憶部27に格納された後、ネットワークインターフェイス部28を経由して、イメージ管理サーバ(図示せず)にアップロードされ、閲覧に供される。
[欠陥画素の検出処理と欠陥画素値の補正処理の流れ]
次に、欠陥画素の検出と欠陥画素値の補正について、全体的な流れを説明する。図29は、欠陥画素の検出と欠陥画素値の補正についての全体的な流れを示すフローチャートである。
次に、欠陥画素の検出と欠陥画素値の補正について、全体的な流れを説明する。図29は、欠陥画素の検出と欠陥画素値の補正についての全体的な流れを示すフローチャートである。
まず、画像取得部43が、光源駆動部15およびカメラ制御部17を介して、予備撮影のための撮影条件を用いて、撮像素子14に予備撮影を行わせ、予備撮影により撮像されたRAW画像を取得する(ステップST1)。取得したRAW画像は、欠陥位置データ生成部44に渡される。
次に、欠陥位置データ生成部44が、画像取得部43から渡されたRAW画像に対し、上述のとおり、メディアンフィルタをかけて、欠陥画素の検出を行う。検出した欠陥画素の位置を、欠陥位置マトリックスDMおよび論理反転マトリックスNMを含んだ欠陥位置データとして生成する(ステップST2)。欠陥位置データ生成部44は、生成した欠陥位置データを、欠陥位置データ格納部45に格納する。
次に、画像取得部43が、光源駆動部15およびカメラ制御部17を介して、本撮影のための撮影条件を用いて、撮像素子14に本撮影を行わせ、本撮影により撮像されたRAW画像を取得する(ステップST3)。取得したRAW画像は、画像補正部46に渡される。
次に、画像補正部46が、画像取得部43から渡されたRAW画像と、欠陥位置データ格納部45から引き出した欠陥位置データとに基づき、欠陥画素値の補正を行う(ステップST4)。補正方法は、上述のとおりである。画像補正部46は、補正したRAW画像を、現像処理部47に渡す。
次に、現像処理部47が渡されたRAW画像の現像処理を行い、現像された画像は、シェーディング処理部48、カラーバランス補正部49、ガンマ補正部50、8bit化処理部51、ディストーション補正部52、スティッチング処理部53へと渡される。そしてさらに、処理された画像は、タイル分割処理部54、JPEG化処理部55へと渡され、記憶部27に一時保存される(ステップST5)。
ステップST3の本撮影から、ステップST5の本撮影により得られた画像の記憶部27への保存までの処理は、本撮影の撮影対象が無くなるまで繰り返される(ステップST6のN)。
以上が、欠陥画素の検出と欠陥画素値の補正についての全体的な流れである。
以上が、欠陥画素の検出と欠陥画素値の補正についての全体的な流れである。
[本技術の別の構成]
なお、本技術は以下のような構成も採ることができる。
(1)撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、前記制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第1の演算処理部と、前記本撮影によって取得した第2のRAW画像の輝度値を前記欠陥位置データを用いて補正する第2の演算処理部とを具備する情報処理装置。
(3)前記(2)に記載の情報処理装置であって、前記第2の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する情報処理装置。
(4)前記(2)または(3)に記載の情報処理装置であって、前記第1の演算処理部は、前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する情報処理装置。
(5)前記(2)から(4)のうちいずれか1つに記載の情報処理装置であって、前記第2の演算処理部は、グラフィックス・プロセッシング・ユニットである情報処理装置。
(6)画像取得部が、撮像素子を有する撮像部により撮像されたRAW画像を取得し、制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する情報処理方法。
(7)撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部、および前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部としてコンピュータを機能させる情報処理プログラム。
なお、本技術は以下のような構成も採ることができる。
(1)撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部と、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部とを具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、前記制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第1の演算処理部と、前記本撮影によって取得した第2のRAW画像の輝度値を前記欠陥位置データを用いて補正する第2の演算処理部とを具備する情報処理装置。
(3)前記(2)に記載の情報処理装置であって、前記第2の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する情報処理装置。
(4)前記(2)または(3)に記載の情報処理装置であって、前記第1の演算処理部は、前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する情報処理装置。
(5)前記(2)から(4)のうちいずれか1つに記載の情報処理装置であって、前記第2の演算処理部は、グラフィックス・プロセッシング・ユニットである情報処理装置。
(6)画像取得部が、撮像素子を有する撮像部により撮像されたRAW画像を取得し、制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する情報処理方法。
(7)撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部、および前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部としてコンピュータを機能させる情報処理プログラム。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10…蛍光顕微鏡
11…ステージ
12…光学系
13…光源
14…撮像素子
15…光源駆動部
16…ステージ駆動部
17…カメラ制御部
20…情報処理装置
21…CPU
22…ROM
23…RAM
24…操作入力部
25…インターフェイス部
26…表示部
27…記憶部
28…ネットワークインターフェイス部
29…バス
30…GPGPU
43…画像取得部
44…欠陥位置データ生成部
45…欠陥位置データ格納部
46…画像補正部
47…現像処理部
48…シェーディング処理部
49…カラーバランス補正部
50…ガンマ補正部
51…8bit化処理部
52…ディストーション補正部
53…スティッチング処理部
54…タイル分割処理部
55…JPEG化処理部
100…画像取得装置
11…ステージ
12…光学系
13…光源
14…撮像素子
15…光源駆動部
16…ステージ駆動部
17…カメラ制御部
20…情報処理装置
21…CPU
22…ROM
23…RAM
24…操作入力部
25…インターフェイス部
26…表示部
27…記憶部
28…ネットワークインターフェイス部
29…バス
30…GPGPU
43…画像取得部
44…欠陥位置データ生成部
45…欠陥位置データ格納部
46…画像補正部
47…現像処理部
48…シェーディング処理部
49…カラーバランス補正部
50…ガンマ補正部
51…8bit化処理部
52…ディストーション補正部
53…スティッチング処理部
54…タイル分割処理部
55…JPEG化処理部
100…画像取得装置
Claims (7)
- 撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部と、
前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記制御部が、
前記撮像部に予備撮影対象を予備撮像させることによって取得した第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させる第1の演算処理部と、
前記本撮影によって取得した第2のRAW画像の輝度値を前記欠陥位置データを用いて補正する第2の演算処理部と
を具備する情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記第2の演算処理部は、画素の色ごとに、欠陥位置の周辺画素の輝度値の平均を算出し、この平均値を当該欠陥位置の輝度値として補正する
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記第1の演算処理部は、
前記予備撮影時に、前記本撮影時に比較して前記撮像素子の画素毎の欠陥特性を強調可能な撮像条件を前記撮像部に設定する
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記第2の演算処理部は、グラフィックス・プロセッシング・ユニットである
情報処理装置。 - 画像取得部が、撮像素子を有する撮像部により撮像されたRAW画像を取得し、
制御部が、前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する
情報処理方法。 - 撮像素子を有する撮像部により撮像されたRAW画像を取得する画像取得部、および
前記撮像部に予備撮影対象を予備撮像させることによって取得した前記RAW画像を第1のRAW画像として、この第1のRAW画像について、注目画素とこの注目画素の周辺の画素の値に対する変化の大きさをもとに前記第1のRAW画像における欠陥画素を特定して欠陥位置データを生成し、前記撮像部に本撮影対象を本撮影させることによって取得した前記RAW画像を第2のRAW画像として、この第2のRAW画像の輝度値を、前記欠陥位置データを用いて補正する制御部
としてコンピュータを機能させる情報処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012157242A JP2014022801A (ja) | 2012-07-13 | 2012-07-13 | 情報処理装置、情報処理方法、および情報処理プログラム |
US13/910,533 US20140016005A1 (en) | 2012-07-13 | 2013-06-05 | Information processing apparatus, information processing method, and information processing program |
CN201310280834.8A CN103546661A (zh) | 2012-07-13 | 2013-07-05 | 信息处理设备、信息处理方法以及信息处理程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012157242A JP2014022801A (ja) | 2012-07-13 | 2012-07-13 | 情報処理装置、情報処理方法、および情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014022801A true JP2014022801A (ja) | 2014-02-03 |
Family
ID=49913692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012157242A Pending JP2014022801A (ja) | 2012-07-13 | 2012-07-13 | 情報処理装置、情報処理方法、および情報処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140016005A1 (ja) |
JP (1) | JP2014022801A (ja) |
CN (1) | CN103546661A (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3151552A4 (en) * | 2014-05-30 | 2018-02-21 | Hitachi Kokusai Electric Inc. | Monitoring system and camera device |
CN105335298B (zh) * | 2014-08-13 | 2018-10-09 | Tcl集团股份有限公司 | 一种显示面板的亮度补偿数值的存储方法及装置 |
US10536633B2 (en) * | 2015-02-06 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging system and imaging apparatus including the same, and image processing method |
FR3038195B1 (fr) | 2015-06-26 | 2018-08-31 | Ulis | Detection de pixels parasites dans un capteur d'image infrarouge |
FR3038194B1 (fr) | 2015-06-26 | 2017-08-11 | Ulis | Correction de pixels parasites dans un capteur d'image infrarouge |
TWI543616B (zh) * | 2015-07-21 | 2016-07-21 | 原相科技股份有限公司 | 在數位域降低影像感測器之固定圖案雜訊的方法與裝置 |
JP2017055309A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017055308A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
TWI558211B (zh) * | 2015-11-19 | 2016-11-11 | 晶相光電股份有限公司 | 影像處理方法與裝置 |
US10180745B2 (en) * | 2015-12-25 | 2019-01-15 | Shanghai Avic Optoelectronics Co., Ltd. | Display panel and display device with narrow bezel |
KR102555400B1 (ko) * | 2016-09-06 | 2023-07-14 | 삼성디스플레이 주식회사 | 표시 장치 및 이의 영상 표시 방법 |
JP2018126389A (ja) * | 2017-02-09 | 2018-08-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10714018B2 (en) * | 2017-05-17 | 2020-07-14 | Ignis Innovation Inc. | System and method for loading image correction data for displays |
WO2019003911A1 (en) * | 2017-06-27 | 2019-01-03 | Sony Corporation | MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING METHOD, AND CALCULATION SYSTEM |
JP6955147B2 (ja) * | 2017-07-13 | 2021-10-27 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
TWI753410B (zh) * | 2020-04-24 | 2022-01-21 | 晶相光電股份有限公司 | 影像感測系統以及缺陷感光元件偵測以及修正方法 |
US11823417B2 (en) * | 2020-07-16 | 2023-11-21 | Samsung Electronics Co., Ltd. | Camera module, image processing system and image compression method |
US11509845B2 (en) * | 2021-03-05 | 2022-11-22 | Black Sesame Technologies Inc. | Multiple frame defect pixel detection and correction |
US20230342897A1 (en) * | 2022-04-26 | 2023-10-26 | Communications Test Design, Inc. | Method to detect camera blemishes |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3773773B2 (ja) * | 1999-10-27 | 2006-05-10 | 三洋電機株式会社 | 画像信号処理装置及び画素欠陥の検出方法 |
JP2004023331A (ja) * | 2002-06-14 | 2004-01-22 | Sanyo Electric Co Ltd | ディジタルカメラ |
US7283164B2 (en) * | 2002-09-18 | 2007-10-16 | Micron Technology, Inc. | Method for detecting and correcting defective pixels in a digital image sensor |
JP2005354278A (ja) * | 2004-06-09 | 2005-12-22 | Seiko Epson Corp | 撮像手段の撮像した画像の画像データを処理する画像データ処理 |
JP5655355B2 (ja) * | 2009-11-02 | 2015-01-21 | ソニー株式会社 | 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム |
JP5656561B2 (ja) * | 2010-10-28 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
JP5868039B2 (ja) * | 2011-06-30 | 2016-02-24 | キヤノン株式会社 | 撮像装置、画像合成方法、及びコンピュータプログラム |
-
2012
- 2012-07-13 JP JP2012157242A patent/JP2014022801A/ja active Pending
-
2013
- 2013-06-05 US US13/910,533 patent/US20140016005A1/en not_active Abandoned
- 2013-07-05 CN CN201310280834.8A patent/CN103546661A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN103546661A (zh) | 2014-01-29 |
US20140016005A1 (en) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014022801A (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
TW201818716A (zh) | 圖像傳感器及輸出方法、相位對焦方法、成像裝置和行動終端 | |
US8854511B2 (en) | Apparatus and method for image processing and storage medium, and image pickup apparatus | |
US7990431B2 (en) | Calculation method for the correction of white balance | |
JP2013223043A (ja) | 受光装置および伝送システム | |
JP2008227569A (ja) | 撮影装置、電子機器、撮影制御方法、及び、撮影制御プログラム | |
JP2012019397A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TWI270740B (en) | Image pick-up device, white balance control method | |
JP5242248B2 (ja) | 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体 | |
JP5225137B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
CN108063933B (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
JP2007274504A (ja) | デジタルカメラ | |
JP2003199119A (ja) | ディジタルcfa画像処理方法 | |
CN105704363B (zh) | 图像数据处理方法和装置 | |
CN106817542B (zh) | 微透镜阵列的成像方法与成像装置 | |
JP4774857B2 (ja) | 画像処理装置及びプログラム | |
JP2008071014A (ja) | 画像処理プログラム、画像処理装置および電子カメラ | |
JP5792046B2 (ja) | 画像処理装置 | |
JP2005072694A (ja) | 撮像装置 | |
JP2005210164A (ja) | 欠陥画素補正装置 | |
JP2007102728A (ja) | 画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法 | |
WO2013168348A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム | |
JP4347181B2 (ja) | 固体撮像装置 | |
JP2015041869A (ja) | 撮像装置、情報処理方法及びプログラム | |
JP2013115702A (ja) | 撮像装置 |