JP6071333B2 - 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 - Google Patents
画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 Download PDFInfo
- Publication number
- JP6071333B2 JP6071333B2 JP2012186697A JP2012186697A JP6071333B2 JP 6071333 B2 JP6071333 B2 JP 6071333B2 JP 2012186697 A JP2012186697 A JP 2012186697A JP 2012186697 A JP2012186697 A JP 2012186697A JP 6071333 B2 JP6071333 B2 JP 6071333B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- processing apparatus
- defective
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 104
- 238000003384 imaging method Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 52
- 230000002950 deficient Effects 0.000 claims description 123
- 238000006243 chemical reaction Methods 0.000 claims description 79
- 238000012937 correction Methods 0.000 claims description 79
- 230000007547 defect Effects 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 52
- 230000003287 optical effect Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 8
- 210000001747 pupil Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 239000004065 semiconductor Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005468 ion implantation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Description
1/a2 + 1/b2 = 1/f (式1)
の関係が成立している。ここで、fは、撮影光学系1の焦点距離である。
そこで、リフォーカス情報設定を行った場合は、欠陥画素の検出パラメータ、例えば検出枠のサイズやしきい値をリフォーカス情報に基づいて変更するようにしてもよい。これは、リフォーカス移動量が大きいと欠陥が広がり、また薄くなる可能性が高いため、検出枠のサイズを広げたりしきい値を下げたりするほうが欠陥画素の検出精度を保つことができるからである。リフォーカス情報としては、リフォーカス移動量、とその動方向が考えられ、これらを両方又は選択的に用いて欠陥画素の検出パラメータを適宜変更するようにする。この変更制御はシステム制御部15で行ってもよいし、欠陥検出部8にその機能として持たせてもよい。なお、リフォーカス移動量は、フォーカスレンズの位置とリフォーカス位置の差の絶対値で与えられる。
次に、ステップS703における補正値を作成するために使用する素子の選択方法について詳しく述べる。ここでは、MLA上の座標(xk’,yk’)にあるML下の素子のうち、撮影光学系1の瞳分割領域(uk,pk)に対応する素子が欠陥画素であるものとして説明する。
Claims (21)
- 被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、
撮像素子から出力された前記撮像画像を取得する取得手段と、
前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成することにより再構成画像を生成する再構成処理手段と、
前記再構成処理手段によって生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段と、
を備えたことを特徴とする画像処理装置。 - 前記再構成処理手段によって前記撮像画像を再構成するための再構成情報を設定する再構成情報設定手段をさらに備え、
前記再構成情報設定手段によって前記再構成情報が設定された場合に、前記欠陥検出手段は、前記再構成情報に基づいて前記再構成処理手段によって生成された前記再構成画像における前記欠陥画素を検出することを特徴とする請求項1に記載の画像処理装置。 - 前記再構成情報設定手段によって設定される前記再構成情報は、撮影光学系からの結像距離であり、
前記欠陥検出手段は、前記再構成情報設定手段によって設定された前記再構成情報に基づいて前記欠陥画素の検出パラメータを制御することを特徴とする請求項2に記載の画像処理装置。 - 前記検出パラメータは、前記欠陥画素の検出枠のサイズおよび前記欠陥画素の判定のためのしきい値のうちの少なくとも1つであることを特徴とする請求項3に記載の画像処理装置。
- 前記欠陥検出手段によって検出された前記欠陥画素を補正する欠陥画素補正手段をさらに備えたことを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
- 前記撮像素子に配された複数の光電変換素子のうちの欠陥素子の座標を記録するメモリと、
前記メモリに記録された前記欠陥素子の前記座標に基づいて、前記取得手段によって取得された前記撮像画像を構成する前記光電変換素子の信号のうち、前記欠陥素子に対応する信号を補正する欠陥素子補正手段と、
をさらに備えたことを特徴とする請求項5に記載の画像処理装置。 - 前記欠陥素子補正手段は、前記再構成情報に基づいて前記欠陥素子に対応する信号を補正する補正手段を有することを特徴とする請求項6に記載の画像処理装置。
- 前記欠陥素子補正手段は、前記再構成画像を生成する際に前記欠陥素子に対応する前記信号が用いられることとなる再構成面上における座標を判定し、前記再構成面上における前記座標での前記再構成画像の生成において信号が用いられることとなる他の前記光電変換素子を補正値生成用素子として決定し、前記補正値生成用素子の画素値に基づいて前記欠陥素子の画素値を補正することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記欠陥素子補正手段は、複数の前記補正値生成用素子の前記画素値の算術平均値又は加重平均値に基づいて、前記欠陥素子の前記画素値を補正することを特徴とする請求項8に記載の画像処理装置。
- 前記再構成処理手段は、再構成面において結像した前記再構成画像が得られるように、前記撮像素子に配された複数の光電変換素子の各々によって得られた信号を合成することによって、前記再構成画像を生成することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記欠陥検出手段は、前記再構成画像のうちの一の画素の画素値と、前記一の画素の周辺に位置する他の画素の画素値とを比較することによって、前記一の画素が前記欠陥画素であるか否かを判定することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記欠陥検出手段は、前記再構成画像のうちの前記一の画素の前記画素値と、前記一の画素の周辺に位置する複数の前記他の画素の前記画素値の平均値又は中央値とを比較することによって、前記一の画素が前記欠陥画素であるか否かを判定することを特徴とする請求項11に記載の画像処理装置。
- 前記欠陥検出手段は、前記欠陥画素の候補を第1の条件によって検出し、前記欠陥画素の前記候補のうちから前記欠陥画素を前記第1の条件とは異なる第2の条件によって検出することを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
- 前記撮像画像は、複数のマイクロレンズを有し、各マイクロレンズに複数の光電変換部が割り当てられた前記撮像素子で撮像された画像であることを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
- 被写体像の光線角度情報を含む撮像画像を処理する画像処理方法であって、
撮像素子から出力された前記撮像画像を取得する取得ステップと、
前記取得ステップで取得された前記撮像画像を前記光線角度情報に基づいて再構成するための再構成情報を設定する再構成情報設定ステップと、
前記再構成情報設定ステップで設定された前記再構成情報に従って前記撮像画像を再構成して再構成画像を生成する再構成処理ステップと、
前記再構成処理ステップで生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出ステップと、
前記欠陥検出ステップで検出された前記欠陥画素を補正する欠陥画素補正ステップと、を備えたことを特徴とする画像処理方法。 - 被写体像の光線角度情報を含む撮像画像を処理する画像処理装置を制御するためのプログラムであって、
コンピュータを、
撮像素子から出力された前記撮像画像を取得する取得手段、
前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成して再構成画像を生成する再構成処理手段、
前記再構成処理手段によって生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段、
として機能させるプログラム。 - 請求項16に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
- コンピュータを、請求項1乃至14のいずれか1項に記載された画像処理装置の各手段として機能させるプログラム。
- コンピュータを、請求項1乃至14のいずれか1項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
- 撮影光学系によって結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子と、
請求項1乃至14のいずれか1項に記載の画像処理装置と、
ユーザの入力を受け付ける操作部材と、
前記操作部材が受け付けたユーザの入力に従って前記画像処理装置を制御する制御手段と
を備えることを特徴とする撮像装置。 - 被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、
前記撮像画像を取得する取得手段と、
所望の結像面で結像した画像を前記光線角度情報に基づいて前記撮像画像から生成する画像処理手段と、
前記画像処理手段によって生成された前記画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段と、
を備えたことを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012186697A JP6071333B2 (ja) | 2012-08-27 | 2012-08-27 | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 |
US13/975,517 US9456155B2 (en) | 2012-08-27 | 2013-08-26 | Image processing apparatus, method, and program, and image pickup apparatus having image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012186697A JP6071333B2 (ja) | 2012-08-27 | 2012-08-27 | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014045352A JP2014045352A (ja) | 2014-03-13 |
JP2014045352A5 JP2014045352A5 (ja) | 2015-10-15 |
JP6071333B2 true JP6071333B2 (ja) | 2017-02-01 |
Family
ID=50147672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012186697A Active JP6071333B2 (ja) | 2012-08-27 | 2012-08-27 | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9456155B2 (ja) |
JP (1) | JP6071333B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5913934B2 (ja) * | 2011-11-30 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置 |
US9742980B2 (en) * | 2013-11-01 | 2017-08-22 | Canon Kabushiki Kaisha | Focus control apparatus and control method therefor |
JP6506506B2 (ja) * | 2014-04-02 | 2019-04-24 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法およびプログラム |
JP6395621B2 (ja) * | 2015-01-27 | 2018-09-26 | キヤノン株式会社 | 焦点調節装置及びそれを用いた撮像装置及び焦点調節方法 |
DE102015112682A1 (de) * | 2015-08-03 | 2017-02-09 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems mit einer plenoptischen Kamera, Kamerasystem und Kraftfahrzeug |
WO2017198766A1 (en) * | 2016-05-18 | 2017-11-23 | Thomson Licensing | Method for modifying mal-exposed pixel values comprised in sub-aperture images obtained from a 4d raw light field |
US11223787B2 (en) * | 2017-10-19 | 2022-01-11 | Sony Corporation | Information processing apparatus, information processing method, and imaging apparatus |
US11089251B2 (en) | 2018-07-12 | 2021-08-10 | Canon Kabushiki Kaisha | Image sensor and image capturing apparatus |
CN112816493A (zh) * | 2020-05-15 | 2021-05-18 | 奕目(上海)科技有限公司 | 一种芯片打线缺陷检测方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4583680B2 (ja) * | 2001-09-28 | 2010-11-17 | パナソニック株式会社 | 固体撮像装置 |
JP4323883B2 (ja) | 2003-06-30 | 2009-09-02 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP4471352B2 (ja) | 2004-03-30 | 2010-06-02 | キヤノン株式会社 | 欠陥画素補正装置及び方法及び撮像装置及びプログラム及び記憶媒体 |
JP5137380B2 (ja) * | 2006-11-07 | 2013-02-06 | キヤノン株式会社 | ぶれ補正装置及び方法 |
JP4969474B2 (ja) * | 2007-02-09 | 2012-07-04 | オリンパスイメージング株式会社 | 復号方法、復号装置、及び復号プログラム |
JP5171105B2 (ja) * | 2007-05-15 | 2013-03-27 | キヤノン株式会社 | 撮影装置及び交換レンズ式撮影装置、交換レンズユニット |
JP2009302722A (ja) * | 2008-06-11 | 2009-12-24 | Nec Electronics Corp | 欠陥画素処理装置および欠陥画素処理方法 |
JP5472584B2 (ja) * | 2008-11-21 | 2014-04-16 | ソニー株式会社 | 撮像装置 |
JP5463718B2 (ja) * | 2009-04-16 | 2014-04-09 | ソニー株式会社 | 撮像装置 |
JP5737929B2 (ja) * | 2010-12-22 | 2015-06-17 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5263310B2 (ja) * | 2011-01-31 | 2013-08-14 | 株式会社ニコン | 画像生成装置、撮像装置、画像生成方法 |
-
2012
- 2012-08-27 JP JP2012186697A patent/JP6071333B2/ja active Active
-
2013
- 2013-08-26 US US13/975,517 patent/US9456155B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014045352A (ja) | 2014-03-13 |
US20140055646A1 (en) | 2014-02-27 |
US9456155B2 (en) | 2016-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6071333B2 (ja) | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 | |
US11719908B2 (en) | Image sensor and image capturing apparatus | |
US11493729B2 (en) | Image sensor capable of reducing readout time and image capturing apparatus | |
JP6264616B2 (ja) | 撮像装置及び固体撮像装置 | |
JP6222908B2 (ja) | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 | |
US9253424B2 (en) | Image processing apparatus and control method thereof | |
US8223235B2 (en) | Digital imager with dual rolling shutters | |
JP5913934B2 (ja) | 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置 | |
JP6748454B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5947548B2 (ja) | 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム | |
CN104519274B (zh) | 图像处理装置和图像处理方法 | |
JP6613554B2 (ja) | 画像処理装置およびプログラム | |
CN104041004A (zh) | 摄像设备及其控制方法和摄像*** | |
JP2017158018A (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP5917158B2 (ja) | 撮像装置、その制御方法及び撮像システム | |
JP2014064214A5 (ja) | ||
JP2018007076A (ja) | 撮像装置および画像処理装置 | |
JP2010014741A (ja) | オートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラム | |
JP2020136686A (ja) | 固体撮像装置、及び固体撮像装置の駆動方法 | |
JP2018042157A (ja) | 撮像装置および焦点検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6071333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |