JP6987622B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6987622B2 JP6987622B2 JP2017225837A JP2017225837A JP6987622B2 JP 6987622 B2 JP6987622 B2 JP 6987622B2 JP 2017225837 A JP2017225837 A JP 2017225837A JP 2017225837 A JP2017225837 A JP 2017225837A JP 6987622 B2 JP6987622 B2 JP 6987622B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color difference
- filter processing
- color
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
図1は、本発明の第1の実施形態によるベイヤ配列の色フィルタを有する撮像素子を示す図である。撮像装置は、CMOSイメージセンサ等の撮像素子を有する。撮像装置は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像素子は、2次元行列状に配置された複数の画素を有し、複数の画素の各々は、色フィルタ(例えば、赤(R)、緑(G)、青(B)の3色のうちの一つの色フィルタ)を有する。図1は、原色ベイヤ配列の1単位の色フィルタを示す。撮像素子は、画素毎に、光電変換を行い、アナログデジタル変換を行い、デジタルのR信号(赤信号)、G1信号(緑信号)、G2信号(緑信号)、又はB信号(青信号)を出力する。G1信号及びG2信号は、G信号(緑信号)である。このようにG信号は、R信号、B信号に対してサンプリング数が多い。ベイヤ配列の色フィルタを有する撮像装置は、各画素においてR、G、Bのうちの一つの色信号しか得られないため、各画素においてRGBすべての色信号を求める場合には、後段の図2の輝度信号生成部200で補間処理を行う必要がある。
Y=0.3R+0.59G+0.11B ・・・(1)
Gvi,j=(Gi-1,j+Gi+1,j)/2 ・・・(2)
Ghi,j=(Gi,j-1+Gi,j+1)/2 ・・・(3)
Rvi,j=(Ri-1,j+Ri+1,j)/2 ・・・(4)
Rhi,j=(Ri,j-1+Ri,j+1)/2 ・・・(5)
Diff_vi,j=Gvi,j−Rvi,j ・・・(6)
Diff_hi,j=Ghi,j−Rhi,j ・・・(7)
Grad_vi,j=|Diff_vi-1,j−Diff_vi+1,j| ・・・(8)
Grad_hi,j=|Diff_hi,j-1−Diff_hi,j+1| ・・・(9)
Diff_ni,j=αi,j×Diff_vi,j
+(1.0−αi,j)×Fil_ni,j ・・・(12)
Diff_si,j=αi,j×Diff_vi,j
+(1.0−αi,j)×Fil_si,j ・・・(14)
Diff_wi,j=αi,j×Diff_hi,j
+(1.0−αi,j)×Fil_wi,j ・・・(16)
Diff_ei,j=αi,j×Diff_hi,j
+(1.0−αi,j)×Fil_ei,j ・・・(18)
Diff_mixi,j=(Wni,j×Diff_ni,j+Wsi,j×Diff_si,j
+Wwi,j×Diff_wi,j+Wei,j×Diff_ei,j)/Wti,j
Wti,j=Wni,j+Wsi,j+Wwi,j+Wei,j
・・・(23)
Vi,j=Ri,j−Gi,j ・・・(24)
Ui,j=Bi,j−Gi,j ・・・(25)
Ci,j=Vi,j+Ui,j ・・・(26)
以下、本発明の第2の実施形態について説明する。本実施形態に係る輝度信号生成部200の構成は図2と同様である。なお、本実施形態では、第1の実施形態と異なる部分についてのみ説明する。
Gvi,j=(Gi-1,j+Gi+1,j)/2+(2×Ri,j−Ri-2,j+Ri+2,j)/4
・・・(27)
Ghi,j=(Gi,j-1+Gi,j+1)/2+(2×Ri,j−Ri,j-2+Ri,j+2)/4
・・・(28)
Rvi,j=(Ri-1,j+Ri+1,j)/2+(2×Gi,j−Gi-2,j+Gi+2,j)/4
・・・(29)
Rhi,j=(Ri,j-1+Ri,j+1)/2+(2×Gi,j−Gi,j-2+Gi,j+2)/4
・・・(30)
G_sigi,j=αi,j×G1_sigi,j+(1.0−αi,j)×G2_sigi,j
・・・(35)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- 水平方向、垂直方向にベイヤ配列に基づくRGB信号を有する入力画像信号に対して、G信号を算出する画像処理装置であって、
入力画像信号を垂直方向に補間して色差信号を算出する第1の色差信号算出手段と、
前記入力画像信号を水平方向に補間して色差信号を算出する第2の色差信号算出手段と、
前記第1の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第1のフィルタ処理手段と、
前記第2の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第2のフィルタ処理手段と、
R信号及びB信号の少なくとも1つの強度を算出する色信号強度算出手段と、
前記第1のフィルタ処理手段によるフィルタ処理の結果と、前記第2のフィルタ処理手段によるフィルタ処理の結果と、前記色信号強度算出手段により算出された前記R信号及びB信号の少なくとも1つの強度とに基づき、前記G信号を算出する色信号算出手段とを有し、
前記第1のフィルタ処理手段と前記第2のフィルタ処理手段は、前記色信号強度算出手段によって算出された前記R信号及びB信号の少なくとも1つの強度が予め設定した閾値以上である場合には、フィルタ処理を行わないようにすることを特徴とする画像処理装置。 - 水平方向、垂直方向にベイヤ配列に基づくRGB信号を有する入力画像信号に対して、G信号を算出する画像処理装置であって、
入力画像信号を垂直方向に補間して色差信号を算出する第1の色差信号算出手段と、
前記入力画像信号を水平方向に補間して色差信号を算出する第2の色差信号算出手段と、
前記第1の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第1のフィルタ処理手段と、
前記第2の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第2のフィルタ処理手段と、
R信号及びB信号の少なくとも1つの強度を算出する色信号強度算出手段と、
前記第1のフィルタ処理手段によるフィルタ処理の結果と、前記第2のフィルタ処理手段によるフィルタ処理の結果と、前記色信号強度算出手段により算出された前記R信号及びB信号の少なくとも1つの強度とに基づき、前記G信号を算出する色信号算出手段とを有し、
前記第1のフィルタ処理手段と前記第2のフィルタ処理手段は、前記色信号強度算出手段によって算出された前記R信号及びB信号の少なくとも1つの強度が予め設定した閾値より小さい場合には、前記R信号及びB信号の少なくとも1つの強度に応じたフィルタ処理を行うことを特徴とする画像処理装置。 - 水平方向、垂直方向にベイヤ配列に基づくRGB信号を有する入力画像信号に対して、補間処理を行うことでG信号を算出する画像処理装置であって、
前記入力画像信号に対して色差信号を用いないで前記G信号を補間する第1の補間手段と、
前記入力画像信号に対して色差信号を用いて前記G信号を補間する第2の補間手段と、
R信号及びB信号の少なくとも1つの強度を算出する色信号強度算出手段と、
前記色信号強度算出手段の算出結果に基づいて、前記第1の補間手段により補間されたG信号と前記第2の補間手段により補間されたG信号とを合成する合成手段と、
前記合成手段による合成結果に基づき、最終的な前記G信号を算出する色信号算出手段とを有し、
前記合成手段は、前記色信号強度算出手段によって算出された前記R信号及びB信号の少なくとも1つの強度が高いほど、前記第1の補間手段の補間結果の割合が高くなるように合成処理を行うことを特徴とする画像処理装置。 - 前記第2の補間手段は、
入力画像信号を垂直方向に補間して色差信号を算出する第1の色差信号算出手段と、
前記入力画像信号を水平方向に補間して色差信号を算出する第2の色差信号算出手段と、
前記第1の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第1のフィルタ処理手段と、
前記第2の色差信号算出手段により算出された色差信号に対してフィルタ処理を行う第2のフィルタ処理手段とを有し、
前記第1のフィルタ処理手段および前記第2のフィルタ処理手段によって処理された信号に基づいて前記G信号を補間することを特徴とする請求項3に記載の画像処理装置。 - 前記第1のフィルタ処理手段は、前記第1の色差信号算出手段により算出された色差信号に対して上方向および下方向のフィルタ処理を行い、
前記第2のフィルタ処理手段は、前記第2の色差信号算出手段により算出された色差信号に対して左方向および右方向のフィルタ処理を行うことを特徴とする請求項1又は2に記載の画像処理装置。 - 水平方向、垂直方向にベイヤ配列に基づくRGB信号を有する入力画像信号に対して、G信号を算出する画像処理方法であって、
入力画像信号を垂直方向に補間して色差信号を算出する第1の色差信号算出ステップと、
前記入力画像信号を水平方向に補間して色差信号を算出する第2の色差信号算出ステップと、
前記第1の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第1のフィルタ処理ステップと、
前記第2の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第2のフィルタ処理ステップと、
R信号及びB信号の少なくとも1つの強度を算出する色信号強度算出ステップと、
前記第1のフィルタ処理ステップによるフィルタ処理の結果と、前記第2のフィルタ処理ステップによるフィルタ処理の結果と、前記色信号強度算出ステップにより算出された前記R信号及びB信号の少なくとも1つの強度とに基づき、前記G信号を算出する色信号算出ステップとを有し、
前記第1のフィルタ処理ステップと前記第2のフィルタ処理ステップでは、前記色信号強度算出ステップによって算出された前記R信号及びB信号の少なくとも1つの強度が予め設定した閾値以上である場合には、フィルタ処理を行わないようにすることを特徴とする画像処理方法。 - 水平方向、垂直方向にベイヤ配列に基づくRGB信号を有する入力画像信号に対して、G信号を算出する画像処理方法であって、
入力画像信号を垂直方向に補間して色差信号を算出する第1の色差信号算出ステップと、
前記入力画像信号を水平方向に補間して色差信号を算出する第2の色差信号算出ステップと、
前記第1の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第1のフィルタ処理ステップと、
前記第2の色差信号算出ステップにより算出された色差信号に対してフィルタ処理を行う第2のフィルタ処理ステップと、
R信号及びB信号の少なくとも1つの強度を算出する色信号強度算出ステップと、
前記第1のフィルタ処理ステップによるフィルタ処理の結果と、前記第2のフィルタ処理ステップによるフィルタ処理の結果と、前記色信号強度算出ステップにより算出された前記R信号及びB信号の少なくとも1つの強度とに基づき、前記G信号を算出する色信号算出ステップとを有し、
前記第1のフィルタ処理ステップと前記第2のフィルタ処理ステップでは、前記色信号強度算出ステップによって算出された前記R信号及びB信号の少なくとも1つの強度が予め設定した閾値より小さい場合には、前記R信号及びB信号の少なくとも1つの強度に応じたフィルタ処理を行うことを特徴とする画像処理方法。 - 水平方向、垂直方向にベイヤ配列に基づくRGB信号を有する入力画像信号に対して、補間処理を行うことでG信号を算出する画像処理方法であって、
前記入力画像信号に対して色差信号を用いないで前記G信号を補間する第1の補間ステップと、
前記入力画像信号に対して色差信号を用いて前記G信号を補間する第2の補間ステップと、
R信号及びB信号の少なくとも1つの強度を算出する色信号強度算出ステップと、
前記色信号強度算出ステップの算出結果に基づいて、前記第1の補間ステップにおいて補間されたG信号と前記第2の補間ステップにおいて補間されたG信号とを合成する合成ステップと、
前記合成ステップによる合成結果に基づき、最終的な前記G信号を算出する色信号算出ステップとを有し、
前記合成ステップは、前記色信号強度算出ステップによって算出された前記R信号及びB信号の少なくとも1つの強度が高いほど、前記第1の補間ステップの補間結果の割合が高くなるように合成処理を行うことを特徴とする画像処理方法。 - コンピュータを、請求項1〜5の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017225837A JP6987622B2 (ja) | 2017-11-24 | 2017-11-24 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017225837A JP6987622B2 (ja) | 2017-11-24 | 2017-11-24 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019097062A JP2019097062A (ja) | 2019-06-20 |
JP2019097062A5 JP2019097062A5 (ja) | 2021-01-07 |
JP6987622B2 true JP6987622B2 (ja) | 2022-01-05 |
Family
ID=66973241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017225837A Active JP6987622B2 (ja) | 2017-11-24 | 2017-11-24 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6987622B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4626007B2 (ja) * | 1999-06-14 | 2011-02-02 | 株式会社ニコン | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
JP5129685B2 (ja) * | 2008-08-06 | 2013-01-30 | キヤノン株式会社 | 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置 |
JP5766274B2 (ja) * | 2013-12-27 | 2015-08-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2017
- 2017-11-24 JP JP2017225837A patent/JP6987622B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019097062A (ja) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
KR100755601B1 (ko) | 화소 신호 처리 장치 및 화소 신호 처리 방법 | |
US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
KR101391161B1 (ko) | 화상처리장치 | |
JP5593683B2 (ja) | 撮像装置 | |
CN107623844B (zh) | 中间位置处的像素的颜色值的确定 | |
JP2009100417A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
TWI338511B (ja) | ||
WO2019008693A1 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 | |
JP6415093B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5291788B2 (ja) | 撮像装置 | |
JP6987622B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP2009100150A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP6987621B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6794204B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6862272B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP2010028374A (ja) | 画像処理装置および画像信号の補間処理方法、画像処理プログラム | |
JP2020057242A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5454820B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
JP2015179951A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211201 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6987622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |