JP2022027438A - 画像処理方法、装置及び記憶媒体 - Google Patents
画像処理方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP2022027438A JP2022027438A JP2021053241A JP2021053241A JP2022027438A JP 2022027438 A JP2022027438 A JP 2022027438A JP 2021053241 A JP2021053241 A JP 2021053241A JP 2021053241 A JP2021053241 A JP 2021053241A JP 2022027438 A JP2022027438 A JP 2022027438A
- Authority
- JP
- Japan
- Prior art keywords
- frequency band
- subband information
- decomposition
- decomposition subband
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000000354 decomposition reaction Methods 0.000 claims description 756
- 230000000875 corresponding effect Effects 0.000 claims description 330
- 239000011159 matrix material Substances 0.000 claims description 315
- 238000012545 processing Methods 0.000 claims description 47
- 239000006185 dispersion Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 235000009413 Ratibida columnifera Nutrition 0.000 description 1
- 241000510442 Ratibida peduncularis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/48—Picture signal generators
- H04N1/486—Picture signal generators with separate detectors, each detector being used for one specific colour component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる画像処理方法、装置及び記憶媒体を提供する。【解決手段】方法は、対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するステップと、赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、白チャンネル画像の第2のグレースケール成分画像を決定するステップと、第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップと、第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて第3の分解サブバンド情報を決定するステップと、第3の分解サブバンド情報に基づいて画像再構成を行って第3のグレースケール成分画像を取得し、第3のグレースケール成分画像に基づいて対象画像に対応するカラー画像を構築するステップとを含む。【選択図】図1
Description
本開示は、モバイル端末のデータ処理技術分野に関し、特に画像処理方法、装置及び記憶媒体に関する。
撮像技術の継続的な発展に伴い、従来型のイメージングセンサはイメージング中の新しいニーズを満たすことができなくなり、様々な新しいイメージングセンサが登場し、画像センサの異なるチャンネル間で収集された画像の優位性を効果的に結合し、出力画像の品質を向上させることができる。
現在、モバイル端末に採用されている一般的なセンサはRGGBアレイレイアウトである。従来のRGGB配列のセンサのR、G、Bチャンネルが狭帯域のスペクトルエネルギーしか通過できないため、センサが収集できるエネルギーが少なく、低照度で画像撮影を行う場合、画像の輝度が低くて信号対雑音比が低いという問題がある。
関連技術に存在する課題を克服するために、本開示は、画像処理方法、装置及び記憶媒体を提供する。
本開示の実施例の第1の態様によれば、画像処理方法を提供し、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するステップと、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するステップと、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップであって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応するステップと、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップと、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するステップと、を含む。
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するステップと、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するステップと、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップであって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応するステップと、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップと、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するステップと、を含む。
一実施形態において、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップは、
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
一実施形態において、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とするステップと、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算するステップと、を含む。
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とするステップと、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算するステップと、を含む。
一実施形態において、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含む。
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含む。
一実施形態において、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
一実施形態において、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップと、を含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップと、を含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
本開示の実施例の第2の態様によれば、画像処理装置を提供し、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュールと、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するように構成される第1の決定モジュールと、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成される第2の決定モジュールであって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応する第2の決定モジュールと、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される第3の決定モジュールと、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュールと、を含む。
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュールと、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するように構成される第1の決定モジュールと、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成される第2の決定モジュールであって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応する第2の決定モジュールと、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される第3の決定モジュールと、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュールと、を含む。
一実施形態において、前記第2の決定モジュールは、さらに
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定する、という方法を用いて、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定する、という方法を用いて、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
一実施形態において、前記第3の決定モジュールは、さらに、
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される。
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される。
一実施形態において、前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するよう構成される。
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するよう構成される。
一実施形態において、前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
一実施形態において、前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第3の決定モジュールは、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
ここで、第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
ここで、第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
本開示の実施例の第3の態様によれば、画像処理装置を提供し、
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記方法を実行するように構成される。
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記方法を実行するように構成される。
本開示の実施例の第4の態様によれば、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体の命令がモバイル端末のプロセッサによって実行される際に、モバイル端末が前記方法を実行できるようにする。
本開示の実施例により提供される技術的手段は、以下の有益な効果を含むことができる。対象画像からRGBチャンネル画像の第1のグレースケール成分画像とWチャンネル画像の第2のグレースケール成分画像を抽出し、2つのグレースケール成分画像の分解サブバンド情報を融合させ、Wチャンネル画像の情報を利用してRGBチャンネル画像を補償し、低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる。
なお、上記一般的な説明及び以下の詳細な説明は、単に例示及び解釈するためのものであり、本開示を限定するものではない。
ここの図面は、本明細書に組み込まれて本明細書の一部を構成し、本開示に適する実施例を示しており、明細書と共に、本開示の原理を説明することに用いられる。
一例示的な実施例により示される画像処理方法のフローチャートである。
一例示的な実施例により示されるRGBWチャンネル画像に対して画像抽出を行う概略図である。
一例示的な実施例により示される画像処理装置の構成図である。
一例示的な実施例により示される画像処理装置の構成図である。
ここで、例示的な実施例を詳細に説明し、その例が図面に示される。以下の説明が図面に関するものである場合、特に明記しない限り、異なる図面における同一の数字は、同一のまたは類似の要素を指す。以下の例示的な実施例に記載される実施例は、本開示と一致するすべての実施例を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述される本発明の一部と一致する装置の例に過ぎない。
本開示の実施例は、画像処理方法を提供する。図1を参照すると、図1は一例示的な実施例により示される画像処理方法のフローチャートである。図1に示すように、この方法は、ステップS11~ステップS15を含む。
ステップS11、対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出する。
ステップS12、赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び白チャンネル画像の第2のグレースケール成分画像を決定する。
ステップS13、第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、第2のグレースケール成分画像の第2の分解サブバンド情報を決定し、第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応する。
ステップS14、第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定する。
ステップS15、第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、第3のグレースケール成分画像に基づいて、対象画像に対応するカラー画像を構築する。
本実施例では、対象画像からRGBチャンネル画像の第1のグレースケール成分画像とWチャンネル画像の第2のグレースケール成分画像を抽出し、2つのグレースケール成分画像の分解サブバンド情報を融合させ、Wチャンネル画像の情報を利用してRGBチャンネル画像を補償し、低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる。
一実施形態において、ステップS11における対象画像は、赤(R)原色画素、緑(G)原色画素、青(B)原色画素及び白(W)画素を備えた画像センサによって収集されたオリジナルのRAW形式の画像であってもよく、この画像センサで収集されたオリジナルのRAW形式の画像にはRGBチャンネル画像とWチャンネル画像とを含むことができる。例示的に、この画像センサはRGBWアレイレイアウトを備えた画像センサであってもよく、当該画像センサはRGBWチャンネル画像を収集することができ、ここで、RGBWチャンネル画像は、各ピクセルが赤(R)原色画素、緑(G)原色画素、青(B)原色画素及び白(W)画素からなる画像を指す。RGGBアレイレイアウトに基づくセンサと比較して、RGBWアレイレイアウトのセンサは、一部のGチャンネルをW(white)チャンネルに交換する。
対象画像がRGBWチャンネル画像である場合に、ステップS11では、RGBWチャンネル画像からRGBチャンネル画像(すなわち赤緑青チャンネル画像)及びWチャンネル画像(すなわち白チャンネル画像)を抽出することができ、例示的に、RGBチャンネル画像は、例えばベイヤー(Bayer)RGB形式の画像である場合、ステップS11ではRGBWアレイ配列のRGBWチャンネル画像データをベイヤー(Bayer)RGB形式の画像とWチャンネル画像との2つのデータに分割することができる。RGBWチャンネル画像がベイヤーRGB形式の画像とWチャンネル画像に分割された場合、対角線位置にある同じタイプのピクセルの値をbinning操作し、すなわち加算後2で割る操作を採用することができる。図2に示すように、サイズ4*4のRGBWチャンネル画像を入力し、分割した後、それぞれサイズ2*2のベイヤーRGB形式の画像と白チャンネル画像を得る。ベイヤーRGB形式の画像と白チャンネル画像はそれぞれ別々の画像処理パス(ISP pipeline)を介して処理し、それぞれ処理されたYUV画像を出力する。2つのYUV画像からそれぞれYチャンネルの画像を抽出して、対応するグレースケール成分画像を取得する。後続の処理では、グレースケール成分画像に基づいて画像融合処理を行うことができる。
RGBチャンネル画像にはR成分、G成分及びB成分が含まれる。RGBチャンネル画像には複数の構成方式があり、例えば図2に示す2*2の各RGGB形式のRGBチャンネル画像には1つのR成分、1つのB成分及び2つのG成分が含まれる。他の形式のRGBチャンネル画像には、1つのR成分、2つのB成分及び1つのG成分が含まれてもよいし、2つのR成分、1つのB成分及び1つのG成分が含まれてもよい。かつ成分のレイアウト方式が図2に示すレイアウト方式と異なる。
ステップS12では、画像マルチスケール分解方法によってグレースケール成分画像の分解サブバンド情報を決定することができる。画像マルチスケール分解方法は、原画像を異なるスケールの複数の画像に分解することに用いられ、分解された異なる分解画像が異なる周波数帯域の画像情報を表す。例えば、ステップS12では、第1の画像マルチスケール分解方法によって第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、第2の画像マルチスケール分解方法によって第2のグレースケール成分画像の第2の分解サブバンド情報を決定する。第1の画像マルチスケール分解方法と第2の画像マルチスケール分解方法は同じまたは異なる。
ステップS15では、第3のグレースケール成分画像に基づいて、対象画像に対応するカラー画像を構築するステップは、第3のグレースケール成分画像のRGBチャンネル画像に対応するYUV画像における色度成分画像及び彩度成分画像を用いて、新しいYUV画像を構築し、または、第3のグレースケール成分画像のRGBチャンネル画像に対応するYUV画像における色度成分画像及び彩度成分画像を用いて、新しいYUV画像を構築し、YUV画像をRGB画像に変換するステップを含むことができる。
本実施例では、RGBWアレイレイアウトを備えた画像センサからオリジナルのRAW形式の画像を収集し、オリジナルのRAW形式の画像からRGBチャンネル画像とWチャンネル画像を抽出し、RGBチャンネル画像の第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、Wチャンネル画像の第2のグレースケール成分画像の第2の分解サブバンド情報を決定し、2つの分解サブバンド情報を融合させ、Wチャンネル画像の情報を利用してRGBチャンネル画像を補償し、低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる。
本実施例を用いてRGBWチャンネル画像を処理する場合、融合した画像(例えば融合したRGB画像)の信号対雑音比を効果的に向上させ、画像全体の輝度を向上させ、画像品質を向上させることができる。具体的な分析は次のとおりである。従来のRGGB構造の画像センサに比べて、RGBW構造の画像センサのWチャンネルは、フルカラースペクトルのエネルギーを通過できるため、同じ露光時間で、Wチャンネルがより高い輝度を得ることができる。RGBW画像センサのRGBチャンネルとWチャンネルの一般的な融合方法は次のとおりである。RGBWアレイレイアウトのセンサで収集された画像をRGBチャンネル画像とWチャンネル画像に分割し、RGBチャンネル画像とWチャンネル画像をそれぞれ画像処理パス(ISP pipeline)によって処理し、処理されたYUV形式の画像を出力し、RGBチャンネル画像に対応するYUV画像におけるYチャンネル画像の重みを0.5にし、Wチャンネル画像に対応するYUV画像におけるYチャンネル画像の重みも0.5にし、2つのYチャンネル画像に対して画像融合を行い、融合したYチャンネル画像のRGBチャンネル画像に対応するYUV画像における色度成分画像及び彩度成分画像を新しいRGB画像に構築し、さらにRGBチャンネル情報とWチャンネル情報を融合させるという目的を達成する。このようなRGBチャンネル画像に対応するYチャンネル画像及びWチャンネル画像に対応するYチャンネル画像に同じ重みを直接使用するという方式は、画像コントラストの著しい低下と画像細部の損失を招き、画像品質への影響が大きい。したがって、本実施例の方法によってRGBW画像を処理した後、融合した画像(例えば融合したRGB画像)の信号対雑音比を効果的に向上させ、画像全体の輝度を向上させ、画像品質を向上させることができる。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつ、マルチスケール画像処理アルゴリズムは、ウェーブレット変換に基づくマルチスケール画像処理アルゴリズムであってもよいし、ラプラシアンピラミッドに基づくマルチスケール画像処理アルゴリズムであってもよい。
画像マルチスケール処理アルゴリズムは、画像マルチスケール分解アルゴリズムと、画像マルチスケール再構成アルゴリズムと、を含み、画像マルチスケール再構成アルゴリズムは、画像マルチスケール分解アルゴリズムの逆アルゴリズムである。
ウェーブレット変換のマルチスケール画像処理アルゴリズムには、異なるウェーブレットベースを使用でき、例えば使用可能なウェーブレットベースは、Haar、Daubechies、Biorthogonal(双直交)、Coiflet、Symlet、Morlet及びMexican Hatのいずれかを含むことができる。
ウェーブレット変換のマルチスケール画像分解アルゴリズムでは、第1の分解層で、画像を1つの低周波数帯域サブ画像と3つの高周波数帯域サブ画像に分解し、1つの低周波数帯域ウェーブレット係数行列と3つの高周波数帯域ウェーブレット係数行列を取得する。後続の分解層では、前の分解層内の低周波数帯域の画像を1つの低周波数帯域サブ画像と3つの高周波数帯域サブ画像に分解し続け、順番に類推する。
ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって画像のマルチスケール係数を計算する方法は、以下を含むことができる。
画像を1つの低周波数帯域サブ画像と3つの高周波数帯域サブ画像に分解し、1つの低周波数帯域ウェーブレット係数行列と3つの高周波数帯域ウェーブレット係数行列を取得する。低周波数帯域ウェーブレット係数行列がLL周波数帯域に対応し、LL周波数帯域は画像の低周波数情報を含む周波数帯域である。3つの高周波数帯域ウェーブレット係数行列はそれぞれHH周波数帯域、LH周波数帯域及びHL周波数帯域に対応する。ここで、HH周波数帯域は画像の対角の高周波数情報を含む周波数帯域であり、LH周波数帯域は画像の水平方向の高周波数情報を含む周波数帯域であり、HL周波数帯域は画像の垂直方向の高周波数情報を含む周波数帯域である。
これによって、第1の分解層には1つの低周波数帯域ウェーブレット係数行列が含まれ、低周波数帯域画像での各ピクセルの係数が含まれ、XLL、1(i,j)を用いて第1の分解層のLL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表し、iは対応する画像内の現在の画素の行の位置を表し、jは対応する画像内の現在の画素の列の位置を表す。
第1の分解層は、XHH,1(i,j)、XLH,1(i,j)及びXHL,1(i,j)の3つの高周波数帯域ウェーブレット係数行列をさらに含む。
ここで、XHH,1(i,j)は、第1の分解層のHH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表し、XLH,1(i,j)は、第1の分解層のLH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表し、XHL,1(i,j)は、第1の分解層のHL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。他の分解層の各周波数帯域の係数の表現方式は同様である。
第2の分解層では、続いて第1の分解層で取得された低周波数帯域ウェーブレット画像を1つの低周波数帯域サブ画像と3つの高周波数帯域サブ画像に分解し、1つの低周波数帯域ウェーブレット係数行列と3つの高周波数帯域ウェーブレット係数行列を取得する。
これによって、第2の分解層には、XLL,2(i,j)と記された1つの低周波数帯域ウェーブレット係数行列と、それぞれXHH,2(i,j)、XLH,2(i,j)及びXHL,2(i,j)と記された3つの高周波数帯域ウェーブレット係数行列とが含まれる。
第3の分解層では、続いて第2の分解層で取得された低周波数帯域ウェーブレット画像を1つの低周波数帯域サブ画像と3つの高周波数帯域サブ画像に分解し、1つの低周波数帯域ウェーブレット係数行列と3つの高周波数帯域ウェーブレット係数行列を取得する。
これによって、第3の分解層には、XLL,3(i,j)と記された1つの低周波数帯域ウェーブレット係数行列と、それぞれXHH,3(i,j)、XLH,3(i,j)及びXHL,3(i,j)と記された3つの高周波数帯域ウェーブレット係数行列とが含まれる。
これによって類推する。
画像ピラミッド方法の原理は以下のとおりである。原画像をマルチスケールのピラミッド画像シーケンスに分解し、低解像度の画像が上層にあり、高解像度の画像が下層にあり、上層画像のサイズが前の層の画像のサイズの1/4である。すべての画像のピラミッドを対応する層において一定の規則で融合させると、合成ピラミッドを得ることができ、その合成ピラミッドをピラミッドが生成される逆のプロセスに従って再構成して、融合ピラミッドを得る。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつ、ステップS12において第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップは、
画像マルチスケール分解方法を採用して、第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップを含み、第1の分解サブバンド情報と第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
画像マルチスケール分解方法を採用して、第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップを含み、第1の分解サブバンド情報と第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
例えば、Haarウェーブレットベースのウェーブレット変換に基づく画像マルチスケール分解方法によって、第1のグレースケール成分画像を3層分解して、3つの分解層を取得し、各分解層が4つの周波数帯域の周波数帯域係数に対応する。
一例示において、ウェーブレット変換に基づくマルチスケール画像処理アルゴリズムによって、XRGB
HH,1(i,j)、XRGB
LH,1(i,j)、XRGB
HL,1(i,j)、XRGB
HH,2(i,j)、XRGB
LH,2(i,j)、XRGB
HL,2(i,j)、XRGB
HH,3(i,j)、XRGB
LH,3(i,j)、XRGB
HL,3(i,j)、XRGB
LL,3(i,j)を含む、ベイヤーRGB形式の画像に対応するYチャンネル画像のマルチスケール分解サブバンド情報を計算する。第1の分解層におけるXRGB
LL,1(i,j)が第2の分解層における4つの係数に分解されるため、RGBチャンネル画像のマルチスケール分解サブバンド情報にはXRGB
LL,1(i,j)が含まれておらず、同様に、第2の分解層におけるXRGB
LL,2(i,j)が第3の分解層における4つの係数に分解されるため、RGBチャンネル画像のマルチスケール分解サブバンド情報にはXRGB
LL,2(i,j)が含まれていない。
ここで、XRGB
HH,1(i,j)はRGBチャンネル画像の第1の分解層のHH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XRGB
LH,1(i,j)はRGBチャンネル画像の第1の分解層のLH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XRGB
HL,1(i,j)はRGBチャンネル画像の第1の分解層のHL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XRGB
LL,1(i,j)はRGBチャンネル画像の第1の分解層のLL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。他の分解層の各周波数帯域の係数の表現方式は同様である。
ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって、XW
HH,1(i,j)、XW
LH,1(i,j)、XW
HL,1(i,j)、XW
HH,2(i,j)、XW
LH,2(i,j)、XW
HL,2(i,j)、XW
HH,3(i,j)、XW
LH,3(i,j)、XW
HL,3(i,j)、XW
LL,3(i,j)を含む、Wチャンネル画像に対応するYチャンネル画像のマルチスケール分解サブバンド情報を計算する。
XW
HH,1(i,j)はWチャンネル画像の第1の分解層のHH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XW
LH,1(i,j)はWチャンネル画像の第1の分解層のLH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XW
HL,1(i,j)はWチャンネル画像の第1の分解層のHL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XW
LL,1(i,j)はWチャンネル画像の第1の分解層のLL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。他の分解層の各周波数帯域の係数の表現方式は同様である。
別の実施形態では、異なる画像マルチスケール分解方法を採用して、第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び第2のグレースケール成分画像の第2の分解サブバンド情報を決定する。例えば、第1の分解方法を採用して第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、第2の分解方法を採用して第2のグレースケール成分画像の第2の分解サブバンド情報を決定する。第1の分解方法と第2の分解方法はすべて同じウェーブレットベースに基づくウェーブレット変換であるが、第1の分解方法の分解層数と第2の分解方法の分解層数とは異なる。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつステップS14における第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、以下のステップを含むことができる。
ステップS141、同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とする。
ステップS142、前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する。
一実施形態において、ステップS141の前に、第1の分解サブバンド情報に対応する第1の分解層数と各分解層に対応する周波数帯域数を決定し、第2の分解サブバンド情報に対応する第2の分解層数と各分解層に対応する周波数帯域数を決定するステップS140をさらに含むことができる。
第1の分解サブバンド情報と第2の分解サブバンド情報における分解層数が異なる場合、または分解層数が同じであるが少なくとも1つの分解層内の対応する周波数帯域の数量が同じである場合、ステップS141では同一の分解層での第1の分解サブバンド情報及び第2の分解サブバンド情報の同じ周波数帯域を決定することができる。
例えば、一例示において、
ステップS140では、第1の分解サブバンド情報に対応する第1の分解層数は3であり、各分解層は4つの周波数帯域に対応する。第1の分解層に対応する周波数帯域はそれぞれ第1の分解層でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域であり、第2の分解層に対応する4つの周波数帯域はそれぞれ第2の分解でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域であり、第3の分解層に対応する4つの周波数帯域はそれぞれ第3の分解層でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域である。
ステップS140では、第1の分解サブバンド情報に対応する第1の分解層数は3であり、各分解層は4つの周波数帯域に対応する。第1の分解層に対応する周波数帯域はそれぞれ第1の分解層でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域であり、第2の分解層に対応する4つの周波数帯域はそれぞれ第2の分解でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域であり、第3の分解層に対応する4つの周波数帯域はそれぞれ第3の分解層でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域である。
第2の分解サブバンド情報に対応する第2の分解層数は2であり、各分解層は4つの周波数帯域に対応する。第1の分解層に対応する周波数帯域はそれぞれ第1の分解層でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域であり、第2の分解層に対応する4つの周波数帯域はそれぞれ第2の分解層でのLL周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域である。
当該例示において、ステップS141では、同一の分解層で第1の分解サブバンド情報及び第2の分解サブバンド情報の同じ周波数帯域が、第1の分解層での4つの周波数帯域、及び第2の分解層での4つの周波数帯域を含むことができると決定することによって、第3の分解サブバンド情報が2つの分解層を含み、各分解層が4つの周波数帯域を含むと決定する。
一実施形態において、第1の分解サブバンド情報と第2の分解サブバンド情報における分解層数が同じであるとともに、各分解層数に対応する周波数帯域数も同じである場合、第3の分解サブバンド情報内の分解層数が第1の分解サブバンド情報または第2の分解サブバンド情報の分解層数であると決定し、第3の分解サブバンド情報内の各分解層に対応する周波数帯域数が第1の分解サブバンド情報または第2の分解サブバンド情報内の対応する分解層における周波数帯域数であると決定する。
ステップS142では、第3の分解サブバンド情報における1つの周波数帯域の周波数帯域係数行列を計算する場合、第1の分解サブバンド情報と第2の分解サブバンド情報における同一の周波数帯域に対応する周波数帯域係数行列を用いて計算することができる。例えば、
第1の分解サブバンド情報における第1の分解層のHH周波数帯域の周波数帯域係数行列、及び第2の分解サブバンド情報における第1の分解層のHH周波数帯域の周波数帯域係数行列を用いて、第3の分解サブバンド情報における第1の分解層のHH周波数帯域の周波数帯域係数行列を計算する。
第1の分解サブバンド情報における第1の分解層のHH周波数帯域の周波数帯域係数行列、及び第2の分解サブバンド情報における第1の分解層のHH周波数帯域の周波数帯域係数行列を用いて、第3の分解サブバンド情報における第1の分解層のHH周波数帯域の周波数帯域係数行列を計算する。
第1の分解サブバンド情報における第2の分解層のLL周波数帯域の周波数帯域係数行列、及び第2の分解サブバンド情報における第2の分解層のLL周波数帯域の周波数帯域係数行列を用いて、第3の分解サブバンド情報における第2の分解層のLL周波数帯域の周波数帯域係数行列を計算する。
本開示の実施例は、画像処理方法を提供し、この方法は図1に示す方法を含み、かつステップS14における、第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含むことができる。
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含むことができる。
本実施例では、異なる場合には、第3の分解サブバンド情報内の異なる1つまたは複数の周波数帯域を設定高周波数帯域として設定することができる。
一実施形態において、第1の分解サブバンド情報と第2の分解サブバンド情報は、ウェーブレット変換に基づく画像マルチスケール分解方法に基づいて取得された分解サブバンド情報である。設定高周波数帯域は第1の分解層におけるHH周波数帯域である。
設定高周波数帯域に対して、Wチャンネル画像の第2の分解サブバンド情報に対応する設定高周波数帯域の周波数帯域係数行列を第3の分解サブバンド情報の設定高周波数帯域の周波数帯域係数行列とする。すなわち第1の分解層におけるHH周波数帯域に対して、
XF HH,1(i,j)=XW HH,1(i,j)
ここで、XF HH,1(i,j)は第3の分解サブバンド情報における第1の分解層のHH周波数帯域に対応する分解画像における(i,j)ピクセルでの周波数帯域係数を表す。第3の分解サブバンド情報における他の分解層及び他の周波数帯域に対応する周波数帯域係数はこれと同様である。
XF HH,1(i,j)=XW HH,1(i,j)
ここで、XF HH,1(i,j)は第3の分解サブバンド情報における第1の分解層のHH周波数帯域に対応する分解画像における(i,j)ピクセルでの周波数帯域係数を表す。第3の分解サブバンド情報における他の分解層及び他の周波数帯域に対応する周波数帯域係数はこれと同様である。
第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する。
一例示において、第1の分解層におけるLH周波数帯域に対して、
XF LH,1(i,j)=[XW LH,1(i,j)+XRGB LH,1(i,j)]/2
XF LH,1(i,j)=[XW LH,1(i,j)+XRGB LH,1(i,j)]/2
第1の分解層におけるHL周波数帯域に対して、
XF HL,1(i,j)=[XW HL,1(i,j)+XRGB HL,1(i,j)]/2
XF HL,1(i,j)=[XW HL,1(i,j)+XRGB HL,1(i,j)]/2
第2の分解層におけるHH周波数帯域、すなわち第1の分解層におけるLL周波数帯域でのHH周波数帯域に対して、
XF HH,2(i,j)=[XW HH,2(i,j)+XRGB HH,2(i,j)]/2
XF HH,2(i,j)=[XW HH,2(i,j)+XRGB HH,2(i,j)]/2
第2の分解層におけるLH周波数帯域、すなわち第1の分解層におけるLL周波数帯域でのLH周波数帯域に対して、
XF LH,2(i,j)=[XW LH,2(i,j)+XRGB LH,2(i,j)]/2
XF LH,2(i,j)=[XW LH,2(i,j)+XRGB LH,2(i,j)]/2
第2の分解層におけるHL周波数帯域、すなわち第1の分解層におけるLL周波数帯域でのHL周波数帯域に対して、
XF HL,2(i,j)=[XW HL,2(i,j)+XRGB HL,2(i,j)]/2
XF HL,2(i,j)=[XW HL,2(i,j)+XRGB HL,2(i,j)]/2
第3の分解層におけるHH周波数帯域、すなわち第2の分解層におけるLL周波数帯域でのHH周波数帯域に対して、
XF HH,3(i,j)=[XW HH,3(i,j)+XRGB HH,3(i,j)]/2
XF HH,3(i,j)=[XW HH,3(i,j)+XRGB HH,3(i,j)]/2
第3の分解層におけるLH周波数帯域、すなわち第2の分解層におけるLL周波数帯域でのLH周波数帯域に対して、
XF LH,3(i,j)=[XW LH,3(i,j)+XRGB LH,3(i,j)]/2
XF LH,3(i,j)=[XW LH,3(i,j)+XRGB LH,3(i,j)]/2
第3の分解層におけるHL周波数帯域、すなわち第2の分解層におけるLL周波数帯域でのHL周波数帯域に対して、
XF HL,3(i,j)=[XW HL,3(i,j)+XRGB HL,3(i,j)]/2
XF HL,3(i,j)=[XW HL,3(i,j)+XRGB HL,3(i,j)]/2
第3の分解層におけるLL周波数帯域、すなわち第2の分解層におけるLL周波数帯域でのLL周波数帯域に対して、
XF LL,3(i,j)=[XW LL,3(i,j)+XRGB LL,3(i,j)]/2
XF LL,3(i,j)=[XW LL,3(i,j)+XRGB LL,3(i,j)]/2
ここで、XF
HH,3(i,j)は第3の分解サブバンド情報の第3の分解層のHH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XF
LH,3(i,j)は第3の分解サブバンド情報の第3の分解層のLH周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XF
HL,3(i,j)は第3の分解サブバンド情報の第3の分解層のHL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。XF
LL,3(i,j)は第3の分解サブバンド情報の第3の分解層のLL周波数帯域の分解画像における(i,j)ピクセルに対応する係数を表す。
一実施形態において、設定高周波数帯域に対応する周波数帯域が第1の分解層におけるHH周波数帯域、LH周波数帯域、及びHL周波数帯域を含むと決定する。
設定高周波数帯域に対して、Wチャンネル画像の第1の分解サブバンドに対応する設定高周波数帯域の周波数帯域係数行列を第3の分解サブバンドの設定高周波数帯域の周波数帯域係数行列とする。すなわち第1の分解層におけるHH周波数帯域、LH周波数帯域、及びHL周波数帯域に対して、
XF HH,1(i,j)=XW HH,1(i,j)
XF LH,1(i,j)=XW LH,1(i,j)
XF HL,1(i,j)=XW HL,1(i,j)
XF HH,1(i,j)=XW HH,1(i,j)
XF LH,1(i,j)=XW LH,1(i,j)
XF HL,1(i,j)=XW HL,1(i,j)
設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつステップS14における、第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含むことができ、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含むことができ、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
例えば、
ウェーブレット変換の分解層数が3層である場合、設定高周波数帯域は第1の分解層におけるHH周波数帯域である。Wチャンネル画像の第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数が0.98であり、高周波数帯域を除く周波数帯域での対応する重み係数は0.5、または0.6、または0.55などである。
ウェーブレット変換の分解層数が3層である場合、設定高周波数帯域は第1の分解層におけるHH周波数帯域である。Wチャンネル画像の第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数が0.98であり、高周波数帯域を除く周波数帯域での対応する重み係数は0.5、または0.6、または0.55などである。
一例示において、設定高周波数帯域は第1の分解層におけるHH周波数帯域である。
第1の分解層におけるHH周波数帯域、
XF HH,1(i,j)=0.98*XW HH,1(i,j)+0.02*XRGB HH,1(i,j)
XF HH,1(i,j)=0.98*XW HH,1(i,j)+0.02*XRGB HH,1(i,j)
第1の分解層におけるLH周波数帯域に対して、
XF LH,1(i,j)=0.6*XW LH,1(i,j)+0.4*XRGB LH,1(i,j)
XF LH,1(i,j)=0.6*XW LH,1(i,j)+0.4*XRGB LH,1(i,j)
第1の分解層におけるHL周波数帯域に対して、
XF HL,1(i,j)=0.6*XW HL,1(i,j)+0.4*XRGB HL,1(i,j)
XF HL,1(i,j)=0.6*XW HL,1(i,j)+0.4*XRGB HL,1(i,j)
これによって類推する。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつステップS14における第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含むことができ、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含むことができ、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
例えば、ウェーブレット変換の分解層数が3層である場合、第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
例えば、第1の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域及びHH周波数帯域に対応する重み係数はいずれも第2の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域に対応する重み係数より大きい。
第2の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域に対応する重み係数はいずれも第3の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域、及びHH周波数帯域に対応する重み係数より大きい。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつステップS14における第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
第3の分解サブバンド情報における設定高周波数帯域に対して、第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定する操作と、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する操作とを実行するステップと、を含むことができ、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
第3の分解サブバンド情報における設定高周波数帯域に対して、第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定する操作と、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する操作とを実行するステップと、を含むことができ、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
例えば、
ウェーブレット変換の分解層数が3層である場合、高周波数帯域は第1の分解層におけるHH周波数帯域であると決定する。Wチャンネル画像の第2の分解サブバンド情報における第1の分解層におけるHH周波数帯域の周波数帯域係数を第3の分解サブバンド情報における第1の分解層におけるHH周波数帯域の周波数帯域係数とする。
ウェーブレット変換の分解層数が3層である場合、高周波数帯域は第1の分解層におけるHH周波数帯域であると決定する。Wチャンネル画像の第2の分解サブバンド情報における第1の分解層におけるHH周波数帯域の周波数帯域係数を第3の分解サブバンド情報における第1の分解層におけるHH周波数帯域の周波数帯域係数とする。
第1の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域及びHH周波数帯域に対応する重み係数はいずれも第2の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域及びHH周波数帯域に対応する重み係数より大きい。
第2の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域及びHH周波数帯域に対応する重み係数はいずれも第3の分解層におけるHH周波数帯域、LH周波数帯域、HL周波数帯域及びHH周波数帯域に対応する重み係数より大きい。
本開示の実施例は、画像処理方法を提供し、この方法は、図1に示す方法を含み、かつステップS14における第1の分解サブバンド情報及び第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
ここで、第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
ここで、第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
ここで、1ピクセルに対応する第1の分散と第2の分散は、いずれも各ピクセルを中心とした設定サイズの領域(例えば3*3の領域、または5*5の領域、または7*7の領域)内の画素値の分散値である。
一実施例において、各ピクセルに対応する第1の分散と第2の分散との比は、対応するピクセルでの第1のグレースケール成分画像のこの周波数帯域での分解画像におけるこのピクセルに対応する重み係数と、第2のグレースケール成分画像のこの周波数帯域での分解画像における対応するピクセルに対応する重み係数との比に等しい。
例えば、第1の分解層におけるHH周波数帯域は以下のとおりである。
[TW HH,1(i,j)]/[TRGB HH,1(i,j)]=[DW HH,1(i,j)]/[DRGB HH,1(i,j)]
[TW HH,1(i,j)]/[TRGB HH,1(i,j)]=[DW HH,1(i,j)]/[DRGB HH,1(i,j)]
ここで、TW
HH,1(i,j)は、第1の分解層のHH周波数帯域における、第2のグレースケール成分画像のこの周波数帯域の分解画像における(i,j)ピクセルに対応する重み係数を指す。
TRGB
HH,1(i,j)は、第1の分解層におけるHH周波数帯域における、第2のグレースケール成分画像のこの周波数帯域の分解画像における(i,j)ピクセルに対応する重み係数を指す。
DW
HH,1(i,j)は、第1の分解層におけるHH周波数帯域における、第2のグレースケール成分画像のこの周波数帯域の分解画像における(i,j)ピクセルでの第2の分散を指す。
DRGB
HH,1(i,j)は、第1の分解層におけるHH周波数帯域における、第1のグレースケール成分画像のこの周波数帯域の分解画像における(i,j)ピクセルでの第1の分散を指す。
例えば、ウェーブレット変換の分解層数が2層である場合、ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって、XRGB
HH,1(i,j)、XRGB
LH,1(i,j)、XRGB
HL,1(i,j)、XRGB
HH,2(i,j)、XRGB
LH,2(i,j)、XRGB
HL,2(i,j)、XRGB
LL,2(i,j)を含む第1のグレースケール成分画像の第1の分解サブバンド情報を計算する。
ウェーブレット変換の分解層数が2層である場合、ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって、XW
HH,1(i,j)、XW
LH,1(i,j)、XW
HL,1(i,j)、XW
HH,2(i,j)、XW
LH,2(i,j)、XW
HL,2(i,j)、XW
LL,2(i,j)を含む第2のグレースケール成分画像の第2の分解サブバンド情報を計算する。
1周波数帯域の1ピクセルに対して、このピクセルに対応する第1の分散及び第2の分散に基づいて、対応するピクセルで第1のグレースケール成分画像のこの周波数帯域の分解画像におけるこのピクセルに対応する重み係数、及び第2のグレースケール成分画像のこの周波数帯域の分解画像におけるこのピクセルに対応する重み係数を決定し、例えば、第1の分解層におけるHH周波数帯域に対する計算方式は以下のとおりである。
XF HH,1(i,j)=TW HH,1(i,j)*XW HH,1(i,j)+TRGB HH,1(i,j)*XRGB HH,1(i,j)
XF HH,1(i,j)=TW HH,1(i,j)*XW HH,1(i,j)+TRGB HH,1(i,j)*XRGB HH,1(i,j)
第1の分解層におけるLH周波数帯域に対する計算方式は以下のとおりである。
XF LH,1(i,j)=TW LH,1(i,j)*XW LH,1(i,j)+TRGB LH,1(i,j)*XRGB LH,1(i,j)
XF LH,1(i,j)=TW LH,1(i,j)*XW LH,1(i,j)+TRGB LH,1(i,j)*XRGB LH,1(i,j)
第1の分解層における他の周波数帯域及び第2の分解層における各周波数帯域に対する計算方式は上記計算方式と同様である。
上記実施例における装置に関して、ここで各モジュールが操作を実行する具体的な方式は、当該方法の実施例において詳細に説明されるので、ここでは詳細な説明は省略する。
本開示の実施例は、画像処理装置を提供する。図3を参照すると、図3は一例示的な実施例により示される画像処理装置の構成図である。図3に示すように、この装置は、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュール301と、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するように構成される第1の決定モジュール302と、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成される第2の決定モジュール303であって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応する第2の決定モジュール303と、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される第3の決定モジュール304と、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュール305と、を含む。
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュール301と、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するように構成される第1の決定モジュール302と、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成される第2の決定モジュール303であって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応する第2の決定モジュール303と、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される第3の決定モジュール304と、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュール305と、を含む。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第2の決定モジュール303は、さらに
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定する、という方法を用いて、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
前記第2の決定モジュール303は、さらに
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定する、という方法を用いて、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第3の決定モジュール304は、
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される。
前記第3の決定モジュール304は、
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値は、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される。
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値は、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第2の決定モジュール303は、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第2の決定モジュール303は、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定すし、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定すし、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
本開示の実施例は、画像処理装置を提供し、この装置は、図3に示す装置を含み、かつ、
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
ここで、第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
前記第2の決定モジュール303は、さらに、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
ここで、第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す。
本開示の実施例は、画像処理装置を提供し、この装置は、
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記方法を実行するように構成される。
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記方法を実行するように構成される。
本開示の実施例は、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体の命令がモバイル端末のプロセッサによって実行される際に、モバイル端末が前記方法を実行できるようにする。
図4は一例示的な実施例により示される画像処理装置400の構成図である。例えば、装置400は、携帯電話、コンピュータ、デジタル放送端末、メッセージング送受装置、ゲームコンソール、タブレット装置、医療装置、フィットネス装置、パーソナルデジタルアシスタントなどであってもよい。
図4を参照し、装置400は、処理コンポーネント402、メモリ404、電源コンポーネント406、マルチメディアコンポーネント408、オーディオコンポーネント410、入力/出力(I/O)インターフェース412、センサコンポーネント414、及び通信コンポーネント416のうち1つ又は複数を含むことができる。
処理コンポーネント402は、通常、装置400の全体の操作、例えば、表示、電話の呼び出し、データ通信、カメラ操作、及び記録操作に関連する操作を制御する。処理コンポーネント402は、上記方法の実施例における全部又は一部のステップを完成するために、命令を実行する1つ或複数のプロセッサ720を含むことができる。また、処理コンポーネント402は、処理コンポーネント402と他のユニットとの間のインタラクションを容易にするように、1つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント402は、マルチメディアコンポーネント408と処理コンポーネント402との間のインタラクションを容易にするように、マルチメディアモジュールを含むことができる。
メモリ404は、各種タイプのデータを記憶して装置400での操作をサポートするように構成される。これらのデータの例は、装置400で操作するためのあらゆるアプリケーションプログラム又は方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャ、及びビデオなどを含む。メモリ404は、スタティックランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログラム可能な読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、ディスク又は光ディスクのような、任意タイプの揮発性又は非揮発性記憶装置又はこれらの組み合わせによって実現することができる。
電源コンポーネント406は、装置400の各種のユニットに電力を提供する。電源コンポーネント406は、電源管理システムと、1つ又は複数の電源と、装置400の電力の生成、管理及び配分に関連する他のユニットとを含んでもよい。
マルチメディアコンポーネント408は、前記装置400とユーザとの間に1つの出力インターフェースを提供するスクリーンを含む。一部の実施例において、スクリーンは、液晶ディスプレイ(LCD)とタッチパネル(TP)とを含んでもよい。スクリーンがタッチパネルを含む場合に、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチパネルをタッチ及びスライドするジェスチャを感知する1つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスライド動作の境界を感知することができるほか、前記タッチ又はスライド操作に関する持続時間及び圧力を感知することができる。一部の実施例において、マルチメディアコンポーネント408は、フロントカメラ及び/又はバックカメラを含む。装置400が操作モードにあり、例えば、撮影モード又はビデオモードにある場合に、フロントカメラ及び/又はバックカメラは、外部のマルチメディアのデータを受信することができる。各フロントカメラ及びバックカメラは、1つの固定的な光学レンズシステムであってもよく、又は焦点距離と光学ズーム機能を備えてもよい。
オーディオコンポーネント410は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント410は、1つのマイク(MIC)を含む。装置400が操作モード、例えば、呼び出しモード、記録モード及び音声認識モードにある場合に、マイクは、外部のオーディオ信号を受信するように構成される。受信したオーディオ信号は、さらにメモリ404に記憶され、又は通信コンポーネント416を介して送信される。一部の実施例において、オーディオコンポーネント410は、オーディオ信号を出力する1つのスピーカをさらに含む。
I/Oインターフェース412は、処理コンポーネント402とペリフェラルインターフェースモジュールとの間のインターフェースを提供する。上記ペリフェラルインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、開始ボタン、及びロックボタンなどを含むが、これらに限定されない。
センサコンポーネント414は、各方面の状態評価を装置400に提供する1つ又は複数のセンサを含む。例えば、センサコンポーネント414は、装置400のオン/オフ状態、及びユニットの相対的位置決めを検出することができ、例えば、前記ユニットが装置400のディスプレイ及びキーパッドである。センサコンポーネント414は、さらに、装置400又は装置400の1つユニットの位置変化、ユーザと装置400との接触の有無、装置400の方位又は加速/減速、及び装置400の温度変化を検出することができる。センサコンポーネント414は、物理的接触が一切ない場合に近くの物体の存在を検出するように構成される近接センサを含むことができる。センサコンポーネント414は、光センサ、例えば、結像応用に使用されるCMOS又はCCDイメージセンサをさらに含むことができる。一部の実施例において、該センサコンポーネント414は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ、又は温度センサを含むことができる。
通信コンポーネント416は、装置400と他の装置との間の有線又は無線通信を容易にするように構成される。装置400は、例えば、WiFi、2G又は3G、又はそれらの組み合わせなどの通信規格に基づいた無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント416は、ブロードキャストチャネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例において、前記通信コンポーネント416は、短距離通信を容易にするための近距離通信(NFC)モジュールをさらに含む。例えば、NFCモジュールは、無線周波数認識(RFID)技術、赤外線データ結合(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術、及び他の技術に基づいて実現することができる。
例示的な実施例において、装置400は、上記方法を実行するための1つ又は複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子ユニットによって実現することができる。
例示的な実施例において、命令を含む非一時的なコンピュータ可読記憶媒体、例えば、命令を含むメモリ404も提供され、上記命令は、上記方法を実行するために、装置400のプロセッサ720によって実行することができる。例えば、非一時的なコンピュータ可読記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピ-ディスク、光データ記憶装置などであってもよい。
当業者は、明細書を考慮してここに記載の発明を実践した後、本発明の他の実施案を容易に想到し得る。本出願は、本開示のあらゆる変形、用途又は適応的な変化を含むことを旨とし、これらの変形、用途又は適応的変化は本発明の一般的な原理に従い、かつ本発明で開示されていない本技術分野における周知知識又は慣用されている技術手段を含む。明細書と実施例は単なる例示的なものとみなされ、本発明の真の範囲と主旨は以下の特許請求の範囲に指摘される。
なお、本発明は、すでに前文で説明されていて図面に示された正確な構造に限定されず、その原理及び趣旨から逸脱しない限り、各種の補正、変化を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲のみにより限定される。
Claims (18)
- 画像処理方法であって、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するステップと、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するステップと、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップであって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応するステップと、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップと、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するステップと、を含む、
ことを特徴とする画像処理方法。 - 前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップは、
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである、
ことを特徴とする請求項1に記載の画像処理方法。 - 前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とするステップと、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を算出するステップと、を含む、
ことを特徴とする請求項1に記載の画像処理方法。 - 前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含む、
ことを特徴とする請求項1または3に記載の画像処理方法。 - 前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい、
ことを特徴とする請求項1または3に記載の画像処理方法。 - 前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
ことを特徴とする請求項1または3に記載の画像処理方法。 - 前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップと、を含み、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
ことを特徴とする請求項1または3に記載の画像処理方法。 - 前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するステップは、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す、
ことを特徴とする請求項1または3に記載の画像処理方法。 - 画像処理装置であって、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュールと、
前記赤緑青チャンネル画像の第1のグレースケール成分画像を決定し、及び前記白チャンネル画像の第2のグレースケール成分画像を決定するように構成される第1の決定モジュールと、
前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成される第2の決定モジュールであって、前記第1の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応し、前記第2の分解サブバンド情報は少なくとも1つの分解層を含み、各分解層は少なくとも1つの周波数帯域を含み、各周波数帯域は1つの周波数帯域係数行列に対応する第2の決定モジュールと、
前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される第3の決定モジュールと、
前記第3の分解サブバンド情報に基づいて画像再構成を行って、第3のグレースケール成分画像を取得し、前記第3のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュールと、を含む、
ことを特徴とする画像処理装置。 - 前記第2の決定モジュールは、さらに、
画像マルチスケール分解方法を採用して、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定する、という方法を用いて、前記第1のグレースケール成分画像の第1の分解サブバンド情報を決定し、及び、前記第2のグレースケール成分画像の第2の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである、
ことを特徴とする請求項9に記載の画像処理装置。 - 前記第3の決定モジュールは、さらに、
同一の分解層での前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報の同じ周波数帯域を、前記第3の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第3の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第3の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される、
ことを特徴とする請求項9に記載の画像処理装置。 - 前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第3の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第1の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第2の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成される、
ことを特徴とする請求項9または11に記載の画像処理装置。 - 前記第3の決定モジュールは、さらに
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第1の行列と第2の行列との和であり、前記第1の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第2の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい、
ことを特徴とする請求項9または11に記載の画像処理装置。 - 前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第3の行列と第4の行列との和であり、前記第3の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第4の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
ことを特徴とする請求項9または11に記載の画像処理装置。 - 前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報における設定高周波数帯域に対して、前記第2の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第3の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第3の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第3の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第5の行列と第6の行列との和であり、前記第5の行列が、前記第1の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第6の行列が、前記第2の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報と前記第2の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は1であり、前記第2の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
ことを特徴とする請求項9または11に記載の画像処理装置。 - 前記第3の決定モジュールは、さらに、
前記第3の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第7の行列と第8の行列との和であり、前記第7の行列が、第1の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第1の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第8の行列が、第2の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第2の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第1の分解サブバンド情報及び前記第2の分解サブバンド情報に基づいて、第3の分解サブバンド情報を決定するように構成され、
前記第1の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第1のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第1の分散に基づいて計算して取得されるものであり、
前記第2の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第2のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第2の分散に基づいて計算して取得されるものであり、
第1のグレースケール成分画像と第2のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は1であり、第1のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第1の分散とは正の相関を示し、第2のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第2の分散とは正の相関を示す、
ことを特徴とする請求項9または11に記載の画像処理装置。 - 画像処理装置であって、
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記請求項1~8のいずれか一項に記載の方法を実行するように構成される、
ことを特徴とする画像処理装置。 - 非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記記憶媒体の命令がモバイル端末のプロセッサによって実行される際に、モバイル端末が前記請求項1~8のいずれか一項に記載の方法を実行できるようにする、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010747369.4A CN114066784A (zh) | 2020-07-29 | 2020-07-29 | 一种图像处理方法、装置和存储介质 |
CN202010747369.4 | 2020-07-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022027438A true JP2022027438A (ja) | 2022-02-10 |
JP7093441B2 JP7093441B2 (ja) | 2022-06-29 |
Family
ID=75277805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021053241A Active JP7093441B2 (ja) | 2020-07-29 | 2021-03-26 | 画像処理方法、装置及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11900637B2 (ja) |
EP (1) | EP3945713A1 (ja) |
JP (1) | JP7093441B2 (ja) |
KR (1) | KR102563468B1 (ja) |
CN (1) | CN114066784A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022122682A (ja) * | 2021-02-10 | 2022-08-23 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108389165A (zh) * | 2018-02-02 | 2018-08-10 | 成都西纬科技有限公司 | 一种图像去噪方法 |
JP2020504831A (ja) * | 2017-12-05 | 2020-02-13 | 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. | インタフェース画像の表示方法、装置及びプログラム |
CN111353982A (zh) * | 2020-02-28 | 2020-06-30 | 贝壳技术有限公司 | 一种深度相机图像序列筛选方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6195465B1 (en) * | 1994-09-21 | 2001-02-27 | Ricoh Company, Ltd. | Method and apparatus for compression using reversible wavelet transforms and an embedded codestream |
JP2004228952A (ja) * | 2003-01-23 | 2004-08-12 | Ricoh Co Ltd | 画像処理装置、画像処理用プログラム及び記憶媒体 |
KR100607144B1 (ko) * | 2003-12-29 | 2006-08-01 | 엘지.필립스 엘시디 주식회사 | 액정 디스플레이 장치 |
JP4837503B2 (ja) * | 2006-09-12 | 2011-12-14 | オリンパス株式会社 | 画像処理システム、画像処理プログラム |
KR20110006112A (ko) * | 2009-07-13 | 2011-01-20 | 삼성전자주식회사 | 카메라 시스템에서 디스플레이 패널의 백라이트를 제어하는 장치 및 그 방법 |
FR2975804B1 (fr) * | 2011-05-27 | 2022-06-17 | Lvmh Rech | Procede de caracterisation du teint de la peau ou des phaneres |
US9111339B1 (en) * | 2013-07-31 | 2015-08-18 | Marvell International Ltd. | System and method for reducing noise from an image |
JP2016014727A (ja) * | 2014-07-01 | 2016-01-28 | 株式会社ジャパンディスプレイ | 表示装置、電子機器及び画像表示方法 |
US10186023B2 (en) * | 2016-01-25 | 2019-01-22 | Qualcomm Incorporated | Unified multi-image fusion approach |
CN106447641A (zh) * | 2016-08-29 | 2017-02-22 | 努比亚技术有限公司 | 图像生成装置及方法 |
WO2018040751A1 (zh) * | 2016-08-29 | 2018-03-08 | 努比亚技术有限公司 | 图像生成装置及方法、图像处理设备及存储介质 |
CN106355569A (zh) * | 2016-08-29 | 2017-01-25 | 努比亚技术有限公司 | 图像生成装置及方法 |
CN109360182A (zh) * | 2018-10-31 | 2019-02-19 | 广州供电局有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-29 CN CN202010747369.4A patent/CN114066784A/zh active Pending
-
2021
- 2021-03-18 KR KR1020210035077A patent/KR102563468B1/ko active IP Right Grant
- 2021-03-18 US US17/205,520 patent/US11900637B2/en active Active
- 2021-03-26 JP JP2021053241A patent/JP7093441B2/ja active Active
- 2021-03-29 EP EP21165486.8A patent/EP3945713A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020504831A (ja) * | 2017-12-05 | 2020-02-13 | 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. | インタフェース画像の表示方法、装置及びプログラム |
CN108389165A (zh) * | 2018-02-02 | 2018-08-10 | 成都西纬科技有限公司 | 一种图像去噪方法 |
CN111353982A (zh) * | 2020-02-28 | 2020-06-30 | 贝壳技术有限公司 | 一种深度相机图像序列筛选方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7093441B2 (ja) | 2022-06-29 |
KR102563468B1 (ko) | 2023-08-04 |
US11900637B2 (en) | 2024-02-13 |
US20220036590A1 (en) | 2022-02-03 |
EP3945713A1 (en) | 2022-02-02 |
CN114066784A (zh) | 2022-02-18 |
KR20220014801A (ko) | 2022-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI696146B (zh) | 影像處理方法、裝置、電腦可讀儲存媒體和行動終端 | |
CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
WO2021036991A1 (zh) | 高动态范围视频生成方法及装置 | |
CN113850367B (zh) | 网络模型的训练方法、图像处理方法及其相关设备 | |
CN110944160B (zh) | 一种图像处理方法及电子设备 | |
CN110958401B (zh) | 一种超级夜景图像颜色校正方法、装置和电子设备 | |
WO2014091854A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム | |
CN104380727B (zh) | 图像处理装置和图像处理方法 | |
KR20210110499A (ko) | 샘플 이미지 세트 획득 방법 및 장치 | |
US20180352201A1 (en) | Image processing method, device, terminal and storage medium | |
CN107025441B (zh) | 肤色检测方法及装置 | |
US10951816B2 (en) | Method and apparatus for processing image, electronic device and storage medium | |
US11222235B2 (en) | Method and apparatus for training image processing model, and storage medium | |
JP7093441B2 (ja) | 画像処理方法、装置及び記憶媒体 | |
CN116744120A (zh) | 图像处理方法和电子设备 | |
CN113674685B (zh) | 像素阵列的控制方法、装置、电子设备和可读存储介质 | |
CN111835941B (zh) | 图像生成方法及装置、电子设备、计算机可读存储介质 | |
WO2023020532A1 (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
US20230410463A1 (en) | Method for Obtaining Light Source Spectrum and Device | |
US20220405896A1 (en) | Image processing method and apparatus, model training method and apparatus, and storage medium | |
CN118317203A (zh) | 图像处理方法、装置、电子设备及芯片 | |
CN117440241A (zh) | 一种视频处理方法及装置 | |
CN116228554A (zh) | 图像恢复方法、装置和计算机存储介质 | |
CN117557484A (zh) | 颜色还原方法、装置及存储介质 | |
CN116012222A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7093441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |