JP7493867B1 - Low-light image enhancement method based on deep Retinex - Google Patents
Low-light image enhancement method based on deep Retinex Download PDFInfo
- Publication number
- JP7493867B1 JP7493867B1 JP2024024529A JP2024024529A JP7493867B1 JP 7493867 B1 JP7493867 B1 JP 7493867B1 JP 2024024529 A JP2024024529 A JP 2024024529A JP 2024024529 A JP2024024529 A JP 2024024529A JP 7493867 B1 JP7493867 B1 JP 7493867B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- low
- reflectance
- light
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005286 illumination Methods 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 48
- 238000011176 pooling Methods 0.000 claims description 10
- 230000010339 dilation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 4
- 235000011941 Tilia x europaea Nutrition 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000004571 lime Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
【課題】効果的に、入力画像のテクスチャの細部を復元し、色情報を強調し、画像の輝度分布をより自然にし、ノイズをより低くする深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法を提供する。【解決手段】方法は、Ｒｅｔｉｎｅｘ理論に基づいて、層分解ネットワークを利用して低光画像、通常光画像を反射画像及び照度画像に分解し、次に、低光照度画像及び低光反射率画像を反射率復元ネットワークの入力とし、低光反射画像から通常光反射画像へのマッピングを学習して、反射率復元画像を得る。続いて、低光照度画像を照度調節ネットワークの入力とし、低光照度画像から通常光照度画像へのマッピングを学習して、照度強調画像を得る。次に、反射率復元画像と照度強調画像を融合させて、初期の強調画像を得、最後に、知覚強化ネットワークを使用して、初期の強調画像から通常光画像へのマッピングを学習し強調画像を得る。【選択図】図１A method for low-light image enhancement based on deep Retinex is provided, which effectively restores texture details of an input image, enhances color information, makes the image luminance distribution more natural, and lowers noise. Based on Retinex theory, the method uses a layer decomposition network to decompose a low-light image and a normal-light image into a reflectance image and an illuminance image. Then, the low-light image and the low-light reflectance image are input to a reflectance restoration network, which learns a mapping from the low-light reflectance image to the normal-light reflectance image to obtain a reflectance restoration image. Then, the low-light image is input to an illumination adjustment network, which learns a mapping from the low-light image to the normal-light image to obtain an illumination-enhanced image. Then, the reflectance restoration image and the illumination-enhanced image are fused to obtain an initial enhanced image, and finally, a perceptual enhancement network is used to learn a mapping from the initial enhanced image to the normal-light image to obtain an enhanced image. [Selected Figure]
Description
本発明は画像処理の技術分野に属し、低光画像の強調方法に関し、具体的には深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法に関する。 The present invention belongs to the technical field of image processing and relates to a method for enhancing low-light images, and more specifically to a method for enhancing low-light images based on deep Retinex.
撮影プロセスにおいて、画像が逆光、不均一な照明、微弱光等の低光条件の影響を受けると、最終的に得られる画像には、輝度及びコントラストが低く、ノイズが大きく、細部がぼやけ、色が歪む等の複数の劣化問題が存在し、画像の美的品質に影響を与えるだけでなく、検出処理、識別処理等のハイレベルの視覚処理の実行にも影響を与える。 During the shooting process, if the image is affected by low light conditions such as backlight, uneven lighting, and weak light, the final image will have multiple degradation problems such as low brightness and contrast, high noise, blurred details, and distorted colors, which not only affect the aesthetic quality of the image, but also affect the performance of high-level visual processing such as detection processing and identification processing.
従って、低光画像に対して特定の処理を行い、画質を強調する必要がある。従来の低光画像強調方法は、ヒストグラム均等化、ガンマ補正、逆ヘイズ除去モデルに基づいた強調、Ｒｅｔｉｎｅｘ理論に基づいた強調等を含む。ヒストグラム均等化、ガンマ補正は、画像のコントラスト及び視認性を向上させることができるが、ハロー効果及び過剰な強調といった問題が存在する。逆ヘイズ除去モデルに基づいた強調方法は、夜間画像と霧画像の視覚的類似性に基づき、ダークチャネルプライア法で反転画像をヘイズ除去し、画像のダイナミックレンジを向上させるが、該方法は細部処理において安定していない。Ｒｅｔｉｎｅｘ理論に基づいた方法は、事前知識に基づいて低光画像から照度画像を推定し、且つ反射画像を強調結果とする方法であり、一般的にＳＳＲ、ＭＳＲを含むが、これらの方法には、過剰な強調及び色歪みの問題がある。このように、これら従来の強調方法にはある程度の良好な効果が期待できるが、欠点も存在する。 Therefore, it is necessary to perform specific processing on low-light images to enhance their image quality. Conventional low-light image enhancement methods include histogram equalization, gamma correction, enhancement based on an inverse haze removal model, and enhancement based on Retinex theory. Histogram equalization and gamma correction can improve image contrast and visibility, but they have problems such as halo effect and excessive enhancement. The enhancement method based on the inverse haze removal model is based on the visual similarity between nighttime images and foggy images, and uses the dark channel prior method to remove haze from the inverted image and improve the dynamic range of the image, but this method is not stable in detail processing. The method based on Retinex theory is a method of estimating an illuminance image from a low-light image based on prior knowledge, and using the reflection image as the enhancement result, and generally includes SSR and MSR, but these methods have problems with excessive enhancement and color distortion. As such, these conventional enhancement methods can be expected to have a certain degree of good effect, but they also have drawbacks.
深層学習を導入する方法は、ノイズ除去、超解像度、ぼやけ除去といったローレベルの視覚処理に優れており、低光画像強調の分野において従来の方法と比べても、精度、ロバスト性、速度がより良好であり、且つ画像の輝度及びコントラストの向上においては、従来の方法に比べて性能がより良好である。しかしながら、既存の方法は、ノイズ除去、細部復元、色の強調において理想的ではない。従って、ノイズと細部復元のバランスをとり、色を強調できる低光画像強調方法を研究することは非常に重要である。 Deep learning methods excel in low-level visual processing such as noise removal, super-resolution, and blur removal, and are more accurate, robust, and fast than conventional methods in the field of low-light image enhancement. They also perform better than conventional methods in improving image brightness and contrast. However, existing methods are not ideal in noise removal, detail restoration, and color enhancement. Therefore, it is very important to research low-light image enhancement methods that can balance noise and detail restoration and enhance color.
従来技術における深層学習に基づいた低光画像強調技術の欠点に対して、本発明は深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法を提案する。これは深層学習とＲｅｔｉｎｅｘ理論の長所を組み合わせることで、強調された画像はより優れた細部及び色を実現できる。 In response to the shortcomings of the deep learning-based low-light image enhancement technology in the prior art, the present invention proposes a low-light image enhancement method based on deep Retinex, which combines the advantages of deep learning and Retinex theory, so that the enhanced image can achieve better details and colors.
深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法であって、具体的に、以下のステップ１～ステップ５を含む。 A low-light image enhancement method based on deep Retinex, specifically including the following steps 1 to 5.
ステップ１において、Ｒｅｔｉｎｅｘ理論に基づいて低光画像Ｓｌ及び通常光画像Ｓｈをそれぞれ分解し、低光反射率画像Ｒｌ、通常光反射率画像Ｒｈ、低光照度画像Ｉｌ、及び通常光照度画像Ｉｈを得、具体的な操作は以下の通りである。
層分解ネットワークを構築し、Ｒｅｔｉｎｅｘ理論に基づいて入力された低光画像及び通常光画像をそれぞれ分解する。
In step 1, the low light image S l and the normal light image S h are decomposed based on the Retinex theory to obtain a low light reflectance image R l , a normal light reflectance image R h , a low light illuminance image I l , and a normal light illuminance image I h , and the specific operations are as follows:
A layer decomposition network is constructed to decompose the input low-light and normal-light images respectively based on the Retinex theory.
Ｒｅｔｉｎｅｘ理論で画像を分解する計算式は、
前記層分解ネットワークは、まず、入力画像に対して１回の畳み込み操作を使用し、画像の浅層特徴を得、次に反射率分岐及び照度分岐をそれぞれ入力して分解し、最後にＳｉｇｍｏｉｄ関数を使用して２つの分岐の出力を［０，１］の範囲に制約する。前記反射率分岐はダウンサンプリング及び畳み込み操作を使用して深層特徴を抽出し、更にアップサンプリングを使用して、同じ解像度のダウンサンプリング結果とチャネルのマージを行い、次に畳み込み操作を行って出力画像の解像度を入力と同じになるよう復元し、１ｘ１の畳み込み操作を使用して出力画像のチャネル数を入力と同じになるよう復元する。前記照度分岐は、まず、画像の浅層特徴に対して畳み込み操作を行い、次に反射率分岐における解像度及びチャネル数がいずれも同じである特徴マップとチャネルのマージを行い、更に１ｘ１の畳み込み操作を使用して出力画像のチャネル数を入力と同じになるよう復元する。 The layer decomposition network first uses a single convolution operation on the input image to obtain shallow features of the image, then inputs and decomposes the reflectance branch and the illumination branch, respectively, and finally uses a sigmoid function to constrain the outputs of the two branches to the range of [0, 1]. The reflectance branch uses downsampling and convolution operations to extract deep features, and then uses upsampling to merge channels with the downsampling result of the same resolution, then performs a convolution operation to restore the resolution of the output image to the same as the input, and uses a 1x1 convolution operation to restore the number of channels of the output image to the same as the input. The illumination branch first performs a convolution operation on the shallow features of the image, then merges channels with a feature map with the same resolution and number of channels in the reflectance branch, and then uses a 1x1 convolution operation to restore the number of channels of the output image to the same as the input.
ステップ２において、反射率復元ネットワークを使用して、低光反射率画像Ｒｌから通常光反射率画像Ｒｈへのマッピングを学習し、反射率復元画像Ｒｒを得、具体的な操作ステップは以下の通りである。
前記反射率復元ネットワークの入力は低光照度画像Ｉｌ及び低光反射率画像Ｒｌであり、まず、ＲｌとＩｌに対してチャネルのマージを行い、次に１回の畳み込み操作を使用して浅層特徴を得、更に符号化－復号モジュールを通過させた後、１ｘ１の畳み込み操作を使用してチャネル数を復元する。前記符号化モジュールは残差モジュールとダウンサンプリングモジュールを使用し、復号モジュールはアップサンプリング操作、チャネルのマージ及び残差モジュールを使用する。
In step 2, a reflectance restoration network is used to learn the mapping from the low light reflectance image R l to the normal light reflectance image R h to obtain a reflectance restored image R r , and the specific operation steps are as follows:
The input of the reflectance restoration network is a low-light image I l and a low-light reflectance image R l . First, R l and I l are subjected to channel merging, then one convolution operation is used to obtain shallow features, and after passing through the encoding-decoding module, the number of channels is restored using a 1x1 convolution operation. The encoding module uses a residual module and a downsampling module, and the decoding module uses an upsampling operation, channel merging and a residual module.
反射率復元ネットワークが反射率復元画像Ｒｒを出力する計算式は、
Ｆ１（・）は反射率復元マッピング関数を表す。
The formula for the reflectance restoration network to output the reflectance restored image Rr is
F 1 (.) represents the reflectance restoration mapping function.
反射率復元ネットワークに対応する損失関数は、
好ましくは、
ステップ３において、照度調節ネットワークを使用して、低光照度画像Ｉｌから通常光照度画像Ｉｈへのマッピングを学習し、照度強調画像Ｉｅを得、具体的な操作ステップは以下の通りである。
前記照度調節ネットワークは、まず、低光照度画像Ｉｌに対して１回の畳み込み操作を使用し、浅層特徴を得、次に密接続モジュールＤｅｎｓｅ ｂｌｏｃｋ及び移行層ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒを使用して、更なる特徴抽出及びチャネルスクリーニングを行い、最後に１ｘ１の畳み込み操作を使用してチャネル数を復元する。照度調節ネットワークが照度強調画像を出力する計算式は、
Ｆ２（・）は照度調節のマッピング関数を表す。
In step 3, an illumination adjustment network is used to learn the mapping from the low light image I l to the normal light image I h to obtain an illumination-enhanced image I e , and the specific operation steps are as follows:
The illumination adjustment network first uses one convolution operation on the low-light image I l to obtain shallow layer features, then uses a dense block module and a transition layer to perform further feature extraction and channel screening, and finally uses a 1x1 convolution operation to restore the number of channels. The calculation formula for the illumination adjustment network to output the illumination-enhanced image is:
F 2 (.) represents the mapping function of the illumination adjustment.
照度調節ネットワークに対応する損失関数は、
第１項は照度一貫性損失関数であり、第２項は勾配一貫性損失関数であり、第３項は構造一貫性損失関数である。
The loss function corresponding to the illumination control network is
The first term is the illumination consistency loss function, the second term is the gradient consistency loss function, and the third term is the structural consistency loss function.
ステップ４において、画像再構成の方法でステップ２の反射率復元画像とステップ３の照度強調画像を融合させ、初期の強調画像Ｓｒ１を得る。 In step 4, the reflectance restored image in step 2 and the illumination-enhanced image in step 3 are fused by an image reconstruction method to obtain an initial enhanced image Sr1 .
好ましくは、前記画像再構成の方法は、反射率復元画像Ｒｒと照度強調画像Ｉｅを画素の乗算で融合させる。 Preferably, the method of image reconstruction fuses the reflectance restored image Rr and the illumination enhanced image Ie by pixel multiplication.
ステップ５において、知覚強化ネットワークを使用して、初期の強調画像Ｓｒ１から通常光画像Ｓｈへのマッピングを学習し、最終的な強調画像Ｓｒ２を得、具体的な操作ステップは以下の通りである。
前記知覚強化ネットワークは、まず、初期の強調画像Ｓｒ１に対して通常の畳み込み操作を使用し、次に拡張畳み込み操作を連続的に行い、且つ畳み込みの拡張率は２の倍数で順に増加し、更に拡張率が１である１回の畳み込み操作を使用し、最後に１ｘ１の畳み込み操作を使用してチャネル数を復元し、知覚強化ネットワークが最終的な強調画像を出力する計算式は、
Ｆ３（・）は知覚強化のマッピング関数を表す。
In step 5, a perceptual enhancement network is used to learn the mapping from the initial enhanced image S r1 to the normal light image S h to obtain the final enhanced image S r2 , and the specific operation steps are as follows:
The perceptual enhancement network first uses a normal convolution operation on the initial enhanced image Sr1 , then performs a dilation convolution operation successively, and the dilation ratio of the convolution increases in multiples of 2, then uses one convolution operation with a dilation ratio of 1, and finally uses a 1×1 convolution operation to restore the number of channels. The calculation formula for the perceptual enhancement network to output the final enhanced image is:
F 3 (.) represents the mapping function of perceptual enhancement.
知覚強化ネットワークに対応する損失関数は、
第１項及び第２項はそれぞれＭＳＥ損失関数及び構造一貫性損失関数であり、第３項は知覚損失関数であって、
φｉ，ｊはＩｍａｇｅＮｅｔを使用して学習済みのＶＧＧ－１６モデルから抽出された特徴マップを表し、ｉは最大プーリングを表し、ｊは最大プーリング後のｊ番目の畳み込み層であり、Ｗｉ，ｊ及びＨｉ，ｊは特徴マップのサイズである。
The loss function corresponding to the perceptual reinforcement network is
The first and second terms are the MSE and structural consistency loss functions, respectively, and the third term is a perceptual loss function,
φ i,j represents the feature map extracted from the trained VGG-16 model using ImageNet, i represents max pooling, j is the jth convolutional layer after max pooling, and W i,j and H i,j are the sizes of the feature maps.
本発明の有益な効果は以下の通りである。 The beneficial effects of the present invention are as follows:
１、本方法は、反射率復元において通常の畳み込みの代わりに残差モジュールを使用し、反射率復元ネットワークはより多くの細部のテクスチャ特徴を学習でき、且つ反射率復元ネットワークの損失関数において色の損失を導入し、反射率復元画像の色を強調している。 1. This method uses a residual module instead of the conventional convolution in reflectance restoration, so that the reflectance restoration network can learn more detailed texture features, and introduces color loss in the loss function of the reflectance restoration network to enhance the color of the reflectance restored image.
２、本方法は、照度調節において通常の畳み込みの代わりに密接続モジュールを使用し、浅層特徴の割合を増やし、復元画像の照度分布をより自然にすることができ、特徴抽出の後に、移行層を使用して特徴チャネルをスクリーニングし、演算量を減らしている。 2. This method uses a densely connected module instead of the conventional convolution in illumination adjustment, which increases the proportion of shallow layer features and makes the illumination distribution of the restored image more natural. After feature extraction, a transition layer is used to screen the feature channels, reducing the amount of computation.
３、本方法は、初期の強調画像を得た後に知覚強化ネットワークを利用して更に画像を強調する。知覚強化ネットワークにおける拡張畳み込みにより、受容野を拡張でき、ネッ
トワークはより多くの大域的な特徴を学習でき、知覚損失関数は、画像の知覚品質の向上に寄与し、最終的な強調画像は、元の低光画像に比べて画像輝度を向上させるだけでなく、ノイズを抑制でき、テクスチャの細部を復元するとともに色情報も強調し、後続の視覚処理の実行に有利である。
3. After obtaining the initial enhanced image, the method further enhances the image using a perceptual enhancement network. The dilated convolution in the perceptual enhancement network can expand the receptive field, allowing the network to learn more global features, and the perceptual loss function contributes to improving the perceptual quality of the image. The final enhanced image not only improves the image brightness compared with the original low-light image, but also suppresses noise, restores texture details and enhances color information, which is favorable for subsequent visual processing.
本発明の目的、技術的解決手段及び要点をより明確にするために、以下では図面を参照しながら本発明を更に説明する。図１に示すように、深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法は、具体的に、ステップ１～ステップ５を含む。 In order to make the objectives, technical solutions and main points of the present invention clearer, the present invention will be further described below with reference to the drawings. As shown in FIG. 1, the low-light image enhancement method based on deep Retinex specifically includes steps 1 to 5.
ステップ１において、Ｒｅｔｉｎｅｘ理論に基づいて、層分解ネットワークを使用して、低光画像及び通常光画像をそれぞれ分解し、且つ損失関数を使用して該分解プロセスを制約し、低光反射率画像Ｒｌ、通常光反射率画像Ｒｈ、低光照度画像Ｉｌ、通常光照度画像Ｉｈを得る。 In step 1, based on the Retinex theory, a layer decomposition network is used to decompose the low-light image and the normal-light image respectively, and a loss function is used to constrain the decomposition process to obtain a low-light reflectance image R l , a normal-light reflectance image R h , a low-light illuminance image I l , and a normal-light illuminance image I h .
Ｒｅｔｉｎｅｘ理論で画像を分解する計算式は、
前記層分解ネットワークは、まず、入力画像に対して３ｘ３の１回の畳み込み操作を使用して浅層特徴を得、次に反射率分岐及び照度分岐をそれぞれ入力し、最後にＳｉｇｍｏｉｄ関数を使用して２つの分岐の出力を［０，１］の範囲に制約する。反射率分岐は、２回のダウンサンプリングと畳み込み操作を使用して、深層特徴を更に抽出し、次にアップサンプリングし、アップサンプリングにより得られた特徴マップと同じ解像度のダウンサンプリング特徴マップに対してチャネルのマージを行った後に、更に１回のアップサンプリングとチャネルのマージ操作を１回行い、その後、２回の畳み込み操作を使用して、出力画像の解像度及びチャネル数を順に復元する。照度分岐は、まず、１回の畳み込み操作を行い、次に反射率分岐における同じ解像度及びチャネル数の特徴マップとチャネルのマージを行い、更に１ｘ１の１回の畳み込み操作を使用して出力画像のチャネル数を復元する。 The layer decomposition network first obtains shallow features using one 3x3 convolution operation on the input image, then inputs the reflectance branch and the illumination branch respectively, and finally constrains the outputs of the two branches to the range of [0,1] using a sigmoid function. The reflectance branch further extracts deep features using two downsampling and convolution operations, then upsamples, performs channel merging on the downsampled feature map with the same resolution as the feature map obtained by upsampling, then performs one more upsampling and channel merging operation, and then uses two convolution operations to restore the resolution and number of channels of the output image in order. The illumination branch first performs one convolution operation, then performs channel merging with the feature map with the same resolution and number of channels in the reflectance branch, and then uses one 1x1 convolution operation to restore the number of channels of the output image.
ステップ２において、反射率復元ネットワークは、低光照度画像Ｉｌと低光反射率画像Ｒｌをともに入力とし、低光画像において光照射分布がノイズ分布に関連しているため、Ｉｌをノイズ分布アテンション画像として使用し、ネットワークのノイズ除去を指導する
。反射率復元画像の予測の計算式は、
Ｆ１（・）は反射率復元マッピング関数を表す。
In step 2, the reflectance restoration network takes both the low-light illuminance image I l and the low-light reflectance image R l as inputs. Since the light illumination distribution in the low-light image is related to the noise distribution, I l is used as the noise distribution attention image to guide the network in denoising. The calculation formula for predicting the reflectance restoration image is:
F 1 (.) represents the reflectance restoration mapping function.
反射率復元ネットワークはＵ－Ｎｅｔネットワークを基に、畳み込み層の代わりに残差モジュールを使用する。前記反射率復元ネットワークは、まず、ＲｌとＩｌに対してチャネルのマージを行い、次に、３ｘ３の１回の畳み込み操作を使用して画像の浅層特徴を得、その後、符号化－復号モジュールを使用して、得られた浅層特徴を処理し、最後に１ｘ１の畳み込み操作を使用して、出力されたチャネル数を復元する。符号化モジュールは、４つの残差モジュールとダウンサンプリングモジュールを連続的に使用し、残差モジュールが２回の３ｘ３の畳み込み操作と１回のスキップ接続にて構成されるため、通常の畳み込み操作に比べて、より多くの浅層特徴を保持することができ、画像中のテクスチャの細部の復元に有利である。ダウンサンプリングモジュールは１回の２ｘ２の最大プーリングと１回の１ｘ１の畳み込み操作からなる。復号モジュールは、４つのアップサンプリング操作とチャネルのマージ及び残差モジュールを連続的に使用し、アップサンプリング操作の後に、符号化モジュールにおける同じ解像度の特徴マップとチャネルのマージを行う。 The reflectance restoration network is based on the U-Net network and uses a residual module instead of a convolution layer. The reflectance restoration network first performs channel merging on R l and I l , then uses one 3x3 convolution operation to obtain shallow layer features of the image, then uses an encoding-decoding module to process the obtained shallow layer features, and finally uses a 1x1 convolution operation to restore the output channel number. The encoding module uses four residual modules and a downsampling module in succession, and the residual module is composed of two 3x3 convolution operations and one skip connection, so that more shallow layer features can be retained compared with normal convolution operations, which is advantageous for restoring texture details in the image. The downsampling module consists of one 2x2 max pooling and one 1x1 convolution operation. The decoding module uses four upsampling operations, channel merging and residual modules in succession, and after the upsampling operation, performs channel merging with the feature map of the same resolution in the encoding module.
反射率復元ネットワークに対応する損失関数は、
予測画像の色をより鮮明且つリアルにするために、
ステップ３において、照度強調画像の予測の計算式は、
Ｆ２（・）は照度調節のマッピング関数を表す。
In step 3, the calculation formula for predicting the illumination-enhanced image is:
F 2 (.) represents the mapping function of the illumination adjustment.
照度調節ネットワークは、Ｄｅｎｓｅｎｅｔ－ｂｃネットワーク構造に基づいて、ｄｅｎｓｅｂｌｏｃｋボトルネック層を保持した上で、残差スキップを追加する。且つｄｅｎｓｅｂｌｏｃｋ及び移行層におけるプーリング層及びＢＮ層を除去し、プーリング操作による特徴の喪失を軽減するのに有利である。前記照度調節ネットワークは、まず、低光照度画像Ｉｌに対して１回の畳み込み操作を使用し、チャネル数を６４に設定し、対応する浅層特徴を得る。画像生成処理に対して浅層情報が重要であるため、第１層畳み込みの出力チャネル数を増やすことによって浅層情報の割合を増やすことができる。次に４回の密接続モジュールＤｅｎｓｅ ｂｌｏｃｋ及び移行層ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒを使用して特徴抽出及びチャネルスクリーニングを行い、最後に、１ｘ１の畳み込み操作を使用して出力画像のチャネル数と入力画像のチャネル数とを同じにする。Ｄｅｎｓｅ ｂｌｏｃｋは４つの密に接続されたボトルネック層ｂｏｔｔｌｅｎｅｃｋ ｌａｙｅｒを含み、ｂｏｔｔｌｅｎｅｃｋ ｌａｙｅｒの構造は図２に示すとおりであり、残差接続の方法は、浅層からの情報と組み合わせることができ、Ｄｒｏｐｏｕｔ層は過剰適合の問題を解決することができ、ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒは、１回の１ｘ１の畳み込み操作及びＤｒｏｐｏｕｔ層を含み、主な作用として、出力のチャネル数を入力の半分に低減させる。 The illumination adjustment network is based on the Densenet-bc network structure, and adds a residual skip while retaining the denseblock bottleneck layer. And the pooling layer and BN layer in the denseblock and transition layers are removed, which is advantageous to reduce the loss of features caused by the pooling operation. The illumination adjustment network first uses one convolution operation on the low-light image I l , sets the number of channels to 64, and obtains the corresponding shallow layer features. Since the shallow layer information is important for image generation processing, the proportion of shallow layer information can be increased by increasing the number of output channels of the first layer convolution. Then, four densely connected modules Dense block and transition layer are used to perform feature extraction and channel screening, and finally, a 1x1 convolution operation is used to make the number of channels of the output image the same as the number of channels of the input image. The dense block includes four densely connected bottleneck layers, and the structure of the bottleneck layer is as shown in FIG. 2. The residual connection method can be combined with information from shallow layers, and the Dropout layer can solve the problem of overfitting. The transition layer includes one 1×1 convolution operation and a Dropout layer, and its main effect is to reduce the number of channels of the output to half that of the input.
照度調節ネットワークに対応する損失関数は、
第１項は照度一貫性損失関数であり、第２項は勾配一貫性損失関数であり、第３項は構造一貫性損失関数であり、機能としては、照度強調画像Ｉｅと通常光照度画像Ｉｈとの間の輝度分布の一貫性を制約する。
The loss function corresponding to the illumination control network is
The first term is an illumination consistency loss function, the second term is a gradient consistency loss function, and the third term is a structural consistency loss function, which function constrains the consistency of the luminance distribution between the illumination-enhanced image I e and the normal light illumination image I h .
ステップ４において、画像再構成の方法でステップ２の反射率復元画像Ｒｒとステップ３の照度強調画像Ｉｅを融合させ、初期の強調画像Ｓｒ１を得る。 In step 4, the reflectance restored image Rr in step 2 and the illumination-enhanced image Ie in step 3 are fused in an image reconstruction manner to obtain an initial enhanced image Sr1 .
ステップ５において、知覚強化ネットワークを使用して、初期の強調画像Ｓｒ１から通常光画像Ｓｈへのマッピングを学習し、最終的な強調画像Ｓｒ２を出力し、計算式は、
Ｆ３（・）は知覚強化のマッピング関数を表す。
In step 5, a perceptual enhancement network is used to learn the mapping from the initial enhanced image S r1 to the normal light image S h and output the final enhanced image S r2 , the calculation formula is:
F 3 (.) represents the mapping function of perceptual enhancement.
知覚強化ネットワークは、通常の畳み込み及び拡張畳み込みを使用して、初期の強調画像Ｓｒ１に対して特徴抽出を行い、まず、通常の３ｘ３の１回の畳み込み操作を使用し、次に３ｘ３の７回の拡張畳み込み操作を連続的に使用し、畳み込みの拡張率はそれぞれ［２，４，８，１６，３２，６４，１２８］であり、更に、１ｘ１の１回の通常の畳み込み操作を使用することで、拡張畳み込みによるグリッド効果を軽減し、最後に１ｘ１の畳み込み操作を使用して出力のチャネル数と入力画像のチャネル数とを同じにする。
知覚強化ネットワークに対応する損失関数は、
第１項及び第２項はそれぞれＭＳＥ損失関数及び構造一貫性損失関数であり、第３項は知覚損失関数であり、最終的な強調画像Ｓｒ２と通常光画像Ｓｈとの間のＶＧＧ特徴距離を制約することに用いられる。
The perceptual enhancement network uses normal convolution and dilated convolution to perform feature extraction on the initial enhanced image Sr1 , first using one normal 3x3 convolution operation, then using seven 3x3 dilated convolution operations consecutively, with the convolution dilation ratios being [2, 4, 8, 16, 32, 64, 128] respectively, and further using one 1x1 normal convolution operation to reduce the grid effect caused by the dilated convolution, and finally using a 1x1 convolution operation to make the number of channels of the output the same as the number of channels of the input image.
The loss function corresponding to the perceptual reinforcement network is
The first and second terms are the MSE loss function and the structural consistency loss function, respectively, and the third term is a perceptual loss function, which is used to constrain the VGG feature distance between the final enhanced image S r2 and the normal light image S h .
知覚損失関数の計算式は、
φｉ，ｊはＩｍａｇｅＮｅｔにおいて学習済みのＶＧＧ－１６モデルから抽出された特徴マップを表し、ｉは最大プーリングを表し、ｊは最大プーリング後のｊ番目の畳み込み層であり、Ｗｉ，ｊ及びＨｉ，ｊは特徴マップのサイズである。
The formula for the perceptual loss function is:
φ i,j represents the feature map extracted from the trained VGG-16 model in ImageNet, i represents max pooling, j is the jth convolutional layer after max pooling, and W i,j and H i,j are the sizes of the feature maps.
本方法の実行可能性及び有効性を更に証明するために、本実施例は、ＬＯＬ、ＬＩＭＥ、ＮＥＰ及びＭＥＦデータセットにおいてそれぞれ、本方法及び従来の低光画像強調方法を使用して実験を行い、且つ非参照画質評価指標ＮＩＱＥと完全参照画質評価指標ＳＳＩ
Ｍ及びＰＳＮＲを利用して実験結果を評価する。これらの指標のうちＮＩＱＥは、テスト画像から抽出された多変量ガウス分布モデルと自然画像から抽出された多変量ガウス分布モデルとの間の距離を利用して画像の視覚的な品質を評価し、ＮＩＱＥ値が低いほど、画像の視覚的な品質は高い。ピーク信号対雑音比ＰＳＮＲは、一般的に最大信号と背景雑音との間の画質参照値を評価することに用いられ、ＰＳＮＲ値が高いほど、画像のノイズが小さく、画像の歪みの程度が低く、構造類似性ＳＳＩＭは、一般的に２枚の画像の類似度を評価するのに用いられ、ＳＳＩＭ値が高いほど、画像は類似している。
To further prove the feasibility and effectiveness of the present method, this embodiment carries out experiments using the present method and conventional low-light image enhancement methods on the LOL, LIME, NEP and MEF datasets, respectively, and compares the non-reference image quality evaluation index NIQE and the full-reference image quality evaluation index SSI.
The experimental results are evaluated using M and PSNR. Among these indices, NIQE evaluates the visual quality of an image using the distance between the multivariate Gaussian distribution model extracted from the test image and the multivariate Gaussian distribution model extracted from the natural image, and the lower the NIQE value, the higher the visual quality of the image. The peak signal-to-noise ratio PSNR is generally used to evaluate the image quality reference value between the maximum signal and the background noise, and the higher the PSNR value, the lower the image noise and the lower the degree of image distortion. The structural similarity SSIM is generally used to evaluate the similarity of two images, and the higher the SSIM value, the more similar the images are.
表１は本方法と他の低光画像強調方法のＬＯＬデータセットにおける異なる指標の評価値である。 Table 1 shows the evaluation values of different indices on the LOL dataset for this method and other low-light image enhancement methods.
表２は本方法と他の低光画像強調方法のＬＩＭＥ、ＮＥＰ及びＭＥＦの３つのデータセットにおけるＮＩＱＥの評価値である。 Table 2 shows the NIQE evaluation scores for this method and other low-light image enhancement methods on three datasets: LIME, NEP, and MEF.
表１のデータから分かるように、本方法で得られた強調画像のＰＳＮＲ、ＳＳＩＭ指標はＬＯＬデータセットにおいて、いずれも他の方法よりも高く、且つＮＩＱＥ指標は２位である。表２のデータから分かるように、本方法で得られた強調画像のＮＩＱＥ指標は、ＬＩＭＥ、ＮＰＥ及びＭＥＦデータセットにおいて、いずれも他の方法よりも高く、これは、本方法で得られた強調画像の視覚的な品質がより高く、ノイズがより少なく、細部情報がより多いことを表している。実験結果及びデータの分析により、画像の視覚的な品質を効果的に向上させるといった本発明の方法の優位性が十分に証明された。 As can be seen from the data in Table 1, the PSNR and SSIM indices of the enhanced images obtained by this method are all higher than those of other methods in the LOL dataset, and the NIQE index is second. As can be seen from the data in Table 2, the NIQE index of the enhanced images obtained by this method is all higher than those of other methods in the LIME, NPE and MEF datasets, which indicates that the enhanced images obtained by this method have higher visual quality, less noise and more detailed information. The experimental results and data analysis fully prove the superiority of the method of the present invention in effectively improving the visual quality of images.
図３、図４及び図５は、元の低光画像と、本方法及び上記表中の他の低光画像強調方法で得られた強調画像とを示している。（ａ）は元の低光画像、（ｂ）はＢＩＭＥＦ法で得られた強調画像、（ｃ）はＣＲＭ法で得られた強調画像、（ｄ）はＬＩＭＥ法で得られた強調画像、（ｅ）はＭＳＲ法で得られた強調画像、（ｆ）はＮＰＥ法で得られた強調画像、（ｇ）はＲｅｔｉｎｅｘ－Ｎｅｔ法で得られた強調画像、（ｈ）はＧＬＡＤ法で得られた強調画像、（ｉ）はＺｅｒｏ－ＤＣＥ法で得られた強調画像、（ｊ）はＥｎｌｉｇｈｔｅｎＧＡＮ法で得られた強調画像、（ｋ）はＫｉｎＤ法で得られた強調画像、（ｌ）は本方法で得られた強調画像である。写真から分かるように、画像の輝度向上において比較すると、図３、図４及び図５の（ｂ）、（ｃ）、（ｉ）は全体的な輝度が低く、画像の輝度向上において効果が芳しくない。図５の（ｄ）、（ｆ）、（ｉ）、（ｊ）、（ｋ）は極暗部の輝度が向上していないが、（ｅ）、（ｈ）及び（ｌ）では全体的及び局所的な極暗部に対する効果が良好である。ノイズ除去については、ＫｉｎＤ法及び本方法は効果が良好であったが、他の方法では結果に多くのノイズが存在していた。 Figures 3, 4, and 5 show the original low-light image and the enhanced images obtained by this method and the other low-light image enhancement methods in the table above. (a) is the original low-light image, (b) is the enhanced image obtained by the BIMEF method, (c) is the enhanced image obtained by the CRM method, (d) is the enhanced image obtained by the LIME method, (e) is the enhanced image obtained by the MSR method, (f) is the enhanced image obtained by the NPE method, (g) is the enhanced image obtained by the Retinex-Net method, (h) is the enhanced image obtained by the GLAD method, (i) is the enhanced image obtained by the Zero-DCE method, (j) is the enhanced image obtained by the EnlightenGAN method, (k) is the enhanced image obtained by the KinD method, and (l) is the enhanced image obtained by this method. As can be seen from the photographs, when comparing the brightness enhancement of the images, (b), (c), and (i) in Figures 3, 4, and 5 have low overall brightness and are not very effective in improving the brightness of the images. In Figure 5, (d), (f), (i), (j), and (k) the brightness of the extremely dark areas is not improved, but (e), (h), and (l) show good effects on the overall and local extremely dark areas. As for noise removal, the KinD method and this method were effective, but the other methods had a lot of noise in the results.
従って、上記実験結果によれば、評価指標の数値であっても、強調された画像であっても、本方法は輝度及びノイズ除去の効果を保持しつつ、画像の色及び細部のテクスチャにおいても従来技術よりも向上している。 Therefore, according to the above experimental results, whether it is the numerical evaluation index or the enhanced image, the method maintains the effects of brightness and noise removal, while also improving the color and detailed texture of the image compared to the conventional technology.
Claims (8)
ステップ１において、Ｕ－Ｎｅｔネットワークにおける畳み込み層の代わりに残差モジュールを使用して反射率復元ネットワークを得、ネットワークの入力は低光画像Ｓｌを分解することによって得られた低光照度画像Ｉｌ及び低光反射率画像Ｒｌであり、反射率復元ネットワークは低光反射率画像Ｒｌから通常光反射率画像Ｒｈへのマッピングを学習し、出力は反射率復元画像Ｒｒであり、
反射率復元ネットワークの損失関数は、
ステップ２において、Ｄｅｎｓｅ ｂｌｏｃｋのボトルネック層において残差スキップを導入し、ＤｅｎｓｅＮｅｔ－ｂｃを照度調節ネットワークとして使用して、低光照度画像Ｉｌから通常光照度画像Ｉｈへのマッピングを学習し、ネットワークの入力は低光照度画像Ｉｌであり、出力は照度強調画像Ｉｅであり、
照度調節ネットワークに対応する損失関数は、
第１項は照度一貫性損失関数であり、第２項は勾配一貫性損失関数であり、第３項は構造一貫性損失関数であり、
ステップ３において、画像再構成の方法でステップ１の反射率復元画像とステップ２の照度強調画像とを融合させ、初期の強調画像Ｓｒ１を得、
ステップ４において、知覚強化ネットワークを使用して、初期の強調画像Ｓｒ１から通常光画像Ｓｈへのマッピングを学習し、前記知覚強化ネットワークは、まず、初期の強調画像Ｓｒ１に対して通常の畳み込み操作を使用し、次に拡張畳み込み操作を連続的に行い、且つ畳み込みの拡張率は２の倍数で順に増加し、更に拡張率が１である１回の畳み込み操作を使用し、最後に１ｘ１の畳み込み操作を使用してチャネル数を復元し、最終的な強調画像Ｓｒ２を出力し、
知覚強化ネットワークに対応する損失関数は、
第１項及び第２項はそれぞれＭＳＥ損失関数及び構造一貫性損失関数であり、第３項は知覚損失関数であって、
φｉ，ｊは事前学習済みモデルから抽出された特徴マップを表し、ｉは最大プーリングを表し、ｊは最大プーリング後のｊ番目の畳み込み層であり、Ｗｉ，ｊ及びＨｉ，ｊは特徴マップのサイズである、ことを特徴とする深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。 A method for low-light image enhancement based on deep Retinex, including image decomposition, reflectance restoration, illumination adjustment, and enhancement fusion based on Retinex theory, specifically comprising the following steps 1 to 4:
In step 1, a reflectance restoration network is obtained by using a residual module instead of a convolution layer in the U-Net network, the input of the network is a low-light illuminance image I l obtained by decomposing a low-light image S l and a low-light reflectance image R l , the reflectance restoration network learns a mapping from the low-light reflectance image R l to a normal light reflectance image R h , and the output is a reflectance restored image R r ;
The loss function of the reflectance restoration network is
In step 2, we introduce residual skip in the bottleneck layer of the dense block, and use DenseNet-bc as an illumination adjustment network to learn a mapping from the low-light image I l to the normal-light image I h , where the input of the network is the low-light image I l and the output is the illumination-enhanced image I e ;
The loss function corresponding to the illumination control network is
The first term is the illumination consistency loss function, the second term is the gradient consistency loss function, and the third term is the structural consistency loss function.
In step 3, the reflectance restored image in step 1 and the illumination-enhanced image in step 2 are fused by an image reconstruction method to obtain an initial enhanced image Sr1 ;
In step 4, a perceptual enhancement network is used to learn a mapping from the initial enhanced image Sr1 to the normal light image Sh , in which the perceptual enhancement network first uses a normal convolution operation on the initial enhanced image Sr1 , then successively performs dilation convolution operations, and the dilation rate of the convolution increases in sequence by a multiple of 2, then uses one convolution operation with a dilation rate of 1, and finally uses a 1x1 convolution operation to restore the number of channels, and outputs a final enhanced image Sr2 ;
The loss function corresponding to the perceptual reinforcement network is
The first and second terms are the MSE and structural consistency loss functions, respectively, and the third term is a perceptual loss function,
A method for low light image enhancement based on deep Retinex, characterized in that φ i,j represents a feature map extracted from a pre-trained model, i represents max pooling, j is the jth convolutional layer after max pooling, and W i,j and H i,j are the sizes of the feature maps.
前記層分解ネットワークは、まず、入力画像に対して１回の畳み込み操作を使用し、画像の浅層特徴を得、次に反射率分岐及び照度分岐をそれぞれ入力して分解し、最後にＳｉｇｍｏｉｄ関数を使用して２つの分岐の出力を［０，１］の範囲に制約し、
前記反射率分岐は、ダウンサンプリング及び畳み込み操作を使用して画像の浅層特徴を処理し、次にアップサンプリングし、同じ解像度のダウンサンプリング結果とチャネルのマージを行い、次に２回の畳み込み操作を行い、出力画像の解像度及びチャネル数を入力画像と同じになるよう復元し、
前記照度分岐は、まず、画像の浅層特徴に対して畳み込み操作を行い、次に反射率分岐における解像度及びチャネル数がいずれも同じである特徴マップを選択してチャネルのマージを行い、更に畳み込み操作を行って出力画像のチャネル数を入力と同じになるよう復元する、ことを特徴とする請求項１又は２に記載の深層Ｒｅｔｉｎｅｘに基づいた低光画像強調方法。 A layer decomposition network is constructed to decompose the input low light image and normal light image respectively based on the Retinex theory;
The layer decomposition network first uses a single convolution operation on the input image to obtain the shallow layer features of the image, then inputs and decomposes the reflectance branch and the illumination branch respectively, and finally uses a sigmoid function to constrain the outputs of the two branches to the range of [0, 1];
The reflectance branch processes the shallow features of the image using downsampling and convolution operations, then upsampling, merging the channels with the downsampling result of the same resolution, and then performing two convolution operations to restore the resolution and number of channels of the output image to be the same as the input image;
The method for low light image enhancement based on deep Retinex according to claim 1 or 2, characterized in that, in the illumination branch, a convolution operation is first performed on the shallow features of the image, and then a feature map with the same resolution and number of channels in the reflectance branch is selected to merge the channels, and then a convolution operation is performed to restore the number of channels of the output image to be the same as that of the input.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310155602.3 | 2023-02-23 | ||
| CN202310155602.3A CN116012260B (en) | 2023-02-23 | 2023-02-23 | Low-light image enhancement method based on depth Retinex |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7493867B1 true JP7493867B1 (en) | 2024-06-03 |
Family
ID=86025023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024024529A Active JP7493867B1 (en) | 2023-02-23 | 2024-02-21 | Low-light image enhancement method based on deep Retinex |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7493867B1 (en) |
| CN (1) | CN116012260B (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021022263A (en) | 2019-07-30 | 2021-02-18 | 富士通株式会社 | Image processing program, image processing device, image processing system, and image processing method |
| CN112734673A (en) | 2021-01-13 | 2021-04-30 | 山东大学 | Low-illumination image enhancement method and system based on multi-expression fusion |
| EP3913572A1 (en) | 2020-05-21 | 2021-11-24 | The Provost, Fellows, Scholars and other Members of Board of Trinity College Dublin | Loss function for image reconstruction |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210121508A (en) * | 2020-03-30 | 2021-10-08 | 삼성전자주식회사 | Image system including image signal processing unit and operation method of image signal processing unit |
| CN112001863B (en) * | 2020-08-28 | 2023-06-16 | 太原科技大学 | Underexposure image recovery method based on deep learning |
| CN112927160B (en) * | 2021-03-12 | 2022-11-18 | 郑州轻工业大学 | Single low-light image enhancement method based on depth Retinex |
| CN113450290B (en) * | 2021-09-01 | 2021-11-26 | 中科方寸知微(南京)科技有限公司 | Low-illumination image enhancement method and system based on image inpainting technology |
| CN113865872B (en) * | 2021-11-03 | 2023-07-28 | 西安电子科技大学 | Bearing fault diagnosis method based on wavelet packet reconstruction imaging and CNN |
| CN114266707A (en) * | 2021-11-24 | 2022-04-01 | 重庆理工大学 | Low-light image enhancement method combining attention mechanism and Retinex model |
| CN115205146A (en) * | 2022-07-14 | 2022-10-18 | 桂林电子科技大学 | Depth Retinex image enhancement method under weak illumination condition |
-
2023
- 2023-02-23 CN CN202310155602.3A patent/CN116012260B/en active Active
-
2024
- 2024-02-21 JP JP2024024529A patent/JP7493867B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021022263A (en) | 2019-07-30 | 2021-02-18 | 富士通株式会社 | Image processing program, image processing device, image processing system, and image processing method |
| EP3913572A1 (en) | 2020-05-21 | 2021-11-24 | The Provost, Fellows, Scholars and other Members of Board of Trinity College Dublin | Loss function for image reconstruction |
| CN112734673A (en) | 2021-01-13 | 2021-04-30 | 山东大学 | Low-illumination image enhancement method and system based on multi-expression fusion |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116012260A (en) | 2023-04-25 |
| CN116012260B (en) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
| CN112435191B (en) | Low-illumination image enhancement method based on fusion of multiple neural network structures | |
| CN114066747B (en) | Low-illumination image enhancement method based on illumination and reflection complementarity | |
| CN111931857B (en) | MSCFF-based low-illumination target detection method | |
| CN113066025B (en) | Image defogging method based on incremental learning and feature and attention transfer | |
| CN115393227B (en) | Low-light full-color video image self-adaptive enhancement method and system based on deep learning | |
| CN113284061B (en) | Underwater image enhancement method based on gradient network | |
| CN112116537A (en) | Image reflected light elimination method and image reflected light elimination network construction method | |
| CN115063318A (en) | Adaptive frequency-resolved low-illumination image enhancement method and related equipment | |
| Wang et al. | Multiscale supervision-guided context aggregation network for single image dehazing | |
| CN117036281A (en) | Intelligent generation method and system for defect image | |
| CN114881879A (en) | Underwater image enhancement method based on brightness compensation residual error network | |
| Zhao et al. | A multi-scale U-shaped attention network-based GAN method for single image dehazing | |
| Wang et al. | FWB-Net: front white balance network for color shift correction in single image dehazing via atmospheric light estimation | |
| CN114565539A (en) | Image defogging method based on online knowledge distillation | |
| CN117611467A (en) | Low-light image enhancement method capable of balancing details and brightness of different areas simultaneously | |
| CN117408924A (en) | Low-light image enhancement method based on multiple semantic feature fusion network | |
| JP7493867B1 (en) | Low-light image enhancement method based on deep Retinex | |
| CN117611501A (en) | Low-illumination image enhancement method, device, equipment and readable storage medium | |
| CN117217997A (en) | Remote sensing image super-resolution method based on context perception edge enhancement | |
| CN116091357A (en) | Low-light image enhancement method for fusion of depth convolution attention and multi-scale features | |
| CN116563133A (en) | Low-illumination color image enhancement method based on simulated exposure and multi-scale fusion | |
| Hua et al. | Iterative residual network for image dehazing | |
| CN116109510A (en) | Face image restoration method based on structure and texture dual generation | |
| CN115760640A (en) | Coal mine low-illumination image enhancement method based on noise-containing Retinex model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240221 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240515 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7493867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |