JP2022504890A - 画像処理方法及びその装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本願は、画像処理方法及びその装置、電子機器並びに記憶媒体に関する。ここで、該方法は、雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得ることであって、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む、ことと、前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得ることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年０８月３０日に中国特許局に提出された、出願番号がＣＮ２０１９１０８１８０５５．６であり、出願名称が「画像処理方法及びその装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータビジョン技術分野に関し、特に画像処理方法及びその装置、電子機器並びに記憶媒体に関する。

コンピュータビジョン技術は、人工知能の重要な構成部分として、人間の日常生活に幸福及び利便性をますます齎している。ここで、雨滴付き画像に対して高品質な雨滴除去を行う技術は、ますます広く注目されて適用されている。日常生活において、雨滴除去操作を実行する必要があるシーンは多数である。高品質なシーン情報を得て、より多くのインテリジェントタスクの進行を補助することを達成することが望まれている。

本願は、画像処理技術的解決手段を提供する。

本願の一態様によれば、画像処理方法を提供する。前記画像処理方法は、
雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得ることであって、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む、ことと、
前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得ることと、を含む。

本願によれば、第１粒度処理を用いることで、例えば背景における車又は歩行者などの画像細部情報のような、より多くの細部特徴を保留することができる。雨滴の処理粒度及び処理効果について言えば、第２粒度処理に比べて、十分に細かいとは言えず、第２粒度処理を更に行う必要がある。第２粒度処理を用いて、上記雨滴除去処理された画像を得る。雨滴に対する除去処理は、第１粒度処理よりも優れているが、例えば他の非雨滴情報のような画像細部情報の紛失を招くことがある。従って、該２つの粒度処理で得られた上記処理結果を最終的に融合する必要がある。つまり、第１粒度処理で得られた上記処理されるべき画像と、第２粒度処理で得られた上記雨滴除去処理された画像と、を融合した後に、最終的に得られたターゲット画像は、過度処理が発生することなく、雨滴除去により得られた雨滴無し効果と、他の非雨滴情報の保留との間で処理上のバランスを取ることができる。

可能な実現形態において、雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得ることは、
前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることであって、前記処理されるべき画像は、雨滴特徴情報を含む、ことと、
前記処理されるべき画像に対して第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることであって、前記雨滴除去処理された画像は、雨滴を除去した後に保留された雨滴無し領域情報を含む、ことと、を含む。

本願によれば、２つの粒度処理段階の漸進的雨滴除去処理に基づいて、雨滴を除去すると同時に、画像の雨無し領域の細部を保留することができる。第１粒度処理段階で得られた雨滴特徴情報が一定の解釈可能性を有するため、雨滴特徴情報を利用して、第２粒度処理段階で類似度比較を行うことで、雨滴と他の非雨滴情報との区別を認識し、雨滴を正確に除去して画像の雨無し領域の細部を保留することができる。

可能な実現形態において、前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることは、
前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得ることと、
前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得ることと、
前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて得られた雨滴結果と前記雨滴付き画像との間に残差減算を行い、前記処理されるべき画像を得ることと、を含む。

本願によれば、雨滴を表すための局所的特徴情報及び雨滴を含むすべての画像特徴を表すための全体的特徴情報に基づいて、特定の雨滴特徴と他の非雨滴情報との区別を分析することができ、より正確な雨滴除去処理のための指針とすることができる。

可能な実現形態において、前記雨滴結果は、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて残差融合を行うことで得られた処理結果を含む。

本願によれば、雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて残差融合を行い、正確な処理結果を得る。

可能な実現形態において、前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得ることは、
前記雨滴付き画像を第ｉ層の集約的残差モジュールに入力し、第１中間処理結果を得ることと、
前記第１中間処理結果を第ｉ層のダウンサンプリングモジュールに入力し、局所的特徴マップを得ることと、
前記局所的特徴マップを前記第ｉ＋１層の集約的残差モジュールにより処理した後に、前記第ｉ＋１層のダウンサンプリングモジュールに入力し、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得ることと、を含み、
前記ｉは、１以上であって所定値未満である正整数である。

本願によれば、多層の集約的残差モジュール及び多層のダウンサンプリングモジュールにより処理を行うことで、上記局所的特徴情報からなる局所的特徴マップを得ることができる。該局所的特徴マップを第２粒度処理段階の精細化雨滴除去処理に用いる。

可能な実現形態において、前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得ることは、
前記雨滴の局所的特徴情報を第ｊ層の領域敏感モジュールに入力し、第２中間処理結果を得ることと、
前記第２中間処理結果を第ｊ層のアップサンプリングモジュールに入力し、全体的補強特徴マップを得ることと、
前記全体的補強特徴マップを前記第ｊ＋１層の領域敏感モジュールにより処理した後に前記第ｊ＋１層のアップサンプリングモジュールに入力し、前記第ｊ＋１層のアップサンプリングモジュールによりアップサンプリング処理を行い、前記雨滴の全体的特徴情報を得ることと、を含み、
前記ｊは、１以上であって所定値未満である正整数である。

本願によれば、多層の領域敏感モジュール及び多層のアップサンプリングモジュールにより処理を行うことで、上記全体的特徴情報からなる全体的補強特徴マップを得ることができる。該全体的補強特徴マップを第２粒度処理段階の精細化雨滴除去処理に用いる。

可能な実現形態において、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得ることは、前記第ｉ＋１層のダウンサンプリングモジュールにおいて、局所的畳み込みカーネルを用いて畳み込み操作を行い、前記雨滴の局所的特徴情報を得ることを含む。

本願によれば、局所的特徴情報を得る必要があるため、ダウンサンプリングを行う場合、局所的カーネルにより畳み込み操作を行うことができる。

可能な実現形態において、前記処理されるべき画像に対して前記第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることは、
前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることと、
前記コンテキストセマンティック情報に基づいて分類を行い、前記処理されるべき画像における雨あり領域を認識することであって、前記雨あり領域は、雨滴及び他の非雨滴情報を含む、ことと、
前記雨滴特徴情報に基づいて、前記雨あり領域における画素点に対して雨滴類似度比較を行い、比較結果に基づいて、雨滴が位置する雨滴領域及び雨無し領域を位置決めすることと、
前記雨滴領域における雨滴を除去し、前記雨無し領域の情報を保留した後に、前記雨滴除去処理された画像を得ることと、を含む。

本願によれば、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報に基づいて、まず、分類を行い、処理されるべき画像における雨あり領域を決定する。続いて、前記雨滴特徴情報に基づいて、前記雨あり領域における像素点に対して雨滴類似度比較を行い、比較結果を得、比較結果に基づいて、雨滴が位置する雨滴領域及び雨滴無し領域を位置決めする。これにより、雨滴領域における雨滴を除去した後、前記雨滴無し領域の情報を保留することができる。従って、これらの処理で得られた、雨滴除去処理された画像は、より高い雨滴除去効果を有するだけでなく、画像におけるより多くの他の非雨滴の細部情報も保留された。

可能な実現形態において、前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることは、
前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行い、前記深層セマンティック特徴を生成するための高次元特徴ベクトルを得ることと、
前記高次元特徴ベクトルを前記コンテキストセマンティックモジュールに入力して多層の集約的残差処理を行い、前記深層セマンティック特徴を得ることと、
各層の集約的残差処理で得られた深層セマンティック特徴と前記浅層空間的特徴に対して融合処理を行い、前記コンテキストセマンティック情報を得ることと、を含む。

本願によれば、処理されるべき画像の畳み込み処理、各層の集約的残差処理で得られた深層セマンティック特徴と浅層空間的特徴との融合処理により、コンテキストセマンティック情報を得ることができる。これにより、コンテキストセマンティック情報における深層セマンティック特徴に基づいて分類を実現し、雨あり領域を認識する。また、コンテキストセマンティック情報における浅層空間的特徴に基づいて位置決めを実現し、雨滴が位置する雨滴領域及び雨滴無し領域を決定する。

可能な実現形態において、前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得ることは、
前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行った後に、出力結果を得ることと、
前記雨滴除去処理された画像と、前記出力結果と、を融合処理し、前記雨滴が除去されたターゲット画像を得ることと、を含む。

本願によれば、処理されるべき画像の畳み込み処理及び融合処理で得られた雨滴が除去されたターゲット画像は、雨滴除去効果がより高く、且つ画像におけるより多くの他の非雨滴の細部情報を保留したという効果を達成することができる。

本願の一態様によれば、画像処理装置を提供する。前記画像処理装置は、
雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得るように構成される雨滴処理ユニットであって、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む、雨滴処理ユニットと、
前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得るように構成される融合ユニットと、を備える。

可能な実現形態において、前記雨滴処理ユニットは、
前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることであって、前記処理されるべき画像は、雨滴特徴情報を含む、ことと、
前記処理されるべき画像に対して第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることであって、前記雨滴除去処理された画像は、雨滴を除去した後に保留された雨滴無し領域情報を含む、ことと、を実行するように構成される。

可能な実現形態において、前記雨滴処理ユニットは、
前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得、
前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得、
前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて得られた雨滴結果と前記雨滴付き画像との間に残差減算を行い、前記処理されるべき画像を得るように構成される。

可能な実現形態において、前記雨滴結果は、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて残差融合を行うことで得られた処理結果を含む。

可能な実現形態において、前記雨滴処理ユニットは、
前記雨滴付き画像を第ｉ層の集約的残差モジュールに入力し、第１中間処理結果を得、
前記第１中間処理結果を第ｉ層のダウンサンプリングモジュールに入力し、局所的特徴マップを得、
前記局所的特徴マップを前記第ｉ＋１層の集約的残差モジュールにより処理した後に、前記第ｉ＋１層のダウンサンプリングモジュールに入力し、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得るように構成され、
前記ｉは、１以上であって所定値未満である正整数である。

可能な実現形態において、前記雨滴処理ユニットは、
前記雨滴の局所的特徴情報を第ｊ層の領域敏感モジュールに入力し、第２中間処理結果を得、
前記第２中間処理結果を第ｊ層のアップサンプリングモジュールに入力し、全体的補強特徴マップを得、
前記全体的補強特徴マップを前記第ｊ＋１層の領域敏感モジュールにより処理した後に前記第ｊ＋１層のアップサンプリングモジュールに入力し、前記第ｊ＋１層のアップサンプリングモジュールによりアップサンプリング処理を行い、前記雨滴の全体的特徴情報を得るように構成され、
前記ｊは、１以上であって所定値未満である正整数である。

可能な実現形態において、前記雨滴処理ユニットは、前記第ｉ＋１層のダウンサンプリングモジュールにおいて、局所的畳み込みカーネルを用いて畳み込み操作を行い、前記雨滴の局所的特徴情報を得るように構成される。

可能な実現形態において、前記雨滴処理ユニットは、
前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることと、
前記コンテキストセマンティック情報に基づいて分類を行い、前記処理されるべき画像における雨あり領域を認識することであって、前記雨あり領域は、雨滴及び他の非雨滴情報を含む、ことと、
前記雨滴特徴情報に基づいて、前記雨あり領域における画素点に対して雨滴類似度比較を行い、比較結果に基づいて、雨滴が位置する雨滴領域及び雨無し領域を位置決めすることと、
前記雨滴領域における雨滴を除去し、前記雨無し領域の情報を保留した後に、前記雨滴除去処理された画像を得ることと、を実行するように構成される。

可能な実現形態において、前記雨滴処理ユニットは、
前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行い、前記深層セマンティック特徴を生成するための高次元特徴ベクトルを得、
前記高次元特徴ベクトルを前記コンテキストセマンティックモジュールに入力して多層の集約的残差処理を行い、前記深層セマンティック特徴を得、
各層の集約的残差処理で得られた深層セマンティック特徴と前記浅層空間的特徴に対して融合処理を行い、前記コンテキストセマンティック情報を得るように構成される。

可能な実現形態において、前記融合ユニットは、
前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行った後に、出力結果を得、
前記雨滴除去処理された画像と、前記出力結果と、を融合処理し、前記雨滴が除去されたターゲット画像を得るように構成される。

本願の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、上記画像処理方法を実行するように構成される。

本願の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されるときに、上記画像処理方法を実現させる。

本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサは、上記画像処理方法を実行する。

本願の一態様によれば、雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む。前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得る。本願の実施例は、第１粒度処理段階及び第２粒度処理段階という２段階の漸進的除去処理をそれぞれ用いるため、雨滴を除去できるだけでなく、過度処理して他の非雨滴情報を除去することもない。従って、雨滴除去と雨滴無し領域情報の保留との間で、良いバランスを保つ。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

本願の実施例による画像処理方法を示すフローチャートである。 本願の実施例による画像処理方法を示すもう１つのフローチャートである。 本願の実施例による画像処理方法を示すもう１つのフローチャートである。 本願の実施例による集約的残差モジュールを示す概略図である。 本願の実施例による画像処理装置を示すブロック図である。 本願の実施例による電子機器を示すブロック図である。 本願の実施例による電子機器を示すブロック図である。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

雨滴付き画像に対して高品質な雨滴自動除去を行う技術は、日常生活における多数のシーンに適用可能である。例えば、自動運転において、雨滴が視線に及ぼす影響を除去し、運転品質を高める。インテリジェントポートレート撮影において、雨滴による干渉を除去し、より美しくて且つ明瞭である背景を得る。モニタリングビデオにおける画面に対して雨滴除去操作を行うことで、豪雨の天気でも、比較的明瞭なモニタリング画面を得ることができ、モニタリング品質を向上させることができる。雨滴自動除去操作により、高品質なシーン情報を得ることができる。

関連雨滴除去方法において、主に、対となる雨あり／なし画像に基づいて、深層学習のエンドツーエンド方法を利用して、マルチスケールモデリング、集約的残差接続ネットワーク及びビデオフレームオプティカルフローなどの技術により、雨除去を行う。これらの方法は、いずれも、雨滴除去効果を単に追及し、画像における雨無し領域の細部情報に対する保護モデリングを無視し、一定の解釈可能性も欠けている。データ及び機械学習モデルの解釈可能性は、データ科学の「有用性」において非常に重要な一部である。これは、モデルと解決しょうとする課題との一致性を確保し、課題を解決できるだけでなく、どのような一環で課題を解釈するかも知る。課題を単に解決したが、具体的にどのような一環が解釈の役割を果たすかを知らないことがない。

関連雨滴除去方法において、単一画像に基づくエンドツーエンド型画像雨滴除去方法を例として説明する。該方法は、対となる雨あり／無しの単一画像データに基づいて、マルチスケール特徴を利用してエンドツーエンドのモデリング学習を行う。畳み込みニューラルネットワーク、プーリング操作、逆畳み込み操作及び補間操作などの技術により、符号化器及び復号器を含むネットワークを構築する。雨滴付き画像を該ネットワークに入力し、単一枚の雨無し画像の教師あり情報に基づいて、入力された雨滴付き画像を雨滴無し画像に変換する。しかしながら、該方法は、雨の過度除去を招き、一部の画像の細部情報を失い、雨滴が除去された画像に歪みが発生するという課題がある。

関連雨滴除去方法において、ビデオストリームの方式に基づいて雨滴を除去する方法を例として説明する。該方法は、ビデオフレーム間のタイミング情報を利用して、２フレーム間の雨滴のビデオオプティカルフローを捕捉し、続いて、このようなタイミングのオプティカルフローを利用して動的雨滴を除去し、雨滴無し画像を得る。しかしながら、該方法の適用シーンは、ビデオデータ集合のみに適用可能であり、単一枚の画像からなる撮影シーンに適用できない。一方で、該方法は、連続した前後の２フレームの情報に依存し、フレーム中断が発生すれば、雨除去効果に影響を及ぼす。

上記２つの方法は、いずれも、雨除去というタスクに対して明確的な雨滴モデリング及び解釈を行うことなく、異なる粒度の雨滴に対して十分な考慮及びモデリングを行うこともない。従って、雨の過度除去と不十分な雨除去とのバランスを取ることを把握しにくい。雨の過度除去は、雨除去効果が高すぎて、雨滴無し画像領域も除去することである。雨無し領域の画像細部を失ったため、画像の歪みを招く。不十分な雨除去は、雨除去効果が低すぎて、画像の雨滴を十分に除去しないことである。

本願によれば、粗粒度から細粒度までの漸進的画像雨滴除去処理に基づいて、雨滴を除去すると同時に、画像の雨無し領域の細部を保留することができる。第１粒度処理段階で得られた雨滴特徴情報は、一定の解釈可能性を有するため、雨滴特徴情報により、第２粒度処理段階で類似度比較を行うことで、雨滴と他の非雨滴情報との区別を認識し、雨滴を正確に除去して画像の雨無し領域の細部を保留することができる。

第１粒度処理は、粗粒度雨滴除去処理であり、第２粒度処理は、細粒度雨滴除去処理であることに留意されたい。粗粒度雨滴除去処理と細粒度雨滴除去処理は、相対的な記述である。粗粒度雨滴除去処理の目的でも、それとも細粒度雨滴除去処理の目的でも、いずれも、画像から雨滴を認識して除去することであるが、除去程度が異なる。粗粒度雨滴除去処理の効果は、正確ではないため、より正確な処理効果を得るように、細粒度雨滴除去処理を行う必要がある。例えば、スケッチを描く場合、粗粒度処理は、輪郭を描くことであり、これに対して、細粒度処理は、陰影及び細部を描くことである。

図１は、本願の実施例による画処理方法を示すフローチャートである。該方法は、画像処理装置に適用される。例えば、該処理装置は、端末装置、サーバ又は他の処理機器に配置されて実行される場合、画像分類、画像検出及びビデオ処理等を実行することができる。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該処理方法は、ロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図１に示すように、該プロセスは以下を含む。

ステップＳ１０１において、雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む。

第１粒度処理段階で、雨滴付き画像を処理し、処理されるべき画像を得る。また、該処理されるべき画像は、雨滴特徴情報を含む。画雨滴特徴情報は、雨滴と画像における他の非雨滴情報を区別するために用いられる。該雨滴特徴情報は、該段階で、大量の訓練サンプルにより学習を行うことで得られたものである。該段階で、雨滴が完全に除去されていない。該処理されるべき画像を第１粒度処理で得られた中間処理結果として、第２粒度処理段階に入った後、該雨滴特徴情報に基づいて雨滴類似度比較を行い、雨滴除去処理された画像を得ることができる。該処理されるべき画像を畳み込み処理することで得られた結果と該雨滴除去処理された画像とを融合し、最終的な雨滴除去されたターゲット画像を得ることもできる。

可能な実現形態において、雨滴付き画像に対して第１粒度処理を行うことで、処理されるべき画像を得ることができる。処理されるべき画像に雨滴特徴情報が含まれる。処理されるべき画像に対して第２粒度処理を行い、雨滴特徴情報に基づいて、処理されるべき画像における画素点に対して雨滴類似度比較を行うことで、雨滴除去処理された画像を得ることができる。雨滴除去処理された画像は、雨滴を除去した後に保留された雨滴無し領域情報を含む。雨滴類似度比較により、画像における雨滴と他の非雨滴情報（例えば、画像における背景情報、家屋、車、木、歩行者等）を区別することができる。雨滴を除去する時に該他の非雨滴情報を誤除去することがない。

ステップＳ１０２において、前記雨滴除去処理された画像と、処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得る。

一例において、雨滴除去処理された画像と、処理されるべき画像を畳み込み処理することで得られた結果と、を融合処理し、雨滴が除去されたターゲット画像を得ることができる。例えば、前記処理されるべき画像を畳み込みモジュールに入力し、畳み込み処理を行った後に出力結果を得る。前記雨滴除去処理された画像と、前記出力結果と、を融合処理し、前記雨滴が除去されたターゲット画像を得る。

融合処理について言えば、第１粒度処理段階で得られた処理されるべき画像（例えば、一次雨除去された画像）に対して一回の畳み込み操作（例えば、３＊３畳み込み）を行った後に、第２粒度処理段階で得られた雨滴除去処理された画像（例えば、本願の２段階の処理で得られたほぼ正確な雨除去された画像）と融合する。処理されるべき画像を畳み込みモジュールに入力し、３＊３畳み込み操作を実行し、畳み込みモジュールに入力された画像のサイズと畳み込みモジュールから出力された画像のサイズは、不変のままである。その画像特徴に対して処理を行う。融合過程において、その画像特徴と第２粒度処理段階で得られた画像特徴をＣｏｎｃａｔｅした後、１＊１畳み込みカーネルを利用した畳み込み処理及びＳｉｇｍｏｉｄ関数を利用した非線形処理を行い、雨滴除去されたターゲット画像（例えば、最終的な雨除去された画像）を得る。Ｃｏｎｃａｔｅは、複数の画像特徴を接続するための接続関数であり、Ｓｉｇｍｏｉｄ関数は、ニューラルネットワークにおける活性化関数であり、非線形関数である。これは、非線形を導入するために用いられる。具体的な非線形形態を限定しない。

本願によれば、画像における雨滴に対して、第１粒度処理のみを用いると、例えば背景における車又は歩行者などの画像細部情報のような、より多くの細部特徴を保留することができるが、雨滴の処理粒度及び処理効果について言えば、第２粒度処理に比べて、十分に細かいとは言えず、第２粒度処理を更に行う必要がある。第２粒度処理を用いて、上記雨滴除去処理された画像を得る。雨滴に対する除去処理は、第１粒度処理よりも優れているが、例えば他の非雨滴情報のような画像細部情報の紛失を招くことがある。従って、該２つの粒度処理で得られた処理結果を最終的に融合する必要がある。つまり、第１粒度処理で得られた上記処理されるべき画像と、第２粒度処理で得られた上記雨滴除去処理された画像と、を融合した後に、最終的に得られたターゲット画像は、過度処理が発生することなく、雨滴除去により得られた雨滴無し効果と、他の非雨滴情報の保留との間で処理上のバランスを取ることができる。

上記ステップＳ１０１～ステップＳ１０２について、一例は、図２に示すとおりである。図２は、本願の実施例による画像処理方法を示すフローチャートである。該方法は、粗粒度及び細粒度という２つの雨滴除去段階の処理を含む。該処理されるべき画像は、第１粒度処理で得られた中間処理結果であってもよい。該雨滴除去処理された画像は、第２粒度処理で得られた処理結果であってもよい。該雨滴付き画像に対して、第１粒度処理段階の処理を行い、テクスチャがあらい雨スポットマスクのような雨滴結果を得る。該第１粒度処理段階で、雨滴が完全に除去されていない。該段階的学習において、雨滴特徴情報を得、後続の雨滴類似度比較に用いることができる。該雨滴付き画像と該雨滴結果に対して残差減算を行い、粗粒度の雨滴を除去した結果である、次の段階（第２粒度処理段階）処理に用いられる処理されるべき画像を出力する。該処理されるべき画像に対して第２粒度処理段階の処理を行い、該雨滴除去処理された画像を得る。該処理されるべき画像を畳み込み処理することで得られた結果と、該雨滴除去処理された画像と、を融合し、最終的に雨滴除去されたターゲット画像を得る。本願によれば、雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、該ターゲット画像を得る。雨滴を除去すると同時に、画像の雨滴無し領域の細部を保留することができる。

可能な実現形態において、前記雨滴付き画像に対して前記第１粒度処理を行い、処理されるべき画像を得ることは、以下を含む。

１において、前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得る。

前記雨付き画像に対して少なくとも２層の集約的残差モジュール及び層毎のダウンサンプリング処理を行い、前記雨滴特徴情報を表す局所的特徴マップを得ることができる。局所的特徴マップは、局所的特徴からなり、画像特徴の局所的記述を反映するために用いられる。局所的特徴マップは、複数であってもよい。例えば、各層の集約的残差モジュール及び層毎のダウンサンプリング処理を行うことで、各層に対応して出力された複数の局所的特徴マップを得ることができる。複数の局所的特徴マップを並行方式で複数の全体的補強特徴マップと残差融合し、前記雨滴結果を得る。また例えば、各層の集約的残差モジュール及び層毎のダウンサンプリング処理を行うことで、各層に対応して出力された複数の局所的特徴マップを得ることができる。複数の局所的特徴マップを直列方式で接続した後、接続された局所的特徴マップと、複数の全体的補強特徴マップと、を残差融合し、前記雨滴結果を得る。

第２粒度処理段階で、より正確な、画像における雨滴を除去する効果を達成するために、第１粒度処理段階で、画像における、雨滴特徴情報を表すための局所的特徴を得る必要がある。これにより、該局所的特徴を第２粒度処理段階に用いて雨滴類似度比較を行い、画像における雨滴と他の非雨滴情報を区別する。

各層に集約的残差モジュール及びダウンサンプリングモジュールがあり、それぞれ集約的残差処理及びダウンサンプリング処理を行うことに留意されたい。前記局所的特徴マップを前記雨滴の局所的特徴情報とする。

一例において、雨滴付き画像を第ｉ層の集約的残差モジュールに入力し、第１中間処理結果を得る。前記第１中間処理結果を第ｉ層のダウンサンプリングモジュールに入力し、局所的特徴マップを得る。前記局所的特徴マップを前記第ｉ＋１層の集約的残差モジュールにより処理した後に、前記第ｉ＋１層のダウンサンプリングモジュールに入力し、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得る。前記ｉは、１以上であって所定値未満である正整数である。所定値は、２、３、４、…、ｍ等であってもよい。ｍは、所定値の上限であり、経験値に基づいて設定されてもよく、又は、必要な雨滴の局所的特徴情報の精度に基づいて設定されてもよい。

層毎のダウンサンプリング処理において、局所的畳み込みカーネルを利用して畳み込み操作を行うことで、前記局所的特徴マップを得ることができる。

２において、前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得る。

領域ノイズ低減処理は、領域敏感モジュールにより行われてもよい。領域敏感モジュールは、画像における雨滴を認識することができる。例えば、木、車、歩行者などの画像背景のような、雨滴と関わらない他の非雨滴情報信息をノイズとして、該ノイズと雨滴を区別する。

前記局所的特徴マップに対して少なくとも２層の領域敏感モジュール及び層毎のアップサンプリング処理を行うことで、前記雨滴特徴情報を含む全体的補強特徴マップを得ることができる。全体的補強特徴マップは、局所的特徴マップに対するものである。全体的補強特徴マップは、画像全体における画像特徴を表す特徴マップである。

全体的補強特徴マップは、複数であってもよい。例えば、各層の領域敏感モジュール及び層毎のアップサンプリング処理を行うことで、各層に対応して出力された複数の全体的補強特徴マップを得ることができる。複数の全体的補強特徴マップを並行方式で複数の局所的特徴マップと残差融合し、前記雨滴結果を得る。また例えば、各層の領域敏感モジュール及び層毎のアップサンプリング処理を行うことで、各層に対応して出力された複数の全体的補強特徴マップを得ることができる。複数の全体的補強特徴マップを直列方式で接続した後、接続された全体的補強特徴マップと、複数の局所的特徴マップと、を残差融合し、前記雨滴結果を得る。

各層に領域敏感モジュール及びアップサンプリングモジュールがあり、それぞれ領域ノイズ低減処理及びアップサンプリング処理を行うことに留意されたい。前記全体的補強特徴マップを前記雨滴の全体的特徴情報とする。前記局所的特徴マップと、前記全体的補強特徴マップと、を残差融合し、前記雨滴結果を得る。

前記局所的特徴マップを各層の領域敏感モジュールに入力することで得られた全体的補強特徴マップに対して、それぞれ層毎のアップサンプリング処理を行うことで、増幅した全体的補強特徴マップを得ることができる。前記増幅した全体的補強特徴マップと、各層の集約的残差処理で得られた局所的特徴マップと、に対して、層毎の残差融合を行い、前記雨滴結果を得る。該雨滴結果は、前記雨滴の局所的特徴情報と前記雨滴の全体的特徴情報を残差融合することで得られた処理結果を含んでもよい。

一例において、前記雨滴の局所的特徴情報を第ｊ層の領域敏感モジュールに入力し、第２中間処理結果を得る。前記第２中間処理結果を第ｊ層のアップサンプリングモジュールに入力し、全体的補強特徴マップを得る。前記全体的補強特徴マップを前記第ｊ＋１層の領域敏感モジュールにより処理した後に前記第ｊ＋１層のアップサンプリングモジュールに入力し、前記第ｊ＋１層のアップサンプリングモジュールによりアップサンプリング処理を行い、前記雨滴の全体的特徴情報を得る。前記ｊは、１以上であって所定値未満である正整数である。所定値は、２、３、４、…、ｎ等であってもよい。ｎは、所定値の上限であり、経験値に基づいて設定されてもよく、又は、必要な雨滴の局所的特徴情報の精度に基づいて設定されてもよい。

層毎のアップサンプリング処理は、関連技術における畳み込み操作を用いることができ、つまり、畳み込みカーネルを用いて畳み込み操作を行う。

アップサンプリング及びダウンサンプリングについて言えば、図３に示すように、アップサンプリングモジュールとダウンサンプリングモジュールとの間の接続は、アップ、ダウンサンプリング間のスキップ接続である。具体的には、まず、ダウンサンプリングを行った後に、アップサンプリングを行い、同一層のアップサンプリングとダウンサンプリング処理に対して該スキップ接続を行うことができる。ダウンサンプリング過程において、各ダウンサンプリング特徴点の空間的座標情報を記録することができる。アップサンプリングに対応して接続する時、これらの空間的座標情報を利用し、これらの空間的座標情報をアップサンプリング入力の一部として、アップサンプリングの空間回復機能をより好適に実現させる。空間回復は、以下のとおりである。画像に対してサンプリング（アップサンプリングとダウンサンプリングとを含む）を行うと、歪みを招く。換言すれば、ダウンサンプリングは、画像を縮小し、アップサンプリングは画像を拡大すると理解されてもよい。従って、ダウンサンプリングにより画像を縮小することにより、位置の変動を招く。歪み無し回復を必要とすれば、アップサンプリングによりその位置を回復することができる。

３において、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて得られた雨滴結果と前記雨滴付き画像との間に残差減算を行い、前記処理されるべき画像を得る。

雨滴結果は、画像における、雨滴特徴を表すための局部特徴情報及び画像における、全ての特徴を表すための全局特徴情報に基づいて得られた処理結果であり、第１粒度処理段階で得られた一次雨滴除去結果と呼ばれてもよい。続いて、本願のニューラルネットワークに入力された雨滴付き画像と、該雨滴結果と、を残差減算し（任意の２つの特徴の減算）、処理されるべき画像を得る。

可能な実現形態において、前記処理されるべき画像に対して前記第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることは、前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得る。ここで、該深層セマンティック特徴は、認識及び分類に用いられる。例えば、雨と他のカテゴリ（車、木、人間）情報の区別を認識して分類を行うことができる。浅層空間的特徴は、認識されたカテゴリから該カテゴリにおける具体的な部分を認識するために用いられ、具体的なテクスチャ情報に基づいて該カテゴリにおける具体的な部分を取得することができる。例えば、人体走査シーンにおいて、深層セマンティック特徴に基づいて、顔、手、躯体などのカテゴリを認識することができる。ここの手について、浅層空間的特徴に基づいて、手における手の平の位置を位置決めすることができる。本願について、深層セマンティック特徴により、雨あり領域を認識し、続いて、浅層空間的特徴により、雨滴の位置を位置決めすることができる。

一例において、コンテキストセマンティック情報に基づいて分類を行い、前記処理されるべき画像における雨あり領域を認識する。前記雨あり領域は、雨滴及び他の非雨滴情報を含む。該雨あり領域に雨滴が存在し、雨滴を更に除去するように、雨滴領域と雨滴無し領域を区別する必要がある。従って、前記雨滴特徴情報に基づいて、前記雨あり領域における画素点に対して雨滴類似度比較を行い、比較結果に基づいて、雨滴が位置する雨滴領域及び雨滴無し領域を位置決めする。前記雨滴領域の雨滴を除去し、前記雨滴無し領域の情報を保留した後に、前記雨滴除去処理された画像を得る。

可能な実現形態において、前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることは、前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行い、前記深層セマンティック特徴を生成するための高次元特徴ベクトルを得る。高次元特徴ベクトルは、チャネル数が多い特徴を指す。例えば、３０００＊幅＊高さの特徴である。高次元特徴ベクトルは、空間的情報を含まない。例えば、１つの語句に対してセマンティック分析を行うことで、高次元特徴ベクトルを得ることができる。例えば、二次元空間は、二次元ベクトルであり、三次元空間は、三次元ベクトルであり、三次元を超える四次元、五次元は、高次元特徴ベクトルに属する。該高次元特徴ベクトルを前記コンテキストセマンティックモジュールに入力して多層の集約的残差処理を行い、前記深層セマンティック特徴を得る。各層の集約的残差処理で得られた深層セマンティック特徴と前記浅層空間的特徴を融合処理し、前記コンテキストセマンティック情報を得る。コンテキストセマンティック情報は、深層セマンティック特徴と浅層空間的特徴を融合した情報であることに留意されたい。

深層セマンティック特徴は、主に、分類及び認識に用いられ、浅層空間的特徴は主に、具体的な位置決めに用いられる。深層セマンティック特徴と浅層空間的特徴は、相対的なものである。図３に示す多層の畳み込みモジュールにより処理を行う段階について言えば、初期畳み込み処理で得られたものは、浅層空間的特徴である。複数回の畳み込み処理を実行することに伴い、深層セマンティック特徴を得るようになる。つまり、畳み込み処理プロセスにおいて、前半部で得られたものは、浅層空間的特徴であり、前半部に対して、後半部で得られた特徴は、深層セマンティック特徴である。深層セマンティック特徴は、セマンティックに対する表現が浅層空間的特徴よりも豊かである。これは、畳み込みカーネルの畳み込み特性によって決まる。一枚の画像を複数層の畳み込み処理を行うことにつれて、有効空間はますます小さくなる。従って、深層セマンティック特徴は、幾つかの空間的情報を失うことがあるが、多層の畳み込み学習を実行したため、浅層空間的特徴に比べてより豊かなセマンティック特徴表現を得ることができる。

該コンテキストセマンティックモジュールに集約的残差モジュールと融合モジュールが含まれ、それぞれ、集約的残差処理及び融合処理を行う。一例において、得られた高次元特徴ベクトルをコンテキストセマンティックモジュールに入力し、まず、多層の集約的残差モジュールにより、深層セマンティック特徴を得る。続いて、多層の集約的残差モジュールから出力された深層セマンティック特徴を融合モジュールにより直列接続し、１つの１ｘ１畳み込み操作により融合処理を行い、多層のコンテキストセマンティックモジュールから出力されたコンテキストセマンティック情報を融合する。これにより、深層セマンティック特徴と浅層空間的特徴を十分に融合し、幾つかの残留した細粒度雨滴を更に除去することを補助すると同時に、画像の細部情報を補強することもできる。

適用例：
図３は、本願の実施例による画像処理方法を示すもう１つのフローチャートである。図３に示すように、粗粒度の雨滴除去段階及び細粒度雨滴除去段階を含む漸進的処理方式で、画像における雨滴を除去し、雨除去を漸進的に学習するプロセスを行う。ここで、粗粒度の雨滴除去段階で、領域敏感モジュールにより局所的－全体的特徴に対して融合を行い、粗粒度雨滴の特徴情報をマイニングすることができる。細粒度雨滴除去段階において、コンテキストセマンティックモジュールにより、細粒度の雨滴を除去すると同時に、画像の細部情報を損傷しないように保護することができる。図３に示すように、本願の画像処理方法は、下記２つの段階を含む。

１、粗粒度の雨滴除去段階
本段階で、雨滴付き画像を入力し、続いて、粗粒度の雨滴画像を生成し、更に、雨滴付き画像と、生成された雨滴画像と、を残差減算し、粗粒度雨滴を除去するという目的を達成することができる。該段階は、主に、集約的残差モジュール、アップサンプリング操作、ダウンサンプリング操作及び領域敏感モジュールを含む。図３に示すように、該段階は、主に下記４つのステップを含む。

１）において、入力された雨滴付き画像に対して、まず集約的残差モジュール及びダウンサンプリング操作を行い、深層セマンティック特徴を得る。ここで、ダウンサンプリング操作により、空間スケールの異なる特徴情報を得、特徴の受容野を豊かにすることができる。該ダウンサンプリング操作は、局部的畳み込みカーネルに基づいて畳み込み操作を行い、局部的特徴情報を学習することができる。集約的残差モジュールは、図４に示すように、複数の３×３の畳み込みモジュールからなってもよい。

ここで、図４を参照しながら説明する。集約的残差モジュールの処理について言えば、三層の集約的残差は、３つの残差モジュールからなる。それと同時に各残差モジュールの入力及び次の残差モジュールの出力をＣｏｎｃａｔｅした後に入力とする。ダウンサンプリングモジュールの処理について言えば、ダウンサンプリングは、ｍａｘｐｏｏｌを用いてダウンサンプリングを行う。ｍａｘｐｏｏｌは、プーリング操作の１つの実現形態である。畳み込み処理を行った後に、該プーリング操作を行うことができる。ｍａｘｐｏｏｌは、複数のチャネル（例えば、画像におけるＲ／Ｇ／Ｂが３チャネルである）における各チャネル画素点に対して処理を行い、各画素点の特徴値を得る。ｍａｘｐｏｏｌは、１つの所定のスライドウィンドウ（例えば、スライドウィンドウ２＊２）から、最大特徴値を代表値として選択する。

２）において、下記式（１）で領域敏感モジュールを構築する。式（１）において、

及び

は、それぞれ、第ｒブロックの領域において、対応する出力特徴マップの第ｉ番目の位置情報及び入力特徴マップの第ｉ番目の位置情報を表す。

は、第ｒブロックの領域における入力特徴マップの第ｊ番目の位置情報を表す。Ｃ（）は、正規化操作を表し、例えば、

である。ｆ（ ）及びｇ（ ）はいずれも畳み込みニューラルネットワークを表す。該畳み込みニューラルネットワークの処理は、１＊１の畳み込み操作であってもよい。

該領域敏感モジュールの構築過程において、画像の１つの所定領域における各出力画素の値は、各入力画素の値を重み加算を行うことで得られたものである。対応する重みは、２つずつの入力画像に対して内積操作を行うことで得られたものである。該領域敏感モジュールにより、画像における各画素と他の画素との関係表現を得ることができる。これにより、全体的補強した特徴情報を得る。雨滴除去タスクについて言えば、該全体的補強した特徴情報により、雨滴と非雨滴の特徴の認識を効果的に補助することができる。該指定領域に基づいて構築を行うことで、演算量をより効果的に減少させ、効率を向上させることができる。

（１）

３）において、１）で得られた該局所特徴情報を該領域敏感モジュールに入力し、領域敏感モジュールにより、全体的補強した特徴情報を得る。更に、アップサンプリングにより増幅を行い、増幅した全体的特徴マップ（該全体的補強した特徴情報からなる特徴マップ）と浅層の局所的特徴マップ（該局部的特徴情報からなる特徴マップ）に対して層毎に残差融合を行い、最後に、粗粒度の雨滴結果を出力する。本願の本段階で得られた雨滴結果は、本願のニューラルネットワークアーキテクチャを、エンドツーエンドネットワークに比べてより高い解釈可能性を持たせると同時に、２段階の雨除去プロセスにより、幾つかの粗粒度の雨滴を除去できるだけでなく、雨無し領域の画像細部を保留し、雨の過度除去を防止することもできる。該雨滴結果を本願のニューラルネットワーク訓練の指針とし、本願のニューラルネットワークの学習状況を即時に了解して調整することもでき、より高い訓練効果を達成することができる。

ここで、図４を参照しながら説明する。図４のモジュールは、図３における全体的ニューラルネットワークアーキテクチャに対応し、つまり、集約的残差モジュールである。まず、画像を集約的残差モジュールにより処理し、続いて、ダウンサンプリングを行う。このような操作を三回行い、解像度の異なる３つの特徴を得る。つまり、最終的ダウンサンプリング特徴を得る。続いて、該ダウンサンプリング特徴をまず、領域敏感モジュールにより処理することで雨滴の特性を得、更に、アップサンプリングを行うことで、３回目のダウンサンプリング前の特徴のスケールと同じであるスケールを回復する。続いて、残差融合（残差融合は、如何なる２つの特徴を直接的に加算することである）を行い、更に、一層の領域敏感モジュール及びアップサンプリングを行い、続いて、２回目のダウンサンプリング前の特徴と残差融合する。このように類推して、３回目の残差融合した特徴を得た後に、第１粒度処理段階で得られた雨滴結果である、一次雨滴結果を得る。続いて、残差減算を行う。残差減算は、入力された雨滴付き画像から、得られた雨滴結果を減算することで、処理されるべき画像である、処理されるべき一次雨除去結果を得ることである。最後に、処理されるべき画像を第２段階に入力して精細な雨除去を行った後、最終的な雨滴除去されたターゲット画像を得る。

４）において、３）で粗粒度の雨滴結果を得、続いて、入力された雨滴付き画像と雨滴結果を残差減算し、粗粒度雨滴除去結果を得る。つまり、本粗粒度段階で雨除去を行った一次雨除去結果を得る。

２、細粒度雨滴除去段階
本段階は、残留した細粒度雨滴を除去すると同時に、画像の雨無し領域の細部特徴を保留する。該段階は、一般的な畳み込み操作及びコンテキストセマンティックモジュールを含む。該コンテキストセマンティックモジュールは、一連の集約的残差モジュール及び融合モジュールを備える。図３に示すように、該段階のアルゴリズムは主に下記３つのステップに分けられる。

１）において、粗粒度の雨滴除去段階の一次雨除去結果を本段階の入力として、畳み込みモジュール（例えば２層のカスケード畳み込み層）を利用して高次元特徴を得る。

２）得られた高次元特徴をコンテキストセマンティックモジュールに入力し、まず、多層の集約的残差モジュールにより、深層セマンティック特徴を得る。集約的残差モジュールは、図４に示すように、複数の３×３の畳み込みモジュールからなってもよい。続いて、多層の集約的残差モジュールの出力を融合モジュールにより直列接続し、１つの１ｘ１畳み込み操作により、多層の集約的残差モジュールのコンテキストセマンティック情報を融合し、深層セマンティック特徴と浅層空間的特徴を十分に融合し、幾つかの残留した細粒度雨滴を更に除去すると同時に、画像の細部情報を補強し、本段階の細部補強結果を得る。

３）において、最後に第１段階の一次雨除去結果と本段階の細部補強結果を融合し、最終的な雨除去結果を得る。

融合処理について、簡単に言えば、上記２段階の処理結果をＣｏｎｃａｔｅした後、１＊１の畳み込み操作を行い、更に、Ｓｉｇｍｏｉｄ関数を利用した非線形処理を行い、融合を完了することである。具体的には、第１粒度処理段階で得られた処理されるべき画像（例えば、一次雨除去された画像）に対して一回の畳み込み操作（例えば、３＊３畳み込み）を行った後に、第２粒度処理段階で得られた雨滴除去処理された画像（例えば、本願の２段階の処理で得られたほぼ正確な雨除去された画像）と融合する。処理されるべき画像を畳み込みモジュールに入力し、３＊３畳み込み操作を実行し、畳み込みモジュールに入力された画像のサイズと畳み込みモジュールから出力された画像のサイズは、不変のままである。その画像特徴に対して処理を行う。融合過程において、その画像特徴と第２粒度処理段階で得られた画像特徴をＣｏｎｃａｔｅした後、１＊１畳み込みカーネルを利用した畳み込み処理及びＳｉｇｍｏｉｄ関数を利用した非線形処理を行い、雨滴除去されたターゲット画像（例えば、最終的な雨除去された画像）を得る。Ｃｏｎｃａｔｅは、複数の画像特徴を接続するための接続関数であり、Ｓｉｇｍｏｉｄ関数は、ニューラルネットワークにおける活性化関数であり、非線形関数である。これは、非線形を導入するために用いられる。具体的な非線形形態を限定しない。

本願によれば、局所的畳み込みカーネルにより抽出された局所的特徴及び領域敏感モジュールにより抽出された全体的特徴を利用することで、「局所的－全体的」第１段階の第１粒度処理を行い、続いて、コンテキストセマンティックモジュールを利用して、第２段階の第２粒度処理を行い、細粒度の雨滴を除去すると同時に、画像の細部情報を保留することもできる。雨滴特徴情報を学習できるため、関連技術におけるエンドツーエンドを用いた「ブラックボックス」プロセスを、解釈可能性を有する２段階雨除去プロセスに分けることができる。これにより、雨滴除去操作に関わるシーンのタスク性能を向上させる。例えば、自動運転において、雨滴が視線に及ぼす影響を除去し、運転品質を高める。インテリジェントポートレート撮影において、雨滴による干渉を除去し、より美しくて且つ明瞭である背景を得る。モニタリングビデオにおける画面に対して本願の雨滴除去操作を行うことで、豪雨の天気でも、比較的明瞭なモニタリング画面を得ることができる。

具体的な実施形態の上記方法において、各ステップの記述順番は、具体的な実行順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

本願の実施例で提供される上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。

なお、本願の実施例は、画像処理装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供する。上記はいずれも、本願の実施例で提供されるいずれか１つの画像処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

図５は、本願の実施例による画像処理装置を示すブロック図である。図５に示すように、該処理装置は、雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得るように構成される雨滴処理ユニット３１であって、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む、雨滴処理ユニット３１と、前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得るように構成される融合ユニット３２と、を備える。

可能な実現形態において、前記雨滴処理ユニットは、前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることであって、前記処理されるべき画像は、雨滴特徴情報を含む、ことと、前記処理されるべき画像に対して第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることであって、前記雨滴除去処理された画像は、雨滴を除去した後に保留された雨滴無し領域情報を含む、ことと、を実行するように構成される。

可能な実現形態において、前記雨滴処理ユニットは、前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得、前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて得られた雨滴結果と前記雨滴付き画像との間に残差減算を行い、前記処理されるべき画像を得るように構成される。

可能な実現形態において、前記雨滴結果は、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて残差融合を行うことで得られた処理結果を含む。

可能な実現形態において、前記雨滴処理ユニットは、前記雨滴付き画像を第ｉ層の集約的残差モジュールに入力し、第１中間処理結果を得、前記第１中間処理結果を第ｉ層のダウンサンプリングモジュールに入力し、局所的特徴マップを得、前記局所的特徴マップを前記第ｉ＋１層の集約的残差モジュールにより処理した後に、前記第ｉ＋１層のダウンサンプリングモジュールに入力し、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得るように構成され、前記ｉは、１以上であって所定値未満である正整数である。所定値は、２、３、４、…、ｍ等であってもよい。ｍは、所定値の上限であり、経験値に基づいて設定されてもよく、又は、必要な雨滴の局所的特徴情報の精度に基づいて設定されてもよい。

可能な実現形態において、前記雨滴処理ユニットは、前記雨滴の局所的特徴情報を第ｊ層の領域敏感モジュールに入力し、第２中間処理結果を得、前記第２中間処理結果を第ｊ層のアップサンプリングモジュールに入力し、全体的補強特徴マップを得、前記全体的補強特徴マップを前記第ｊ＋１層の領域敏感モジュールにより処理した後に前記第ｊ＋１層のアップサンプリングモジュールに入力し、前記第ｊ＋１層のアップサンプリングモジュールによりアップサンプリング処理を行い、前記雨滴の全体的特徴情報を得るように構成され、前記ｊは、１以上であって所定値未満である正整数である。所定値は、２、３、４、…、ｎ等であってもよい。ｎは、所定値の上限であり、経験値に基づいて設定されてもよく、又は、必要な雨滴の局所的特徴情報の精度に基づいて設定されてもよい。

可能な実現形態において、前記雨滴処理ユニットは、前記第ｉ層のダウンサンプリングモジュールにおいて、局所的畳み込みカーネルを用いて畳み込み操作を行い、前記雨滴の局所的特徴情報を得るように構成される。

可能な実現形態において、前記雨滴処理ユニットは、前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることと、前記コンテキストセマンティック情報に基づいて分類を行い、前記処理されるべき画像における雨あり領域を認識することであって、前記雨あり領域は、雨滴及び他の非雨滴情報を含む、ことと、前記雨滴特徴情報に基づいて、前記雨あり領域における画素点に対して雨滴類似度比較を行い、比較結果に基づいて、雨滴が位置する雨滴領域及び雨無し領域を位置決めすることと、前記雨滴領域における雨滴を除去し、前記雨無し領域の情報を保留した後に、前記雨滴除去処理された画像を得ることと、を実行するように構成される。

可能な実現形態において、前記雨滴処理ユニットは、前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行い、前記深層セマンティック特徴を生成するための高次元特徴ベクトルを得、前記高次元特徴ベクトルを前記コンテキストセマンティックモジュールに入力して多層の集約的残差処理を行い、前記深層セマンティック特徴を得、各層の集約的残差処理で得られた深層セマンティック特徴と前記浅層空間的特徴に対して融合処理を行い、前記コンテキストセマンティック情報を得るように構成される。

可能な実現形態において、前記融合ユニットは、前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行った後に、出力結果を得、前記雨滴除去処理された画像と、前記出力結果と、を融合処理し、前記雨滴が除去されたターゲット画像を得るように構成される。

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法の実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されるときに、上記方法を実現させる。コンピュータ可読記憶媒体は揮発性コンピュータ可読記憶媒体又は不揮発性コンピュータ可読記憶媒体であってもよい。

本願の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行されるときに、機器におけるプロセッサは、上記いずれか１つの実施例で提供される画像処理方法を実現させるための命令を実行する。

本願の実施例は、もう１つのコンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行されるときに、コンピュータに上記いずれか１つの実施例で提供される画像処理方法の操作を実行させる。

該コンピュータプログラム製品は具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現することができる。１つの選択可能な実施例において、前記コンピュータプログラム製品は具体的にはコンピュータ記憶媒体として具現化され、もう１つの選択可能な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、上記方法を実行するように構成される。

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

図６は、一例示的な実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

図６を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現される。

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

図７は、一例示的な実施例による電子機器９００を示すブロック図である。例えば、電子機器９００は、サーバとして提供されてもよい。図７を参照すると、電子機器９００は、処理コンポーネント９２２を備える。それは、１つ又は複数のプロセッサ、及びメモリ９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント９２２により実行される命令を記憶するためのものである。メモリ９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、処理コンポーネント９２２は、命令を実行して、上記方法を実行するように構成される。

電子機器９００は、電子機器９００の電源管理を実行するように構成される電源コンポーネント９２６と、電子機器９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース９５０と、入力出力（Ｉ／Ｏ）インタフェース９５８と、を更に備えてもよい。電子機器９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ， ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したもの等、メモリ９３２に記憶されているオペレーティングシステムを実行することができる。

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器９００の処理コンポーネント９２２により実行されて上記方法を完了する。

本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよく、ユーザコンピュータ上で部分的に実行してもよく、独立したソフトウェアパッケージとして実行してもよく、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよく、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行されるときに、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

図面におけるフローチャート及びブック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。

論理から逸脱しない限り、本願の異なる実施例を互いに組み合わせることができ、本願の各々の実施例に対する説明はそれぞれ偏りがあり、説明に重点を置かれていない部分は、他の実施例における記載を参照することができる。

以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

Claims (23)

1. 画像処理方法であって、
   雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得ることであって、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む、ことと、
   前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得ることと、を含む、画像処理方法。
2. 前記雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、前記雨滴除去処理された画像を得ることは、
   前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることであって、前記処理されるべき画像は、雨滴特徴情報を含む、ことと、
   前記処理されるべき画像に対して第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることであって、前記雨滴除去処理された画像は、雨滴を除去した後に保留された雨滴無し領域情報を含む、ことと、を含むことを特徴とする
   請求項１に記載の画像処理方法。
3. 前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることは、
   前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得ることと、
   前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得ることと、
   前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて得られた雨滴結果と前記雨滴付き画像との間に残差減算を行い、前記処理されるべき画像を得ることと、を含むことを特徴とする
   請求項２に記載の画像処理方法。
4. 前記雨滴結果は、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて残差融合を行うことで得られた処理結果を含むことを特徴とする
   請求項３に記載の画像処理方法。
5. 前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得ることは、
   前記雨滴付き画像を第ｉ層の集約的残差モジュールに入力し、第１中間処理結果を得ることと、
   前記第１中間処理結果を第ｉ層のダウンサンプリングモジュールに入力し、局所的特徴マップを得ることと、
   前記局所的特徴マップを前記第ｉ＋１層の集約的残差モジュールにより処理した後に、前記第ｉ＋１層のダウンサンプリングモジュールに入力し、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得ることと、を含み、
   前記ｉは、１以上であって所定値未満である正整数であることを特徴とする
   請求項３又は４に記載の画像処理方法。
6. 可能な実現形態において、前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得ることは、
   前記雨滴の局所的特徴情報を第ｊ層の領域敏感モジュールに入力し、第２中間処理結果を得ることと、
   前記第２中間処理結果を第ｊ層のアップサンプリングモジュールに入力し、全体的補強特徴マップを得ることと、
   前記全体的補強特徴マップを前記第ｊ＋１層の領域敏感モジュールにより処理した後に前記第ｊ＋１層のアップサンプリングモジュールに入力し、前記第ｊ＋１層のアップサンプリングモジュールによりアップサンプリング処理を行い、前記雨滴の全体的特徴情報を得ることと、を含み、
   前記ｊは、１以上であって所定値未満である正整数であることを特徴とする
   請求項３～５のうちいずれか一項に記載の画像処理方法。
7. 前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得ることは、前記第ｉ＋１層のダウンサンプリングモジュールにおいて、局所的畳み込みカーネルを用いて畳み込み操作を行い、前記雨滴の局所的特徴情報を得ることを含むことを特徴とする
   請求項５に記載の画像処理方法。
8. 前記処理されるべき画像に対して前記第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることは、
   前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることと、
   前記コンテキストセマンティック情報に基づいて分類を行い、前記処理されるべき画像における雨あり領域を認識することであって、前記雨あり領域は、雨滴及び他の非雨滴情報を含む、ことと、
   前記雨滴特徴情報に基づいて、前記雨あり領域における画素点に対して雨滴類似度比較を行い、比較結果に基づいて、雨滴が位置する雨滴領域及び雨無し領域を位置決めすることと、
   前記雨滴領域における雨滴を除去し、前記雨無し領域の情報を保留した後に、前記雨滴除去処理された画像を得ることと、を含むことを特徴とする
   請求項２～７のうちいずれか一項に記載の画像処理方法。
9. 前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることは、
   前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行い、前記深層セマンティック特徴を生成するための高次元特徴ベクトルを得ることと、
   前記高次元特徴ベクトルを前記コンテキストセマンティックモジュールに入力して多層の集約的残差処理を行い、前記深層セマンティック特徴を得ることと、
   各層の集約的残差処理で得られた深層セマンティック特徴と前記浅層空間的特徴に対して融合処理を行い、前記コンテキストセマンティック情報を得ることと、を含むことを特徴とする
   請求項８に記載の画像処理方法。
10. 前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得ることは、
    前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行った後に、出力結果を得ることと、
    前記雨滴除去処理された画像と、前記出力結果と、を融合処理し、前記雨滴が除去されたターゲット画像を得ることと、を含むことを特徴とする
    請求項１～９のうちいずれか一項に記載の画像処理方法。
11. 画像処理装置であって、
    雨滴付き画像に対して、異なる粒度の雨滴の漸進的除去処理を行い、雨滴除去処理された画像を得るように構成される雨滴処理ユニットであって、前記異なる粒度の雨滴の漸進的除去処理は、少なくとも、第１粒度処理及び第２粒度処理を含む、雨滴処理ユニットと、
    前記雨滴除去処理された画像と、前記第１粒度処理で得られた処理されるべき画像と、を融合処理し、雨滴が除去されたターゲット画像を得るように構成される融合ユニットと、を備える、画像処理装置。
12. 前記雨滴処理ユニットは、
    前記雨滴付き画像に対して前記第１粒度処理を行い、前記処理されるべき画像を得ることであって、前記処理されるべき画像は、雨滴特徴情報を含む、ことと、
    前記処理されるべき画像に対して第２粒度処理を行い、前記雨滴特徴情報に基づいて、前記処理されるべき画像における画素点に対して雨滴類似度比較を行い、前記雨滴除去処理された画像を得ることであって、前記雨滴除去処理された画像は、雨滴を除去した後に保留された雨滴無し領域情報を含む、ことと、を実行するように構成されることを特徴とする
    請求項１１に記載の画像処理装置。
13. 前記雨滴処理ユニットは、
    前記雨滴付き画像に対して集約的残差処理及びダウンサンプリング処理を行い、雨滴の局所的特徴情報を得、
    前記雨滴の局所的特徴情報に対して領域ノイズ低減処理及びアップサンプリング処理を行い、雨滴の全体的特徴情報を得、
    前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて得られた雨滴結果と前記雨滴付き画像との間に残差減算を行い、前記処理されるべき画像を得るように構成されることを特徴とする
    請求項１２に記載の画像処理装置。
14. 前記雨滴結果は、前記雨滴の局所的特徴情報及び前記雨滴の全体的特徴情報に基づいて残差融合を行うことで得られた処理結果を含むことを特徴とする
    請求項１３に記載の画像処理装置。
15. 前記雨滴処理ユニットは、
    前記雨滴付き画像を第ｉ層の集約的残差モジュールに入力し、第１中間処理結果を得、
    前記第１中間処理結果を第ｉ層のダウンサンプリングモジュールに入力し、局所的特徴マップを得、
    前記局所的特徴マップを前記第ｉ＋１層の集約的残差モジュールにより処理した後に、前記第ｉ＋１層のダウンサンプリングモジュールに入力し、前記第ｉ＋１層のダウンサンプリングモジュールによりダウンサンプリング処理を行い、前記雨滴の局所的特徴情報を得るように構成され、
    前記ｉは、１以上であって所定値未満である正整数であることを特徴とする
    請求項１３又は１４に記載の画像処理装置。
16. 前記雨滴処理ユニットは、
    前記雨滴の局所的特徴情報を第ｊ層の領域敏感モジュールに入力し、第２中間処理結果を得、
    前記第２中間処理結果を第ｊ層のアップサンプリングモジュールに入力し、全体的補強特徴マップを得、
    前記全体的補強特徴マップを前記第ｊ＋１層の領域敏感モジュールにより処理した後に前記第ｊ＋１層のアップサンプリングモジュールに入力し、前記第ｊ＋１層のアップサンプリングモジュールによりアップサンプリング処理を行い、前記雨滴の全体的特徴情報を得るように構成され、
    前記ｊは、１以上であって所定値未満である正整数であることを特徴とする
    請求項１３～１５のうちいずれか一項に記載の画像処理装置。
17. 前記雨滴処理ユニットは、前記第ｉ＋１層のダウンサンプリングモジュールにおいて、局所的畳み込みカーネルを用いて畳み込み操作を行い、前記雨滴の局所的特徴情報を得るように構成されることを特徴とする
    請求項１５に記載の画像処理装置。
18. 前記雨滴処理ユニットは、
    前記処理されるべき画像をコンテキストセマンティックモジュールに入力し、深層セマンティック特徴及び浅層空間的特徴を含むコンテキストセマンティック情報を得ることと、
    前記コンテキストセマンティック情報に基づいて分類を行い、前記処理されるべき画像における雨あり領域を認識することであって、前記雨あり領域は、雨滴及び他の非雨滴情報を含む、ことと、
    前記雨滴特徴情報に基づいて、前記雨あり領域における画素点に対して雨滴類似度比較を行い、比較結果に基づいて、雨滴が位置する雨滴領域及び雨無し領域を位置決めすることと、
    前記雨滴領域における雨滴を除去し、前記雨無し領域の情報を保留した後に、前記雨滴除去処理された画像を得ることと、を実行するように構成されることを特徴とする
    請求項１２～１７のうちいずれか一項に記載の画像処理装置。
19. 前記雨滴処理ユニットは、
    前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行い、前記深層セマンティック特徴を生成するための高次元特徴ベクトルを得、
    前記高次元特徴ベクトルを前記コンテキストセマンティックモジュールに入力して多層の集約的残差処理を行い、前記深層セマンティック特徴を得、
    各層の集約的残差処理で得られた深層セマンティック特徴と前記浅層空間的特徴に対して融合処理を行い、前記コンテキストセマンティック情報を得るように構成されることを特徴とする
    請求項１８に記載の画像処理装置。
20. 前記融合ユニットは、
    前記処理されるべき画像を畳み込みモジュールに入力して畳み込み処理を行った後に、出力結果を得、
    前記雨滴除去処理された画像と、前記出力結果と、を融合処理し、前記雨滴が除去されたターゲット画像を得るように構成されることを特徴とする
    請求項１１～１９のうちいずれか一項に記載の画像処理装置。
21. 電子機器であって、
    プロセッサと、
    プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは、請求項１から１０のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
22. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されるときに、プロセッサに請求項１から１０のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
23. コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、請求項１から１０のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。

Images