JP2022514917A - 画像処理方法、画像処理装置、コンピュータプログラム、及び画像処理機器 - Google Patents

Abstract

画像処理方法であって、予測対象画像を取得し、前記予測対象画像に対して特徴抽出を行うステップと、前記予測対象画像の少なくとも１つの候補領域を生成し、前記少なくとも１つの候補領域を前記予測対象画像の特徴マップにマッピングするステップであって、それぞれの前記候補領域には、１つのインスタンスが含まれる、ステップと、ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理し、前記予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、前記遮蔽されたインスタンスの不可視部分を非透視マスクで指示するステップであって、前記透視マスク及び前記非透視マスクは、前記遮蔽されたインスタンスの相対的な遮蔽関係を示す、ステップと、を含む。

Description

本願は、２０１９年４月２５日に中国特許庁に提出された、出願番号が第２０１９１０３３８８３５０号であり、発明の名称が「画像処理方法、装置、記憶媒体、及び機器」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。

本願は、人工知能の技術分野及びコンピュータビジョンの技術分野に関し、特に画像処理方法、装置、記憶媒体、及び機器に関する。

インスタンスセグメンテーションは、画像における各インスタンスを見つけて、各インスタンスのカテゴリを決定する画像認識技術であり、無人運転分野で前方車両の正確な位置を決定して、次の運転制御戦略の選択を補助するためによく使用される。

しかしながら、画像におけるインスタンスは、可視部分と、遮蔽された不可視部分と、を含む。インスタンスセグメンテーション処理において、完全なターゲットを判断するには、可視部分のセグメンテーションに加えて、このインスタンスの遮蔽された不可視部分を推理できる必要がある。

したがって、どのように画像処理を行って、画像における各インスタンスの遮蔽された不可視部分を推理するかは、当業者が注目している焦点となっている。

本願で提供される各種の実施例によれば、画像処理方法、装置、記憶媒体、及び機器が提供されている。その構成は、以下のとおりである。

画像処理機器が実行する画像処理方法であって、
予測対象画像を取得し、予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得するステップと、
予測対象画像の少なくとも１つの候補領域を生成し、少なくとも１つの候補領域を予測対象画像の特徴マップにマッピングするステップであって、それぞれの候補領域には、１つのインスタンスが含まれる、ステップと、
ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示するステップであって、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す、ステップと、を含む。

画像処理機器に設置された画像処理装置であって、
予測対象画像を取得する取得モジュールと、
予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得する特徴抽出モジュールと、
予測対象画像の少なくとも１つの候補領域を生成する生成モジュールと、
少なくとも１つの候補領域を予測対象画像の特徴マップにマッピングするマッピングモジュールであって、それぞれの候補領域には、１つのインスタンスが含まれる、マッピングモジュールと、
ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示する処理モジュールであって、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す、処理モジュールと、を含む。

１つ又は複数のプロセッサとメモリとを含み、前記メモリには、少なくとも１つのコンピュータ読み取り可能な命令が記憶されており、前記少なくとも１つのコンピュータ読み取り可能な命令は、前記１つ又は複数のプロセッサによってロードされて実行されると、請求項１乃至１２のいずれか１項に記載の画像処理方法を実現させる、ことを特徴とする画像処理機器。

１つ又は複数のコンピュータ読み取り可能な記憶媒体であって、記憶媒体には、少なくとも１つのコンピュータ読み取り可能な命令が記憶されており、少なくとも１つのコンピュータ読み取り可能な命令は、１つ又は複数のプロセッサによってロードされて実行されると、上記の画像処理方法を実現させる。

画像処理機器であって、１つ又は複数のプロセッサとメモリとを含み、メモリには、少なくとも１つのコンピュータ読み取り可能な命令が記憶されており、少なくとも１つのコンピュータ読み取り可能な命令は、１つ又は複数のプロセッサによってロードされて実行されると、上記の画像処理方法を実現させる。

本願の１つ又は複数の実施例の詳細は、以下の図面及び説明に記載されている。本願の他の特徴、目的、及び利点は、本願の明細書、図面、及び特許請求の範囲から明らかになる。

本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。

本願の実施例で提供される画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される画像処理方法に係る実施環境の模式図である。 本願の実施例で提供される画像処理方法に係るネットワーク構成の構成図である。 本願の実施例で提供されるマルチブランチ符号化の過程の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される画像処理方法のフローチャートである。 本願の実施例で提供される他の画像処理方法のフローチャートである。 本願の実施例で提供される他の画像の処理方法のフローチャートである。 本願の実施例で提供される他の画像の模式図である。 本願の実施例で提供される画像処理装置の構成の模式図である。 本願の実施例で提供される画像処理機器の構成の模式図である。 本願の実施例で提供される画像処理機器の構成の模式図である。

本願の目的、構成、及び利点をより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。理解すべきものとして、ここで説明する具体的な実施形態は、本願を解釈するものに過ぎず、本願を限定するものではない。

本願の実施例を詳しく解釈して説明するに先立って、本願の実施例に係るいくつかの用語を解釈して説明する。

インスタンス：本願の実施例において、インスタンスとは、画像に現れる１つ１つの具体的なターゲット又はオブジェクトを指す。無人運転シナリオを例にすると、インスタンスは、前方に現れる車両や人であってもよい。

インスタンスセグメンテーション：画像における各インスタンスを見つけて、各インスタンスのカテゴリを決定する画像認識技術である。換言すると、インスタンスセグメンテーションは、画素レベルでターゲットの輪郭を認識するタスクである。例えば、マシンは、ターゲット検出方法を自動的に利用して、画像において異なるインスタンスの周りを囲み、次に、セマンティクスセグメンテーション方法によって、異なるインスタンス領域内で画素ごとにマークする。

一例として、インスタンスセグメンテーションは、無人運転分野で前方車両の正確な位置を決定して、次の運転制御戦略の選択を補助するためによく使用される。

例１
セマンティクスセグメンテーション方法では、同じカテゴリに属する異なるインスタンスが区分されない。例えば、画像に２匹の猫がある場合、セマンティクスセグメンテーション方法では、２匹の猫の全ての画素が、猫というカテゴリとして予測される。一方、インスタンスセグメンテーションでは、画像においてどの画素が１番目の猫に属するか、どの画素が２番目の猫に属するかを区分する必要がある。

例２
図１には、分類＋位置決定、物体検出、及びインスタンスセグメンテーションの区別がそれぞれ示されている。

左上の図は、画像に対する分類＋位置決定の処理結果を示している。ここで、画像分類処理は、画像にカテゴリラベルを割り当てることであり、位置決定は、ターゲットの画像における位置を提供することである。

右上の図は、同一画像に対する物体検出の処理結果を示している。ここで、物体検出は、関心のある固定カテゴリグループから始まる。これらのカテゴリのいずれかが入力画像に現れるたびに、その周囲に境界ボックスを描画して、そのカテゴリラベルを予測する。分類＋位置決定と異なる点として、物体検出では、単一のターゲットのみに対して、分類、及び、境界ボックスの描画を行う。

図１の下方の図は、同一画像に対するインスタンスセグメンテーションの処理結果を示している。ここで、インスタンスセグメンテーションは、セマンティックセグメンテーションとターゲット検出とを組み合わせた技術である。１枚の画像が与えられると、この画像におけるターゲットの位置及びアイデンティティを予測することができる（ターゲット検出と類似）。しかし、ターゲットの境界ボックスを予測するよりも、ターゲットのセグメンテーションマスク全体、即ち、入力画像におけるどの画素がどのターゲットに対応するかを予測する方がよい。これに応じて、この画像における各羊（ｓｈｅｅｐ）には、それぞれ異なるセグメンテーションマスクが与えられている。

一方、セマンティックセグメンテーションでは、全ての羊のセグメンテーションマスクは同じである。即ち、セマンティックセグメンテーションとは、各画素のカテゴリ決定を出力することである。換言すると、セマンティックセグメンテーションとは、各画素をいくつかの可能なカテゴリの１つに分類することである。これは、図１における羊の所在する全ての画素が１つのカテゴリに分類され、出力において２つの異なる羊が区分されないことを意味する。

透視インスタンスセグメンテーション：インスタンスセグメンテーション技術の新しい方向であり、人間の能力を模倣して画像における各インスタンスをセグメンテーションすることを目的としている。ここで、セグメンテーションされたインスタンスには、インスタンスの遮蔽された不可視部分も含まれる。即ち、透視インスタンスセグメンテーションは、人間の視覚が備える推理能力と類似しており、あるインスタンスの遮蔽されていない可視部分に基づいて、このインスタンスの遮蔽された不可視部分を推理し、完全なターゲットを判断することができる。

透視マスク：バイナリマスクであり、指定の画素がインスタンスの一部に属するか否かを示すことができる。例えば、ある画素は、インスタンスに属する場合、１と標識され、インスタンスに属しない場合、０と標識される。

本願の実施例では、透視マスクは、インスタンスの可視部分と不可視部分の両方を含むインスタンスの全体的な構造に対するものである。透視マスクは、インスタンスの全体的な構造を指示するために用いられる。

一例として、インスタンスの非透視マスクは、このインスタンスの透視マスク及び相対的な遮蔽順番に基づいて算出できる。非透視マスクも、バイナリマスクであり、指定の画素がインスタンスの一部に属するか否かを示すために用いられる。但し、非透視マスクは、このインスタンスの不可視部分のみに対するものである。即ち、非透視マスクは、インスタンスの遮蔽された不可視部分を指示する。また、遮蔽されたインスタンスに対しては、その透視マスク及び非透視マスクが、このインスタンスの相対的な遮蔽関係を示すこともできる。

前述のように、透視インスタンスセグメンテーションでは、インスタンスの複雑な構造を推理する必要がある。したがって、このタスクが非常に重要で未来的であるにもかかわらず、インスタンスの不可視部分を正確且つ整合的にマークすることが困難であるため、関連技術では、このタスクに対する、大規模で詳細にアノテーションされたデータセットが不足している。これは、視覚認識の最前線を探索する上で、巨大な障害となっている。一方、データ駆動に基づく深層学習方法は、データセットの不足により制限される。これにより、透視インスタンスセグメンテーションタスクの探索は、さらに制限される。また、関連技術において、透視インスタンスセグメンテーションタスクに対するネットワークは、従来のインスタンスセグメンテーションネットワーク、例えば、Ｍａｓｋ Ｒ－ＣＮＮモデルを用いることが多く、透視インスタンスセグメンテーションタスクに対する特別な改良が一切ない。

換言すると、関連技術では、大規模で詳細にアノテーションされた透視インスタンスデータセットと、透視インスタンスセグメンテーションタスクに専用のネットワークとが不足している。関連技術では、透視インスタンスセグメンテーションタスクに対して探索を行っていないため、製品側の要求を満たすことができない。図２及び図３に示すように、Ｍａｓｋ Ｒ－ＣＮＮモデルは、訓練回数が増加するにつれて、インスタンスの遮蔽部分に対する推理能力がますます悪くなる。ここで、図２は２００００の訓練回数に対応しており、図３は２４０００の訓練回数に対応している。

上記した問題に基づいて、本願の実施例では、画像における各インスタンスの画素レベルの位置を予測できるだけでなく、各インスタンスの遮蔽された不可視部分を推理できる画像処理方法が提案されている。

本願の実施例では、大規模な透視インスタンスデータセットが精細にアノテーションされている。一例として、数的には、このデータセットが、１５０００枚に近い画像を含み、品質的には、本願の実施例において、各インスタンスのセマンティックラベル、透視マスク、及び相対的な遮蔽順番がそれぞれアノテーションされているため、各インスタンスの非透視マスクも容易に計算することができ、データセットがより普遍的な意味を持つものとなっている。

一方、本願の実施例では、マルチブランチ符号化のマルチタスクフレームワークが提案されている。このようなネットワークは、インスタンスの遮蔽された不可視部分をより良く推理することができる。これにより、このようなネットワークは、人間の視覚に類似した推理能力を有する。

以下、本願の実施例で提供される画像処理方法に係る実施環境を説明する。

図４を参照すると、この実施環境は、画像処理機器４０１を含む。ここで、画像処理機器４０１は、機械学習能力を有するコンピュータ機器である。例えば、このコンピュータ機器は、パソコン、サーバなどの据え置き型コンピュータ機器であってもよいし、タブレットコンピュータ、スマートフォン、電子書籍リーダーなどのモバイルコンピュータ機器であってもよい。本願の実施例は、これに対して特に限定しない。

本願の実施例では、画像処理機器４０１には、図５に示すようなネットワークが設けられている。ここで、このネットワークにおけるマルチブランチ符号化の詳細な構造は、図６に示すとおりである。

ここで、画像処理機器４０１は、外部から入力された予測対象画像を受信し、このネットワークに基づいて、本願の実施例で提供される画像処理方法を実行する。

一実施例では、この画像処理方法を人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）分野の無人運転シナリオに適用した場合を例にすると、予測対象画像は、撮像機器により撮影されたストリートスケープ画像（ストリートビュー画像とも呼ぶ）であってもよい。換言すると、撮像機器は、無人運転車両に搭載されたカメラであってもよい。つまり、本願の実施例で提供される画像処理方法は、ＡＩ分野、例えば、ＡＩ分野の無人運転車両に適用することができる。また、本願の実施例の適用シナリオは、無人運転のような、人間の知能をシミュレートするためのシナリオを含むが、これらに限定されない。ここで、ＡＩは、現在、研究・開発されている、人間の知能をシミュレート、延伸、及び拡張するための新興科学技術であり、画像処理、顔認識、ゲーム、医療などの他の分野に広く適用されている。

本願の実施例で提供される画像処理方法は、大規模で詳細にアノテーションされた訓練データセットと、図５に示すネットワークとに関わる。

訓練データセットの面で、前述のように、訓練データセットの画像ごとに、この画像における各インスタンスのいずれもアノテーションされている。ここで、アノテーション情報は、セマンティックラベル、相対的な遮蔽順番、及び透視マスクを含む。この訓練データセットに基づいて、図５に示すネットワークを訓練することにより、このネットワークが配置された画像処理機器４０１による透視インスタンスセグメンテーションが可能になる。

ネットワークの面で、透視インスタンスセグメンテーションタスクに対して、本願の実施例は、分類＋回帰ブランチ及びＭａｓｋ（マスク）ブランチに加えて、遮蔽分類ブランチを追加している。ここで、分類＋回帰ブランチは、インスタンスのセマンティックラベルと、インスタンスの画像における大体の領域とを検出する。Ｍａｓｋブランチは、このインスタンスの大体の領域をさらに正確にマスクセグメンテーションする。遮蔽分類ブランチは、このインスタンスが遮蔽されているか否かを判断し、遮蔽分類情報を提供する。

また、本願の実施例では、マルチブランチ符号化も提案されている。即ち、本願の実施例では、分類＋回帰ブランチの特徴情報、遮蔽分類ブランチの特徴情報、及びＭａｓｋブランチの特徴情報を融合し、融合された特徴情報に基づいて、Ｍａｓｋブランチによる透視インスタンスセグメンテーションの推理を補助する。

ここで、本願の実施例において、Ｍａｓｋブランチは、図５に示す２つのブランチにさらに分けられている。これら２つのブランチは、それぞれ透視セグメンテーション及び非透視セグメンテーションに用いられ、それぞれインスタンスの全体的な構造及び不可視部分に対応している。ここで、本明細書において、非透視セグメンテーションブランチは第１マスクブランチとも呼び、透視セグメンテーションブランチは第２マスクブランチとも呼ぶことができる。

次に、本願の実施例で使用される訓練データセットを説明する。

本願の実施例において、訓練データセットは、透視インスタンスデータセットとも呼ぶことができる。一実施例において、無人運転シナリオを例にすると、訓練データセットは、無人運転データセットＫＩＴＴＩに由来してもよく、ＫＩＴＴＩ ＩＮＳｔａｎｃｅデータセット（ＫＩＮＳと略称）とも呼ぶ。

一実施例において、本願の実施例では、ＫＩＴＴＩデータセットの合計１４９９１枚の画像がアノテーションされており、大規模な透視インスタンスデータセット、即ちＫＩＮＳが形成されている。

一実施例では、このデータセットが２つの部分に分けられている。ここで、７４７４枚の画像がモデル又はネットワークの訓練に用いられ、残りの７５１７枚の画像がネットワーク又はモデルのテストに用いられる。

一実施例において、インスタンスアノテーションは、透視マスク、セマンティックラベル、及び相対的な遮蔽順番の３つを含む。

本願の実施例では、高品質且つ整合的なアノテーション情報を得るために、下記の３つのインスタンスアノテーション規則に従ってもよい。

（１）、特定のセマンティックカテゴリにおいて、セマンティックアノテーションを行うこと。

（２）、画像におけるインスタンス間の相対的な遮蔽順番をアノテーションすること。

（３）、インスタンスごとに、このインスタンスの遮蔽された不可視部分を含めて、画素レベルのアノテーションを行うこと。

上記の３つの規則に基づいて、本願の実施例では、下記のステップによって、画像におけるインスタンスをアノテーションしてもよい。

第１ステップでは、各画像について、１人のシニアアノテータが、この画像における具体的なインスタンスの特別なタイプ及び境界ボックスをアノテーションしてもよい。ここで、アノテーション順番は、近くから遠くまでの相対的な遮蔽順番に従う必要がある。

第２ステップでは、Ｎ人のアノテータが、この画像における各インスタンスに対して透視マスクアノテーションを行う。一実施例において、Ｎの値は３であってもよい。即ち、３人のアノテータが、同一のインスタンスに対して透視マスクアノテーションを行う。本願の実施例は、これに対して特に限定しない。

第３ステップでは、各アノテータによる画素レベルのアノテーションをまとめる。

一実施例では、上記のアノテーション規則を満たすアノテーションツールを用いてアノテーションを行ってもよい。本願の実施例は、これに対して特に限定しない。ここで、アノテーションツールを用いてアノテーションを行う場合、インタフェースは、図７に示すようなものであってもよい。

一実施例において、アノテーションの詳細な過程は、以下のとおりである。

（１）セマンティックアノテーション
本願の実施例において、インスタンスは、特定のカテゴリに属する。一実施例において、ＫＩＮＳデータセットの場合、セマンティックラベルは、一般カテゴリとサブカテゴリとの包含関係が定義された組織的な２層の階層構造である。即ち、セマンティックラベルは、インスタンスのカテゴリを指示するために用いられる。

ここで、ＫＩＮＳデータセットの全ての画像がいずれもストリートスケープ画像であるため、一般カテゴリとして２つの代表的なカテゴリを選択し、サブカテゴリとして８つの代表的なカテゴリを選択する。一般カテゴリは、人と車とを含んでもよい。さらに、一般カテゴリ「人」は、「歩行者」、「バイカー」、及び「座っている人」の合計３つのサブカテゴリに細分化されており、一般カテゴリ「車」は、「自動車」、「電気自動車」、「トラック」、「コンバーチブルカー」、及び「その他の車」の合計５つのサブカテゴリに細分化されている。ここで、その他の車とは、上記の４種類の車を除いた他の車を指す。

（２）相対的な遮蔽順番
一実施例では、画像ごとに、シニアアノテータが、境界ボックスを用いてこの画像における各インスタンスを注釈し、各インスタンスをソートして相対的な遮蔽順番を取得してもよい。

ここで、遮蔽されたインスタンス間の順番について、この画像における各インスタンスは、まず、接続が切断されたいくつかのクラスタに分けられる。ここで、ソートによる遮蔽順番の取得を容易にするために、各クラスタそれぞれには、接続されたいくつかのインスタンスがある。例えば、図３において、左に現れる自動車と、右に現れる自動車とは、接続が切断された２つのクラスタに属している。

換言すると、相対的な遮蔽順番は、各インスタンスとカメラとの間の距離に基づいている。カメラからの距離が近いほど、インスタンスが遮蔽されない可能性が高くなる。

図８から図１３を参照すると、同一のクラスタにおけるインスタンスは、近い距離にあるインスタンスから順にアノテーションされ、即ち、カメラに最も近いインスタンスからアノテーションされる。ここで、図８と図９は対応しており、図１０と図１１は対応しており、図１２と図１３は対応している。図８、図１０、及び図１２は、相対的な遮蔽順番がアノテーションされていないストリートスケープ画像を示しており、図９、図１１、及び図１３は、相対的な遮蔽順番がアノテーションされたストリートスケープ画像を示している。

一実施例では、遮蔽が存在しない非重畳インスタンスの相対的な遮蔽順番は、０とマークされる。このクラスタにおける遮蔽された重畳インスタンスの順番は、１からマークされる。遮蔽されるたびに、相対的な遮蔽順番は１増加する。

（３）透視マスクアノテーション
本願の実施例では、Ｎ人のアノテータが、１枚の画像における各インスタンスに対して、透視マスクアノテーションを行う。一実施例では、３人のアノテータが、各インスタンスの、対応する境界ボックス内の透視マスクをマークしてもよい。ここで、このステップの重点は、Ｎ人のアノテータがそれぞれ独立してインスタンスの遮蔽された部分を推断し、その後、Ｎ人のアノテータによる同一のインスタンスへの独立したマスク予測に基づいて、このインスタンスの透視マスクを決定することである。一実施例において、１つのインスタンスに対する透視マスクアノテーションは、Ｎ人のアノテータの多数決によって決定される。

一実施例において、図１４～図１６は、画像インスタンスのアノテーション過程を示している。ここで、図１４は、アノテーションされていない元の画像を示しており、図１５は、透視インスタンスのセグメンテーションアノテーション結果を示しており、図１６は、相対的な遮蔽順番のアノテーション結果を示している。ここで、色が薄いほど、対応するインスタンスが遮蔽されていないことを示す。

一実施例では、上記した訓練データセットに基づいてモデル訓練を行う際に、以下の方式を用いてもよい。

第１ステップでは、訓練サンプル画像を取得する。この訓練サンプル画像における各インスタンスのアノテーション情報には、このインスタンスの相対的な遮蔽順番と、このインスタンスのカテゴリを指示するセマンティックラベルと、このインスタンスの透視マスクとが含まれる。

ここで、この訓練サンプル画像とは、前述した訓練データセットに含まれる画像を指す。

第２ステップでは、この訓練サンプル画像における遮蔽されたインスタンスについて、遮蔽されたインスタンスの相対的な遮蔽順番及び透視マスクに基づいて、遮蔽されたインスタンスの非透視マスクを決定し、透視マスク、非透視マスク、及びセマンティックラベルがアノテーションされた訓練サンプル画像に基づいてモデル訓練を行うことにより、ターゲットネットワークを取得する。

ここで、相対的な遮蔽順番に基づいて、あるインスタンスが、他のインスタンスによって遮蔽されているか、又は他のインスタンスを遮蔽しているかを推断することができる。該インスタンスが他のインスタンスによって遮蔽されている場合、該インスタンスの相対的な遮蔽順番に基づいて、該インスタンスが具体的にいくつのインスタンスによって遮蔽されているかを決定することもできる。一実施例では、他のインスタンスの透視マスクと、該インスタンスの透視マスクとに基づいて、該インスタンスの非透視マスクを推断することができる。

本願の実施例では、上記のアノテーション情報が付されている訓練サンプル画像に基づいて、図５に示す構造を有する初期ネットワークを訓練する。ここで、訓練過程は、ネットワークパラメータを継続的に最適化する過程である。一実施例では、クロスエントロピー損失関数を使用して最適化処理を行ってもよい。本願の実施例は、これに対して特に限定しない。訓練が終了すると、図５に示すターゲットネットワークが取得される。また、訓練終了後に、ネットワークの予測能力を検証するために、テストデータに基づいてネットワークをテストしてもよい。

ターゲットネットワークは、上記アノテーション情報が付されている訓練サンプル画像に基づく訓練によって取得される。したがって、ターゲットネットワークは、透視インスタンスセグメンテーションを精確に指示できるだけでなく、インスタンスのカテゴリ情報や遮蔽分類情報などを決定できる。特に、上記訓練サンプル画像に基づいてモデル訓練を行って取得されたターゲットネットワークは、予測対象画像におけるインスタンスの遮蔽された不可視部分を精確に決定することができる。即ち、ターゲットネットワークは、人間の視覚に類似した推理能力を有し、透視インスタンスセグメンテーションを合理的に推理することができる。したがって、このような画像処理方式は、インテリジェンスが良く、画像処理方式を豊富にした。

以下、本願の実施例で提供される画像処理方法を詳細に解釈して説明する。説明すべきものとして、下記の実施例に現れる第１、第２、第３、第４などのような表現は、異なるオブジェクトを区分するためのものに過ぎず、優先順位などのようないかなる他の限定を構成するものではない。

図１７は、本願の実施例で提供される画像処理方法のフローチャートである。図１７を参照すると、本願の実施例で提供される方法は、画像処理機器に適用される。この方法は、具体的に下記のステップを含む。

１７０１では、予測対象画像を取得し、予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得する。

無人運転シナリオを例にすると、予測対象画像は、無人運転車両に配置された撮像機器によって撮影されたストリートスケープ画像であってもよい。ここで、このストリートスケープ画像は、車両、人、道の両側の木、交通標識、看板などを含むが、これらに限定されない。

一実施例では、図５を参照すると、予測対象画像の特徴抽出に畳み込みｂａｃｋｂｏｎｅ構造を採用してもよい。ここで、畳み込みｂａｃｋｂｏｎｅ構造は、複数の畳み込み層と、複数のプーリング層と、を含んでもよい。即ち、予測対象画像が畳み込みｂａｃｋｂｏｎｅ構造に入力された後、複数の畳み込み層と複数のプーリング層との処理を経ると、画像全体の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）が取得される。

また、予測対象画像を畳み込みｂａｃｋｂｏｎｅ構造に入力する前に、まず、予測対象画像に対して前処理操作を実行してもよい。ここで、前処理操作は、サイズ調整又はノイズ低減などを含むが、これらに限定されない。本願の実施例は、これに対して特に限定しない。

１７０２では、予測対象画像の少なくとも１つの候補領域を生成し、少なくとも１つの候補領域を予測対象画像の特徴マップにマッピングし、それぞれの候補領域には、１つのインスタンスが含まれる。

本願の実施例では、領域生成ネットワークに基づいて、予測対象画像の少なくとも１つの候補領域を生成してもよい。一実施例において、この領域生成ネットワークは、領域提案ネットワーク（ＲＰＮ：Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）であってもよい。本願の実施例は、これに対して特に限定しない。

説明すべきものとして、ここで言及される少なくとも１つの候補領域とは、フィルタリングされた後に残っている、画像前景インスタンスが含まれる候補領域を指す。無人運転シナリオを引き続き例にすると、画像前景インスタンスとは、画像前景に属する車両又は人を指す。

一実施例において、予測対象画像の特徴マップは、通常、畳み込みｂａｃｋｂｏｎｅ構造の最後の畳み込み層から出力された特徴マップである。したがって、少なくとも１つの候補領域をこの特徴マップにマッピングする。

また、この少なくとも１つの候補領域は、本明細書で関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）とも呼ばれる。本願の実施例は、これに対しても特に限定しない。

１７０３では、ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示し、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す。

本願の実施例において、ターゲットネットワークは、少なくとも第１ブランチ構造を含む。一実施例において、図５に示すように、上記第１ブランチ構造は、透視セグメンテーションブランチ及び非透視セグメンテーションブランチを指す。ここで、第１ブランチ構造は、本明細書でＭａｓｋブランチとも呼ばれる。

他の可能な実現形態において、ターゲットネットワークは、遮蔽分類情報を決定する第２ブランチ構造をさらに含む。ここで、遮蔽分類情報は、インスタンスが遮蔽されていないか、又は遮蔽されていることを指示するためのものである。図５を参照すると、上記第２ブランチ構造は、遮蔽分類ブランチを指す。

また、ターゲットネットワークは、分類ブランチ及び回帰ブランチをさらに含む。本明細書では、分類ブランチ及び回帰ブランチは、第３ブランチ構造又は検出ボックスブランチと総称される。ここで、分類ブランチは、インスタンスの分類を担当し、回帰ブランチは、インスタンスの画像における位置の決定を担当する。

本願の実施例では、図５を参照すると、少なくとも１つの候補領域のマッピングが完了した後、まず、ＲＯＩ Ａｌｉｇｎ層によって、各ＲＯＩの画素補正を行う必要もある。

ここで、ＲＯＩ Ａｌｉｇｎは、ＲＯＩ Ｐｏｏｌｉｎｇ操作における２回の量子化による領域のミスアライメント（ｍｉｓ－ａｌｉｇｎｍｅｎｔ）の問題を解決することができる。ＲＯＩ Ａｌｉｇｎの構想は、量子化操作をキャンセルし、双線形補間法を使用して、座標が浮動小数点数である画素点の画像数値を取得することにより、特徴集約過程全体を連続的な操作に変換することである。

一実施例において、ＲＯＩ Ａｌｉｇｎ操作過程は、以下のとおりである。各ＲＯＩをトラバースし、浮動小数点数の境界を量子化せずに保持する。ＲＯＩごとに、該ＲＯＩをｋ×ｋ個のユニットに分割し、各ユニットの境界も量子化しない。各ユニットにおいて、４つの固定座標位置に対して計算を行い、双線形補間法によってこれら４つの位置の値を算出した後、最大プーリング操作を行う。

ここで、ＲＯＩ Ａｌｉｇｎによって、まず、元の予測対象画像と、上記の特徴抽出で取得された特徴マップの画素とを対応付け、次に、特徴マップと、固定サイズの特徴マップとを対応付けることが実現されている。換言すると、ＲＯＩ Ａｌｉｇｎ層によって、ＲＯＩごとに固定サイズの特徴マップが生成される。

本願の実施例では、図５を参照すると、候補領域ごとに、該候補領域に対して画素補正処理を行った後、複数の特徴マップが取得される。図５に示すように、ＲＯＩごとに、図５における三角形記号、紡錘形記号、及び六角形記号は、それぞれ１種類の特徴マップを指す。

本明細書では、標識しやすいために、六角形記号に対応する特徴マップを第１特徴マップと呼び、紡錘形記号に対応する特徴マップを第２特徴マップと呼び、三角形記号に対応する特徴マップを第３特徴マップと呼ぶ。ここで、図５に示すように、第１特徴マップのサイズと第２特徴マップのサイズとは、大きさが一致しており、且つ第３特徴マップのサイズより小さい。例えば、第１特徴マップの大きさと第２特徴マップの大きさとは７＊７であり、第３特徴マップの大きさは１４＊１４である。

一実施例において、図５を参照すると、本願の実施例では、マスク予測を行う際にマルチブランチ符号化を使用して特徴融合を行う。即ち、遮蔽分類ブランチの特徴（第１特徴マップ）、検出ボックスブランチの特徴（第２特徴マップ）、及びマスク予測用の特徴（第３特徴マップ）は、図５に示すマルチブランチ符号化モジュールによって特徴融合される。これにより、検出ボックスブランチ、遮蔽分類ブランチ、及びＭａｓｋブランチの特徴を融合することにより、Ｍａｓｋブランチによる透視インスタンスセグメンテーションの推理を補助することが実現される。

一実施例において、図１８を参照すると、ターゲットネットワークに基づいて、マッピング後の特徴マップを処理することは、
候補領域ごとに、この候補領域の第１特徴マップを第２ブランチ構造に入力して処理することにより、この候補領域に含まれるインスタンスの遮蔽分類情報を取得するステップ１７０３－１と、
この候補領域の第１特徴マップ、第２特徴マップ、及び第３特徴マップに対して特徴融合処理を行い、取得された融合特徴マップを第１ブランチ構造に入力して処理するステップ１７０３－２と、を含む。

本願の実施例で提供される方法では、予測対象画像を取得した後、まず、予測対象画像に対して特徴抽出を行い、予測対象画像の少なくとも１つの候補領域を生成し、次に、少なくとも１つの候補領域を予測対象画像の特徴マップにマッピングし（それぞれの候補領域には、１つのインスタンスが含まれる）、続いて、ターゲットネットワークに基づいて、マッピング後の特徴マップを処理することにより、インスタンスの全体的な構造を透視マスクで指示し、インスタンスの遮蔽された不可視部分を非透視マスクで指示することを実現する。ターゲットネットワークが、特徴マップを処理することにより、インスタンスの透視マスク及び非透視マスクを提供しているので、本願の実施例は、インスタンスの全体的な構造を精確に決定できるだけではなく、インスタンスの遮蔽された不可視部分を精確に決定できる。即ち、ターゲットネットワークは、人間の視覚に類似した推理能力を有し、透視インスタンスセグメンテーションを合理的に推理することができる。したがって、このような画像処理方式は、インテリジェンスが良く、画像処理方式を豊富にした。

また、ネットワーク構成について、本願の実施例では、検出ボックスブランチ及びＭａｓｋブランチに加えて、遮蔽分類ブランチが新たに追加されている。遮蔽分類ブランチによって、インスタンスの遮蔽分類情報を効果的に決定することができ、即ち、インスタンスが遮蔽されているか、又は遮蔽されていないかを効果的に決定することができる。これにより、画像処理方式がさらに豊富になり、効果が良い。

また、本願の実施例では、マルチブランチ符号化によるマルチ特徴融合も提案されている。マルチブランチ融合によって、ターゲットネットワークがインスタンスの遮蔽された不可視部分をより良く推理することを可能にする。換言すると、マルチ特徴融合によって、ターゲットネットワークは、人間の視覚に類似した推理能力をより有するようになり、インスタンスの不可視部分をより合理的に推理することが可能になる。

説明すべきものとして、以下、説明の便宜上、図５において、遮蔽分類ブランチに接続された全結合層ＦＣを第１全結合層と呼び、分類ブランチに接続された全結合層ＦＣを第２全結合層と呼び、回帰ブランチに接続された全結合層ＦＣを第３全結合層と呼ぶ。

検出ボックスブランチ
他の実施例では、図１９を参照すると、ターゲットネットワークに基づいて、マッピング後の特徴マップを処理するステップは、
この候補領域の第２特徴マップを第３ブランチ構造に入力して処理することにより、この候補領域に含まれるインスタンスのセマンティックラベル及び位置情報を取得するステップ１７０３－３をさらに含む。

一実施例において、図５を参照すると、第２特徴マップを第３ブランチ構造に入力して処理することは、第２特徴マップを第２全結合層に入力して処理するステップと、第２全結合層で処理された第２特徴マップを、第３ブランチ構造に含まれる分類ブランチに入力して処理することにより、この候補領域に含まれるインスタンスのセマンティックラベルを取得するステップと、第２特徴マップを第３全結合層に入力して処理するステップと、第３全結合層で処理された第２特徴マップを、第３ブランチ構造に含まれる回帰ブランチに入力して処理することにより、この候補領域に含まれるインスタンスの位置情報を取得するステップと、を含むが、これらに限定されない。ここで、位置情報は、この候補領域に含まれるインスタンスの境界ボックスのオフセット（ｏｆｆｓｅｔ）であってもよい。インスタンスをアノテーションするときに各インスタンスの境界ボックスがアノテーションされるので、本開示の実施例では、インスタンスの位置情報を予測することができる。

本願の実施例で提供される方法によれば、ターゲットネットワークには、検出ボックスブランチ、遮蔽分類ブランチ、及びＭａｓｋブランチが含まれる。検出ボックスブランチによって、インスタンスの分類及び位置決定を実施することができる。即ち、インスタンスのカテゴリラベルと、インスタンスの予測対象画像における具体的な位置とが決定される。

遮蔽分類ブランチ
通常、領域生成ネットワークにおいて５１２個の候補領域をサンプリングすると、そのうち、１２８個のみの候補領域が画像の前景を含む。さらに、訓練過程の統計によれば、画像の前景を含むこの１２８個の候補領域のうち、遮蔽が存在するのは一般に多くとも４０個のみの候補領域である。大部分の遮蔽された領域には、通常、１～１０個程度の画素のみが含まれる。遮蔽サンプルと非遮蔽サンプルの極端な不均衡は、ネットワークの訓練品質に極めて大きな影響を与える。また、候補領域の特徴を抽出した後、小領域の特徴は非常に目立たない。上記の考慮に基づき、本願の実施例では、遮蔽領域の面積が境界ボックスの面積の所定のパーセンテージよりも大きい候補領域を遮蔽サンプルとして選択する。一実施例において、所定のパーセンテージの値は、５％であってもよい。本願の実施例は、これに対して特に限定しない。

上記の説明に基づき、一実施例において、上記ステップ１７０３－１における第１特徴マップを第２ブランチ構造に入力して処理することにより、この候補領域に含まれるインスタンスの遮蔽分類情報を取得することは、第２ブランチ構造に基づいて、この候補領域に含まれるインスタンスの遮蔽された面積がターゲット閾値に達したか否かを決定するステップと、この候補領域に含まれるインスタンスの遮蔽された面積がターゲット閾値に達した場合、この候補領域に含まれるインスタンスの遮蔽分類情報を「遮蔽されている」と決定するステップと、を含むが、これらに限定されない。また、遮蔽されている場合、いくつのインスタンスにより遮蔽されているか、及びインスタンスの相対的な遮蔽順番のような、具体的な遮蔽状況の説明を提供してもよい。本願の実施例は、これに対して特に限定しない。

ここで、ターゲット閾値は、境界ボックスの面積の５％であってもよい。本願の実施例は、これに対して特に限定しない。

一実施例では、図５を参照すると、第１特徴マップを第２ブランチ構造に入力して処理する前に、まず、第１特徴マップを第１全結合層に入力して処理し、その後、第１全結合層で処理された第１特徴マップを第２ブランチ構造に入力して処理する。

一実施例において、遮蔽分類ブランチの構造は、検出ボックスブランチにおける分類ブランチの構造と一致しており、最後の層のみにおいて、「遮蔽されている」と「遮蔽されていない」との二項分類が行われる。一実施例において、分類ブランチは、４つの畳み込み層及び１つのＦＣ層を含むが、遮蔽分類ブランチは、同様に４つの畳み込み層及び１つのＦＣ層を含み、それ以外に、１つの二項分類ｓｏｆｔｍａｘ層をさらに含む。

本願の実施例で提供される方法によれば、ターゲットネットワークには、検出ボックスブランチ、遮蔽分類ブランチ、及びＭａｓｋブランチが含まれる。遮蔽分類ブランチによって、インスタンスの遮蔽分類情報を効果的に決定することができ、即ち、インスタンスが遮蔽されているか、又は遮蔽されていないかを効果的に決定することができる。

マルチブランチ特徴融合
遮蔽分類ブランチによって、ターゲットネットワークは、効果的な遮蔽特徴を抽出することができる。本願の実施例では、ターゲットネットワークの透視マスク又は非透視マスクの予測能力をさらに強化するために、マルチブランチ符号化モジュールが特徴融合を行うことにより、マスク予測におけるグローバル情報を拡大することが提案されている。ここで、Ｍａｓｋブランチは、精細な画素レベルのマスク予測を行うことを目的としている。検出ボックスブランチ及び遮蔽分類ブランチの特徴情報は、グローバルな指導情報としてＭａｓｋブランチを指導することができる。

一実施例において、マルチブランチ符号化モジュールの構造は、図６に示すとおりである。まず、遮蔽分類ブランチの特徴情報と検出ボックスブランチの特徴情報とを連結（ＣＯＮＣＡＴ）し、連結後、１つの逆畳み込み層（ＤＥＣＯＮＶ）と２つの畳み込み層（ＣＯＮＶ）とを含む更なる融合を行い、その後、融合された特徴情報とＭａｓｋブランチの特徴情報とを連結してから、３つの畳み込み層を含む融合を行い、最後に融合された特徴情報を透視マスク又は非透視マスクの予測に使用する。

上記の説明から分かるように、一実施例において、上記ステップ１７０３－２における第１特徴マップ、第２特徴マップ、及び第３特徴マップに対して特徴融合処理を行うことは、
第１特徴マップと第２特徴マップとの連結処理を行うことにより、第１中間特徴マップを取得するステップと、第１中間特徴マップを１つの逆畳み込み層及び２つの畳み込み層で順次処理することにより、第２中間特徴マップを取得するステップと、第２中間特徴マップと第３特徴マップとの連結処理を行うことにより、第３中間特徴マップを取得し、第３中間特徴マップを３つの畳み込み層で順次処理することにより、融合特徴マップを取得するステップと、を含むが、これらに限定されない。

ここで、上記融合特徴マップは、図６の五角形記号に対応している。畳み込み操作では、特徴の空間的次元が保持されるが、逆畳み込み操作では、特徴の空間的次元が増大される。

また、上記ステップ１７０３－２における取得された融合特徴マップを第１ブランチ構造に入力することにより、候補領域に含まれるインスタンスの遮蔽された不可視部分を取得することは、ステップａとステップｂとを含むが、これらに限定されない。

ステップａでは、融合特徴マップを第１逆畳み込み層に入力して処理することにより、第１処理特徴マップを取得する。

本ステップでは、逆畳み込み操作を用いて、特徴空間の次元を増加させ、即ち、解像度を向上させる。

ステップｂでは、第１処理特徴マップを、第１ブランチ構造に含まれる第１マスクブランチに入力し、この候補領域に含まれるインスタンスが、遮蔽されたインスタンスである場合、この候補領域に含まれるインスタンスの非透視マスクを取得する。

ここで、この非透視マスクに基づいて、この候補領域に含まれるインスタンスの遮蔽された不可視部分を決定することができる。

他の可能な実施形態において、本願の実施例で提供される方法は、ステップｃとステップｄとをさらに含む。

ステップｃでは、融合特徴マップを第２逆畳み込み層に入力して処理することにより、第２処理特徴マップを取得する。

ステップｄでは、第２処理特徴マップを、第１ブランチ構造に含まれる第２マスクブランチに入力することにより、この候補領域に含まれるインスタンスの透視マスクを取得する。

ここで、この透視マスクに基づいて、この候補領域に含まれるインスタンスの全体的な構造を決定することができる。ここで、全体的な構造は、可視部分と不可視部分とを含む。

一実施例において、Ｍａｓｋブランチの構造は、検出ボックスブランチにおける分類ブランチの構造と一致してもよい。例えば、Ｍａｓｋブランチにおける透視セグメンテーションブランチ及び非透視セグメンテーションブランチは、いずれも、４つの畳み込み層を含む。本願の実施例は、これに対して特に限定しない。

本願の実施例で提供される方法では、マルチブランチ融合によって、ターゲットネットワークが透視インスタンスセグメンテーションをより良く推理することを可能にする。

他の実施例において、本願の実施例で提供される画像処理方法の適用シナリオは、下記の２種類を含むが、これらに限定されない。

例１：本願の実施例で提供される透視インスタンスセグメンテーションは、無人運転シナリオに適用することができる。

このシナリオに関しては、無人運転車両が走行状態にある場合、無人運転車両に搭載されたカメラは、図８、図１０、図１２、及び図１３に示すようなストリートスケープ画像をリアルタイムで撮影することができる。撮影されたストリートスケープ画像には、走行中の車両、静止している車両、歩行者、バイカーなどが含まれる可能性がある。視野範囲の影響により、現在のストリートスケープ画像には、他のインスタンスによって遮蔽されているインスタンスがある場合がある。遮断された部分は、不可視であり、即ち視線が届かないため、遮蔽されたインスタンスを無人運転車両が適時に回避できないなど、無人運転に悪影響を及ぼす恐れがある。

本開示の実施例で提供される透視インスタンスセグメンテーションタスクは、無人運転システムが精確な運転制御戦略を実行するのを補助することができる。例えば、透視インスタンスセグメンテーションによれば、無人運転システムが、ストリートスケープ画像における遮蔽されたインスタンスの可視部分を取得すると、さらに、この可視部分に基づいてこのインスタンスの不可視部分を推理し、即ち、このインスタンスの構造全体を取得するのを補助することができる。これにより、無人運転システムにおける検出信号のジッターの発生を効果的に低減することができ、現在の道路状況に応じて無人運転車両が運転制御戦略を精確に実行することを実現することができる。

例２：本願の実施例で提供される透視インスタンスセグメンテーションは、撮影シナリオ又はダウンロードシナリオにも適用することができる。

一実施例において、撮影シナリオは、知能ロボットがタスクを実行するときの撮影シナリオであってもよい。即ち、本開示の実施例で提供される透視インスタンスセグメンテーションタスクは、知能ロボットシナリオにも適用することができる。知能ロボットが清掃タスクを実行する場合を例にすると、知能ロボットに配置されたカメラは、前方の画像をリアルタイムで撮影することができる。撮影された画像には、知能ロボットの行動に影響を与える障害物が含まれる場合がある。上述した図８、図１０、図１２、及び図１３に示された遮蔽状況と類似して、図２０を参照すると、撮影された画像には、他の障害物によって遮蔽されている障害物がある場合がある。遮断された部分は、不可視であり、即ち視線が届かないため、知能ロボットが清掃タスクを実行することに悪影響を及ぼす恐れがある。しかしながら、本開示の実施例で提供される透視インスタンスセグメンテーションタスクは、インスタンスの可視部分に基づいて、遮蔽された不可視部分を推断することができるので、知能ロボットが清掃タスクを実施するのを効果的に補助することができる。

ダウンロードシナリオに関しては、ダウンロードされた画像における一部の人や物が他の人や物に遮蔽されている場合がある。又は、ネットワーク上の理由により、ダウンロードされた画像には、有効な情報の一部しか含まれておらず、他の部分の情報が失われてしまう場合がある。ほとんどの場合、ユーザは、完全なターゲットを見ることを望む。本開示の実施例で提供される透視インスタンスセグメンテーションタスクは、インスタンスの可視部分に基づいて、その不可視部分を推断することができるので、ユーザが完全なターゲットを見るのを助けることを実現することができる。

換言すると、本願の実施例で提供される画像処理方法は、自然画像に含まれる高度なセマンティック構造のターゲットにおいて優れている。

以上のように、上記で提供された画像処理方法は、適用シナリオが幅広く、上記２種類のシナリオだけでなく、他のシナリオにも適用可能であり、異なるタイプの訓練データを提供して訓練するだけでよい。

理解すべきものとして、上述した各実施例のフローチャートにおける各ステップは、矢印の指示に従って順次示されているが、これらのステップは、必ずしも矢印で示される順序に従って順次実行されるとは限らない。本明細書で明確に説明されない限り、これらのステップの実行順序には、厳しい制限がない。これらのステップは、他の順序で実行されてもよい。また、上述した各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同一の時刻に実行完了するとは限らず、異なる時刻に実行されてもよい。これらのサブステップ又は段階の実行順序も、必ずしも順次に実行するとは限らず、他のステップ、あるいは、他のステップのサブステップ又は段階の少なくとも一部と代わる代わる又は交代で実行されてもよい。図２１は、本願の実施例で提供される画像処理装置の構成の模式図である。この装置は、上述した実施例の画像処理機器に設置してもよい。図２１を参照すると、この装置は、
予測対象画像を取得する取得モジュール２１０１と、
予測対象画像に対して特徴抽出を行うことにより、予測対象画像の特徴マップを取得する特徴抽出モジュール２１０２と、
予測対象画像の少なくとも１つの候補領域を生成する生成モジュール２１０３と、
少なくとも１つの候補領域を予測対象画像の特徴マップにマッピングするマッピングモジュール２１０４であって、それぞれの候補領域には、１つのインスタンスが含まれるマッピングモジュール２１０４と、
ターゲットネットワークに基づいて、マッピング後の特徴マップを処理し、予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、遮蔽されたインスタンスの不可視部分を非透視マスクで指示する処理モジュール２１０５であって、透視マスク及び非透視マスクは、遮蔽されたインスタンスの相対的な遮蔽関係を示す、処理モジュール２１０５と、を含む。

本願の実施例で提供される装置では、予測対象画像を取得した後、まず、予測対象画像に対して特徴抽出を行い、予測対象画像の少なくとも１つの候補領域を生成し、次に、少なくとも１つの候補領域を予測対象画像の特徴マップにマッピングし（それぞれの候補領域には、１つのインスタンスが含まれる）、続いて、ターゲットネットワークに基づいて、マッピング後の特徴マップを処理することにより、インスタンスの全体的な構造を透視マスクで指示し、インスタンスの遮蔽された不可視部分を非透視マスクで指示することを実現する。ターゲットネットワークが、特徴マップを処理することにより、インスタンスの透視マスク及び非透視マスクを提供しているので、本願の実施例は、インスタンスの全体的な構造を精確に決定できるだけではなく、インスタンスの遮蔽された不可視部分を精確に決定できる。即ち、ターゲットネットワークは、人間の視覚に類似した推理能力を有し、透視インスタンスセグメンテーションを合理的に推理することができる。したがって、このような画像処理方式は、インテリジェンスが高く、画像処理方式を豊富にした。

一実施例において、処理モジュール２１０５は、さらに、候補領域ごとに、候補領域に対して画素補正処理を行うことにより、候補領域の特徴マップを取得し、
ここで、候補領域の特徴マップは、第１特徴マップ、第２特徴マップ、及び第３特徴マップを含み、第１特徴マップのサイズと第２特徴マップのサイズとは、一致しており、且つ第３特徴マップのサイズより小さい。

一実施例において、処理モジュール２１０５は、さらに、候補領域ごとに、第１特徴マップ、第２特徴マップ、及び第３特徴マップに対して特徴融合処理を行い、取得された融合特徴マップをターゲットネットワークの第１ブランチ構造に入力して処理する。

一実施例において、ターゲットネットワークは、第２ブランチ構造をさらに含み、処理モジュール２１０５は、さらに、候補領域ごとに、第１特徴マップを第２ブランチ構造に入力して処理することにより、候補領域に含まれるインスタンスの遮蔽分類情報を取得する。

一実施例において、ターゲットネットワークは、第３ブランチ構造をさらに含み、処理モジュール２１０５は、さらに、候補領域ごとに、第２特徴マップを第３ブランチ構造に入力して処理することにより、候補領域に含まれるインスタンスのセマンティックラベル及び位置情報を取得する。

一実施例において、処理モジュール２１０５は、さらに、第１特徴マップと第２特徴マップとの連結処理を行うことにより、第１中間特徴マップを取得し、第１中間特徴マップを１つの逆畳み込み層及び２つの畳み込み層で順次処理することにより、第２中間特徴マップを取得し、第２中間特徴マップと第３特徴マップとの連結処理を行うことにより、第３中間特徴マップを取得し、第３中間特徴マップを３つの畳み込み層で順次処理することにより、融合特徴マップを取得する。

一実施例において、処理モジュール２１０５は、さらに、融合特徴マップを第１逆畳み込み層に入力して処理することにより、第１処理特徴マップを取得し、第１処理特徴マップを、第１ブランチ構造に含まれる第１マスクブランチに入力し、候補領域に含まれるインスタンスが、遮蔽されたインスタンスである場合、候補領域に含まれるインスタンスの非透視マスクを取得する。

一実施例では、処理モジュール２１０５は、さらに、融合特徴マップを第２逆畳み込み層に入力して処理することにより、第２処理特徴マップを取得し、第２処理特徴マップを、第１ブランチ構造に含まれる第２マスクブランチに入力することにより、候補領域に含まれるインスタンスの透視マスクを取得する。

一実施例において、処理モジュール２１０５は、さらに、第２ブランチ構造に基づいて、候補領域に含まれるインスタンスの遮蔽された面積がターゲット閾値に達したか否かを決定し、候補領域に含まれるインスタンスの遮蔽された面積がターゲット閾値に達した場合、候補領域に含まれるインスタンスの遮蔽分類情報を「遮蔽されている」と決定する。

一実施例において、処理モジュール２１０５は、さらに、第１特徴マップを第１全結合層に入力して処理し、第１全結合層で処理された第１特徴マップを第２ブランチ構造に入力して処理する。

一実施例において、処理モジュール２１０５は、さらに、第２特徴マップを第２全結合層に入力して処理し、第２全結合層で処理された第２特徴マップを、第３ブランチ構造に含まれる分類ブランチに入力して処理することにより、分類情報を取得し、第２特徴マップを第３全結合層に入力して処理し、第３全結合層で処理された第２特徴マップを、第３ブランチ構造に含まれる回帰ブランチに入力して処理することにより、位置情報を取得する。

一実施例において、装置は、
訓練サンプル画像を取得し（訓練サンプル画像におけるそれぞれのインスタンスのアノテーション情報には、少なくとも、カテゴリを指示するためのセマンティックラベルと、相対的な遮蔽順番と、透視マスクとが含まれる）、訓練サンプル画像における遮蔽されたインスタンスの相対的な遮蔽順番及び透視マスクに基づいて、訓練サンプル画像における遮蔽されたインスタンスの非透視マスクを決定し、透視マスク、非透視マスク、及びセマンティックラベルがアノテーションされた訓練サンプル画像に基づいてモデル訓練を行うことにより、ターゲットネットワークを取得する訓練モジュールをさらに含む。

上記の全ての任意選択的な構成を任意に組み合わせて、本開示の任意選択的な実施例を形成することができ、ここではいちいち説明しない。

説明すべきものとして、上記実施例で提供される画像処理装置は、画像処理時に、上記の各機能モジュールの分割のみを例として説明されているが、実際の適用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了し、即ち、装置の内部構成を異なる機能モジュールに分割して、以上に説明した全部又は一部の機能を完了してもよい。また、上記実施例で提供される画像処理装置は、画像処理方法の実施例と同一の構想に属し、その具体的な実現過程の詳しくは、方法の実施例を参照すればよいが、ここでは説明を省略する。

図２２は、本願の例示的な一実施例で提供される画像処理機器２２００の構成のブロック図を示す。この機器２２００は、ポータブル携帯端末、例えば、スマートフォン、タブレットコンピュータ、ムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー３（ＭＰ３：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）プレーヤー、ムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー４（ＭＰ４：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレーヤー、ノートパソコン、又はデスクトップパソコンであってもよい。機器２２００は、ユーザ機器、ポータブル端末、ラップトップ型端末、デスクトップ型端末などの他の名称と呼ばれる可能性もある。

通常、機器２２００は、プロセッサ２２０１とメモリ２２０２とを備える。

プロセッサ２２０１は、１つ又は複数の処理コアを含んでもよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ２２０１は、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）のうちの少なくとも１つのハードウェアの形で実現されてもよい。プロセッサ２２０１は、メインプロセッサとコプロセッサとを含んでもよい。メインプロセッサは、ウェイク状態でのデータを処理するためのプロセッサであり、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とも呼ばれる。コプロセッサは、スタンバイ状態でのデータを処理するための低消費電力プロセッサである。いくつかの実施例では、プロセッサ２２０１には、グラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が組み込まれてもよい。ＧＰＵは、ディスプレイに表示しようとするコンテンツのレンダリング及び描画を担当する。いくつかの実施例では、プロセッサ２２０１は、機械学習に関する演算操作を処理するための人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサを含んでもよい。

メモリ２２０２は、１つ又は複数のコンピュータ読み取り可能な記憶媒体を含んでもよい。該コンピュータ読み取り可能な記憶媒体は、非一時的であってもよい。メモリ２２０２は、高速ランダムアクセスメモリ、及び不揮発性メモリ、例えば、１つ又は複数のディスク記憶装置、フラッシュメモリ記憶装置を含んでもよい。いくつかの実施例において、メモリ２２０２内の非一時的なコンピュータ読み取り可能な記憶媒体は、少なくとも１つのコンピュータ読み取り可能な命令を記憶する。該少なくとも１つのコンピュータ読み取り可能な命令は、プロセッサ２２０１によって実行されると、本願の方法の実施例で提供される画像処理方法を実現させる。

いくつかの実施例において、機器２２００は、任意選択的に、周辺機器インタフェース２２０３及び少なくとも１つの周辺機器をさらに含む。プロセッサ２２０１、メモリ２２０２、及び周辺機器インタフェース２２０３の間には、バス又は信号線を介して接続されてもよい。各周辺機器は、バス、信号線、又は回路基板を介して、周辺機器インタフェース２２０３に接続されてもよい。具体的には、周辺機器は、無線周波数回路２２０４、タッチディスプレイ２２０５、カメラコンポーネント２２０６、オーディオ回路２２０７、測位コンポーネント２２０８、及び電源２２０９のうちの少なくとも１つを含む。

周辺機器インタフェース２２０３は、入出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）に関する少なくとも１つの周辺機器をプロセッサ２２０１とメモリ２２０２とに接続するために用いられてもよい。いくつかの実施例において、プロセッサ２２０１、メモリ２２０２、及び周辺機器インタフェース２２０３は、同一のチップ又は回路基板上に集積される。いくつかの他の実施例において、プロセッサ２２０１、メモリ２２０２、及び周辺機器インタフェース２２０３のいずれか１つ又は２つが、個別のチップ又は回路基板上で実現されてもよく、本実施例はこれを限定しない。

無線周波数回路２２０４は、電磁信号とも呼ばれる無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を送受信する。無線周波数回路２２０４は、電磁信号により通信ネットワーク及び他の通信機器と通信を行う。無線周波数回路２２０４は、電気信号を電磁信号に変換して送信したり、受信された電磁信号を電気信号に変換したりする。

ディスプレイ２２０５は、ユーザインタフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。該ＵＩは、図形、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせを含んでもよい。ディスプレイ２２０５がタッチディスプレイである場合、ディスプレイ２２０５は、ディスプレイ２２０５の表面又は表面の上方のタッチ信号を収集する能力も有する。該タッチ信号は、制御信号としてプロセッサ２２０１に入力されて処理されてもよい。この場合、ディスプレイ２２０５は、ソフトボタン及び／又はソフトキーボードとも呼ばれる仮想ボタン及び／又は仮想キーボードを提供するために用いられてもよい。いくつかの実施例において、ディスプレイ２２０５は、１つであってもよく、機器２２００のフロントパネルに設けられてもよい。別のいくつかの実施例において、ディスプレイ２２０５は、少なくとも２つであってもよく、それぞれ機器２２００の異なる表面に設けられたり、折り畳まれるように設計されたりしてもよい。他のいくつかの実施例において、ディスプレイ２２０５は、機器２２００の湾曲面又は折り畳み面に設けられるフレキシブルなディスプレイであってもよい。ひいては、ディスプレイ２２０５は、非矩形の不規則な図形、即ち異形ディスプレイに設けられてもよい。ディスプレイ２２０５は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの材質を用いて製造されてもよい。

カメラコンポーネント２２０６は、画像又はビデオを収集する。任意選択的に、カメラコンポーネント２２０６は、フロントカメラとリアカメラとを含む。一般的に、フロントカメラは、端末のフロントパネルに設けられ、リアカメラは、端末の背面に設けられる。いくつかの実施例において、リアカメラは、少なくとも２つあり、それぞれメインカメラ、デプスカメラ、広角カメラ、望遠カメラのうちの任意の１種類である。これにより、メインカメラ及びデプスカメラを組み合わせて実現される背景ボケの機能、メインカメラ及び広角カメラを組み合わせて実現されるパノラマ撮影及び仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）撮影の機能、又はその他の組み合わせ撮影の機能を実現する。いくつかの実施例では、カメラコンポーネント２２０６は、フラッシュをさらに含んでもよい。

オーディオ回路２２０７は、マイクロホン及びスピーカーを含んでもよい。マイクロホンは、ユーザ及び環境の音波を収集し、音波を電気信号に変換し、電気信号を、処理のためにプロセッサ２２０１に入力するか、又は、音声通信を実現するために無線周波数回路２２０４に入力する。マイクロホンは、ステレオ収集又はノイズ低減のために、複数であってもよく、機器２２００の異なる部位にそれぞれ設けられてもよい。

測位コンポーネント２２０８は、ナビゲーション又は位置情報サービス（ＬＢＳ：Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ）を実現するために、機器２２００の現在の地理的位置を測位する。

電源２２０９は、機器２２００内の各コンポーネントに電力を供給する。

いくつかの実施例において、機器２２００は、１つ又は複数のセンサ２２１０をさらに含む。該１つ又は複数のセンサ２２１０は、加速度センサ２２１１、ジャイロセンサ２２１２、圧力センサ２２１３、指紋センサ２２１４、光学センサ２２１５、及び近接センサ２２１６を含むが、これらに限定されない。

加速度センサ２２１１は、機器２２００で確立された座標系の３つの座標軸上の加速度の大きさを検出することができる。

ジャイロセンサ２２１２は、機器２２００の機体の方向及び回転角度を検出することができる。ジャイロセンサ２２１２は、加速度センサ２２１１と協働して、機器２２００に対するユーザの３Ｄ動作を収集することができる。

圧力センサ２２１３は、機器２２００のサイドフレーム及び／又はタッチディスプレイ２２０５の下に設けられてもよい。

指紋センサ２２１４は、ユーザの指紋を収集する。プロセッサ２２０１が、指紋センサ２２１４で収集された指紋に基づいて、ユーザのアイデンティティを識別し、又は、指紋センサ２２１４が、収集された指紋に基づいて、ユーザのアイデンティティを識別する。

光学センサ２２１５は、環境光の強度を収集する。

近接センサ２２１６は、距離センサとも呼ばれ、通常、機器２２００のフロントパネルに設けられる。近接センサ２２１６は、ユーザと機器２２００の正面との距離を収集する。

当業者であれば理解できるように、図２２に示された構成が、機器２２００を限定するものではなく、機器２２００は、図示より多く又は少ないコンポーネントを含んでもよく、あるいはいくらかのコンポーネントを組み合わせたものであってもよく、あるいはコンポーネントの異なる配置を採用してもよい。

図２３は、本願の実施例で提供される画像処理機器の構成の模式図である。この機器２３００は、スペック又は性能によって大きく異なる場合があり、１つ又は複数のプロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）２３０１と、１つ又は複数のメモリ２３０２とを含んでもよい。ここで、メモリ２３０２には、少なくとも１つのコンピュータ読み取り可能な命令が記憶されており、少なくとも１つのコンピュータ読み取り可能な命令は、プロセッサ２３０１によってロードされて実行されると、上記した各方法の実施例で提供される画像処理方法を実現させる。もちろん、この機器２３００は、入出力のために、有線又は無線のネットワークインタフェース、キーボード、及び入出力インタフェースなどの構成要素を有してもよい。この機器２３００は、機器の機能を実現するための他の構成要素をさらに含んでもよく、ここでは説明を省略する。

例示的な実施例では、コンピュータ読み取り可能な命令が含まれるメモリのようなコンピュータ読み取り可能な記憶媒体も提供されている。上記コンピュータ読み取り可能な命令は、画像処理機器内のプロセッサによって実行されて、上記実施例における画像処理方法を実現させることが可能である。例えば、コンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光データ記憶装置などであってもよい。

当業者であれば理解できるように、上記実施例を実現するためのステップの全部又は一部は、ハードウェアによって実行されてもよいし、プログラムを介して関連ハードウェアに指示することにより実行されてもよい。プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記で言及された記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどであってもよい。

上記は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。本願の精神および原則内で行われる種々の修正、均等置換え、改善などは全て本願の保護範囲内に含まれるべきである。

Claims (15)

1. 画像処理機器が実行する画像処理方法であって、
   予測対象画像を取得し、前記予測対象画像に対して特徴抽出を行うことにより、前記予測対象画像の特徴マップを取得するステップと、
   前記予測対象画像の少なくとも１つの候補領域を生成し、前記少なくとも１つの候補領域を前記予測対象画像の特徴マップにマッピングするステップであって、それぞれの前記候補領域には、１つのインスタンスが含まれる、ステップと、
   ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理し、前記予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、前記遮蔽されたインスタンスの不可視部分を非透視マスクで指示するステップであって、前記透視マスク及び前記非透視マスクは、前記遮蔽されたインスタンスの相対的な遮蔽関係を示す、ステップと、
   を含むことを特徴とする方法。
2. 前記少なくとも１つの候補領域を前記予測対象画像の特徴マップにマッピングした後、
   前記候補領域ごとに、前記候補領域に対して画素補正処理を行うことにより、前記候補領域の特徴マップを取得するステップをさらに含み、
   前記候補領域の特徴マップは、第１特徴マップ、第２特徴マップ、及び第３特徴マップを含み、前記第１特徴マップのサイズと前記第２特徴マップのサイズとは、一致しており、且つ前記第３特徴マップのサイズより小さい、
   ことを特徴とする請求項１に記載の方法。
3. ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理することは、
   前記候補領域ごとに、前記第１特徴マップ、前記第２特徴マップ、及び前記第３特徴マップに対して特徴融合処理を行うステップと、
   取得された融合特徴マップを前記ターゲットネットワークの第１ブランチ構造に入力して処理するステップと、
   を含むことを特徴とする請求項２に記載の方法。
4. 前記ターゲットネットワークは、第２ブランチ構造を含み、
   前記方法は、前記候補領域ごとに、前記第１特徴マップを前記第２ブランチ構造に入力して処理することにより、前記候補領域に含まれるインスタンスの遮蔽分類情報を取得するステップをさらに含む、
   ことを特徴とする請求項２又は３に記載の方法。
5. 前記ターゲットネットワークは、第３ブランチ構造を含み、
   前記方法は、前記候補領域ごとに、前記第２特徴マップを前記第３ブランチ構造に入力して処理することにより、前記候補領域に含まれるインスタンスのセマンティックラベル及び位置情報を取得するステップをさらに含む、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の方法。
6. 前記第１特徴マップ、前記第２特徴マップ、及び前記第３特徴マップに対して特徴融合処理を行うことは、
   前記第１特徴マップと前記第２特徴マップとの連結処理を行うことにより、第１中間特徴マップを取得するステップと、
   前記第１中間特徴マップを１つの逆畳み込み層及び２つの畳み込み層で順次処理することにより、第２中間特徴マップを取得するステップと、
   前記第２中間特徴マップと前記第３特徴マップとの連結処理を行うことにより、第３中間特徴マップを取得し、前記第３中間特徴マップを３つの畳み込み層で順次処理することにより、前記融合特徴マップを取得するステップと、
   を含むことを特徴とする請求項３乃至５のいずれか１項に記載の方法。
7. 取得された融合特徴マップを前記ターゲットネットワークの第１ブランチ構造に入力して処理する前記ステップは、
   前記融合特徴マップを第１逆畳み込み層に入力して処理することにより、第１処理特徴マップを取得するステップと、
   前記第１処理特徴マップを、前記第１ブランチ構造に含まれる第１マスクブランチに入力することにより、前記候補領域に含まれるインスタンスが、遮蔽されたインスタンスである場合、前記候補領域に含まれるインスタンスの非透視マスクを取得するステップと、
   を含むことを特徴とする請求項３乃至６のいずれか１項に記載の方法。
8. 取得された融合特徴マップを前記ターゲットネットワークの第１ブランチ構造に入力して処理する前記ステップは、
   前記融合特徴マップを第２逆畳み込み層に入力して処理することにより、第２処理特徴マップを取得するステップと、
   前記第２処理特徴マップを、前記第１ブランチ構造に含まれる第２マスクブランチに入力することにより、前記候補領域に含まれるインスタンスの透視マスクを取得するステップと、
   をさらに含むことを特徴とする請求項７に記載の方法。
9. 前記第１特徴マップを前記第２ブランチ構造に入力して処理することにより、前記候補領域に含まれるインスタンスの遮蔽分類情報を取得することは、
   前記第２ブランチ構造と前記第１特徴マップとに基づいて、前記候補領域に含まれるインスタンスの遮蔽された面積がターゲット閾値に達したか否かを決定するステップと、
   前記候補領域に含まれるインスタンスの遮蔽された面積が前記ターゲット閾値に達した場合、前記候補領域に含まれるインスタンスの遮蔽分類情報を「遮蔽されている」と決定するステップと、
   を含むことを特徴とする請求項４に記載の方法。
10. 前記第１特徴マップを前記第２ブランチ構造に入力して処理することは、
    前記第１特徴マップを第１全結合層に入力して処理するステップと、
    前記第１全結合層で処理された前記第１特徴マップを前記第２ブランチ構造に入力して処理するステップと、
    を含むことを特徴とする請求項４に記載の方法。
11. 前記第２特徴マップを前記第３ブランチ構造に入力して処理することは、
    前記第２特徴マップを第２全結合層に入力して処理するステップと、
    前記第２全結合層で処理された前記第２特徴マップを、前記第３ブランチ構造に含まれる分類ブランチに入力して処理することにより、前記候補領域に含まれるインスタンスのセマンティックラベルを取得するステップと、
    前記第２特徴マップを第３全結合層に入力して処理するステップと、
    前記第３全結合層で処理された前記第２特徴マップを、前記第３ブランチ構造に含まれる回帰ブランチに入力して処理することにより、前記位置情報を取得するステップと、
    を含むことを特徴とする請求項５に記載の方法。
12. 訓練サンプル画像を取得するステップであって、前記訓練サンプル画像におけるそれぞれのインスタンスのアノテーション情報には、少なくとも、カテゴリを指示するためのセマンティックラベルと、相対的な遮蔽順番と、透視マスクとが含まれる、ステップと、
    前記訓練サンプル画像における遮蔽されたインスタンスの相対的な遮蔽順番及び透視マスクに基づいて、前記訓練サンプル画像における遮蔽されたインスタンスの非透視マスクを決定するステップと、
    前記透視マスクと、前記非透視マスクと、前記セマンティックラベルとがアノテーションされた訓練サンプル画像に基づいてモデル訓練を行うことにより、前記ターゲットネットワークを取得するステップと、
    をさらに含むことを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
13. 画像処理機器に設置された画像処理装置であって、
    予測対象画像を取得する取得モジュールと、
    前記予測対象画像に対して特徴抽出を行うことにより、前記予測対象画像の特徴マップを取得する特徴抽出モジュールと、
    前記予測対象画像の少なくとも１つの候補領域を生成する生成モジュールと、
    前記少なくとも１つの候補領域を前記予測対象画像の特徴マップにマッピングするマッピングモジュールであって、それぞれの前記候補領域には、１つのインスタンスが含まれる、マッピングモジュールと、
    ターゲットネットワークに基づいて、マッピング後の前記特徴マップを処理し、前記予測対象画像における遮蔽されたインスタンスの全体的な構造を透視マスクで指示し、前記遮蔽されたインスタンスの不可視部分を非透視マスクで指示する処理モジュールであって、前記透視マスク及び前記非透視マスクは、前記遮蔽されたインスタンスの相対的な遮蔽関係を示す、処理モジュールと、
    を含むことを特徴とする画像処理装置。
14. 請求項１乃至１２のいずれか１項に記載の画像処理方法をコンピュータに実現させる、ことを特徴とするコンピュータプログラム。
15. １つ又は複数のプロセッサとメモリとを含み、前記メモリには、少なくとも１つのコンピュータ読み取り可能な命令が記憶されており、前記少なくとも１つのコンピュータ読み取り可能な命令は、前記１つ又は複数のプロセッサによってロードされて実行されると、請求項１乃至１２のいずれか１項に記載の画像処理方法を実現させる、ことを特徴とする画像処理機器。

Images