JP6557783B2 - オブジェクト検出のためのスケール依存プーリングによるカスケード型ニューラルネットワーク - Google Patents

Description

関連出願情報
本出願は２０１５年１１月４日に出願された米国特許出願第６２／２５０，７５０号の優先権を主張し、参照により完全に本明細書に引用したものとする。

技術分野
本発明は画像処理に関し、特にオブジェクト検出のためのスケール依存プーリングおよびカスケード型拒否分類器を使用している畳み込みニューラルネットワークに関する。
関連技術の説明
畳み込みニューラルネットワーク（ＣＮＮ）は、異なるレベルのデータ粒度で特徴を学習するその能力のため、各種のコンピュータビジョン課題克服に貢献してきた。ＣＮＮ特徴を有している領域（Ｒ−ＣＮＮ）が、オブジェクト検出のために提案されてきたが、その中では予め訓練を受けたネットワークは何千ものオブジェクト候補を分類するために微調整される。しかしながら、訓練およびテストは両方とも、ネットワークがすべてのオブジェクト候補および／または層のそれぞれに、オーバラップせずに独立にフォワードパスを実行するので、効率が低いという欠点がある。

計算のコストを減らすために、最近のＣＮＮベースのオブジェクト検出器（例えばＦａｓｔ ＲＣＮＮおよび空間ピラミッドプーリングネットワーク（ＳＰＰｎｅｔ））は、畳み込み層によって生成される特徴を共有して、各候補境界ボックスに対してマルチクラス分類器を適用する。Ｆａｓｔ ＲＣＮＮは全部の特徴に一度だけ実行される畳み込み動作を使用し、そして、オブジェクト候補は最後の畳み込み層だけからプールされて、完全接続（ＦＣ）層に入れられてオブジェクトカテゴリの尤度を評価する。

しかしながら、Ｆａｓｔ ＲＣＮＮは、小さなオブジェクトをうまく扱うことができない。例えば、候補境界ボックスが標準的なサイズに歪ませてではなくむしろ、最後の畳み込み特徴マップから直接的にプールされるので、ボックスが小さ過ぎる場合、それらは決定のための十分な情報を含まない。マルチスケール入力方式は、メモリ制約のため深層アーキテクチャの適用可能性を制限し、プロセスに追加的な計算の負担をもたらす。その結果、膨大な数の候補境界ボックスをプールして、それらを高次元ＦＣ層に入れるには、極めて時間がかかることになり得る。

本発明の原理の一態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのコンピュータ実行方法が提供される。方法は画像から関心領域を受信することと、画像から、それぞれが関心領域の中の少なくとも１つの畳み込み特徴を有する１つまたは複数の畳み込み層を生成することと、少なくとも１つのカスケード型拒否分類器を関心領域に適用して関心領域のサブセットを生成することと、スケール依存プーリングをサブセットの中の畳み込み特徴に適用してオブジェクトカテゴリの尤度を決定することとを含む。

本発明の原理の別の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するシステムが提示される。システムは、メモリおよびメモリと通信するプロセッサを含んでおり、プロセッサは、画像から関心領域を受信し、画像から、それぞれが関心領域の中の少なくとも１つの畳み込み特徴を有している１つまたは複数の畳み込み層を生成し、少なくとも１つのカスケード型拒否分類器を関心領域に適用して関心領域のサブセットを生成し、サブセットの中の畳み込み特徴にスケール依存プーリングを適用してオブジェクトカテゴリの尤度を判定するように構成される。

本発明の原理の別の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのコンピュータ可読プログラムを含んでいる非一時的コンピュータ可読記憶媒体が示され、コンピュータ可読プログラムは、コンピュータ上で実行されると、コンピュータに、画像から関心領域を受信するステップ、画像から、それぞれが関心領域の中の少なくとも１つの畳み込み特徴を有する１つまたは複数の畳み込み層を生成するステップ、少なくとも１つのカスケード型拒否分類器を関心領域に適用して関心領域のサブセットを生成するステップ、およびスケール依存プーリングをサブセットの中の畳み込み特徴に適用してオブジェクトカテゴリの尤度を決定するステップを実行させる。

これらおよびその他の特徴および利点は、添付図面との関連で読み取られるべき例証的実施態様の以下の詳述から明らかになる。

本開示は、以下の図面を参照して好適な実施形態の詳細を以下の記述に示す。
本発明の実施形態による、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのシステム／方法を例示するブロック／フロー図である。 本発明の実施形態による、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのシステム／方法を例示するブロック／フロー図である。 本発明の実施形態による、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのシステム／方法を例示するブロック／フロー図である。 本発明の実施形態による、本発明の原理が適用されてもよい例示的な処理システムのブロック／フロー図である。 本発明の実施形態による、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのシステム／方法を例示するフロー図である。

本発明の実施形態は、効率的かつ正確なオブジェクト検出のためのスケール依存プーリングを伴うカスケード型拒否分類器を使用した、所与の画像の中の視覚的オブジェクトの検出のための従来のニューラルネットワーク（ＣＮＮ）に対するシステムおよび方法を提供する。加えて、本発明は、画像を与えられての視覚的オブジェクトの検出のための畳み込みニューラルネットワーク（ＣＮＮ）を訓練する、方法およびシステムを提案する。

いくつかの実施形態において、本明細書において記載されているシステム／方法は、畳み込みニューラルネットワークを使用して画像の中のオブジェクトの表示を学習し、そして、スケール依存プーリングおよび／または層依存のカスケード型拒否分類器を使用して表示を改善する。ある実施形態においては、異なるネットワークを結合するのではなくむしろ、単一のネットワークの中の異なる畳み込み層からの特徴を利用することによって、カスケード型拒否分類器（ＣＲＣ）が使用される。さらに別の実施形態では、スケール依存プーリング（ＳＤＰ）は画像ごとの単一の畳み込み特徴の共有を可能とする一方で、画像の中のオブジェクトのスケールバリエーションを効率的に処理する。

本発明は、画像の中の関心オブジェクト（例えば、車、歩行者など）を正確に識別／認識して、画像の中のこのようなオブジェクトが効率的に間隔を置く位置を推定してもよい。本発明を適用することができる例示的な用途／使用法は、オブジェクト検出／認識、オブジェクト分類、場面分類、画像検索などの視覚認識を含むが、これに限定されるものではない。いくつかの実施形態では、カスケード型拒否分類器（ＣＲＣ）が効果的に畳み込み特徴を利用して、高精度を維持すると共に、オブジェクト検出の速度を大幅に上げるカスケード型方法でネガティブ境界ボックスを除去する。加えて、スケール依存プーリング（ＳＤＰ）は、オブジェクト候補となりそうなもののスケールに応じて適切な畳み込み特徴を利用することによって、検出精度を改善することができる。都合のよいことに、本発明はより正確に、そして、効率的に各種の運転シナリオ（例えば、自律車両アプリケーション、先進運転支援システム（ＡＤＡＳ）など）においてオブジェクトを検出することができる。例えば、小さなオブジェクトは検出精度がほぼ５〜２０％増加してより正確に検出される一方で、このような画像を従来の方法より非常に速く（例えば、二倍高速に）処理する。

本明細書において記載される実施形態は、完全にハードウェアであっても、完全にソフトウェアであっても、またはハードウェアおよびソフトウェア要素の両方を含んでいてもよい。好適な実施形態においては、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されるものではないソフトウェアで行う。

実施形態は、コンピュータまたは任意の命令実行システムによって、または、それに関連して用いるためのプログラムコードを提供している、コンピュータが使用可能なまたはコンピュータ可読の媒体からアクセスできるコンピュータプログラム製品を含んでいてもよい。コンピュータが使用可能なまたはコンピュータ可読の媒体は、命令実行システム、装置またはデバイスによって、または、それに関連して用いるためのプログラムを記憶するか、通信するか、伝播するかまたは、移送するいかなる装置を含んでいてもよい。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体のシステム（もしくは装置やデバイス）または伝搬媒体であることができる。媒体は、コンピュータ可読記憶媒体（例えば半導体または固体メモリ）、磁気テープ、着脱可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ハードディスクおよび光ディスク、などを含んでいてもよい。

各コンピュータプログラムは、記憶媒体またはデバイスがコンピュータによって読み出されて本明細書において記載されている手順を実行するときに、コンピュータの動作を構成して、制御するために、汎用または特殊目的のプログラム可能なコンピュータによって読み出し可能な、機械可読の記憶装置媒体またはデバイス（例えば、プログラムメモリまたは磁気ディスク）に有形に格納されてもよい。本発明のシステムはまた、コンピュータプログラムと共に構成されるコンピュータ可読記憶媒体において実施されると考えてもよく、そのように構成された記憶媒体は、コンピュータが特定の定義済みの方法で作動して、本明細書において記載されている機能を実行するようにさせる。

プログラムコードを記憶および／または実行するのに適しているデータ処理システムは、直接または間接的にシステムバスを介して記憶素子に連結されている少なくとも１つのプロセッサを含んでいてもよい。記憶素子は、プログラムコードの実際の実行の間に使用されるローカルメモリ、大容量記憶装置、および実行の間にコードが大容量記憶装置から読み出される回数を減らすための、少なくともいくつかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力／出力または入出力デバイス（キーボード、ディスプレイ、ポインティングデバイスなどを含むが、これに限定されるものではない）は、システムに直接、または、介在するＩ／Ｏコントローラによって、連結されていてもよい。

ネットワークアダプタがまた、システムに連結されていて、データ処理システムが介在する私設であるか公共のネットワークによって他のデータ処理システムまたはリモートプリンタまたは記憶装置に連結されるようになることを可能にしていてもよい。モデム、ケーブルモデムおよびイーサネット（登録商標）カードは、ネットワークアダプタの現在利用可能なタイプのうちのごく少数である。

ここで詳細に、同様の数字が同一または類似の要素を表している図、そして、まず図１を参照すると、畳み込みニューラルネットワーク（ＣＮＮ）をオブジェクト検出のために訓練するシステム／方法１００が、本発明の原理の一実施形態にしたがって、例証的に表される。本明細書において記載されているシステム／方法１００は、すべての畳み込み層１０３の畳み込み特徴１０５を利用してカスケード型拒否分類器１０８を介して簡単なネガティブを拒否して、スケール依存プーリング１１６を使用して残存している候補を評価する。

オブジェクト認識／検出は、画像および／またはビデオシーケンスのオブジェクトを見つけて、識別するためのコンピュータビジョンの分野である。いかなる所与の画像および／またはビデオシーケンスにおいても、オブジェクト認識はすべてのオブジェクト、例えばデータセットに依存しているオブジェクトの制限されたクラスを検出し、そして、各オブジェクトはラベルによって識別される境界ボックスを使用してローカライズされる。境界ボックスは、所与の画像および／またはビデオシーケンスの中の関心領域（ＲＯＩ）を表すものであってもよい。例えば、境界ボックスは、画像空間の中で車、自転車、歩行者などを識別することができる。オブジェクト検出において、各画像画素は、それが特定の種別（例えば、車、自転車、歩行者など）に帰属するか否かについて、例えば、ピクセルを一緒にグループ化して境界ボックスを形成することによって、分類され得る。

一実施形態において、スケール依存プーリングおよび／またはカスケード型拒否分類器を含んでいる畳み込みニューラルネットワーク（ＣＮＮ）が提供される。通常、ＣＮＮは、入力画像の複数の層（例えば、畳み込み層）を使用して、層をオーバラップさせて画像の表示を判定することで、リアルタイムの視覚的オブジェクト検出を可能にする。ＣＮＮは、入力画像の一部を処理する小さなニューロンコレクションであってもよい受容野の複数の層を含む。それから、これらのコレクションの出力は平滑化され、これによりそれらの入力領域がオーバラップしてオリジナル画像のより良好な表示を取得し、それはこのような畳み込み層ごとに繰り返される。

ＣＮＮアーキテクチャは、通常、微分可能な関数によって入力ボリュームを出力ボリューム（例えば、クラススコアを保持している）に変換する、畳み込み層などの別個の層のスタックによって形成される。ＣＮＮの別の概念は、非線形ダウンサンプリングの形であるプーリングを含む。最大プーリングなどのプーリングは、入力画像を非オーバラップ長方形のセットに分割し、各サブ領域が最大値を出力する。プーリング層は表示の空間サイズを徐々に減らして、ＣＮＮにおいて実行されるパラメータおよび計算の量を減らす。プーリング層は、入力画像のあらゆる畳み込み層において独立して作動して、空間的に各畳み込み層のサイズを変更する。いくつかの畳み込みおよび最大プーリング層が処理されたあと、ＣＮＮの推論は完全接続（ＦＣ）層を介して達成される。ＦＣ層のニューロンは、以前の層のすべてのアクティベーションへの完全な接続を有している。

一実施形態において、画像および／またはビデオシーケンス１０１（以下これらをまとめて「画像」と呼ぶ）が受信される。画像１０１は場面を表している複数のピクセルを有しているいかなる画像であることもでき、場面は画像の中の１つまたは複数のオブジェクト、例えば車、自転車、歩行者などを有している。各画像は、１つまたは複数の関心領域（ＲＯＩ）１０４、１０６、例えば小さなＲＯＩ１０４および大きなＲＯＩ１０６を含むことができる。ＲＯＩ１０４、１０６は、特定の目的のために識別されるデータセットの中のサンプルの選択されたサブセットを含むことができる。例えば、ＲＯＩ１０４、１０６は、境界ボックス候補方法、例えばＳｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ、ＥｄｇｅｂｏｘまたはＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋによって提供され得る。

いくつかの実施形態では、ＲＯＩ１０４、１０６は、考察中のオブジェクトの境界（例えば、波形上の時間または周波数間隔、画像の中のオブジェクトの境界、オブジェクトの輪郭を描いている外形または表面、時間ボリュームの特定の時間間隔での、または、その間のオブジェクトの輪郭など）を定めることができる。いくつかの実施形態では、ＲＯＩ１０４、１０６が受信されてもよい。一実施形態において、ＲＯＩ１０４、１０６は、１つまたは複数の境界ボックス（例えば、小さな境界ボックス、大きな境界ボックスなど）として表されてもよい。境界ボックス１０４、１０６は、例えば、各ＲＯＩの中の多くのピクセルに基づいて判定されてもよい。このようなＲＯＩおよび／または境界ボックスは、多くの誤検知を含んでいる可能性のある「オブジェクト」候補を表す。

一実施形態において、画像１０１は、複数の畳み込み層１０３（例えば、１０３ａ〜１０３ｄ）に分けられる。例えば、図１で図示するように、画像１０１は、複数の連続した畳み込み層１０３ａ〜１０３ｄ（例えば、ｃｏｎｖｌ、ｃｏｎｖ２、ｃｏｎｖ３、ｃｏｎｖ４など）に分けられ、ここでｃｏｎｖ４は最後の畳み込み層である。各畳み込み層は、関心領域（ＲＯＩ）１０４、１０６の中の少なくとも１つの畳み込み特徴１０５を含んでいる。畳み込み層１０３の出力は、畳み込み特徴１０５である。各畳み込み層１０３は、入力（空間格子の形で、例えば、画像１０１または以前の畳み込み層の出力である）を取り込み、畳み込み特徴マップを生成する。

畳み込み特徴１０５は、各畳み込み層の中の抽出された特徴である。畳み込み特徴１０５は、例えば、１つまたは複数の畳み込み層にわたって持ち運ぶことができる特定の密度の領域を含むことができる。一実施形態において、畳み込み動作（例えば、畳み込み層の分離）は画像１０１当たり一度だけ実行されて、いかなる冗長な特徴抽出も行われないようにする。したがって、画像１０１のための１セットの畳み込み特徴／層だけが生成される。畳み込み層１０３の各出力は、次の後続の畳み込み層１０３に対する入力になる。例えば、ｃｏｎｖ２層１０３ｂに対する入力は、ｃｏｎｖｌ層１０３ａのアクティベーションマップである。各アクティベーションマップは、画像の中のますます多くの複雑な特徴を表す。

いくつかの実施形態では、ＲＯＩプーリング層（図示せず）は各畳み込み層１０３に最大プーリングを実行して、任意の有効なＲＯＩ１０４、１０６の内側の畳み込み特徴１０５を、高さＨに幅Ｗを乗じた固定空間範囲を有する小さな特徴マップに変換する。ここでＨおよびＷはいかなる特定のＲＯＩもから独立している層ハイパパラメータである。ＲＯＩプーリングの出力はＳＤＰモジュールに渡すことができる。畳み込み層特徴１０５はこのように、空間的にサブサンプルをとる層があるので各畳み込み層１０３が生成されるにつれて、より小さくなる（例えば最大プーリングまたは１を超える空間ストライドサイズを有する畳み込み）。

図１に例示説明したとおり、各後続の畳み込み層１０３は、したがって、以前の畳み込み層１０３よりも小さい。例えば、ｃｏｎｖ４層１０３ｄはｃｏｎｖ３層１０３ｃよりも小さく、ｃｏｎｖ３層１０３ｃはｃｏｎｖ２層１０３ｂよりも小さく、ｃｏｎｖ２層１０３ｂはｃｏｎｖｌ層１０３ａよりも小さい。畳み込み層の特徴マップは、最大プーリングまたはストライド化畳み込みのため、より小さくなる。後の畳み込み層のチャネル数がよりかなり大きいので、計算の負担を減らすためにより小さなマップを有することは有益であってもよい。

オブジェクトの視覚の意味論的な概念は、画像１０１の中のターゲットオブジェクトのサイズに応じて、異なる畳み込み層１０３において現れることができる。これらの視覚の意味論的な概念は、例えば、ターゲットオブジェクトの一部を表す畳み込み特徴１０５を含むことができる。ターゲットオブジェクトは、車または歩行者などの画像の中で検出されるオブジェクトを含んでいてもよい。視覚の意味論的な概念は、抽象的な可視要素、例えばオブジェクト（例えば、目、車輪など）の小部分または低レベルの顕著な特徴（例えば、端、角、材質など）を含む。例えば、画像１０１の中のターゲットオブジェクト（例えば、歩行者）が小さい場合、オブジェクトの特定の部分をコード化する初期の畳み込み層１０３ｃ（例えば、ｃｏｎｖ３）に、畳み込みニューロン（例えば、畳み込み特徴１０５）の強いアクティベーションは存在してもよい。一方で、ターゲットオブジェクトが大きい場合（例えば、車）、同じ部分概念は後続の畳み込み層１０３ｄ（例えば、ｃｏｎｖ４）において現れてもよい。

畳み込み層１０３ごとに、入力ＲＯＩ１０４、１０６のセットは各畳み込み層の特徴１０５および少なくとも１つのカスケード型拒否分類器（ＣＲＣ）を用いて徐々に減じられ、入力ＲＯＩ１０４、１０６のサブセットであるＲＯＩ１１０の新規なセットを生成する。例えば、入力ＲＯＩが小さなＲＯＩ１０４であると仮定して、カスケード型拒否分類器１０８は、ＲＯＩ１１０のサブセットを生成するための境界ボックス候補の数を減らす。すべての畳み込み層１０３が処理されてしまったあとにその終わりで残っているオブジェクト候補の数がより少なくなるように、このプロセスはすべての畳み込み層１０３に対して繰り返すことができる。例えば、ＲＯＩ１１０およびＣＲＣ１０８の新規なセットは、図１にて図示したように、さらに後続の畳み込み層のＲＯＩの数を減らして、ＲＯＩの新しいサブセット（例えば、サブセット_１ＲＯＩ１１２、サブセット_２ＲＯＩ１１４など）を生成するために使用することができる。

カスケード型拒否分類器（ＣＲＣ）１０８は、何百または何千もの特定のオブジェクト（例えば、自転車、車、歩行者など）の「ポジティブ」サンプルビュー、およびほぼ同一サイズを有しているオブジェクトの任意の「ネガティブ」画像を含むことができる。命題分類器１０８は画像の中の関心領域に適用されて当該オブジェクトを検出することができるだけではなく、また、特定のオブジェクトが見つからない／位置検出されないあらゆる関心領域を拒否することもできる。例えば、自転車のＣＲＣ１０８は、自転車の特徴（例えば、車輪、ハンドルバーなど）を有するＲＯＩを検出するために用いることができ、また自転車の特徴を有していないＲＯＩ（例えば、空などの、非オブジェクト候補）を除去することもできる。

カスケーディング方向は、ＣＮＮの畳み込み層１０３のセット全体に定めることができる。一実施形態において、初期の畳み込み層１０３内の畳み込み特徴１０５は、弱分類器および／またはブースティング分類器として定義されることができ、および／またはそれを表すことができる。初期の畳み込み層１０３からの特徴１０５がオブジェクトカテゴリの強い評価をするには弱すぎる可能性があるにもかかわらず、このような特徴１０５は短時間で簡単なネガティブを拒否するために役立ち得る。拒否分類器１０８が訓練されたあと、分類器１０８は画像の領域に適用されて当該ターゲットオブジェクトを検出することができる。すべての画像１０１のオブジェクトを検索するために、探索ウィンドウは画像１０１全体にわたって移動され、分類器のあらゆる場所を点検することができる。このように、ＣＲＣ１０８は、分類器１０８を含まない各サブセットの中のいかなるＲＯＩ１０４、１０６および／または領域も拒否することによって、ＲＯＩの数を効果的に減らすことができる。例えば、拒否分類器が歩行者を表すデータを含んでいる場合、ＣＲＣ１０８は、ＲＯＩ１０４、１０６をＲＯＩ１１０のサブセットに減らすことができ、ここでＲＯＩ１１０のサブセットは歩行者を表すデータを含み、そして歩行者を表すデータを含まないあらゆるＲＯＩを除去する。

比較すると、Ｆａｓｔ ＲＣＮＮはあらゆるオブジェクト候補がＲＯＩプーリング層によってプールされて、ＦＣ層に入れられることを必要とし、ＦＣ層の候補およびニューロンの数が膨大であると想定すれば、それは計算コストが高い。真のオブジェクトは、通常、オブジェクト候補の合計数よりもずっと少ない。数千または何万ものオブジェクト候補を想定すれば、それらのほとんどは、オブジェクトを含まない背景領域をカバーしており、一方で、それらのうちの比較的少ない数だけしか、真のオブジェクトに実際に対応しない。背景候補がＲＯＩプーリングおよびＦＣ層を通過する前に早く除去することができる場合、ＦＣ層計算のための時間は大幅に減らすことができる。都合のよいことに、本発明に記載されているカスケード型拒否分類器は、最終オブジェクト分類器より非常に高速であるので、ＲＯＩの数が減少したことによる効率増加が、拒否分類器によって導かれるいかなる付加的な計算よりも非常に大きい。

したがって、カスケード型拒否分類器１０８は特定のＲＯＩをフィルタ除去し、そして、追加的な畳み込み層１０３からのより多くの特徴を用いる以降の評価に対して残す難しいネガティブがずっと少ない。異なる畳み込み層１０３が情報の異なるレベルを捕えるので、より下位であるか中間の畳み込み層１０３で畳み込み特徴を検査することによって、いくつかの非オブジェクト候補（例えば、適合していない畳み込み特徴）は見つけられて、拒否することができる。適合していない畳み込み特徴は、ＣＲＣの中で前に定義済みの特徴に一致しない要素である。このように、本発明は拒否分類器１０８を使用して、カスケード型方法によって各畳み込み層１０３で非オブジェクト候補を拒否する。都合のよいことに、カスケード型拒否分類器（ＣＲＣ）１０８は効果的に畳み込み特徴を利用して、カスケード型方法によってネガティブ境界ボックスを除去し、それが高精度を維持しながら大幅に検出の速度を上げる。

ここで図２を参照すると、カスケード型拒否分類器を適用する詳細な構造が例証として表される。ＲＯＩ１０４、１０６のセットおよび対応する畳み込み特徴マップを与えられて、ＣＲＣモジュールは、各ＲＯＩ１０４、１０６の中の特徴１０５のセットを抽出することができて、それを保つべきであるかまたは無視するべきかどうかを決定することができる。抽出された特徴は、出力スコアを作成するブースティング分類器を介して集約される。したがって、出力スコアは、ＲＯＩを保持すべきかどうか決定するために用いる。各ＣＲＣプロセスによって保持されているＲＯＩは、次の畳み込み層のＣＲＣモジュールに渡される。

図２において、連続した畳み込み層１０３ａ〜ｃは、最大プーリング層１０２ａ〜ｂを使用している画像１０１に対して生成される。畳み込み層１０３ａ〜ｃごとに特徴１０５ａ〜ｃが抽出され、そして、対応する拒否分類器１０８が分類スコアを取得するために適用される。分類スコアは、ＲＯＩを保つべきであるかまたは特定のＲＯＩを放棄するべきかどうか決定するため用いられる、ＣＲＣの各ＲＯＩに対する出力スコアである。拒否閾値より小さな分類スコアを有するオブジェクト候補は、放棄することができる。したがって、ＲＯＩの各サブセットは、以前のＲＯＩよりも小さい。

一実施形態において、カスケード型拒否分類器（ＣＲＣ）１０８は、カスケード型方法において各畳み込み層１０３で非オブジェクト候補を拒否するために学習される。これを行うため、ＳＤＰ分岐を有している予め訓練を受けたモデルは、グループに分けられたオブジェクト候補を使用して微調整され、各候補のための特徴マップからの特徴１０５は各畳み込み層１０３で抽出される。オブジェクトを含んでいる候補をポジティブサンプルとみなす一方で、背景を含んでいる候補をネガティブサンプルとしてみなし、バイナリ分類器は、オブジェクトを背景と区別するために畳み込み層１０３の候補のグループごとに対して訓練される。拒否基準を、例えば、９９．９％のポジティブを保ち、３０％のネガティブを拒否するように設定することによって、小さな分類スコアを有する簡単なネガティブが初期段階でフィルタ除去されるように拒否閾値は取得され、その一方で、閾値を超える分類スコアを有する拒否基準は引き続いて、拒否分類器１０８を後続の畳み込み層１０３に対して訓練するために用いる。

より正式には、特定のサイズグループに属しているスケールグループｓ、Ｂ＝［Ｂ_１，Ｂ_２，…，Ｂ_Ｎ］）に属するＮ個の候補があると仮定する。オブジェクトを含む場合にラベルｙ_ｉ＝１で、そうでない場合にｙ_ｉ＝０を有する候補Ｂ_ｉ∈Ｂを想定して、それをＲＯＩプーリングによってｌ番目の畳み込み層Ｌ_ｉからプールして、結果としてｍ×ｍ×ｃ直平行六面体となる。ここでｍはＲＯＩプーリングの後の候補の固定サイズであり、ｃは層Ｌ_ｉの特徴マップのチャンネル数である。直平行六面体をベクトル化することによって、候補Ｂｉに対するＩＤ特徴ベクトル

が取得される。全体として、訓練セット

ならびにラベルセットＹ＝｛０，１｝∈Ｒ^Ｎは、拒否分類器を学習するために取得される。別々のＡｄａｂｏｏｓｔ分類器が、その効率のために拒否分類器として用いられてもよい。拒否基準を満たす候補は、分類器を続く層のために訓練するために保たれる。テストフェーズのフォワードパスの間、各畳み込み層１０３の後で、候補がＲＯＩプーリングによってプールアウトされ、特徴１０５が抽出され、そして、対応する拒否分類器１０８が分類スコアを取得するために適用される。拒否閾値より小さな分類スコアを有するそれらの候補は、放棄することができる。したがって、多数のネガティブは連続的な畳み込み層１０３によって徐々に拒否されてＳＤＰを通過せず、それが劇的に処理の速度を上げる。

さらに計算を加速するために、一連のネットワーク層は、拒否分類器が全体としてネットワーク構造に含まれることができて、グラフィック処理ユニット（ＧＰＵ）で実行することができるように、拒否分類器の動作を近似するために、使用される。線形ブースティング分類器Ｆは、

と記述することができ、ここで、ｈ_ｔは弱学習器であり、ｗ_ｔは対応する重みであり、出力は分類スコアである。弱学習器ｈ_ｔは特定のｖ番目の特徴寸法の値ｘ_ｖが決定閾値δを超える場合１を出力し、そうでなければ−１を出力する決定株であり、ｈ_ｔ（ｘ）＝ｓｉｇｎ（ｘ_ｖ−δ）として表される。

弱学習器を近似するために、特徴マップ上の特定の位置で特徴をプーリングすることだけによってＲＯＩプーリング層から適合されて、ｍ×ｍ×ｃ直平行六面体よりもむしろＴ次元ベクトルを形成する特徴プーリング層が実装される。特徴をプールする位置は、ブースティング分類器により選択された特徴寸法を畳み込み特徴マップに後方投射することによって、事前算出することができる。特徴プーリング層は、ブースティング分類器が学習される対応する畳み込み層に接続されてもよく、その後にＦＣ層および双曲線の（双曲線正接：ｔａｎｈ）層が続く。ＦＣ層の重みは単位行列であり、一方、バイアスは−δに初期化される。双曲線の層は良好な近似を符号関数に提供して、あらゆる場所で弁別可能であり、それは勾配が下位レイヤーに誤差逆伝播することができることを保証する。弱学習器近似に加えて、別のＦＣ層が、分類器Ｆを作成するために使用される。ここで重みはｗ_ｔによる対角行列として初期化され、バイアスはネガティブ拒否閾値である。特徴プーリング層の入力として候補および畳み込み特徴マップを与えられると、すべての近似の出力は、候補が拒否されるべきか否かを指し示している数である。特徴プーリング層、双曲線の層および２つのＦＣ層を用いることにより、拒否分類器はネットワークに容易に組み込まれることができて、ＧＰＵ上で動作するネットワークモジュールによって近似されてもよい。

訓練された拒否分類器だけが、テストフェーズにおける効果的な検出のためにネットワーク層に変換されている。それにもかかわらず、拒否分類器はまた、それらがどのサンプルが分類するのが困難であるかについての情報を提供し、それらの難しいサンプルに焦点を当てるためにネットワークを強化する、という点で、ネットワークの微調整を補足するために使用される。特に、微調整は、難しいサンプルを提供することならびに、拒否分類器からの情報を誤差逆伝播することで畳み込みフィルタをより判別可能にすることよって整えられる。これを達成するために、入力として拒否分類器の出力インジケータ（例えば、ネットワーク層を使用して近似される）およびオブジェクト候補をとって、後続の層の候補に対する新規なおよびより小さなセットを出力する、選択層が実装される。候補の新規なセットにおいて、多数の候補が除去されている一方で、残存しているものは大部分が真のポジティブおよび難しいネガティブである。選択層の後で残存している候補は分類するのがより困難であり得て、それらからより判別可能なパターンをネットワークが明示的に学習するようにさせる。

続けて図１を参照すると、スケール依存プーリング（ＳＤＰ）１１６は、各畳み込み層１０３に対してすべての残存しているＲＯＩの中の畳み込み特徴に実行されて、オブジェクトカテゴリの尤度を決定する。例えば、ＳＤＰ１１６は、畳み込み特徴が歩行者、車などであるというパーセンテージ尤度を決定することができる。いくつかの実施形態では、サイズグループ当たり複数（例えば、小さい、中程度、および大きいＲＯＩに対しては３つ）のＳＤＰモジュールが存在し得る。各ＳＤＰは、対応するサイズグループに分類される複数のＲＯＩを処理する。ＳＤＰは単一の畳み込み層に接続され、これは、１つのＳＤＰが単一の畳み込み層から畳み込み特徴をプールすることを意味する。

スケール依存プーリング１１６に関する事項は、以下に図２を参照してより詳細に説明される。ＳＤＰ１１６は、オブジェクト候補になりそうなもののスケールに応じて適切な畳み込み特徴１０５を利用することによっていくつかの畳み込み層１０３の後に接続されるスケールに特有の分岐でネットワークを微調整することによって、特に小さいオブジェクトについて、検出精度を改善する。オブジェクト候補のスケールまたはサイズが各畳み込み層１０３の全体にわたって変化し得るので、スケールバリエーションは視覚認識の基本的な挑戦課題である。

従来の方法、例えばＲ−ＣＮＮ、ＳＰＰｎｅｔおよびＦａｓｔＲＣＮＮは、オブジェクトを記述する特徴として、最後の層の畳み込み出力を取り扱い、および／または、最後の畳み込み層での特徴をプールする。したがって、従来の方法は、困難で、付加的な計算の負担をもたらす画像ピラミッドまたは総当たり学習方法を介して、スケールバリエーションに対処する。一実施形態において、本発明において開示されるＳＤＰフィルタは、そのスケールに対応する層からプールされる畳み込み特徴を用いて候補オブジェクト境界ボックスを決定するために、使用することができる。したがって、ＳＤＰは、ＲＯＩ当たりのオブジェクトカテゴリの尤度（例えば、車９０％、人５％など）を決定する。

ここで図３を参照すると、スケール依存プーリングを使用してＣＮＮを訓練するシステム／方法３００は、本発明の原理の実施形態にしたがって、例証として表される。図３において、画像３０１が提供され／取得されて、連続した畳み込み層３０３ａ〜３０３ｅが図１に関して上述したように首尾よく生成される。ここで、ｃｏｎｖ５は最後の畳み込み層を表す。最大プーリング層３０２ａ〜３０２ｄは畳み込み層３０３ごとに最大プーリングを実行し、そして、畳み込み特徴３０５ｃ〜ｅは各畳み込み層３０３ｃ〜ｅから抽出される。

一実施形態において、スケール依存プーリング（ＳＤＰ）は、異なるサイズのオブジェクト候補に対して異なる畳み込み層３０３から、追加のＦＣ層３０８を外へ分岐することによって実行される。例えば、オブジェクト候補は、小さなＲＯＩ ３０４ａ、中程度のサイズのＲＯＩ３０４ｂおよび／または大きなＲＯＩ３０４ｃを含むことができる。例えば、小さなＲＯＩ３０４ａは０〜６４のピクセル高さを含んでいてもよく、中程度のＲＯＩ３０４ｂは６４〜１２８のピクセル高さを含んでいてもよく、大きなＲＯＩ３０４ｃは１２８を超えるピクセル高さのいずれも含んでいてもよい。しかしながら、スケールグループの特定の定義は、適用シナリオに依存していてもよい。

図３に説明したとおり、ＳＤＰは、各オブジェクト候補のスケール（例えば、高さ）を決定して、スケール／高さに応じて対応する畳み込み層３０３から特徴３０５ｃ〜ｅをプールすることによって、例えば、畳み込み層ｃｏｎｖ３ ３０３ｃ、ｃｏｎｖ４ ３０３ｄおよびｃｏｎｖ５ ３０３ｅに実行される。例えば、高さ０と６４ピクセルの間のオブジェクト候補は、最後の畳み込み層（例えば、ｃｏｎｖ５）よりもむしろ下位の畳み込み層（例えば、ｃｏｎｖ３）から外へプールされる。同様に、高さ６４と１２８ピクセルの間のオブジェクト候補は、より以前に（例えば、ｃｏｎｖ４）外へプールすることができる。

比較的大きな下位の畳み込み層３０３から小さなオブジェクト候補をプールすることによって、検出のための充分な情報を保存するより多くのニューロンが存在する。各分岐がオブジェクト候補の特定のスケールに焦点を当てるので、学習プロセスはオブジェクト候補の各種のスケールによる混乱の傾向がない。加えて、高レベルの意味論的な概念（例えば、畳み込み特徴３０５ｃ〜ｅ）は、オブジェクトのサイズに応じて、異なる畳み込み層３０３において現れてもよい。例えば、オブジェクトが小さなスケールである場合、オブジェクトの一部は下位または中間の畳み込み層３０３のニューロンによって捕えられてもよく、必ずしも最後の畳み込み層（例えば、ｃｏｎｖ５）によってでなくてもよい。共同でスケールに特有のＦＣ層を学習して、畳み込み層３０３を微調整することによって、より判別可能な畳み込み特徴を取得することができる。従来の方法とは異なり、本発明は、異なる層３０３から畳み込み特徴３０５を単に組み合せるかまたはコード化するのではなく、むしろＦＣ層３０８を追加して、畳み込み特徴３０５を強化して、微調整の間にスケールに特有のパターンを学習する。

図３において、ＳＤＰプロセスは、入力ＲＯＩ３０４のスケールを調べて、３つの異なる分類器の中の対応する分類器を提供する。したがって、すべての残存しているＲＯＩは、適切なオブジェクト分類器によって評価される。例えば、ターゲットＲＯＩが小さい（例えば、６４ピクセル未満の）場合、ｃｏｎｖ３で接続される分類器が選択されてもよい。一方で、ターゲットＲｏＩが大きい場合、ｃｏｎｖ５で接続される分類器が選択されてもよい。分類器のスコア出力を使用して、予め定められた閾値より高いスコアを有する検出出力が生成される。

例えば、ＳＤＰは、ｃｏｎｖ３、ｃｏｎｖ４およびｃｏｎｖ５の後に３つの分岐を生成する。各分岐は、クラススコア３１０および境界ボックス回帰子３１２を算出するための２つの連続するＦＣ層３０８に接続しているＲＯＩプーリング層３０６およびＲＯＩプーリング特徴３０７を含んでいる。微調整プロセスは、予め訓練を受けたネットワークから始まる。微調整の間、入力オブジェクト候補は、最初にそれらの高さに基づいて３つのグループに分解されて、それから対応するＲＯＩプーリング層に入れられて、異なる特徴マップから畳み込み特徴をプールする。勾配は３つの分岐から誤差逆伝播されて、対応するＦＣ層および畳み込みフィルタを更新する。ニューロンを明示的に強化してオブジェクタの異なるスケールに対して学習することによって、畳み込み層２０３は、初期段階で小さなオブジェクトを検出して、従来の方法と比較して小さなオブジェクト上の検出精度を効果的に改善することが可能である。

都合のよいことに、画像当たり一度だけ畳み込み特徴３０５を計算すると共に、ターゲットオブジェクトのスケールバリエーションは効率的に割り当てられてもよい。入力画像の中で人工的に大きさを変更して適当な特徴記述を取得する代わりに、ＳＤＰは、適当な特徴層３０３を効率的に選択してオブジェクト候補を記述する。したがって、ＳＤＰは冗長な畳み込み動作によって生じる計算のコストおよびメモリオーバヘッドを削減し、結果としてオブジェクト候補の簡潔で一貫した表示を得る。

ここで図４を参照すると、本発明の原理が適用されてもよい例示的な処理システム４００は、本発明の原理の一実施形態にしたがって、例証として表される。処理システム４００は、システムバス４０２を介して他の構成要素に動作上連結された少なくとも１つのプロセッサ（「ＣＰＵ」）４０４を含む。キャッシュ４０６、読み出し専用メモリ（「ＲＯＭ」）４０８、ランダムアクセスメモリ（「ＲＡＭ」）４１０、入出力（「Ｉ／Ｏ」）アダプタ４２０、音響アダプタ４３０、ネットワークアダプタ４４０、ユーザインタフェースアダプタ４５０およびディスプレイアダプタ４６０が、システムバス４０２に動作上連結されている。

記憶装置４２２および第２の記憶装置４２４は、入出力アダプタ４２０によってシステムバス４０２に動作上連結されている。記憶装置４２２および４２４は、ディスク記憶装置（例えば、磁気または光学的ディスク記憶装置）、固体磁気装置などのいずれかであることができる。記憶装置４２２および４２４は、同じタイプの記憶装置または異なるタイプの記憶装置であることができる。いくつかの実施形態では、ＣＮＮは、記憶装置４２２、４２４またはネットワーク接続ストレージなどの、システム４００によってアクセス可能なストレージに記憶することができる。

スピーカ４３２は、音響アダプタ３３０によってシステムバス４０２に動作上連結されている。トランシーバ４４２は、ネットワークアダプタ４４０によってシステムバス４０２に動作上連結されている。ディスプレイ装置４６２は、ディスプレイアダプタ４６０によってシステムバス４０２に動作上連結されている。

第１のユーザ入力デバイス４５２、第２のユーザ入力デバイス４５４および第３のユーザ入力デバイス４５６は、ユーザインタフェースアダプタ４５０によってシステムバス４０２に動作上連結されている。ユーザ入力デバイス４５２、４５４および４５６は、キーボード、マウス、キーパッド、画像キャプチャ装置、動作感知デバイス、マイクロホン、前記のデバイスの少なくとも２つの機能性を組み込んでいるデバイス、などのいずれかであることができる。もちろん、他のタイプの入力デバイスが用いられることもできる。ユーザ入力デバイス４５２、４５４および４５６は、同じタイプのユーザ入力デバイスまたは異なるタイプのユーザ入力デバイスであることができる。ユーザ入力デバイス４５２、４５４および４５６は、システム４００との間の情報の入出力をするために用いる。

もちろん、処理システム４００はまた、当業者によって直ちに予測されるように、他の要素（図示せず）を含んでいてもよく、また特定の要素を省略してもよい。例えば、当業者によって直ちに理解されるように、各種の他の入力デバイスおよび／または出力デバイスは、その特定の実装によって、処理システム４００に含まれ得る。例えば、様々なタイプの無線および／またはワイヤード入力および／または出力デバイスを用いることができる。さらに、当業者によって直ちに理解されるように、追加プロセッサ、コントローラ、メモリなどは各種の構成において利用されることもできる。処理システム４００のこれらの、そしてまた他のバリエーションは、ここに提供されている本発明の原理の教示を与えられる当業者によって直ちに考察される。

処理システム４００が、例えば、図５の方法５００の少なくとも一部を含んで本明細書において記載されている方法の少なくとも一部を実行してもよいということが認識される。

図５は、本発明の実施形態にしたがって、畳み込みニューラルネットワーク（ＣＮＮ）を訓練する方法のブロック／フロー図である。

ブロック５０２で、画像が受信される。いくつかの実施形態では、画像の中の関心領域（ＲＯＩ）、例えば小さな、中程度のおよび／または、大きなＲＯＩが受信されてもよい。ブロック５０４において、各画像のための畳み込み層は、連続して生成される。各畳み込み層は、関心領域の中の少なくとも１つの畳み込み特徴を含む。

ブロック５０６で、１つまたは複数のカスケード型拒否分類器（ＣＲＣ）は関心領域を入力して関心領域の新しいサブセットを生成するために適用される。ＣＲＣは、各畳み込み層のそれぞれの畳み込み特徴を用いて、各畳み込み層に適用されてもよい。いくつかの実施形態では、複数の畳み込み層の上の複数のセットのＣＲＣが使用されてもよい。各ＣＲＣが入力ＲＯＩのうち小さな断片だけを拒否してもよい一方で、複数のＣＲＣは、多くの簡単なネガティブを早期に効率的に取り除くことができ、より高い計算の効率を与える。

ブロック５０８において、スケール依存プーリング（ＳＤＰ）は関心領域のサブセットの中の畳み込み特徴に実行されて、オブジェクトカテゴリの尤度を決定する。

前述したことは、あらゆる点で説明的および例示的であるが、制限的ではないと理解されるべきであり、そして、本明細書において開示される本発明の範囲は詳細な説明から判断されるべきではなく、むしろ、特許法によって許される完全な広がりにしたがって解釈される請求項から判断されるべきである。本明細書において図と共に記載される実施形態が本発明の原理を説明するだけであり、そして、当業者が本発明の範囲および精神から逸脱せずに、各種の修正を実行してもよいことを理解すべきである。当業者は、本発明の範囲および精神から逸脱せずに、各種の他の特徴の組合せを実施することができよう。このように本発明の態様を記載してきて、特許法によって求められる詳細および特殊性により、特許状によって保護されている、請求されることおよび要求されることは、添付の請求の範囲に記載される。

Claims (20)

1. 畳み込みニューラルネットワーク（ＣＮＮ）を訓練するコンピュータ実行方法であって、
   画像から関心領域を受信することと、
   前記画像から、それぞれが関心領域の中の少なくとも１つの畳み込み特徴を有する１つまたは複数の畳み込み層を生成することと、
   少なくとも１つのカスケード型拒否分類器を前記関心領域に適用して前記関心領域のサブセットを生成することと、
   スケール依存プーリングを、前記サブセットの中の畳み込み特徴に適用してオブジェクトカテゴリの尤度を決定することと
   を含む方法。
2. 前記少なくとも１つのカスケード型拒否分類器は、それぞれの畳み込み層で非オブジェクト候補を拒否する、請求項１に記載の方法。
3. 前記少なくとも１つのカスケード型拒否分類器は、ネガティブ境界ボックスを除去し、前記ネガティブ境界ボックスは適合していない畳み込み特徴を含む、請求項１に記載の方法。
4. 前記画像から前記１つまたは複数の畳み込み層を生成することは冗長な特徴抽出を避けるために１回実行される、請求項１に記載の方法。
5. 初期の畳み込み層の前記畳み込み特徴は弱分類器を表す、請求項１に記載の方法。
6. 前記スケール依存プーリングは、各畳み込み層の中の各オブジェクト候補のスケールを決定し、前記スケールに依存している対応する畳み込み層から前記特徴をプールする、請求項１に記載の方法。
7. 前記スケール依存プーリングは、前記スケールに基づいてオブジェクト分類器を選択して前記オブジェクトカテゴリを識別することを含む、請求項６に記載の方法。
8. 畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのシステムであって、
   メモリと、
   前記メモリと通信するプロセッサであって、
   画像から関心領域を受信し、
   前記画像から、それぞれが関心領域の中の少なくとも１つの畳み込み特徴を有する１つまたは複数の畳み込み層を生成し、
   少なくとも１つのカスケード型拒否分類器を前記関心領域に適用して前記関心領域のサブセットを生成し、
   スケール依存プーリングを前記サブセットの中の畳み込み特徴に適用してオブジェクトカテゴリの尤度を決定する
   ように構成されるプロセッサと
   を含む、システム。
9. 前記少なくとも１つのカスケード型拒否分類器は各畳み込み層で非オブジェクト候補を拒否する、請求項８に記載のシステム。
10. 前記少なくとも１つのカスケード型拒否分類器は、ネガティブ境界ボックスを除去し、前記ネガティブ境界ボックスは適合していない畳み込み特徴を含む、請求項８に記載のシステム。
11. 前記プロセッサは、冗長な特徴抽出を避けるために前記画像から前記１つまたは複数の畳み込み層を１回生成する、請求項８に記載のシステム。
12. 初期の畳み込み層の前記畳み込み特徴は弱分類器を表す、請求項８に記載のシステム。
13. 前記スケール依存プーリングは、各畳み込み層の中の各オブジェクト候補のスケールを決定して、前記スケールに依存している対応する畳み込み層から前記特徴をプールする、請求項８に記載のシステム。
14. 前記スケール依存プーリングは、前記スケールに基づいてオブジェクト分類器を選択して前記オブジェクトカテゴリを識別することを含む、請求項１３に記載のシステム。
15. 畳み込みニューラルネットワーク（ＣＮＮ）を訓練するためのコンピュータ可読プログラムを含んでいる非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムはコンピュータ上で実行されると、前記コンピュータに、
    画像から関心領域を受信するステップと、
    前記画像から、それぞれが関心領域の中の少なくとも１つの畳み込み特徴を有する１つまたは複数の畳み込み層を生成するステップと、
    少なくとも１つのカスケード型拒否分類器を前記関心領域に適用して前記関心領域のサブセットを生成するステップと、
    スケール依存プーリングを、前記サブセットの中の畳み込み特徴に適用してオブジェクトカテゴリの尤度を決定するステップと
    を実行させる、非一時的コンピュータ可読記憶媒体。
16. 前記少なくとも１つのカスケード型拒否分類器は、各畳み込み層で非オブジェクト候補を拒否する、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
17. 前記少なくとも１つのカスケード型拒否分類器は、ネガティブ境界ボックスを除去し、前記ネガティブ境界ボックスは適合していない畳み込み特徴を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
18. 初期の畳み込み層の前記畳み込み特徴は弱分類器を表す、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
19. 前記スケール依存プーリングは、各畳み込み層の中の各オブジェクト候補のスケールを決定して、前記スケールに依存している対応する畳み込み層から前記特徴をプールする、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
20. 前記スケール依存プーリングは、前記スケールに基づいてオブジェクト分類器を選択して前記オブジェクトカテゴリを識別することを含む、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

Images