JP5772442B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP5772442B2 JP5772442B2 JP2011207382A JP2011207382A JP5772442B2 JP 5772442 B2 JP5772442 B2 JP 5772442B2 JP 2011207382 A JP2011207382 A JP 2011207382A JP 2011207382 A JP2011207382 A JP 2011207382A JP 5772442 B2 JP5772442 B2 JP 5772442B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- rectification
- image
- processing module
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
これに関連する技術として、例えば、特許文献1には、高精度かつ信頼性の高い光学的文字認識を行うことを目的とし、局所特徴抽出のための並列束縛特徴検出を行う層を複数個有し、次元性低減のための完全接続層を複数個有する階層的ネットワークによって実現され、文字分類も完全接続層において実行され、並列束縛特徴検出の各々の層は、複数個の束縛特徴マップ及び対応する複数個のカーネルよりなり、所定のカーネルが直接単一の束縛特徴マップに関連し、各層間でのアンダーサンプリングが実行されることが開示されている。
請求項1の発明は、画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、前記整流処理手段による処理結果に対して、正規化処理を行う複数の正規化処理手段と、前記正規化処理手段による処理結果に対して、サブサンプリング処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段を具備し、前記正規化処理手段は、2つの前記整流処理手段による処理結果間の差を、該処理結果に基づいた値を除数として除算することによって正規化することを特徴とする画像処理装置である。
画像を、複数のクラスのうちいずれかに識別する技術がある。いわゆる認識技術である。また、これらの中では、画像と正解クラスの組から識別装置を学習し、認識率を向上させるようにしているものがある。具体的には、受け付けたパターン(画像)を識別する階層ネットワークに関する技術である。
特に、階層型ニューラルネットワークの一種である畳込ニューラルネットワーク(Convolutional Neural Network、以下CNNという)を用いて、画像を識別することが可能であることが知られている。[LeCun, Yann, et al. “Gradient−Based Learning Applied to Document Recognition.” Proceedings of the IEEE 86.11 (1998): 2278−2324.]
CNN識別装置の特徴抽出層(特徴抽出層910、特徴抽出層920)は、畳込み層とサブサンプリング層で構成される。各層の入力は、複数枚の2次元空間に配置された特徴量からなる、3次元の特徴マップであり、出力は新たな特徴マップである。CNN識別装置が受け付ける画像900も特徴マップの一種とみなす。
畳込み層では、受け付けた特徴量にウェイトを畳込み(畳込み処理として、例えば、2次元デジタルフィルタが利用される)、サブサンプリング層では、その畳込みの応答をサブサンプリングすることで、受け付けた特徴量を位置の局所的な変動に対して不変な特徴量に変換する。
この特徴抽出層(特徴抽出層910、特徴抽出層920)は複数回繰り返し(図9では、2つの特徴抽出層であるが、3以上であってもよい。)、その出力を識別器930が受け付ける。
識別器930は、受け付けた特徴量から、画像900が属するクラスを識別する。識別器930は一般に、多層パーセプトロンやRBF(Radial Basis Function)で構成される。
特徴抽出層(特徴抽出層910、特徴抽出層920)の畳込みウェイトは、画像及び正解クラスの組を用いて、一般に誤差逆伝搬法にて行われる。
例えば、参考文献として、特開平5−6463号公報、特開平7−64941号公報、特開2002−373333号公報、特開2005−215988号公報、特開2010−157118号公報等が挙げられる。
この特徴抽出層は、複数の畳込み処理モジュール1010、複数の整流処理モジュール1020、正規化処理モジュール1030、複数のサブサンプリング処理モジュール1040を有している。つまり、従来のCNNに整流処理、正規化処理を付加したものである。
畳込み処理モジュール1010a、畳込み処理モジュール1010bは、それぞれ整流処理モジュール1020a、整流処理モジュール1020bと接続されており、画像又は特徴マップ1000A、1000B、1000Cを受け付け、これらに対して畳込み処理を行う。
整流処理モジュール1020aは、畳込み処理モジュール1010a、平均算出処理モジュール1032、差算出処理モジュール1034a、標準偏差算出処理モジュール1036と接続されている。従来のCNNでは、正負が混在する畳込み応答どうしをサブサンプリングすることによる特徴の打ち消しあいが発生していた。認識率を改善させるために、この整流処理を加えることによって、特徴の打ち消しあいを抑えている。具体的な整流処理としては、例えば、絶対値化処理、2乗処理等がある。
整流処理モジュール1020bは、畳込み処理モジュール1010b、平均算出処理モジュール1032、差算出処理モジュール1034b、標準偏差算出処理モジュール1036と接続されており、整流処理モジュール1020aと同等の処理を行う。
平均算出処理モジュール1032は、整流処理モジュール1020a、整流処理モジュール1020b、差算出処理モジュール1034a、差算出処理モジュール1034bと接続されている。平均算出処理モジュール1032は、全ての整流処理後の値の平均値を算出し、その平均値を差算出処理モジュール1034a等に渡す。
差算出処理モジュール1034aは、整流処理モジュール1020a、平均算出処理モジュール1032、除算処理モジュール1038aと接続されている。差算出処理モジュール1034aは、整流処理モジュール1020aによる処理結果から平均算出処理モジュール1032で算出された平均値を減算する処理を行う。
差算出処理モジュール1034bは、整流処理モジュール1020b、平均算出処理モジュール1032、除算処理モジュール1038bと接続されており、差算出処理モジュール1034aと同等の処理を行う。
標準偏差算出処理モジュール1036は、整流処理モジュール1020a、整流処理モジュール1020b、除算処理モジュール1038a、除算処理モジュール1038bと接続されている。標準偏差算出処理モジュール1036は、全ての整流処理後の値の標準偏差を算出し、その標準偏差を除算処理モジュール1038a等に渡す。
除算処理モジュール1038aは、差算出処理モジュール1034a、標準偏差算出処理モジュール1036、サブサンプリング処理モジュール1040aと接続されている。除算処理モジュール1038aは、差算出処理モジュール1034aによる処理結果を標準偏差算出処理モジュール1036で算出された標準偏差で除算する(つまり標準偏差を除数としている)。
除算処理モジュール1038bは、差算出処理モジュール1034b、標準偏差算出処理モジュール1036、サブサンプリング処理モジュール1040bと接続されており、除算処理モジュール1038aと同等の処理を行う。
サブサンプリング処理モジュール1040aは、除算処理モジュール1038aと接続されている。サブサンプリング処理モジュール1040aは、除算処理モジュール1038aによる処理結果をサブサンプリング処理する。そして、次の特徴抽出層へ出力するか(つまり、次の特徴抽出層にとっての画像又は特徴マップ1000A、1000B、1000C等になる)、識別器(識別層ともいわれる)への出力となる。
サブサンプリング処理モジュール1040bは、除算処理モジュール1038bと接続されており、サブサンプリング処理モジュール1040aと同等の処理を行う。
例えば、正規化処理モジュール1030が受け付ける値の分散が小さな値であった場合、正規化処理によって値は大きく拡大されるため、出力値は正規化の分母の符号、すなわち受け付けた値の平均値に強く依存する。
また、正規化処理モジュール1030が受け付ける値の一部が大きな値(例えば、ノイズ等の影響で大きな値となる場合がある)をとる場合に、出力値全体が大きく変化してしまう。
図12、図13は、このような場合の正規化処理の例を示す説明図である。図12(a)の例に示すグラフは正規化処理モジュール1030が受け付ける値であり、最初にノイズ等の影響で大きな値が発生している。したがって、この値の平均値は、その他の値で算出した平均値よりも高くなる。図12(b)の例に示すグラフは、この場合に正規化処理モジュール1030が出力する値である。
図13(a)の例に示すグラフは正規化処理モジュール1030が受け付ける値である。図12(a)の例に示すグラフと比較すると、ノイズ等の影響で大きな値は発生していないが、図12(a)の例の最初の部分以外は類似しているグラフである。この値の平均値は、図12(a)の例の平均値よりも低くなる。図13(b)の例に示すグラフは、この場合に正規化処理モジュール1030が出力する値である。つまり、図12(b)の例に示すグラフと図13(a)の例に示すグラフは類似しているにもかかわらず、図12(b)の例に示すグラフと図13(b)の例に示すグラフは異なっている。つまり、正規化処理の出力は、受け付けた値の平均値に依存している。
このように、CNNの特徴抽出層には、正規化処理が受け付ける値の一部(一部の畳込みフィルタ応答)の変動が、出力される特徴量全体の大きな変動を引き起こす場合がある。つまり、受け付ける画像の変動に対して安定した特徴量が得られない場合がある。
<第1の実施の形態>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
この画像処理装置は、特徴抽出層であって、2つの畳込みフィルタの応答に整流処理を施した特徴量のペアについて、そのペアにおける差を、そのペア内の特徴量に基づいた値を除数として除算することによって正規化し、サブサンプリングしたものを出力特徴量とする。
整流処理モジュール120aは、畳込み処理モジュール110a、差算出処理モジュール132a、除数算出処理モジュール134aと接続されている。整流処理モジュール120aは、整流処理を行う。前述した図10に例示した整流処理モジュール1020と同等の処理を行う。もちろん、整流処理モジュール1020b等の処理も同等である。
差算出処理モジュール132aは、整流処理モジュール120a、整流処理モジュール120b、除算処理モジュール136aと接続されている。
除数算出処理モジュール134aは、整流処理モジュール120a、整流処理モジュール120b、除算処理モジュール136aと接続されている。
除算処理モジュール136aは、差算出処理モジュール132a、除数算出処理モジュール134a、サブサンプリング処理モジュール140aと接続されている。
正規化処理モジュール130が行う正規化処理として、2つの整流処理モジュール120(例えば、整流処理モジュール120aと整流処理モジュール120bのペア)による処理結果間の差を、その処理結果に基づいた値(例えば、平均値、標準偏差、最頻値、中央値等)を除数として除算することによって正規化する。なお、処理結果間の差とは、一方の処理結果から他方の処理結果を減算することであり、整流処理モジュール120a、整流処理モジュール120bのいずれが一方であり、他方であってもよい。
この特徴抽出層において、一部の畳込み処理モジュール110による処理結果(フィルタ応答)の変動が及ぼす出力特徴量への影響は、ペア内に限定的であり、一部のフィルタ応答が出力される特徴量全体に大きな変動を引き起こすことを抑制している。
また、ペアによる処理結果間の差をとることで、畳込み処理モジュール110が受け付ける特徴量が大きく(又は小さく)変位した場合であっても、変動を抑制した安定した特徴量が得られるというCNNの利点は保たれている。
特に、画像又は特徴マップの値が0であった場合に、特徴抽出層が出力する特徴量も0となり、したがって後段の識別器に、受け付けた画像又は特徴マップの値が0であったことを伝えられることになる。
ウェイトの学習は、受け付ける画像と正解識別クラスの組を用いて、誤差逆伝搬法にてクロスエントロピー誤差を最小化させて行われる。
したがって、識別器は、1層の全結合層とSoftmax関数によって構成されていてもよい。識別器は、1層の全結合層とRBF関数によって構成されていてもよい。特徴抽出層及び識別器は、画像と正解クラスの組から結合重みを学習するようにしてもよい。結合重みの学習は、誤差逆伝搬法にて行われるようにしてもよい。
図3は、第2の実施の形態の構成例についての概念的なモジュール構成図である。第1の実施の形態による処理結果は変わらず、正規化処理の減算及び除算の演算量を減らすために、第1の実施の形態において、図1に例示の特徴抽出層のサブサンプリング処理を、正規化処理の後から正規化処理の前に移動させる。
第2の実施の形態は、図3の例に示すように、畳込み処理モジュール310、整流処理モジュール320、サブサンプリング処理モジュール330、正規化処理モジュール340を有している。
畳込み処理モジュール310は、畳込み処理モジュール110と同等の処理を行う。
整流処理モジュール320は、畳込み処理モジュール310、サブサンプリング処理モジュール330、除数算出処理モジュール344と接続されており、整流処理モジュール120と同等の処理を行うが、その処理結果をサブサンプリング処理モジュール330、除数算出処理モジュール344に渡す。
サブサンプリング処理モジュール330は、整流処理モジュール320、差算出処理モジュール342と接続されている。サブサンプリング処理モジュール330は、整流処理モジュール320による処理結果に対して、サブサンプリング処理を行う。
差算出処理モジュール342aは、サブサンプリング処理モジュール330a、サブサンプリング処理モジュール330b、除算処理モジュール346aと接続されている。
除数算出処理モジュール344aは、整流処理モジュール320a、整流処理モジュール320b、除算処理モジュール346aと接続されている。
除算処理モジュール346aは、差算出処理モジュール342a、除数算出処理モジュール344aと接続されている。
正規化処理モジュール340が行う正規化処理として、2つのサブサンプリング処理モジュール330(例えば、サブサンプリング処理モジュール330aとサブサンプリング処理モジュール330bのペア)による処理結果間の差を、2つの整流処理モジュール320による処理結果に基づいた値(例えば、平均値、標準偏差、最頻値、中央値等)を除数として除算することによって正規化する。なお、処理結果間の差とは、一方の処理結果から他方の処理結果を減算することであり、サブサンプリング処理モジュール330a、サブサンプリング処理モジュール330bのいずれが一方であり、他方であってもよい。
図4は、第3の実施の形態の構成例についての概念的なモジュール構成図である。正規化処理の除数算出処理の演算量を減らすために、第2の実施形態において、除数算出処理への入力を、サブサンプリング前の特徴量から、サブサンプリング後の特徴量に変更したものである。
第3の実施の形態は、図4の例に示すように、畳込み処理モジュール410、整流処理モジュール420、サブサンプリング処理モジュール430、正規化処理モジュール440を有している。
畳込み処理モジュール410は、畳込み処理モジュール310と同等の処理を行う。
整流処理モジュール420は、畳込み処理モジュール410、サブサンプリング処理モジュール430と接続されている。整流処理モジュール320と同等の処理を行う。
サブサンプリング処理モジュール430は、整流処理モジュール420、差算出処理モジュール442、除数算出処理モジュール444と接続されている。サブサンプリング処理モジュール330と同等の処理を行うが、その処理結果を差算出処理モジュール442、除数算出処理モジュール444に渡す。
差算出処理モジュール442aは、サブサンプリング処理モジュール430a、サブサンプリング処理モジュール430b、除算処理モジュール446aと接続されている。
除数算出処理モジュール444aは、サブサンプリング処理モジュール430a、サブサンプリング処理モジュール430b、除算処理モジュール446aと接続されている。
除算処理モジュール446aは、差算出処理モジュール442a、除数算出処理モジュール444aと接続されている。
正規化処理モジュール440が行う正規化処理として、2つのサブサンプリング処理モジュール430(例えば、サブサンプリング処理モジュール430aとサブサンプリング処理モジュール430bのペア)による処理結果間の差を、その処理結果に基づいた値(例えば、平均値、標準偏差、最頻値、中央値等)を除数として除算することによって正規化する。なお、処理結果間の差とは、一方の処理結果から他方の処理結果を減算することであり、サブサンプリング処理モジュール430a、サブサンプリング処理モジュール430bのいずれが一方であり、他方であってもよい。
図5は、第4の実施の形態の構成例についての概念的なモジュール構成図である。正規化処理の演算量を減らすために、第3の実施の形態において、(式9)におけるβ=1では、β乗及び1/β乗の計算が不要となる。
第4の実施の形態は、図5の例に示すように、畳込み処理モジュール510、整流処理モジュール520、サブサンプリング処理モジュール530、正規化処理モジュール540を有している。
畳込み処理モジュール510は、畳込み処理モジュール410と同等の処理を行う。
整流処理モジュール520は、整流処理モジュール420と同等の処理を行う。
サブサンプリング処理モジュール530は、サブサンプリング処理モジュール430と同等の処理を行う。
差算出処理モジュール542aは、サブサンプリング処理モジュール530a、サブサンプリング処理モジュール530b、除算処理モジュール546aと接続されている。
和算出処理モジュール544aは、サブサンプリング処理モジュール530a、サブサンプリング処理モジュール530b、除算処理モジュール546aと接続されている。
除算処理モジュール546aは、差算出処理モジュール542a、和算出処理モジュール544aと接続されている。
正規化処理モジュール540が行う正規化処理として、2つのサブサンプリング処理モジュール530(例えば、サブサンプリング処理モジュール530aとサブサンプリング処理モジュール530bのペア)による処理結果間の差を、その処理結果の和を除数として除算することによって正規化する。なお、処理結果間の差とは、一方の処理結果から他方の処理結果を減算することであり、サブサンプリング処理モジュール530a、サブサンプリング処理モジュール530bのいずれが一方であり、他方であってもよい。
図6は、第5の実施の形態の構成例についての概念的なモジュール構成図である。第3の実施の形態及び第4の実施の形態において、サブサンプリング処理は、複数の畳込み処理モジュールによる処理結果を入力とする一般化平均に拡張できる。
第5の実施の形態は、図6の例に示すように、畳込み処理モジュール610、整流+サブサンプリング処理モジュール620、正規化処理モジュール630を有している。
畳込み処理モジュール610は、畳込み処理モジュール510と同等の処理を行う。
整流処理モジュール622aは、畳込み処理モジュール610a、和算出処理モジュール624aと接続されている。整流処理モジュール622aは、畳込み処理モジュール610aによる処理結果に対して、整流処理を行う。例えば、畳込み処理モジュール610aによる処理結果の絶対値のr乗の算出を行う。
和算出処理モジュール624aは、整流処理モジュール622a、整流処理モジュール622b、整流処理モジュール622c、サブサンプリング処理モジュール626aと接続されている。和算出処理モジュール624aは、複数の整流処理モジュール622(r個の整流処理モジュール622a、622b、・・・、622c)による処理結果を加算する。
サブサンプリング処理モジュール626aは、和算出処理モジュール624a、平均化処理モジュール628aと接続されている。サブサンプリング処理モジュール626aは、和算出処理モジュール624aによる処理結果に対して、サブサンプリング処理を行う。
平均化処理モジュール628aは、サブサンプリング処理モジュール626a、差算出処理モジュール632、和算出処理モジュール634と接続されている。平均化処理モジュール628aは、サブサンプリング処理モジュール626aによる処理結果に対して、平均化処理を行う。例えば、サブサンプリング処理モジュール626aによる処理結果のr乗根の算出を行う。
差算出処理モジュール632は、平均化処理モジュール628a、平均化処理モジュール628d、除算処理モジュール636と接続されている。
和算出処理モジュール634は、平均化処理モジュール628a、平均化処理モジュール628d、除算処理モジュール636と接続されている。
除算処理モジュール636は、差算出処理モジュール632、和算出処理モジュール634と接続されている。
正規化処理モジュール630が行う正規化処理として、2つの平均化処理モジュール628(例えば、平均化処理モジュール628aと平均化処理モジュール628d)による処理結果間の差を、その処理結果の和を除数として除算することによって正規化する。なお、処理結果間の差とは、一方の処理結果から他方の処理結果を減算することであり、平均化処理モジュール628a、平均化処理モジュール628dのいずれが一方であり、他方であってもよい。
正規化処理は、入力の重み付き一般化平均を除数としてもよい((式11)の第1式)。
図7は、第6の実施の形態の構成例についての概念的なモジュール構成図である。画像の局所的な位相変動に対して不変な出力が得られるようにするために、第5の実施の形態において、サブサンプリング処理へ入力する畳込みフィルタ応答の数を2に、r=2にする(視覚のエネルギーモデル[Adelson, Edward H and James R Bergen. “Spatiotemporal energy models for the perception of motion.” Journal of the Optical Society of America A 2.2 (1985): 284−299.]参照)。
学習時間の短縮及び認識率を向上させるために、畳込みフィルタが学習によって得るべき局所的な不変性を、予め学習しやすい構成とする。
第6の実施の形態は、図7の例に示すように、畳込み処理モジュール710、整流+サブサンプリング処理モジュール720、正規化処理モジュール730を有している。
畳込み処理モジュール710は、畳込み処理モジュール610と同等の処理を行う。
整流処理モジュール722aは、畳込み処理モジュール710a、和算出処理モジュール724aと接続されている。整流処理モジュール722aは、畳込み処理モジュール710aによる処理結果を入力として、その入力の絶対値に対してr乗を行う処理(rは正の整数、好適には例えばr=2の場合は二乗の算出処理)による整流処理を行う。
和算出処理モジュール724aは、整流処理モジュール722a、整流処理モジュール722b、サブサンプリング処理モジュール726aと接続されている。和算出処理モジュール724aは、2個の整流処理モジュール722(整流処理モジュール722a、722b)による処理結果を加算する。
サブサンプリング処理モジュール726aは、和算出処理モジュール724a、平均化処理モジュール728aと接続されている。サブサンプリング処理モジュール726aは、和算出処理モジュール724aによる処理結果に対して、サブサンプリング処理を行う。
平均化処理モジュール728aは、サブサンプリング処理モジュール726a、差算出処理モジュール732、和算出処理モジュール734と接続されている。平均化処理モジュール728aは、サブサンプリング処理モジュール726aによる処理結果に対して、r' 乗を行う処理(好適にはr’=1/r、例えばr=2の場合は平方根処理)を行うことによって平均化処理を行う。
差算出処理モジュール732は、平均化処理モジュール728a、平均化処理モジュール728d、除算処理モジュール736と接続されている。
和算出処理モジュール734は、平均化処理モジュール728a、平均化処理モジュール728d、除算処理モジュール736と接続されている。
除算処理モジュール736は、差算出処理モジュール732、和算出処理モジュール734と接続されている。
正規化処理モジュール730が行う正規化処理として、2つの平均化処理モジュール728(例えば、平均化処理モジュール728aと平均化処理モジュール728d)による処理結果間の差を、その処理結果の和を除数として除算することによって正規化する。なお、処理結果間の差とは、一方の処理結果から他方の処理結果を減算することであり、平均化処理モジュール728a、平均化処理モジュール728dのいずれが一方であり、他方であってもよい。
正規化処理は、(式12)の第2式としてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
110…畳込み処理モジュール
120…整流処理モジュール
130…正規化処理モジュール
132…差算出処理モジュール
134…除数算出処理モジュール
136…除算処理モジュール
140…サブサンプリング処理モジュール
200…画像
210…特徴抽出層1:
220…特徴マップA:
230…特徴抽出層2:
240…特徴マップB:
250…特徴抽出層3:
260…特徴マップC:
270…出力
300…画像又は特徴マップ
310…畳込み処理モジュール
320…整流処理モジュール
330…サブサンプリング処理モジュール
340…正規化処理モジュール
342…差算出処理モジュール
344…除数算出処理モジュール
346…除算処理モジュール
400…画像又は特徴マップ
410…畳込み処理モジュール
420…整流処理モジュール
430…サブサンプリング処理モジュール
440…正規化処理モジュール
442…差算出処理モジュール
444…除数算出処理モジュール
446…除算処理モジュール
500…画像又は特徴マップ
510…畳込み処理モジュール
520…整流処理モジュール
530…サブサンプリング処理モジュール
540…正規化処理モジュール
542…差算出処理モジュール
544…和算出処理モジュール
546…除算処理モジュール
600…画像又は特徴マップ
610…畳込み処理モジュール
620…整流+サブサンプリング処理モジュール
622…整流処理モジュール
624…和算出処理モジュール
626…サブサンプリング処理モジュール
628…平均化処理モジュール
630…正規化処理モジュール
632…差算出処理モジュール
634…和算出処理モジュール
636…除算処理モジュール
700…画像又は特徴マップ
710…畳込み処理モジュール
720…整流+サブサンプリング処理モジュール
722…整流処理モジュール
724…和算出処理モジュール
726…サブサンプリング処理モジュール
728…平均化処理モジュール
730…正規化処理モジュール
732…差算出処理モジュール
734…和算出処理モジュール
736…除算処理モジュール
900…画像
910…特徴抽出層
920…特徴抽出層
930…識別器
1000…画像又は特徴マップ
1010…畳込み処理モジュール
1020…整流処理モジュール
1030…正規化処理モジュール
1032…平均算出処理モジュール
1034…差算出処理モジュール
1036…標準偏差算出処理モジュール
1038…除算処理モジュール
1040…サブサンプリング処理モジュール
Claims (11)
- 画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、正規化処理を行う複数の正規化処理手段と、
前記正規化処理手段による処理結果に対して、サブサンプリング処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
を具備し、
前記正規化処理手段は、2つの前記整流処理手段による処理結果間の差を、該処理結果に基づいた値を除数として除算することによって正規化する
ことを特徴とする画像処理装置。 - 画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
を具備し、
前記正規化処理手段は、2つの前記サブサンプリング処理手段による処理結果間の差を、2つの前記整流処理手段による処理結果に基づいた値を除数として除算することによって正規化する
ことを特徴とする画像処理装置。 - 画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
を具備し、
前記正規化処理手段は、2つの前記サブサンプリング処理手段による処理結果間の差を、該処理結果に基づいた値を除数として除算することによって正規化する
ことを特徴とする画像処理装置。 - 画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
を具備し、
前記正規化処理手段は、2つの前記サブサンプリング処理手段による処理結果間の差を、該処理結果の和を除数として除算することによって正規化する
ことを特徴とする画像処理装置。 - 画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
複数の前記整流処理手段による処理結果を加算する複数の加算手段と、
前記加算手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、平均化処理を行う複数の平均化処理手段と、
前記平均化処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
を具備し、
前記整流処理手段、前記加算手段、前記サブサンプリング処理手段、前記平均化処理手段による処理は、重み付き一般化平均処理であり、
前記正規化処理手段は、2つの前記平均化処理手段による処理結果間の差を、該処理結果の和を除数として除算することによって正規化する
ことを特徴とする画像処理装置。 - 前記整流処理手段が行う整流処理は、入力の絶対値に対してr乗を行う処理(rは正の実数)であり、
前記平均化処理手段が行う平均化処理は、r’乗を行う処理である
ことを特徴とする請求項5に記載の画像処理装置。 - コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、正規化処理を行う複数の正規化処理手段と、
前記正規化処理手段による処理結果に対して、サブサンプリング処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
として機能させ、
前記正規化処理手段は、2つの前記整流処理手段による処理結果間の差を、該処理結果に基づいた値を除数として除算することによって正規化する
ことを特徴とする画像処理プログラム。 - コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
として機能させ、
前記正規化処理手段は、2つの前記サブサンプリング処理手段による処理結果間の差を、2つの前記整流処理手段による処理結果に基づいた値を除数として除算することによって正規化する
ことを特徴とする画像処理プログラム。 - コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
として機能させ、
前記正規化処理手段は、2つの前記サブサンプリング処理手段による処理結果間の差を、該処理結果に基づいた値を除数として除算することによって正規化する
ことを特徴とする画像処理プログラム。 - コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
前記整流処理手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
として機能させ、
前記正規化処理手段は、2つの前記サブサンプリング処理手段による処理結果間の差を、該処理結果の和を除数として除算することによって正規化する
ことを特徴とする画像処理プログラム。 - コンピュータを、
画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像に対して、畳込処理を行う複数の畳込処理手段と、
前記畳込処理手段による処理結果に対して、整流処理を行う複数の整流処理手段と、
複数の前記整流処理手段による処理結果を加算する複数の加算手段と、
前記加算手段による処理結果に対して、サブサンプリング処理を行う複数のサブサンプリング処理手段と、
前記サブサンプリング処理手段による処理結果に対して、平均化処理を行う複数の平均化処理手段と、
前記平均化処理手段による処理結果に対して、正規化処理を行うことによって、前記画像の特徴量を抽出する複数の特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴量に基づいて、前記画像を識別する識別手段
として機能させ、
前記整流処理手段、前記加算手段、前記サブサンプリング処理手段、前記平均化処理手段による処理は、重み付き一般化平均処理であり、
前記正規化処理手段は、2つの前記平均化処理手段による処理結果間の差を、該処理結果の和を除数として除算することによって正規化する
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011207382A JP5772442B2 (ja) | 2011-09-22 | 2011-09-22 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011207382A JP5772442B2 (ja) | 2011-09-22 | 2011-09-22 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013069132A JP2013069132A (ja) | 2013-04-18 |
JP5772442B2 true JP5772442B2 (ja) | 2015-09-02 |
Family
ID=48474772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011207382A Expired - Fee Related JP5772442B2 (ja) | 2011-09-22 | 2011-09-22 | 画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5772442B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6582416B2 (ja) | 2014-05-15 | 2019-10-02 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
KR102055355B1 (ko) * | 2015-01-28 | 2019-12-12 | 구글 엘엘씨 | 배치 정규화 레이어들 |
US9436895B1 (en) * | 2015-04-03 | 2016-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarity of objects represented in images |
JP6561877B2 (ja) * | 2016-03-01 | 2019-08-21 | 株式会社デンソー | 演算処理装置 |
JP6773568B2 (ja) | 2017-01-18 | 2020-10-21 | 株式会社日立製作所 | 演算システムおよびニューラルネットワークの演算方法 |
JP6823495B2 (ja) | 2017-02-27 | 2021-02-03 | 株式会社日立製作所 | 情報処理装置および画像認識装置 |
US11308391B2 (en) * | 2017-03-06 | 2022-04-19 | Baidu Usa Llc | Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles |
JP6903966B2 (ja) | 2017-03-16 | 2021-07-14 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
CN108805261B (zh) | 2017-04-28 | 2021-11-12 | 微软技术许可有限责任公司 | 基于八叉树的卷积神经网络 |
US9984325B1 (en) * | 2017-10-04 | 2018-05-29 | StradVision, Inc. | Learning method and learning device for improving performance of CNN by using feature upsampling networks, and testing method and testing device using the same |
CN108364061B (zh) * | 2018-02-13 | 2020-05-05 | 北京旷视科技有限公司 | 运算装置、运算执行设备及运算执行方法 |
WO2020013075A1 (ja) * | 2018-07-12 | 2020-01-16 | ソニー株式会社 | 積和演算システム及び積和演算方法 |
US11687761B2 (en) * | 2018-12-11 | 2023-06-27 | Amazon Technologies, Inc. | Improper neural network input detection and handling |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6038337A (en) * | 1996-03-29 | 2000-03-14 | Nec Research Institute, Inc. | Method and apparatus for object recognition |
JP4532915B2 (ja) * | 2004-01-29 | 2010-08-25 | キヤノン株式会社 | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
WO2008133951A2 (en) * | 2007-04-24 | 2008-11-06 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
-
2011
- 2011-09-22 JP JP2011207382A patent/JP5772442B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013069132A (ja) | 2013-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5772442B2 (ja) | 画像処理装置及び画像処理プログラム | |
US10963632B2 (en) | Method, apparatus, device for table extraction based on a richly formatted document and medium | |
JP5142135B2 (ja) | データを分類する技術 | |
US11954139B2 (en) | Deep document processing with self-supervised learning | |
JP2004054956A (ja) | 顔/類似顔映像で学習されたパターン分類器を利用した顔検出方法及びシステム | |
CN114048568A (zh) | 一种基于多源迁移融合收缩框架的旋转机械故障诊断方法 | |
WO2020190480A1 (en) | Classifying an input data set within a data category using multiple data recognition tools | |
CN111523537A (zh) | 一种文字识别方法、存储介质及*** | |
JP5214679B2 (ja) | 学習装置、方法及びプログラム | |
TWI601098B (zh) | 影像分類裝置及影像分類方法 | |
CN111259916A (zh) | 一种标签缺失情况下的低秩投影特征提取方法 | |
JP5445062B2 (ja) | 情報処理装置及び情報処理プログラム | |
CN117218408A (zh) | 基于因果纠偏学习的开放世界目标检测方法及装置 | |
CN110188073A (zh) | 活体检测日志解析的方法、装置、存储介质及计算机设备 | |
Liu et al. | Learning region-guided scale-aware feature selection for object detection | |
US20210342642A1 (en) | Machine learning training dataset optimization | |
CN111199256B (zh) | 图像优化网络的训练方法、图像处理方法及装置 | |
KR102464851B1 (ko) | 다중 스케일 특징맵을 이용하는 학습 방법 및 영상 분류 방법 | |
KR20230111010A (ko) | 관절 예측을 위한 학습 데이터 생성 방법 및 장치 | |
Ghashghaei et al. | Grayscale image statistics of COVID-19 patient CT scans characterize lung condition with machine and deep learning | |
JP5489894B2 (ja) | 画像処理装置及び画像処理プログラム | |
Mohammed et al. | Multilevel artificial intelligence classification of faulty image data for enhancing sensor reliability | |
CN112069946A (zh) | 人脸美丽预测方法、装置、***及存储介质 | |
Prieto et al. | Evaluation of novelty detection methods for condition monitoring applied to an electromechanical system | |
JP6511942B2 (ja) | 情報処理装置および情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5772442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |