JPWO2007013425A1

JPWO2007013425A1 - Automatic image processing system

Info

Publication number: JPWO2007013425A1
Application number: JP2007528463A
Authority: JP
Inventors: 大森　隆司; 隆司大森; 昭利小川
Original assignee: Hokkaido University NUC
Current assignee: Hokkaido University NUC
Priority date: 2005-07-26
Filing date: 2006-07-25
Publication date: 2009-02-05
Also published as: WO2007013425A1

Abstract

画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることができる画像処理自動構成装置。この装置において、組合せ制御器（２３０）は、パターン確率ＣＴとＣＢの加重平均のパターン確率Ｃから、複数のライブラリ組合せパターンを生成する。各ライブラリ組合せパターンは、評価値が計算される。組合せ制御器（２３０）は、評価値が上位のライブラリ組合せパターンを最も良く生成できるパターン確率を推定する。推定結果は、トップダウン探索器（２１０）のパターン記憶器（２１６）とボトムアップ学習器（２２０）のパターン記憶器（２２４）に出力される。An image processing automatic configuration apparatus capable of causing processing contents to follow an image example in a short time even when the image example is switched. In this apparatus, the combination controller (230) generates a plurality of library combination patterns from the pattern probabilities CT and the weighted average pattern probability C of CB. An evaluation value is calculated for each library combination pattern. The combination controller (230) estimates a pattern probability that can best generate a library combination pattern having a higher evaluation value. The estimation result is output to the pattern storage unit (216) of the top-down searcher (210) and the pattern storage unit (224) of the bottom-up learning unit (220).

Description

本発明は、画像処理自動構成装置に関する。 The present invention relates to an image processing automatic configuration apparatus.

従来、画像処理のプログラム（ソフトウエア）は、問題ごとに技術者が作成していた。これに対し、近時、進化的手法のような組合せ最適化法などを用いて画像処理タスクに関する事前の知識を持たずに評価値によって探索的に画像処理ソフトウエアを自動構成する研究が行われている。 Conventionally, an image processing program (software) has been created by an engineer for each problem. In contrast, recently, research has been conducted to automatically configure image processing software based on evaluation values without using prior knowledge of image processing tasks using combinatorial optimization methods such as evolutionary methods. ing.

進化的手法により画像処理の自動構成を目指す手法の一例として、例えば、ＡＣＴＩＴ（ＡｕｔｏｍａｔｉｃＣｏｎｓｔｒｕｃｔｉｏｎｏｆＴｒｅｅ−ｓｔｒｕｃｔｕｒａｌＩｍａｇｅＴｒａｎｓｆｏｒｍａｔｉｏｎ：木構造状画像変換自動構築システム）と呼ばれるものが提案されている（非特許文献１）。 As an example of a method aiming at automatic configuration of image processing by an evolutionary method, for example, what is called ACTIT (Automatic Structure of Tree-Structural Image Transformation) is proposed (Non-Patent Document). 1).

この手法では、画像フィルタを木構造に配置し、葉から根へ処理を進行させることで、画像処理を実現するようにしている。また、この手法では、所与の画像例をもとにして、木構造を進化的手法の一つである遺伝的プログラミングにより最適化することで、所望の画像処理の自動構成を可能にしている。
青木紳也、長尾智晴、「木構造状画像変換の自動構築法ＡＣＴＩＴ」，映像情報メディア学会誌，５３，６，（１９９９），８８８ In this method, image processing is realized by arranging image filters in a tree structure and advancing processing from leaves to roots. In addition, this method enables automatic configuration of desired image processing by optimizing the tree structure by genetic programming, which is one of the evolutionary methods, based on a given image example. .
Shinya Aoki, Tomoharu Nagao, “Automatic construction method of tree-structured image conversion”, Journal of the Institute of Image Information and Television Engineers, 53, 6, (1999), 888

しかしながら、従来の手法においては、最適化までに時間がかかり、しかも、構成された処理が画像例に特化してしまう傾向がある。 However, in the conventional method, it takes time until optimization, and the configured processing tends to be specialized in the image example.

すなわち、従来の手法では、画像処理ライブラリの使用回数を制限せずに木構造そのものを探索するため、木構造が大きくなってしまい、その結果、探索しなければならない木構造の数が膨大になってしまう。また、この手法では、探索の結果として、入力画像に非常に特化した処理が獲得されるため、獲得した処理が一般性に乏しく、類似する画像に対しても再探索に時間がかかってしまう。そのため、例えば、画像例が入れ替わる場合、とりわけ、短時間で画像例が入れ替わり続けるような場合には、最適化までに時間がかかり、処理内容を画像例に追従させることが困難であり、過去の結果を再利用することができないという問題がある。 That is, in the conventional method, the tree structure itself is searched without limiting the number of times the image processing library is used, so that the tree structure becomes large, and as a result, the number of tree structures to be searched becomes enormous. End up. Also, with this method, since processing that is very specific to the input image is acquired as a result of the search, the acquired processing is not general, and it takes time to re-search for similar images. . Therefore, for example, when the image examples are switched, especially when the image examples continue to be switched in a short time, it takes time to optimize, and it is difficult to make the processing content follow the image examples. There is a problem that the result cannot be reused.

本発明の目的は、画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることができる画像処理自動構成装置を提供することである。 An object of the present invention is to provide an automatic image processing configuration apparatus capable of causing processing contents to follow an image example in a short time even when the image example is switched.

本発明は、複数の画像処理要素を含む画像処理ライブラリを記憶するライブラリ記憶手段と、前記複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定する画像処理要素組合せ決定手段と、決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するライブラリパラメタ更新手段と、を有し、前記画像処理要素のパラメタは、確率分布で表現されている、構成を採る。 The present invention uses a library storage means for storing an image processing library including a plurality of image processing elements, and a joint probability matrix indicating a probability of input / output connection between the plurality of image processing elements. Image processing element combination determining means for determining a combination; and library parameter updating means for updating a parameter of the image processing element using a parameter of the image processing element associated with the determined combination. The parameter of the processing element takes a configuration expressed by a probability distribution.

本発明によれば、画像例が入れ替わる場合であっても、画像処理要素組合せの探索に確率分布の制限がかかっているため、短時間で処理内容を画像例に追従させることができる。 According to the present invention, even when the image examples are switched, since the probability distribution is restricted in the search for the image processing element combination, the processing content can be followed in a short time.

本発明の一実施の形態に係る画像処理自動構成装置の構成を示すブロック図1 is a block diagram showing a configuration of an image processing automatic configuration apparatus according to an embodiment of the present invention. 図１に示す画像処理生成部の構成の一例を示すブロック図The block diagram which shows an example of a structure of the image process production | generation part shown in FIG. 画像処理ライブラリに含まれるフィルタの例を示す図The figure which shows the example of the filter which is included in the image processing library 図２に示すトップダウン探索器の動作の一例を示すフローチャートThe flowchart which shows an example of operation | movement of the top-down searcher shown in FIG. 図２に示すボトムアップ学習器の動作の一例を示すフローチャートThe flowchart which shows an example of operation | movement of the bottom-up learning device shown in FIG. 本実施の形態に係る画像処理自動構成装置の全体動作の概略を示すフローチャートThe flowchart which shows the outline of the whole operation | movement of the image processing automatic structure apparatus based on this Embodiment. 結合確率行列を用いてＤＡＧ状の画像処理要素組合せパターンを生成する方法を説明するための図The figure for demonstrating the method to produce | generate a DAG-like image processing element combination pattern using a joint probability matrix 実験に用いた入力画像群を示す図The figure which shows the input image group which was used for experiment 実験に用いた教師画像を示す図The figure which shows the teacher picture which was used for experiment 実験で得られた画像処理後の結果画像を示す図The figure which shows the result image after the image processing which is obtained in experiment 最大評価値の推移を示す図Figure showing the transition of the maximum evaluation value

以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

本発明者は、短時間で処理内容を画像例に追従させるためには、画像処理要素の組合せとパラメタをそれぞれ確率的に扱う必要があることを見出した。また、その際、追従を加速するためには、可能であれば過去の結果を再利用する必要があることを見出したのである。 The inventor has found that it is necessary to treat each combination of image processing elements and parameters stochastically in order to make the processing content follow the image example in a short time. In addition, at that time, in order to accelerate the follow-up, it has been found that past results need to be reused if possible.

本発明は、確率分布を試行錯誤的に推定する手法により画像処理要素の組合せを確率として保持し統計的に学習すると同時に、確率的探索手法により画像処理要素のパラメタを学習することで、画像処理自動構成を実現するものである。ここで、確率分布を試行錯誤的に推定する手法としては、例えば、一例として、進化的手法の一つである分布推定アルゴリズム（ＥｓｔｉｍａｔｉｏｎｏｆＤｉｓｔｒｉｂｕｔｉｏｎＡｌｇｏｒｉｔｈｍ：ＥＤＡ）があり、また、確率的探索手法としては、例えば、一例として、確率的山登り法（ＳｔｏｃｈａｓｔｉｃＨｉｌｌ−Ｃｌｉｍｂｉｎｇ：ＳＨＣ）がある。なお、概念としては、確率分布を試行錯誤的に推定する手法と、確率的探索手法とは、あまり変わらない。 The present invention holds a combination of image processing elements as probabilities as a probability by a method of estimating a probability distribution by trial and error, and at the same time, learns parameters of the image processing elements by a probabilistic search method, thereby performing image processing. It realizes automatic configuration. Here, as a technique for estimating the probability distribution by trial and error, for example, there is a distribution estimation algorithm (EDA) which is one of evolutionary techniques, and a probabilistic search technique is also available. For example, there is a stochastic hill-climbing (SHC) as an example. Note that, as a concept, the method of estimating the probability distribution by trial and error and the probabilistic search method are not so different.

具体的な画像処理要素の組合せを指定する確率分布は、類似する複数の組合せを同時に表現していると考えられるため、画像例の入れ替わりがあった場合において、要求される画像処理が確率分布により表現されている画像処理と類似するときは、即応的に提示画像例に対応する画像処理が探索・発見されることになる。その結果、画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることが可能になると考えられる。 The probability distribution that specifies a specific combination of image processing elements is considered to represent a plurality of similar combinations at the same time. Therefore, when there is a change in the example of the image, the required image processing depends on the probability distribution. When the image processing is similar to the expressed image processing, the image processing corresponding to the presented image example is searched and discovered immediately. As a result, it is considered that the processing content can follow the image example in a short time even when the image example is switched.

実際、後で詳述するが、本発明者は、画像中の自動車領域を抽出するタスクを、異なる画像群で複数用意し、それらが順次切り替わる実験を行った。その結果、各画像群に対応する画像処理が学習されると同時に、画像の切り替わりに即応的に対応することができた。 Actually, as will be described in detail later, the present inventor conducted an experiment in which a plurality of tasks for extracting an automobile region in an image are prepared in different image groups and these are sequentially switched. As a result, image processing corresponding to each image group was learned, and at the same time, it was possible to respond quickly to image switching.

図１は、本発明の一実施の形態に係る画像処理自動構成装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an image processing automatic configuration apparatus according to an embodiment of the present invention.

図１に示す画像処理自動構成装置１００は、例えば、分布推定アルゴリズムにより画像処理要素の組合せを確率として保持し統計的に学習すると同時に、画像処理パラメタを、例えば、確率的山登り法により学習することで、画像処理自動構成を実現するものであって、コンピュータで構成されており、大別して、画像保持部１１０、画像処理部１２０、評価部１３０、および画像処理生成部１４０を有する。 The image processing automatic configuration apparatus 100 illustrated in FIG. 1 holds, for example, statistically learning a combination of image processing elements as probabilities using a distribution estimation algorithm, and simultaneously learns image processing parameters using, for example, a probabilistic hill climbing method. The image processing automatic configuration is realized by a computer, and roughly includes an image holding unit 110, an image processing unit 120, an evaluation unit 130, and an image processing generation unit 140.

画像保持部１１０には、画像処理の対象である入力画像群Ｉ＝｛Ｉ_１，Ｉ_２，…，Ｉ_Ｎ｝と、処理例として性能評価の基準である教師画像群Ｔ＝｛Ｔ_１，Ｔ_２，…，Ｔ_Ｎ｝が記憶されている。また、画像保持部１１０には、入力画像群Ｉに含まれる入力画像と、教師画像群Ｔに含まれる教師画像との対応関係も記憶されている。入力画像群Ｉと教師画像群Ｔは、いずれも、Ｎ個の画像で構成されている。入力画像群Ｉは、画像処理部１２０に出力され、教師画像群Ｔは、評価部１３０に出力される。The image holding unit 110 includes an input image group I = {I ₁ , I ₂ ,..., I _N }, which is an object of image processing, and a teacher image group T = {T ₁ , which is a performance evaluation standard as a processing example. T ₂ ,..., T _N } are stored. The image holding unit 110 also stores a correspondence relationship between input images included in the input image group I and teacher images included in the teacher image group T. Both the input image group I and the teacher image group T are composed of N images. The input image group I is output to the image processing unit 120, and the teacher image group T is output to the evaluation unit 130.

画像処理部１２０は、画像保持部１１０から入力画像群Ｉを受け取り、受け取った入力画像群Ｉを画像処理生成部１４０により生成された画像処理プログラムにより処理し、得られた画像（結果画像）を評価部１３０に出力する。画像処理生成部１４０では、後述するように、パターンとして複数（Ｍ個）の画像処理プログラム（以下「画像処理パターン」または単に「パターン」ともいう）を含む画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝が生成されるため、画像処理部１２０は、画像処理群Ｐに含まれる各画像処理パターンｐ_ｍ（ｍ＝１，２，…，Ｍ）について順次処理を行う。The image processing unit 120 receives the input image group I from the image holding unit 110, processes the received input image group I with the image processing program generated by the image processing generation unit 140, and obtains the obtained image (result image). Output to the evaluation unit 130. In the image processing generation unit 140, as will be described later, an image processing group P = {p ₁ , p including a plurality of (M) image processing programs (hereinafter also referred to as “image processing patterns” or simply “patterns”) as patterns. ₂ ,..., P _M } is generated, the image processing unit 120 sequentially processes each image processing pattern p _m (m = 1, 2,..., M) included in the image processing group P.

評価部１３０は、画像処理部１２０から結果画像を受け取るとともに、画像保持部１１０から対応する教師画像を受け取り、受け取った結果画像と教師画像を比較して、合成された（自動構成された）画像処理プログラム、つまり、当該画像処理パターンｐ_ｍの性能評価を行う。この性能評価の結果である評価値ｆ（ｐ_ｍ）は、画像処理生成部１４０に出力される。性能評価は、例えば、画像処理部１２０からの画像と画像保持部１１０からの教師画像との正規化画像相関を計算することによって行われる。この場合、評価値ｆ（ｐ_ｍ）は、正規化画像相関の計算値である。なお、ここでは、各画像処理パターンｐ_ｍに対応する評価値ｆ（ｐ_ｍ）を含む評価値群｛ｆ（ｐ_１），ｆ（ｐ_２），…，ｆ（ｐ_Ｍ）｝をｆ（Ｐ）と表記する。The evaluation unit 130 receives the result image from the image processing unit 120 and also receives the corresponding teacher image from the image holding unit 110, compares the received result image with the teacher image, and combines (automatically configured) images. processing program, that is, the performance evaluation of the image processing pattern p _m. An evaluation value f (p _m ) that is a result of this performance evaluation is output to the image processing generation unit 140. The performance evaluation is performed, for example, by calculating a normalized image correlation between the image from the image processing unit 120 and the teacher image from the image holding unit 110. In this case, the evaluation value f (p _m ) is a calculated value of normalized image correlation. Here, the image processing pattern _p evaluation value corresponding to the _m f _{(p m)} evaluation value group including _{_{{f (p 1), f}} (p 2), ..., f (p M)} and f ( P).

画像処理生成部１４０は、本発明の特徴部分であって、個別処理を再利用可能に集積した画像処理要素の組合せとパラメタを確率的手法により最適化しつつ、複数（Ｍ個）の画像処理パターンを含む画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を生成し、画像処理部１２０に提供する。本実施の形態では、画像処理群Ｐの生成、つまり、画像処理の自動構成は、分布推定アルゴリズムにより画像処理要素の組合せを確率として保持し、その確率分布を多数の組合せ例から統計的に学習すると同時に、当面の対象画像に対しては確率的山登り法により画像処理要素のパラメタを探索することによって行う。The image processing generation unit 140 is a characteristic part of the present invention, and a plurality of (M) image processing patterns while optimizing a combination and parameters of image processing elements in which individual processes are integrated so as to be reusable by a probabilistic method. Image processing group P = {p ₁ , p ₂ ,..., P _M } including is generated and provided to the image processor 120. In this embodiment, the generation of the image processing group P, that is, the automatic configuration of the image processing, holds a combination of image processing elements as probabilities by a distribution estimation algorithm, and statistically learns the probability distribution from a large number of combination examples. At the same time, the current target image is searched for the parameters of the image processing element by the probabilistic hill-climbing method.

画像処理生成部１４０は、機能的には、Ｄ個の画像処理要素（例えば、各種フィルタ）を含む画像処理ライブラリＬ＝｛ｌ_１，ｌ_２，…，ｌ_Ｄ｝、画像処理ライブラリＬの各要素の組合せ方を決定する結合確率行列Ｃ、および画像処理ライブラリＬの各要素のパラメタ群Θ＝｛θ_１，θ_２，…，θ_Ｄ｝で構成されている。Functionally, the image processing generation unit 140 includes an image processing library L = {l ₁ , l ₂ ,..., L _D } including D image processing elements (for example, various filters), and each of the image processing libraries L. A combination probability matrix C that determines how elements are combined and a parameter group Θ = {θ ₁ , θ ₂ ,..., Θ _D } of each element of the image processing library L are configured.

結合確率行列Ｃの各要素は、画像処理ライブラリＬのある画像処理要素とある画像処理要素とが入出力関係を持つかどうかを確率分布で表現したものであり、この確率分布は、確率分布を試行錯誤的に推定する手法（本実施の形態では、分布推定アルゴリズム）により推定される。また、画像処理ライブラリＬの各要素のパラメタについても、パラメタ自体が確率分布で表現されており、この確率分布は、ある値の最適値を確率分布を用いて探索する手法、つまり、確率的探索手法（本実施の形態では、確率的山登り法）により推定される。 Each element of the joint probability matrix C expresses whether or not an image processing element in the image processing library L and an image processing element have an input / output relationship by a probability distribution. This is estimated by a trial and error estimation method (in this embodiment, a distribution estimation algorithm). Further, the parameters of each element of the image processing library L are also expressed by a probability distribution, and this probability distribution is a technique for searching for an optimum value of a certain value using the probability distribution, that is, a stochastic search. It is estimated by a method (in this embodiment, a stochastic hill-climbing method).

本実施の形態では、結合確率行列（パターン確率）Ｃは、当該結合確率行列Ｃを探索により最適化する探索器から出力されるパターン確率Ｃ_Ｔと、入力画像群Ｉから推定パターン確率Ｃを出力するように学習する学習器から出力されるパターン確率Ｃ_Ｂとに分けられる。結合確率行列Ｃは、これらパターン確率Ｃ_ＴとＣ_Ｂの加重和、またはいずれか一方により決定される。In the present embodiment, the joint probability matrix (pattern probability) C outputs a pattern probability C _T output from a searcher that optimizes the joint probability matrix C by searching, and an estimated pattern probability C from the input image group I. And the pattern probability C _B output from the learning device that learns. Joint probability matrix C is determined by one weighted sum or any, of the patterns probabilities C _T and C _B.

画像処理群Ｐの生成は、結合確率行列Ｃに基づいて画像処理ライブラリＬの各要素を非循環有向グラフ（ＤＡＧ：ＤｉｒｅｃｔｅｄＡｃｙｃｌｉｃＧｒａｐｈ）状に配置し、各ライブラリパラメタθ_ｄ（ｄ＝１，２，…，Ｄ）を指定することにより行う。画像処理ライブラリＬの各要素をＤＡＧ状に配置することで、表現能力が高くなる。このとき、生成する各画像処理パターンｐ_ｍ（ｍ＝１，２，…，Ｍ）は、入力部、中間処理部、および出力部の３つの部分から構成され、ＤＡＧの始点が入力部に、終点が出力部にそれぞれ設定される。詳細は、後で説明する。The generation of the image processing group P is performed by arranging each element of the image processing library L in the form of a directed acyclic graph (DAG) based on the joint probability matrix C, and each library parameter θ _d (d = 1, 2, ..., D) is specified. By arranging the elements of the image processing library L in a DAG shape, the expression capability is enhanced. In this case, the image generating processing pattern _{p m (m = 1,2, ...} , M) includes an input unit, an intermediate processor, and is composed of three parts of the output section, the DAG of the starting point input unit, Each end point is set in the output section. Details will be described later.

また、画像処理生成部１４０は、評価部１３０からの評価値群ｆ（Ｐ）を用いてパターン確率Ｃ_ＴとＣ_Ｂを更新し、新たな画像処理群Ｐを生成する。The image processing generating unit 140 updates the pattern probability C _T and C _B using the evaluation value group f (P) from the evaluation unit 130 generates a new image processing unit P.

図２は、上記機能を有する画像処理生成部１４０の構成の一例を示すブロック図である。 FIG. 2 is a block diagram illustrating an example of the configuration of the image processing generation unit 140 having the above functions.

この画像処理生成部１４０は、大別して、画像処理ライブラリ部２００、トップダウン探索器２１０、およびボトムアップ学習器２２０を有する。トップダウン探索器２１０は、結合確率行列（パターン確率）Ｃを探索により最適化する機能を有し、特徴抽出器２１２、状況検出器２１４、およびパターン記憶器２１６（出力Ｃ_Ｔ）を有する。ボトムアップ学習器２２０は、入力画像群Ｉから推定パターン確率Ｃを出力するように学習する機能を有し、特徴抽出器２２２およびパターン記憶器２２４（出力Ｃ_Ｂ）を有する。また、トップダウン探索器２１０およびボトムアップ学習器２２０は、共通の組合せ制御器２３０をさらに有している。The image processing generation unit 140 roughly includes an image processing library unit 200, a top-down searcher 210, and a bottom-up learning unit 220. The top-down searcher 210 has a function of optimizing the joint probability matrix (pattern probability) C by searching, and includes a feature extractor 212, a situation detector 214, and a pattern storage 216 (output C _T ). The bottom-up learner 220 has a function of learning to output the estimated pattern probability C from the input image group I, and has a feature extractor 222 and a pattern storage 224 (output C _B ). The top-down searcher 210 and the bottom-up learner 220 further have a common combination controller 230.

画像処理ライブラリ部２００には、画像処理要素として、例えば、各種のフィルタが記憶されている。具体的には、例えば、（１）平均値フィルタ、つまり、例えば、３×３領域の平均値を新たな画素値とするフィルタ、（２）しきい値をパラメタとして持つ二値化フィルタ、つまり、決められたしきい値以上の画素値を１（白）、それ以外の画素値を０（黒）とするフィルタ、（３）ラプラシアンフィルタ、つまり、例えば、図３Ａに示すように３×３領域の加重平均を新たな画素値とするフィルタ、（４）反転フィルタ、つまり、１−（画素値）を新たな画素値とするフィルタ、（５）メジアンフィルタ、つまり、例えば、３×３領域のメジアンを新たな画素値とするフィルタ、（６）論理和フィルタ、つまり、入力された２画像の同一位置画素値を比較し、大きい方を採用して１画像とするフィルタ、（７）論理積フィルタ、つまり、入力された２画像の同一位置画素値を比較し、小さい方を採用して１画像とするフィルタ、（８）ｘ軸ソベルフィルタ、つまり、横方向への微分値を新たな画素値とする、具体的には、図３Ｂに示すような３×３領域の加重平均を新たな画素値とするフィルタ、（９）ｙ軸ソベルフィルタ、つまり、縦方向への微分値を新たな画素値とする、具体的には、図３Ｃに示すような３×３領域の加重平均を新たな画素値とするフィルタ、（１０）３×３最大値フィルタ、つまり、３×３領域の最大画素値を新たな画素値とするフィルタ、（１１）３×３最小値フィルタ、つまり、３×３領域の最小画素値を新たな画素値とするフィルタ、（１２）平均値をしきい値とする二値化フィルタ、つまり、画像全体の平均値を計算し、その値以上の画素値を１（白）、それ以外の画素値を０（黒）とするフィルタ、（１３）面積大の領域を１、その他を０と二値化するフィルタ、つまり、領域抽出と面積の計算を行い、平均面積の計算を行い、平均面積よりも大きい面積の領域の画素値を１（白）、それ以外の画素値を０（黒）とするフィルタ、などが記憶されている。 In the image processing library unit 200, for example, various filters are stored as image processing elements. Specifically, for example, (1) an average value filter, that is, a filter having, for example, an average value of a 3 × 3 region as a new pixel value, and (2) a binarization filter having a threshold value as a parameter, that is, (3) Laplacian filter, that is, for example, 3 × 3 as shown in FIG. 3A. A filter with a weighted average of regions as a new pixel value, (4) an inversion filter, that is, a filter with 1- (pixel value) as a new pixel value, and (5) a median filter, ie, a 3 × 3 region, for example. (6) logical sum filter, that is, a filter that compares the same-position pixel values of two input images and adopts the larger one as one image, and (7) logic Product filter, ie input The same position pixel values of the two images are compared, and the smaller one is adopted as one image, (8) x-axis Sobel filter, that is, the differential value in the horizontal direction is set as a new pixel value. Specifically, a filter having a weighted average of 3 × 3 regions as shown in FIG. 3B as a new pixel value, (9) a y-axis Sobel filter, that is, a differential value in the vertical direction is set as a new pixel value. Specifically, as shown in FIG. 3C, a filter having a weighted average of 3 × 3 area as a new pixel value, (10) 3 × 3 maximum value filter, that is, a maximum pixel value of 3 × 3 area is newly set. A filter for pixel values, (11) a 3 × 3 minimum value filter, that is, a filter for which the minimum pixel value in the 3 × 3 region is a new pixel value, and (12) a binarization filter for which the average value is a threshold value In other words, the average value of the entire image is calculated, and the pixel value greater than that value is 1 (white) A filter that sets the other pixel values to 0 (black), (13) a filter that binarizes the area with a large area to 1 and the others to 0, that is, performs area extraction and area calculation, and calculates the average area. And a filter that stores a pixel value of an area larger than the average area as 1 (white) and other pixel values as 0 (black) is stored.

特徴抽出器２１２、２２２は、入力画像群Ｉを受け取り、各入力画像Ｉ（ｎ＝１，２，…，Ｎ）の特徴を抽出して特徴画像を得る。得られた特徴画像は、状況検出器２１４と（トップダウン探索器２１０の場合）、パターン記憶器２２４に（ボトムアップ学習器２２０の場合）、それぞれ出力される。 The feature extractors 212 and 222 receive the input image group I and extract the features of each input image I (n = 1, 2,..., N) to obtain feature images. The obtained feature images are output to the situation detector 214 (in the case of the top-down searcher 210) and the pattern storage unit 224 (in the case of the bottom-up learner 220), respectively.

状況検出器２１４は、特徴抽出器２１２から特徴画像を受け取り、受け取った特徴画像から、当該入力画像が、どのような場面の画像であるか、または、新規な画像であるかを検出し、検出結果をパターン記憶器２１６に出力する。ここでは、例えば、過去に処理した特徴画像は、分類されて番号付けがなされており、過去に処理した場面の画像である場合は、対応する番号を出力し、新規な画像である場合は、新しい番号を付与して出力する。また、例えば、特徴画像に基づく状況の学習は、教師付き分類学習器または教師なし分類学習器を用いて行われる。 The situation detector 214 receives the feature image from the feature extractor 212, detects from the received feature image what kind of scene the input image is or a new image, and detects it. The result is output to the pattern memory 216. Here, for example, feature images processed in the past are classified and numbered, and if the image is a scene image processed in the past, the corresponding number is output, and if it is a new image, Output with a new number. Further, for example, the situation learning based on the feature image is performed using a supervised classification learning device or an unsupervised classification learning device.

トップダウン探索器２１０のパターン記憶器２１６には、パターン確率Ｃ_Ｔが記憶されている。このパターン確率Ｃ_Ｔは、状況検出器２１４の検出結果と対応付けられており、状況検出器２１４の検出結果に対応するパターン確率Ｃ_Ｔが組合せ制御器２３０に出力されるようになっている。The pattern storing unit 216 of the top-down search 210, the pattern probability C _T are stored. The pattern probability C _T is associated with the detection result of the situation detector 214, and the pattern probability C _T corresponding to the detection result of the situation detector 214 is output to the combination controller 230.

また、ボトムアップ学習器２２０のパターン記憶器２２４には、パターン確率Ｃ_Ｂが記憶されている。Further, in the pattern storage unit 224 of the bottom-up learning 220, the pattern probability C _B are stored.

組合せ制御器２３０は、画像処理要素の組合せとパラメタを確率的手法により最適化しつつ、画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を生成する機能を有する。処理の概要は、次の通りである。The combination controller 230 has a function of generating the image processing group P = {p ₁ , p ₂ ,..., P _M } while optimizing the combination and parameters of the image processing elements by a probabilistic method. The outline of the processing is as follows.

まず、トップダウン探索器２１０のパターン記憶器２１６からパターン確率Ｃ_Ｔを、ボトムアップ学習器２２０のパターン記憶器２２４からパターン確率Ｃ_Ｂをそれぞれ受け取り、両者の加重平均（またはいずれか一方）により結合確率行列（パターン確率）Ｃを計算する。そして、結合確率行列Ｃに基づいて、複数の画像処理要素組合せパターン、つまり、画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を生成する。そして、各パターンｐ_ｍ（ｍ＝１，２，…，Ｍ）の評価値ｆ（ｐ_ｍ）を評価部１３０から受け取り、評価が良好な上位のパターン（Ｑ個、但し、Ｑ＜Ｍ）を選別する。そして、選別したパターンを生成するようなパターン確率Ｃ_ｎｅｗを推定し、この推定結果を結合確率行列Ｃに出力する。これにより、結合確率行列Ｃは、現在のパターン確率Ｃを、受け取った推定パターン確率Ｃ_ｎｅｗに置き換え、最適な画像処理要素組合せパターンの探索を継続する。First, the pattern probability C _T is received from the pattern memory 216 of the top-down searcher 210, and the pattern probability C _B is received from the pattern memory 224 of the bottom-up learner 220, and combined by the weighted average (or either) of both A probability matrix (pattern probability) C is calculated. Based on the connection probability matrix C, a plurality of image processing element combination patterns, that is, an image processing group P = {p ₁ , p ₂ ,..., P _M } is generated. Then, the evaluation value f (p _m ) of each pattern p _m (m = 1, 2,..., M) is received from the evaluation unit 130, and high-order patterns (Q, where Q <M) with good evaluation are received. Sort out. Then, the pattern probability C _new that generates the selected pattern is estimated, and the estimation result is output to the joint probability matrix C. As a result, the joint probability matrix C replaces the current pattern probability C with the received estimated pattern probability _Cnew , and continues to search for the optimum image processing element combination pattern.

また、推定されたパターン確率Ｃ_ｎｅｗは、トップダウン探索器２１０のパターン記憶器２１６およびボトムアップ学習器２２０のパターン記憶器２２４にそれぞれ出力され、それぞれの学習の教師データとして用いられる。これにより、トップダウン探索器２１０のパターン記憶器２１６は、入力画像群Ｉに対する状況検出結果から推定パターン確率Ｃ_ｎｅｗを、ボトムアップ学習器２２０のパターン記憶器２２４は、入力画像群Ｉから推定パターン確率Ｃ_ｎｅｗを、それぞれ出力するように学習することができる。The estimated pattern probability C _new is output to the pattern storage unit 216 of the top-down searcher 210 and the pattern storage unit 224 of the bottom-up learning unit 220, and is used as teacher data for each learning. As a result, the pattern storage unit 216 of the top-down searcher 210 uses the estimated pattern probability C _new from the situation detection result for the input image group I, and the pattern storage unit 224 of the bottom-up learner 220 uses the estimated pattern from the input image group I. The probabilities C _new can be learned to be output.

また、上記の処理を分布推定アルゴリズムおよび確率的山登り法に即して説明すると、次の通りである。これらの分布推定アルゴリズムおよび確率的山登り法は、組合せ制御器２３０で実行される。 The above processing will be described in accordance with the distribution estimation algorithm and the stochastic hill climbing method as follows. These distribution estimation algorithms and the stochastic hill-climbing method are executed by the combination controller 230.

まず、組合せ制御器２３０で実行される分布推定アルゴリズムの手順について説明する。 First, the procedure of the distribution estimation algorithm executed by the combination controller 230 will be described.

まず、組合せ制御器２３０は、トップダウン探索器２１０のパターン記憶器２１６から出力されるパターン確率Ｃ_Ｔと、ボトムアップ学習器２２０のパターン記憶器２２４から出力されるパターン確率Ｃ_Ｂとの加重平均（またはいずれか一方）のパターン確率Ｃに基づいて、複数の画像処理要素組合せパターン、つまり、画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を生成する。First, the combination controller 230 is a weighted average of the pattern probability C _T output from the pattern memory 216 of the top-down searcher 210 and the pattern probability C _B output from the pattern memory 224 of the bottom-up learner 220. A plurality of image processing element combination patterns, that is, an image processing group P = {p ₁ , p ₂ ,..., P _M } is generated based on (or any one) pattern probability C.

そして、組合せ制御器２３０は、生成した各画像処理要素組合せパターンｐ_ｍ（ｍ＝１，２，…，Ｍ）を画像処理部１２０に出力する。Then, the combination controller 230 outputs the generated image processing element combination patterns p _m (m = 1, 2,..., M) to the image processing unit 120.

なお、この後、画像処理部１２０では、組合せ制御器２３０からの各画像処理要素組合せパターンを用いて各入力画像Ｉ_ｎ（ｎ＝１，２，…，Ｎ）を処理し、得られた画像（結果画像）を評価部１３０に出力する。そして、評価部１３０では、当該画像処理要素組合せパターンｐ_ｍの評価値ｆ（ｐ_ｍ）を計算し、組合せ制御器２３０に出力する。これを画像処理要素組合せパターンの数（Ｍ個）だけ繰り返すことにより、すべての画像処理要素組合せパターンＰ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝の評価値ｆ（Ｐ）＝｛ｆ（ｐ_１），ｆ（ｐ_２），…，ｆ（ｐ_Ｍ）｝が計算される。After that, the image processing unit 120 processes each input image I _n (n = 1, 2,..., N) using each image processing element combination pattern from the combination controller 230, and obtains the obtained image. (Result image) is output to the evaluation unit 130. Then, the evaluation unit 130 calculates the image processing element combination patterns _{p m} of the evaluation value f _{(p m),} and outputs to the combination controller 230. By repeating this for the number of image processing element combination patterns (M), evaluation values f (P) = {f () of all image processing element combination patterns P = {p ₁ , p ₂ ,..., P _M }. p ₁ ), f (p ₂ ),..., f (p _M )} are calculated.

そして、組合せ制御器２３０は、評価部１３０から受け取った評価値群ｆ（Ｐ）をもとにして、評価値が上位の画像処理要素組合せパターンをＱ個（Ｑ＜Ｍ）選別し、選別したパターンを最も良く生成することができるパターン確率Ｃ_ｎｅｗを推定する。この推定は、例えば、最尤推定法（ＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄ）により行われる。評価値が上位のＱ個の画像処理組合せパターンをＵとすると、推定したパターン確率Ｃ_ｎｅｗは、次の式（１）で表される。

但し、ＭＬ（Ｕ）は、Ｕから最尤推定された、Ｃと同じサイズの結合確率行列である。Then, the combination controller 230 selects Q image processing element combination patterns having higher evaluation values (Q <M) and selects them based on the evaluation value group f (P) received from the evaluation unit 130. Estimate the pattern probability C _new that can best generate the pattern. This estimation is performed by, for example, a maximum likelihood estimation method (Maximum Likelihood). If the Q image processing combination patterns having the highest evaluation value are U, the estimated pattern probability C _new is expressed by the following equation (1).

However, ML (U) is a joint probability matrix of the same size as C, which is estimated from U.

そして、組合せ制御器２３０は、推定したパターン確率Ｃ_ｎｅｗをトップダウン探索器２１０のパターン記憶器２１６とボトムアップ学習器２２０のパターン記憶器２２４にそれぞれ出力する。Then, the combination controller 230 outputs the estimated pattern probability C _new to the pattern storage unit 216 of the top-down searcher 210 and the pattern storage unit 224 of the bottom-up learning unit 220, respectively.

なお、この後、推定されたパターン確率Ｃ_ｎｅｗを受け取ったトップダウン探索器２１０のパターン記憶器２１６は、当該処理で選択したパターン確率Ｃ_Ｔを受け取った推定パターン確率Ｃ_ｎｅｗに置き換える。このとき、パターン確率Ｃ_Ｔは、上記の推定されたパターン確率Ｃ_ｎｅｗを用いて、次の式（２）により学習される。

但し、αは学習率を表し（０≦α≦１）、ユーザによって設定可能である。Note that, after this, the pattern storage unit 216 for top-down searcher 210 that has received the estimated pattern probability C _new replaces the estimated pattern probability C _new received pattern probability C _T selected in the process. At this time, the pattern probability _CT is learned by the following equation (2) using the estimated pattern probability _Cnew .

However, α represents a learning rate (0 ≦ α ≦ 1) and can be set by the user.

また、推定されたパターン確率Ｃ_ｎｅｗを受け取ったボトムアップ学習器２２０のパターン記憶器２２４は、この推定パターン確率Ｃ_ｎｅｗを教師データとして受け取り、受け取った教師データとしての推定パターン確率Ｃ_ｎｅｗを出力するように、内部のパラメタを更新（学習）する。この詳細は、後述する。The pattern storage unit 224 of the bottom-up learning 220 which has received the estimated pattern probability C _new receives the estimated pattern probability C _new as teacher data, and outputs the estimated pattern probability C _new as received teacher data Thus, the internal parameters are updated (learned). Details of this will be described later.

すなわち、この分布推定アルゴリズムでは、順次、現在の確率分布から画像処理要素の組合せパターンを複数生成し、各組合せパターンの評価値を計算し、上位の組合せパターンを最も良く生成することができる確率分布を例えば最尤推定法などにより推定し、現在の確率分布を推定した確率分布に置き換える。そして、これら一連の処理を、所定の条件を満たすまで繰り返す。所定の条件としては、例えば、所定の回数を超えた場合や、確率分布の変動幅がある一定値よりも小さくなった場合などを挙げることができる。 That is, in this distribution estimation algorithm, a probability distribution that can generate a plurality of combination patterns of image processing elements sequentially from the current probability distribution, calculate an evaluation value of each combination pattern, and best generate an upper combination pattern. Is estimated by the maximum likelihood estimation method, for example, and the current probability distribution is replaced with the estimated probability distribution. These series of processes are repeated until a predetermined condition is satisfied. Examples of the predetermined condition include a case where a predetermined number of times has been exceeded, and a case where the fluctuation range of the probability distribution has become smaller than a certain value.

次に、組合せ制御器２３０で実行される確率的山登り法について説明する。 Next, the stochastic hill climbing method executed by the combination controller 230 will be described.

まず、最適化したい値（ここでは、画像処理ライブラリＬ各要素のパラメタ）を正規分布で表現する。正規分布には平均と分散があり、分散は、ある（任意に設定可能な）規則に従って徐々に小さくなっていく。ここでは、平均を次のようにして求める。例えば、分布推定アルゴリズムにおける上位の画像処理要素組合せパターンの選別結果を利用し、これら上位の画像処理要素組合せパターンに付随しているパラメタの平均を算出する。これを「推定された平均」と呼ぶことにする。そして、次の式（３）により正規分布の平均を更新する。

但し、βは、０から１までの実数であり、通常は、０．１前後の小さい値に設定される。最終的には分散はほぼ０になるため、推定された平均が最適化された値になる。First, the value to be optimized (here, the parameter of each element of the image processing library L) is expressed by a normal distribution. The normal distribution has an average and a variance, and the variance gradually decreases according to a certain rule (which can be arbitrarily set). Here, the average is obtained as follows. For example, the average of the parameters associated with these higher-order image processing element combination patterns is calculated using the result of selecting the higher-order image processing element combination patterns in the distribution estimation algorithm. This will be referred to as the “estimated average”. And the average of normal distribution is updated by following Formula (3).

However, β is a real number from 0 to 1, and is normally set to a small value around 0.1. Eventually the variance will be approximately zero, so the estimated average will be an optimized value.

次いで、上記構成を有するトップダウン探索器２１０の動作について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに示す手順は、入力画像群Ｉの各入力画像Ｉ_ｎ（ｎ＝１，２，…，Ｎ）に対して行われる。また、図４に示すフローチャートは、画像処理自動構成装置１００の図示しない記憶装置（例えば、ＲＯＭなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって実行される。Next, the operation of the top-down searcher 210 having the above configuration will be described using the flowchart of FIG. The procedure shown in the flowchart of FIG. 4 is performed for each input image I _n (n = 1, 2,..., N) of the input image group I. The flowchart shown in FIG. 4 is stored as a control program in a storage device (not shown) such as a ROM (not shown) of the automatic image processing apparatus 100, and is executed by a CPU (not shown).

まず、ステップＳ１０００では、特徴抽出器２１２で、ある入力画像Ｉ_ｎ（ｎ＝１，２，…，Ｎ）の特徴を抽出して特徴画像を取得し、取得した特徴画像を状況検出器２１４に出力する。First, in step S1000, the feature extractor 212 extracts features of a certain input image I _n (n = 1, 2,..., N) to acquire a feature image, and the acquired feature image is sent to the situation detector 214. Output.

そして、ステップＳ１１００では、状況検出器２１４で、ステップＳ１０００で取得した特徴画像から、当該入力画像が、どのような場面の画像であるか、または、新規な画像であるかを検出し、検出結果をパターン記憶器２１６に出力する。 In step S1100, the situation detector 214 detects from the feature image acquired in step S1000 whether the input image is an image of a scene or a new image, and the detection result. Is output to the pattern memory 216.

そして、ステップＳ１２００では、パターン記憶器２１６で、自己が保持しているパターン確率の中から、ステップＳ１１００で検出した状況に対応するパターン確率を選択し、選択したパターン確率をＣ_Ｔとして組合せ制御器２３０に出力する。In step S1200, the pattern memory 216 selects a pattern probability corresponding to the situation detected in step S1100 from the pattern probabilities held by itself, and uses the selected pattern probability as C _T. 230.

そして、ステップＳ１３００では、組合せ制御器２３０で、ステップＳ１２００で選択したパターン確率Ｃ_Ｔと、ボトムアップ学習器２２０のパターン記憶器２２４から出力されたパターン確率Ｃ_Ｂとの加重平均を算出して（またはいずれか一方から）パターン確率Ｃを求め、得られたパターン確率Ｃに基づいて、複数の画像処理要素組合せパターン、つまり、画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を生成し、生成した各画像処理要素組合せパターンｐ_ｍ（ｍ＝１，２，…，Ｍ）を画像処理部１２０に出力する。Then, in step S1300, a combination controller 230 calculates the pattern probability _{C T} selected in step S1200, the weighted average of the probabilities pattern outputted from the pattern storage unit 224 of the bottom-up learner 220 _{C B} ( (From either one) A pattern probability C is obtained, and a plurality of image processing element combination patterns, that is, image processing groups P = {p ₁ , p ₂ ,..., P _M } are obtained based on the obtained pattern probability C. The generated image processing element combination patterns p _m (m = 1, 2,..., M) are output to the image processing unit 120.

そして、ステップＳ１４００では、組合せ制御器２３０で、評価部１３０からすべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取ったかどうかを判断する。この判断の結果として、すべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取った場合は（Ｓ１４００：ＹＥＳ）、ステップＳ１５００に進み、まだすべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取っていない場合は（Ｓ１４００：ＮＯ）、すべての画像処理要素組合せパターンＰの評価値ｆ（Ｐ）を受け取るまで待機する。 In step S1400, the combination controller 230 determines whether evaluation values f (P) of all image processing element combination patterns P have been received from the evaluation unit 130. As a result of this determination, if evaluation values f (P) of all image processing element combination patterns P are received (S1400: YES), the process proceeds to step S1500, and evaluation values f of all image processing element combination patterns P are still present. If (P) has not been received (S1400: NO), the process waits until evaluation values f (P) of all image processing element combination patterns P are received.

ステップＳ１５００では、組合せ制御器２３０で、評価値が上位の画像処理要素組合せパターンをＱ個（Ｑ＜Ｍ）選別し、選別したパターンを最も良く生成することができるパターン確率Ｃ_ｎｅｗを推定する。この推定は、例えば、上記のように、最尤推定法により行われる（上記式（１）参照）。In step S1500, the combination controller 230 selects Q image processing element combination patterns having higher evaluation values (Q <M), and estimates a pattern probability C _new that can best generate the selected pattern. This estimation is performed, for example, by the maximum likelihood estimation method as described above (see the above formula (1)).

そして、ステップＳ１６００では、組合せ制御器２３０で、ステップＳ１５００で推定したパターン確率Ｃ_ｎｅｗをパターン記憶器２１６とボトムアップ学習器２２０のパターン記憶器２２４にそれぞれ出力する。Then, in step S1600, a combination controller 230, and outputs the pattern probability _{C new} estimated in step S1500 in the pattern storage unit 224 of the pattern memory 216 and bottom-up learning 220.

そして、ステップＳ１７００では、パターン記憶器２１６で、ステップＳ１２００で選択したパターン確率Ｃ_Ｔを、ステップＳ１６００で組合せ制御器２３０から出力された推定パターン確率Ｃ_ｎｅｗに置き換える。このとき、パターン確率Ｃ_Ｔは、上記のように、推定パターン確率Ｃ_ｎｅｗを用いて、上記式（２）により学習される。In step S1700, the pattern memory 216 replaces the pattern probability C _T selected in step S1200 with the estimated pattern probability C _new output from the combination controller 230 in step S1600. At this time, the pattern probability C _T is learned by the above equation (2) using the estimated pattern probability C _new as described above.

次に、上記構成を有するボトムアップ学習器２２０の動作について、図５のフローチャートを用いて説明する。なお、図５のフローチャートに示す手順は、図４のフローチャートに示す手順と同様、入力画像群Ｉの各入力画像Ｉ_ｎ（ｎ＝１，２，…，Ｎ）に対して行われる。また、図５に示すフローチャートは、図４に示すフローチャートと同様、画像処理自動構成装置１００の図示しない記憶装置（ＲＯＭなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって実行される。また、図５のフローチャートに示す手順の一部は、図４のフローチャートに示す手順と共通しているため、その説明を省略する。Next, the operation of the bottom-up learning device 220 having the above configuration will be described using the flowchart of FIG. The procedure shown in the flowchart of FIG. 5 is performed for each input image I _n (n = 1, 2,..., N) of the input image group I as in the procedure shown in the flowchart of FIG. The flowchart shown in FIG. 5 is stored as a control program in a storage device (ROM or the like) (not shown) of the image processing automatic configuration apparatus 100, and is executed by a CPU (not shown), similarly to the flowchart shown in FIG. A part of the procedure shown in the flowchart of FIG. 5 is common to the procedure shown in the flowchart of FIG.

まず、ステップＳ２０００では、特徴抽出器２２２で、ある入力画像Ｉ_ｎ（ｎ＝１，２，…，Ｎ）の特徴を抽出して特徴画像を取得し、取得した特徴画像をパターン記憶器２２４に出力する。First, in step S2000, the feature extractor 222 extracts features of a certain input image I _n (n = 1, 2,..., N) to acquire a feature image, and the acquired feature image is stored in the pattern storage 224. Output.

そして、ステップＳ２１００では、パターン記憶器２２４で、ステップＳ２０００で取得した特徴画像をもとにしてパターン確率Ｃ_Ｂを計算し、得られたパターン確率Ｃ_Ｂを組合せ制御器２３０に出力する。具体的には、例えば、パターン確率Ｃ_Ｂは、ｓｉｇｍｏｉｄ関数を用いて、次の式（４）により計算される。なお、ｓｉｇｍｏｉｄ関数を用いた下記の式（４）は一例であり、パターン確率Ｃ_Ｂはどのような関数近似法でも学習することができる。

但し、Ｇは特徴画像、Ｖはパラメタである。また、ｓｉｇｍｏｉｄ関数ｆ（μ）は、次の式（５）で示す形をしている。

Then, in step S2100, the pattern storage unit 224, the pattern probability _{C B} calculated by the feature image acquired in step S2000 on the basis, and outputs the obtained pattern probability _{C B} to the combination controller 230. Specifically, for example, the pattern probability _{C B,} using the sigmoid function, is calculated by the following formula (4). Incidentally, the following equation using the sigmoid function (4) is an example, the pattern probability C _B can be learned in any function approximation.

However, G is a feature image and V is a parameter. Further, the sigmoid function f (μ) has a form represented by the following equation (5).

そして、ステップＳ１３００〜ステップＳ１６００は、図４に示すフローチャートのステップと同様であるため、その説明を省略する。 Steps S1300 to S1600 are the same as the steps in the flowchart shown in FIG.

そして、ステップＳ２２００では、パターン記憶器２２４で、ステップＳ１６００で組合せ制御器２３０から出力された推定パターン確率Ｃ_ｎｅｗを教師データとして受け取り、受け取った教師データとしての推定パターン確率Ｃ_ｎｅｗを出力するように、内部のパラメタを更新（学習）する。具体的には、例えば、次の式（６）により、パターン確率Ｃ_Ｂが推定パターン確率Ｃ_ｎｅｗの近似となるようにパラメタＶを学習する。

これは、推定されたパターン確率Ｃ_ｎｅｗを教師とする勾配法による学習である。但し、γは学習率、Ｇ’は転置を表す。なお、上記の式（６）は一例であり、学習式は、この式に限定されるわけではない。学習式は、どのような関数近似法でも学習することができる。Then, in step S2200, the pattern storage unit 224, receives the estimated pattern probability _{C new} output from the combination controller 230 in step S1600 as teacher data, to output the estimated pattern probability _{C new} as received teacher data Update (learn) internal parameters. Specifically, for example, the parameter V is learned by the following equation (6) so that the pattern probability C _B is an approximation of the estimated pattern probability C _new .

This is learning by the gradient method with the estimated pattern probability _Cnew as a teacher. However, (gamma) represents a learning rate and G 'represents transposition. The above formula (6) is an example, and the learning formula is not limited to this formula. The learning formula can be learned by any function approximation method.

次いで、上記構成を有する画像処理自動構成装置１００の全体動作の概略について、図６のフローチャートを用いて説明する。なお、図６に示すフローチャートは、図４および図５に示すフローチャートと同様、画像処理自動構成装置１００の図示しない記憶装置（ＲＯＭなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって実行される。 Next, an outline of the overall operation of the image processing automatic configuration apparatus 100 having the above configuration will be described with reference to the flowchart of FIG. Note that the flowchart shown in FIG. 6 is stored as a control program in a storage device (ROM or the like) (not shown) of the image processing automatic configuration apparatus 100 as in the flowcharts shown in FIGS. 4 and 5 and is executed by a CPU (not shown). The

まず、ステップＳ３０００では、システムの各パラメタを初期化する。 First, in step S3000, each parameter of the system is initialized.

そして、ステップＳ３１００では、入力画像群Ｉ＝｛Ｉ_１，Ｉ_２，…，Ｉ_Ｎ｝と教師画像群Ｔ＝｛Ｔ_１，Ｔ_２，…，Ｔ_Ｎ｝の組をシステムに付与して画像保持部１１０に記憶する。In step S3100, the input image group _{_{I = {I 1, I 2}} , ..., I N} teacher image group _{_{T = {T 1, T 2}} , ..., T N} image by applying a set of system Store in the holding unit 110.

そして、ステップＳ３２００では、画像処理生成部１４０で、パターン確率Ｃ_Ｔ、Ｃ_Ｂと画像処理ライブラリＬのパラメタ群Θとを初期化する。In step S3200, the image processing generation unit 140 initializes the pattern probabilities C _T and C _B and the parameter group Θ of the image processing library L.

そして、ステップＳ３３００では、画像処理生成部１４０で、トップダウン探索器２１０のパターン記憶器２１６からのパターン確率Ｃ_Ｔと、ボトムアップ学習器２２０のパターン記憶器２２４からのパターン確率Ｃ_Ｂとを加重平均して（またはいずれか一方から）結合確率行列Ｃを決定する。Then, in step S3300, the image processing generating unit 140, and the pattern probability _{C T} from the pattern storing unit 216 for top-down searcher 210, and a pattern probability _{C B} from the pattern storing unit 224 of the bottom-up learning 220 weights Average (or either) to determine the joint probability matrix C.

そして、ステップＳ３４００では、画像処理生成部１４０で、ステップＳ３３００で決定した結合確率行列Ｃに基づいて、ＤＡＧで表現される画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を生成する。In step S3400, the image processing generation unit 140 generates an image processing group P = {p ₁ , p ₂ ,..., P _M } expressed in DAG based on the joint probability matrix C determined in step S3300. To do.

そして、ステップＳ３５００では、画像処理部１２０で、ステップＳ３４００で生成した画像処理群Ｐ＝｛ｐ_１，ｐ_２，…，ｐ_Ｍ｝を実行する。In step S3500, the image processing unit 120 executes the image processing group P = {p ₁ , p ₂ ,..., P _M } generated in step S3400.

そして、ステップＳ３６００では、評価部１３０で、ステップＳ３５００で処理された結果画像と対応する教師画像とを比較して評価値ｆ（Ｐ）を得る。 In step S3600, the evaluation unit 130 compares the result image processed in step S3500 with the corresponding teacher image to obtain an evaluation value f (P).

そして、ステップＳ３７００では、画像処理生成部１４０で、評価集合を空集合にリセットする。 In step S3700, the image processing generation unit 140 resets the evaluation set to an empty set.

そして、ステップＳ３８００では、高い評価値の処理を選別する。具体的には、例えば、任意に２処理を選び出し、評価値の高い方を評価集合に追加する。これを一定回数以下繰り返す。 In step S3800, processing with a high evaluation value is selected. Specifically, for example, two processes are arbitrarily selected, and the higher evaluation value is added to the evaluation set. This is repeated a certain number of times.

そして、ステップＳ３９００では、画像処理生成部１４０で、ステップＳ３８００で得た評価集合から、パターン確率Ｃを、例えば、最尤推定法により推定する。 In step S3900, the image processing generation unit 140 estimates the pattern probability C from the evaluation set obtained in step S3800, for example, by the maximum likelihood estimation method.

そして、ステップＳ４０００では、画像処理生成部１４０で、ステップＳ３８００で得た評価集合から、画像処理ライブラリＬのパラメタ群Θを確率的探索手法（例えば、確率的山登り法）により推定する。 In step S4000, the image processing generation unit 140 estimates the parameter group Θ of the image processing library L from the evaluation set obtained in step S3800 by a probabilistic search method (for example, probabilistic hill climbing method).

そして、ステップＳ４１００では、画像処理生成部１４０で、ステップＳ３９００で推定したパターン確率Ｃを教師とする関数近似手法（例えば、勾配法）によりパターン確率Ｃ_Ｂを学習する。Then, in step S4100, the image processing generating unit 140, a function approximation method to estimate the pattern probability C teacher in step S3900 (e.g., the gradient method) to learn the pattern probability _{C B} by.

そして、ステップＳ４２００では、終了条件を満たすかどうかを判断する。具体的には、例えば、所定の回数を超えたかどうか、または、確率分布の変動幅がある一定値よりも小さくなったかどうか、などを判断する。この判断の結果として、終了条件を満たさない場合は（Ｓ４２００：ＮＯ）、ステップＳ３３００に戻って、ステップＳ３３００からステップＳ４１００までの一連の処理を繰り返し、終了条件を満たす場合は（Ｓ４２００：ＹＥＳ）、ステップＳ４３００に進む。 In step S4200, it is determined whether an end condition is satisfied. Specifically, for example, it is determined whether a predetermined number of times has been exceeded or whether the fluctuation range of the probability distribution has become smaller than a certain value. As a result of this determination, when the end condition is not satisfied (S4200: NO), the process returns to step S3300, and when a series of processing from step S3300 to step S4100 is repeated and the end condition is satisfied (S4200: YES), The process proceeds to step S4300.

ステップＳ４３００では、すべての画像群が終了したかどうかを判断する。この判断の結果として、すべての画像群が終了した場合は（Ｓ４３００：ＹＥＳ）、アルゴリズムを終了し、すべての画像群が終了していない場合は（Ｓ４３００：ＮＯ）、ステップＳ３１００に戻って、ステップＳ３１００からステップＳ４２００までの一連の処理を繰り返す。 In step S4300, it is determined whether all image groups have been completed. As a result of this determination, when all the image groups are finished (S4300: YES), the algorithm is finished, and when all the image groups are not finished (S4300: NO), the process returns to step S3100, and step A series of processing from S3100 to step S4200 is repeated.

上記のように、結合確率行列Ｃ（つまり、パターン確率Ｃ_ＴとＣ_Ｂ）の各要素は、画像処理ライブラリの画像処理要素間に入出力があるかどうかの確率であり、例えば、Ｃ_Ｔ（６，８）は、６番要素から８番要素への入出力関係の確率である。パターン確率Ｃ_Ｔは、上記の式（２）により学習され、パターン確率Ｃ_Ｂは、上記の式（４）により計算された後、上記の式（６）により学習が行われる。実際に画像処理プログラムを生成するための結合確率行列Ｃは、パターン確率Ｃ_ＴとＣ_Ｂの加重平均、またはいずれか一方である。結合確率行列Ｃに基づいて、画像処理要素の制約（入出力結合数など）を満たしながら画像処理群Ｐが生成される。生成された画像処理群Ｐには、評価値ｆ（Ｐ）が計算される。評価関数ｆは、必要に応じて決められる。ライブラリＬ内の各要素のパラメタは、正規分布で表現されており、確率的探索手法（例えば、確率的山登り法）により推定を行い、パターン確率Ｃ_Ｔと同様に学習を行う。As described above, each element of the joint probability matrix C (that is, the pattern probabilities C _T and C _B ) is a probability of whether there is an input / output between the image processing elements of the image processing library, for example, C _T ( 6, 8) is the probability of the input / output relationship from the 6th element to the 8th element. The pattern probability C _T is learned by the above equation (2), and the pattern probability C _B is calculated by the above equation (4), and then learned by the above equation (6). Joint probability matrices C for actually generating an image processing program, the weighted average of the pattern probability C _T and C _B, or is either. Based on the connection probability matrix C, the image processing group P is generated while satisfying the restrictions (such as the number of input / output connections) of the image processing elements. An evaluation value f (P) is calculated for the generated image processing group P. The evaluation function f is determined as necessary. Parameters of each element in the library L is represented by a normal distribution, performs estimation by probabilistic search techniques (e.g., probabilistic hill climbing method) performs learning like the pattern probability C _T.

ここで、結合確率行列Ｃを用いてどのようにしてＤＡＧ状の画像処理要素組合せパターンを生成するかについて説明する。 Here, how to generate a DAG-like image processing element combination pattern using the joint probability matrix C will be described.

上記のように、生成する各画像処理パターンｐ_ｍ（ｍ＝１，２，…，Ｍ）は、入力部、中間処理部、および出力部の３つの部分から構成され、ＤＡＧの始点が入力部に、終点が出力部にそれぞれ設定される。このとき、入力部と出力部は、それぞれ、１つの画像処理要素（ここでは、便宜上、「ライブラリ要素」という）として扱われる。但し、入力部を担当する入力ライブラリ要素は必ず最初のライブラリ要素となり、出力部を担当する出力ライブラリ要素は必ず最後のライブラリ要素となる。例えば、実際に画像を処理するライブラリ要素が４つ存在する場合、これらをＢ、Ｃ、Ｄ、Ｅとして、入力ライブラリ要素をＡ、出力ライブラリ要素をＦとする。なお、結合確率行列Ｃは、行が入力側ライブラリ要素を、列が出力側ライブラリ要素を表す。例えば、図７Ａに示す結合確率行列Ｃにおいて、３行５列の要素（０．１）は、ライブラリ要素Ｃからライブラリ要素Ｅへの結合が存在する確率を表す。As described above, each image processing pattern p _m (m = 1, 2,..., M) to be generated is composed of the three parts of the input unit, the intermediate processing unit, and the output unit, and the starting point of the DAG is the input unit. In addition, the end points are respectively set in the output units. At this time, each of the input unit and the output unit is treated as one image processing element (here, referred to as “library element” for convenience). However, the input library element in charge of the input unit is always the first library element, and the output library element in charge of the output unit is always the last library element. For example, if there are four library elements that actually process an image, these are set as B, C, D, and E, the input library element is A, and the output library element is F. In the connection probability matrix C, the rows represent input library elements and the columns represent output library elements. For example, in the connection probability matrix C shown in FIG. 7A, the element (0.1) in 3 rows and 5 columns represents the probability that there is a connection from the library element C to the library element E.

まず、ライブラリ要素Ａを選択して親候補集合に入れる。次に、親候補集合以外のライブラリ要素からランダムに１つ選択する。例えば、ライブラリ要素Ｃを選択する。親候補集合にはライブラリ要素Ａしかないため、ライブラリ要素Ｃの親はライブラリ要素Ａとなる。そして、ライブラリ要素Ｃを親候補集合に入れる。次に、親候補集合以外からランダムに１つライブラリ要素を選択する。例えば、ライブラリ要素Ｂを選択する。親候補集合から、ライブラリ要素Ｂの親を結合確率行列Ｃの確率に従って選択する（図７Ｂ参照）。例えば、ライブラリ要素Ｃを選択する（図７Ｃ参照）。 First, library element A is selected and placed in the parent candidate set. Next, one library element other than the parent candidate set is selected at random. For example, the library element C is selected. Since only the library element A exists in the parent candidate set, the parent of the library element C is the library element A. Then, the library element C is put into the parent candidate set. Next, one library element is selected at random from other than the parent candidate set. For example, library element B is selected. From the parent candidate set, the parent of the library element B is selected according to the probability of the joint probability matrix C (see FIG. 7B). For example, the library element C is selected (see FIG. 7C).

次に、ランダムにライブラリ要素Ｅを選ぶとする。親は結合確率行列の確率に従って選択される（図７Ｄ参照）。ここでは、ライブラリ要素Ａとライブラリ要素Ｂが選ばれるとする（図７Ｅ参照）。ライブラリ要素Ｅは親候補集合に入れられる。 Next, assume that library element E is selected at random. Parents are selected according to the probability of the joint probability matrix (see FIG. 7D). Here, it is assumed that library element A and library element B are selected (see FIG. 7E). Library element E is placed in the parent candidate set.

次に、ライブラリ要素Ｆが選ばれ、親としてライブラリ要素Ｅが選ばれるとする（図７Ｆ参照）。ライブラリ要素Ｆは出力ライブラリ要素であるため、処理の形成はここで終了する。以上より、処理の流れは、図７Ｇに示す通りになる（ここでは、ライブラリ要素Ｄは使用されない）。 Next, assume that library element F is selected and library element E is selected as a parent (see FIG. 7F). Since the library element F is an output library element, the formation of the process ends here. As described above, the processing flow is as shown in FIG. 7G (here, the library element D is not used).

このように、本実施の形態によれば、進化的手法の一つである分布推定アルゴリズムにより画像処理要素の組合せを確率として保持し統計的に学習すると同時に、画像処理ライブラリの各要素のパラメタを確率的山登り法により学習することで、画像処理自動構成を実現するため、画像例が入れ替わる場合であっても、画像処理要素組合せの探索に確率分布の制限がかかっているため、短時間で処理内容を画像例に追従させることができる。すなわち、ボトムアップ側とトップダウン側の知識を確率分布として表現し、これを新しい処理の探索に対する制約とするため、早い探索を実現することができる。 As described above, according to the present embodiment, a combination of image processing elements is held as a probability and statistically learned by a distribution estimation algorithm that is one of evolutionary techniques, and at the same time, parameters of each element of the image processing library are set. To achieve automatic image processing configuration by learning by probabilistic hill-climbing method, even if the image examples are switched, the search for the combination of image processing elements is limited in probability distribution, so it can be processed in a short time The content can be made to follow the image example. That is, since the knowledge on the bottom-up side and the top-down side is expressed as a probability distribution, and this is used as a constraint for a search for a new process, a fast search can be realized.

なお、本実施の形態では、分布推定アルゴリズムや確率的山登り法を用いているが、本発明は、これらの手法に限定されるわけではない。確率分布を試行錯誤的に推定する手法や、確率的探索手法であれば、どのような手法であってもよい。 In this embodiment, a distribution estimation algorithm and a probabilistic hill climbing method are used, but the present invention is not limited to these methods. Any technique may be used as long as it is a technique for estimating the probability distribution by trial and error or a probabilistic search technique.

本発明者は、本発明の効果を実証するために実験を行った。 The inventor conducted an experiment to demonstrate the effect of the present invention.

ここでは、画像から自動車領域を抽出する課題を考える。実験に当たり、入力画像群、教師画像群、画像処理ライブラリを、以下の通り用意した。 Here, a problem of extracting a car region from an image is considered. In the experiment, an input image group, a teacher image group, and an image processing library were prepared as follows.

図８Ａは、入力画像群１を示し、図８Ｂは、入力画像群２を示し、図８Ｃは、入力画像群３を示し、図８Ｄは、入力画像群４を示す。また、図９は、教師画像を示す。図９に示す教師画像は、各入力画像群１〜４に共通である。 8A shows the input image group 1, FIG. 8B shows the input image group 2, FIG. 8C shows the input image group 3, and FIG. 8D shows the input image group 4. FIG. 9 shows a teacher image. The teacher image shown in FIG. 9 is common to the input image groups 1 to 4.

画像処理ライブラリには、平均値フィルタ、しきい値をパラメタとして持つ二値化フィルタ、ラプラシアンフィルタ、反転フィルタ、メジアンフィルタ、論理和フィルタ、論理積フィルタ、ｘ軸ソベルフィルタ、ｙ軸ソベルフィルタ、３×３最大値フィルタ、３×３最小値フィルタ、平均値をしきい値とした二値化フィルタ、面積大の領域を１その他を０と二値化するフィルタを用意した。 The image processing library includes an average value filter, a binarization filter having a threshold as a parameter, a Laplacian filter, an inversion filter, a median filter, a logical sum filter, a logical product filter, an x-axis Sobel filter, a y-axis Sobel filter, 3 A x3 maximum value filter, a 3x3 minimum value filter, a binarization filter using an average value as a threshold value, and a filter that binarizes a large area with 1 and others as 0 are prepared.

実験では、入力画像群を１→２→３→４の順で提示した。入力画像群１では、すべて初期状態からとなるが、入力画像群２以降では、パターン確率Ｃ_ＴとＣ_Ｂを前入力画像群から引き継いで、各入力画像群における初期画像処理群を決定した。パターン確率Ｃ_Ｔは、入力画像群に対する結合確率行列であるため、前入力画像群が現入力画像群と類似する場合には、パターン確率Ｃ_Ｂを初期から適切に設定できると期待される。パターン確率Ｃ_Ｂは、入力画像そのものから計算され、推定パターン確率Ｃと同じになるように学習されるため、すべての画像についての平均的な結合確率行列となる。評価値には、次の式（７）で表される結果画像と教師画像の正規化相関の和を用いた。但し、Ｇは特徴画像、Ｇ（ｉ，ｊ）は画素値、Ｇバーは平均画素値、Ｉは教師画像を表す。

In the experiment, input image groups were presented in the order of 1 → 2 → 3 → 4. In the input image group 1, all made from the initial state, the input image group 2 and later, taken over the pattern probability C _T and C _B from the previous input images, to determine the initial image processing group in each input image group. Since the pattern probability C _T is a joint probability matrix for the input image group, it is expected that the pattern probability C _B can be appropriately set from the beginning when the previous input image group is similar to the current input image group. Pattern probability C _B is calculated from the input image itself, to be learned to be the same as the estimated pattern probability C, the average joint probability matrices for all images. As the evaluation value, the sum of the normalized correlation between the result image and the teacher image represented by the following equation (7) was used. However, G represents a feature image, G (i, j) represents a pixel value, G bar represents an average pixel value, and I represents a teacher image.

次に、実験の設定について説明する。 Next, experimental settings will be described.

一度に評価される処理数を２００、この処理数が一通り実行され評価されるまでを１世代として世代数を１００、学習率を０．０５とした。画像処理ライブラリの要素数は、上記の通り１３であるため、結合確率行列は１３×１３の正方行列である。良個体選択方法としてトーナメント戦略を用いた。これは個体群からランダムに２個体を選んで、評価値の高い方を良個体とする方法である。入力のカラー画像はＨＳＶ成分の３枚の画像に分割される。画像サイズは１００×１００である。 The number of processes evaluated at one time is 200, the number of generations is 100, and the learning rate is 0.05. Since the number of elements of the image processing library is 13, as described above, the joint probability matrix is a 13 × 13 square matrix. The tournament strategy was used as a good individual selection method. This is a method in which two individuals are randomly selected from the group of individuals and the one with a higher evaluation value is selected as a good individual. The input color image is divided into three images of HSV components. The image size is 100 × 100.

実験の結果、各入力画像群に対して、出力画像として図１０に示す画像が得られた。左から順に、入力画像群１、２、３、４の結果である。図１０から分かるように、比較的良好に車両領域を抽出することができた。 As a result of the experiment, an image shown in FIG. 10 was obtained as an output image for each input image group. From the left, the results of the input image groups 1, 2, 3, 4 are shown. As can be seen from FIG. 10, the vehicle region could be extracted relatively well.

図１１は、最大評価値の推移を示す図である。横軸は世代数、縦軸は各入力画像群評価値の合計である。各入力画像群は４枚の画像で構成されているため、合計評価値の最大値は４である。入力画像群は１００世代で切り替わる。切り替わった後の評価値の推移から、画像の切り替わりに即応的に対応できていることが読み取れる。基本的には、大きな評価値の変化は画像処理要素の組合せが変わったことにより、小さな変化は画像処理ライブラリのパラメタの学習により起こる。 FIG. 11 is a diagram showing the transition of the maximum evaluation value. The horizontal axis is the number of generations, and the vertical axis is the total of the input image group evaluation values. Since each input image group is composed of four images, the maximum total evaluation value is four. The input image group is switched in 100 generations. From the transition of the evaluation value after switching, it can be seen that the switching of images can be handled promptly. Basically, a large change in evaluation value is caused by a change in the combination of image processing elements, and a small change is caused by learning of parameters in the image processing library.

実験の結果をまとめると、次の通りである。第１に、適切なＣ_Ｔ、Ｃ_Ｂ、Θの学習に成功した。すなわち、自動車領域を抽出するための画像処理が自動的に獲得された。第２に、入力画像群２以降では、短時間で評価値の高い画像処理が獲得された。入力画像群の切り替えに対して、短時間で画像処理を追従させることが可能であることを示した。The results of the experiment are summarized as follows. First, it succeeded in learning appropriate C _T , C _B , and Θ. That is, the image processing for extracting the automobile area is automatically acquired. Second, in the input image group 2 and later, image processing with a high evaluation value was obtained in a short time. It was shown that it is possible to follow image processing in a short time for switching the input image group.

本明細書は、２００５年７月２６日出願の特願２００５−２１６３９０に基づく。この内容はすべてここに含めておく。 This specification is based on Japanese Patent Application No. 2005-216390 of July 26, 2005 application. All this content is included here.

本発明に係る画像処理自動構成装置は、画像例が入れ替わる場合であっても、短時間で処理内容を画像例に追従させることができる画像処理自動構成装置として有用である。 The image processing automatic configuration apparatus according to the present invention is useful as an image processing automatic configuration apparatus capable of causing the processing content to follow the image example in a short time even when the image examples are switched.

特に、本発明は、教師画像（画像例）をもとに画像処理を構築する問題一般への利用が可能であり、教師画像（画像例）をもとにした自動プロトタイピングや、追加的に要求される画像処理への自動対応などが考えられる。 In particular, the present invention can be used for the general problem of constructing image processing based on a teacher image (example image), and can be used for automatic prototyping based on a teacher image (example image) or additionally. An automatic response to the required image processing can be considered.

Claims

複数の画像処理要素を含む画像処理ライブラリを記憶するライブラリ記憶手段と、
前記複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定する画像処理要素組合せ決定手段と、
決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するライブラリパラメタ更新手段と、を有し、
前記画像処理要素のパラメタは、確率分布で表現されている、
画像処理自動構成装置。Library storage means for storing an image processing library including a plurality of image processing elements;
Image processing element combination determining means for determining a combination of the image processing elements using a joint probability matrix indicating a probability of input / output connection between the plurality of image processing elements;
Library parameter update means for updating the parameters of the image processing element using the parameters of the image processing element associated with the determined combination;
The parameter of the image processing element is expressed by a probability distribution,
Image processing automatic configuration device.

前記画像処理要素組合せ決定手段は、
前記画像処理要素を非循環有向グラフ状に配置する、
請求項１記載の画像処理自動構成装置。The image processing element combination determination means
The image processing elements are arranged in a non-circular directed graph.
The image processing automatic configuration apparatus according to claim 1.

前記画像処理要素組合せ決定手段は、
前記結合確率行列を探索により最適化する探索手段と、
入力画像群から前記探索手段から出力される確率を出力するように学習する学習手段と、を有し、
前記結合確率行列は、前記探索手段から出力される確率と、前記学習手段から出力される確率とを用いて決定される、
請求項１記載の画像処理自動構成装置。The image processing element combination determination means
Search means for optimizing the joint probability matrix by searching;
Learning means for learning to output a probability output from the search means from an input image group,
The joint probability matrix is determined using a probability output from the search means and a probability output from the learning means.
The image processing automatic configuration apparatus according to claim 1.

前記結合確率行列は、評価値をもとにして確率分布を試行錯誤的に推定する手法により推定される、請求項１記載の画像処理自動構成装置。 The automatic image processing configuration apparatus according to claim 1, wherein the joint probability matrix is estimated by a method of estimating a probability distribution based on an evaluation value by trial and error.

前記画像処理要素のパラメタは、確率的探索手法により推定される、
請求項１記載の画像処理自動構成装置。The parameters of the image processing element are estimated by a probabilistic search method.
The image processing automatic configuration apparatus according to claim 1.

画像処理ライブラリに含まれる複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定するステップと、
決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するステップと、を有し、
前記画像処理要素のパラメタは、確率分布で表現されている、
画像処理自動構成方法。Determining a combination of the image processing elements using a joint probability matrix indicating a probability of input / output connection between a plurality of image processing elements included in the image processing library;
Updating the parameters of the image processing element with the parameters of the image processing element associated with the determined combination;
The parameter of the image processing element is expressed by a probability distribution,
Image processing automatic configuration method.

画像処理ライブラリに含まれる複数の画像処理要素間の入出力の接続の確率を示す結合確率行列を用いて、前記画像処理要素の組合せを決定するステップと、
決定された組合せに付随する前記画像処理要素のパラメタを用いて、前記画像処理要素のパラメタを更新するステップと、前記画像処理要素のパラメタは、確率分布で表現されている、
をコンピュータに実行させるための画像処理自動構成プログラム。Determining a combination of the image processing elements using a joint probability matrix indicating a probability of input / output connection between a plurality of image processing elements included in the image processing library;
Updating the parameters of the image processing element using the parameters of the image processing element associated with the determined combination; and the parameters of the image processing element are represented by a probability distribution,
Image processing automatic configuration program for causing a computer to execute.