JP6292613B2

JP6292613B2 - Background extraction device, principal component analysis device, and principal component analysis program

Info

Publication number: JP6292613B2
Application number: JP2014056631A
Authority: JP
Inventors: 隆鳥生; 裕光濱; ティズィンティ
Original assignee: Osaka City University
Current assignee: Osaka City University
Priority date: 2014-03-19
Filing date: 2014-03-19
Publication date: 2018-03-14
Anticipated expiration: 2034-03-19
Also published as: JP2015179413A

Description

本発明は、画像の背景を抽出する背景抽出装置、及び、画像の背景の抽出等に特に適した主成分分析を行う主成分分析装置及び主成分分析プログラムに関する。 The present invention relates to a background extraction apparatus that extracts an image background, a principal component analysis apparatus and a principal component analysis program that perform principal component analysis particularly suitable for image background extraction and the like.

主成分分析を行うための一般的な方法としては、対象となるデータセットの共分散行列を算出し、当該共分散行列の固有ベクトルを算出する方法がある。主成分分析は、様々な分野で利用されており、例えば、画像の背景の抽出にも利用することができる。この場合、具体的には、多数の画像を各々ベクトルとみなしてこれらのベクトルの集合を主成分分析することにより、比較的低次元の固有空間（固有ベクトルにより形成される空間）を形成する（非特許文献１参照）。そして、入力画像を当該固有空間に射影した射影画像を入力画像の背景画像と推定し、対象画像と当該背景画像との差分を算出することで、前景を抽出する。 As a general method for performing principal component analysis, there is a method of calculating a covariance matrix of a target data set and calculating an eigenvector of the covariance matrix. Principal component analysis is used in various fields. For example, it can also be used to extract the background of an image. In this case, specifically, a relatively low-dimensional eigenspace (a space formed by eigenvectors) is formed by considering a large number of images as vectors and performing principal component analysis on a set of these vectors (non-native). Patent Document 1). Then, the projection image obtained by projecting the input image into the eigenspace is estimated as the background image of the input image, and the foreground is extracted by calculating the difference between the target image and the background image.

鳥生隆ら，固有空間への非線形射影に基づく画像各部の注目度の定量化，一般社団法人映像情報メディア学会，映像情報メディア学会誌：映像情報メディア５９巻６号，８９４−９００，２００５年６月１日Takashi Torio et al. Quantification of attention of each part of image based on non-linear projection to eigenspace, The Institute of Image Information and Television Engineers, Journal of Image Information Media Society, Vol. 59, 894-900, 2005 6 January 1

対象となるデータセットの個数が非常に多い場合や、対象となるデータセットの次元数が非常に高い場合等には、主成分分析に要する計算負荷は多大なものとなる。ところで、主成分分析を行うと、対象となるデータセットの次元数だけ固有ベクトルが算出されることになる。しかしながら、以上の背景抽出の例のように、用途によっては、データセットの次元数と同じ個数だけの固有ベクトルは必要ではなく、より少ない個数の固有ベクトルさえ算出できれば十分な場合が多々ある。 When the number of target data sets is very large, or when the number of dimensions of the target data set is very high, the calculation load required for the principal component analysis becomes great. By the way, when principal component analysis is performed, eigenvectors are calculated by the number of dimensions of the target data set. However, as in the above background extraction example, depending on the application, it is not necessary to have as many eigenvectors as the number of dimensions of the data set, and it is often sufficient to calculate even a smaller number of eigenvectors.

本発明は、画像の背景の抽出を行う場合等、必要とされる固有ベクトルの個数が少ない場合に、主成分分析に要する計算負荷を低減することができる背景抽出装置、主成分分析装置及び主成分分析プログラムを提供することを目的とする。 The present invention provides a background extraction device, a principal component analysis device, and a principal component that can reduce the calculation load required for principal component analysis when the number of required eigenvectors is small, such as when extracting the background of an image. The purpose is to provide an analysis program.

本発明の第１観点に係る背景抽出装置は、対象画像の背景を抽出する装置であって、主成分分析部と、近似部とを備える。前記主成分分析部は、Ｎ枚（Ｎは、２以上の整数）のテスト画像にそれぞれ対応するＮ個のＰ次元（Ｐは、３以上の整数）のテストベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを主成分分析することにより、Ｍ個（Ｍは、Ｍ＋１＜Ｐを満たす整数）の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を算出する。前記近似部は、前記対象画像に対応する対象ベクトルをＭ個の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）の線形結合として近似し、前記線形結合を前記対象画像の背景に対応する背景ベクトルとして設定する。前記主成分分析部は、初期共分散行列導出部と、初期固有ベクトル算出部と、固有ベクトル追加部と、低次元共分散行列導出部と、固有ベクトル更新部とを有する。前記初期共分散行列導出部は、テストベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）の共分散行例Ｃ_Lを導出する。前記初期固有ベクトル算出部は、共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）を算出する。前記固有ベクトル追加部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、テストベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定する。前記低次元共分散行列導出部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、テストベクトルＶ_kに基づいて、テストベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kとして近似的に、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｍ＋１次元の共分散行列Ｃ_k’を導出する。前記固有ベクトル更新部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、共分散行列Ｃ_k’のＭ個のＭ＋１次元の固有ベクトルを算出し、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換する。 A background extraction apparatus according to a first aspect of the present invention is an apparatus that extracts a background of a target image, and includes a principal component analysis unit and an approximation unit. The principal component analysis unit includes N P-dimensional (P is an integer of 3 or more) test vectors V ₁ , V ₂ ,... Corresponding to N (N is an integer of 2 or more) test images. .., V _N are subjected to principal component analysis to calculate M (M is an integer satisfying M + 1 <P) eigenvectors u ₁ (N), u ₂ (N),..., U _M (N) To do. The approximating unit approximates the target vector corresponding to the target image as a linear combination of _M eigenvectors u ₁ (N), u ₂ (N),..., U _M (N), and the linear combination is approximated. A background vector corresponding to the background of the target image is set. The principal component analysis unit includes an initial covariance matrix derivation unit, an initial eigenvector calculation unit, an eigenvector addition unit, a low-dimensional covariance matrix derivation unit, and an eigenvector update unit. The initial covariance matrix deriving unit derives covariance row examples C _L of test vectors V ₁ , V ₂ ,..., V _L (L is a natural number satisfying L <N). The initial eigenvector calculation unit calculates M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) of the covariance matrix C _L. The eigenvector adding unit sequentially applies M number of eigenvectors u ₁ (k−1), u ₂ (k−1),... Based on the test vector V _k to k = L + 1, L + 2,. .., U _M (k−1) is orthogonal to the unit vector and set as the ( _{M +} 1) th eigenvector u _{M + 1} (k−1). The low-dimensional covariance matrix derivation unit sequentially _calculates the covariance of the test vectors V ₁ , V ₂ ,..., V _k based on the test vector V _k for k = L + 1, L + 2,. Approximate M + 1 eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _{M + 1} (k−1) as a matrix C _k , and M + 1-dimensional covariance. A matrix C _k ′ is derived. The eigenvector update unit sequentially calculates M M + 1-dimensional eigenvectors of the covariance matrix C _k ′ for k = L + 1, L + 2,..., N, and M M-dimensional eigenvectors u ₁ (k ), U ₂ (k),..., U _M (k).

本発明の第２観点に係る主成分分析装置は、Ｎ個（Ｎは、２以上の整数）のＰ次元（Ｐは、３以上の整数）のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを主成分分析することにより、Ｍ個（Ｍは、Ｍ＋１＜Ｐを満たす整数）の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を算出する主成分分析装置であって、ベクトル格納部と、初期共分散行列導出部と、初期共分散行列格納部と、初期固有ベクトル算出部と、固有ベクトル追加部と、低次元共分散行列導出部と、低次元共分散行列格納部と、固有ベクトル更新部を備える。前記ベクトル格納部は、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを格納する。前記初期共分散行列導出部は、前記ベクトル格納部からベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）を読み出し、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lの共分散行例Ｃ_Lを導出する。前記初期共分散行列格納部は、共分散行列Ｃ_Lを格納する。前記初期固有ベクトル算出部は、前記初期共分散行列格納部から共分散行列Ｃ_Lを読み出し、共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）を算出する。前記固有ベクトル追加部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、前記ベクトル格納部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定する。前記低次元共分散行列導出部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、前記ベクトル格納部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kとして近似的に、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｍ＋１次元の共分散行列Ｃ_k’を導出する。前記低次元共分散行列格納部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、共分散行列Ｃ_k’を格納する。前記固有ベクトル更新部は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、前記低次元共分散行列格納部から共分散行列Ｃ_k’を読み出し、共分散行列Ｃ_k’のＭ個のＭ＋１次元の固有ベクトルを算出し、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換する。 The principal component analyzer according to the second aspect of the present invention is an N (N is an integer of 2 or more) P-dimensional (P is an integer of 3 or more) vectors V ₁ , V ₂ ,. by principal component analysis _N, (in M, M + 1 <integer satisfying P) M pieces eigenvectors u ₁ of _{(N), u 2 (N} ), ···, calculates a u _M (N) main components An analysis device comprising: a vector storage unit, an initial covariance matrix derivation unit, an initial covariance matrix storage unit, an initial eigenvector calculation unit, an eigenvector addition unit, a low-dimensional covariance matrix derivation unit, and a low-dimensional covariance matrix A variance matrix storage unit and an eigenvector update unit are provided. The vector storage unit stores vectors V ₁ , V ₂ ,..., V _N. The initial covariance matrix derivation unit, the vector V ₁ from the vector storage _{_{section, V 2, ···, V L}} (L is L <natural number satisfying N) reads out the vector V _1, V _2, · · _Derives the covariance example C _L of V _L. The initial covariance matrix storage unit stores a covariance matrix C _L. The initial eigenvector calculation unit, the read initial covariance matrix storage unit from the covariance matrix C _L, the covariance matrix C _L of the M eigenvectors _{_{u 1 (L), u 2}} (L), ···, u _M (L) is calculated. The eigenvector additional section, k = L + 1, L + 2, ···, sequentially to N, reads the vector V _k from the vector storage section, based on the vector V _k, M eigenvectors u _{1 (k-1)} , U ₂ (k−1),..., U _M (k−1), a unit vector is calculated and set as the ( _{M +} 1) th eigenvector u _{M + 1} (k−1). The low-dimensional covariance matrix derivation unit, k = L + 1, L + 2, ···, sequentially to N, reads the vector V _k from the vector storage section, based on the vector V _k, the vector V _1, V _2, ..., M + 1 eigenvectors u ₁ (k-1), u ₂ (k-1), ..., u _{M + 1} (k-1) approximately as a covariance matrix C _k of V _k. Is used to derive an M + 1 dimensional covariance matrix C _k ′. The low-dimensional covariance matrix storage unit sequentially stores a covariance matrix C _k ′ for k = L + 1, L + 2,. The eigenvector updating unit sequentially reads the covariance matrix C _k ′ from the low-dimensional covariance matrix storage unit for k = L + 1, L + 2,..., N, and M M + 1 of the covariance matrix C _k ′. A dimensional eigenvector is calculated and converted into _M P-dimensional eigenvectors u ₁ (k), u ₂ (k),..., U _M (k).

本発明の第３観点に係る主成分分析プログラムは、Ｎ個（Ｎは、２以上の整数）のＰ次元（Ｐは、３以上の整数）のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを主成分分析することにより、Ｍ個（Ｍは、Ｍ＋１＜Ｐを満たす整数）の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を算出するためのプログラムである。前記主成分分析プログラムは、記憶部を有するコンピュータに、以下のステップ１〜８を実行させる。なお、ステップ５〜８は、ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次繰り返し実行される。
１）前記記憶部に、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを格納するステップ。
２）前記記憶部からベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）を読み出し、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lの共分散行例Ｃ_Lを導出するステップ。
３）前記記憶部に、共分散行列Ｃ_Lを格納するステップ。
４）前記記憶部から共分散行列Ｃ_Lを読み出し、共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）を算出するステップ。
５）前記記憶部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定するステップ。
６）前記記憶部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kとして近似的に、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｍ＋１次元の共分散行列Ｃ_k’を導出するステップ。
７）前記記憶部に、共分散行列Ｃ_k’を格納するステップ。
８）前記記憶部から共分散行列Ｃ_k’を読み出し、共分散行列Ｃ_k’のＭ個のＭ＋１次元の固有ベクトルを算出し、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換するステップ。 The principal component analysis program according to the third aspect of the present invention provides N (N is an integer of 2 or more) P-dimensional (P is an integer of 3 or more) vectors V ₁ , V ₂ ,. By calculating _N principal components, M (M is an integer satisfying M + 1 <P) eigenvectors u ₁ (N), u ₂ (N),..., U _M (N) are calculated. It is a program. The principal component analysis program causes a computer having a storage unit to execute the following steps 1 to 8. Note that steps 5 to 8 are sequentially repeated for k = L + 1, L + 2,.
1) A step of storing vectors V ₁ , V ₂ ,..., V _N in the storage unit.
2) the vector V ₁ from the storage unit, V _2, · · ·, V _L (L reads the L <natural number satisfying N), the vector V _1, V _2, · · ·, the covariance row of V _L Example C _{Deriving L.}
3) A step of storing a covariance matrix C _L in the storage unit.
4) A step of reading the covariance matrix C _L from the storage unit and calculating _M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) of the covariance matrix C _L.
5) The vector V _k is read from the storage unit, and M eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1) based on the vector V _k. Calculating a unit vector orthogonal to the M + 1-th eigenvector u _{M + 1} (k−1).
6) The vector V _k is read from the storage unit, and M + 1 eigenvectors u ₁ (approximately as a covariance matrix C _k of vectors V ₁ , V ₂ ,..., V _k based on the vector V _k. k-1), u ₂ (k−1),..., u _{M + 1} (k−1) are used to derive an M + 1-dimensional covariance matrix C _k ′.
7) A step of storing a covariance matrix C _k ′ in the storage unit.
8) The covariance matrix C _k ′ is read from the storage unit, M M + 1 dimensional eigenvectors of the covariance matrix C _k ′ are calculated, and M P dimensional eigenvectors u ₁ (k), u ₂ (k ),..., U _M (k).

従来の主成分分析の方法では、Ｎ個のＰ次元のデータセット（ベクトルＶ₁，Ｖ₂，・・・，Ｖ_N）を主成分分析する場合、Ｎ個のＰ次元のデータセットからＰ次元（Ｐ行Ｐ列）の共分散行列を算出し、これを固有値分解する必要がある。これに対し、本発明の以上の観点では、まず、Ｎ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nのうち、一部のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lのみを用いて（Ｌ＜Ｎ）、共分散行列Ｃ_Lが算出される。この処理は、Ｎ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nの全てを用いて共分散行列を算出するのに比べ、計算負荷が低い。そして、共分散行列Ｃ_Lから、Ｍ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）が算出され、初期値として設定される。以後、残りのベクトルＶ_L+1，Ｖ_L+2，・・・，Ｖ_Nを順次用いて、Ｍ個の固有ベクトルのセットが順次更新されてゆき、最終的には、Ｎ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nに対する固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）が算出される。 In the conventional principal component analysis method, when N P-dimensional data sets (vectors V ₁ , V ₂ ,..., V _N ) are subjected to principal component analysis, N P-dimensional data sets are converted into P dimensions. It is necessary to calculate a covariance matrix of (P rows and P columns) and to perform eigenvalue decomposition on it. In contrast, in view of the above the present invention, firstly, N pieces of vector V _1, V _2, · · ·, of V _N, a portion of the vector _{_{V 1, V 2, ···,}} V L only (L <N) is used to calculate the covariance matrix C _L. This processing is less computationally expensive than calculating the covariance matrix using all _N vectors V ₁ , V ₂ ,..., V _N. Then, M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) are calculated from the covariance matrix C _L and set as initial values. Thereafter, the set of M eigenvectors is sequentially updated using the remaining vectors V _{L + 1} , V _{L + 2} ,..., V _N in sequence, and finally, N vectors V _{1 are used.} , V _2, ···, eigenvector u ₁ with respect to _{_{V N (N), u 2}} (N), ···, u M (N) is calculated.

Ｍ個の固有ベクトルのセットの更新時には、近似的にＰ次元よりも次元数の低いＭ＋１次元の共分散行列が算出され、当該低次元の共分散行列から新たなＭ個の固有ベクトルのセットが算出される。具体的には、最新のベクトルＶ_kの情報に基づいて、最新のＭ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルが算出される。これにより、当該単位ベクトルと、最新のＭ個の固有ベクトルのセットとを併せて、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１），ｕ_M+1（ｋ−１）が定義される。そして、これらのＭ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｐ次元の共分散行列Ｃ_kが、Ｍ＋１次元の共分散行列Ｃ_k’として近似的に導出される。すなわち、固有ベクトルのセットの更新時には、高次元の共分散行列に代えて、低次元の共分散行列が算出され、かつ、高次元の共分散行列に代えて、低次元の共分散行列から固有ベクトルのセットが算出されるため、計算負荷が低減される。 When updating the set of M eigenvectors, an M + 1 dimensional covariance matrix having a number of dimensions lower than the P dimension is approximately calculated, and a new set of M eigenvectors is calculated from the low dimensional covariance matrix. The Specifically, based on information of the latest vector V _k, latest M eigenvectors _{u 1 (k-1),} u 2 (k-1), ···, the u _M (k-1) An orthogonal unit vector is calculated. Thereby, the unit vector and the latest set of M eigenvectors are combined, and M + 1 eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k− 1), u _{M + 1} (k−1) is defined. Then, using these M + 1 eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _{M + 1} (k−1), a P-dimensional covariance matrix C _k is obtained. , M + 1-dimensional covariance matrix C _k ′. That is, when updating the set of eigenvectors, a low-dimensional covariance matrix is calculated instead of the high-dimensional covariance matrix, and the eigenvectors are calculated from the low-dimensional covariance matrix instead of the high-dimensional covariance matrix. Since the set is calculated, the calculation load is reduced.

すなわち、本発明の以上の観点では、まず、全体の個数Ｎよりも少ないＬ個のデータセットを用いることで、高次元（Ｐ次元）の共分散行列を低負荷で算出する。そして、以後は、近似的に低次元（Ｍ＋１次元）の共分散行列を算出し、これに基づいて固有ベクトルのセットを算出するため、更新時の処理も低負荷となる。従って、必要とされる固有ベクトルの個数Ｍが少ない場合に、主成分分析に要する計算負荷を低減することができる。 That is, according to the above aspect of the present invention, first, a high-dimensional (P-dimensional) covariance matrix is calculated with a low load by using L data sets that are smaller than the total number N. Thereafter, since a low-dimensional (M + 1-dimensional) covariance matrix is calculated approximately, and a set of eigenvectors is calculated based on the low-dimensional (M + 1-dimensional) covariance matrix, the processing at the time of updating is also reduced. Therefore, when the required number M of eigenvectors is small, the calculation load required for principal component analysis can be reduced.

なお、画像（オプティカルフローを含む）の情報を表現するには、原則として、画素数程度の（ＲＧＢ値を各々を表現する場合であれば、画素数×３）情報が必要となる。従って、画像をベクトルで表現するとき、当該ベクトルの次元数Ｐは、非常に大きな値となる。そのため、画像に対応するベクトルを主成分分析する場合には、共分散行列の次元数Ｐも非常に大きくなり、計算負荷が多大になりがちである。しかしながら、一方で、画像の背景（オプティカルフローを含む）は、画像の次元数Ｐよりも大幅に少ない個数の固有ベクトルさえあれば、表現することができる。従って、以上の主成分分析のアルゴリズムを用いた第１観点の背景抽出装置によれば、画像の背景の抽出に必要な固有ベクトルのセットを、極めて低負荷で抽出することができる。 Note that, in order to express information of an image (including an optical flow), in principle, information about the number of pixels (the number of pixels × 3 if representing RGB values) is required. Therefore, when an image is represented by a vector, the dimension number P of the vector is a very large value. Therefore, when the principal component analysis is performed on the vector corresponding to the image, the dimension number P of the covariance matrix is very large, and the calculation load tends to be large. However, on the other hand, the background of an image (including optical flow) can be expressed as long as there is a number of eigenvectors significantly smaller than the number of dimensions P of the image. Therefore, according to the background extraction apparatus of the first aspect using the above principal component analysis algorithm, it is possible to extract a set of eigenvectors necessary for extracting the background of an image with a very low load.

本発明によれば、画像の背景の抽出を行う場合等、必要とされる固有ベクトルの個数が少ない場合に、主成分分析に要する計算負荷を低減することができる。 According to the present invention, when the number of eigenvectors required is small, such as when extracting the background of an image, the calculation load required for principal component analysis can be reduced.

本発明の一実施形態に係る背景抽出装置／主成分分析装置を含む見守りシステムの概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of a watching system including a background extraction device / principal component analysis device according to an embodiment of the present invention. 学習処理の流れを示すフローチャート。The flowchart which shows the flow of a learning process. オプティカルフローの概念図。Optical flow conceptual diagram. 認識処理の流れを示すフローチャート。The flowchart which shows the flow of a recognition process.

以下、図面を参照しつつ、本発明に係る背景抽出装置、主成分分析装置及び主成分分析プログラムを、高齢者等の見守りシステムに適用した場合の一実施形態について説明する。 Hereinafter, an embodiment in which the background extraction device, the principal component analysis device, and the principal component analysis program according to the present invention are applied to a monitoring system for elderly people and the like will be described with reference to the drawings.

＜１．見守りシステムの構成＞
図１に示す見守りシステム１００は、カメラ３と、カメラ３の遠隔に存在し、インターネットやＬＡＮ等のネットワーク６を介してカメラ３に接続されている監視コンピュータ１とを有する。カメラ３は、見守りの対象が存在する空間に配置され、見守りの対象を撮影するとともに、撮影した動画像（以下、対象動画像）をネットワーク６を介して監視コンピュータ１にリアルタイムに送信する。この機能を実現するため、カメラ３には、外付け又は内蔵の通信装置４が付属している。 <1. Configuration of watching system>
A watching system 100 shown in FIG. 1 includes a camera 3 and a monitoring computer 1 that exists remotely from the camera 3 and is connected to the camera 3 via a network 6 such as the Internet or a LAN. The camera 3 is arranged in a space where the watching target exists, and captures the watching target, and transmits the captured moving image (hereinafter, the target moving image) to the monitoring computer 1 via the network 6 in real time. In order to realize this function, the camera 3 is provided with an external or built-in communication device 4.

監視コンピュータ１は、本発明の一実施形態に係る背景抽出装置／主成分分析装置である。監視コンピュータ１には、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体５から、又はネットワーク６を介して別のコンピュータから、画像処理プログラム２がインストールされている。画像処理プログラム２は、対象動画像から移動体、すなわち、見守りの対象を検出する機能を有するアプリケーションソフトウェアである。画像処理プログラム２には、本発明の一実施形態に係る主成分分析プログラムである、主成分分析を行うためのプログラムモジュール２ａが含まれる。画像処理プログラム２及びこれに含まれるプログラムモジュール２ａは、監視コンピュータ１に後述する動作に含まれるステップを実行させる。 The monitoring computer 1 is a background extraction apparatus / principal component analysis apparatus according to an embodiment of the present invention. An image processing program 2 is installed in the monitoring computer 1 from a computer-readable recording medium 5 such as a CD-ROM or a USB memory, or from another computer via the network 6. The image processing program 2 is application software having a function of detecting a moving object, that is, a watching target from the target moving image. The image processing program 2 includes a program module 2a for performing principal component analysis, which is a principal component analysis program according to an embodiment of the present invention. The image processing program 2 and the program module 2a included therein cause the monitoring computer 1 to execute steps included in the operation described later.

本実施形態におけるカメラ３は、例えば、首振り式のカメラや、移動式のロボットに搭載されているカメラであり、対象動画像を撮影する視点が移動するカメラである。後述されるとおり、監視コンピュータ１に実装されている移動体を検出するためのアルゴリズムは、固定されているカメラで撮影した動画像を対象とする場合はもちろん、移動しているカメラで撮影した動画像を対象とする場合にも対応している。従って、監視コンピュータ１は、視点が移動するカメラ３で撮影された対象動画像においても、正しく移動体を検出することができる。 The camera 3 in the present embodiment is, for example, a camera mounted on a swing-type camera or a mobile robot, and a camera that moves a viewpoint for capturing a target moving image. As will be described later, the algorithm for detecting a moving object mounted on the monitoring computer 1 is not limited to a moving image shot with a fixed camera, but of course a moving image shot with a moving camera. This also applies to the case of images. Therefore, the monitoring computer 1 can correctly detect the moving object even in the target moving image taken by the camera 3 whose viewpoint moves.

監視コンピュータ１は、例えば、見守りの対象の異常を監視するサービスを提供する会社により管理されているサーバコンピュータである。この場合、このような会社の従業員が、見守りの対象を監視することもできるし、見守りの対象の家族等が、携帯電話やパーソナルコンピュータ等の機器をネットワーク６を介して監視コンピュータ１に接続することにより、外出先から見守りの対象を監視することも可能である。また、上記のようなサーバコンピュータを省略し、カメラ３から直接、見守りの対象の家族等が所有している携帯電話やパーソナルコンピュータ等の機器に対象動画像が送信されるようにしてもよい。この場合、このような携帯電話やパーソナルコンピュータ等の機器が、監視コンピュータ１（本発明に係る背景抽出装置／主成分分析装置）に相当する。 The monitoring computer 1 is, for example, a server computer managed by a company that provides a service for monitoring an abnormality to be watched over. In this case, an employee of such a company can monitor the object to be watched, and a family to be watched connects a device such as a mobile phone or a personal computer to the monitor computer 1 via the network 6. By doing so, it is possible to monitor the object of watching from outside. Further, the server computer as described above may be omitted, and the target moving image may be transmitted directly from the camera 3 to a device such as a mobile phone or a personal computer owned by a family to be watched over. In this case, such a device such as a mobile phone or a personal computer corresponds to the monitoring computer 1 (background extraction apparatus / principal component analysis apparatus according to the present invention).

図１に示すとおり、監視コンピュータ１は、表示部１０、入力部２０、記憶部３０、制御部４０および通信部５０を有する。これらの部１０〜５０は、互いにバス線７で接続されており、相互に通信可能である。本実施形態では、表示部１０は、液晶ディスプレイ等で構成されており、適当な画面をユーザ（監視者）に対し表示するユーザーインターフェースである。また、入力部２０は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、監視コンピュータ１に対するユーザ（監視者）からの操作を受け付けるユーザーインターフェースである。通信部５０は、監視コンピュータ１をネットワーク６に接続するほか、ＵＳＢメモリやメモリカード、ＣＤ−ＲＯＭ、外付けハードディスク、デジタルカメラなどの外部記憶装置との間でデータ通信を行う通信インターフェースである。 As shown in FIG. 1, the monitoring computer 1 includes a display unit 10, an input unit 20, a storage unit 30, a control unit 40, and a communication unit 50. These units 10 to 50 are connected to each other via a bus line 7 and can communicate with each other. In the present embodiment, the display unit 10 is configured by a liquid crystal display or the like, and is a user interface that displays an appropriate screen to the user (monitoring person). The input unit 20 includes a mouse, a keyboard, a touch panel, operation buttons, and the like, and is a user interface that receives an operation from the user (monitoring person) for the monitoring computer 1. The communication unit 50 is a communication interface that connects the monitoring computer 1 to the network 6 and performs data communication with an external storage device such as a USB memory, a memory card, a CD-ROM, an external hard disk, or a digital camera.

記憶部３０は、ＲＡＭのような揮発性の記憶装置に加え、ＲＯＭやハードディスク、フラッシュメモリ等の不揮発性の記憶装置から構成されている。記憶部３０内の不揮発性の領域には、画像処理プログラム２が格納されている。また、記憶部３０内の揮発性及び／又は不揮発性の記憶領域は、ベクトル格納部３１、初期共分散行列格納部３２、固有ベクトル格納部３３及び低次元共分散行列格納部３４として動作する。これらの部３１〜３４の詳細については、後述する。 The storage unit 30 includes a nonvolatile storage device such as a ROM, a hard disk, and a flash memory in addition to a volatile storage device such as a RAM. An image processing program 2 is stored in a non-volatile area in the storage unit 30. The volatile and / or nonvolatile storage areas in the storage unit 30 operate as a vector storage unit 31, an initial covariance matrix storage unit 32, an eigenvector storage unit 33, and a low-dimensional covariance matrix storage unit 34. Details of these parts 31 to 34 will be described later.

制御部４０は、ＣＰＵ等から構成されており、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に学習部４１、動き導出部４２、近似部４３、領域検出部４４及び解釈部４５として動作する。また、学習部４１は、仮想的にオプティカルフロー導出部４１ａ、初期共分散行列導出部４１ｂ、初期固有ベクトル導出部４１ｃ、固有ベクトル追加部４１ｄ、低次元共分散行列導出部４１ｅ及び固有ベクトル更新部４１ｆとして動作する。各部４１〜４５，４１ａ〜４１ｆの動作については、後述する。 The control unit 40 is configured by a CPU or the like, and reads and executes the image processing program 2 stored in the storage unit 30 to virtually acquire a learning unit 41, a motion derivation unit 42, an approximation unit 43, It operates as the area detection unit 44 and the interpretation unit 45. The learning unit 41 virtually operates as an optical flow deriving unit 41a, an initial covariance matrix deriving unit 41b, an initial eigenvector deriving unit 41c, an eigenvector adding unit 41d, a low-dimensional covariance matrix deriving unit 41e, and an eigenvector updating unit 41f. To do. The operation of each unit 41 to 45, 41a to 41f will be described later.

＜２．監視処理＞
以下、見守りシステム１００により高齢者等の見守りの対象が監視される処理（以下、監視処理）の流れについて、詳細に説明する。監視処理は、主として、学習処理と、認識処理とにより構成される。学習処理は、固有ベクトルのセットを学習する処理である。固有ベクトルのセットとは、学習用に撮影されるテスト動画像に含まれるテスト画像のオプティカルフローの集合を主成分分析することにより得られる固有ベクトルのセットである。固有ベクトルのセットは、対象動画像に捉えられたカメラ３の視点の動き（背景の動き）を評価するためのパラメータとなる。認識処理は、学習処理により設定された固有ベクトルのセットを用いて、対象動画像に捉えられたカメラ３の視点の動きをキャンセルし、それにより、対象動画像に捉えられた移動体の動きを検出する処理である。また、認識処理では、移動体の動きの解釈も行われる。以下、学習処理について説明した後、認識処理について説明する。 <2. Monitoring process>
Hereinafter, the flow of processing (hereinafter referred to as monitoring processing) in which a monitoring target such as an elderly person is monitored by the monitoring system 100 will be described in detail. The monitoring process mainly includes a learning process and a recognition process. The learning process is a process of learning a set of eigenvectors. The set of eigenvectors is a set of eigenvectors obtained by principal component analysis of a set of optical flows of test images included in a test moving image photographed for learning. The set of eigenvectors is a parameter for evaluating the movement of the viewpoint of the camera 3 (background movement) captured in the target moving image. The recognition process uses the set of eigenvectors set by the learning process to cancel the movement of the viewpoint of the camera 3 captured in the target moving image, thereby detecting the movement of the moving body captured in the target moving image. It is processing to do. In the recognition process, the movement of the moving object is also interpreted. Hereinafter, after describing the learning process, the recognition process will be described.

＜２−１．学習処理＞
学習処理は、図２に示すフローチャートのとおりに実行される。まず、カメラ３によるテスト動画像の撮影処理が開始される（ステップＳ１）。テスト動画像は、固有ベクトルのセットの算出の元となる動画像である。なお、このとき使用されるカメラは、必ずしも認識処理で対象動画像を撮影するために使用されるカメラ３そのものである必要はなく、さらに、カメラ３と同じ機種のカメラである必要もない。しかしながら、学習処理では、カメラ３そのものか、又はカメラ３と同じ機種のカメラが使用されることが好ましい。なぜならば、レンズの歪曲度等の属性の異なるカメラにより撮影された動画像どうしは、カメラを全く同じように移動させながら、全く同一の風景を撮影したとしても、相違することになる。従って、認識処理で使用されるカメラと、学習処理で使用されるカメラとが相違すると、その分だけ、学習処理で導出されたパラメータを用いる認識処理での認識の精度が低下するからである。 <2-1. Learning process>
The learning process is executed according to the flowchart shown in FIG. First, a test moving image shooting process by the camera 3 is started (step S1). The test moving image is a moving image from which a set of eigenvectors is calculated. Note that the camera used at this time does not necessarily need to be the camera 3 itself used to capture the target moving image in the recognition process, and does not have to be a camera of the same model as the camera 3. However, in the learning process, it is preferable that the camera 3 itself or a camera of the same model as the camera 3 is used. This is because moving images shot by cameras having different attributes such as lens distortion are different even if the same scenery is shot while the cameras are moved in exactly the same way. Therefore, if the camera used in the recognition process is different from the camera used in the learning process, the recognition accuracy in the recognition process using the parameters derived in the learning process is reduced accordingly.

また、ステップＳ１で撮影される空間（以下、テスト空間）は、認識処理でカメラ３が見守る空間と同じである必要はない。なぜならば、後述するアルゴリズムから明らかなとおり、本実施形態に係る学習処理は、認識処理で見守られる空間の模様や明るさ等の図形のパターンを学習する処理ではなく、カメラ３の視点の動きのパターンを表現するための固有ベクトルのセットを学習する処理だからである。また、ステップＳ１では、カメラ３の視点を様々な方向に移動させながら、テスト空間が撮影される。これは、学習処理で学習される固有ベクトルのセットが、カメラ３のあらゆる視点の動きのパターンを表現することが可能なようにするためである。 Further, the space photographed in step S1 (hereinafter referred to as test space) does not have to be the same as the space that the camera 3 watches in the recognition process. This is because, as will be apparent from the algorithm described later, the learning process according to the present embodiment is not a process of learning a graphic pattern such as a space pattern or brightness observed in the recognition process, but a movement of the viewpoint of the camera 3. This is because it is a process of learning a set of eigenvectors for expressing a pattern. In step S1, the test space is photographed while moving the viewpoint of the camera 3 in various directions. This is because the set of eigenvectors learned in the learning process can express the movement patterns of all viewpoints of the camera 3.

さらに、ステップＳ１で撮影されるテスト空間は、移動体が存在しない空間とされることが好ましい。なぜならば、既に述べたとおり、学習処理で学習されるのは、対象動画像に含まれるカメラ３の視点の動きを評価するためのパラメータだからである。従って、このようなパラメータの算出の基礎となるテスト動画像には、移動体の動きが反映されておらず、カメラ３の視点の動きのみが反映されていることが好ましい。 Furthermore, it is preferable that the test space photographed in step S1 is a space where no moving object exists. This is because, as already described, what is learned by the learning process is a parameter for evaluating the movement of the viewpoint of the camera 3 included in the target moving image. Therefore, it is preferable that the motion of the moving object is not reflected in the test moving image that is the basis for calculating such parameters, and only the movement of the viewpoint of the camera 3 is reflected.

続くステップＳ２では、ステップＳ１で撮影されたテスト動画像をカメラ３から監視コンピュータ１へネットワーク６を介して送信する送信処理が開始される。送信処理では、以上の撮影処理により一定量のテスト動画像が撮影される度に、当該一定量のテスト動画像が送信される。なお、他の実施形態では、テスト動画像は、ネットワーク６経由で送信されるのではなく、ＵＳＢメモリ等の外部記憶装置を介して監視コンピュータ１へ受け渡されてもよい。或いは、カメラ３を直接監視コンピュータ１へ接続することで受け渡されてもよい。この場合には、固有ベクトルのセットの算出に必要な量のテスト動画像の撮影が完了した後、当該テスト動画像が一括して受け渡されるように構成することができる。 In subsequent step S2, transmission processing for transmitting the test moving image taken in step S1 from the camera 3 to the monitoring computer 1 via the network 6 is started. In the transmission process, every time a fixed amount of test moving images is shot by the above shooting process, the fixed amount of test moving images is transmitted. In another embodiment, the test moving image may be transferred to the monitoring computer 1 via an external storage device such as a USB memory instead of being transmitted via the network 6. Alternatively, it may be delivered by connecting the camera 3 directly to the monitoring computer 1. In this case, it is possible to configure such that the test moving images are delivered in a lump after the imaging of the amount of test moving images necessary for calculating the set of eigenvectors is completed.

次に、ステップＳ３では、オプティカルフロー導出部４１ａが、ステップＳ２のテスト動画像から、時々刻々のオプティカルフローＤ_kを導出する導出処理を開始する（ｋは、時刻を表し、ｋ＝１，２，・・・と増加する）。オプティカルフローＤ_kとは、図３に示すように、テスト動画像に含まれる時刻ｋでのフレーム内の各点ｐ_ijにその点ｐ_ijの動きを表すベクトルｄ_ij（ｋ）を割り当てたものである（ｉ＝１，２，・・・，Ｉ、かつ、ｊ＝１，２，・・・，Ｊ）。ここで、点ｐ_ijとは、テスト動画像のフレーム上に等間隔に並べられた点の格子状配列のうち、上からｉ番目で左からｊ番目の点である。ベクトルｄ_ij（ｋ）は、テスト動画像の時刻ｋにおける点ｐ_ijに対応する１又は複数個の画素が、時刻ｋから時刻ｋ＋１の間に移動した移動量で表される２次元ベクトル（ｄ_ijx（ｋ），ｄ_ijy（ｋ））である。また、ｄ_ijx（ｋ）及びｄ_ijy（ｋ）はそれぞれ、テスト動画像のフレームが存在するＸＹ平面内での時刻ｋでのＸ方向への移動量及びＹ方向への移動量であり、テスト動画像の時刻ｋ及び時刻ｋ＋１でのフレームの画素値に基づいて算出される。 Next, in step S3, the optical flow deriving unit 41a starts a derivation process for deriving the optical flow D _k from time to time from the test moving image in step S2 (k represents time, k = 1, 2). , ... and increase). The optical flow D _k, as shown in FIG. 3, which assigned the vector d _ij (k) representing the motion of the point p _ij at each point p _ij in the frame at time k included in the test video image (I = 1, 2,..., I and j = 1, 2,..., J). Here, the point p _ij is the i-th point from the top and the j-th point from the left in the lattice-like array of points arranged at equal intervals on the frame of the test moving image. The vector d _ij (k) is a two-dimensional vector (d) represented by the amount of movement of one or more pixels corresponding to the point p _ij at time k of the test moving image from time k to time k + 1. _ijx (k), d _ijy (k)). Further, d _ijx (k) and d _ijy (k) are the movement amount in the X direction and the movement amount in the Y direction at the time k in the XY plane where the frame of the test moving image exists, respectively. It is calculated based on the pixel values of the frames at time k and time k + 1 of the moving image.

すなわち、オプティカルフローＤ_kとは、テスト動画像の時刻ｋにおけるフレーム内の様々な局所領域の動きを表すベクトル場であり、数１のとおり表すことができる。
なお、このようなオプティカルフローＤ_kの具体的な算出方法については、勾配法やブロックマッチング法等の様々な方法が公知であるため、ここでは詳細な説明を省略する。 In other words, the optical flow D _k is a vector field representing the motion of various local regions in the frame at the time k of the test moving image, and can be expressed as Equation 1.
In addition, since various methods, such as a gradient method and a block matching method, are well-known about the specific calculation method of such optical flow _Dk , detailed description is abbreviate | omitted here.

オプティカルフロー導出部４１ａは、導出処理において、以上の送信処理により一定量のテスト動画像を取得する度に、当該一定量のテスト動画像に含まれるフレームのオプティカルフローＤ_kを時系列に沿って順次導出してゆく。また、オプティカルフロー導出部４１ａは、オプティカルフローＤ_kを導出する度に、これをベクトル格納部３１内に格納する。すなわち、テスト動画像の送信、並びにオプティカルフローＤ_kの導出及び格納は、テスト動画像の撮影に並行してリアルタイムに実行される。オプティカルフロー導出部４１ａは、Ｎ個のオプティカルフローＤ₁，Ｄ₂，・・・，Ｄ_Nが格納されるまで、ベクトル格納部３１内にオプティカルフローＤ_kを順次格納してゆく。Ｎは、本実施形態では、１０００程度である。 In the derivation process, the optical flow deriving unit 41a obtains the optical flow _{Dk of} frames included in the certain amount of test moving images in time series every time a certain amount of test moving images are acquired by the above transmission processing. Derived sequentially. The optical flow deriving unit 41 a stores the optical flow D _k in the vector storage unit 31 every time it derives the optical flow D _k . That is, the transmission of the test moving image and the derivation and storage of the optical flow D _k are executed in real time in parallel with the shooting of the test moving image. The optical flow deriving unit 41a sequentially stores the optical flows _Dk in the vector storage unit 31 until _N optical flows D ₁ , D ₂ ,..., D _N are stored. N is about 1000 in this embodiment.

以下では、説明の便宜上、オプティカルフローＤ_kを列ベクトルとして捉え直し、ベクトルＶ_kと表すこととする。ベクトルＶ_kの次元数Ｐは、２×Ｉ×Ｊである。本実施形態では、ベクトルＶ_kは、画像のオプティカルフローであるための、例えば、Ｐ＝１００００程度である。 In the following, for convenience of explanation, the optical flow D _k is re-recognized as a column vector and expressed as a vector V _k . The dimension number P of the vector V _k is 2 × I × J. In the present embodiment, the vector V _k is an optical flow of an image, and is about P = 10,000, for example.

続くステップＳ４，Ｓ５では、学習部４１は、ベクトル格納部３１内にＬ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）が格納されるのを待って、これらのＬ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lに対し主成分分析を行う。本実施形態では、Ｌは、１００程度である。 In subsequent steps S4 and S5, the learning unit 41 stores L vectors V ₁ , V ₂ ,..., V _L (L is a natural number satisfying L <N) in the vector storage unit 31. Then, principal component analysis is performed on these L vectors V ₁ , V ₂ ,..., V _L. In the present embodiment, L is about 100.

まず、ステップＳ４では、初期共分散行列導出部４１ｂは、ベクトル格納部３１からベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lを読み出し、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lの共分散行例Ｃ_Lを導出する。共分散行列Ｃ_Lは、数２の式に基づいて導出される。なお、行列（ベクトル）を表す記号の右肩に付される「ｔ」の文字は、転置行列を意味する。
共分散行列Ｃ_Lの次元数は、Ｐ＝２×Ｉ×Ｊである。初期共分散行列導出部４１ｂは、共分散行列Ｃ_Lを、初期共分散行列格納部３２内に格納する。 First, in step S4, the initial covariance matrix derivation unit 41b is a vector V _1, V ₂ from the vector storage section 31, ..., reads the V _L vector V _1, V _2, ..., the V _L A covariance example _CL is derived. The covariance matrix C _L is derived based on the formula (2). Note that the letter “t” attached to the right shoulder of a symbol representing a matrix (vector) means a transposed matrix.
The number of dimensions of the covariance matrix C _L is P = 2 × I × J. The initial covariance matrix deriving unit 41 b stores the covariance matrix C _L in the initial covariance matrix storage unit 32.

続くステップＳ５では、初期固有ベクトル算出部４１ｃは、初期共分散行列格納部３２から共分散行列Ｃ_Lを読み出し、共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）及びＭ個の固有値λ₁（Ｌ），λ₂（Ｌ），・・・，λ_M（Ｌ）を算出する。また、共分散行列Ｃ_Lから導出可能な固有ベクトルの数はＰ個であるが、Ｐ個の全ての固有ベクトルが算出される必要はない。固有ベクトルは、背景の動きを表すオプティカルフロー（以下、背景オプティカルフロー）を表すのに十分な個数だけあれば足り、Ｍは、Ｐより大幅に小さく、例えば、５〜１０程度である。固有値λ_i（Ｌ）は、Ｐ個中ｉ番目に大きい固有値であり、固有ベクトルｕ_i（Ｌ）は、固有値λ_i（Ｌ）に対応する（ｉ＝１，２，・・・，Ｍ）。そして、初期固有ベクトル算出部４１ｃは、これらのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）及びＭ個の固有値λ₁（Ｌ），λ₂（Ｌ），・・・，λ_M（Ｌ）を、固有ベクトル格納部３３内に格納する。 In step S5, the initial eigenvector calculation section 41c reads out the covariance matrix C _L from the initial covariance matrix storage part 32, of the M covariance matrix C _L eigenvectors _{_{u 1 (L), u 2}} (L), , U _M (L) and M eigenvalues λ ₁ (L), λ ₂ (L),..., Λ _M (L) are calculated. The number of eigenvectors derivable from the covariance matrix C _L is P, but it is not necessary to calculate all the P eigenvectors. It is sufficient that the eigenvectors have a sufficient number to represent the optical flow representing the movement of the background (hereinafter referred to as background optical flow), and M is significantly smaller than P, for example, about 5 to 10. The eigenvalue λ _i (L) is the i-th largest eigenvalue out of P, and the eigenvector u _i (L) corresponds to the eigenvalue λ _i (L) (i = 1, 2,..., M). Then, the initial eigenvector calculation unit 41c includes the M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) and the M eigenvalues λ ₁ (L), λ ₂ ( L),..., Λ _M (L) are stored in the eigenvector storage unit 33.

以後、ベクトルＶ_L+1，Ｖ_L+2，・・・，Ｖ_Nが順次１つずつ選択され、ステップＳ６〜Ｓ８が、現在選択されているベクトル（以下、選択ベクトル）Ｖ_kに対し繰り返し実行される。なお、ステップＳ６〜Ｓ８において様々な数式が使用されるが、数式の根拠については後述することとし、まずは処理の流れについて説明する。 Thereafter, vectors V _{L + 1} , V _{L + 2} ,..., V _N are sequentially selected one by one, and steps S 6 to S 8 are repeated for the currently selected vector (hereinafter referred to as selected vector) V _k. Executed. Various formulas are used in steps S6 to S8. The basis of the formula will be described later. First, the flow of processing will be described.

ステップＳ６では、固有ベクトル追加部４１ｄは、ベクトル格納部３１から選択ベクトルＶ_kを読み出すとともに、固有ベクトル格納部３３からＭ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）を読み出す。そして、固有ベクトル追加部４１ｄは、選択ベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定する。固有ベクトルｕ_M+1（ｋ−１）は、数３の式に基づいて算出される。また、固有ベクトルｕ_M+1（ｋ−１）に対応する固有値λ_M+1（ｋ−１）が、０と設定される。
In step S6, the eigenvector adding unit 41d reads the selection vector V _k from the vector storage unit 31 and M eigenvectors u ₁ (k−1), u ₂ (k−1),. Read u _M (k-1). Then, the eigenvector adding unit 41d is orthogonal to the _M eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1) based on the selection vector V _k. A unit vector is calculated and set as the ( _{M +} 1) th eigenvector u _{M + 1} (k−1). The eigenvector u _{M + 1} (k−1) is calculated based on the equation (3). Also, the eigenvalue λ _{M + 1} (k−1) corresponding to the eigenvector u _{M + 1} (k−1) is set to 0.

ただし、ベクトルＶ_kΔは、数４の式に基づいて算出される。なお、（行列，行列）は、２つの行列の内積を表す。
固有ベクトル追加部４１ｄは、固有ベクトルｕ_M+1（ｋ−１）及びλ_M+1（ｋ−１）を、固有ベクトル格納部３３内に格納する。 However, the vector V _k Δ is calculated based on the equation (4). Note that (matrix, matrix) represents the inner product of two matrices.
The eigenvector adding unit 41 d stores the eigenvectors u _{M + 1} (k−1) and λ _{M + 1} (k−1) in the eigenvector storage unit 33.

ステップＳ７では、低次元共分散行列導出部４１ｅは、ベクトル格納部３１から選択ベクトルＶ_kを読み出すとともに、固有ベクトル格納部３３からＭ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）及びＭ＋１個の固有値λ₁（ｋ−１），λ₂（ｋ−１），・・・，λ_M+1（ｋ−１）を読み出す。そして、低次元共分散行列導出部４１ｅは、これらの情報に基づいて、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kを導出する。共分散行列Ｃ_kは、実際には、Ｐ次元の行列である。しかしながら、ここでは、低次元共分散行列導出部４１ｅは、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、共分散行列Ｃ_kを近似的にＭ＋１次元の共分散行列Ｃ_k’として算出する。具体的には、低次元共分散行列導出部４１ｅは、Ｍ＋１次元の共分散行列Ｃ_k’のｌ行ｍ列の要素ｇ_lm（ｋ）を、数５の式に基づいて算出する（ｌ＝１，２，・・・，Ｍ＋１、かつ、ｍ＝１，２，・・・，Ｍ＋１）。
In step S7, the low-dimensional covariance matrix deriving unit 41e reads the selection vector V _k from the vector storage unit 31 and M + 1 eigenvectors u ₁ (k−1), u ₂ (k−1) from the eigenvector storage unit 33. _{), ···, u M + 1} (k-1) and M + 1 eigenvalues _{λ 1 (k-1),} λ 2 (k-1), ···, λ M + 1 of the (k-1) read out. Then, the low-dimensional covariance matrix deriving unit 41e derives the covariance matrix C _k of the vectors V ₁ , V ₂ ,..., V _k based on these pieces of information. The covariance matrix C _k is actually a P-dimensional matrix. However, here, the low-dimensional covariance matrix deriving unit 41e uses M + 1 eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _{M + 1} (k−1). Thus, the covariance matrix C _k is approximately calculated as an M + 1-dimensional covariance matrix C _k ′. Specifically, the low-dimensional covariance matrix deriving unit 41e calculates the element g _lm (k) of l rows and m columns of the M + 1 dimensional covariance matrix C _k ′ based on the equation (5). 1, 2, ..., M + 1 and m = 1, 2, ..., M + 1).

ただし、δは、０〜１の間の定数であり、ｃ_iは、数６の式に基づいて（ｉ＝１，２，・・・，Ｍ＋１）、δ_lmは、数７の式に基づいて算出される（ｌ＝１，２，・・・，Ｍ＋１、かつ、ｍ＝１，２，・・・，Ｍ＋１）。
すなわち、ステップＳ７では、Ｐ次元空間内のベクトルＶ₁，Ｖ₂，・・・，Ｖ_kを、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）から形成されるＭ＋１次元の固有空間内のベクトルとして近似的に捉えることにより、共分散行列Ｃ_kの次元数を低下させている。低次元共分散行列導出部４１ｅは、Ｍ＋１次元の共分散行列Ｃ_k’を、低次元共分散行列格納部３４内に格納する。 However, δ is a constant between 0 and 1, c _i is based on the equation (6 = 1 (1, 2,..., M + 1)), and δ _lm is based on the equation (7). (L = 1, 2,..., M + 1 and m = 1, 2,..., M + 1).
That is, in step S7, the vectors V ₁ , V ₂ ,..., V _k in the P-dimensional space are _converted into M + 1 eigenvectors u ₁ (k−1), u ₂ (k−1),. The number of dimensions of the covariance matrix C _k is reduced by approximating it as a vector in the M + 1 dimensional eigenspace formed from u _{M + 1} (k−1). The low-dimensional covariance matrix deriving unit 41 e stores the M + 1-dimensional covariance matrix C _k ′ in the low-dimensional covariance matrix storage unit 34.

続くステップＳ８では、固有ベクトル更新部４１ｆは、低次元共分散行列格納部３４から共分散行列Ｃ_k’を読み出し、共分散行列Ｃ_k’のＭ個の固有ベクトルｖ₁（ｋ），ｖ₂（ｋ），・・・，ｖ_M（ｋ）及びＭ個の固有値λ₁（ｋ），λ₂（ｋ），・・・，λ_M（ｋ）を算出する。固有ベクトルｖ_i（ｋ）は、固有値λ_i（ｋ）に対応し、固有値λ_i（ｋ）は、Ｐ個中ｉ番目に大きい固有値である（ｉ＝１，２，・・・，Ｍ）。 In subsequent step S8, the eigenvector update unit 41f reads the covariance matrix C _k ′ from the low-dimensional covariance matrix storage unit 34, and M eigenvectors v ₁ (k), v ₂ (k) of the covariance matrix C _k ′. _{), ···, v M (k} ) and M eigenvalues _{_{λ 1 (k), λ 2}} (k), ···, to calculate the λ _M (k). Eigenvectors v _i (k) corresponds to the eigenvalues λ _i (k), the eigenvalues λ _i (k) is a big eigenvalues in the P i-th (i = 1,2, ···, M ).

固有ベクトルｖ₁（ｋ），ｖ₂（ｋ），・・・，ｖ_M（ｋ）は、Ｍ＋１次元のベクトルである。従って、固有ベクトル更新部４１ｆは、数８の式に基づいて（ｉ＝１，２，・・・，Ｍ）、これらのＭ＋１次元の固有ベクトルｖ₁（ｋ），ｖ₂（ｋ），・・・，ｖ_M（ｋ）を、Ｐ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換する。
ただし、ｖ_ij（ｋ）は、列ベクトルであるベクトルｖ_i（ｋ）のｊ番目の要素である。すなわち、ベクトルｖ_i（ｋ）は、ｖ_ij（ｋ）を用いて、数９の式のように与えられる（ｉ＝１，２，・・・，Ｍ）。
The eigenvectors v ₁ (k), v ₂ (k),..., V _M (k) are M + 1 dimensional vectors. Therefore, the eigenvector update unit 41f is based on the equation (8) (i = 1, 2,..., M), and these M + 1-dimensional eigenvectors v ₁ (k), v ₂ (k),. , V _M (k) are converted into P-dimensional eigenvectors u ₁ (k), u ₂ (k),..., U _M (k).
However, v _ij (k) is the j-th element of the vector v _i (k) which is a column vector. That is, the vector v _i (k) is given by the equation (9) using v _ij (k) (i = 1, 2,..., M).

固有ベクトル更新部４１ｆは、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）及びＭ個の固有値λ₁（ｋ），λ₂（ｋ），・・・，λ_M（ｋ）を、固有ベクトル格納部３３内に格納する。 The eigenvector update unit 41f includes M P-dimensional eigenvectors u ₁ (k), u ₂ (k),..., U _M (k) and M eigenvalues λ ₁ (k), λ ₂ (k). ,..., Λ _M (k) are stored in the eigenvector storage unit 33.

そして、最後のベクトルＶ_Nに対するステップＳ６〜Ｓ８が終了すると、学習処理が終了する。学習処理が終了すると、固有ベクトル格納部３３内には、Ｎ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nの最終的な主成分分析の結果として、Ｍ個のＰ次元の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）が保持されている。以下では、簡単のため、固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を、それぞれ固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Nと表す。 When the steps S6 to S8 for the last vector V _N are finished, the learning process is finished. When the learning process is completed, M P-dimensional eigenvectors u ₁ are stored in the eigenvector storage unit 33 as a result of the final principal component analysis of _N vectors V ₁ , V ₂ ,. (N), u ₂ (N),..., U _M (N) are held. In the following, for simplicity, the eigenvector _{_{u 1 (N), u 2}} (N), ···, u M a (N), respectively eigenvector U _1, U _2, · · ·, expressed as U _N.

なお、固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Nとは、既に述べたとおり、テスト動画像から導出される多数のオプティカルフローＤ_kから抽出される主成分である。また、テスト動画像とは、カメラ３の視点を様々な方向に移動させながらテスト空間を撮影したものである。従って、以上のような固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Nを線型結合すれば、カメラ３のあらゆる視点の動き、すなわち、背景オプティカルフローを作成することが可能になる。 Note that the eigenvectors U ₁ , U ₂ ,..., U _N are principal components extracted from a number of optical flows D _k derived from the test moving image, as described above. The test moving image is an image of the test space while moving the viewpoint of the camera 3 in various directions. Therefore, if the eigenvectors U ₁ , U ₂ ,..., U _{N as described above} are linearly combined, it is possible to create a movement of any viewpoint of the camera 3, that is, a background optical flow.

以上のとおり、ステップＳ４〜Ｓ８における主成分分析では、Ｎ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nの主成分分析を行うに当たり、まずはＮ個よりも少ないＬ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lに対して、低負荷で固有ベクトル及び固有値の初期値が算出される。そして、以後、残りのベクトルＶ_L+1，Ｖ_L+2，・・・，Ｖ_Nを順次用いて、固有ベクトル及び固有値が順次更新されてゆく。また、更新時のステップＳ７，Ｓ８は、初期値計算時のステップＳ４，Ｓ５と比べると、扱われる共分散行列の次元数がＰからＭ＋１まで低下している。従って、Ｎ個のベクトルＶ₁，Ｖ₂，・・・，Ｖ_NからＰ次元の共分散行列Ｃ_Nを算出し、これを固有値分解する従来の処理に比べて、本実施形態に係る処理は短時間で終了する。特に、本実施形態では、Ｎは、１０００程度、Ｐは、１００００程度、Ｍは、５〜１０程度であるため、計算負荷は大幅に減少する。 As described above, in the principal component analysis in steps S4 to S8, when performing the principal component analysis of N vectors V ₁ , V ₂ ,..., V _N , first, L vectors V _{1 that} are fewer than N in number. , V ₂ ,..., V _L , initial values of eigenvectors and eigenvalues are calculated at a low load. Then, thereafter, the remaining vector _{_{V L + 1, V L +}} 2, ···, sequentially with V _N, eigenvectors and eigenvalues Yuku are sequentially updated. In addition, in steps S7 and S8 at the time of updating, the number of dimensions of the covariance matrix to be handled is reduced from P to M + 1 compared to steps S4 and S5 at the time of initial value calculation. Therefore, the processing according to the present embodiment is compared with the conventional processing in which a P-dimensional covariance matrix C _N is calculated from _N vectors V ₁ , V ₂ ,. Finish in a short time. In particular, in this embodiment, N is about 1000, P is about 10000, and M is about 5 to 10, so that the calculation load is greatly reduced.

また、以上の学習処理では、Ｌ個のオプティカルフローＤ₁，Ｄ₂，・・・，Ｄ_Lが準備された後は、ステップＳ４〜Ｓ８における主成分分析の処理が、テスト動画像の撮影及び送信、オプティカルフローＤ_kの導出の処理と並行してリアルタイムに実行される。従って、計算時間がさらに短縮されるようになっている。 In the above learning process, after the L optical flows D ₁ , D ₂ ,..., D _L are prepared, the principal component analysis process in steps S4 to S8 is performed to capture a test moving image and It is executed in real time in parallel with the process of derivation of transmission and optical flow _Dk . Therefore, the calculation time is further shortened.

以下、ステップＳ６〜Ｓ８における固有ベクトルの更新時のアルゴリズムについて説明する。すなわち、固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）及び固有値λ₁（ｋ−１），λ₂（ｋ−１），・・・，λ_M（ｋ−１）が与えられている場合に、固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）及び固有値λ₁（ｋ），λ₂（ｋ），・・・，λ_M（ｋ）を算出する方法について、説明する。 Hereinafter, an algorithm for updating eigenvectors in steps S6 to S8 will be described. That is, eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1) and eigenvalues λ ₁ (k−1), λ ₂ (k−1),. , Λ _M (k−1) is given, eigenvectors u ₁ (k), u ₂ (k),..., U _M (k) and eigenvalues λ ₁ (k), λ ₂ ( A method for calculating k),..., λ _M (k) will be described.

まず、Ｖ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kは、数１０のとおり表される。ただし、簡単のため、平均はゼロとする。
数１０の式を変形すると、共分散行列Ｃ_kは、共分散行列Ｃ_k-1を用いて数１１のとおり表される。
δは、０＜δ＜１の範囲内で適宜設定可能な定数である。δが大きい程、直近のベクトルＶ_kの影響が大きく、δが小さい程、過去の記憶が残っていることになる。 First, V _1, V _2, · · ·, the covariance matrix C _k of V _k is expressed as number 10. However, for simplicity, the average is zero.
When the equation of Equation 10 is modified, the covariance matrix C _k is expressed as Equation 11 using the covariance matrix C _k−1 .
δ is a constant that can be set as appropriate within a range of 0 <δ <1. As δ is larger, the influence of the latest vector V _k is larger, and as δ is smaller, the past memory remains.

ところで、ベクトルＶ_kは、固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）を用いて、数１２の式のＶ_k’に近似することができる。ただし、ｃ_iは、数１３（数６に同じ）の式で表されるものとする。
By the way, the vector V _k is approximated to V _k ′ of Expression 12 using the eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1). be able to. Here, c _i is expressed by the equation (13) (same as equation (6)).

このとき、ベクトルＶ_kとベクトルＶ_k’との差分ベクトルＶ_kΔは、以下の数１４のように表される。
ここで、差分ベクトルＶ_kΔと任意の固有ベクトルｕ_j（ｋ−１）（ｊ＝１，２，・・・，Ｍ）との内積を数１４に基づいて計算すると、数１５のように変形され、値が０となる。
At this time, a difference vector V _k Δ between the vector V _k and the vector V _k ′ is expressed as the following Expression 14.
Here, when the inner product of the difference vector V _k Δ and an arbitrary eigenvector u _j (k−1) (j = 1, 2,..., M) is calculated based on the equation 14, it is transformed as the equation 15. And the value becomes 0.

すなわち、ベクトルＶ_kΔは、固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交している。従って、共分散行列Ｃ_k-1のもう１つの固有ベクトルｕ_M+1（ｋ−１）を、ベクトルＶ_kΔをベクトルＶ_kΔの大きさで除した単位ベクトルとして、数１６（数３と同じ）のように表すことができる。
That is, the vector V _k Δ is orthogonal to the eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1). Accordingly, the covariance matrix C _k-1 Another eigenvector u _{M + 1} to (k-1), a unit vector obtained by dividing the vector V _k delta in the magnitude of the vector V _k delta, the number 16 (number 3 The same).

ところで、共分散行列Ｃ_kは、Ｍ個の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）を用いて、数１７の式のとおり近似することができる。
数１１の式に数１７の式を代入すると、数１８の式となる。
By the way, the covariance matrix C _k can be approximated as shown in Expression 17 using _M eigenvectors u ₁ (k), u ₂ (k),..., U _M (k).
Substituting the formula 17 into the formula 11 yields the formula 18.

ここで、共分散行列Ｃ_kのｌ行ｍ列の要素は、数１９の式により定義されるｇ_lm（ｋ）表すことができる（ｌ，ｍは、自然数）。
数１９の式に数１８の式を代入して変形すると、数２０（数５と同じ）の式が得られる。
Here, an element of l rows and m columns of the covariance matrix C _k can be expressed by g _lm (k) defined by the equation (19) (l and m are natural numbers).
Substituting the equation of equation 18 into the equation of equation 19 for transformation yields the equation of equation 20 (the same as equation 5).

ここで、ｌ行ｍ列（ｌ＝１，２，・・・，Ｍ＋１，ｍ＝１，２，・・・，Ｍ＋１）の要素をｇ_lm（ｋ）とするＭ＋１次元の行列Ｃ_k’を定義したとき、この行列Ｃ_k’の固有値方程式は、数２１のようになる（ｉは、自然数）。
数２１の式は、数２２の式（ｉは、自然数）で表されるＰ次元の共分散行列Ｃ_kの固有値方程式の別表現である。
このとき、以上の２つの固有値方程式中のｕ_i（ｋ）とｖ_i（ｋ）との間には、数２３（数８と同じ）の関係がある。ただし、ｖ_ij（ｋ）は、数２４（数９と同じ）で表される。
Here, an M + 1-dimensional matrix C _k ′ having an element of l rows and m columns (l = 1, 2,..., M + 1, m = 1, 2,..., M + 1) as g _lm (k) When defined, the eigenvalue equation of this matrix C _k ′ is as shown in Equation 21 (i is a natural number).
Expression 21 is another expression of the eigenvalue equation of the P-dimensional covariance matrix C _k expressed by Expression 22 (i is a natural number).
At this time, there is a relationship of Equation 23 (same as Equation 8) between u _i (k) and v _i (k) in the above two eigenvalue equations. However, v _ij (k) is expressed by _Expression 24 (same as Expression 9).

以上より、固有ベクトルの更新時において、Ｐ次元の共分散行列Ｃ_kの固有値問題を、より低次元のＭ＋１次元の固有値問題へと変換し、計算負荷を低減することができる。 As described above, at the time of updating the eigenvector, the eigenvalue problem of the P-dimensional covariance matrix C _k can be converted into a lower-dimensional M + 1-dimensional eigenvalue problem, and the calculation load can be reduced.

＜２−２．認識処理＞
続いて、図４を参照しつつ、学習処理後の認識処理について説明する。まず、認識処理と並行して、カメラ３により、時々刻々、認識処理の対象となる対象動画像が撮影される。対象動画像に含まれるフレームは、時々刻々、カメラ３から監視コンピュータ１へネットワーク６を介して送信され、記憶部３０内に順次格納されてゆく。そして、記憶部３０内に一定量のフレームが蓄積されると、図４に示す認識処理が開始される。 <2-2. Recognition process>
Next, the recognition process after the learning process will be described with reference to FIG. First, in parallel with the recognition process, a target moving image that is a target of the recognition process is captured by the camera 3 every moment. Frames included in the target moving image are transmitted from the camera 3 to the monitoring computer 1 via the network 6 and stored in the storage unit 30 sequentially. When a certain amount of frames are accumulated in the storage unit 30, the recognition process shown in FIG. 4 is started.

認識処理では、図４に示すとおり、記憶部３０内に格納されている対象動画像の各フレームに対し、ステップＳ１１〜Ｓ１４が繰り返し実行される。まず、ステップＳ１１では、その後のステップＳ１２〜Ｓ１４の処理の対象として、記憶部３０内に格納されている未処理のフレームのうち、最も過去の時刻ｋに撮影されたフレーム（以下、対象フレーム）が選択される。 In the recognition process, steps S11 to S14 are repeatedly executed for each frame of the target moving image stored in the storage unit 30, as shown in FIG. First, in step S11, among the unprocessed frames stored in the storage unit 30 as the targets of the subsequent steps S12 to S14, a frame shot at the past time k (hereinafter referred to as a target frame). Is selected.

続いて、ステップＳ１２では、動き導出部４２が、時刻ｋでの対象フレームに対応するオプティカルフローＥ_kを導出する。オプティカルフローＥ_kは、テスト動画像の代わりに対象動画像を対象として、オプティカルフローＤ_kと同様の方法で導出される。 Subsequently, in step S12, the motion deriving unit 42 derives an optical flow E _k corresponding to the target frame at time k. The optical flow E _k is derived by the same method as the optical flow D _k for the target moving image instead of the test moving image.

すなわち、オプティカルフローＥ_kとは、対象フレーム内の様々な局所領域の動きを表すベクトル場である。また、オプティカルフローＥ_kとは、時刻ｋから時刻ｋ＋１の間の移動体の動きと、カメラ３の視点の動き、すなわち、移動体の背景の動きとを表すベクトル場である。以下では、オプティカルフローＤ_kと同様、オプティカルフローＥ_kを列ベクトルとして捉え直し、ベクトルＷ_kと表す。 That is, the optical flow E _k is a vector field that represents the movement of various local regions in the target frame. The optical flow E _k is a vector field representing the movement of the moving body between time k and time k + 1 and the movement of the viewpoint of the camera 3, that is, the movement of the background of the moving body. In the following, like the optical flow D _k , the optical flow E _k is re-recognized as a column vector and expressed as a vector W _k .

次に、ステップＳ１３では、近似部４３が、最小二乗法等の方法により、ステップＳ１２で導出されたベクトルＷ_kを、記憶部３０内に格納されている固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Nの線型結合として近似する。以下、この線型結合を表すベクトルをＷ_k’と表す。このとき、ベクトルＷ_k’は、Ｍ個の係数ａ₁（ｋ），ａ₂（ｋ），・・・，ａ_M（ｋ）を用いて、数２５のように表される。従って、ステップＳ１３は、Ｎ個の係数ａ₁（ｋ），ａ₂（ｋ），・・・，ａ_M（ｋ）を算出するステップである。
Next, in step S13, the approximating unit 43 converts the vector W _k derived in step S12 into eigenvectors U ₁ , U ₂ ,. It is approximated as a linear combination of U _N. Hereinafter, a vector representing this linear combination is represented as W _k ′. At this time, the vector W _k ′ is expressed as in Expression 25 using _M coefficients a ₁ (k), a ₂ (k),..., A _M (k). Therefore, step S13 is a step of calculating N coefficients a ₁ (k), a ₂ (k),..., A _M (k).

ここで、既に述べたとおり、カメラ３の視点の動きは、固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Nの線型結合として表すことが可能である。従って、ベクトルＷ_kを固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Nの線型結合として近似したベクトルＷ_k’は、時刻ｋから時刻ｋ＋１の間のカメラ３の視点の動きを表していることになる。 Here, as already mentioned, the movement of the viewpoint of the camera 3, the eigenvectors U _1, U _2, · · ·, can be expressed as a linear combination of U _N. Thus, eigenvector U ₁ vector W _k, U _2, · · ·, vector W _k which approximates as linear combination of U _N 'is that it represents the motion of the viewpoint of the camera 3 between time k at time k + 1 become.

次に、ステップＳ１４では、領域検出部４４が、ベクトルＷ_kとベクトルＷ_k’との差分である差分ベクトルＦ_k＝Ｗ_k−Ｗ_k’を導出する。なお、ここでは、ベクトルＷ_kからカメラ３の視点の動きを表すベクトルＷ_k’を引くことで、ベクトルＷ_kからカメラ３の視点の動きをキャンセルしている。すなわち、差分ベクトルＦ_kは、時刻ｋから時刻ｋ＋１の間の移動体の動きを表すものとなる。 Next, in step S _< b> 14, the region detection unit 44 derives a difference vector F _k = W _k −W _k ′ that is a difference between the vector W _k and the vector W _k ′. Here, by subtracting the vector W _k 'representing the motion of the viewpoint of the camera 3 from the vector W _k, and it cancels the movement of the viewpoint of the camera 3 from the vector W _k. That is, the difference vector F _k represents the movement of the moving body between time k and time k + 1.

続けて、領域検出部４４は、差分ベクトルＦ_kの各成分となるベクトルｆ_ij（ｋ）の大きさを判断する（ｉ＝１，２，・・・，Ｉ、かつ、ｊ＝１，２，・・・，Ｊ）。そして、領域検出部４４は、所定値よりも大きさの大きいベクトルｆ_ij（ｋ）に対応する点ｐ_ijを検出し、このような点ｐ_ijを、時刻ｋの対象フレーム内で移動体の存在する領域として認識する。また、領域検出部４４は、対象フレーム内で移動体の存在する領域を示す情報を記憶部３０内に格納する。 Subsequently, the region detection unit 44 determines the magnitude of the vector f _ij (k) that is each component of the difference vector F _k (i = 1, 2,..., I and j = 1, 2). , ..., J). Then, the region detection unit 44 detects a point p _ij corresponding to the vector f _ij (k) having a magnitude larger than a predetermined value, and such a point p _ij is detected in the target frame at time k. Recognize as an existing area. In addition, the region detection unit 44 stores information indicating a region where the moving object exists in the target frame in the storage unit 30.

以上のステップＳ１１〜Ｓ１４が繰り返されることにより、時々刻々のフレーム内での移動体の位置が検出される。図４に示すとおり、解釈部４５は、適当な枚数のフレーム分の、移動体の存在する領域を示す情報が記憶部３０内に蓄積される度に、対象動画像に捉えられた移動体の動きを解釈する（ステップＳ１５）。また、解釈部４５は、必要に応じて、その解釈の結果を表示部１０及び通信部５０を介して出力する。なお、移動体の動きを解釈するためのアルゴリズムとしては、様々なものが考えられるが、例えば、対象動画像から移動体として検出される見守りの対象となる高齢者等に何らかの異常が起こっていないか（適切な時間に起きて、活動しているか等）を判断することが考えられる。 By repeating the above steps S11 to S14, the position of the moving body within the frame is detected every moment. As shown in FIG. 4, each time the information indicating the area where the moving object exists for an appropriate number of frames is accumulated in the storage unit 30, the interpretation unit 45 stores the moving object captured in the target moving image. The movement is interpreted (step S15). Moreover, the interpretation part 45 outputs the result of the interpretation via the display part 10 and the communication part 50 as needed. There are various algorithms for interpreting the movement of the moving object. For example, there is no abnormality in an elderly person who is a monitoring target detected as a moving object from the target moving image. (Whether they are up and working at an appropriate time).

図４に示す認識処理は、以上のステップを記憶部３０内から未処理のフレームがなくなるまで繰り返した後、終了する。 The recognition process shown in FIG. 4 ends after repeating the above steps until there are no unprocessed frames in the storage unit 30.

＜３．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。 <3. Modification>
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning. For example, the following changes can be made. Moreover, the gist of the following modifications can be combined as appropriate.

＜３−１＞
上記実施形態に係る主成分分析の方法は、画像の背景の抽出以外の任意の用途で利用可能である。ただし、画像の背景の抽出を行う場合等、必要とされる固有ベクトルの個数が少ない場合には、主成分分析に要する計算負荷を低減することができるため、特に有用である。 <3-1>
The principal component analysis method according to the above embodiment can be used for any purpose other than the extraction of the background of an image. However, when the number of eigenvectors required is small, such as when extracting the background of an image, the calculation load required for principal component analysis can be reduced, which is particularly useful.

＜３−２＞
上記実施形態に係る画像の背景の抽出の機能は、画像のオプティカルフローではなく、画像の画素値そのものを表すベクトルを対象とする場合にも使用することができる。この場合、ベクトルＶ_kやＷ_kを、画素値を表すベクトルとすればよい。なお、画像の背景を、オプティカルフローではなく画像の画素値そのもので表現する場合、画像の背景は、照明の変化や長時間放置される物体がある等、時間的に少しずつ変化する。このような場合には、学習処理を定期的に実行し、背景画像を表すための固有ベクトルのセットを定期的に更新することが好ましい。例えば、認識処理のステップＳ１１において対象フレームを選択する度に、学習処理のステップＳ６〜Ｓ８と同様の固有ベクトルの更新処理を実行し、その後、ステップＳ１３において、当該最新の固有ベクトルのセットを用いて背景画像を表す線形結合を算出してもよい。 <3-2>
The function of extracting the background of the image according to the above embodiment can be used not only for the optical flow of the image but also for a vector representing the pixel value of the image itself. In this case, the vectors V _k and W _k may be vectors representing pixel values. Note that when the background of the image is expressed not by the optical flow but by the pixel value of the image itself, the background of the image changes little by little, such as a change in illumination or an object left for a long time. In such a case, it is preferable to periodically execute the learning process and periodically update the set of eigenvectors for representing the background image. For example, each time a target frame is selected in step S11 of the recognition process, the eigenvector update process similar to that in steps S6 to S8 of the learning process is performed. Then, in step S13, the background is set using the latest set of eigenvectors. A linear combination representing an image may be calculated.

＜３−３＞
上記実施形態では、ＬとＭの大きさに関して特に制約は設けられなかったが、Ｌ≧Ｍとすることが好ましい。Ｌ＜Ｍの場合、ステップＳ５で算出されるλ₁（Ｌ），λ₂（Ｌ），・・・，λ_M（Ｌ）の中にゼロとなるものが２つ以上出現することがあり、その場合、Ｍ個の固有値及び固有ベクトルの選択に任意性が生じてしまうからである。Ｍ個の固有ベクトルを用いて背景画像又は背景オプティカルフローを近似するに当たっては、固有値の大きい固有ベクトルＵ₁，Ｕ₂，・・・，Ｕ_Mを用意することが重要となるため、精度の観点からは、Ｌ≧Ｍが好ましい。 <3-3>
In the above embodiment, there is no particular restriction on the size of L and M, but it is preferable that L ≧ M. When L <M, two or more zeros may appear in λ ₁ (L), λ ₂ (L),..., Λ _M (L) calculated in step S5. In this case, the selection of M eigenvalues and eigenvectors is arbitrary. In approximating the background image or the background optical flow using M eigenvectors, it is important to prepare eigenvectors U ₁ , U ₂ ,..., U _M having large eigenvalues. L ≧ M is preferable.

１監視コンピュータ（背景抽出装置、主成分分析装置）
２画像処理プログラム
２ａプログラムモジュール（主成分分析プログラム）
３０記憶部
３１ベクトル格納部
３２初期共分散行列格納部
３３固有ベクトル格納部
３４低次元共分散行列格納部
４１学習部（主成分分析部）
４１ａオプティカルフロー導出部
４１ｂ初期共分散行列導出部
４１ｃ初期固有ベクトル算出部
４１ｄ固有ベクトル追加部
４１ｆ固有ベクトル更新部
４３近似部 1 Monitoring computer (background extraction device, principal component analysis device)
2 Image processing program 2a Program module (principal component analysis program)
30 storage unit 31 vector storage unit 32 initial covariance matrix storage unit 33 eigenvector storage unit 34 low-dimensional covariance matrix storage unit 41 learning unit (principal component analysis unit)
41a Optical flow deriving unit 41b Initial covariance matrix deriving unit 41c Initial eigenvector calculating unit 41d Eigenvector adding unit 41f Eigenvector updating unit 43 Approximating unit

Claims

対象画像の背景を抽出する背景抽出装置であって、
Ｎ枚（Ｎは、２以上の整数）のテスト画像にそれぞれ対応するＮ個のＰ次元（Ｐは、３以上の整数）のテストベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを主成分分析することにより、Ｍ個（Ｍは、Ｍ＋１＜Ｐを満たす整数）の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を算出する主成分分析部と、
前記対象画像に対応する対象ベクトルをＭ個の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）の線形結合として近似し、前記線形結合を前記対象画像の背景に対応する背景ベクトルとして設定する近似部と、
を備え、
前記主成分分析部は、
テストベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）の共分散行例Ｃ_Lを導出する初期共分散行列導出部と、
共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）を算出する初期固有ベクトル算出部と、
ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、
テストベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定する固有ベクトル追加部と、
テストベクトルＶ_kに基づいて、テストベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kとして近似的に、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｍ＋１次元の共分散行列Ｃ_k’を導出する低次元共分散行列導出部と、
共分散行列Ｃ_k’のＭ個の（Ｍ＋１）次元の固有ベクトルを算出し、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換する固有ベクトル更新部と
を有する、
背景抽出装置。 A background extraction device for extracting a background of a target image,
The N P-dimensional (P is an integer of 3 or more) test vectors V ₁ , V ₂ ,..., V _N corresponding to N (N is an integer of 2 or more) test images, respectively. A principal component analysis unit for calculating M (M is an integer satisfying M + 1 <P) eigenvectors u ₁ (N), u ₂ (N),..., U _M (N) by analyzing;
The target vector corresponding to the target image is approximated as a linear combination of _M eigenvectors u ₁ (N), u ₂ (N),..., U _M (N), and the linear combination is used as the background of the target image. An approximation part set as a background vector corresponding to,
With
The principal component analysis unit
An initial covariance matrix derivation unit for deriving a covariance row example C _L of test vectors V ₁ , V ₂ ,..., V _L (L is a natural number satisfying L <N);
An initial eigenvector calculator that calculates _M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) of the covariance matrix C _L ;
For k = L + 1, L + 2,.
Based on the test vector V _k , a unit vector orthogonal to _M eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1) is calculated, and M + 1th An eigenvector adding unit that is set as an eigenvector u _{M + 1} (k−1) of
Based on the test vectors V _k, test vectors V _1, V _2, ···, approximately as the covariance matrix C _k of V _k, M + 1 eigenvectors _{u 1 (k-1),} u 2 (k- 1),..., U _{M + 1} (k−1), and a low-dimensional covariance matrix deriving unit for deriving an M + 1-dimensional covariance matrix C _k ′;
M (M + 1) -dimensional eigenvectors of the covariance matrix C _k ′ are calculated and converted to _M P-dimensional eigenvectors u ₁ (k), u ₂ (k),..., U _M (k). An eigenvector update unit
Background extraction device.

Ｎ個（Ｎは、２以上の整数）のＰ次元（Ｐは、３以上の整数）のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを主成分分析することにより、Ｍ個（Ｍは、Ｍ＋１＜Ｐを満たす整数）の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を算出する主成分分析装置であって、
ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを格納するベクトル格納部と、
前記ベクトル格納部からベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）を読み出し、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lの共分散行例Ｃ_Lを導出する初期共分散行列導出部と、
共分散行列Ｃ_Lを格納する初期共分散行列格納部と、
前記初期共分散行列格納部から共分散行列Ｃ_Lを読み出し、共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）を算出する初期固有ベクトル算出部と、
ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、
前記ベクトル格納部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定する固有ベクトル追加部と、
前記ベクトル格納部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kとして近似的に、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｍ＋１次元の共分散行列Ｃ_k’を導出する低次元共分散行列導出部と、
共分散行列Ｃ_k’を格納する低次元共分散行列格納部と、
前記低次元共分散行列格納部から共分散行列Ｃ_k’を読み出し、共分散行列Ｃ_k’のＭ個のＭ＋１次元の固有ベクトルを算出し、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換する固有ベクトル更新部と、
を備える、
主成分分析装置。 N (N is an integer of 2 or more) P dimension (P is an integer of 3 or more) vectors V _1, V ₂ of, ..., by principal component analysis V _N, M (M is , M + 1 <P), eigenvectors u ₁ (N), u ₂ (N),..., U _M (N),
A vector storage unit for storing vectors V ₁ , V ₂ ,..., V _N ;
The vector V ₁ from the vector storage _{_{section, V 2, ···, V L}} (L is, L <natural number satisfying N) reads out the covariance row Examples of vectors _{_{V 1, V 2, ···,}} V L An initial covariance matrix derivation unit for deriving C _L ;
An initial covariance matrix storage for storing the covariance matrix C _L ;
The covariance matrix C _L is read from the initial covariance matrix storage, and M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) of the covariance matrix C _L are calculated. An initial eigenvector calculation unit;
For k = L + 1, L + 2,.
A vector V _k is read from the vector storage unit, and M eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1) are _obtained based on the vector V _k. An eigenvector adding unit that calculates an orthogonal unit vector and sets the unit vector as an M + 1th eigenvector u _{M + 1} (k−1);
I read the vector V _k from the vector storage section, based on the vector V _k, the vector V _1, V _2, · · ·, approximately as the covariance matrix C _k of V _k, M + 1 eigenvectors u ₁ (k −1), u ₂ (k−1),..., U _{M + 1} (k−1), and a low-dimensional covariance matrix deriving unit for deriving an M + 1-dimensional covariance matrix C _k ′;
A low-dimensional covariance matrix storage for storing the covariance matrix C _k ′;
The covariance matrix C _k ′ is read from the low-dimensional covariance matrix storage unit, M M + 1 dimensional eigenvectors of the covariance matrix C _k ′ are calculated, and M P dimensional eigenvectors u ₁ (k), u ₂ (k), ..., u _M (k) to convert eigenvectors,
Comprising
Principal component analyzer.

Ｎ個（Ｎは、２以上の整数）のＰ次元（Ｐは、３以上の整数）のベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを主成分分析することにより、Ｍ個（Ｍは、Ｍ＋１＜Ｐを満たす整数）の固有ベクトルｕ₁（Ｎ），ｕ₂（Ｎ），・・・，ｕ_M（Ｎ）を算出するための主成分分析プログラムであって、記憶部を有するコンピュータに、
前記記憶部に、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Nを格納するステップと、
前記記憶部からベクトルＶ₁，Ｖ₂，・・・，Ｖ_L（Ｌは、Ｌ＜Ｎを満たす自然数）を読み出し、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_Lの共分散行例Ｃ_Lを導出するステップと、
前記記憶部に、共分散行列Ｃ_Lを格納するステップと、
前記記憶部から共分散行列Ｃ_Lを読み出し、共分散行列Ｃ_LのＭ個の固有ベクトルｕ₁（Ｌ），ｕ₂（Ｌ），・・・，ｕ_M（Ｌ）を算出するステップと、
ｋ＝Ｌ＋１，Ｌ＋２，・・・，Ｎに対し順次、
前記記憶部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、Ｍ個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M（ｋ−１）に直交する単位ベクトルを算出し、Ｍ＋１番目の固有ベクトルｕ_M+1（ｋ−１）として設定するステップと、
前記記憶部からベクトルＶ_kを読み出し、ベクトルＶ_kに基づいて、ベクトルＶ₁，Ｖ₂，・・・，Ｖ_kの共分散行列Ｃ_kとして近似的に、Ｍ＋１個の固有ベクトルｕ₁（ｋ−１），ｕ₂（ｋ−１），・・・，ｕ_M+1（ｋ−１）を用いて、Ｍ＋１次元の共分散行列Ｃ_k’を導出するステップと、
前記記憶部に、共分散行列Ｃ_k’を格納するステップと、
前記記憶部から共分散行列Ｃ_k’を読み出し、共分散行列Ｃ_k’のＭ個のＭ＋１次元の固有ベクトルを算出し、Ｍ個のＰ次元の固有ベクトルｕ₁（ｋ），ｕ₂（ｋ），・・・，ｕ_M（ｋ）に変換するステップと
を実行させる、
主成分分析プログラム。 N (N is an integer of 2 or more) P dimension (P is an integer of 3 or more) vectors V _1, V ₂ of, ..., by principal component analysis V _N, M (M is , An integer satisfying M + 1 <P), a principal component analysis program for calculating eigenvectors u ₁ (N), u ₂ (N),..., U _M (N). ,
Storing vectors V ₁ , V ₂ ,..., V _N in the storage unit;
Vector V _1, V ₂ from the storage unit, · · ·, V _L (L is, L <natural number satisfying N) reads out the vector _{_{V 1, V 2, ···,}} V L of the covariance rows Example C _{Deriving L} ;
Storing a covariance matrix C _L in the storage unit;
Reading the covariance matrix C _L from the storage unit and calculating _M eigenvectors u ₁ (L), u ₂ (L),..., U _M (L) of the covariance matrix C _L ;
For k = L + 1, L + 2,.
A vector V _k is read from the storage unit, and is orthogonal to _M eigenvectors u ₁ (k−1), u ₂ (k−1),..., U _M (k−1) based on the vector V _k. Calculating a unit vector to be set and setting it as the ( _{M +} 1) th eigenvector u _{M + 1} (k−1);
I read the vector V _k from the storage unit, on the basis of the vector V _k, the vector V _1, V _2, · · ·, approximately as the covariance matrix C _k of V _k, M + 1 eigenvectors u ₁ (k- 1) deriving an M + 1 dimensional covariance matrix C _k ′ using u ₂ (k−1),..., U _{M + 1} (k−1);
Storing a covariance matrix C _k ′ in the storage unit;
The covariance matrix C _k ′ is read from the storage unit, M M + 1 dimensional eigenvectors of the covariance matrix C _k ′ are calculated, and M P dimensional eigenvectors u ₁ (k), u ₂ (k), .., U _M (k) are executed.
Principal component analysis program.