JP6899674B2 - Information processing equipment, information processing methods, and information processing programs - Google Patents
Information processing equipment, information processing methods, and information processing programs Download PDFInfo
- Publication number
- JP6899674B2 JP6899674B2 JP2017051858A JP2017051858A JP6899674B2 JP 6899674 B2 JP6899674 B2 JP 6899674B2 JP 2017051858 A JP2017051858 A JP 2017051858A JP 2017051858 A JP2017051858 A JP 2017051858A JP 6899674 B2 JP6899674 B2 JP 6899674B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- moving image
- image data
- dimension
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 34
- 230000006835 compression Effects 0.000 claims description 26
- 238000007906 compression Methods 0.000 claims description 26
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 11
- 238000002485 combustion reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000036962 time dependent Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、入力データとクラスとの対応関係を学習させた識別器によってクラス判定する情報処理装置等に関する。 The present invention relates to an information processing device or the like that determines a class by a classifier that has learned the correspondence between input data and a class.
分類対象である入力データを識別器に入力することにより、その入力データが何れのクラスに分類されるかを判定する手法が知られている。このような識別器は、入力データとクラスとの対応関係を予め学習させることにより、様々な入力データを自動で分類することができる。 A method is known in which input data to be classified is input to a classifier to determine which class the input data is classified into. Such a classifier can automatically classify various input data by learning the correspondence between the input data and the class in advance.
例えば、下記非特許文献１には、ファジィｃ平均（以下ＦＣＭ：Fuzzy-C-Means）識別器を用いて駐車場の駐車スペースにおける車両の有無を判定するシステムが開示されている。より詳細には、非特許文献１には、駐車スペースを撮影した画像とその駐車スペースにおける車両の有無との対応関係を学習させたＦＣＭ識別器により、入力した画像中の駐車スペースにおける車両の有無を判定することが記載されている。
For example, Non-Patent
しかしながら、上記従来技術では、個々の静止画データについて判定を行うことができるものの、動画データを用いた判定を行うことはできず、このため経時変化する事象に関する判定能力に限界があった。動画データを用いた判定を行うことができなかった要因としては、動画データは静止画データと比較して非常にデータ量が大きく、それゆえ実用に足りるような時間で判定結果を出力することが困難であったことが挙げられる。 However, in the above-mentioned prior art, although it is possible to make a judgment on individual still image data, it is not possible to make a judgment using moving image data, and therefore, there is a limit to the ability to judge an event that changes with time. The reason why the judgment using the moving image data could not be performed is that the moving image data has a much larger amount of data than the still image data, and therefore the judgment result is output in a time sufficient for practical use. It was difficult.
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、動画データを入力データとして識別器によりクラス判定することができる情報処理装置等を実現することを目的とする。 One aspect of the present invention has been made in view of the above problems, and an object of the present invention is to realize an information processing device or the like capable of class determination by a classifier using moving image data as input data. To do.
上記の課題を解決するために、本発明に係る情報処理装置は、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置であって、上記入力データとして動画データを取得する動画取得部と、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定部と、を備えている構成である。 In order to solve the above problems, the information processing device according to the present invention is an information processing device that determines which of a plurality of predetermined classes the input data corresponds to by a classifier using the fuzzy c averaging method. Therefore, the moving image acquisition unit that acquires the moving image data as the input data, the amount of data generated by using the moving image data is smaller than that of the moving image data, and the moving image data has a time-dependent change. The configuration includes a determination unit for inputting determination data reflecting the characteristics into the classifier and outputting the determination result.
また、本発明に係る情報処理方法は、上記の課題を解決するために、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置による情報処理方法であって、上記入力データとして動画データを取得する動画取得ステップと、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定ステップと、を含む方法である。 Further, in the information processing method according to the present invention, in order to solve the above-mentioned problems, information processing for determining which of a plurality of predetermined classes the input data corresponds to is determined by a classifier using the fuzzy c averaging method. It is an information processing method by an apparatus, and has a moving image acquisition step of acquiring moving image data as the input data, a data amount smaller than the moving image data generated by using the moving image data, and the presence of the moving image data. This is a method including a determination step of inputting determination data reflecting the characteristics that change with time into the classifier and outputting the determination result.
本発明の一態様によれば、動画データを入力データとして識別器によりクラス判定することが可能になるという効果を奏する。 According to one aspect of the present invention, there is an effect that the class can be determined by the classifier using the moving image data as the input data.
〔実施形態１〕
本発明の一実施形態について図１から図７に基づいて説明する。
[Embodiment 1]
An embodiment of the present invention will be described with reference to FIGS. 1 to 7.
〔装置構成〕
本実施形態に係る情報処理装置の構成を図１に基づいて説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。情報処理装置１は、入力データとクラスとの対応関係を学習させたＦＣＭ識別器（ファジィｃ平均法を用いた識別器）によってクラス判定する機能を備えている。情報処理装置１は、例えばパーソナルコンピュータ等であってもよい。
〔Device configuration〕
The configuration of the information processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing an example of a main configuration of the
情報処理装置１は、情報処理装置１の各部を統括して制御する制御部１１、情報処理装置１が使用する各種データを格納する記憶部１２、情報処理装置１に対するデータ等の入力を受け付ける入力部１３、およびデータを出力する出力部１４を備えている。なお、記憶部１２は、情報処理装置１の外部に設けられていてもよい。
The
また、制御部１１には、動画取得部１１１、静止画取得部１１２、次元圧縮部１１３、トレンドデータ生成部（判定用データ生成部）１１４、識別器構築部１１５、判定部１１６、および正解率算出部１１７が含まれている。そして、記憶部１２には、動画データ１２１が格納されている。
Further, the
動画取得部１１１は、ＦＣＭ識別器の入力データとして動画データを取得する。動画取得部１１１は、記憶部１２に格納されている動画データ１２１を取得してもよいし、入力部１３等から情報処理装置１に入力された動画データをそのまま取得してもよい。
The moving image acquisition unit 111 acquires moving image data as input data of the FCM classifier. The moving image acquisition unit 111 may acquire the
静止画取得部１１２は、動画データから該動画データを構成する複数の時系列の静止画データを取得する。以下では、この複数の時系列の静止画データを連続画像データと呼ぶ。静止画取得部１１２は、動画データ１２１を構成する静止画を所定時間間隔で切り出すことによって連続画像データを取得してもよい。
The still
次元圧縮部１１３は、連続画像データのそれぞれを次元圧縮して圧縮次元データを生成する。圧縮次元データは、連続画像データを主成分分析することによって生成することができる。圧縮次元データは、その生成元となった連続画像データよりもデータ量が小さく、かつ連続画像データの有していた特徴点が反映されているデータである。
The
トレンドデータ生成部１１４は、圧縮次元データのうち一部の次元番号の圧縮次元データを、当該圧縮次元データの元になった静止画データの時系列順に結合してトレンドデータ（判定用データ）を生成する。トレンドデータは、動画取得部１１１が取得した動画データよりもデータ量が小さく、かつ、当該動画データの有していた経時変化する特徴が反映されているデータである。
The trend
識別器構築部１１５は、トレンドデータを用いてＦＣＭ識別器を構築する。具体的には、識別器構築部１１５は、各クラスについて、当該クラスが既知である動画データ（より詳細には、該動画データから切り出された連続画像データから生成されたトレンドデータ）を訓練データとしてＦＣＭ識別器を構築する。次に、識別器構築部１１５は、上記構築したＦＣＭ識別器を用いたクラス判定を判定部１１６に行わせる。このクラス判定には、クラスが既知である複数の動画データから切り出された連続画像データからそれぞれ生成されたトレンドデータを教師データとして用いる。そして、識別器構築部１１５は、このクラス判定の結果が誤りであったトレンドデータを訓練データに追加してＦＣＭ識別器を再構築する。識別器構築部１１５は、これらの処理を所定回数繰り返すことにより、ＦＣＭ識別器を構築する。なお、クラス判定の正解率を正解率算出部１１７に算出させて、その正解率が閾値に到達するまで上記の処理を繰り返すことにより、ＦＣＭ識別器を構築する。この場合、所定回数繰り返しても閾値に到達しなければ、その時点で学習を終了してもよい。
The
判定部１１６は、識別器構築部１１５が構築したＦＣＭ識別器にトレンドデータを入力して判定結果を出力させる。なお、詳細は後述するが、ＦＣＭ識別器の入力データは、複数のトレンドデータを用いて生成された統合データであってもよい。統合データを用いる場合、ＦＣＭ識別器の構築においても統合データを訓練データおよび教師データとして用いる。なお、統合データの詳細は後述する。
The
正解率算出部１１７は、ＦＣＭ識別器の正解率を計算する。正解率は、クラスが既知である入力データをＦＣＭ識別器に入力し、その出力結果と既知のクラスとが一致していれば正解、不一致であれば不正解とする処理を、複数の入力データについて行うことにより算出できる。
The correct answer
動画データ１２１は、クラス判定の対象となるデータであり、ＦＣＭ識別器に入力されるデータである。また、動画データ１２１には、ＦＣＭ識別器を構築するために用いる教師データが含まれていてもよい。教師データは、クラスが既知である動画データであり、判定対象のクラスのそれぞれについて複数用意される。ＦＣＭ識別器は、教師データの中から選択した（選択方法は特に限定されず、例えばランダムに選択してもよい）データを訓練データとして構築することができる。
The moving
〔処理の流れ（ＦＣＭ識別器の構築）〕
ＦＣＭ識別器を構築する処理（情報処理方法）の流れを図２に基づいて説明する。図２は、ＦＣＭ識別器を構築する処理の一例を示すフローチャートである。なお、本処理の前に、ＦＣＭ識別器による判定の対象となる各状態を撮影した動画データが入力部１３を介して情報処理装置１に入力され、記憶部１２に動画データ１２１（教師データ）として格納されている。つまり、ここで構築するＦＣＭ識別器は、入力された動画データに写っている対象が、所定の複数の状態（クラス）の何れに該当するかを判定するためのものである。
[Processing flow (construction of FCM classifier)]
The flow of the process (information processing method) for constructing the FCM classifier will be described with reference to FIG. FIG. 2 is a flowchart showing an example of a process for constructing an FCM classifier. Prior to this processing, moving image data obtained by capturing each state to be determined by the FCM classifier is input to the
Ｓ１では、動画取得部１１１は、記憶部１２から各状態の動画データ１２１を取得する。続くＳ２では、静止画取得部１１２は、Ｓ１で取得された動画データ１２１を連続画像データに変換する。例えば、静止画取得部１１２は、動画データ１２１を構成する静止画を０．１秒間隔で切り出すことによって連続画像データを取得してもよい。
In S1, the moving image acquisition unit 111 acquires the moving
なお、静止画を切り出す時間間隔は、動画データ１２１の内容に応じて変更することが好ましい。より詳細には、動きの速い動画データ１２１の場合、動画データ１２１の画像が経時変化する様子が各静止画から把握できる程度に短い間隔で切り出すことが望ましい。逆に、動きの遅い動画データ１２１の場合、同様の静止画が多数切り出されることがなく、各静止画が異なるものとなる程度に長い間隔で切り出すことが望ましい。
The time interval for cutting out the still image is preferably changed according to the content of the moving
Ｓ３では、次元圧縮部１１３は、静止画取得部１１２が取得した連続画像データのそれぞれについて次元圧縮を行い、圧縮次元データを生成する。例えば、１００次元に次元圧縮した場合、連続画像データのそれぞれについて、１００の圧縮次元データが生成される。
In S3, the
Ｓ４では、トレンドデータ生成部１１４は、各連続画像データの圧縮次元データのうち、ｎ次元目の圧縮次元データからトレンドデータを生成する。Ｓ４の処理を行うのが初回であればｎ＝１とする。つまり、１次元目の圧縮次元データからトレンドデータを生成する。なお、以下ｎを次元番号と呼ぶ。基本的には、次元番号が小さい圧縮次元データの方が次元番号の大きい圧縮次元データと比べて、連続画像データの特徴点をよく反映している。
In S4, the trend
Ｓ５では、識別器構築部１１５は、Ｓ４で生成されたトレンドデータを用いてＦＣＭ識別器を構築する。なお、Ｓ１〜Ｓ４の処理は、所定数の教師データ（クラスが既知の動画データ１２１）のそれぞれについて行われる。そして、Ｓ５では、各教師データから生成されたトレンドデータの一部を訓練データとしてＦＣＭ識別器が構築される。
In S5, the
Ｓ６では、正解率算出部１１７は、Ｓ５で構築されたＦＣＭ識別器の正解率を計算する。具体的には、判定部１１６は、Ｓ５で構築されたＦＣＭ識別器により、所定数の教師データを入力としてクラス判定を行う。そして、正解率算出部１１７は、このクラス判定の結果について正解率を算出する。正解率は、各クラスについて算出する。
In S6, the correct answer
Ｓ７では、識別器構築部１１５は、所定数のＦＣＭ識別器を構築済みであるか否かを判定する。上記所定数は、Ｓ３の次元圧縮における次元数以下で適宜設定すればよい。所定数を大きくするほど、判定精度の高いＦＣＭ識別器を構築できる可能性が高まるが、構築に要する時間も長くなるので、必要な精度と許容できる処理時間に応じて上記所定数を設定することが好ましい。
In S7, the
Ｓ７で識別器構築部１１５が構築済みではないと判定した場合（Ｓ７でＮＯ）、トレンドデータ生成部１１４は、次元番号ｎに１を加算して（Ｓ８）、Ｓ４の処理を行う。これにより、前回生成したトレンドデータよりも次元番号が１大きい圧縮次元データからトレンドデータが生成される。一方、Ｓ７で識別器構築部１１５が構築済みであると判定した場合（Ｓ７でＹＥＳ）、処理はＳ９に進む。
When it is determined in S7 that the
Ｓ９では、識別器構築部１１５は、Ｓ６で正解率が計算済みとなった所定数のＦＣＭ識別器のうち、正解率の高いＦＣＭ識別器を複数特定し、それらのＦＣＭ識別器の構築に用いたトレンドデータを特定する。そして、トレンドデータ生成部１１４は、特定されたそれらのトレンドデータを統合する。以下、統合により生成されたトレンドデータを統合データと呼ぶ。
In S9, the
Ｓ１０では、識別器構築部１１５は、Ｓ９で得られた統合データを用いてＦＣＭ識別器を構築する。これにより、ＦＣＭ識別器を構築する処理は終了となる。
In S10, the
〔ＦＣＭ識別器の構築例〕
ＦＣＭ識別器の構築例を図３〜図５に基づいて説明する。図３は、動画データ１２１、圧縮次元データ、およびトレンドデータの例を示す図である。
[Example of constructing FCM classifier]
An example of constructing the FCM classifier will be described with reference to FIGS. 3 to 5. FIG. 3 is a diagram showing an example of moving
これらの例では、車のワイパーの５つの動作パターンを判定対象のクラスとしている。具体的な動作パターンは、（１）ワイパーが低速動作と一時停止を繰り返す、（２）ワイパーが低速で動作、（３）ワイパーが高速で動作、（４）ワイパーが停止、および（５）ワイパーが動作途中で停止（異常停止）、の５つである。 In these examples, the five operation patterns of the wiper of the car are set as the class to be determined. Specific operation patterns are (1) the wiper repeats low-speed operation and pause, (2) the wiper operates at low speed, (3) the wiper operates at high speed, (4) the wiper stops, and (5) the wiper. Is stopped in the middle of operation (abnormal stop).
図３の例では、１２秒間の動画データ（上記（１）〜（５）の何れかの動作パターンのワイパーを撮影したもの）から０．１秒間隔で静止画を切り出して画像１〜画像１２０までの１２０枚の連続画像データを取得している。
In the example of FIG. 3, still images are cut out at 0.1 second intervals from the 12-second moving image data (photographed by the wiper of any of the operation patterns (1) to (5) above), and
また、図３の例では、これらの連続画像データのそれぞれを１００次元に次元圧縮して圧縮次元データを生成している。具体的には、画像１からは、Ａ１_１〜Ａ１_１００の１００個の要素からなる圧縮次元データを生成している。画像２以降も同様であり、各連続画像データについて、１００個の要素からなる圧縮次元データが生成される。
Further, in the example of FIG. 3, each of these continuous image data is dimensionally compressed to 100 dimensions to generate compressed dimensional data. Specifically, the
そして、図３の例では、各圧縮次元データの構成要素のうち、次元番号が同じである要素を、その圧縮次元データの元になった静止画データの時系列順で結合したものをトレンドデータとしている。具体的には、各圧縮次元データの構成要素のうち、次元番号が１であるＡ１_１〜Ａ１２０_１をこの順（画像１〜１２０の順）で並べたものを、次元番号１についてのトレンドデータとしている。そして、同じ要領で次元番号２〜１０についてもトレンドデータを生成している。
Then, in the example of FIG. 3, among the components of each compressed dimension data, the elements having the same dimension number are combined in chronological order of the still image data that is the source of the compressed dimension data, and the trend data is obtained. It is supposed to be. Specifically, trend data of the components of the compressed dimension data, what dimension number is arranged A 1_1 to A 120 _ 1 is 1 in this order (the order of
なお、図３では、１つの動作パターンに対応する動画データからトレンドデータを生成する例を示しているが、他の動作パターンの動画データについても同様にトレンドデータを生成する。このようにして生成したトレンドデータは、各動作パターンの特徴を表すものとなる。これについて、図４に基づいて説明する。 Although FIG. 3 shows an example of generating trend data from moving image data corresponding to one operation pattern, trend data is similarly generated for moving image data of other operation patterns. The trend data generated in this way represents the characteristics of each operation pattern. This will be described with reference to FIG.
図４は、ＦＣＭ識別器が判定対象とする各動作パターンについて、次元番号毎のトレンドデータをグラフで示した図である。図示のように、トレンドデータのグラフ形状は、同じ動作パターンに対応しているものであっても、次元番号ごとにそれぞれ異なっている。このことから、各次元番号のトレンドデータは、同じ動作パターンに対応しているものであっても、それぞれ異なる特徴を示すものとなっていることが分かる。また、トレンドデータのグラフ形状は、同じ次元番号に対応しているものであっても、動作パターンごとにそれぞれ異なっている。このことから、トレンドデータは、各次元番号において、各動作パターンの特徴を示すものとなっていることが分かる。 FIG. 4 is a graph showing trend data for each dimension number for each operation pattern to be determined by the FCM classifier. As shown in the figure, the graph shape of the trend data is different for each dimension number even if it corresponds to the same operation pattern. From this, it can be seen that the trend data of each dimension number shows different characteristics even if they correspond to the same operation pattern. Further, the graph shape of the trend data is different for each operation pattern even if it corresponds to the same dimension number. From this, it can be seen that the trend data shows the characteristics of each operation pattern at each dimension number.
ただし、例えば次元番号１のような、動作パターンごとの差異が大きいトレンドデータが存在する一方、例えば次元番号３のような、動作パターンごとの差異が小さいトレンドデータも存在する。このため、何れのトレンドデータを用いるかによって、構築されるＦＣＭ識別器の判定精度は異なるものとなる。
However, while there is trend data such as
そこで、本実施形態では、図２のＳ４〜Ｓ８に示したように、複数の次元番号のトレンドデータをそれぞれ用いて複数のＦＣＭ識別器を構築する。そして、構築した各ＦＣＭ識別器に所定数の教師データを入力して判定結果を取得し、その判定結果から正解率を計算する。これにより、高い判定精度のＦＣＭ識別器を構築できるトレンドデータを選別することができる。 Therefore, in the present embodiment, as shown in S4 to S8 of FIG. 2, a plurality of FCM classifiers are constructed by using the trend data of a plurality of dimension numbers. Then, a predetermined number of teacher data is input to each of the constructed FCM classifiers to obtain a determination result, and the correct answer rate is calculated from the determination result. As a result, trend data capable of constructing an FCM classifier with high determination accuracy can be selected.
なお、トレンドデータの選別方法はこの例に限られない。例えば、トレンドデータの経時変化が、動画像データの特徴点を反映している程度を統計的に評価し、動画像データの特徴点をよく反映しているトレンドデータを選別してもよい。また、例えば、図４に示すように各トレンドデータの経時変化の態様を可視化して、ユーザが動画像データの特徴点をよく反映しているトレンドデータを選別してもよい。 The method of selecting trend data is not limited to this example. For example, the degree to which the time-dependent change of the trend data reflects the feature points of the moving image data may be statistically evaluated, and the trend data that well reflects the feature points of the moving image data may be selected. Further, for example, as shown in FIG. 4, the mode of the time-dependent change of each trend data may be visualized, and the user may select the trend data that well reflects the feature points of the moving image data.
また、本実施形態では、高い判定精度のＦＣＭ識別器を構築できるトレンドデータを複数組み合わせることにより、さらに判定精度の高いＦＣＭ識別器を構築する。図５は、正解率の高いＦＣＭ識別器の構築に用いたトレンドデータを２つ統合した統合データによりＦＣＭ識別器を構築した例を示す図である。 Further, in the present embodiment, an FCM classifier having a higher determination accuracy is constructed by combining a plurality of trend data capable of constructing an FCM classifier having a higher determination accuracy. FIG. 5 is a diagram showing an example in which an FCM classifier is constructed by integrated data in which two trend data used for constructing an FCM classifier having a high accuracy rate are integrated.
図示の例では、次元番号１のトレンドデータと次元番号８のトレンドデータ（何れも１２０個の構成要素を有する）を結合して、構成要素数が２４０個の統合データを生成している。より詳細には、次元番号１のトレンドデータの構成要素の後に、次元番号８のトレンドデータの構成要素をそのままつなぎ合わせて統合データとしている。なお、トレンドデータの統合の方法は、各トレンドデータの特徴点が失われないようなものであればよく、図示の例に限られない。例えば、次元番号８のトレンドデータの構成要素の後に、次元番号１のトレンドデータの構成要素をつなぎ合わせてもよい。また、統合するトレンドデータの数は３以上であってもよい。また、統合するトレンドデータの実効値に大きな差がある場合には、例えば波形を−１〜１の数値範囲に正規化するなどして差を小さくしてから統合してもよい。さらに、例えば、各時系列の特徴が消えなければ、統合対象のトレンドデータの構成要素を加算したり、掛け合わせたりして得た値を統合データとしてもよい。また、統合対象のトレンドデータの相関係数を統合データとすることも可能である。どのような統合データを用いるかはＦＣＭ識別器の判定対象等に応じて適宜決定すればよい。例えば、統合方式の異なる複数の統合データをそれぞれ用いてＦＣＭ識別器を構築し、その正解率を比較することにより、より好ましい統合方式を特定することができる。
In the illustrated example, the trend data of
このような統合データを用いてＦＣＭ識別器を構築することにより、さらに判定精度の高いＦＣＭ識別器を構築することができる。図５の例では、次元番号１のトレンドデータを用いて構築したＦＣＭ識別器の正解率が、５つの動作パターンの総合で９３．７５％であり、次元番号８のトレンドデータを用いて構築したＦＣＭ識別器の正解率が、５つの動作パターンの総合で９１．６３％である。何れも高い正解率であるが、統合データを用いて構築したＦＣＭ識別器の正解率はこれらの何れをも上回り、５つの動作パターンの総合で９８．１１％であった。
By constructing an FCM classifier using such integrated data, it is possible to construct an FCM classifier with even higher determination accuracy. In the example of FIG. 5, the correct answer rate of the FCM classifier constructed using the trend data of
〔処理の流れ（ＦＣＭ識別器を用いた判定）〕
上述のようにして構築したＦＣＭ識別器を用いて動画データ１２１のクラス判定を行うときの処理（情報処理方法）について図６に基づいて説明する。図６は、構築したＦＣＭ識別器を用いた動画データ１２１のクラス判定処理の一例を示すフローチャートである。
[Processing flow (judgment using FCM classifier)]
The process (information processing method) when class determination of the moving
まず、動画取得部１１１は、記憶部１２から判定対象の動画データ１２１を取得する（Ｓ１１、動画取得ステップ）。次に、静止画取得部１１２は、Ｓ１１で取得された動画データ１２１を連続画像データに変換する（Ｓ１２、静止画取得ステップ）。そして、次元圧縮部１１３は、静止画取得部１１２が取得した連続画像データのそれぞれについて次元圧縮を行い、圧縮次元データを生成する（Ｓ１３、次元圧縮ステップ）。次元圧縮の際の次元数は、ＦＣＭ識別器を構築したときと同じとする。
First, the moving image acquisition unit 111 acquires the moving
続いて、トレンドデータ生成部１１４は、Ｓ１３で生成された圧縮次元データを用いて統合データを生成する（Ｓ１４、判定用データ生成ステップ）。より詳細には、トレンドデータ生成部１１４は、Ｓ１３で生成された圧縮次元データの各要素の値に関するトレンドデータを生成する。そして、生成したトレンドデータのうち、適切なトレンドデータを選択し、それらを統合して統合データを生成する。なお、適切なトレンドデータは、ＦＣＭ識別器を構築したときに用いたトレンドデータと同じ次元番号のトレンドデータである。例えば、次元番号１と８のトレンドデータをこの順で結合した統合データでＦＣＭ識別器を構築していた場合、Ｓ１４でも次元番号１と８のトレンドデータをこの順で結合した統合データを生成する。
Subsequently, the trend
そして、判定部１１６は、構築済みのＦＣＭ識別器にＳ１４で生成された統合データを入力してクラス判定を行い（Ｓ１５、判定ステップ）、判定結果を出力部１４に出力させる（Ｓ１６）。これによりクラス判定処理は終了する。
Then, the
〔ＵＩ（User Interface）例〕
ユーザが情報処理装置１にクラス判定処理を行わせるためのＵＩは、例えば図７のようなものであってもよい。図７は、クラス判定処理を行わせるためのＵＩ画面の一例を示す図である。なお、出力部１４が画像を表示する表示装置であれば、ＵＩ画面は出力部１４に表示させればよく、出力部１４が情報処理装置１に接続された表示装置に画像を出力させる画像出力部であれば、ＵＩ画面は出力部１４を介して表示装置に表示させればよい。
[UI (User Interface) example]
The UI for the user to cause the
図７のＵＩ画面２には、判定対象の動画データを表示させる動画表示領域２１、判定対象の動画データを選択するためのデータ選択キー２２、クラス判定処理を開始させるスタートキー２３、およびＵＩ画面２の表示を終了する終了キー２４が含まれている。また、ＵＩ画面２には、判定対象の各クラスとその説明文の表示領域２５と、結果表示領域２６が含まれている。
The
本ＵＩ画面を使用するユーザは、まず、データ選択キーを選択して記憶部１２に格納されている動画データ１２１のうち所望のものを選択する。これにより、動画表示領域には、選択した動画データ１２１が表示される。そして、ユーザは、表示された動画データ１２１が所望の内容であることを確認した後、スタートキーを選択する。
The user who uses this UI screen first selects a data selection key and selects a desired moving
これにより、上述のクラス判定処理（より詳細には図６のＳ１２〜Ｓ１５の処理）が行われ、判定結果表示領域に判定結果が表示される。ＦＣＭ識別器では、１つのクラスタが複数のクラスタに同時に部分的に所属することを許容するので、基本的に複数のクラスが判定結果として出力される。図示の例では、結果表示領域２６において、クラス１に該当する確率が５．３５％、クラス２に該当する確率が９４．６３％、クラス３に該当する確率が０．０２％と表示されており、他のクラスに該当する確率は０と表示されている。図示の例のように、判定部１１６は、最も確率の高いクラスを他のクラスと異なる表示態様でハイライト表示することが好ましい。これにより、動画データ１２１が該当する可能性の高いクラスをユーザに一目で認識させることができる。
As a result, the above-mentioned class determination process (more specifically, the processes of S12 to S15 in FIG. 6) is performed, and the determination result is displayed in the determination result display area. Since the FCM classifier allows one cluster to partially belong to a plurality of clusters at the same time, basically a plurality of classes are output as a determination result. In the illustrated example, in the
〔動画データ以外のデータを併用したＦＣＭ識別器の構築〕
ＦＣＭ識別器は、動画データと動画データ以外のデータを併用して構築することもできる。例えば、トレンドデータ生成部１１４は、動画データから取得した静止画データの次元圧縮データから成るトレンドデータと、動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて判定用データを生成してもよい。音声特徴データは、音声データの特徴を時系列で示すものであればよく、例えば音声データをフーリエ変換することによって生成されるスペクトルデータを音声特徴データとしてもよい。このような音声特徴データと、動画データ由来のトレンドデータとをそのまま結合させることにより、ＦＣＭ識別器に入力する判定用データを生成することができる。無論、この場合、ＦＣＭ識別器の構築の際には、学習データから、上記判定用データと同じ手法で生成したデータを用いる。
[Construction of FCM classifier using data other than video data]
The FCM classifier can also be constructed by using moving image data and data other than moving image data in combination. For example, the trend
また、例えば動画データの撮影期間中に計測された振動の特徴を時系列で示す振動特徴データを用いて判定用データを生成することも可能である。この他にも、例えば動画データの撮影期間中に任意のセンサで検知した事象について、その事象の特徴を時系列で示す特徴データを用いて判定用データを生成すること等も可能である。 Further, for example, it is also possible to generate determination data using vibration characteristic data showing vibration characteristics measured during the shooting period of moving image data in time series. In addition to this, for example, for an event detected by an arbitrary sensor during the shooting period of moving image data, it is also possible to generate determination data using feature data showing the features of the event in chronological order.
なお、動画データを用いて構築したＦＣＭ識別器と、動画データ以外のデータを用いて構築したＦＣＭ識別器とを併用して、動画データに撮影されている事象を判定してもよい。例えば、これら２種の識別器の判定結果が同じクラスを示していれば、動画データに撮影されている事象は当該クラスの示す事象である可能性が高い。つまり、２種の識別器の併用により、クラス判定結果の信頼性を高めることができる。一方、これら２種の識別器の判定結果が異なるクラスを示している場合には、何れか一方の識別器の判定が誤っている可能性もあるが、異音が発生している等の事態も想定される。よって、２種の識別器の判定結果が異なるクラスを示している場合には、動画データの撮影対象に異常が発生していると判定することもできる。つまり、２種の識別器の併用により、動作異常を検出することも可能になる。例えば、ワイパーの動作を撮影した動画データと、その音声データとをそれぞれ用いてクラス判定を行い、それらのクラス判定結果が不一致である場合に、ワイパーの動作異常が発生したと判定することもできる。 In addition, the FCM classifier constructed by using the moving image data and the FCM classifier constructed by using the data other than the moving image data may be used in combination to determine the event captured in the moving image data. For example, if the determination results of these two types of classifiers indicate the same class, it is highly possible that the event captured in the moving image data is the event indicated by the class. That is, the reliability of the class determination result can be improved by using the two types of classifiers together. On the other hand, if the judgment results of these two types of classifiers indicate different classes, there is a possibility that the judgment of one of the classifiers is incorrect, but a situation such as an abnormal noise occurring. Is also assumed. Therefore, when the determination results of the two types of classifiers indicate different classes, it can be determined that an abnormality has occurred in the shooting target of the moving image data. That is, by using the two types of classifiers together, it is possible to detect an operation abnormality. For example, it is possible to perform class determination using the video data obtained by capturing the operation of the wiper and the audio data thereof, and if the class determination results do not match, it can be determined that the wiper operation abnormality has occurred. ..
〔変形例〕
上述の情報処理装置１は、ＦＣＭ識別器の構築と、構築したＦＣＭ識別器による判定との両方を行っているが、これらの処理は個別の装置で行ってもよい。つまり、本発明の情報処理装置は、他の情報処理装置で構築されたＦＣＭ識別器を用いてクラス判定を行うものであってもよい。この場合、他の情報処理装置はクラウド上に配置されたサーバであってもよい。また、本発明の情報処理装置は、他の情報処理装置にクラス判定させるためのＦＣＭ識別器を構築するものであってもよい。
[Modification example]
The
上述の実施形態では、動画データに撮影されている事象を複数のクラスとしているが、判定対象とするクラスには動画データに撮影されている事象の後に生じると予測される事象を示すクラスが含まれていてもよい。 In the above-described embodiment, the events recorded in the moving image data are set as a plurality of classes, but the class to be determined includes a class indicating an event predicted to occur after the event recorded in the moving image data. It may be.
例えば、動画データに撮影されている事象が、ごみ焼却炉の燃焼室内でごみが燃えているという事象である場合に、燃えているごみが、その後、正常に燃え続けるという事象と、異常燃焼となるという事象とをそれぞれ判定対象のクラスとしてもよい。これにより、燃焼室内を撮影した画像から、その画像の撮影後に、ごみの燃焼状態がどのようになるかを予測することも可能になる。 For example, when the event recorded in the video data is that the garbage is burning in the combustion chamber of the garbage incinerator, the burning garbage continues to burn normally after that, and abnormal combustion. The event of becoming may be set as the class to be determined. This makes it possible to predict what the combustion state of waste will be after taking the image from the image taken in the combustion chamber.
〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に制御部１１に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
[Example of realization by software]
The control block (particularly each unit included in the control unit 11) of the
後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention.
〔まとめ〕
本発明の一態様に係る情報処理装置は、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置であって、上記入力データとして動画データを取得する動画取得部と、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定部と、を備えている構成である。
[Summary]
The information processing device according to one aspect of the present invention is an information processing device that determines which of a plurality of predetermined classes the input data corresponds to by a classifier using the fuzzy c averaging method, and is the above-mentioned input data. The moving image acquisition unit that acquires the moving image data and the characteristic that the amount of data is smaller than that of the moving image data generated by using the moving image data and that the moving image data has with time change are reflected. The configuration includes a determination unit that inputs determination data to the classifier and outputs a determination result.
上記の構成によれば、識別器に入力する判定用データが、動画データを用いて生成されたものであり、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されているデータである。動画データよりもデータ量が小さい判定用データを用いることにより、識別器の判定にかかる処理時間を短縮することができる。また、判定用データには動画データの有していた経時変化する特徴が反映されているのでこの特徴に基づく判定が可能である。よって、動画データを入力データとして、実用に耐える処理時間で識別器によりクラス判定することが可能になる。 According to the above configuration, the determination data to be input to the classifier is generated by using the moving image data, the amount of data is smaller than that of the moving image data, and the time elapsed of the moving image data. The data reflects the changing characteristics. By using the determination data whose amount of data is smaller than that of the moving image data, the processing time required for the determination of the classifier can be shortened. Further, since the determination data reflects the characteristic of the moving image data that changes with time, the determination based on this characteristic is possible. Therefore, it is possible to use the moving image data as input data and determine the class by the classifier with a processing time that can withstand practical use.
上記情報処理装置は、上記動画データから、該動画データを構成する複数の時系列の静止画データを取得する静止画取得部と、上記静止画データのそれぞれを次元圧縮して圧縮次元データを生成する次元圧縮部と、上記圧縮次元データのうち一部の次元番号の圧縮次元データを結合して上記判定用データを生成する判定用データ生成部と、を備えていてもよい。 The information processing apparatus generates compressed dimensional data by dimensionally compressing each of the still image acquisition unit that acquires a plurality of time-series still image data constituting the moving image data and the still image data from the moving image data. A determination data generation unit that combines the compression dimension data of a part of the compression dimension data to generate the determination data may be provided.
上記の構成によれば、動画データから時系列の静止画データを取得し、静止画データのそれぞれを次元圧縮して圧縮次元データを生成し、各静止画データに対応する圧縮次元データのうち一部の次元の圧縮次元データを用いて判定用データを生成する。これらの構成では、何れも時系列のデータを取得することが可能であるから、これらの構成により生成された判定用データには、動画データが有していた、経時変化する特徴を反映させることができる。また、これらの構成は、何れもデータ量を減らすものであるから、これらの構成により生成された判定用データは、動画データよりもデータ量が小さい。よって、実用に耐える処理時間でのクラス判定を可能にする判定用データを生成し、これにより、動画データを入力データとして識別器によりクラス判定することができる。 According to the above configuration, time-series still image data is acquired from moving image data, each of the still image data is dimensionally compressed to generate compressed dimension data, and one of the compressed dimension data corresponding to each still image data is generated. Judgment data is generated using the compressed dimension data of the dimension of the part. Since it is possible to acquire time-series data in any of these configurations, the judgment data generated by these configurations should reflect the characteristics of the moving image data that change with time. Can be done. Further, since all of these configurations reduce the amount of data, the judgment data generated by these configurations has a smaller amount of data than the moving image data. Therefore, it is possible to generate determination data that enables class determination in a processing time that can withstand practical use, and thereby, class determination can be performed by a classifier using moving image data as input data.
上記判定用データ生成部は、複数次元の上記圧縮次元データを用いて上記判定用データを生成してもよい。 The determination data generation unit may generate the determination data using the compression dimension data having a plurality of dimensions.
異なる次元の圧縮次元データは、静止画データの異なる特徴点に対応しているから、複数次元の圧縮次元データを用いて判定用データを生成する上記の構成によれば、複数の異なる特徴点に基づいてクラス判定を行うことができる。これにより、１つの特徴点に基づいてクラス判定を行う場合と比べて、判定精度を向上させることが可能になる。 Since the compressed dimensional data of different dimensions correspond to different feature points of the still image data, according to the above configuration for generating determination data using the compressed dimensional data of multiple dimensions, a plurality of different feature points can be obtained. The class judgment can be made based on the above. This makes it possible to improve the determination accuracy as compared with the case where the class determination is performed based on one feature point.
上記判定用データ生成部は、上記圧縮次元データと、上記動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて上記判定用データを生成してもよい。 The determination data generation unit may generate the determination data by using the compression dimension data and the audio feature data showing the characteristics of the audio data included in the moving image data in chronological order.
上記の構成によれば、圧縮次元データと、動画データに含まれる音声データの特徴を時系列で示す音声特徴データとを用いて判定用データを生成する。よって、音声データの特徴も加味したクラス判定を行うことができる。 According to the above configuration, determination data is generated using the compressed dimension data and the voice feature data showing the features of the voice data included in the moving image data in chronological order. Therefore, the class determination can be performed in consideration of the characteristics of the voice data.
上記複数のクラスには、動画データである入力データに撮影されている事象の後に生じると予測される事象を示すクラスが含まれていてもよい。 The plurality of classes may include a class indicating an event predicted to occur after the event captured in the input data which is the moving image data.
上記の構成によれば、動画データに撮影されている事象の後に生じる事象、すなわち動画データに撮影されていない事象を予測することができる。１つの静止画データからはこのような予測は困難であるが、時系列の判定用データを用いる上記構成によれば、このような予測も可能となる。例えば、動画データに撮影されている事象が、ごみ焼却炉の燃焼室内でごみが燃えているという事象である場合に、燃えているごみが、その後、正常に燃え続けるか、異常燃焼となるかを予測することも可能になる。 According to the above configuration, it is possible to predict an event that occurs after an event that is captured in the moving image data, that is, an event that is not captured in the moving image data. Such a prediction is difficult from one still image data, but such a prediction is possible according to the above configuration using time-series determination data. For example, if the event recorded in the video data is that the garbage is burning in the combustion chamber of the garbage incinerator, whether the burning garbage continues to burn normally or becomes abnormal combustion after that. Can also be predicted.
本発明の一態様に係る情報処理方法は、入力データが所定の複数のクラスの何れに該当するかを、ファジィｃ平均法を用いた識別器によって判定する情報処理装置による情報処理方法であって、上記入力データとして動画データを取得する動画取得ステップと、上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定ステップと、を含む方法である。この情報処理方法によれば、上記情報処理装置と同様の作用効果を奏する。 The information processing method according to one aspect of the present invention is an information processing method using an information processing apparatus that determines which of a plurality of predetermined classes the input data corresponds to by a classifier using the fuzzy c averaging method. , The moving image acquisition step of acquiring the moving image data as the input data, and the feature that the amount of data is smaller than the moving image data generated by using the moving image data and that the moving image data has a time-varying feature. This is a method including a determination step in which the reflected determination data is input to the classifier and the determination result is output. According to this information processing method, the same operation and effect as the above-mentioned information processing apparatus can be obtained.
上述の情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The information processing device described above may be realized by a computer. In this case, the information processing device is realized by the computer by operating the computer as each part (software element) included in the information processing device. A program and a computer-readable recording medium on which it is recorded also fall within the scope of the present invention.
１ 情報処理装置
１２１ 動画データ
１１１ 動画取得部
１１２ 静止画取得部
１１３ 次元圧縮部
１１４ トレンドデータ生成部（判定用データ生成部）
１１６ 判定部
1
116 Judgment unit
Claims (5)
上記入力データとして動画データを取得する動画取得部と、
上記動画データを用いて生成された、該動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを上記識別器に入力して判定結果を出力させる判定部と、
上記動画データから、該動画データを構成する複数の時系列の静止画データを取得する静止画取得部と、
上記静止画データのそれぞれを次元圧縮して圧縮次元データを生成する次元圧縮部と、
上記圧縮次元データのうち一部の次元番号の圧縮次元データを結合して上記判定用データを生成する判定用データ生成部と、を備え、
上記識別器は、それぞれが異なる次元番号の圧縮次元データを用いて構築された識別器からなる識別器群の中で正解率が高かった複数の識別器の学習に使用された次元番号の圧縮次元データを結合して生成された統合データを用いて構築された識別器であり、
上記判定用データ生成部は、上記統合データと同じ次元番号の圧縮次元データを結合して上記判定用データを生成する、ことを特徴とする情報処理装置。 An information processing device that determines which of a plurality of predetermined classes the input data corresponds to by a classifier using the fuzzy c averaging method.
A video acquisition unit that acquires video data as the above input data,
The determination data generated by using the moving image data, which is smaller than the moving image data and reflects the characteristics of the moving image data that change with time, is input to the classifier. A judgment unit that outputs the judgment result and
A still image acquisition unit that acquires a plurality of time-series still image data constituting the moving image data from the moving image data,
A dimensional compression unit that dimensionally compresses each of the above still image data to generate compressed dimensional data,
A determination data generation unit that combines the compression dimension data of a part of the compression dimension data to generate the determination data is provided.
The above classifier is a compressed dimension of the dimension number used for learning a plurality of classifiers having a high accuracy rate in a group of classifiers composed of classifiers constructed by using compressed dimension data having different dimension numbers. It is a classifier constructed using integrated data generated by combining data.
The determination data generation unit is an information processing device characterized in that the compression dimension data having the same dimension number as the integrated data is combined to generate the determination data.
上記入力データとして動画データを取得する動画取得ステップと、
上記動画データから、該動画データを構成する複数の時系列の静止画データを取得する静止画取得ステップと、
上記静止画データのそれぞれを次元圧縮して圧縮次元データを生成する次元圧縮ステップと、
上記圧縮次元データのうち一部の次元番号の圧縮次元データを結合して、上記動画データよりもデータ量が小さく、かつ、上記動画データの有していた経時変化する特徴が反映されている判定用データを生成する判定用データ生成ステップと、
上記判定用データを上記識別器に入力して判定結果を出力させる判定ステップと、を含み、
上記識別器は、それぞれが異なる次元番号の圧縮次元データを用いて構築された識別器群の中で正解率が高かった複数の識別器の学習に使用された次元番号の圧縮次元データを結合して生成された統合データを用いて構築された識別器であり、
上記判定用データ生成ステップでは、上記統合データと同じ次元番号の圧縮次元データを結合して上記判定用データを生成する、ことを特徴とする情報処理方法。 It is an information processing method by an information processing device that determines which of a plurality of predetermined classes the input data corresponds to by a classifier using the fuzzy c averaging method.
A video acquisition step to acquire video data as the above input data,
A still image acquisition step of acquiring a plurality of time-series still image data constituting the moving image data from the moving image data, and
A dimensional compression step that dimensionally compresses each of the above still image data to generate compressed dimensional data,
By combining the compressed dimension data of some dimension number of the compressed-dimensional data, the data amount than the moving picture data is small and characteristics that change over time and had the video data is reflected Judgment data generation step to generate judgment data and
It said determination data and the determination step of outputting the judgment result is inputted to the discriminator, only including,
The above classifiers combine the compressed dimension data of the dimension numbers used for learning of a plurality of classifiers having a high accuracy rate in the classifier group constructed by using the compressed dimension data of different dimension numbers. It is a classifier constructed using the integrated data generated by
An information processing method characterized in that in the determination data generation step, compressed dimension data having the same dimension number as the integrated data is combined to generate the determination data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017051858A JP6899674B2 (en) | 2017-03-16 | 2017-03-16 | Information processing equipment, information processing methods, and information processing programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017051858A JP6899674B2 (en) | 2017-03-16 | 2017-03-16 | Information processing equipment, information processing methods, and information processing programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018156316A JP2018156316A (en) | 2018-10-04 |
| JP6899674B2 true JP6899674B2 (en) | 2021-07-07 |
Family
ID=63718200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017051858A Active JP6899674B2 (en) | 2017-03-16 | 2017-03-16 | Information processing equipment, information processing methods, and information processing programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6899674B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7278088B2 (en) * | 2019-01-31 | 2023-05-19 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP7401747B2 (en) * | 2019-11-29 | 2023-12-20 | 富士通株式会社 | Sorting program, sorting device and sorting method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002197465A (en) * | 2000-03-31 | 2002-07-12 | Fujitsu Ltd | Device for automatically detecting mouth shape, and device for automatically recognizing word by using the same |
| JP2011059186A (en) * | 2009-09-07 | 2011-03-24 | Gifu Univ | Speech section detecting device and speech recognition device, program and recording medium |
| JP5755171B2 (en) * | 2012-03-30 | 2015-07-29 | 公立大学法人大阪府立大学 | Combustion state detection device and combustion control device in incinerator |
| JP6008618B2 (en) * | 2012-07-02 | 2016-10-19 | 日立造船株式会社 | Garbage condition detection device in a garbage incinerator |
| CN107533363B (en) * | 2015-04-17 | 2020-06-30 | 三菱电机株式会社 | Gesture recognition device, gesture recognition method, and information processing device |
-
2017
- 2017-03-16 JP JP2017051858A patent/JP6899674B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018156316A (en) | 2018-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108965826B (en) | Monitoring method, monitoring device, processing equipment and storage medium | |
| US20200371491A1 (en) | Determining Operating State from Complex Sensor Data | |
| JP4356716B2 (en) | Abnormality monitoring device | |
| CN107644194B (en) | System and method for providing monitoring data | |
| CN102340625B (en) | The video camera of the video capture method that event starts and the video that capturing events starts | |
| US10115298B2 (en) | Method of trend analysis and automatic tuning of alarm parameters | |
| US11023577B2 (en) | Anomaly detection for time series data having arbitrary seasonality | |
| KR20190069421A (en) | System and method for predictive failure detection in a vehicle | |
| KR102033050B1 (en) | Unsupervised Learning Technique for Time Difference Model | |
| JP6973533B2 (en) | Analytical device, analysis method and program | |
| CN109447025B (en) | Fatigue detection method, device, system and computer readable storage medium | |
| JP6899674B2 (en) | Information processing equipment, information processing methods, and information processing programs | |
| CN110475124B (en) | Video jamming detection method and device | |
| JP2006268200A (en) | Flame/gas smoke detecting system, and flame/gas smoke detecting method | |
| JP2016173682A (en) | Abnormality determination device and abnormality determination method | |
| CN106781167B (en) | Method and device for monitoring motion state of object | |
| US11397874B2 (en) | Image capturing apparatus, generating apparatus, control method, and storage medium | |
| US11527091B2 (en) | Analyzing apparatus, control method, and program | |
| CN104067606A (en) | Camera, camera system, and self-diagnosis method | |
| CN114071127A (en) | Live video delay testing method and device, storage medium and electronic equipment | |
| EP3635913A1 (en) | Alarm processing devices, methods, and systems | |
| US20100121805A1 (en) | Systems and methods involving rule engines | |
| CN113409822A (en) | Object state determination method and device, storage medium and electronic device | |
| JP3994416B1 (en) | Abnormality detection device, program, and abnormality detection method | |
| JP7175061B1 (en) | Program, information processing device, and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170622 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6899674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |