JP7092312B2 - Plane data processing device, plane data processing method and plane data processing program - Google Patents
Plane data processing device, plane data processing method and plane data processing program Download PDFInfo
- Publication number
- JP7092312B2 JP7092312B2 JP2020062484A JP2020062484A JP7092312B2 JP 7092312 B2 JP7092312 B2 JP 7092312B2 JP 2020062484 A JP2020062484 A JP 2020062484A JP 2020062484 A JP2020062484 A JP 2020062484A JP 7092312 B2 JP7092312 B2 JP 7092312B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- prediction
- plane data
- prediction data
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムに関するものである。 The present invention relates to a plane data processing apparatus, a plane data processing method, and a plane data processing program.
特許文献１には、平面データではなく、広く物に取り付けられたセンサのデータを用いて、物の異常や故障を事前に検知する技術が開示されており、この検知のために、潜在変数とニューラルネットワークを用いた機械学習によるＶＡＥ（Variational Auto Encoder）を用いることが記載されている。
更に、特許文献２には、データの発生確率分布を推定するために、上記ＶＡＥを用いることが開示されている。
Further,
また、特許文献３には、カメラ映像の処理により物体の移動を認識する装置が開示されており、この特許文献３の発明では、対象画像から部分テンプレートを切り出す際に入力画像をニューラルネットワークで学習して物体らしき領域を抽出することが開示されている。
Further,
更に、特許文献４には、ニューラルネットワークを用いた推定技術が開示されている。この特許文献４の発明では、ニューラルネットワークを用いたエンコーダとデコーダとが備えられ、エンコーダの最終層にドロップアウト層と全結合層との組み合わせからなる少なくとも１つの一体化層を設けるというものである。
Further,
いずれの特許文献に記載の発明においても、構成を簡易にして軽量化を図りながら、予測を行うというものではない。 In any of the inventions described in the patent documents, prediction is not made while simplifying the configuration and reducing the weight.
本発明では、平面データの予測を簡易にして軽量化が可能な平面データ処理装置の提供を目的とする。 An object of the present invention is to provide a plane data processing apparatus capable of simplifying prediction of plane data and reducing the weight.
本発明に係る平面データ処理装置は、入力される平面データを所定範囲で規格化する前処理部と、平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコーダと、前記特徴量データの空間解像度を上昇させて第１の予測データを求める第１のデコーダと、前記第１のデコーダにより求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割手段と、前記分割手段が分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコーダと、前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理部とを具備することを特徴とする。
The plane data processing apparatus according to the present invention has a preprocessing unit that standardizes input plane data within a predetermined range, a first encoder that lowers the spatial resolution of the plane data and extracts feature amount data, and the above-mentioned features. A first decoder that increases the spatial resolution of the amount data to obtain the first prediction data, and a plurality of first prediction data obtained by the first decoder according to the form of the first prediction data. A second division means for dividing into division prediction data and the division prediction data having different forms divided by the division means are input, and prediction is performed while maintaining the spatial resolution of the division prediction data to obtain a second prediction data. It is characterized by comprising a decoder of the above and a post-processing unit that performs the reverse processing of the standardization on the second prediction data to create prediction plane data.
以下添付図面を参照して、本発明の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムを説明する。各図において、同一の構成要素には、同一の符号を付して重複する説明を省略する。 Hereinafter, the plane data processing apparatus, the plane data processing method, and the plane data processing program according to the embodiment of the present invention will be described with reference to the attached drawings. In each figure, the same components are designated by the same reference numerals and duplicated description will be omitted.
図１は、第１の実施形態に係る平面データ処理装置１００を示すブロック図である。この平面データ処理装置１００は、センサなどにより得た平面データを、入力部１１０から入力し、処理を行い、処理結果を出力部１６０から出力することができる。平面データ処理装置１００には、入力部１１０と出力部１６０との間に、前処理部１２０、エンコーダ１３０、デコーダ１４０、後処理部１５０が設けられる。
FIG. 1 is a block diagram showing a plane
前処理部１２０は、入力部１１０にて入力される平面データを所定範囲に規制する規格化を行うものである。例えば、規格化によって平面データの各値を０から１０の範囲の値とすることができる。エンコーダ１３０は、規格化された平面データの空間解像度を低下させて特徴量データを生成するものである。ここに、特徴量データとは、機械学習における学習対象データである平面データの特徴を数値化したものである。このエンコーダ１３０では、時系列で平面データが入力される場合に、時間的に所定範囲の平面データを連結してエンコードを行う。第１の実施形態では、ＣＮＮによって特徴量データを求めても良いし、他の機械学習において用いられている手法を用いて特徴量データを抽出するようにしても良い。
The preprocessing
デコーダ１４０は、時系列毎の前記特徴量データの空間解像度を上昇させて予測データを求めるものであり、機械学習を採用して現在より先の（未来の）平面データの各値についての予測データを求める。上記のように特徴量データには形状特徴量と位置（移動）特徴量が含まれるので、予測データでは、形状とその位置に関するデータが含まれる。機械学習の手法は問わない。後処理部１５０は、上記デコーダ１４０の出力に対して、上記前処理部１２０が行った規格化と逆の処理を行って予測平面データを作成するものである。出力部１６０は、予測平面データをディスプレイ画面に表示し、或いはプリントアウトし、または記憶部へ記憶するものである。
The
ここに、平面データとは、複数のデータ（数値）を平面的に並べて構成されたデータを言う。そして、平面データ処理とは、上記平面データの時系列変化を予測する処理を指すものとする。 Here, the plane data means data composed by arranging a plurality of data (numerical values) in a plane. The plane data processing refers to a process of predicting a time-series change of the plane data.
上記平面データは、カメラにより得られる１フレーム分の画像データであっても良く、タッチパネル等により得られるデータ、においセンサのデータ、サーモビューワによって得られるデータ、視線検出データ、量子ビットの量子計測・センシングデータ、パーティクルフィルタの対象物の位置データ、音圧センサによる音圧マップのデータ、測定した温度や湿度やその他の値を２次元的に並べたデータ、ドローンを含むロボットの時系列な制御データ、物体の温度や照度を平面的に配置したデータ、空間の気流を平面的に配置したデータ、指紋を平面的に捕らえるセンサのデータであっても良い。 The plane data may be one frame of image data obtained by a camera, such as data obtained by a touch panel or the like, odor sensor data, data obtained by a thermo-viewer, line-of-sight detection data, and quantum bit measurement. Sensing data, position data of object of particle filter, sound pressure map data by sound pressure sensor, data of measured temperature, humidity and other values arranged in two dimensions, time series control data of robot including drone , Data in which the temperature and illuminance of an object are arranged in a plane, data in which an air flow in a space is arranged in a plane, and data of a sensor that captures a fingerprint in a plane may be used.
図２に、平面データの一例を示す。図２（Ａ）は、例えば０から２５５の解像度を用いて、例えばタッチパネルの押圧力等の入力検出値の平面分布を表したもので、値が大きくやや濃いメッシュの部分に、例えばユーザによる指のタッチ入力があったことを示す。図２（Ｂ）は、負の値を用いた、例えば物体の温度分布を示す。図示する分布図は、中央部において温度が高く、円形状の周辺部に温度が低い負の値の部分を有するものを示す。本実施形態では、図２（Ａ）に示す如き、タッチ入力部分（領域）や物体の温度分布が時間と共に移動するときのデータの遷移を予測可能とし、更に、図２（Ｂ）の如き温度分布を有する物体等の移動経路に係る平面データについても、追跡予測を可能にする。 FIG. 2 shows an example of plane data. FIG. 2A shows, for example, a planar distribution of input detection values such as pressing force of a touch panel using a resolution of 0 to 255, and a finger on a slightly dark mesh portion having a large value, for example, by a user. Indicates that there was a touch input of. FIG. 2B shows, for example, the temperature distribution of an object using negative values. The illustrated distribution map shows one having a high temperature in the central portion and a low temperature portion in the peripheral portion of the circular shape. In the present embodiment, as shown in FIG. 2A, it is possible to predict the transition of data when the temperature distribution of the touch input portion (region) or the object moves with time, and further, the temperature as shown in FIG. 2B. It enables tracking prediction even for plane data related to the movement path of an object having a distribution.
図３は、第２の実施形態に係る平面データ処理装置１００Ａを示す図である。平面データ処理装置１００Ａでは、第２の実施形態のエンコーダ１３０は、畳み込みニューラルネットワーク（以下、ＣＮＮ）１３５により構成される。この第２の実施形態以降では、機械学習をＣＮＮ（Convolutional Neural Network）によって行うことを基本として説明を行うため、以下では、「特徴量データ」の語を、ＣＮＮにおいて用いる「特徴マップデータ」に変えて説明を行う。特徴マップデータは、平面データを畳み込みによって生成される。
特徴マップとは、「平面データのある位置近傍の矩形領域に含まれる値の分布の特徴を複数のフィルタによって数量化する処理を、平面データの各点について同様に実施し空間方向およびチャンネル方向に並べた３次元配列」である。フィルタとは、「ある矩形領域に特定のパターンが含まれる場合大きな値に変換し、そうでなければ小さな値へ変換する処理」である。
また、第１の実施形態のデコーダ１４０は、トランスポーズド（Transposed）畳み込みニューラルネットワーク（以下、ＴＣＮＮ）１４５により構成されている。ニューラルネットワークにおけるＴＣＮＮは、転置畳み込みとでも称すべき処理であり、元となる特徴マップを拡大（空間解像度を上昇）させてから畳み込む処理を行うものである。
FIG. 3 is a diagram showing a plane
The feature map is "a process of quantifying the features of the distribution of values contained in the rectangular area near the position of the plane data by multiple filters in the same way for each point of the plane data in the spatial direction and the channel direction. It is a three-dimensional array arranged side by side. The filter is "a process of converting a rectangular area to a large value when it contains a specific pattern, and converting it to a small value otherwise".
Further, the
図４は、本発明の実施形態に係るコンピュータシステムの構成図である。このコンピュータシステムによって、第１の実施形態または第２の実施形態に係る平面データ処理装置が実現される。このコンピュータシステムは、ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより平面データ処理装置が実現される。ＣＰＵ２１０には、バス２１２を介して外部記憶コントローラ２２１、入力部コントローラ２３１、出力部コントローラ２４１が接続されている。
FIG. 4 is a block diagram of a computer system according to an embodiment of the present invention. This computer system realizes the plane data processing apparatus according to the first embodiment or the second embodiment. In this computer system, a plane data processing device is realized by the
外部記憶コントローラ２２１には、外部記憶装置２２０が接続されている。外部記憶装置２２０には、平面データ処理用プログラムや平面データ処理に必要なデータ等が記憶されており、ＣＰＵ２１０は、平面データ処理用プログラムや平面データ処理に必要なデータ等を主メモリ２１１へ読み出してこのプログラムを実行し、平面データ処理を行う。入力部コントローラ２３１には、平面データおよびその他のデータ或いはコマンドなどを入力するための入力部２３０が接続されている。出力部コントローラ２４１には、平面データ処理の結果およびその他の情報を表示するための表示ディスプレイ装置或いはプリントアウトするためのプリンタや情報を記憶するための外部記憶装置等である出力部２４０が接続されている。このコンピュータシステムに備えられている構成は、一例に過ぎず、他の構成が備えられる。
An
上記コンピュータシステムにおいて、ＣＰＵ２１０が平面データ処理用プログラムを実行することにより、当該ＣＰＵ２１０は、第１の実施形態の前処理部１２０、エンコーダ１３０、デコーダ１４０、後処理部１５０として機能し、また第２の実施形態の前処理部１２０、ＣＮＮ１３５、ＴＣＮＮ１４５、後処理部１５０としても機能する。また、第２の実施形態のＣＮＮ１３５とＴＣＮＮ１４５については、それぞれハードウエアにより構成し、インタフェースを介してバス２１２に接続する構成を採用しても良い。
In the above computer system, when the
図５は、上記コンピュータシステムのＣＰＵ２１０が、第１の実施形態または第２の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャートである。予測処理では、ＣＰＵ２１０は、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化を行う（Ｓ１１）。次に、ＣＰＵ２１０は、空間解像度の低下によるエンコードを行い、特徴マップを生成する（Ｓ１２）。第２の実施形態では、ＣＰＵ２１０はＣＮＮ１３５として空間解像度の低下により特徴マップの生成を行う。この特徴マップの抽出では、形状特徴量と位置（移動）特徴量を共に抽出する。
FIG. 5 is a flowchart showing an operation when the
次に、特徴マップはデコーダ１４０として動作機能するＣＰＵ２１０に渡され、ＣＰＵ２１０はデコーダ１４０として、所定時刻先の平面データを予測し空間解像度を空間解像度低下前と同一まで上昇させ、予測データ（予測した平面データ）を生成する（Ｓ１３）。第２の実施形態では図５の左側に記載の通り、ＣＰＵ２１０はＴＣＮＮ１４５を用いた機械学習によって所定時刻先の平面データを予測及び空間解像度の上昇処理を実行し、予測データ（逆規格化前のもの）を生成する。デコーダ１４０として機能するＣＰＵ２１０は、予測データの生成を行うと、この予測データに対してステップＳ１１の前処理において行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する（Ｓ１４）。最終的に、ＣＰＵ２１０は上記で作成した予測平面データを出力して（Ｓ１５）、終了となる。
Next, the feature map is passed to the
例えば、ＣＮＮ１３５は、図６Ａに示すように、幅方向にＸ区画と、高さ方向にＹ区画とのＸ×Ｙの区画に値を有するフィルタを、Ｚチャネル備えたものであるとする。この場合に図６Ｂに示すように、時系列ｔ０、ｔ１、ｔ２、・・・に入力される平面データを処理するときには、次のようである。上記のエンコーダ１３０（ＣＮＮ１３５）として機能するＣＰＵ２１０は、各時刻での入力データを１つに連結させてからＣＮＮを行う。例えば、第２の実施形態では、時刻ｔ０、ｔ１、ｔ２、…の平面データをチャンネル方向に連結し、Ｚ個の矩形領域（１区画）に含まれる全数値を１つのフィルタに適用し、１つの数値を出力する（図６Ｂ）。
この処理が平面データの畳み込み処理の際の並列データの１区画分の処理である。この処理結果が１フィルタ分の出力となり、平面データの全区画分に同様の処理が行われる（図６Ｃ）。全区画分の出力は、平面上に並べられ、全フィルタ分の出力がチャンネル方向に連結される。
また、デコーダ１４０として機能するＣＰＵ２１０は、特徴マップからデータの予測データを生成する。上記のようにＣＮＮ１３５によるエンコードとＴＣＮＮ１４５によるデコードという手段で平面データについて移動している対象を的確に捕らえて次に移動する適切な位置予測を実現できる。図６は、第３の実施形態に係る平面データ処理装置１００Ｂを示すブロック図である。本実施形態では、入力部１１０に入力される平面データを所定範囲に規制する規格化を行う前処理部１２０と、規格化された平面データに対して空間解像度を低下させて特徴マップデータを生成する第１のエンコーダ１３０Ｂとを備える。この空間解像度の低下では、形状と位置（移動）の２つの特徴を含んだ特徴マップの抽出が行える程度まで空間解像度が低下される。前処理部１２０で行う規格化では、ニューラルネットワーク内で符号情報を保持させるため、ゼロ点を保持させて符号付きのまま規格化を実施する。更に、平面データ処理装置１００Ｂは、時系列の特徴マップデータに対して空間解像度を空間解像度低下前と同一まで上昇させて第１の予測データを求める第１のデコーダ１４０Ｂを備える。このように、「特徴マップデータに対して空間解像度を上昇させる」とは、「空間解像度を特徴マップから上昇させて平面データと同一にする」ことを意味する。
For example, as shown in FIG. 6A, it is assumed that the
This processing is processing for one section of parallel data at the time of convolution processing of plane data. The processing result becomes the output for one filter, and the same processing is performed for all the sections of the plane data (FIG. 6C). The outputs of all the partitions are arranged on a plane, and the outputs of all the filters are connected in the channel direction.
Further, the
第１のデコーダ１４０Ｂの出力側には、分割手段１７０が設けられている。分割手段１７０は、第１のデコーダ１４０Ｂの出力である上記予測データをデータの形態に応じて複数の分割予測データに分割する。ここでは、データ形態が正のデータと負のデータの２形態としているため、２つの分割予測データに分割する。図７は、本発明の第３の実施形態に係る平面データ処理装置１００Ｂの分割手段１７０が行う処理を示す図である。この分割に際して、データ形態が負のデータを正のデータとする処理を行うが、この場合には負の符号を取り去り、元から正であるデータを「０」に置換する。例えば、図７（Ａ）から図７（Ｂ）のデータを作り出す。また、データ形態が正であるデータは、そのまま残し、元が負であるデータを「０」に置換する。例えば、図７（Ａ）から図７（Ｃ）のデータを作り出す。
A dividing means 170 is provided on the output side of the
分割手段１７０の出力側には、第２のデコーダ１８０が設けられている。第２のデコーダ１８０は、上記分割手段１７０が分割した異なる１つ１つの分割予測データを入力し、この分割予約データの空間解像度を低下させることなく、換言すれば空間解像度を維持した状態で、予測を行い第２の予測データを得る。上記第２のデコーダ１８０は、上記分割手段１７０による分割数に対応する数のＣＮＮ１８５ＡとＣＮＮ１８５Ｂとにより構成されている。このＣＮＮ１８５ＡとＣＮＮ１８５Ｂは、１層でのニューラルネットワークのモデル構築されたものを用いることが可能である。
A
ＣＮＮ１８５Ａは、元から正の符号の数値により構成される第１の予測データを用いて正側の第２の予測データを得る。ＣＮＮ１８５Ｂは、元の負の符号から正の符号に変更された数値により構成される第１の予測データを用いて負側の第２の予測データを得る。正側の第２の予測データと負側の第２の予測データとは減算手段１９０へ送出される。減算手段１９０は、負側の第２の予測データの符号が正であるから、正側の第２の予測データから負側の第２の予測データの減算を行う。この結果正および負の符号付きの第２の予測データが得られる。 The CNN185A obtains the second prediction data on the positive side by using the first prediction data originally composed of numerical values having a positive sign. CNN185B obtains a second negative predictive data using a first predictive data composed of numerical values changed from the original negative sign to a positive sign. The second prediction data on the positive side and the second prediction data on the negative side are sent to the subtraction means 190. Since the sign of the second predicted data on the negative side is positive, the subtracting means 190 subtracts the second predicted data on the negative side from the second predicted data on the positive side. As a result, positive and negative signed second prediction data are obtained.
減算手段１９０の出力（減算結果）は、後処理部１５０へ送られる。後処理部１５０は、上記減算手段１９０の出力に対して、上記前処理部１２０が行った規格化と逆の処理を行って予測平面データを作成するものである。出力部１６０は、予測平面データをディスプレイ画面に表示し、或いはプリントアウトし、または記憶部へ記憶するものである。本実施形態によれば、高精度化と高速化の課題を解決することが期待できる。図８は、この第３の実施形態の効果を示す図である。ここでは、第２の実施形態を１．０とし、エンコーダは最適設計とした。第３の実施形態によって予測精度は４０％向上した。ＣＮＮ２層化と比較すると、第３の実施形態によって予測精度は３．５倍に向上した。
上記第３の実施形態についても、図４のコンピュータシステムによって実現可能である。この場合に、ＣＮＮ１３５、ＣＮＮ１８５Ａ、ＣＮＮ１８５ＢとＴＣＮＮ１４５については、ソフトウエアにより構成することができるが、それぞれハードウエアにより構成し、インタフェースを介してバス２１２に接続する構成を採用しても良い。図９は、上記コンピュータシステムのＣＰＵ２１０が、第３の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャートである。ＣＰＵ２１０は、前処理部１２０として、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化を行う（Ｓ１１）。次に、ＣＮＮ１３５として機能するＣＰＵ２１０によるエンコードが行われ、特徴マップの生成が行われる（Ｓ２２）。ＣＰＵ２１０が行うＣＮＮ１３５としての処理においては、形状特徴と位置（移動）特徴の２つの特徴を含んだ特徴マップの抽出が行われる。
The output (subtraction result) of the subtraction means 190 is sent to the
The third embodiment can also be realized by the computer system of FIG. In this case, CNN135, CNN185A, CNN185B and TCNN145 can be configured by software, but each may be configured by hardware and connected to the
次に、第１のデコーダ１４０ＢであるＴＣＮＮ１４５内において、ＣＰＵ２１０は第１のデコーダ１４０Ｂとして予測し、予測した平面データの空間解像度を空間解像度低下前と同一まで上昇させることにより、所定時刻先の予測データである平面データ（予測した符号付き平面データ）を生成する（Ｓ２３）。
Next, in TCNN145, which is the
予測した符号付き平面データは分割手段１７０へ渡される。ＣＰＵ２１０は分割手段１７０として、第１のデコーダ１４０Ｂの出力である上記予測データをデータの形態に応じて複数の分割予測データに分割する。ここでは、データ形態が正のデータと負のデータであるとしているため、正側分割予測データと負側分割データに分割する（Ｓ２４）。この分割に際して、正側予測データは正の値のデータをそのまま残し、負の値のデータを「０」に置換したものである。負側予測データは、負の値の符号を取り去った状態で残し、正の値のデータを「０」に置換したものである。
The predicted signed plane data is passed to the dividing means 170. As the division means 170, the
次に、２つの分割予測データに分割された２つの分割予測データは、ＣＮＮ１８５ＡとＣＮＮ１８５Ｂへ送られる。ＣＰＵ２１０は、ＣＮＮ１８５ＡとＣＮＮ１８５Ｂして空間解像度を低下させることなく、換言すれば空間解像度を維持した状態で予測を行い第２の予測データを得る（Ｓ２５）。
Next, the two division prediction data divided into the two division prediction data are sent to CNN185A and CNN185B. The
ＣＮＮ１８５ＡとＣＮＮ１８５Ｂとして動作するＣＰＵ２１０によって、予測データの生成が行われると、ＣＰＵ２１０は減算手段１９０として、負側の第２の予測データの符号が正であるから、正側の第２の予測データから負側の第２の予測データの減算を行う（Ｓ２６）。この結果、正および負の符号付きの第２の予測データが得られる。この予測データに対してＣＰＵ２１０は、ステップＳ１１の前処理において行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する（Ｓ１４）。最終的に、ＣＰＵ２１０は、上記で作成した予測平面データを出力して（Ｓ１５）、終了となる。
When the prediction data is generated by the
図１０は、等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの後の時刻ｔ３における平面データを予測することを示した図である。また、図１１は、等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの３回分後の時刻ｔ５における平面データを予測することを示した図である。これら図１０および図１１に示した平面データに関する予測処理は、本発明の実施形態において実現可能であり、例えば、図６の構成において、ＣＰＵ２１０が図９に示すフローチャートを実行すると実現される平面移動である。
FIG. 10 is a diagram showing that the plane data at the time t3 after the time interval t is predicted from the obtained three plane data at the time t0, t1 and t2 at the equal time interval t. Further, FIG. 11 is a diagram showing that at the time t0, t1 and t2 at the equal time interval t, the plane data at the time t5 three times after the time interval t is predicted from the obtained three plane data. be. The prediction processing regarding the plane data shown in FIGS. 10 and 11 can be realized in the embodiment of the present invention. For example, in the configuration of FIG. 6, the plane movement realized when the
図１２は、図１０と同じ予測をする場合に平面データの右側にある第１の検出対象ＤＤ１が存在していた状態から消滅し、当初の時刻ｔ０では存在しなかった第２の検出対象ＤＤ２が事項ｔ１で平面データの右下側に現れ、時刻ｔ２、ｔ３と時間と共に徐々に存在感を大きくする場合の予測経過を示す図である。図１３は、図１２と同じく複数の検出対象についての追跡予測であり、図１（Ｂ）と同じく正負の値の部分を有する場合の追跡予測を示す図である。時刻ｔ０、ｔ１、ｔ２の平面データのいずれにも正負の値が存在し、正の大きな値の部分Ｐが、平面上で領域が小さくなりながら移動している。また、負の絶対値が大きな値の部分Ｍが、平面上で領域が大きくなりながら移動している。時刻ｔ３の平面データは、時刻ｔ０、ｔ１、ｔ２の平面データから予測される。時刻ｔ３の平面データにおいては、正の大きな値の部分Ｐは消失し、負の絶対値が大きな値の部分Ｍが移動するであろう予測領域ＦＭ１と、新たに生じるであろう負の絶対値が大きな値の部分ＦＭ２が予測されている。これら図１２、図１３に示した平面データに関する予測処理は、本発明の第１乃至第３の実施形態において実現可能であり、例えば図６の構成において、ＣＰＵ２１０が図９に示すフローチャートを実行すると実現される平面移動である。
FIG. 12 shows that the first detection target DD1 on the right side of the plane data disappears from the state where the first detection target DD1 was present when the same prediction as in FIG. 10 was made, and the second detection target DD2 that did not exist at the initial time t0. Is a diagram showing the prediction progress when the item t1 appears on the lower right side of the plane data and the presence gradually increases with time t2 and t3. FIG. 13 is a follow-up prediction for a plurality of detection targets as in FIG. 12, and is a diagram showing a follow-up prediction in the case of having positive and negative value portions as in FIG. 1 (B). Positive and negative values exist in any of the plane data at time t0, t1, and t2, and the portion P having a large positive value moves while the area becomes smaller on the plane. Further, the portion M having a large negative absolute value moves while the region becomes large on the plane. The plane data at time t3 is predicted from the plane data at times t0, t1, and t2. In the plane data at time t3, the part P with a large positive value disappears, and the part M with a large negative absolute value moves to the prediction region FM1 and a new negative absolute value that will occur. Partial FM2 with a large value is predicted. The prediction processing regarding the plane data shown in FIGS. 12 and 13 can be realized in the first to third embodiments of the present invention. For example, in the configuration of FIG. 6, when the
図１４から図１６は、平面データ処理におけるデータ構造を示したものである。図１４は、平面データが時刻ｔ０、ｔ１、・・・、ｔｎにおいて発生することを示している。この図１４において、ＸとＹは平面データにおいて、Ｘ方向に並ぶデータ（数値）の数、Ｙ方向に並ぶデータ（数値）数であり、ＸとＹにより平面データのサイズを示し、本実施形態では、各時刻ｔ０、ｔ１、・・・、ｔｎにおいて得られたデータが時系列に並んでいる時系列の平面データを用いた処理を行うことを示している。図１５は、第１の実施形態と第２の実施形態に係る平面データ処理におけるデータ構造の流れを示す図である。この図１５に明らかな通り、第１の実施形態と第２の実施形態とにおいては、入力に係る時系列の平面データ（図１４に示されている時刻ｔ０、ｔ１、・・・、ｔｎにおいて発生する時系列データ）を１つに連結してＣＮＮ１３５へ入力して、ＣＮＮ１３５によるエンコーダの処理によって特徴マップを得る。上記の「連結」については、図５のフローチャートを用いて説明した通りに、形状特徴量と位置（移動）特徴量を共に抽出するために行われる。次に、この特徴マップはＴＣＮＮ１４５へ送られて、ＴＣＮＮ１４５においてデコードされて予測データが生成され、出力される。 14 to 16 show a data structure in plane data processing. FIG. 14 shows that plane data occurs at times t0, t1, ..., Tn. In FIG. 14, X and Y are the number of data (numerical values) arranged in the X direction and the number of data (numerical values) arranged in the Y direction in the plane data, and the size of the plane data is indicated by X and Y. Then, it is shown that the processing using the time-series plane data in which the data obtained at each time t0, t1, ..., Tn is arranged in the time-series is performed. FIG. 15 is a diagram showing a flow of a data structure in the plane data processing according to the first embodiment and the second embodiment. As is clear from FIG. 15, in the first embodiment and the second embodiment, at the time series plane data (time t0, t1, ..., Tn shown in FIG. 14) related to the input. The generated time series data) are concatenated into one and input to the CNN135, and the feature map is obtained by the processing of the encoder by the CNN135. The above "concatenation" is performed to extract both the shape feature amount and the position (movement) feature amount as described using the flowchart of FIG. Next, this feature map is sent to TCNN145, decoded in TCNN145 to generate prediction data, and output.
図１６は、第３の実施形態に係る平面データ処理におけるデータ構造の流れを示す図である。この第３の実施形態では、入力に係る時系列の平面データを時系列の順に１つの時系列ずつＣＮＮ１３５へ入力して、ＣＮＮ１３５において特徴マップを得る。この特徴マップは、ＴＣＮＮ１４５へ送られて、ＴＣＮＮ１４５においてデコードされる。ＴＣＮＮ１４５による処理結果である予測データ１は、正および負の予測データ１として分割して、正側の予測データ２をＣＮＮ１８５Ａへ与えられ、負側の予測データ２をＣＮＮ１８５Ｂへ与えられる。ＣＮＮ１８５ＡとＣＮＮ１８５Ｂは、データに対して空間解像度を維持したまま（低下させることなく）予測を行い第２の予測データ（予測データ２正側及び予測データ２負側）を得る。図６に示した減算手段１９０は、２つの第２の予測データに対する減算を行い、最終的な予測データを得て、結果を出力する。このように第３の実施形態が採用するデータ構造の流れは、高精度かつ高速化を狙った構成が採用されている。
FIG. 16 is a diagram showing a flow of a data structure in the plane data processing according to the third embodiment. In this third embodiment, the plane data of the time series related to the input is input to the
以上のように、第３の実施形態に係る平面データ処理装置では、ニューラルネットワークの層を極限まで浅くして省力化を図り、高精度かつ高速に平面データに対する予測などの処理を行う手法を実現したものである。各時刻で取得される平面データを並列処理するＣＮＮを実現するため、ＣＮＮとしてはＣＮＮ１３５、ＣＮＮ１８５Ａ、ＣＮＮ１８５Ｂを用いており、ＣＮＮの個数は増えるが、各ＣＮＮについては１層のニューラルネットワークのモデルで実現可能となる。即ち、ニューラルネットワークの層を深くすることなく、従って構成の複雑さと大型化を回避し、予測などの平面データ処理の高精度化と高速化が期待できる。また、正側の予測データ２をＣＮＮ１８５Ａへ与え、負側の予測データ２をＣＮＮ１８５Ｂへ与えて処理を行うため、処理する平面データの正負値の分布や分布の変化にもよるが、ＣＮＮ１８５Ａの構造とＣＮＮ１８５Ｂの構造を同じ構成とすることができ、開発期間の短縮化が可能性である。また、ＣＮＮ１８５ＡとＣＮＮ１８５Ｂにおける学習についても、ＣＮＮ１８５Ａが予測データの正側のみの分布、ＣＮＮ１８５Ｂが予測データの負側のみの分布を学習すればよいことから、収束までの時間短縮を図ることが可能である。
As described above, in the planar data processing apparatus according to the third embodiment, the layer of the neural network is made as shallow as possible to save labor, and a method of performing processing such as prediction for planar data with high accuracy and high speed is realized. It was done. In order to realize a CNN that processes plane data acquired at each time in parallel, CNN135, CNN185A, and CNN185B are used as CNNs. It will be feasible. That is, it is expected that the layer of the neural network will not be deepened, and therefore the complexity and size of the configuration will be avoided, and the accuracy and speed of plane data processing such as prediction will be improved. Further, since the positive
図１７は、第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムが採用する処理手法を示す図である。本実施形態においては、平面データ処理装置１００（１００Ａ、１００Ｂ）において予測などの処理を行った結果を、次の予測などの処理に用いるフィードバック経路（或いは、フィードバック手段）を有するものである。例えば、Ｓｔｅｐ１として時刻ｔ０（２つ前過去）、ｔ１（１つ前過去）、ｔ２（現在）の３時点における平面データを用いて、時刻ｔ３（１つ先の未来）の平面データを予測する。次に、ｔ１（１つ前過去）、ｔ２（現在）の２時点における平面データに加えて、Ｓｔｅｐ１で求めた時刻ｔ３（１つ先の未来）の予測データである平面データを用いて、予測を行う。
FIG. 17 is a diagram showing a processing method adopted by the plane data processing apparatus, the plane data processing method, and the plane data processing program according to the fourth embodiment. In the present embodiment, the planar data processing apparatus 100 (100A, 100B) has a feedback path (or feedback means) for using the result of processing such as prediction for the next processing such as prediction. For example, the plane data at the time t3 (the future one ahead) is predicted by using the plane data at three time points of time t0 (two past past), t1 (one past past), and t2 (present) as Step1. .. Next, in addition to the plane data at the two time points of t1 (one past past) and t2 (present), the plane data which is the prediction data of the time t3 (one future future) obtained by
以下同様に処理を行う。３回目以降の予測等の処理においては、予想等の時点で２回前に予測した時刻における実際の平面データが得られていれば、これを用いて処理を行う。つまり、３枚の平面データを用いる場合には、実際の平面データ２枚と１回前に予測などの処理により得た平面データを利用する。本実施形態によれば、実際の平面データが得られていないときにも予測データを求めることができ、より高精度の予測処理を実現できるようになる。なお、上記実施形態では、２つ先の時刻でのデータを予測することを示したが、３つ先以降の時刻でのデータを予測する際に、得られていない時刻の平面データを代替するように予測結果を用いることができる。また、正負の符号を有するデータのようにデータの形態が異なるデータが存在している平面データを用いた場合にも高精度に予測することができる。また、デコーダとしてのＴＣＮＮやＣＮＮに関し、ニューラルネットワークの層を極限まで浅くでき、ネットワークモデルを省力化可能である。本発明の実施形態によってデコーダで正側と負側のデータ別にＣＮＮを２回追加することになるが、各ＣＮＮは１層でのニューラルネットワークのモデル構築が可能となる。本発明の実施形態では、予測精度を損なうことなくデータ予測処理時間の短縮を図ることが期待できる。 The same processing is performed below. In the processing such as prediction from the third time onward, if the actual plane data at the time predicted two times before is obtained at the time of prediction or the like, the processing is performed using this. That is, when using three plane data, two actual plane data and the plane data obtained by a process such as prediction one time before are used. According to this embodiment, the prediction data can be obtained even when the actual plane data is not obtained, and the prediction processing with higher accuracy can be realized. In the above embodiment, it is shown that the data at the time two ahead is predicted, but when predicting the data at the time three or later ahead, the plane data at the time not obtained is replaced. As you can see, the prediction result can be used. Further, even when plane data in which data having different data forms such as data having positive and negative signs exists is used, it is possible to predict with high accuracy. Further, regarding TCNN and CNN as decoders, the layer of the neural network can be made as shallow as possible, and the network model can be labor-saving. According to the embodiment of the present invention, the decoder will add CNNs twice for each of the positive and negative data, and each CNN will be able to build a model of the neural network in one layer. In the embodiment of the present invention, it can be expected that the data prediction processing time can be shortened without impairing the prediction accuracy.
上記において説明した第１乃至第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムは、以下に示す平面データの処理に用いることができる。図１８は、脳波トポグラフィを示す図である。脳波トポグラフィは、頭皮表面の脳電位の等電位図を描いたものである。脳電位の大きさを塗り潰しパターンの変化として示しており、正常者の脳波トポグラフィは、概ね左右対称である。感情や行動によっても波形に変化があり、感情や心の動きの観察に用いることが期待される。測定した脳電位を頭部を上部から目視した場合の頭部輪郭線により形成される楕円状の領域の測定位置に該当する座標位置に並べて本実施形態の平面データとすることができる。この脳波トポグラフィによる平面データを測定間隔の時系列データとして、平面データ処理を行う。これによって、予測した時刻の脳波トポグラフィを見ることができるので、実際の測定時間を短縮化して被験者の負担を低減することができる。 The plane data processing apparatus, plane data processing method, and plane data processing program according to the first to fourth embodiments described above can be used for processing the plane data shown below. FIG. 18 is a diagram showing electroencephalogram topography. EEG topography is an equipotential diagram of the brain potential on the surface of the scalp. The magnitude of the brain potential is shown as a change in the fill pattern, and the brain wave topography of a normal person is generally symmetrical. The waveform changes depending on emotions and behaviors, and it is expected to be used for observing emotions and emotional movements. The measured brain potential can be arranged at the coordinate position corresponding to the measurement position of the elliptical region formed by the contour line of the head when the head is visually viewed from above, and can be used as the plane data of the present embodiment. Plane data processing is performed using the plane data obtained by this electroencephalogram topography as time-series data of the measurement interval. As a result, the electroencephalogram topography at the predicted time can be viewed, so that the actual measurement time can be shortened and the burden on the subject can be reduced.
図１９は、水が流れている、ある水路の断面における流量を示した図である。この図においては、流量の大小について塗り潰しパターンの変化として示している。流量は流速×断面積であるから、所定位置に流速センサを設けて断面の所定位置の流速を求めて、各位置における単位面積当たりの流量を平面データとして本発明実施形態の平面データ処理を行うことが可能である。図１９のような流量対応の図を表示する場所を複数地点に設け、場所毎に流量を予測して図の如き表示を行い、図における水の部分が大流量の塗り潰しパターンに近づくほど流量が大きいものとして、危険を察知することが期待される。水路や排水溝を利用する農業や河川管理における防災、海の津波検出など漁業での利用を想定することができる。 FIG. 19 is a diagram showing a flow rate in a cross section of a channel through which water is flowing. In this figure, the magnitude of the flow rate is shown as a change in the filling pattern. Since the flow rate is the flow velocity × the cross-sectional area, a flow velocity sensor is provided at a predetermined position to obtain the flow velocity at a predetermined position in the cross section, and the plane data processing of the embodiment of the present invention is performed using the flow rate per unit area at each position as plane data. It is possible. Places for displaying the flow rate correspondence diagram as shown in Fig. 19 are provided at multiple points, the flow rate is predicted for each location and displayed as shown in the figure, and the flow rate increases as the water part in the figure approaches the large flow rate fill pattern. As a big thing, it is expected to detect danger. It can be assumed to be used in fishing such as disaster prevention in agriculture and river management using waterways and drains, and tsunami detection in the sea.
図２０は、監視位置から前方の移動体或いは静止体の距離を、塗り潰しパターンの変化として示した図である。距離の測定には光線の照射と反射によるセンサを用い、或いは監視カメラを用いた画像処理などを採用することができる。図のような画面の単位面積エリアの塗り潰しパターンを数値データとして１画面毎に平面データを得る。平面データを時々刻々と得て本発明実施形態の平面データ処理を行うことが可能である。この処理によって、図２０（Ａ）の場合には、静止物体および移動物体の距離（位置）を予測して危険を検知することを目指すことができ、また、物体の移動先を推定する。また、図２０（Ｂ）に示す場合には、人や移動している物の距離（位置）から歩いていることや走っているという行動を予測することも可能である。更に、混雑の度合いや人の動き（移動方向と移動速度）の監視なども可能である。センサによっては暗闇でも使用できるものがあり、画像処理（動画予測）システムよりも簡素な構成による構築が期待される。 FIG. 20 is a diagram showing the distance of a moving body or a stationary body in front of the monitoring position as a change in the filling pattern. For the distance measurement, a sensor based on irradiation and reflection of light rays can be used, or image processing using a surveillance camera or the like can be adopted. Plane data is obtained for each screen using the fill pattern of the unit area area of the screen as shown in the figure as numerical data. It is possible to obtain plane data from moment to moment and perform plane data processing according to the embodiment of the present invention. By this process, in the case of FIG. 20A, it is possible to predict the distance (position) between the stationary object and the moving object to detect the danger, and to estimate the moving destination of the object. Further, in the case shown in FIG. 20B, it is possible to predict the behavior of walking or running from the distance (position) of a person or a moving object. Furthermore, it is possible to monitor the degree of congestion and the movement of people (movement direction and movement speed). Some sensors can be used even in the dark, and are expected to be constructed with a simpler configuration than an image processing (video prediction) system.
次に、第５の実施形態を説明する。この第５の実施形態は、図４のコンピュータシステムによって実現可能である。入力部２３０と出力部２４０によってタッチパネルが構成されている。図２１（Ａ）は、従来のエッジデバイスのタッチセンサにより得られた時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４の時系列データ（実際の平面データ）の変遷を示す図である。タッチによりセンサから大きな入力値が得られるエリアＥは、図２１（Ａ）に示すようにパネル上を移動して行く。
Next, a fifth embodiment will be described. This fifth embodiment can be realized by the computer system of FIG. A touch panel is composed of an
図２１（Ｂ）は、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４におけるタッチパネルの画面上に実際には表示されないが、表示した場合の実際入力位置ＴＰと、実際入力位置ＴＰから作成しタッチパネルの画面上に表示される入力描画位置ＤＰを示す図である。入力描画位置ＤＰには描画軌跡が線分となって表示される様子が示されている。この図２１（Ｂ）によれば、タッチパネルの画面上には、実際入力位置ＴＰより遅延した位置に入力描画位置ＤＰが表示されていることが分かる。 FIG. 21B is not actually displayed on the touch panel screen at times t0, t1, t2, t3, and t4, but is created from the actual input position TP and the actual input position TP when displayed, and is the touch panel screen. It is a figure which shows the input drawing position DP displayed above. The input drawing position DP shows how the drawing locus is displayed as a line segment. According to FIG. 21B, it can be seen that the input drawing position DP is displayed on the screen of the touch panel at a position delayed from the actual input position TP.
第５の実施形態に係る平面データ処理装置は、図４のコンピュータシステムにより、ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより実現される。この第５の実施形態の装置は、タッチパネルを構成する入力部１１０に入力される平面データを所定範囲に規制する規格化を行う前処理部１２０と、規格化された平面データに対して空間解像度を低下させて特徴マップデータを生成する第１のエンコーダ１３０Ｂとを備える。前処理部１２０で行う規格化では、ニューラルネットワーク内で符号情報を保持させるため、ゼロ点を保持させて符号付きのまま規格化を実施する。更に、平面データ処理装置１００Ｂは、時系列の特徴マップデータに対して空間解像度を上昇させて第１の予測データを求める第１のデコーダ１４０Ｂを備える。
The plane data processing apparatus according to the fifth embodiment is realized by the computer system of FIG. 4 in which the
第５の実施形態の装置は、分割手段１７０とＣＮＮ１８５Ａ、ＣＮＮ１８５Ｂ、減算手段１９０、後処理部１５０を備える。以上のように第５の実施形態の構成は、第３の実施形態と基本的には同じであり、入力部２３０と出力部２４０によってタッチパネルが構成されている点で第３の実施形態と異なる。
The apparatus of the fifth embodiment includes a dividing means 170, a CNN185A, a CNN185B, a subtracting means 190, and a
更に、第５の実施形態の装置は、第４の実施形態に示したフィードバック手段を有する。 Further, the apparatus of the fifth embodiment has the feedback means shown in the fourth embodiment.
ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより第５の実施形態に係る平面データ処理装置が実現される場合の動作を説明する。ＣＰＵ２１０は、前処理部１２０として、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化を行う。
The operation when the plane data processing apparatus according to the fifth embodiment is realized by the
次に、ＣＰＵ２１０は、ＣＮＮ１３５として機能し、エンコードにより形状特徴と位置（移動）特徴の２つの特徴を含んだ特徴マップを抽出する。次に、ＣＰＵ２１０は第１のデコーダ１４０ＢのＴＣＮＮ１４５として空間解像度の上昇処理により所定時刻先の予測データである平面データを予測した符号付き平面データを生成する。
Next, the
次にＣＰＵ２１０は分割手段１７０として、上記ＴＣＮＮ１４５により生成された予測データを、正のデータと負のデータにより構成される２つの分割予測データに分割する。この分割に際して、負の符号を取り去り、「０」に置換する。
Next, the
次にＣＰＵ２１０はＣＮＮ１８５ＡとＣＮＮ１８５Ｂとして、空間解像度を低下させることなく、換言すれば空間解像度を維持した状態で、分割手段１７０により分割された２つの分割予測データのそれぞれを用いて予測を行い第２の予測データを得る。次にＣＰＵ２１０は、減算手段１９０として、正側の第２の予測データから負側の第２の予測データの減算を行う。この結果正および負の符号付きの第２の予測データが得られる。この予測データに対してＣＰＵ２１０は、前処理部１２０として行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する。最終的に、ＣＰＵ２１０は、上記で作成した予測平面データをタッチパネルにおいて表示出力する。
Next, the
この第５の実施形態では、上記において予測した平面データを最新に入力した平面データとして、予測に用いる。即ち、この第５の実施形態では、図１７を用いて説明した通り、ｎ（正の整数）枚の予測用平面データを用いて予測する場合に、予測した平面データが得られた以降は、予測された平面データをｎ枚の予測用平面データ入れて次の平面データを予測する。そして、予測処理を続ける間に最新の平面データ（実平面データという）の入力があると、この最新の実平面データを、予測処理に用いていた実平面データに対応する予測データに変えてｎ枚の予測用平面データとする。 In this fifth embodiment, the plane data predicted above is used for prediction as the latest input plane data. That is, in this fifth embodiment, as described with reference to FIG. 17, when prediction is made using n (positive integer) sheets of prediction plane data, after the predicted plane data is obtained, after that, The predicted plane data is input to n sheets of prediction plane data to predict the next plane data. Then, if the latest plane data (called real plane data) is input while the prediction processing is continued, the latest real plane data is changed to the prediction data corresponding to the real plane data used in the prediction processing. It is the plane data for prediction of the sheet.
以上のように処理を行う第５の実施形態によって、図２２に示されるように、実際入力位置に一致する位置に（遅延を解消して）描画予測位置ＰＰが表示される。 According to the fifth embodiment in which the processing is performed as described above, as shown in FIG. 22, the drawing prediction position PP is displayed at the position corresponding to the actual input position (eliminating the delay).
図２２（Ａ）は、第５の実施形態の構成を採用したエッジデバイスのタッチセンサにより得られた時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４の時系列データ（実際の平面データ）の変遷を示す図である。タッチによりセンサから大きな入力値が得られるエリアＥは、実際のタッチ入力位置であり、図２２（Ａ）に示すようにパネル上を移動して行く。 FIG. 22A shows the transition of time series data (actual plane data) at time t0, t1, t2, t3, and t4 obtained by the touch sensor of the edge device adopting the configuration of the fifth embodiment. It is a figure. Area E, where a large input value is obtained from the sensor by touch, is an actual touch input position, and moves on the panel as shown in FIG. 22 (A).
図２２（Ｂ）は、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４におけるタッチパネルの画面上に表示された描画予測位置ＰＰを示す図である。この描画予測位置ＰＰはこの第５の実施形態による処理で予測された位置である。描画予測位置ＰＰには描画軌跡が線分となって表示される様子が示されている。描画軌跡に係る線分は、既に描画予測位置ＰＰより先に予測された位置データの集合を用いて作成され、表示されるものである。この図２２（Ｂ）と上記図２２（Ａ）とを比較すると、図２２（Ａ）の実際入力位置であるエリアＥの位置に対し、タッチパネルの画面上の概ね同じ位置に描画予測位置ＰＰが表示されていることが分かる。本実施形態によれば、実際の平面データが得られていないときにも予測データを求めることができ、より高精度で高速な予測処理及び表示処理を実現できるようになる。 FIG. 22B is a diagram showing a drawing prediction position PP displayed on the screen of the touch panel at times t0, t1, t2, t3, and t4. This drawing predicted position PP is a position predicted by the process according to the fifth embodiment. It is shown that the drawing locus is displayed as a line segment in the drawing prediction position PP. The line segment related to the drawing locus is created and displayed using a set of position data already predicted before the drawing prediction position PP. Comparing this FIG. 22 (B) with FIG. 22 (A), the drawing predicted position PP is located at substantially the same position on the touch panel screen with respect to the position of the area E which is the actual input position of FIG. 22 (A). You can see that it is displayed. According to this embodiment, prediction data can be obtained even when actual plane data is not obtained, and more accurate and high-speed prediction processing and display processing can be realized.
本発明に係る複数の実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although a plurality of embodiments according to the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
１００、１００Ａ、１００Ｂ・・・平面データ処理装置、１１０・・・入力部、１２０・・・前処理部、１３０、・・・エンコーダ、１３０Ｂ・・・第１のエンコーダ、１３５、１８５Ａ、１８５Ｂ・・・ＣＮＮ、１４０・・・デコーダ、１４０Ｂ・・・第１のデコーダ、１４５・・・ＴＣＮＮ、１５０・・・後処理部、１６０・・・出力部、１７０・・・分割手段、１８０・・・第２デコーダ、２１０・・・ＣＰＵ、２１１・・・主メモリ、２１２・・・バス、２２０・・・外部記憶装置、２２１・・・外部記憶コントローラ、２３１・・・入力部コントローラ、２４１・・・出力部コントローラ 100, 100A, 100B ... Plane data processing device, 110 ... Input unit, 120 ... Preprocessing unit, 130, ... Encoder, 130B ... First encoder, 135, 185A, 185B ... CNN, 140 ... Decoder, 140B ... First decoder, 145 ... TCNN, 150 ... Post-processing unit, 160 ... Output unit, 170 ... Dividing means, 180 ... 2nd decoder, 210 ... CPU, 211 ... main memory, 212 ... bus, 220 ... external storage device, 221 ... external storage controller, 231 ... input unit controller, 241.・ ・ Output controller
Claims (15)
前記平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコーダと、
前記特徴量データの空間解像度を上昇させて第１の予測データを求める第１のデコーダと、
前記第１のデコーダにより求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割手段と、
前記分割手段が分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコーダと、
前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理部と
を具備することを特徴とする平面データ処理装置。 A pre-processing unit that standardizes the input plane data within a predetermined range,
A first encoder that reduces the spatial resolution of the plane data and extracts feature data,
A first decoder that increases the spatial resolution of the feature amount data to obtain the first prediction data, and
A division means for dividing the first prediction data obtained by the first decoder into a plurality of division prediction data according to the form of the first prediction data.
A second decoder in which the division prediction data of different forms divided by the division means is input, prediction is performed while maintaining the spatial resolution of the division prediction data, and the second prediction data is obtained.
A plane data processing apparatus comprising: a post-processing unit that performs the reverse processing of the standardization on the second prediction data to create prediction plane data.
前記第１のデコーダは、トランスポーズド畳み込みニューラルネットワークにより構成され、
前記第２のデコーダは、畳み込みニューラルネットワークにより構成され、
ていること特徴とする請求項１に記載の平面データ処理装置。 The first encoder is configured by a convolutional neural network.
The first decoder is configured by a transposed convolutional neural network.
The second decoder is composed of a convolutional neural network.
The plane data processing apparatus according to claim 1, wherein the plane data processing apparatus is characterized by the above.
ことを特徴とする請求項３に記載の平面データ処理装置。 The division means obtains the first division prediction data in which the first prediction data is composed of positive data and the first prediction data, depending on the case where the first prediction data takes a positive or negative form. The plane data processing apparatus according to claim 3, further comprising generating a second split prediction data composed of negative data.
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコードステップと、
前記特徴量データに対して空間解像度を上昇させて第１の予測データを求める第１のデコードステップと、
前記第１のデコードステップにより求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割ステップと、
前記分割ステップにおいて分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコードステップと、
前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理ステップと
を具備することを特徴とする平面データの時系列変化を予測する平面データ処理方法。 A preprocessing step that standardizes the input plane data within a predetermined range,
A first encoding step of reducing the spatial resolution of the normalized planar data to extract feature data, and
The first decoding step of increasing the spatial resolution with respect to the feature amount data to obtain the first prediction data,
A division step of dividing the first prediction data obtained by the first decoding step into a plurality of division prediction data according to the form of the first prediction data, and a division step.
A second decoding step in which different forms of the divided prediction data divided in the divided step are input, prediction is performed while maintaining the spatial resolution of the divided prediction data, and a second prediction data is obtained.
A plane data processing method for predicting a time-series change in plane data, which comprises a post-processing step of creating a predicted plane data by performing the reverse processing of the standardization on the second prediction data. ..
前記第１のデコードステップは、トランスポーズド畳み込みニューラルネットワークを用いて処理を実行し、
前記第２のデコードステップでは、畳み込みニューラルネットワークにより処理を実行する、
こと特徴とする請求項６に記載の平面データ処理方法。 The first encoding step performs processing using a convolutional neural network.
In the first decoding step, processing is executed using a transposed convolutional neural network.
In the second decoding step, the process is executed by the convolutional neural network.
The plane data processing method according to claim 6, wherein the plane data processing method is characterized.
ことを特徴とする請求項８に記載の平面データ処理方法。 In the division step, depending on the case where the first prediction data takes a positive or negative form, the first division prediction data in which the first prediction data is composed of positive data and the first prediction data are combined. The plane data processing method according to claim 8, wherein the second division prediction data composed of negative data and the second division prediction data are generated.
入力される平面データを所定範囲で規格化する前処理手段、
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコード手段、
前記特徴量データの空間解像度を上昇させて第１の予測データを求める第１のデコード手段、
前記第１のデコード手段により求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割手段、
前記分割手段が分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコード手段と、
前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理手段
として機能させることを特徴とする平面データの時系列変化を予測する平面データ処理用プログラム。 Computer,
Preprocessing means that standardizes the input plane data within a predetermined range,
A first encoding means for extracting feature data by lowering the spatial resolution of the normalized planar data,
A first decoding means for increasing the spatial resolution of the feature amount data to obtain the first predicted data,
A division means for dividing the first prediction data obtained by the first decoding means into a plurality of division prediction data according to the form of the first prediction data.
A second decoding means in which the divided prediction data in a different form divided by the dividing means is input, prediction is performed while maintaining the spatial resolution of the divided prediction data, and the second prediction data is obtained.
A plane data processing program for predicting time-series changes in plane data, characterized in that the second prediction data is processed in the reverse of the normalization to function as a post-processing means for creating prediction plane data. ..
前記第１のデコード手段は、トランスポーズド畳み込みニューラルネットワークにより構成され、
前記第２のデコード手段は、畳み込みニューラルネットワークにより構成され、
ていること特徴とする請求項１１に記載の平面データ処理用プログラム。 The first encoding means is configured by a convolutional neural network.
The first decoding means is configured by a transposed convolutional neural network.
The second decoding means is configured by a convolutional neural network.
The program for plane data processing according to claim 11, wherein the program is characterized by the above.
ことを特徴とする請求項１３に記載の平面データ処理用プログラム。 The first division prediction data in which the first prediction data is composed of positive data and the first division prediction data according to the case where the first prediction data takes a positive or negative form by using the computer as the division means. The plane data processing program according to claim 13, wherein the prediction data functions to generate a second divided prediction data composed of negative data.
前記第２のデコード手段による前記第１の分割予測データのデコード結果から前記第２のデコード手段による前記第２の分割予測データのデコード結果を減算する減算手段として機能させることを特徴とする請求項１４に記載の平面データ処理用プログラム。 The computer
The claim is characterized in that it functions as a subtracting means for subtracting the decoding result of the second division prediction data by the second decoding means from the decoding result of the first division prediction data by the second decoding means. 14. The program for processing plane data according to 14.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020062484A JP7092312B2 (en) | 2020-03-31 | 2020-03-31 | Plane data processing device, plane data processing method and plane data processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020062484A JP7092312B2 (en) | 2020-03-31 | 2020-03-31 | Plane data processing device, plane data processing method and plane data processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021163039A JP2021163039A (en) | 2021-10-11 |
| JP7092312B2 true JP7092312B2 (en) | 2022-06-28 |
Family
ID=78003354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020062484A Active JP7092312B2 (en) | 2020-03-31 | 2020-03-31 | Plane data processing device, plane data processing method and plane data processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7092312B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019504659A (en) | 2015-11-29 | 2019-02-21 | アーテリーズ インコーポレイテッド | Automated cardiac volume segmentation |
| JP2019139482A (en) | 2018-02-09 | 2019-08-22 | 株式会社デンソーアイティーラボラトリ | Information estimation device and information estimation method |
-
2020
- 2020-03-31 JP JP2020062484A patent/JP7092312B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019504659A (en) | 2015-11-29 | 2019-02-21 | アーテリーズ インコーポレイテッド | Automated cardiac volume segmentation |
| JP2019139482A (en) | 2018-02-09 | 2019-08-22 | 株式会社デンソーアイティーラボラトリ | Information estimation device and information estimation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021163039A (en) | 2021-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147743B (en) | Real-time online pedestrian analysis and counting system and method under complex scene | |
| US20240112051A1 (en) | Machine learning models operating at different frequencies for autonomous vehicles | |
| JP6494331B2 (en) | Robot control apparatus and robot control method | |
| CN108171196B (en) | Face detection method and device | |
| KR20190019822A (en) | System and method for semantic segmentation of images | |
| EP3121791B1 (en) | Method and system for tracking objects | |
| CN113312973B (en) | Gesture recognition key point feature extraction method and system | |
| KR101959436B1 (en) | The object tracking system using recognition of background | |
| KR102664916B1 (en) | Method and apparatus for performing behavior prediction using Explanable Self-Focused Attention | |
| JP2021135650A (en) | Image prediction system | |
| WO2021098573A1 (en) | Hand gesture estimation method and apparatus, device, and computer storage medium | |
| JPWO2019111932A1 (en) | Model learning device, model learning method and computer program | |
| KR20210098515A (en) | Target detection, intelligent driving method, apparatus, device and storage medium | |
| JP7092312B2 (en) | Plane data processing device, plane data processing method and plane data processing program | |
| Yang et al. | Improved visual background extractor with adaptive range change | |
| Iqbal et al. | Data-driven transition matrix estimation in probabilistic learning models for autonomous driving | |
| JP2019194758A (en) | Information processing device, information processing method, and program | |
| CN111915587A (en) | Video processing method, video processing device, storage medium and electronic equipment | |
| WO2023205431A1 (en) | Distortion prediction for additive manufacturing using image analysis | |
| KR102013367B1 (en) | System for providing touch interaction of virtual space | |
| JP2021163038A (en) | Plane data processing device, plane data processing method and plane data processing program | |
| CN114140765B (en) | Obstacle sensing method and device and storage medium | |
| Verma et al. | Generation of future image frames using optical flow | |
| KR20230147498A (en) | Apparatus and method for performing learning for target lesion detection | |
| Dos Santos et al. | Pedestrian trajectory prediction with pose representation and latent space variables |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220607 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7092312 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |