JP7321213B2 - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP7321213B2 JP7321213B2 JP2021091807A JP2021091807A JP7321213B2 JP 7321213 B2 JP7321213 B2 JP 7321213B2 JP 2021091807 A JP2021091807 A JP 2021091807A JP 2021091807 A JP2021091807 A JP 2021091807A JP 7321213 B2 JP7321213 B2 JP 7321213B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- storage means
- feature data
- information processing
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
特徴データを記憶する特徴記憶手段と、
前記ニューラルネットワークのフィルタ係数を記憶する係数記憶手段と、
前記特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納する格納制御手段と、
前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたフィルタ係数との畳み込み演算により新たな特徴データを算出し、前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたテンプレート特徴データとの畳み込み演算により、当該テンプレート特徴データと当該特徴記憶手段に記憶された特徴データとの相関データを算出する演算手段と
を備えることを特徴とする。
本実施形態では、階層構造を有するニューラルネットワークにおける演算処理を行う情報処理装置について説明する。本実施形態に係る情報処理装置は、保持部に保持されているニューラルネットワークのフィルタ係数を用いた畳み込み演算に基づいて得られる特徴マップの一部をテンプレート特徴として該保持部に格納する(格納制御)。そして情報処理装置は、保持部に保持されているフィルタ係数を用いた畳み込み演算、保持部に保持されているテンプレート特徴を用いた畳み込み演算、を行う。本実施形態では、ニューラルネットワークとしてCNNを用いたケースについて説明する。
output(x,y): 座標(x、y)での演算結果
weight(column,row):座標(x+column、y+row)での係数
L:前階層における特徴マップの数
columnSize: 2次元コンボリューションカーネルの水平方向サイズ
rowSize : 2次元コンボリューションカーネルの垂直方向サイズ
一般的に、CNNにおける演算処理では、式(1)に従って複数のコンボリューションカーネルを入力画像の画素単位で走査しながら積和演算を繰り返し、最終的な積和演算結果を非線形変換(活性化処理)することで特徴マップを算出する。演算処理部102は乗算器と累積加算器とを有し、これら乗算器および累積加算器により式(1)の畳み込み演算処理を実行する。
設定I/F部107の構成およびバッファ103におけるメモリ領域構成の変形例について図7(b)を用いて説明する。第1の実施形態では、バッファ103をCNN係数およびテンプレート特徴を保持する1つのメモリ装置としたが、本変形例では、バッファ103を、CNN係数を保持するメモリ装置と、テンプレート特徴を保持するメモリ装置と、で構成する。
本実施形態では、第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。本実施形態に係る処理部201の機能構成例について、図3のブロック図を用いて説明する。本実施形態では、図3に示した各機能部はハードウェアで構成されているものとして説明する。しかし、バッファ103およびバッファ104を除く他の機能部の1以上をソフトウェア(コンピュータプログラム)で実装しても良い。この場合、このコンピュータプログラムは処理部201内のメモリやROM204などに格納され、制御部106やCPU203が該コンピュータプログラムを実行することで対応する機能部の機能が実現される。図3に示した構成は、図1に示した構成から設定I/F部107を削除した構成である。
第1の実施形態や第2の実施形態では、情報処理装置が画像入力部201から供給された撮像画像を対象にして動作するケースについて説明した。しかし、情報処理装置は、予め撮像されて情報処理装置内若しくは情報処理装置外のメモリ装置に格納されている撮像画像を対象に動作しても良い。また、情報処理装置は、LANやインターネットなどのネットワークを介して情報処理装置と通信可能な外部装置に保持されている撮像画像を対象に動作しても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- ニューラルネットワークにおける演算処理を行う情報処理装置であって、
特徴データを記憶する特徴記憶手段と、
前記ニューラルネットワークのフィルタ係数を記憶する係数記憶手段と、
前記特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納する格納制御手段と、
前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたフィルタ係数との畳み込み演算により新たな特徴データを算出し、前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたテンプレート特徴データとの畳み込み演算により、当該テンプレート特徴データと当該特徴記憶手段に記憶された特徴データとの相関データを算出する演算手段と
を備えることを特徴とする情報処理装置。 - 前記格納制御手段は、前記畳み込み演算により算出された特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納することを特徴とする請求項1に記載の情報処理装置。
- 前記演算手段により算出された特徴データを非線形変換する変換手段を更に有し、
前記格納制御手段は、前記変換手段により非線形変換された特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納することを特徴とする請求項1に記載の情報処理装置。 - 前記格納制御手段は、前記テンプレート特徴データを前記フィルタ係数と同じフォーマットに変換して前記係数記憶手段に格納することを特徴とする請求項1ないし3のいずれか1項に記載の情報処理装置。
- 前記係数記憶手段は、前記フィルタ係数を記憶するメモリ領域と、前記テンプレート特徴データを記憶するためのメモリ領域と、を有する単一のメモリ装置であることを特徴とする請求項1ないし4のいずれか1項に記載の情報処理装置。
- 前記係数記憶手段は、前記フィルタ係数を記憶するメモリ装置と、前記テンプレート特徴データを記憶するメモリ装置と、を有することを特徴とする請求項1ないし4のいずれか1項に記載の情報処理装置。
- 前記特徴データは特徴マップであり、
前記格納制御手段は、前記特徴マップにおいて追尾の対象となる対象物の領域における特徴量をテンプレート特徴データとして前記係数記憶手段に格納することを特徴とする請求項1ないし6のいずれか1項に記載の情報処理装置。 - 前記演算手段は、
前記特徴記憶手段に記憶された特徴データと、前記係数記憶手段に記憶されたフィルタ係数と、の畳み込み演算を行う第1畳み込み演算手段と、
前記第1畳み込み演算手段による畳み込み演算の結果に対する非線形変換の結果と、前記係数記憶手段に記憶されているテンプレート特徴データと、の畳み込み演算を行う第2畳み込み演算手段と、
前記第2畳み込み演算手段による畳み込み演算の結果と、前記係数記憶手段に記憶されているフィルタ係数と、の畳み込み演算を行う第3畳み込み演算手段と
を備えることを特徴とする請求項1ないし7のいずれか1項に記載の情報処理装置。 - 更に、
前記第3畳み込み演算手段による畳み込み演算の結果に対する非線形変換の結果に基づいて物体の検出を行う検出手段を備えることを特徴とする請求項8に記載の情報処理装置。 - 前記係数記憶手段は、前記第1畳み込み演算手段が用いるフィルタ係数と、前記第3畳み込み演算手段が用いるフィルタ係数と、を記憶していることを特徴とする請求項8または9に記載の情報処理装置。
- さらに、
前記係数記憶手段において前記テンプレート特徴データを格納するためのメモリ領域を指定する手段を備えることを特徴とする請求項1ないし10のいずれか1項に記載の情報処理装置。 - さらに、
前記格納制御手段は、テンプレート特徴データを更新するか否かを判断し、更新すると判断した場合には、新たなテンプレート特徴データを前記係数記憶手段に転送することを特徴とする請求項1ないし11のいずれか1項に記載の情報処理装置。 - ニューラルネットワークにおける演算処理を行う情報処理装置が行う情報処理方法であって、
前記情報処理装置の演算手段が、特徴記憶手段に記憶された特徴データと係数記憶手段に記憶された前記ニューラルネットワークのフィルタ係数との畳み込み演算により新たな特徴データを算出する第1演算工程と、
前記情報処理装置の格納制御手段が、前記第1演算工程で算出された特徴データの一部をテンプレート特徴データとして前記係数記憶手段に格納する格納制御工程と、
前記演算手段が、前記特徴記憶手段に記憶された特徴データと前記係数記憶手段に記憶されたテンプレート特徴データとの畳み込み演算により、当該テンプレート特徴データと当該特徴記憶手段に記憶された特徴データとの相関データを算出する第2演算工程と
を備えることを特徴とする情報処理方法。 - コンピュータを、請求項1ないし12のいずれか1項に記載の情報処理装置の、前記特徴記憶手段および前記係数記憶手段を除く各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021091807A JP7321213B2 (ja) | 2021-05-31 | 2021-05-31 | 情報処理装置、情報処理方法 |
US17/825,962 US20220392207A1 (en) | 2021-05-31 | 2022-05-26 | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021091807A JP7321213B2 (ja) | 2021-05-31 | 2021-05-31 | 情報処理装置、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022184136A JP2022184136A (ja) | 2022-12-13 |
JP7321213B2 true JP7321213B2 (ja) | 2023-08-04 |
Family
ID=84285351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021091807A Active JP7321213B2 (ja) | 2021-05-31 | 2021-05-31 | 情報処理装置、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220392207A1 (ja) |
JP (1) | JP7321213B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018147182A (ja) | 2017-03-03 | 2018-09-20 | キヤノン株式会社 | 演算処理装置およびその制御方法 |
CN110956131A (zh) | 2019-11-27 | 2020-04-03 | 北京迈格威科技有限公司 | 单目标追踪方法、装置及*** |
-
2021
- 2021-05-31 JP JP2021091807A patent/JP7321213B2/ja active Active
-
2022
- 2022-05-26 US US17/825,962 patent/US20220392207A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018147182A (ja) | 2017-03-03 | 2018-09-20 | キヤノン株式会社 | 演算処理装置およびその制御方法 |
CN110956131A (zh) | 2019-11-27 | 2020-04-03 | 北京迈格威科技有限公司 | 单目标追踪方法、装置及*** |
Also Published As
Publication number | Publication date |
---|---|
US20220392207A1 (en) | 2022-12-08 |
JP2022184136A (ja) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6941499B2 (ja) | ゼロ係数スキップ畳み込みニューラルネットワークエンジン | |
JP6936592B2 (ja) | 演算処理装置およびその制御方法 | |
JP6700712B2 (ja) | 畳み込み演算装置 | |
JP5376920B2 (ja) | コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置 | |
JP6843212B2 (ja) | ホモグラフィの修正 | |
TWI834729B (zh) | 神經網路處理器及其卷積操作方法 | |
JP7402623B2 (ja) | フィルタ処理装置及びその制御方法 | |
JP2873112B2 (ja) | 画像回転処理方法及びその装置 | |
JP7165018B2 (ja) | 情報処理装置、情報処理方法 | |
JP6567381B2 (ja) | 演算装置、方法及びプログラム | |
JP2018032190A (ja) | 演算回路、その制御方法及びプログラム | |
JP6532334B2 (ja) | 並列演算装置、画像処理装置及び並列演算方法 | |
JP7321213B2 (ja) | 情報処理装置、情報処理方法 | |
JP7398938B2 (ja) | 情報処理装置およびその学習方法 | |
JP2021144428A (ja) | データ処理装置、データ処理方法 | |
CN107256534B (zh) | 基于双线性插值的gqir量子图像的缩小与放大方法 | |
JP2021012596A (ja) | 演算処理装置及び演算処理方法 | |
JP7299770B2 (ja) | 演算処理装置及び演算処理方法 | |
JP7444585B2 (ja) | 認識装置、認識方法 | |
JP2019197324A (ja) | 画像処理装置、画像処理方法 | |
JP6929734B2 (ja) | 判別演算装置、判別演算方法及びプログラム | |
US20230334820A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN104301740B (zh) | 一种红外图像9/7小波变换硬件加速电路 | |
JP5349931B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101344858B1 (ko) | 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230725 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7321213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |