JP6808783B2 - 人工ニューラルネットワークを用いた画像処理 - Google Patents
人工ニューラルネットワークを用いた画像処理 Download PDFInfo
- Publication number
- JP6808783B2 JP6808783B2 JP2019108996A JP2019108996A JP6808783B2 JP 6808783 B2 JP6808783 B2 JP 6808783B2 JP 2019108996 A JP2019108996 A JP 2019108996A JP 2019108996 A JP2019108996 A JP 2019108996A JP 6808783 B2 JP6808783 B2 JP 6808783B2
- Authority
- JP
- Japan
- Prior art keywords
- tensor
- image
- context
- information
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
大プーリング演算は、その二次元層を隣接する2×2の重なり合わない多くの領域に分割する。各領域の最大要素は、結果として得られる二次元層に対する要素を形成する。その結果として得られる層は、入力層の半分の寸法を有する。
図8A及び図8Bは、説明された様々な構成が実施されることができる汎用コンピュータシステム800を表す。
どの命令が取り出されたのか制御ユニット839が判断するデコード演算と、及び
制御ユニット839及び/又はALU840が命令を実行する実行演算。
図3は、CNNを使用してオブジェクト属性推定を決定する方法300を示す。方法300は、画像を入力として受け取り、受け取った画像の推定オブジェクト属性(例えば、前景マスク、特性)を出力する。方法300は、コンピュータシステム800によって実行可能なソフトウェアアプリケーションプログラム833として実装される。
CNNにおける重みは、サブプロセス330によって推定された属性の精度を決定する。重みを得るプロセスは、学習と呼ばれる。図1及び2で使用されるCNNは、二つの学習方法で学習されることができる。方法1は、「コンテキストなしのネットワーク」(すなわち、点線ボックス260にグループ化されたサブネットワーク)を最初に学習を行い、次いで、初期重みとして「コンテキストなしのネットワーク」から得られた重みを使用して、「コンテキスト付きのネットワーク」(すなわち、点線ボックス250及び260にグループ化されたサブネットワーク)を学習する。方法2は、両方のネットワーク(すなわち、点線ボックス250及び260にグループ化されたサブネットワーク)を一緒に学習する。
図7は、第一の学習方法700のフローチャートを表す。方法700は、ステップ705で開始し、コンテキストなしのネットワーク(すなわち、点線ボックス260内のサブネットワーク)並びにコンテキスト付きのネットワーク(すなわち、点線ボックス250及び260にグループ化されたサブネットワーク)の両方において、0及び1の間の乱数を使用して重みが初期化される。次いで、方法700は、ステップ705から事前学習ステップ715に進む。
図9は、第二の学習方法のフローチャートを表す。第二の学習方法は、ネットワーク、すなわち「コンテキストなしのネットワーク」及び「コンテキスト付きのネットワーク」の両方を学習する。
学習方法2を使用して学習された「コンテキスト付きのネットワーク」は、コンテキスト情報102が利用可能でない場合であっても、出力(この例では、前景マスク150)を計算する能力を有する。これは、「コンテキスト付きのネットワーク」の130及び230のサブネットワークへの入力であるコンテキストテンソルが、既に格納されている利用不可値を有しうる可能性があるからである。したがって、利用不可値を使用することは、「コンテキスト付きのネットワーク」を「コンテキストなしのネットワーク」と同等にするだろう。
方法300は、身体部分を分離するために使用されることができる。身体部分分離は、人物画像101が与えられると、各画素に対するベクトルを出力するアプリケーションを指す。ベクトルは値を含み、各値は、ある身体部分に属するものとしてその画素によって示されている身体部分の尤度を示す。例えば、ベクトルは、ベクトルに対応する画素が、背景、髪、顔、胴、左腕、右腕、左脚、及び右脚の8つの身体部分のうちの1つに属する尤度を識別する<0,1,0,0,0,0,0,0>の値を有する。8個の要素で構成されるベクトルの第一の値は本質的に背景マスクであるので、身体部分分離は、前景マスクアプリケーションの目標を実現する。
オブジェクト属性推定方法300の使用は、人物に関連するステートメントのセットなどのようなオブジェクト特性にも適用されることができる。例えば、そのステートメントは、「その人が帽子を着ているかどうか」及び「その人が傘を持っているかどうか」であり得る。特性推定は、各ステートメントが真である尤度の推定を指す。例えば、この人物の特性に対する<0.8,0.1>の推定は、その人物が帽子を着ている可能性が高く、及び傘を有する可能性が低いことを意味する。
オブジェクト属性推定方法300の使用は、キーポイントなどのようなオブジェクト特性の検出にも適用されることができる。オブジェクトキーポイントは、オブジェクトに関連する特定のポイントを指す。例えば、頭部及び足の位置は、人物のキーポイントとすることができる。
Claims (19)
- 畳み込みネットワークを用いて画像内のオブジェクトを分析する方法であって、
画像の視覚要素から画像テンソルを決定する工程と、
前記画像の視覚要素とは異なる情報である、前記画像のコンテキスト情報を決定する工程と、
前記決定されたコンテキスト情報のコンテキストテンソルを前記画像テンソルと同じサイズで生成する工程と、
結合テンソルを形成するために、前記画像テンソル及び前記コンテキストテンソルを結合する工程と、
前記結合テンソルに基づいて前記オブジェクトの属性を推定する工程と、
を備える方法。 - フィルタリングされたテンソルを形成するために前記結合テンソルをフィルタリングするフィルタサブネットワークを適用する工程をさらに備える、請求項1に記載の方法。
- 前記属性が、前景マスク及び特徴のうちのいずれか1つである、請求項2に記載の方法。
- 前記オブジェクトの前記属性を推定する前記工程が、二次元行列、又はベクトルを出力する、請求項3に記載の方法。
- 前記コンテキスト情報が、前記オブジェクトの逸脱角度、気象情報、カメラ設定、時刻、及び環境情報のうちのいずれか1つである、請求項4に記載の方法。
- 前記畳み込みニューラルネットワークが、連続学習方法又は並列学習方法によって学習される、請求項1に記載の方法。
- 前記コンテキストテンソルを前記生成する前記工程が、一次元ベクトルをテンソルに再形成することを含む、請求項1に記載の方法。
- 前記結合テンソルが、前記画像テンソル及び前記コンテキストテンソルの合計、又は前記画像テンソル及び前記コンテキストテンソルの連結に基づいて形成される、請求項1に記載の方法。
- 前記コンテキスト情報が、前記コンテキストテンソルを置き換えるための利用不可値を含む、請求項1に記載の方法。
- 畳み込みニューラルネットワークを用いて画像内のオブジェクトを分析するシステムであって、
プロセッサと、
プロセッサと通信するメモリと、を備え、
前記メモリは、前記プロセッサによって実行可能なアプリケーションプログラムを有し、前記プロセッサは、前記画像内の前記オブジェクトを分析する方法を実行するために、前記アプリケーションプログラムを実行し、
前記方法は、
前記画像の視覚要素から画像テンソルを決定する工程と、
前記画像の視覚要素とは異なる情報である、前記画像のコンテキスト情報を決定する工程と、
前記決定されたコンテキスト情報のコンテキストテンソルを前記画像テンソルと同じサイズで生成する工程と
結合テンソルを形成するために、前記画像テンソル及び前記コンテキストテンソルを結合する工程と、
前記結合テンソルに基づいて前記オブジェクトの属性を推定する工程と、
を含む、システム。 - 前記方法が、フィルタリングされたテンソルを形成するために前記結合テンソルをフィルタリングするフィルタサブネットワークを適用する工程をさらに備える、請求項10に記載のシステム。
- 前記畳み込みニューラルネットワークは、前記メモリに格納された前記アプリケーションプログラムのうちの1つである、請求項10に記載のシステム。
- 前記属性が、前景マスク及び特徴のうちのいずれか1つである、請求項12に記載のシステム。
- 前記オブジェクトの属性を推定する前記工程が、二次元行列、又はベクトルを出力する、請求項13に記載のシステム。
- 前記コンテキスト情報が、前記オブジェクトの逸脱角度、気象情報、カメラ設定、時刻、及び環境情報のうちのいずれか1つである、請求項10に記載のシステム。
- 前記畳み込みニューラルネットワークが、連続学習方法又は並列学習方法によって学習される、請求項10に記載のシステム。
- 前記コンテキストテンソルを前記生成する前記工程が、一次元ベクトルをテンソルに再形成することを含む、請求項10に記載のシステム。
- 前記結合テンソルが、前記画像テンソルと前記コンテキストテンソルとの合計、又は前記画像テンソルと前記コンテキストテンソルとの連結に基づいて形成される、請求項10に記載のシステム。
- 前記コンテキスト情報は、前記コンテキストテンソルを置き換えるための利用不可値を含む、請求項10に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/014,874 | 2018-06-21 | ||
US16/014,874 US10706499B2 (en) | 2018-06-21 | 2018-06-21 | Image processing using an artificial neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019220174A JP2019220174A (ja) | 2019-12-26 |
JP6808783B2 true JP6808783B2 (ja) | 2021-01-06 |
Family
ID=68982017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019108996A Active JP6808783B2 (ja) | 2018-06-21 | 2019-06-11 | 人工ニューラルネットワークを用いた画像処理 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10706499B2 (ja) |
JP (1) | JP6808783B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839517B2 (en) * | 2019-02-21 | 2020-11-17 | Sony Corporation | Multiple neural networks-based object segmentation in a sequence of color image frames |
DE102021202681A1 (de) * | 2021-03-19 | 2022-09-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Detektionseinrichtung zur Erkennung eines Objekts und/oder einer Person, Verfahren, Computerprogramm und Speichermedium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6320112B2 (ja) * | 2014-03-27 | 2018-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
CA3016418C (en) * | 2016-03-03 | 2020-04-14 | Google Llc | Deep machine learning methods and apparatus for robotic grasping |
JP2017191501A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10332001B2 (en) * | 2016-12-15 | 2019-06-25 | WaveOne Inc. | Enhanced coding efficiency with progressive representation |
US10929987B2 (en) * | 2017-08-16 | 2021-02-23 | Nvidia Corporation | Learning rigidity of dynamic scenes for three-dimensional scene flow estimation |
US11475351B2 (en) * | 2017-11-15 | 2022-10-18 | Uatc, Llc | Systems and methods for object detection, tracking, and motion prediction |
US10628686B2 (en) * | 2018-03-12 | 2020-04-21 | Waymo Llc | Neural networks for object detection and characterization |
US10825071B2 (en) * | 2018-04-09 | 2020-11-03 | International Business Machines Corporation | Adaptive multi-perceptual similarity detection and resolution |
-
2018
- 2018-06-21 US US16/014,874 patent/US10706499B2/en active Active
-
2019
- 2019-06-11 JP JP2019108996A patent/JP6808783B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019220174A (ja) | 2019-12-26 |
US20190392550A1 (en) | 2019-12-26 |
US10706499B2 (en) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898686B2 (en) | Object re-identification using self-dissimilarity | |
Khan et al. | Automatic shadow detection and removal from a single image | |
US10503981B2 (en) | Method and apparatus for determining similarity of objects in images | |
CN111931764B (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
JP2020520512A (ja) | 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス | |
WO2023005161A1 (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
US7352881B2 (en) | Method for tracking facial features in a video sequence | |
US9367762B2 (en) | Image processing device and method, and computer readable medium | |
Cho et al. | Deep convolutional neural network for natural image matting using initial alpha mattes | |
CN110222686B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
CN103430218A (zh) | 用3d脸部建模和地标对齐扩增造型的方法 | |
JP6967056B2 (ja) | ディープブラインド画像領域予測を用いたアライメントフリービデオ変化検出 | |
US11055572B2 (en) | System and method of training an appearance signature extractor | |
Arcila et al. | Segmentation of temporal mesh sequences into rigidly moving components | |
JP6808783B2 (ja) | 人工ニューラルネットワークを用いた画像処理 | |
Rowghanian et al. | Object tracking by mean shift and radial basis function neural networks | |
Riche et al. | Bottom-up saliency models for still images: A practical review | |
CN116309050A (zh) | 图像超分辨率方法、程序产品、存储介质及电子设备 | |
CN115346275A (zh) | 基于光流及图的双分支人体行为预测方法、装置及设备 | |
Ahmad et al. | Resource efficient mountainous skyline extraction using shallow learning | |
KR102224218B1 (ko) | 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치 | |
KR20210091033A (ko) | 객체 정보 추정과 가상 객체 생성을 위한 전자 장치 및 전자 장치의 동작 방법 | |
Ewerth et al. | Estimating relative depth in single images via rankboost | |
Bodavarapu et al. | An optimized convolutional neural network model for wild animals detection using filtering techniques and different opacity levels | |
Laptev et al. | Integrating Traditional Machine Learning and Neural Networks for Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6808783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |