JP7094702B2 - 画像処理装置及びその方法、プログラム - Google Patents
画像処理装置及びその方法、プログラム Download PDFInfo
- Publication number
- JP7094702B2 JP7094702B2 JP2018003815A JP2018003815A JP7094702B2 JP 7094702 B2 JP7094702 B2 JP 7094702B2 JP 2018003815 A JP2018003815 A JP 2018003815A JP 2018003815 A JP2018003815 A JP 2018003815A JP 7094702 B2 JP7094702 B2 JP 7094702B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- feature
- collation
- foreground region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
図2に、本実施形態の人物照合装置のハードウェア構成例を示す。図2で、撮像素子201は、CCD、CMOS、等で構成され、被写体像を光から電気信号に変換する。信号処理回路202は、撮像素子201から得られた被写体像に関する時系列信号を処理し、デジタル信号に変換する。CPU203は、ROM204に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。ROM204は、CPU203が実行する制御プログラムや各種パラメータデータを格納する。制御プログラムは、CPU203で実行されることにより、後述するフローチャートに示す各処理を実現し、当該装置を機能させる。
ここで、αは0から1の定数である。E1はステップ1205で取得した前景領域と正解データの前景領域の相違度(二乗誤差)であり、E2はステップ1206で取得した物体の特徴点と正解データの物体の特徴点の位置の相違度(二乗誤差)である。誤差関数EはE1とE2の線形和である。
本実施形態では、実施形態1との差分のみを説明し、それ以外は実施形態1と同様である。実施形態1では、ステップ1206を図5のフローチャートのようにしたが、図13のフローチャートに置き換えても構わない。
本実施形態では、実施形態1との差分のみを説明し、それ以外は実施形態1と同様である。実施形態1では、画像の幾何補正パラメータとして物体の特徴点を用いた。本実施形態のように、幾何補正パラメータとして、物体の角度を用いてもよい。本実施形態では、画像解析部101の一部の動作が異なり、他は実施形態1と同様である。実施形態3の画像解析部101の動作を図15のフローチャートを用いて説明する。図15は、ステップ1506とステップ1507を除き、図3と同様である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102 画像取得部
103 物体検出部
104 画像情報抽出部
105 画像特徴抽出部
106 画像特徴解析部
107 前景領域抽出部
108 補正パラメータ取得部
109 画像補正部
110 照合特徴抽出部
111 照合特徴解析部
112 学習部
113 学習データ取得部
114 学習パラメータ更新部
115 表示部
116 画像生成部
Claims (14)
- 第一のニューラルネットワークに基づいて、入力画像から画像特徴を抽出する画像特徴抽出手段と、
第二のニューラルネットワークと前記画像特徴に基づいて前記入力画像から前景領域を抽出する領域抽出手段と、
第三のニューラルネットワークと前記画像特徴に基づいて前記前景領域を幾何変換によって補正する補正手段と、
前記補正手段により補正された前記前景領域から照合用の特徴を抽出する照合特徴抽出手段と、
前記照合用の特徴に基づいて前記入力画像中の物体を照合する照合手段と、を備え、
前記第一のニューラルネットワークと、前記第二のニューラルネットワークと、前記第三のニューラルネットワークは、予め正解データに基づいて同時に学習されたニューラルネットワークであることを特徴とする画像処理装置。 - 前記補正手段は、前記前景領域の傾きを補正することを特徴とする請求項1に記載の画像処理装置。
- 前記補正手段は、人体の特定部位の位置に基づいて前記前景領域の傾きを補正することを特徴とする請求項2に記載の画像処理装置。
- 前記補正手段は、前記人体の特定部位の位置として頭部および足の位置に基づいて前記前景領域を補正することを特徴とする請求項3に記載の画像処理装置。
- 前記補正手段は、人体の角度に基づいて前記前景領域の傾きを補正することを特徴とする請求項2に記載の画像処理装置。
- 前記補正手段は前記入力画像及び前記前景領域を補正し、
前記照合特徴抽出手段は、補正後の前記入力画像において補正後の前記前景領域に対応する領域から前記照合用の画像特徴を抽出することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記入力画像において前記補正手段で補正された前記前景領域を表す画像を生成する生成手段と、
前記生成手段により生成された画像を表示する表示手段とをさらに備えることを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 - 前記補正手段は、アフィン変換、回転変換、射影変換の少なくとも1つを行うことを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記入力画像はある撮像装置で撮像された画像であり、前記照合手段は、当該入力画像中の人物を他の撮像装置で撮像された画像内の人物と照合することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- 前記入力画像から人体領域を検出する検出手段をさらに備え、
前記画像特徴抽出手段は、前記人体領域から画像特徴を抽出することを特徴とする請求
項1乃至9の何れか1項に記載の画像処理装置。 - 前記正解データは、画像と、該画像に含まれる物体の特徴点の位置を示すデータであって、
前記正解データに基づいて、前記第一のニューラルネットワークと、前記第二のニューラルネットワークと、前記第三のニューラルネットワークを同時に学習する学習手段をさらに備えることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記学習手段は、前記正解データに含まれる物体の特徴点と、前記第二のニューラルネットワークによって抽出された前景領域と、前記第三のニューラルネットワークによって取得された物体の特徴点と、に基づいて得られる誤差関数に基づいて、学習することを特徴とする請求項11に記載の画像処理装置。
- 第一のニューラルネットワークに基づいて、入力画像から画像特徴を抽出する画像特徴抽出工程と、
第二のニューラルネットワークと前記画像特徴に基づいて前記入力画像から前景領域を抽出する領域抽出工程と、
第三のニューラルネットワークと前記画像特徴に基づいて前記前景領域を幾何変換によって補正する補正工程と、
前記補正工程により補正された前記前景領域から照合用の特徴を抽出する照合特徴抽出工程と、
前記照合用の特徴に基づいて前記入力画像中の物体を照合する照合工程と、を備え、
前記第一のニューラルネットワークと、前記第二のニューラルネットワークと、前記第三のニューラルネットワークは、予め正解データに基づいて同時に学習されたニューラルネットワークであることを特徴とする画像処理方法。 - コンピュータを請求項1乃至12のいずれか1項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003815A JP7094702B2 (ja) | 2018-01-12 | 2018-01-12 | 画像処理装置及びその方法、プログラム |
US16/240,497 US11087169B2 (en) | 2018-01-12 | 2019-01-04 | Image processing apparatus that identifies object and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003815A JP7094702B2 (ja) | 2018-01-12 | 2018-01-12 | 画像処理装置及びその方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019125057A JP2019125057A (ja) | 2019-07-25 |
JP2019125057A5 JP2019125057A5 (ja) | 2021-02-04 |
JP7094702B2 true JP7094702B2 (ja) | 2022-07-04 |
Family
ID=67213957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018003815A Active JP7094702B2 (ja) | 2018-01-12 | 2018-01-12 | 画像処理装置及びその方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11087169B2 (ja) |
JP (1) | JP7094702B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344840B (zh) * | 2018-08-07 | 2022-04-01 | 深圳市商汤科技有限公司 | 图像处理方法和装置、电子设备、存储介质、程序产品 |
US11348263B2 (en) * | 2018-10-23 | 2022-05-31 | Samsung Electronics Co., Ltd. | Training method for detecting vanishing point and method and apparatus for detecting vanishing point |
GB2578789A (en) * | 2018-11-09 | 2020-05-27 | Sony Corp | A method, apparatus and computer program for image processing |
JP7005546B2 (ja) * | 2019-03-15 | 2022-01-21 | 株式会社東芝 | 画像認識装置、画像認識方法および画像認識プログラム |
US11544928B2 (en) * | 2019-06-17 | 2023-01-03 | The Regents Of The University Of California | Athlete style recognition system and method |
JP2021032736A (ja) * | 2019-08-26 | 2021-03-01 | 日立建機株式会社 | 摩耗量測定システム |
JP2021043486A (ja) * | 2019-09-06 | 2021-03-18 | 株式会社東芝 | 位置推定装置 |
CN110674719B (zh) * | 2019-09-18 | 2022-07-26 | 北京市商汤科技开发有限公司 | 目标对象匹配方法及装置、电子设备和存储介质 |
JP2021064320A (ja) * | 2019-10-17 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2021135677A (ja) * | 2020-02-26 | 2021-09-13 | キヤノン株式会社 | 画像識別装置、画像編集装置、画像生成装置、画像識別方法、プログラム |
CN112182272B (zh) * | 2020-09-23 | 2023-07-28 | 创新奇智(成都)科技有限公司 | 图像检索方法及装置、电子设备、存储介质 |
US11978174B1 (en) * | 2022-03-28 | 2024-05-07 | Amazon Technologies, Inc. | Virtual shoe try-on |
US11804023B1 (en) * | 2022-07-11 | 2023-10-31 | Stylitics, Inc. | Systems and methods for providing a virtual dressing room and a virtual stylist |
CN117315664B (zh) * | 2023-09-18 | 2024-04-02 | 山东博昂信息科技有限公司 | 一种基于图像序列的废钢斗号码识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209808A (ja) | 2000-01-26 | 2001-08-03 | Nec Corp | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
JP2002358525A (ja) | 2001-06-01 | 2002-12-13 | Casio Comput Co Ltd | パターン照合装置、パターン正規化装置、及びプログラム |
JP2011253376A (ja) | 2010-06-02 | 2011-12-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012238175A (ja) | 2011-05-11 | 2012-12-06 | Canon Inc | 情報処理装置、情報処理方法、及びプログラム |
JP2016509293A (ja) | 2013-01-03 | 2016-03-24 | クアルコム,インコーポレイテッド | 前景オブジェクトに基づく拡張現実のレンダリング |
US20170091951A1 (en) | 2015-09-30 | 2017-03-30 | Samsung Electronics Co., Ltd. | Apparatus and method to segment object from image |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2967086B1 (ja) * | 1998-09-25 | 1999-10-25 | 株式会社エイ・ティ・アール知能映像通信研究所 | 多眼画像処理による人物の三次元姿勢推定方法 |
US20070237387A1 (en) * | 2006-04-11 | 2007-10-11 | Shmuel Avidan | Method for detecting humans in images |
AU2008200966B2 (en) * | 2008-02-28 | 2012-03-15 | Canon Kabushiki Kaisha | Stationary object detection using multi-mode background modelling |
JP2010056720A (ja) * | 2008-08-27 | 2010-03-11 | Panasonic Corp | ネットワークカメラおよびネットワークカメラシステム |
JP2011095921A (ja) * | 2009-10-28 | 2011-05-12 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP5615088B2 (ja) * | 2010-08-18 | 2014-10-29 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、並びに撮像装置 |
JP5036084B2 (ja) * | 2010-10-14 | 2012-09-26 | シャープ株式会社 | 映像処理装置、映像処理方法、及びプログラム |
US9396538B2 (en) * | 2012-09-19 | 2016-07-19 | Nec Corporation | Image processing system, image processing method, and program |
JP6494253B2 (ja) * | 2014-11-17 | 2019-04-03 | キヤノン株式会社 | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム |
US10009517B1 (en) * | 2016-12-14 | 2018-06-26 | Xerox Corporation | Extended gamut colorant for print job based on user preferences |
JP6802923B2 (ja) * | 2017-07-19 | 2020-12-23 | 株式会社日立製作所 | 物体検出装置、及び、物体検出手法 |
US10834283B2 (en) * | 2018-01-05 | 2020-11-10 | Datamax-O'neil Corporation | Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer |
US11379999B2 (en) * | 2018-02-20 | 2022-07-05 | Nec Corporation | Feature extraction method, comparison system, and storage medium |
-
2018
- 2018-01-12 JP JP2018003815A patent/JP7094702B2/ja active Active
-
2019
- 2019-01-04 US US16/240,497 patent/US11087169B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209808A (ja) | 2000-01-26 | 2001-08-03 | Nec Corp | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
JP2002358525A (ja) | 2001-06-01 | 2002-12-13 | Casio Comput Co Ltd | パターン照合装置、パターン正規化装置、及びプログラム |
JP2011253376A (ja) | 2010-06-02 | 2011-12-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012238175A (ja) | 2011-05-11 | 2012-12-06 | Canon Inc | 情報処理装置、情報処理方法、及びプログラム |
JP2016509293A (ja) | 2013-01-03 | 2016-03-24 | クアルコム,インコーポレイテッド | 前景オブジェクトに基づく拡張現実のレンダリング |
US20170091951A1 (en) | 2015-09-30 | 2017-03-30 | Samsung Electronics Co., Ltd. | Apparatus and method to segment object from image |
Non-Patent Citations (1)
Title |
---|
川合諒, 外4名,"方向変換モデルを用いた複数カメラ間での人物照合",情報処理学会研究報告,日本,一般社団法人情報処理学会,2013年02月15日,p.1-8 |
Also Published As
Publication number | Publication date |
---|---|
US11087169B2 (en) | 2021-08-10 |
JP2019125057A (ja) | 2019-07-25 |
US20190220685A1 (en) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7094702B2 (ja) | 画像処理装置及びその方法、プログラム | |
US11644898B2 (en) | Eye tracking method and system | |
US7995805B2 (en) | Image matching apparatus, image matching method, computer program and computer-readable storage medium | |
CN108230383B (zh) | 手部三维数据确定方法、装置及电子设备 | |
US7912253B2 (en) | Object recognition method and apparatus therefor | |
JP5709410B2 (ja) | パターン処理装置及びその方法、プログラム | |
WO2012077287A1 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
JP5227629B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
JP6836561B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2012077267A1 (ja) | 人検出装置および人検出方法 | |
US20160012600A1 (en) | Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly | |
JP2021503139A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2018055199A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP2015197708A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
JP4710426B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20210042576A1 (en) | Image processing system | |
CN113362221A (zh) | 用于门禁的人脸识别***与人脸识别方法 | |
WO2022079794A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP2015187769A (ja) | 物体検出装置、物体検出方法及びプログラム | |
WO2021255846A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2022009327A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2022009279A1 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
JP7479809B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7386630B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220622 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7094702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |