JP7473186B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7473186B2 JP7473186B2 JP2020116494A JP2020116494A JP7473186B2 JP 7473186 B2 JP7473186 B2 JP 7473186B2 JP 2020116494 A JP2020116494 A JP 2020116494A JP 2020116494 A JP2020116494 A JP 2020116494A JP 7473186 B2 JP7473186 B2 JP 7473186B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- partial
- image
- target object
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 50
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 17
- 238000000926 separation method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 13
- 238000010606 normalization Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 102100035241 3-oxoacyl-[acyl-carrier-protein] reductase Human genes 0.000 description 2
- 101710138614 3-oxoacyl-[acyl-carrier-protein] reductase Proteins 0.000 description 2
- 101100516032 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CBR1 gene Proteins 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100021973 Carbonyl reductase [NADPH] 1 Human genes 0.000 description 1
- 101000896985 Homo sapiens Carbonyl reductase [NADPH] 1 Proteins 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
物体検出処理により生成された、画像の対象物体に対応する対象物体領域の候補となる候補領域から、前記対象物体領域を含んでいると見做せる部分候補領域を選択する、選択部と、
物体に対応する物体領域と前記物体領域以外の背景領域とを分離する背景分離モデルに、前記画像を入力して、前記画像を前記物体領域と前記背景領域とに分離したマスク画像を生成する、生成部と、
前記マスク画像から前記部分候補領域に対応する部分マスク領域を抽出する、抽出部と、
抽出された前記部分マスク領域の前記物体領域と前記背景領域との占有状態に応じて、前記部分候補領域を物体又は背景に分類する、分類部と、
を有することを特徴とする。
物体検出処理により生成された、画像の対象物体に対応する対象物体領域の候補となる候補領域から、前記対象物体領域を含んでいると見做せる部分候補領域を選択する、選択ステップと、
物体に対応する物体領域と前記物体領域以外の背景領域とを分離する背景分離モデルに、前記フレーム画像を入力して、前記フレーム画像を前記物体領域と前記背景領域とに分離したマスク画像を生成する、生成ステップと、
前記マスク画像から前記部分候補領域に対応する部分マスク領域を抽出する、抽出ステップと、
抽出された前記部分マスク領域の前記物体領域と前記背景領域との占有状態に応じて、前記部分候補領域を物体又は背景に分類する、分類ステップと、
を有することを特徴とする。
コンピュータに、
物体検出処理により生成された、画像の対象物体に対応する対象物体領域の候補となる候補領域から、前記対象物体領域を含んでいると見做せる部分候補領域を選択する、選択ステップと、
物体に対応する物体領域と前記物体領域以外の背景領域とを分離する背景分離モデルに、前記フレーム画像を入力して、前記フレーム画像を前記物体領域と前記背景領域とに分離したマスク画像を生成する、生成ステップと、
前記マスク画像から前記部分候補領域に対応する部分マスク領域を抽出する、抽出ステップと、
抽出された前記部分マスク領域の前記物体領域と前記背景領域との占有状態に応じて、前記部分候補領域を物体又は背景に分類する、分類ステップと、
を実行させることを特徴とする。
図1を用いて、本実施形態における画像処理装置10の構成について説明する。また、図2、図3、図4を用いて、本実施形態における画像処理装置10の動作について説明する。
図1に示す画像処理装置10は、物体を精度よく分類する装置である。また、図1に示すように、画像処理装置10は、選択部11と、生成部12と、抽出部13と、分類部14とを有する。
続いて、図5を用いて、本実施形態における画像処理装置10の構成をより具体的に説明する。図5は、画像処理装置を有するシステムの一例を説明するための図である。
取得部15は、撮像装置20が連続して撮像したフレーム画像を取得する。具体的には、取得部15は、まず、図2、図3に示すフレーム画像Fを撮像装置20から取得する。その後、取得部15は、選択部11と生成部12とに、フレーム画像を転送する。
上述したように生成モデルを用いて、製品、又は異物、又は両方を特定する場合、生成モデルを学習しなければならない。ところが、GANなどの生成モデルの学習には、高性能なコンピュータを用いても数日を要するため、学習フェーズに要する期間が長くなる。
次に、本発明の実施形態における画像処理装置の動作について図9を用いて説明する。図9は、画像処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図面を参照する。また、本実施形態では、画像処理装置を動作させることによって、画像処理方法が実施される。よって、本実施形態における画像処理方法の説明は、以下の画像処理装置の動作説明に代える。
以上のように本実施形態によれば、物体検出モデルと背景分離モデルとを用いることで、対象物体(製品:既知物体)と対象物体以外の物体(異物:未知物体)とを含む物体に対応する物体領域と、背景に対応する背景領域とを精度よく分類できる。その結果、既存の物体検出方法と比較して、未知の物体(訓練画像中にない物体など)が、精度よく検出できる。
本発明の実施形態におけるプログラムは、コンピュータに、図9に示すステップA1からA8を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、取得部15、選択部11、生成部12、抽出部13、除去部16、分類部14、特定部17、出力情報生成部18として機能し、処理を行なう。
ここで、実施形態、変形例1におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図10を用いて説明する。図10は、画像処理装置を実現するコンピュータの一例を示すブロック図である。
11 選択部
12 生成部
13 抽出部
14 分類部
15 取得部
16 除去部
17、17-2 特定部
18 出力情報生成部
20 撮像装置
30 出力装置
40、50、60 記憶装置
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (8)
- 物体検出処理により生成された、画像の対象物体に対応する対象物体領域の候補となる候補領域から、前記対象物体領域を含んでいると見做せる部分候補領域を選択する、選択手段と、
物体に対応する物体領域と前記物体領域以外の背景領域とを分離する背景分離モデルに、前記画像を入力して、前記画像を前記物体領域と前記背景領域とに分離したマスク画像を生成する、生成手段と、
前記マスク画像から前記部分候補領域に対応する部分マスク領域を抽出する、抽出手段と、
抽出された前記部分マスク領域の前記物体領域と前記背景領域との占有状態に応じて、前記部分候補領域を物体又は背景に分類する、分類手段と、
を有する画像処理装置。 - 請求項1に記載の画像処理装置であって、
物体に分類された前記部分候補領域の中から、前記対象物体又は、前記対象物体以外の物体、又は両方に対応する部分候補領域を特定する、特定手段
を有する画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記特定手段は、前記物体検出処理により生成された第一の信頼指標に基づいて、前記対象物体、又は前記対象物体以外の物体、又は両方に対応する前記部分候補領域を特定する
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記特定手段は、
前記対象物体に対応する物体領域を含む訓練用画像を用いて学習させた生成モデルに、前記物体に分類された前記部分候補領域を入力して、前記対象物体、又は前記対象物体以外の物体、又は両方の再構築画像を生成し、
前記物体に分類された前記部分候補領域と、生成された前記再構築画像との距離を表す第二の信頼指標を生成し、
前記第二の信頼指標に基づいて、前記対象物体、又は前記対象物体以外の物体、又は両方に対応する前記部分候補領域を特定する
画像処理装置。 - 物体検出処理により生成された、画像の対象物体に対応する対象物体領域の候補となる候補領域から、前記対象物体領域を含んでいると見做せる部分候補領域を選択し、
物体に対応する物体領域と前記物体領域以外の背景領域とを分離する背景分離モデルに、前記画像を入力して、前記画像を前記物体領域と前記背景領域とに分離したマスク画像を生成し、
前記マスク画像から前記部分候補領域に対応する部分マスク領域を抽出し、
抽出された前記部分マスク領域の前記物体領域と前記背景領域との占有状態に応じて、前記部分候補領域を物体又は背景に分類する
画像処理方法。 - 請求項5に記載の画像処理方法であって、
物体に分類された前記部分候補領域の中から、前記対象物体又は、前記対象物体以外の物体、又は両方に対応する部分候補領域を特定する
画像処理方法。 - コンピュータに、
物体検出処理により生成された、画像の対象物体に対応する対象物体領域の候補となる候補領域から、前記対象物体領域を含んでいると見做せる部分候補領域を選択し、
物体に対応する物体領域と前記物体領域以外の背景領域とを分離する背景分離モデルに、前記画像を入力して、前記画像を前記物体領域と前記背景領域とに分離したマスク画像を生成し、
前記マスク画像から前記部分候補領域に対応する部分マスク領域を抽出し、
抽出された前記部分マスク領域の前記物体領域と前記背景領域との占有状態に応じて、前記部分候補領域を物体又は背景に分類する
処理を実行させる命令を含むプログラム。 - 請求項7に記載のプログラムであって、
前記コンピュータに、
物体に分類された前記部分候補領域の中から、前記対象物体又は、前記対象物体以外の物体、又は両方に対応する部分候補領域を特定する
処理を実行させる命令を含むプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116494A JP7473186B2 (ja) | 2020-07-06 | 2020-07-06 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116494A JP7473186B2 (ja) | 2020-07-06 | 2020-07-06 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022014263A JP2022014263A (ja) | 2022-01-19 |
JP7473186B2 true JP7473186B2 (ja) | 2024-04-23 |
Family
ID=80185410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020116494A Active JP7473186B2 (ja) | 2020-07-06 | 2020-07-06 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7473186B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209808A (ja) | 2000-01-26 | 2001-08-03 | Nec Corp | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
-
2020
- 2020-07-06 JP JP2020116494A patent/JP7473186B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209808A (ja) | 2000-01-26 | 2001-08-03 | Nec Corp | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2022014263A (ja) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bai et al. | Finding tiny faces in the wild with generative adversarial network | |
US10936911B2 (en) | Logo detection | |
US9552536B2 (en) | Image processing device, information storage device, and image processing method | |
JP5726125B2 (ja) | 奥行き画像内の物体を検出する方法およびシステム | |
CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
US8897575B2 (en) | Multi-scale, perspective context, and cascade features for object detection | |
US9292745B2 (en) | Object detection apparatus and method therefor | |
US7016881B2 (en) | Method for boosting the performance of machine-learning classifiers | |
JP4724125B2 (ja) | 顔認識システム | |
US11527000B2 (en) | System and method for re-identifying target object based on location information of CCTV and movement information of object | |
JP5591360B2 (ja) | 分類及び対象物検出の方法及び装置、撮像装置及び画像処理装置 | |
US10204284B2 (en) | Object recognition utilizing feature alignment | |
CN109727275B (zh) | 目标检测方法、装置、***和计算机可读存储介质 | |
US11126827B2 (en) | Method and system for image identification | |
KR20190054702A (ko) | 영상에서 객체의 행동을 인식하는 방법 및 그 장치 | |
JP2000132688A (ja) | 顔パーツ検出方法及びその装置 | |
JP2006146626A (ja) | パターン認識方法および装置 | |
US20220147735A1 (en) | Face-aware person re-identification system | |
US9256792B2 (en) | Image processing apparatus, image processing method, and program | |
US20210390282A1 (en) | Training data increment method, electronic apparatus and computer-readable medium | |
JP2013206458A (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
US11113519B2 (en) | Character recognition apparatus, character recognition program, and character recognition method | |
JP2010176504A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114463858A (zh) | 一种基于深度学习的签字行为识别方法及*** | |
KR102427690B1 (ko) | 딥러닝 기반 클래스 분류 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7473186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |