JP7010780B2 - 物体領域抽出装置及び物体領域抽出方法 - Google Patents
物体領域抽出装置及び物体領域抽出方法 Download PDFInfo
- Publication number
- JP7010780B2 JP7010780B2 JP2018130555A JP2018130555A JP7010780B2 JP 7010780 B2 JP7010780 B2 JP 7010780B2 JP 2018130555 A JP2018130555 A JP 2018130555A JP 2018130555 A JP2018130555 A JP 2018130555A JP 7010780 B2 JP7010780 B2 JP 7010780B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stage
- extraction
- layer
- post
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層であってもよい。
前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行してもよい。
図1は、領域を抽出する処理の概要を説明するための図である。物体領域抽出装置1は、例えばPC(Personal Computer)である。物体領域抽出装置1は、撮像装置で生成された抽出対象画像と、抽出対象画像に所定の座標変換を施した変換画像とに基づいて、機械学習モデルMを用いて抽出対象画像に写っている物体(被写体)の領域を抽出する装置である。画像は、静止画像又は動画像である。物体領域抽出装置1は、画像が動画像である場合、動画像に含まれるフレームごとに領域を抽出する。
以下、物体領域抽出装置1の詳細について説明する。
図3は、物体領域抽出装置1の構成を示す図である。物体領域抽出装置1は、操作部11、記憶部12、及び制御部13を有する。
記憶部12は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体である。記憶部12は、制御部13が実行する各種のプログラムを記憶する。
続いて、抽出部134が行う抽出処理について説明する。上述のとおり、抽出部134は、後段抽出部135及び前段抽出部136を有する。後段抽出部135は、抽出対象画像が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段抽出対象画像出力、及び変換画像が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する。
続いて、物体領域抽出装置1が行う処理の流れを説明する。図10は、物体領域抽出装置1が行う処理の流れを示すフローチャートである。本フローチャートは、画像取得部131が、記憶部12に記憶されている抽出対象画像を取得したことを契機として開始する(S1)。
以上説明したとおり、物体領域抽出装置1は、取得した抽出対象画像と、当該抽出対象画像に所定の座標変換を施すことによって生成した変換画像とのそれぞれに、機械学習モデルMに含まれる複数の処理層を伝搬させる。物体領域抽出装置1は、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の抽出対象画像出力及び一以上の変換画像出力を、処理層ごとに抽出し、対応関係にある抽出対象画像特徴点及び変換画像特徴点をそれぞれ検出する。そして、物体領域抽出装置1は、検出した一以上の抽出対象画像特徴点と一以上の変換画像特徴点とに基づいて、抽出対象画像における物体を含む領域を抽出する。
11 操作部
12 記憶部
13 制御部
131 画像取得部
132 変換画像生成部
133 伝搬制御部
134 抽出部
135 後段抽出部
136 前段抽出部
137 指示受付部
138 特徴点検出部
139 選択部
140 領域抽出部
Claims (16)
- 撮像装置で生成された抽出対象画像を取得する画像取得部と、
前記抽出対象画像に所定の座標変換を施した変換画像を生成する変換画像生成部と、
前記抽出対象画像及び前記変換画像のそれぞれに、入力された画像に基づいて当該画像に含まれる物体の種別を出力可能な機械学習モデルに含まれる処理層であって、それぞれ当該画像に含まれる一以上の画素を示す複数のユニットをそれぞれ含む複数の処理層を伝搬させる伝搬制御部と、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している前記ユニットを示す画像出力であって前記抽出対象画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の抽出対象画像出力と前記変換画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の変換画像出力とを抽出する抽出部と、
前記一以上の抽出対象画像出力と、前記一以上の変換画像出力とに基づいて、前記抽出対象画像に含まれる特徴点である一以上の抽出対象画像特徴点と、前記変換画像に含まれる特徴点であって前記抽出対象画像特徴点と対応関係にある前記特徴点である一以上の変換画像特徴点とを検出する特徴点検出部と、
前記一以上の抽出対象画像特徴点と前記一以上の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出する領域抽出部と、
を有する物体領域抽出装置。 - 前記領域抽出部は、前記抽出対象画像における前記一以上の抽出対象画像特徴点の位置と、前記変換画像における前記一以上の変換画像特徴点の位置との関係、並びに前記抽出対象画像に含まれる各画素の位置と、前記抽出対象画像に含まれる各画素それぞれに対応する前記変換画像に含まれる各画素の位置との関係に基づいて、前記抽出対象画像における前記物体を含む領域を抽出する、
請求項1に記載の物体領域抽出装置。 - 前記領域抽出部は、前記抽出対象画像における前記一以上の抽出対象画像特徴点の位置と、前記変換画像における前記一以上の変換画像特徴点の位置との関係、並びに前記変換画像に施された前記所定の座標変換の変換式に基づいて、前記抽出対象画像における前記物体を含む領域を抽出する、
請求項1又は2に記載の物体領域抽出装置。 - 前記抽出部は、
前記抽出対象画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段抽出対象画像出力、及び前記変換画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する後段抽出部と、
前記一以上の後段抽出対象画像出力及び前記一以上の後段変換画像出力を活性化させる要因となった前記前段処理層から出力された前記画像出力である複数の前段抽出対象画像出力、及び前記前段処理層から出力された前記画像出力である複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する前段抽出部と、
を有する、
請求項1から3のいずれか一項に記載の物体領域抽出装置。 - 前記前段抽出部は、前記複数の前段抽出対象画像出力及び前記複数の前段変換画像出力のうち、活性化している大きさに基づいて、前記一以上の前段抽出対象画像出力及び前記一以上の前段変換画像出力を抽出する、
請求項4に記載の物体領域抽出装置。 - 前記機械学習モデルは、畳み込みニューラルネットワークを含み、
前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層である、
請求項4又は5に記載の物体領域抽出装置。 - 前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層である、
請求項6に記載の物体領域抽出装置。 - 前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の抽出対象画像出力及び前記一以上の変換画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出する、
請求項1から7のいずれか一項に記載の物体領域抽出装置。 - 前記特徴点検出部が検出した前記一以上の抽出対象画像特徴点及び前記一以上の変換画像特徴点から、相互の対応関係に基づいて一部の抽出対象画像特徴点及び一部の変換画像特徴点を選択する選択部をさらに有し、
前記領域抽出部は、前記一部の抽出対象画像特徴点と前記一部の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出する、
請求項1から8のいずれか一項に記載の物体領域抽出装置。 - 前記変換画像生成部は、前記選択部が選択した前記一部の抽出対象画像特徴点及び前記一部の変換画像特徴点と、前記一部の抽出対象画像特徴点以外の一部の抽出対象画像特徴点及び前記一部の変換画像特徴点以外の一部の変換画像特徴点との比率が所定の閾値以下である場合に、前記変換画像に施した前記所定の座標変換を、別の所定の座標変換に切り替える、
請求項9に記載の物体領域抽出装置。 - 前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
請求項1から10のいずれか一項に記載の物体領域抽出装置。 - 前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の抽出対象画像出力及び前記一以上の変換画像出力を抽出する、
請求項1から11のいずれか一項に記載の物体領域抽出装置。 - 撮像装置で生成された抽出対象画像を取得するステップと、
前記抽出対象画像に所定の座標変換を施した変換画像を生成するステップと、
前記抽出対象画像及び前記変換画像のそれぞれに、入力された画像に基づいて当該画像に含まれる物体の種別を出力可能な機械学習モデルに含まれる処理層であって、それぞれ当該画像に含まれる一以上の画素を示す複数のユニットをそれぞれ含む複数の処理層を伝搬させるステップと、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している前記ユニットを示す画像出力であって前記抽出対象画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の抽出対象画像出力と前記変換画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の変換画像出力とを抽出するステップと、
前記一以上の抽出対象画像出力と、前記一以上の変換画像出力とに基づいて、前記抽出対象画像に含まれる特徴点である一以上の抽出対象画像特徴点と、前記変換画像に含まれる特徴点であって前記抽出対象画像特徴点と対応関係にある前記特徴点である一以上の変換画像特徴点を検出するステップと、
前記一以上の抽出対象画像特徴点と前記一以上の変換画像特徴点とに基づいて、前記抽出対象画像における前記物体を含む領域を抽出するステップと、
を有する物体領域抽出方法。 - 前記抽出するステップは、
前記抽出対象画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段抽出対象画像出力、及び前記変換画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段変換画像出力から、共通に活性化している一以上の後段抽出対象画像出力及び一以上の後段変換画像出力を抽出する前段抽出ステップと、
前記一以上の後段抽出対象画像出力及び前記一以上の後段変換画像出力を活性化させる要因となった前記前段処理層から出力された前記画像出力である複数の前段抽出対象画像出力、及び前記前段処理層から出力された前記画像出力である複数の前段変換画像出力のうち、共通に活性化している一以上の前段抽出対象画像出力及び一以上の前段変換画像出力を抽出する後段抽出ステップと、
を有する、請求項13に記載の物体領域抽出方法。 - 前記前段抽出ステップを実行した後に、前記一以上の前段抽出対象画像出力及び前記一以上の前段変換画像出力を、前記複数の後段抽出対象画像出力及び前記複数の後段変換画像出力として、前記後段抽出ステップを実行する、
請求項14に記載の物体領域抽出方法。 - 前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
請求項14又は15に記載の物体領域抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130555A JP7010780B2 (ja) | 2018-07-10 | 2018-07-10 | 物体領域抽出装置及び物体領域抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130555A JP7010780B2 (ja) | 2018-07-10 | 2018-07-10 | 物体領域抽出装置及び物体領域抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009227A JP2020009227A (ja) | 2020-01-16 |
JP7010780B2 true JP7010780B2 (ja) | 2022-01-26 |
Family
ID=69151862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018130555A Active JP7010780B2 (ja) | 2018-07-10 | 2018-07-10 | 物体領域抽出装置及び物体領域抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7010780B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7488216B2 (ja) | 2021-03-17 | 2024-05-21 | Kddi株式会社 | 対応点検出装置、対応点検出方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250773A (ja) | 2004-03-03 | 2005-09-15 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
JP2018097766A (ja) | 2016-12-16 | 2018-06-21 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
-
2018
- 2018-07-10 JP JP2018130555A patent/JP7010780B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250773A (ja) | 2004-03-03 | 2005-09-15 | Fuji Photo Film Co Ltd | 対象物識別装置および方法並びにプログラム |
JP2018097766A (ja) | 2016-12-16 | 2018-06-21 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020009227A (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhou et al. | Learning rich features for image manipulation detection | |
Liu et al. | 3D-based deep convolutional neural network for action recognition with depth sequences | |
RU2427911C1 (ru) | Способ обнаружения лиц на изображении с применением каскада классификаторов | |
JP4372051B2 (ja) | 手形状認識装置及びその方法 | |
CN109815956B (zh) | 一种基于自适应位置分割的车牌字符识别方法 | |
Barngrover et al. | Semisynthetic versus real-world sonar training data for the classification of mine-like objects | |
CN109063626B (zh) | 动态人脸识别方法和装置 | |
Bilal et al. | A hybrid method using haar-like and skin-color algorithm for hand posture detection, recognition and tracking | |
CN111126412A (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
Choudhary et al. | Signature Recognition & Verification System Using Back Propagation Neural Network | |
CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
JP6946231B2 (ja) | 物体追跡装置及び物体追跡方法 | |
Manh et al. | Small object segmentation based on visual saliency in natural images | |
JP7010780B2 (ja) | 物体領域抽出装置及び物体領域抽出方法 | |
Khajuria et al. | Facial emotion recognition using cnn and vgg-16 | |
Liu et al. | Face liveness detection based on enhanced local binary patterns | |
JP6924128B2 (ja) | モーフィング画像生成装置及びモーフィング画像生成方法 | |
CN114743032A (zh) | 基于偏好引导过滤的深度学习图像特征匹配方法及*** | |
Qu | An approach based on object detection for image forensics | |
JP6783742B2 (ja) | パラメータ特定装置及びパラメータ特定方法 | |
Rahmon et al. | Evaluation of Different Decision Fusion Mechanisms for Robust Moving Object Detection | |
Peng et al. | The multi-modal video reasoning and analyzing competition | |
Ge et al. | Template-based object detection through partial shape matching and boundary verification | |
KR20200065907A (ko) | 소나영상에서 사전형상 판별을 통한 표적식별 고속화 방법 | |
CN111353353A (zh) | 跨姿态的人脸识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7010780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |