JP7405198B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP7405198B2 JP7405198B2 JP2022126701A JP2022126701A JP7405198B2 JP 7405198 B2 JP7405198 B2 JP 7405198B2 JP 2022126701 A JP2022126701 A JP 2022126701A JP 2022126701 A JP2022126701 A JP 2022126701A JP 7405198 B2 JP7405198 B2 JP 7405198B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- difference
- background
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 105
- 238000000034 method Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
・SIFT(Scale-Invariant Feature Transform): David G.Lowe, “Distinctive image features from scale-invariant keypoints”, Int.Journal of Computer Vision,Vol.60, No.2, pp.91-110, 2004.
・SURF (Speeded-Up Robust Features): H. Bay, T. Tuytelaars, and L. Van Gool, “SURF: Speeded Up Robust. Features”, In ECCV , pp.404-417, 2006.
・BRIEF (Features from Accelerated Segment Test): M.Calonder, V.Lepetit and C.Strecha and P.Fua, “BRIEF: Binary Robust Independent Elementary Features”, In Proc. European Conference on Computer Vision, pp.778-792, 2010.
・ORB (Oriented FAST and Rotated BRIEF): E.Rublee, V.Rabaud, K.Konolige and G.Bradski “ORB: an efficient alternative to SIFT or SURF”, In Proc. International Conference on Computer Vision, 2011.
・AlexNet: Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.
・GoogLeNet: Szegedy, Christian, et al. "Going deeper with convolutions." Cvpr, 2015.
・VGG: Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).
・ResNet: He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
・FCN(Fully Convolutional Networks):Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
・U-Net:Ronneberger, Olaf, et al. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
・Momentum付きのSGD(stocastic gradient descent): Goodfellow, Ian, et al. Deep learning. Vol. 1. Cambridge: MIT press, 2016.
・RMSProp: Geoffrey Hinton, Nitish Srivastava, Kevin Swersky. 2014. Lecture 6e: Rmsprop: Divide the gradient by a running average of its recent magnitude (CSC321 Winter 2014).
・Adam: Diederik Kingma, Jimmy Ba. 2015. Adam: a method for stochastic optimization. the 3rd International Conference for Learning Representations (ICLR 2015).
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定する推定部と、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する出力部と、
を有することを特徴とする画像処理装置。
ことを特徴とする付記1に記載の画像処理装置。
ことを特徴とする付記2に記載の画像処理装置。
ことを特徴とする付記1乃至3のいずれか一に記載の画像処理装置。
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する更新部と、
を有することを特徴とする学習装置。
ことを特徴とする付記5に記載の学習装置。
ことを特徴とする付記6に記載の学習装置。
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
ことを特徴とする付記8に記載の画像処理方法。
ことを特徴とする付記9に記載の画像処理方法。
ことを特徴とする付記8乃至10のいずれか一に記載の画像処理方法。
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータが実行することを特徴とする学習方法。
ことを特徴とする付記12に記載の学習方法。
ことを特徴とする付記13に記載の学習方法。
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
ことを特徴とする付記15に記載の画像処理プログラム。
ことを特徴とする付記16に記載の画像処理プログラム。
ことを特徴とする付記15乃至17のいずれか一に記載の画像処理プログラム。
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
ことを特徴とする付記19に記載の学習プログラム。
ことを特徴とする付記20に記載の学習プログラム。
2…学習装置
3…コンピュータ
10…差分生成部
11…残差推定部
11a、200、200a、200b…ニューラル・ネットワーク
12…出力部
20…誤差算出部
21…勾配算出部
22…更新部
101…CPU
102…入力装置
103…モニタ
104…スピーカ
105…媒体読取装置
106…インタフェース装置
107…通信装置
108…RAM
109…ハードディスク装置
110…バス
111…プログラム
112…各種データ
201…入力層
202…中間層
203…出力層
C1、C2…ケース
G1…対象画像
G2…背景画像
G3…差分画像
G4…残差
G4a…判別結果
G5…前景マップ
G6…教師画像
G10…入力画像
G11…判別結果
H…人物
R1…前景領域
Claims (3)
- 予め撮影された背景の背景画像と、判別対象となる対象画像とを取得する取得部と、
前記背景画像と前記対象画像との第一の差分を示す差分画像を生成する差分生成部と、
前記背景画像と前記対象画像とのそれぞれをニューラル・ネットワークに入力することで、前記対象画像から背景および前景を区別した出力対象となるマップ画像と、前記差分画像との第二の差分を示す残差を推定する前記ニューラル・ネットワークと、
前記差分生成部が生成した前記差分画像と、前記ニューラル・ネットワークが推定した前記残差とを足し合わせて、前記対象画像から背景および前景を区別したマップ画像を出力する出力部と、を有し、
前記ニューラル・ネットワークは、前記背景画像と前記対象画像を前記ニューラル・ネットワークに入力したときの前記ニューラル・ネットワークから出力された出力結果によるマップ画像と、当該マップ画像の正解データを示す教師データとの比較により、前記ニューラル・ネットワークのパラメータが変更される、
ことを特徴とする画像処理装置。 - 予め撮影された背景の背景画像と、判別対象となる対象画像とを取得し、
前記背景画像と前記対象画像との第一の差分を示す差分画像を生成し、
前記背景画像と前記対象画像とのそれぞれをニューラル・ネットワークに入力することで、前記対象画像から背景および前景を区別した出力対象となるマップ画像と、前記差分画像との第二の差分を示す残差を推定する前記ニューラル・ネットワークを特定し、
生成した前記差分画像と、前記ニューラル・ネットワークが推定した前記残差とを足し合わせて、前記対象画像から背景および前景を区別したマップ画像を出力する、処理をコンピュータが実行し、
前記ニューラル・ネットワークは、前記背景画像と前記対象画像を前記ニューラル・ネットワークに入力したときの前記ニューラル・ネットワークから出力された出力結果によるマップ画像と、当該マップ画像の正解データを示す教師データとの比較により、前記ニューラル・ネットワークのパラメータが変更される、
ことを特徴とする画像処理方法。 - 予め撮影された背景の背景画像と、判別対象となる対象画像とを取得し、
前記背景画像と前記対象画像との第一の差分を示す差分画像を生成し、
前記背景画像と前記対象画像とのそれぞれをニューラル・ネットワークに入力することで、前記対象画像から背景および前景を区別した出力対象となるマップ画像と、前記差分画像との第二の差分を示す残差を推定する前記ニューラル・ネットワークを特定し、
生成した前記差分画像と、前記ニューラル・ネットワークが推定した前記残差とを足し合わせて、前記対象画像から背景および前景を区別したマップ画像を出力する、処理をコンピュータに実行させ、
前記ニューラル・ネットワークは、前記背景画像と前記対象画像を前記ニューラル・ネットワークに入力したときの前記ニューラル・ネットワークから出力された出力結果によるマップ画像と、当該マップ画像の正解データを示す教師データとの比較により、前記ニューラル・ネットワークのパラメータが変更される、
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022126701A JP7405198B2 (ja) | 2018-03-02 | 2022-08-08 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018037567A JP2019153057A (ja) | 2018-03-02 | 2018-03-02 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
JP2022126701A JP7405198B2 (ja) | 2018-03-02 | 2022-08-08 | 画像処理装置、画像処理方法および画像処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018037567A Division JP2019153057A (ja) | 2018-03-02 | 2018-03-02 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022145825A JP2022145825A (ja) | 2022-10-04 |
JP7405198B2 true JP7405198B2 (ja) | 2023-12-26 |
Family
ID=67946521
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018037567A Pending JP2019153057A (ja) | 2018-03-02 | 2018-03-02 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
JP2022126701A Active JP7405198B2 (ja) | 2018-03-02 | 2022-08-08 | 画像処理装置、画像処理方法および画像処理プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018037567A Pending JP2019153057A (ja) | 2018-03-02 | 2018-03-02 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2019153057A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7434829B2 (ja) * | 2019-11-21 | 2024-02-21 | オムロン株式会社 | モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム |
CN111508038A (zh) * | 2020-04-17 | 2020-08-07 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
JP7475959B2 (ja) | 2020-05-20 | 2024-04-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2023064439A (ja) | 2021-10-26 | 2023-05-11 | 富士通株式会社 | 学習プログラム、学習方法および情報処理装置 |
JP2023064427A (ja) | 2021-10-26 | 2023-05-11 | 富士通株式会社 | 推論プログラム、学習プログラム、推論方法および学習方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165792A (ja) | 2006-12-22 | 2008-07-17 | Canon Inc | 画像処理方法及び装置 |
JP6276901B1 (ja) | 2017-05-26 | 2018-02-07 | 楽天株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2018
- 2018-03-02 JP JP2018037567A patent/JP2019153057A/ja active Pending
-
2022
- 2022-08-08 JP JP2022126701A patent/JP7405198B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165792A (ja) | 2006-12-22 | 2008-07-17 | Canon Inc | 画像処理方法及び装置 |
JP6276901B1 (ja) | 2017-05-26 | 2018-02-07 | 楽天株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019153057A (ja) | 2019-09-12 |
JP2022145825A (ja) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7405198B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
US11232286B2 (en) | Method and apparatus for generating face rotation image | |
CN113196289B (zh) | 人体动作识别方法、人体动作识别***及设备 | |
US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
US20200012923A1 (en) | Computer device for training a deep neural network | |
KR102338372B1 (ko) | 영상으로부터 객체를 분할하는 방법 및 장치 | |
US20180157892A1 (en) | Eye detection method and apparatus | |
CN111563601A (zh) | 使用联合语义向量进行表示学习 | |
Kolesnikov et al. | PixelCNN models with auxiliary variables for natural image modeling | |
US20110221769A1 (en) | Robust object recognition by dynamic modeling in augmented reality | |
JP7228961B2 (ja) | ニューラルネットワークの学習装置およびその制御方法 | |
KR20160096460A (ko) | 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 | |
CN111860414A (zh) | 一种基于多特征融合检测Deepfake视频方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
Lee et al. | Background subtraction using the factored 3-way restricted Boltzmann machines | |
CN113743576B (zh) | 数据获取方法和装置、相似度计算方法和装置及存储介质 | |
CN115376213A (zh) | 活体检测网络的训练及活体检测方法、装置、设备及介质 | |
CN114612979A (zh) | 一种活体检测方法及装置、电子设备、存储介质 | |
WO2022076802A1 (en) | Distortion-based filtering for image classification | |
Hajare et al. | Edge detection techniques for image segmentation | |
CN111275183A (zh) | 视觉任务的处理方法、装置和电子*** | |
EP3401843A1 (en) | A method, an apparatus and a computer program product for modifying media content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7405198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |