JP7409134B2 - 画像処理方法、画像処理プログラム、および画像処理装置 - Google Patents
画像処理方法、画像処理プログラム、および画像処理装置 Download PDFInfo
- Publication number
- JP7409134B2 JP7409134B2 JP2020021932A JP2020021932A JP7409134B2 JP 7409134 B2 JP7409134 B2 JP 7409134B2 JP 2020021932 A JP2020021932 A JP 2020021932A JP 2020021932 A JP2020021932 A JP 2020021932A JP 7409134 B2 JP7409134 B2 JP 7409134B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- importance
- correction
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 68
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims description 151
- 230000001815 facial effect Effects 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 38
- 230000009471 action Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 34
- 230000008921 facial expression Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 210000004709 eyebrow Anatomy 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000228740 Procrustes Species 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Description
本発明者らは、検出対象とする顔の動きがあった場合に、その動きのある領域の周囲に、動きは小さいが検出対象とする顔の動きの検出に寄与する領域があることに着目した。
続いて、AUの動きの発生による動きの大きさが小さい特徴点を、AUごとに補正点として特定する処理について述べる。例えば、検出対象のAUに動きが発生したときに動きの小さい特徴点は、検出対象のAUの動きへの影響を抑えて補正ができると考えられるため、そのAUの検出の際に補正点として用いることが好ましい。そこで、実施形態ではAUごとに、そのAUの動きが発生しても動きが小さい特徴点を、補正に用いる補正点として特定する。
(1)記憶装置1803に予めインストールされている。
(2)着脱可能記憶媒体1805により提供される。
(3)プログラムサーバなどのサーバから提供される。
200 心理状態情報
500 画像処理装置
501 制御部
502 記憶部
503 通信部
511 検出部
512 選択部
513 補正部
514 判定部
515 出力部
900 補正点情報
1700 表示画面
1800 コンピュータ
1801 プロセッサ
1802 メモリ
1803 記憶装置
1804 読取装置
1805 着脱可能記憶媒体
1806 通信インタフェース
1807 入出力インタフェース
1808 バス
Claims (7)
- 入力画像から顔の複数の特徴点を検出し、
画像から所定の顔の動きを検出する処理における前記画像内の領域の重要度であって前記画像内の前記領域を遮蔽したときに前記処理による検出結果に生じる変化の大きさから得られる前記重要度を示す重要度情報を参照し、前記重要度情報が示す第1の閾値以下の重要度を有する画像領域に対応する1又は複数の点を、前記入力画像から検出された前記複数の特徴点のうちから選択し、
選択された前記1又は複数の点を用いて前記入力画像を補正して補正画像を生成し、
認識モデルに前記補正画像を入力して得られた出力に基づいて、前記入力画像に前記所定の顔の動きが発生しているかを判定する、
処理を含むことを特徴とするコンピュータが実行する画像処理方法。 - 前記画像領域は、前記第1の閾値以下で第2の閾値以上の重要度を有する前記画像領域である、
ことを特徴とする請求項1に記載の画像処理方法。 - 前記選択する処理は、前記所定の顔の動きの発生している第1の画像に含まれる複数の特徴点のそれぞれと、前記第1の画像と対応する前記所定の顔の動きの発生していない第2の画像に含まれる複数の特徴点のそれぞれとの間の差分が第3の閾値以下である特徴点に対応する前記1又は複数の特徴点を選択する処理を含む、
ことを特徴とする請求項1または2に記載の画像処理方法。 - 前記認識モデルは、前記所定の顔の動きが発生していることがラベルされている複数の画像と、前記所定の顔の動きが発生していないことがラベルされている複数の画像とを前記画像領域を用いて補正して得られた複数の補正画像を教師データとして、機械学習を実行することによって生成された学習済みモデルである、
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。 - 前記所定の顔の動きは、アクションユニットの1つであり、
前記入力画像に対する前記判定での前記アクションユニットの動きの発生の有無の判定結果と、前記入力画像に対する他のアクションユニットの発生の有無の情報とに基づいて、前記入力画像に写る顔の心理状態を示す情報を出力する、ことを更に含む、
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。 - 入力画像から顔の複数の特徴点を検出し、
画像から所定の顔の動きを検出する処理における前記画像内の領域の重要度であって前記画像内の前記領域を遮蔽したときに前記処理による検出結果に生じる変化の大きさから得られる前記重要度を示す重要度情報を参照し、前記重要度情報が示す第1の閾値以下の重要度を有する画像領域に対応する1又は複数の点を、前記入力画像から検出された前記複数の特徴点のうちから選択し、
選択された前記1又は複数の点を用いて前記入力画像を補正して補正画像を生成し、
認識モデルに前記補正画像を入力して得られた出力に基づいて、前記入力画像に前記所定の顔の動きが発生しているかを判定する、
処理をコンピュータに実行させる画像処理プログラム。 - 入力画像から顔の複数の特徴点を検出する検出部と、
画像から所定の顔の動きを検出する処理における前記画像内の領域の重要度であって前記画像内の前記領域を遮蔽したときに前記処理による検出結果に生じる変化の大きさから得られる前記重要度を示す重要度情報を参照し、前記重要度情報が示す第1の閾値以下の重要度を有する画像領域に対応する1又は複数の点を、前記入力画像から検出された前記複数の特徴点のうちから選択する選択部と、
選択された前記1又は複数の点を用いて前記入力画像を補正して補正画像を生成する補正部と、
認識モデルに前記補正画像を入力して得られた出力に基づいて、前記入力画像に前記所定の顔の動きが発生しているかを判定する判定部と、
を含む、画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020021932A JP7409134B2 (ja) | 2020-02-12 | 2020-02-12 | 画像処理方法、画像処理プログラム、および画像処理装置 |
US17/157,602 US11941498B2 (en) | 2020-02-12 | 2021-01-25 | Facial motion detection and image correction method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020021932A JP7409134B2 (ja) | 2020-02-12 | 2020-02-12 | 画像処理方法、画像処理プログラム、および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128476A JP2021128476A (ja) | 2021-09-02 |
JP7409134B2 true JP7409134B2 (ja) | 2024-01-09 |
Family
ID=77178029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020021932A Active JP7409134B2 (ja) | 2020-02-12 | 2020-02-12 | 画像処理方法、画像処理プログラム、および画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11941498B2 (ja) |
JP (1) | JP7409134B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004210A1 (ja) * | 2022-07-01 | 2024-01-04 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
CN115578780B (zh) * | 2022-12-07 | 2023-04-07 | 广东省科学院江门产业技术研究院有限公司 | 一种基于大数据的农产品及食品冷链溯源管理*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186303A (ja) | 2007-01-30 | 2008-08-14 | Canon Inc | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001307123A (ja) | 2000-02-18 | 2001-11-02 | Nippon Telegr & Teleph Corp <Ntt> | 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体 |
US6879709B2 (en) * | 2002-01-17 | 2005-04-12 | International Business Machines Corporation | System and method for automatically detecting neutral expressionless faces in digital images |
JP2010055395A (ja) | 2008-08-28 | 2010-03-11 | Canon Inc | 画像処理装置及び方法、プログラム、記憶媒体 |
CN106687989B (zh) * | 2014-10-23 | 2021-06-29 | 英特尔公司 | 面部表情识别的方法、***、可读介质和装置 |
-
2020
- 2020-02-12 JP JP2020021932A patent/JP7409134B2/ja active Active
-
2021
- 2021-01-25 US US17/157,602 patent/US11941498B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186303A (ja) | 2007-01-30 | 2008-08-14 | Canon Inc | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
Non-Patent Citations (2)
Title |
---|
Giota Stratou, et al,Refactoring facial expressions: An automatic analysis of natural occurring facial expressions in iterative social dilemma,2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII),米国,IEEE,2018年,p.427-p.433,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8273635 |
Tadas Baltrusaitis, et al,Cross-dataset learning and person-specific normalisation for automatic Action Unit detection,2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG),米国,IEEE,2015年,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7284869 |
Also Published As
Publication number | Publication date |
---|---|
US20210248357A1 (en) | 2021-08-12 |
US11941498B2 (en) | 2024-03-26 |
JP2021128476A (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
JP5791364B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 | |
JP5077164B2 (ja) | 追跡装置及び追跡方法 | |
Wang et al. | Focal boundary guided salient object detection | |
TW201327478A (zh) | 面部特徵向量之建構 | |
CN109977906B (zh) | 手势识别方法及***、计算机设备及存储介质 | |
JP7409134B2 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
CN110197149B (zh) | 耳部关键点检测方法、装置、存储介质及电子设备 | |
US11676361B2 (en) | Computer-readable recording medium having stored therein training program, training method, and information processing apparatus | |
US10964046B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera | |
CN112241667A (zh) | 图像检测方法、装置、设备及存储介质 | |
Li et al. | Multi-human parsing with a graph-based generative adversarial model | |
KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
Kawulok et al. | Dynamics of facial actions for assessing smile genuineness | |
US11715197B2 (en) | Image segmentation method and device | |
JP6635208B1 (ja) | 検索装置、検索方法、およびプログラム | |
JP2021144359A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
JP6948959B2 (ja) | 画像処理システム及び画像処理方法 | |
JP2023161956A (ja) | 物体追跡装置、物体追跡方法、及びプログラム | |
JP6119439B2 (ja) | 画像管理プログラム、画像管理方法及び画像管理装置 | |
TWI646445B (zh) | Automatic extraction and eye movement analysis system for dynamic comparison of interest regions | |
US20170068848A1 (en) | Display control apparatus, display control method, and computer program product | |
JP2020101922A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7359306B2 (ja) | 追跡装置、追跡システム、追跡方法、およびプログラム | |
JP2019200527A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231108 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7409134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |