JP7183005B2 - 肌解析方法及び肌解析システム - Google Patents
肌解析方法及び肌解析システム Download PDFInfo
- Publication number
- JP7183005B2 JP7183005B2 JP2018218557A JP2018218557A JP7183005B2 JP 7183005 B2 JP7183005 B2 JP 7183005B2 JP 2018218557 A JP2018218557 A JP 2018218557A JP 2018218557 A JP2018218557 A JP 2018218557A JP 7183005 B2 JP7183005 B2 JP 7183005B2
- Authority
- JP
- Japan
- Prior art keywords
- facial
- image
- facial expression
- skin
- expression change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Description
前記表情変化の過程を表す複数の画像を取得する画像取得工程と、
前記複数の画像について、前記顔の部品の位置を示す複数の顔部品座標を検出する顔部品座標検出工程と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出工程と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出工程と、
前記解析対象抽出工程において抽出された画像を用いて、肌の特徴を解析する解析工程と、を含むことを特徴とする。
このように、頬部分の肌の特徴を解析することで、顔全体に占める面積が大きく印象を左右しやすい部分についての解析結果が得られる。
このように、正面から0~90度の範囲で回転させた角度から顔を撮影した画像を用いて解析を行うことで、頬部分や目尻等、顔の印象を左右しやすい部分の肌をより広く含む画像を取得することができるため、顔の印象を左右しやすい部分の肌について、肌解析をより正確に行うことができる。
このように、正面から20~30度の範囲で回転させた角度から顔を撮影した画像を用いることで、正面から撮影した画像を用いる場合に比べて頬部分や目尻等、顔の印象を左右しやすい部分の肌を広く含む画像を取得して、顔の印象を左右しやすい部分の肌についてより正確に肌解析を行うことができる。また、30度より大きく回転させた角度から顔を撮影した画像を用いる場合に比べて高い精度で顔部品座標を検出できるため、表情変化が開始する画像及び表情変化が終了する画像の抽出を正確に行うことができる。
前記顔部品座標として、前記表情変化に連動して距離が変化する2点を検出することを特徴とする。
このように、表情変化に連動して距離が変化する2点を顔部品座標として検出することにより、2点間の距離を用いて表情変化が開始する画像及び表情変化が終了する画像をより正確に特定することができる。
このように、頬部分の肌を特定の方向に伸縮させる表情変化の過程を表す複数の画像を用いることにより、肌を特定の方向に伸縮させた際の皮膚の運動特性を解析することが可能になる。
前記解析対象抽出工程は、各種の表情変化が開始する画像及び終了する画像を特定し、前記各種の表情変化が開始する画像及び終了する画像の間の画像を解析対象として抽出することを特徴とする。
このように、頬部分の肌を同じ方向に伸縮させる表情変化を複数種類含む画像を取得することにより、特定の方向の肌の伸縮に伴う皮膚の運動特性をより詳細に解析することができる。
前記解析工程は、前記解析対象抽出工程においてそれぞれ抽出された、前記縦方向表情変化を含む複数の画像の中の解析対象及び前記横方向表情変化を含む複数の画像の中の解析対象を用いて、肌の特徴を解析することを特徴とする。
このように、縦方向表情変化及び横方向表情変化についてそれぞれ解析対象を抽出して解析を行うことにより、異なる方向の肌の運動特性を得ることができ、より詳細な解析を行うことが可能になる。
前記表情動作評価工程は、前記顔部品座標間の距離の変化に基づいて前記表情変化の大きさを評価し、前記表情変化の大きさが所定の値を上回った場合に解析対象抽出工程に進むことを特徴とする。
このように、表情変化の大きさを評価することで、所定の基準に満たない場合に再度撮影を指示するなどして再度画像の取得を行い、表情変化の大きさが肌解析を行う為に十分である一連の画像に対して肌解析を実行することができる。これにより、肌解析の精度を向上させることができる。
前記解析対象抽出工程は、複数の前記顔部品座標間の距離に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出することを特徴とする。
このように、顔部品座標間の距離を複数用いることにより、表情変化が開始する画像及び表情変化が終了する画像の特定をより精度よく行うことができる。また、複数の種類の表情変化について、解析対象の抽出が可能になる。
このように、唇輪郭の位置を示す座標を顔部品座標として検出することにより、個人ごとの表情動作の癖による解析対象抽出への影響を小さくする効果が期待できる。また、唇輪郭の位置を示す座標は表情動作に連動した移動が大きいため、表情変化が開始する画像及び表情変化が終了する画像をより正確に特定することができる。
前記解析対象抽出工程は、前記基準距離に基づいて前記顔部品座標間の距離を標準化した値を用いて、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定することを特徴とする。
このように、基準距離に基づいて顔部品座標間の距離を標準化することで、顔の大きさ等の個人差や撮影時の倍率、カメラとの距離等による影響を軽減することができる。これにより、更に正確に表情変化のタイミングを特定し、解析対象を抽出することができる。
前記表情変化の過程を表す複数の画像を取得する画像取得手段と、
前記複数の画像について、前記顔の複数の顔部品座標を検出する顔部品座標検出手段と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出手段と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出手段と、
前記解析対象抽出手段において抽出された画像を用いて、肌の特徴を解析する解析手段と、を備えることを特徴とする。
以下、本発明の一実施形態について、図面を参照して詳細に説明する。なお、以下において顔部品座標とは、顔の動きを追跡して表情の変化を解析する為の、顔上の部品の位置を示す座標である。本発明において部品とは、目、鼻、顔の輪郭、等のような任意の特徴を示す。例えば、唇輪郭の上下端の点や左右端等の点を顔部品座標として検出し、用いることができる。
以下、本発明の他の実施形態について説明する。なお、実施形態1と同様の構成については同一の符号を付して説明を省略する。本実施形態では、顔部品座標として他の点を用いる構成を例示する。また、本実施形態では、顔の大きさ等の個人差や撮影時の倍率、カメラとの距離等による影響を減らすために、顔部品座標間の距離を所定の基準で標準化した値を用いて解析対象の抽出を行う。
11 画像取得手段
12 顔部品座標検出手段
13 距離算出手段
14 表情動作評価手段
15 解析対象抽出手段
16 記憶手段
17 解析手段
2 端末装置
21 撮像手段
22 表示手段
Claims (12)
- 顔の表情変化の動的情報に基づいて肌の特徴を解析する肌解析方法であって、
前記表情変化の過程を表す複数の画像を取得する画像取得工程と、
前記複数の画像について、前記顔の部品の位置を示す複数の顔部品座標を検出する顔部品座標検出工程と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出工程と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出工程と、
前記解析対象抽出工程において抽出された画像を用いて、肌の特徴を解析する解析工程と、を含み、
前記顔部品座標検出工程は、前記顔部品座標として、前記表情変化に連動して距離が変化する2点を検出することを特徴とする肌解析方法。 - 前記解析工程は、頬部分の肌の特徴を解析する工程を含むことを特徴とする、請求項1に記載の肌解析方法。
- 前記複数の画像は、前記顔を通る鉛直方向の軸まわりに正面を0度として0~90度の範囲で回転させた前記顔の表情変化を表す複数の画像を含むことを特徴とする、請求項1又は請求項2に記載の肌解析方法。
- 前記複数の画像は、前記顔を通る鉛直方向の軸まわりに正面を0度として20~30度の範囲で回転させた前記顔の表情変化を表す複数の画像を含むことを特徴とする、請求項1又は請求項2に記載の肌解析方法。
- 前記表情変化は、頬部分の肌を縦方向に伸縮させる縦方向表情変化と、頬部分の肌を横方向に伸縮させる横方向表情変化と、のうち少なくとも何れかを含むことを特徴とする、請求項2~4の何れかに記載の肌解析方法。
- 前記表情変化は、前記頬部分の肌を同じ方向に伸縮させる表情変化を複数種類含み、
前記解析対象抽出工程は、各種の表情変化が開始する画像及び終了する画像を特定し、前記各種の表情変化が開始する画像及び終了する画像の間の画像を解析対象として抽出することを特徴とする、請求項5に記載の肌解析方法。 - 前記画像取得工程、前記顔部品座標検出工程、前記距離算出工程及び前記解析対象抽出工程は、前記縦方向表情変化を含む前記複数の画像と、前記横方向表情変化を含む前記複数の画像と、のそれぞれについて実行され、
前記解析工程は、前記解析対象抽出工程においてそれぞれ抽出された、前記縦方向表情変化を含む複数の画像の中の解析対象及び前記横方向表情変化を含む複数の画像の中の解析対象を用いて、肌の特徴を解析することを特徴とする、請求項5又は請求項6に記載の肌解析方法。 - 前記距離算出工程及び前記解析対象抽出工程の間に、前記表情変化の大きさを評価する表情動作評価工程を含み、
前記表情動作評価工程は、前記顔部品座標間の距離の変化に基づいて前記表情変化の大きさを評価し、前記表情変化の大きさが所定の値を上回った場合に解析対象抽出工程に進むことを特徴とする、請求項1~7の何れかに記載の肌解析方法。 - 前記距離算出工程は、前記顔部品座標間の距離を複数算出する工程を含み、
前記解析対象抽出工程は、複数の前記顔部品座標間の距離に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出することを特徴とする、請求項1~8の何れかに記載の肌解析方法。 - 前記顔部品座標は、少なくとも唇輪郭の位置を示す座標を含むことを特徴とする、請求項1~9の何れかに記載の肌解析方法。
- 前記距離算出工程は、前記顔部品座標間の距離を標準化する為の基準距離を算出する基準距離算出工程を更に含み、
前記解析対象抽出工程は、前記基準距離に基づいて前記顔部品座標間の距離を標準化した値を用いて、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定することを特徴とする、請求項1~10の何れかに記載の肌解析方法。 - 顔の表情変化の動的情報に基づいて肌の特徴を解析する肌解析システムであって、
前記表情変化の過程を表す複数の画像を取得する画像取得手段と、
前記複数の画像について、前記顔の部品の座標を示す複数の顔部品座標を検出する顔部品座標検出手段と、
前記複数の画像について、前記顔部品座標間の距離を算出する距離算出手段と、
前記顔部品座標間の距離の時系列の変化に基づいて、前記複数の画像から、前記表情変化が開始する画像及び前記表情変化が終了する画像を特定し、前記表情変化が開始する画像及び前記表情変化が終了する画像の間の画像を解析対象として抽出する解析対象抽出手段と、
前記解析対象抽出手段において抽出された画像を用いて、肌の特徴を解析する解析手段と、を備え、
前記顔部品座標検出手段が、前記顔部品座標として、前記表情変化に連動して距離が変化する2点を検出する手段であることを特徴とする肌解析システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017231333 | 2017-12-01 | ||
JP2017231333 | 2017-12-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019098168A JP2019098168A (ja) | 2019-06-24 |
JP7183005B2 true JP7183005B2 (ja) | 2022-12-05 |
Family
ID=66974953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018218557A Active JP7183005B2 (ja) | 2017-12-01 | 2018-11-21 | 肌解析方法及び肌解析システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7183005B2 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000338987A (ja) | 1999-05-28 | 2000-12-08 | Mitsubishi Electric Corp | 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム |
JP2005242567A (ja) | 2004-02-25 | 2005-09-08 | Canon Inc | 動作評価装置及び方法 |
JP2006081846A (ja) | 2004-09-17 | 2006-03-30 | Inforward Inc | 顔面溝の評価方法及び装置 |
JP2009098901A (ja) | 2007-10-16 | 2009-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 表情検出方法及び装置及びプログラム |
JP2009163422A (ja) | 2007-12-28 | 2009-07-23 | Canon Inc | 画像処理装置、画像処理方法、及び画像処理プログラム |
US20090196475A1 (en) | 2008-02-01 | 2009-08-06 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
JP2014193197A (ja) | 2013-03-28 | 2014-10-09 | Shiseido Co Ltd | 画像解析装置、画像解析方法、及び画像解析プログラム |
JP2016194901A (ja) | 2015-03-31 | 2016-11-17 | ポーラ化成工業株式会社 | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 |
JP2017502732A (ja) | 2013-12-12 | 2017-01-26 | ロレアル | 少なくとも1つの顔の臨床徴候を評価するためのプロセス |
-
2018
- 2018-11-21 JP JP2018218557A patent/JP7183005B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000338987A (ja) | 1999-05-28 | 2000-12-08 | Mitsubishi Electric Corp | 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム |
JP2005242567A (ja) | 2004-02-25 | 2005-09-08 | Canon Inc | 動作評価装置及び方法 |
JP2006081846A (ja) | 2004-09-17 | 2006-03-30 | Inforward Inc | 顔面溝の評価方法及び装置 |
JP2009098901A (ja) | 2007-10-16 | 2009-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 表情検出方法及び装置及びプログラム |
JP2009163422A (ja) | 2007-12-28 | 2009-07-23 | Canon Inc | 画像処理装置、画像処理方法、及び画像処理プログラム |
US20090196475A1 (en) | 2008-02-01 | 2009-08-06 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
JP2014193197A (ja) | 2013-03-28 | 2014-10-09 | Shiseido Co Ltd | 画像解析装置、画像解析方法、及び画像解析プログラム |
JP2017502732A (ja) | 2013-12-12 | 2017-01-26 | ロレアル | 少なくとも1つの顔の臨床徴候を評価するためのプロセス |
JP2016194901A (ja) | 2015-03-31 | 2016-11-17 | ポーラ化成工業株式会社 | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019098168A (ja) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6561830B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP7452016B2 (ja) | 学習データ生成プログラム、及び学習データ生成方法 | |
JP6184271B2 (ja) | 撮像管理装置、撮像管理システムの制御方法およびプログラム | |
JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101929077B1 (ko) | 이미지 식별 방법 및 이미지 식별 장치 | |
JP5754990B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2009089077A5 (ja) | ||
KR20130066438A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
US9721153B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
JP5087037B2 (ja) | 画像処理装置、方法及びプログラム | |
CN111950401B (zh) | 确定关键点区域位置的方法、图像处理***、设备和介质 | |
JP2016009448A (ja) | 判定装置、判定方法及び判定プログラム | |
JP2007074503A (ja) | 動画像編集装置 | |
CN110910449B (zh) | 识别物体三维位置的方法和*** | |
JP2018081402A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
JP6406044B2 (ja) | カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム | |
JP7183005B2 (ja) | 肌解析方法及び肌解析システム | |
KR102126370B1 (ko) | 동작 인식 장치 및 방법 | |
US20230368409A1 (en) | Storage medium, model training method, and model training device | |
US10880457B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP7047848B2 (ja) | 顔三次元形状推定装置、顔三次元形状推定方法、及び、顔三次元形状推定プログラム | |
KR102468648B1 (ko) | 영상에 대한 원격 광용적맥파신호를 이용하여 사람의 심박수를 산출하는 방법 | |
JP7356927B2 (ja) | 肌解析方法、肌解析システム及び肌解析プログラム | |
JP6548306B2 (ja) | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7183005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |