JP7276968B2 - 3次元データ更新装置、顔向き推定装置、3次元データ更新方法およびプログラム - Google Patents
3次元データ更新装置、顔向き推定装置、3次元データ更新方法およびプログラム Download PDFInfo
- Publication number
- JP7276968B2 JP7276968B2 JP2021527505A JP2021527505A JP7276968B2 JP 7276968 B2 JP7276968 B2 JP 7276968B2 JP 2021527505 A JP2021527505 A JP 2021527505A JP 2021527505 A JP2021527505 A JP 2021527505A JP 7276968 B2 JP7276968 B2 JP 7276968B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional data
- data
- position coordinates
- face
- corners
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記3次元データを前記記憶装置から取得する3次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記3次元データ取得部が取得した3次元データとを用いて、前記3次元データを調整する調整部と、
前記記憶装置に記憶される3次元データを、前記調整部による調整後の3次元データに更新する更新部と、
を備える、ことを特徴とする。
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記3次元データを前記記憶装置から取得する3次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記3次元データ取得部が取得した3次元データとを用いて、前記3次元データを調整する調整部と、
前記記憶装置に記憶される3次元データを、前記調整部による調整後の3次元データに更新する更新部と、
を備える、ことを特徴とする。
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新方法であって、
前記撮像装置により撮像された撮像データを取得するステップと、
前記3次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した3次元データとを用いて、前記3次元データを調整するステップと、
前記記憶装置に記憶される3次元データを、調整後の3次元データに更新するステップと、
を備える、ことを特徴とする。
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
前記撮像装置により撮像された撮像データを取得するステップと、
前記3次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した3次元データとを用いて、前記3次元データを調整するステップと、
前記記憶装置に記憶される3次元データを、調整後の3次元データに更新するステップと、
を実行させる命令を含む、ことを特徴とする。
図1は、本実施形態における3次元データ更新装置1の構成を示すブロック図である。
次に、本実施形態における3次元データ更新装置1の動作について説明する。図4は、本実施形態における3次元データ更新装置1の動作を示すフロー図である。本実施形態では、3次元データ更新装置1を動作させることによって、3次元データ更新方法が実施される。よって、本実施形態における3次元データ更新方法の説明は、以下の3次元データ更新装置1の動作説明に代える。
以上の構成の3次元データ更新装置1により、平均的な顔形状の3次元データ71Aを撮像装置が撮像する人物に近似する顔形状に更新して、3次元データ71Aを高精度にすることができる。この3次元データ71Aを、例えば顔認証の認証用のデータに用いることで、認証精度を高めることができる。
本実施形態におけるプログラムは、コンピュータに、図4に示すステップS1~S7を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における3次元データ更新装置1、顔向き推定装置10および3次元データ更新方法を実現することができる。この場合、コンピュータのプロセッサは、撮像データ取得部2、3次元データ取得部3、調整部4および更新部5として機能し、処理を行なう。
ここで、本実施形態におけるプログラムを実行することによって、3次元データ更新装置1および顔向き推定装置10を実現するコンピュータについて図5を用いて説明する。図5は、本実施形態における3次元データ更新装置1および顔向き推定装置10を実現するコンピュータの一例を示すブロック図である。
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記3次元データを前記記憶装置から取得する3次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記3次元データ取得部が取得した3次元データとを用いて、前記3次元データを調整する調整部と、
前記記憶装置に記憶される3次元データを、前記調整部による調整後の3次元データに更新する更新部と、
を備える、ことを特徴とする3次元データ更新装置。
付記1に記載の3次元データ更新装置であって、
前記調整部は、前記3次元データ内の顔特徴点の位置座標を調整する、
ことを特徴とする3次元データ更新装置。
付記2に記載の3次元データ更新装置であって、
前記調整部は、
前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点の位置座標を調整する、
ことを特徴とする3次元データ更新装置。
撮像装置が撮像した対象の顔の撮像データと、記憶装置に記憶される3次元データとを比較して、前記対象人物の顔の角度を推定する顔向き推定装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記3次元データを前記記憶装置から取得する3次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記3次元データ取得部が取得した3次元データとを用いて、前記3次元データを調整する調整部と、
前記記憶装置に記憶される3次元データを、前記調整部による調整後の3次元データに更新する更新部と、
を備える、ことを特徴とする顔向き推定装置。
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新方法であって、
前記撮像装置により撮像された撮像データを取得するステップと、
前記3次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した3次元データとを用いて、前記3次元データを調整するステップと、
前記記憶装置に記憶される3次元データを、調整後の3次元データに更新するステップと、
を有することを特徴とする3次元データ更新方法。
付記5に記載の3次元データ更新方法であって、
前記取得した3次元データを調整するするステップでは、前記3次元データ内の顔特徴点の位置座標を調整する、
ことを特徴とする3次元データ更新方法。
付記6に記載の3次元データ更新方法であって、
前記取得した3次元データを調整するするステップでは、
前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点の位置座標を調整する、
ことを特徴とする3次元データ更新方法。
記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
前記撮像装置により撮像された撮像データを取得するステップと、
前記3次元データを前記記憶装置から取得するステップと、
取得した前記撮像データと、取得した3次元データとを用いて、前記3次元データを調整するステップと、
前記記憶装置に記憶される3次元データを、調整後の3次元データに更新するステップと、
を実行させる命令を含むプログラム。
付記8に記載のプログラムであって、
前記コンピュータに、
前記取得した3次元データを調整させるときは、前記3次元データ内の顔特徴点の位置座標を調整するステップ、
を実行させる命令を含む、プログラム。
付記9に記載のプログラムであって、
前記取得した3次元データを調整するステップでは、
前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点を調整する、
プログラム。
2 撮像データ取得部
3 3次元データ取得部
4 調整部
5 更新部
10 顔向き推定装置
11 角度推定部
70 撮像装置
70A 撮像データ
71 記憶装置
71A 3次元データ
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
125 バス
Claims (4)
- 記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記3次元データを前記記憶装置から取得する3次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記3次元データ取得部が取得した3次元データとを用いて、前記3次元データを調整する調整部と、
前記記憶装置に記憶される3次元データを、前記調整部による調整後の3次元データに更新する更新部と、
を備え、
前記調整部は、前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点の位置座標を調整し、
前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
前記調整部は、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
3次元データ更新装置。 - 撮像装置が撮像した対象の顔の撮像データと、記憶装置に記憶される3次元データとを比較して、対象人物の顔の角度を推定する顔向き推定装置であって、
前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
前記3次元データを前記記憶装置から取得する3次元データ取得部と、
前記撮像データ取得部が取得した前記撮像データと、前記3次元データ取得部が取得した3次元データとを用いて、前記3次元データを調整する調整部と、
前記記憶装置に記憶される3次元データを、前記調整部による調整後の3次元データに更新する更新部と、
を備え、
前記調整部は、前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点の位置座標を調整し、
前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
前記調整部は、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
顔向き推定装置。 - 記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する3次元データ更新方法であって、
前記撮像装置により撮像された撮像データを取得し、
前記3次元データを前記記憶装置から取得し、
取得した前記撮像データと、取得した3次元データとを用いて、前記3次元データを調整し、
前記記憶装置に記憶される3次元データを、調整後の3次元データに更新し、
前記3次元データを調整する場合、前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点の位置座標を調整し、
前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
前記3次元データを調整する場合、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
3次元データ更新方法。 - 記憶装置に記憶される顔の3次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
前記撮像装置により撮像された撮像データを取得させ、
前記3次元データを前記記憶装置から取得させ、
取得した前記撮像データと、取得した3次元データとを用いて、前記3次元データを調整させ、
前記記憶装置に記憶される3次元データを、調整後の3次元データに更新させる、
命令を含み、
前記3次元データを調整する場合、前記撮像データおよび前記3次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記3次元データの顔特徴点の位置座標を調整し、
前記顔特徴点は、左右目じり端、鼻の頂点、左右の口角、あご先であり、
前記3次元データを調整する場合、前記目じりの端の位置座標の変化量を基準として前記鼻の頂点の位置座標の大小を判定し、前記鼻の頂点の位置座標の高低を補正し、
前記あご先の位置座標の変化量を基準として前記口角の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記口角の位置座標の広狭を補正し、
前記鼻の頂点の位置座標の変化量を基準として前記目じりの端の位置座標の前記3次元データにおける顔の中心からの移動方向の内外を判定し、前記目じりの端の間の広狭を補正する、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019114767 | 2019-06-20 | ||
JP2019114767 | 2019-06-20 | ||
PCT/JP2020/020747 WO2020255645A1 (ja) | 2019-06-20 | 2020-05-26 | 3次元データ更新装置、顔向き推定装置、3次元データ更新方法およびコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020255645A1 JPWO2020255645A1 (ja) | 2021-11-25 |
JP7276968B2 true JP7276968B2 (ja) | 2023-05-18 |
Family
ID=74037105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021527505A Active JP7276968B2 (ja) | 2019-06-20 | 2020-05-26 | 3次元データ更新装置、顔向き推定装置、3次元データ更新方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7276968B2 (ja) |
WO (1) | WO2020255645A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009199417A (ja) | 2008-02-22 | 2009-09-03 | Denso Corp | 顔追跡装置及び顔追跡方法 |
US20150042743A1 (en) | 2013-08-09 | 2015-02-12 | Samsung Electronics, Ltd. | Hybrid visual communication |
US20160148425A1 (en) | 2014-11-25 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3d face model |
US20170018088A1 (en) | 2015-07-14 | 2017-01-19 | Samsung Electronics Co., Ltd. | Three dimensional content generating apparatus and three dimensional content generating method thereof |
US20190164341A1 (en) | 2017-11-27 | 2019-05-30 | Fotonation Limited | Systems and Methods for 3D Facial Modeling |
-
2020
- 2020-05-26 WO PCT/JP2020/020747 patent/WO2020255645A1/ja active Application Filing
- 2020-05-26 JP JP2021527505A patent/JP7276968B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009199417A (ja) | 2008-02-22 | 2009-09-03 | Denso Corp | 顔追跡装置及び顔追跡方法 |
US20150042743A1 (en) | 2013-08-09 | 2015-02-12 | Samsung Electronics, Ltd. | Hybrid visual communication |
US20160148425A1 (en) | 2014-11-25 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating personalized 3d face model |
US20170018088A1 (en) | 2015-07-14 | 2017-01-19 | Samsung Electronics Co., Ltd. | Three dimensional content generating apparatus and three dimensional content generating method thereof |
US20190164341A1 (en) | 2017-11-27 | 2019-05-30 | Fotonation Limited | Systems and Methods for 3D Facial Modeling |
Non-Patent Citations (1)
Title |
---|
ブレイドアンドソウル プレイングガイド,株式会社KADOKAWA,2014年06月21日,p.58 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020255645A1 (ja) | 2021-11-25 |
WO2020255645A1 (ja) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4830650B2 (ja) | 追跡装置 | |
US9519968B2 (en) | Calibrating visual sensors using homography operators | |
EP3016071B1 (en) | Estimating device and estimation method | |
US7634143B2 (en) | Image processing apparatus and method, recording medium, and program | |
WO2020184207A1 (ja) | 物体追跡装置および物体追跡方法 | |
JPWO2011148596A1 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
US9727776B2 (en) | Object orientation estimation | |
JP6217635B2 (ja) | 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム | |
JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
CN112083403B (zh) | 用于虚拟场景的定位追踪误差校正方法及*** | |
US10460461B2 (en) | Image processing apparatus and method of controlling the same | |
WO2017094140A1 (ja) | 物体検出装置及び物体検出方法 | |
JP7276968B2 (ja) | 3次元データ更新装置、顔向き推定装置、3次元データ更新方法およびプログラム | |
JP2021144359A (ja) | 学習装置、推定装置、学習方法、及びプログラム | |
WO2010089938A1 (ja) | 回転推定装置、回転推定方法および記録媒体 | |
US20230419605A1 (en) | Map generation apparatus, map generation method, and non-transitory computer-readable medium storing program | |
JP7279892B2 (ja) | 顔向き検出装置、顔向き検出方法、及びプログラム | |
JP2021114111A (ja) | 撮像支援装置、撮像支援方法、及びプログラム | |
JP7283734B2 (ja) | 追跡装置、追跡方法、及びプログラム | |
JP7283735B2 (ja) | 追跡装置、追跡方法、及びプログラム | |
JP7279893B2 (ja) | 顔検出装置、顔検出方法、及びプログラム | |
WO2020184066A1 (ja) | 関節位置推定装置、関節位置推定方法およびコンピュータ読み取り可能な記録媒体 | |
WO2022230117A1 (ja) | 情報処理システム、情報処理方法、及び記録媒体 | |
JP6121768B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
WO2023007730A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220829 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230208 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230208 |
|
C609 | Written withdrawal of request for trial/appeal |
Free format text: JAPANESE INTERMEDIATE CODE: C609 Effective date: 20230210 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230216 |
|
C092 | Termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C092 Effective date: 20230221 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230427 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7276968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |