JP7307119B2 - 完全な顔画像の眼球周囲およびオーディオ合成 - Google Patents
完全な顔画像の眼球周囲およびオーディオ合成 Download PDFInfo
- Publication number
- JP7307119B2 JP7307119B2 JP2021072365A JP2021072365A JP7307119B2 JP 7307119 B2 JP7307119 B2 JP 7307119B2 JP 2021072365 A JP2021072365 A JP 2021072365A JP 2021072365 A JP2021072365 A JP 2021072365A JP 7307119 B2 JP7307119 B2 JP 7307119B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- user
- face
- periocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title description 3
- 238000003786 synthesis reaction Methods 0.000 title description 3
- 230000001815 facial effect Effects 0.000 claims description 262
- 238000000034 method Methods 0.000 claims description 181
- 238000013507 mapping Methods 0.000 claims description 136
- 238000003384 imaging method Methods 0.000 claims description 108
- 238000010801 machine learning Methods 0.000 claims description 58
- 210000001508 eye Anatomy 0.000 description 209
- 238000004422 calculation algorithm Methods 0.000 description 51
- 230000003287 optical effect Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 34
- 230000033001 locomotion Effects 0.000 description 31
- 210000001747 pupil Anatomy 0.000 description 29
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 14
- 238000012549 training Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000004308 accommodation Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000036548 skin texture Effects 0.000 description 11
- 210000004709 eyebrow Anatomy 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000004424 eye movement Effects 0.000 description 8
- 210000000744 eyelid Anatomy 0.000 description 8
- 230000010344 pupil dilation Effects 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 7
- 210000001331 nose Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000004886 head movement Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 210000003467 cheek Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 210000004279 orbit Anatomy 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000013488 ordinary least square regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 208000001692 Esotropia Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Geometry (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Inorganic Compounds Of Heavy Metals (AREA)
- Silicon Compounds (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
本願は、米国仮出願第62/421033号(2016年11月11日出願、名称「PERIOCULAR AND AUDIO SYNTHESIS OF A FULL FACE IMAGE」)に対する米国特許法§119(e)に基づく優先権を主張し、上記出願の開示は、その全体が参照により本明細書に引用される。
本開示は、複合現実結像ならびに可視化システムに関し、より具体的には、オーディオデータおよび眼球周囲画像を使用した顔画像の合成および生成に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適かつ自然のような感覚で、かつ豊かな提示を促進する、VR、AR、またはMR技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、ならびにMR技術に関連する種々の課題に対処する。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
発話中のユーザの顔を動画にするためのウェアラブルシステムであって、前記ウェアラブルシステムは、
ユーザの眼球周囲領域を結像するように構成された内向きに面した結像システムと、
前記ユーザの発話を受信するように構成されたオーディオセンサと、
ハードウェアプロセッサと
を備え、
前記ハードウェアプロセッサは、
前記内向きに面した結像システムを介して、前記ユーザの前記眼球周囲領域の画像を入手することと、
少なくとも部分的に前記画像に基づいて、前記ユーザの少なくとも前記眼球周囲領域の眼球周囲外形をエンコードする眼球周囲顔パラメータを生成することと、
前記オーディオセンサによって、前記ユーザによって発話されたオーディオストリームを入手することと、
前記オーディオストリームにおける音素を識別することと、
マッピングにアクセスすることであって、前記マッピングの入力は、前記音素と前記ユーザの前記眼球周囲領域の前記画像とを備え、前記マッピングの出力は、前記ユーザの少なくとも下側顔の下側顔外形をエンコードする下側顔パラメータを備え、前記下側顔は、前記ユーザによって装着されているとき、前記内向きに面した結像システムによって観察されていない、ことと、
前記マッピングを前記画像に適用し、下側顔パラメータを生成することと、
前記眼球周囲顔パラメータと前記下側顔パラメータとを組み合わせ、3次元(3D)顔モデルに関連付けられた完全な顔パラメータを生成することと、
少なくとも部分的に前記完全な顔パラメータに基づいて、前記ユーザの顔の動画を生成することと
を行うようにプログラムされている、ウェアラブルシステム。
(項目2)
前記3D顔モデルは、変形可能線形モデルを備え、前記眼球周囲顔パラメータおよび前記下側顔パラメータは、前記ユーザが発話しているときの前記顔の変形を記述する、項目1に記載のウェアラブルシステム。
(項目3)
前記完全な顔パラメータを生成するために、前記ハードウェアプロセッサは、前記3D顔モデルを更新し、前記下側顔パラメータまたは前記眼球周囲顔パラメータのうちの少なくとも1つに対する更新を反映するようにプログラムされている、項目2に記載のウェアラブルシステム。
(項目4)
前記マッピングの前記入力は、眼特定の情報、身体移動、または心拍数のうちの少なくとも1つをさらに含む、項目1に記載のウェアラブルシステム。
(項目5)
前記眼特定の情報は、前記ユーザの眼姿勢、瞳孔拡張状態、眼色、または眼瞼状態のうちの少なくとも1つを含む、項目4に記載のウェアラブルシステム。
(項目6)
前記下側顔パラメータは、前記オーディオストリームにおける音素を視覚的に記述する口形素をエンコードする、項目1に記載のウェアラブルシステム。
(項目7)
前記ハードウェアプロセッサは、少なくとも部分的に前記眼球周囲領域の前記画像に基づいて、前記ユーザの顔の皮膚テクスチャを推測するようにさらにプログラムされ、前記ユーザの顔の前記動画は、前記顔の前記皮膚テクスチャを組み込んでいる、項目1に記載のウェアラブルシステム。
(項目8)
前記内向きに面した結像システムは、眼カメラを備え、前記内向きに面した結像システムによって入手された前記眼球周囲領域の前記画像は、第1の眼のための前記眼球周囲領域の画像を備えている、項目1に記載のウェアラブルシステム。
(項目9)
前記完全な顔パラメータを生成するために、前記ハードウェアプロセッサは、
前記内向きに面した結像システムによって入手された前記眼球周囲領域の前記画像に基づいて、第2の眼のための眼球周囲顔パラメータを決定することと、
前記第2の眼のための前記眼球周囲顔パラメータを前記完全な顔パラメータの中に組み込むことと
を行うようにプログラムされている、項目8に記載のウェアラブルシステム。
(項目10)
前記完全な顔パラメータが適用され、前記ユーザの顔の前記動画を生成するようにするために、前記ハードウェアプロセッサは、命令を複合現実ディスプレイを備えているウェアラブルデバイスに通信するようにプログラムされておりており、前記命令は、前記完全な顔パラメータが適用され、前記3D顔モデルを中立位置から変動させるようにする、項目1に記載のウェアラブルシステム。
(項目11)
発話中のユーザの顔を動画にする方法であって、前記方法は、
ユーザの眼球周囲領域を結像するように構成された内向きに面した結像システムによって入手された画像にアクセスすることと、
少なくとも部分的に前記画像に基づいて、前記ユーザの少なくとも前記眼球周囲領域の眼球周囲外形をエンコードする眼球周囲顔パラメータを決定することと、
オーディオセンサによって入手されたユーザによって発話されたオーディオストリームにアクセスすることと、
前記オーディオストリームにおける音素を識別することと、
マッピングにアクセスすることであって、前記マッピングの入力は、前記音素と前記ユーザの前記眼球周囲領域の前記画像とを備え、前記マッピングの出力は、前記ユーザの少なくとも下側顔の下側顔外形をエンコードする下側顔パラメータを備えている、ことと、
前記マッピングを前記画像に適用し、下側顔パラメータを生成することと、
前記眼球周囲顔パラメータと前記下側顔パラメータとを組み合わせ、3次元(3D)顔モデルに関連付けられた完全な顔パラメータを生成することと、
少なくとも部分的に前記完全な顔パラメータに基づいて、完全な顔画像を生成することと
を含む、方法。
(項目12)
前記3D顔モデルは、変形可能線形モデルを備え、前記眼球周囲顔パラメータおよび前記下側顔パラメータは、前記ユーザが発話しているときの前記顔の変形を記述する、項目11に記載の方法。
(項目13)
前記完全な顔パラメータを生成するために、前記ハードウェアプロセッサは、前記3D顔モデルを更新し、前記下側顔パラメータまたは前記眼球周囲顔パラメータのうちの少なくとも1つに対する更新を反映するようにプログラムされている、項目12に記載の方法。
(項目14)
前記完全な顔パラメータは、前記ユーザの顔に関連付けられた動画を決定するために、眼特定の情報と組み合わせられる、項目11に記載の方法。
(項目15)
前記眼特定の情報は、前記ユーザの眼姿勢、瞳孔拡張状態、眼色、または眼瞼状態のうちの少なくとも1つを含む、項目14に記載の方法。
(項目16)
前記下側顔パラメータは、前記オーディオストリームにおける音素を視覚的に記述する口形素をエンコードする、項目11に記載の方法。
(項目17)
前記完全な顔画像は、前記ユーザの皮膚テクスチャをさらに組み込んでおり、前記ユーザの前記皮膚テクスチャは、少なくとも部分的に前記内向きに面した結像システムによって入手された前記画像に基づいて決定される、項目11に記載の方法。
(項目18)
前記マッピングは、眼球周囲顔パラメータが下側顔パラメータに関連付けられている可能性を含み、前記下側顔パラメータは、それらが閾値基準に達していることの決定に応答して、前記完全な顔画像を生成するために選択される、項目11に記載の方法。
(項目19)
前記画像は、静止画像またはビデオフレームのうちの少なくとも1つを含む、項目11に記載の方法。
(項目20)
前記完全な顔画像を複合現実環境内にレンダリングするように頭部搭載型ディスプレイに命令することをさらに含む、項目11に記載の方法。
(概要)
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせ等における静止画像、ビデオのフレーム、またはビデオであり得る。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得るウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、頭部搭載型デバイス(HMD)であることができ、それは、ARデバイス(ARD)と同義的に使用される。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図4は、画像情報をユーザに出力するための導波管スタックの例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応し得、図4は、そのウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合され得る。
多くの実装では、ウェアラブルシステムは、上で説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含み得る。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含み得る。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であり得る。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供し得る。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現し得るか、または仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ(例えば、ドラゴン)の感覚を再現し得る。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着され得る(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持され得る。
ウェアラブルシステムは、高被写界深度をレンダリングされた明視野内で達成するために、種々のマッピング関連技法を採用し得る。仮想世界をマッピングすることにおいて、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたFOV画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点(2D点または3D点等)の組を収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第1のユーザの世界モデルは、第2のユーザが第1のユーザを包囲する世界を体験し得るように、(例えば、クラウドネットワーク等のネットワークを経由して)第2のユーザに通信されることができる。
図11は、例示的ウェアラブルデバイスを図示し、それは、ユーザの顔の画像を入手することができる。ウェアラブルデバイスは、AR、VR、および/またはMRコンテンツを表示するように構成される頭部搭載型デバイス(HMD)であり得る。ウェアラブルデバイスによって入手された画像は、静止画像、動画、ビデオからの個々のフレーム、またはビデオを含むことができる。
顔認識、合成、およびレンダリングのコンテキストでは、ヒト顔は、三角形メッシュ、パラメトリック表面、線形空間表現、または他の数学的表現等の3Dモデル化技法を使用して表され得る。一例として、3Dモデルは、変形可能線形モデル(DLM)を使用して構築され得る。DLMは、ベクトルのリストを用いて、顔の変形の状態をエンコードすることができる。変形ベクトルは、中立顔に関連付けられ、鼻をより大きくすること、口をより狭くすること、または顔をより女性らしくすること等を行い得る。変形ベクトルは、笑顔、しかめっ面、または眉を顰めた顔等の顔の表情にも関連付けられ得る。顔の表現の強度(大声で笑うまたは微笑む等)を所与として、変形ベクトルは、中立顔メッシュに対する強度値によってスケーリングされ得る。例えば、強度値は、人物が大声で笑う場合、人物が、より多くの顔移動を有し、したがって、中立顔に対してより大きい変形を有し得るので、より大きくなり得る。他方で、強度値は、人物が微笑む場合、あまり多くの顔移動が存在しないので、より小さくなり得る。DLMモデルが、使用されることができるが、本開示は、DLMモデルに限定されず、他の実施形態では、アクティブ形状モデル(ASM)、アクティブ外観モデル(AAM)、モーフィング可能モデル(M)、または任意の他の2次元(2D)もしくは3D形状またはテクスチャモデルが、使用され得る。
図11を参照して説明されるように、結像システム1160によって入手された画像は、ユーザの眼球周囲領域の一部を含み得る。眼球周囲領域は、眼と、眼の周囲の領域とを含むことができる。図12は、片眼に対する眼球周囲領域の例示的画像を図示する。この例では、眼球周囲領域1200aは、眼1210a(眼窩等)と、眼1210aの周囲の領域とを含むことができる。眼1210aの周囲の領域は、例えば、眉毛1220aと、鼻の一部1230aと、頬1240aと、前額1250aとを含み得る。眼球周囲領域は、1つ以上の眼球周囲特徴もしくは眼球周囲特徴の一部を含むことができる。眼球周囲特徴は、例えば、眼、眼窩、眉毛、鼻、頬、または前額を含み得る。顔の他の特徴またはユーザ特定の詳細も、眼球周囲特徴と見なされ得る。しかしながら、眼球周囲領域は、眼から離れている口または鼻の一部を除外し得る。いくつかの実装では、眼球周囲領域は、キーポイント、点群、ベクトルおよび行列、または他のタイプの数学的表現によって表され得る。
眼球周囲領域の画像ならびに眼球周囲領域内の移動は、HMDの画像システムによって直接観察されることができないユーザの下側顔の画像を推測するために使用され得る。図13は、機械学習導出モデルを訓練する例を図示し、それは、眼球周囲領域内の外形およびオーディオ入力を下側顔内の外形と互いに関係づけることができる。いくつかの状況では、外形は、顔モデル内のベクトルによって表され得る。機械学習導出モデルは、眼球周囲領域内の外形を表す1つ以上のパラメータの下側顔内の第2の外形を表す他のパラメータへのマッピングを含むことができる。
図14は、顔の一部がウェアラブルデバイスによって観察されないとき顔の画像を生成する例を図示する。図14におけるフロー図1400は、本明細書に説明されるウェアラブルデバイスによって実施され得る。この例では、ウェアラブルデバイスは、内向きに面した結像システムを含み得、それは、ユーザの眼球周囲画像1410を入手することができる。ウェアラブルデバイスは、オーディオセンサも含むことができ、それは、オーディオ入力1414をユーザから取得することができる。しかしながら、内向きに面した結像システムは、ユーザの下側顔の画像を入手することができないこともある。
図15Aは、眼球周囲領域の画像と下側顔の画像との間のマッピングを生成する例示的プロセスを説明する。プロセス1500は、本明細書に説明されるウェアラブルデバイスによって実施され得る。
第1の側面では、顔の画像を生成する方法であって、方法は、コンピュータプロセッサと、ユーザの眼球周囲領域を結像するように構成された内向きに面した結像システムと、オーディオセンサとを備えている頭部搭載型デバイス(HMD)の制御下で、内向きに面した結像システムによって、ユーザの眼球周囲領域の画像を入手することと、少なくとも部分的に画像に基づいて、ユーザの少なくとも眼球周囲領域の眼球周囲外形をエンコードする眼球周囲顔パラメータを生成することと、オーディオセンサによって、ユーザによって発話されたオーディオストリームを入手することと、オーディオストリームにおける音素を識別することと、マッピングにアクセスすることであって、マッピングの入力は、音素およびユーザの眼球周囲領域の画像を備え、マッピングの出力は、ユーザの少なくとも下側顔の下側顔外形をエンコードする下側顔パラメータを備えている、ことと、眼球周囲顔パラメータと下側顔パラメータとを組み合わせ、完全な顔パラメータを生成することとを含む、方法。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムの各々は、具体的かつ特定のコンピュータ命令を実行するように構成される1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行されるコードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る動的リンクライブラリ内にインストールされ得るか、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特定の回路によって実施され得る。
Claims (15)
- 1つ以上のハードウェアコンピュータプロセッサとソフトウェア命令を記憶している1つ以上の非一過性コンピュータ読み取り可能な記憶デバイスとを有するコンピューティングシステムによって実行されるコンピュータ化された方法であって、前記ソフトウェア命令は、前記コンピュータ化された方法を実行するように前記コンピューティングシステムによって実行可能であり、
前記コンピュータ化された方法は、
第1の複数の画像にアクセスすることであって、前記第1の複数の画像の各々は、複数のユーザのうちの対応するユーザの第1の領域の第1の外形に関連付けられており、前記第1の複数の画像の各々は、前記複数のユーザの顔の第2の領域を含まない、ことと、
前記複数のユーザのうちの前記対応するユーザの前記第2の領域の第2の外形に関連付けられている第2の複数の画像にアクセスすることであって、前記第1の領域の前記第1の外形の各々は、前記第2の領域の前記第2の外形のうちの少なくとも1つに関連付けられている、ことと、
前記第1の複数の画像および前記第2の複数の画像を使用して、機械学習導出モデルを訓練して、前記第1の領域の第1の外形から前記第2の領域の第2の外形へのマッピングを生成することであって、前記マッピングは、人物の顔の前記第2の領域を含まない前記人物の前記顔の前記第1の領域の画像を入力として受信するように構成される、ことと
を含み、
前記第1の領域は、眼球周囲領域であり、
前記人物の前記顔の前記第1の領域の前記画像は、頭部搭載型デバイスの内向きに面した結像システムによって入手される画像を含む、コンピュータ化された方法。 - 1つ以上のハードウェアコンピュータプロセッサとソフトウェア命令を記憶している1つ以上の非一過性コンピュータ読み取り可能な記憶デバイスとを有するコンピューティングシステムによって実行されるコンピュータ化された方法であって、前記ソフトウェア命令は、前記コンピュータ化された方法を実行するように前記コンピューティングシステムによって実行可能であり、
前記コンピュータ化された方法は、
第1の複数の画像にアクセスすることであって、前記第1の複数の画像の各々は、複数のユーザのうちの対応するユーザの第1の領域の第1の外形に関連付けられており、前記第1の複数の画像の各々は、前記複数のユーザの顔の第2の領域を含まない、ことと、
前記複数のユーザのうちの前記対応するユーザの前記第2の領域の第2の外形に関連付けられている第2の複数の画像にアクセスすることであって、前記第1の領域の前記第1の外形の各々は、前記第2の領域の前記第2の外形のうちの少なくとも1つに関連付けられている、ことと、
前記第1の複数の画像および前記第2の複数の画像を使用して、機械学習導出モデルを訓練して、前記第1の領域の第1の外形から前記第2の領域の第2の外形へのマッピングを生成することであって、前記マッピングは、人物の顔の前記第2の領域を含まない前記人物の前記顔の前記第1の領域の画像を入力として受信するように構成される、ことと
を含み、
前記第1の領域は、下側顔領域であり、
前記人物の前記顔の前記第1の領域の前記画像は、頭部搭載型デバイスの外向きに面した結像システムによって入手される前記下側顔領域の画像を含む、コンピュータ化された方法。 - 前記第2の領域は、完全な顔または下側顔領域である、請求項1に記載の方法。
- 前記第2の領域は、完全な顔または眼球周囲領域である、請求項2に記載の方法。
- 前記人物の前記顔の前記第1の領域の前記画像は、前記外向きに面した結像システムの外部のカメラによってさらに入手される前記下側顔領域の画像を含む、請求項4に記載の方法。
- 前記第1の外形および前記第2の外形は、顔パラメータによってエンコードされる、請求項1または請求項2に記載の方法。
- 前記顔パラメータは、3次元(3D)顔モデルの一部である、請求項6に記載の方法。
- 前記機械学習導出モデルは、前記第1の領域の前記第1の外形が前記第2の領域の前記第2の外形に合致する可能性を含む、請求項1または請求項2に記載の方法。
- 前記機械学習導出モデルは、前記第1の複数の画像および前記第2の複数の画像に関連付けられたオーディオストリームまたは眼特定の情報のうちの少なくとも1つを使用してさらに訓練される、請求項1または請求項2に記載の方法。
- 前記マッピングは、前記人物の下側顔の外形を含む追加の入力と、前記眼球周囲領域の外形を含む出力とをさらに含む、請求項1に記載の方法。
- 前記人物の前記下側顔領域の前記画像に基づいて眼球周囲領域の画像を生成するために前記マッピングをウェアラブルデバイスに通信することをさらに含む、請求項2に記載の方法。
- 内向きに面した結像システムと、
ハードウェアコンピュータプロセッサと、
ソフトウェア命令を記憶した非一過性コンピュータ読み取り可能な媒体と
を備えるコンピューティングシステムであって、
前記ソフトウェア命令は、前記コンピューティングシステムに動作を実行させるように前記ハードウェアコンピュータプロセッサによって実行可能であり、
前記動作は、
第1の複数の画像にアクセスすることであって、前記第1の複数の画像の各々は、複数のユーザのうちの対応するユーザの第1の領域の第1の外形に関連付けられており、前記第1の複数の画像の各々は、前記複数のユーザの顔の第2の領域を含まない、ことと、
前記複数のユーザのうちの前記対応するユーザの前記第2の領域の第2の外形に関連付けられている第2の複数の画像にアクセスすることであって、前記第1の領域の前記第1の外形の各々は、前記第2の領域の前記第2の外形のうちの少なくとも1つに関連付けられている、ことと、
前記第1の複数の画像および前記第2の複数の画像を使用して、機械学習導出モデルを訓練して、前記第1の領域の第1の外形から前記第2の領域の第2の外形へのマッピングを生成することであって、前記マッピングは、人物の顔の前記第2の領域を含まない前記人物の前記顔の前記第1の領域の画像を入力として受信するように構成される、ことと
を含み、
前記第1の領域は、眼球周囲領域であり、
前記人物の前記顔の前記第1の領域の前記画像は、前記内向きに面した結像システムによって入手される画像を含む、コンピューティングシステム。 - 外向きに面した結像システムと、
ハードウェアコンピュータプロセッサと、
ソフトウェア命令を記憶した非一過性コンピュータ読み取り可能な媒体と
を備えるコンピューティングシステムであって、
前記ソフトウェア命令は、前記コンピューティングシステムに動作を実行させるように前記ハードウェアコンピュータプロセッサによって実行可能であり、
前記動作は、
第1の複数の画像にアクセスすることであって、前記第1の複数の画像の各々は、複数のユーザのうちの対応するユーザの第1の領域の第1の外形に関連付けられており、前記第1の複数の画像の各々は、前記複数のユーザの顔の第2の領域を含まない、ことと、
前記複数のユーザのうちの前記対応するユーザの前記第2の領域の第2の外形に関連付けられている第2の複数の画像にアクセスすることであって、前記第1の領域の前記第1の外形の各々は、前記第2の領域の前記第2の外形のうちの少なくとも1つに関連付けられている、ことと、
前記第1の複数の画像および前記第2の複数の画像を使用して、機械学習導出モデルを訓練して、前記第1の領域の第1の外形から前記第2の領域の第2の外形へのマッピングを生成することであって、前記マッピングは、人物の顔の前記第2の領域を含まない前記人物の前記顔の前記第1の領域の画像を入力として受信するように構成される、ことと
を含み、
前記第1の領域は、下側顔領域であり、
前記人物の前記顔の前記第1の領域の前記画像は、前記外向きに面した結像システムによって入手される前記下側顔領域の画像を含む、コンピューティングシステム。 - 顔の画像を生成する方法であって、前記方法は、コンピュータプロセッサと、ユーザの眼球周囲領域を結像するように構成された内向きに面した結像システムと、オーディオセンサとを備えている頭部搭載型デバイス(HMD)の制御下で、
前記内向きに面した結像システムによって、前記ユーザの前記眼球周囲領域の画像を入手することと、
少なくとも部分的に前記画像に基づいて、前記ユーザの少なくとも前記眼球周囲領域の眼球周囲外形をエンコードする眼球周囲顔パラメータを生成することと、
前記オーディオセンサによって、前記ユーザによって発話されたオーディオストリームを入手することと、
前記オーディオストリームにおける音素を識別することと、
マッピングにアクセスすることであって、前記マッピングの入力は、音素および前記ユーザの前記眼球周囲領域の前記画像を備え、前記マッピングの出力は、前記ユーザの少なくとも下側顔の下側顔外形をエンコードする下側顔パラメータを備えている、ことと、
前記眼球周囲顔パラメータと前記下側顔パラメータとを組み合わせ、完全な顔パラメータを生成することと
を実行することを含む、方法。 - 顔の画像を生成する方法であって、前記方法は、コンピュータプロセッサと、ユーザの眼球周囲領域を結像するように構成された内向きに面した結像システムとを備えている頭部搭載型デバイス(HMD)の制御下で、
前記内向きに面した結像システムによって、前記ユーザの前記眼球周囲領域の眼球周囲画像を入手することと、
少なくとも部分的に前記画像に基づいて、前記ユーザの少なくとも前記眼球周囲領域の眼球周囲外形をエンコードする眼球周囲顔パラメータを生成することと、
前記ユーザの少なくとも下側顔の下側顔外形をエンコードする下側顔パラメータを生成するマッピングにアクセスすることであって、前記マッピングは、少なくとも部分的に前記ユーザの前記眼球周囲領域の前記眼球周囲画像に基づく、ことと、
前記眼球周囲顔パラメータと前記下側顔パラメータとを組み合わせ、完全な顔パラメータを生成することと、
少なくとも部分的に前記完全な顔パラメータに基づいて、前記顔の画像を生成することと
を実行することを含む、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022129597A JP7378553B2 (ja) | 2016-11-11 | 2022-08-16 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662421033P | 2016-11-11 | 2016-11-11 | |
US62/421,033 | 2016-11-11 | ||
JP2019521695A JP6913164B2 (ja) | 2016-11-11 | 2017-11-09 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019521695A Division JP6913164B2 (ja) | 2016-11-11 | 2017-11-09 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022129597A Division JP7378553B2 (ja) | 2016-11-11 | 2022-08-16 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021114324A JP2021114324A (ja) | 2021-08-05 |
JP7307119B2 true JP7307119B2 (ja) | 2023-07-11 |
Family
ID=62108639
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019521695A Active JP6913164B2 (ja) | 2016-11-11 | 2017-11-09 | 完全な顔画像の眼球周囲およびオーディオ合成 |
JP2021072365A Active JP7307119B2 (ja) | 2016-11-11 | 2021-04-22 | 完全な顔画像の眼球周囲およびオーディオ合成 |
JP2022129597A Active JP7378553B2 (ja) | 2016-11-11 | 2022-08-16 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019521695A Active JP6913164B2 (ja) | 2016-11-11 | 2017-11-09 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022129597A Active JP7378553B2 (ja) | 2016-11-11 | 2022-08-16 | 完全な顔画像の眼球周囲およびオーディオ合成 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10565790B2 (ja) |
EP (2) | EP3538946B1 (ja) |
JP (3) | JP6913164B2 (ja) |
KR (1) | KR102217797B1 (ja) |
IL (3) | IL296031A (ja) |
WO (1) | WO2018089691A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10708545B2 (en) | 2018-01-17 | 2020-07-07 | Duelight Llc | System, method, and computer program for transmitting face models based on face data points |
EP3404358B1 (en) * | 2016-03-07 | 2020-04-22 | Mitsubishi Electric Corporation | Map making device and map making method |
US10650227B2 (en) * | 2016-10-31 | 2020-05-12 | Google Llc | Face reconstruction from a learned embedding |
WO2018089691A1 (en) | 2016-11-11 | 2018-05-17 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
JP7211966B2 (ja) * | 2017-04-14 | 2023-01-24 | マジック リープ, インコーポレイテッド | マルチモーダル眼追跡 |
US10636193B1 (en) | 2017-06-29 | 2020-04-28 | Facebook Technologies, Llc | Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display |
US10636192B1 (en) * | 2017-06-30 | 2020-04-28 | Facebook Technologies, Llc | Generating a graphical representation of a face of a user wearing a head mounted display |
US10398855B2 (en) * | 2017-11-14 | 2019-09-03 | William T. MCCLELLAN | Augmented reality based injection therapy |
KR102661019B1 (ko) | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
CN111353943B (zh) * | 2018-12-20 | 2023-12-26 | 杭州海康威视数字技术股份有限公司 | 一种人脸图像恢复方法、装置及可读存储介质 |
CN111475206B (zh) * | 2019-01-04 | 2023-04-11 | 优奈柯恩(北京)科技有限公司 | 用于唤醒可穿戴设备的方法及装置 |
CN110097586B (zh) * | 2019-04-30 | 2023-05-30 | 青岛海信网络科技股份有限公司 | 一种人脸检测追踪方法及装置 |
US11749018B1 (en) | 2019-05-28 | 2023-09-05 | Apple Inc. | Eye enrollment for head-mounted enclosure |
US11113859B1 (en) * | 2019-07-10 | 2021-09-07 | Facebook Technologies, Llc | System and method for rendering three dimensional face model based on audio stream and image data |
CN110503942A (zh) | 2019-08-29 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的语音驱动动画方法和装置 |
US11557208B2 (en) * | 2019-10-02 | 2023-01-17 | Samsara Networks Inc. | Facial recognition technology for improving motor carrier regulatory compliance |
WO2021112365A1 (ko) * | 2019-12-02 | 2021-06-10 | 삼성전자 주식회사 | 음성 신호에서 헤드 모델 애니메이션을 생성하는 방법 및 이를 구현하는 전자 장치 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
CN111274910B (zh) | 2020-01-16 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 场景互动方法、装置及电子设备 |
EP3945498A1 (en) * | 2020-07-30 | 2022-02-02 | Tata Consultancy Services Limited | Audio-speech driven animated talking face generation using a cascaded generative adversarial network |
EP3996047A1 (en) * | 2020-11-04 | 2022-05-11 | Tata Consultancy Services Limited | Method and system for generating face animations from speech signal input |
US11803237B2 (en) | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
US11218666B1 (en) * | 2020-12-11 | 2022-01-04 | Amazon Technologies, Inc. | Enhanced audio and video capture and presentation |
US11157723B1 (en) * | 2021-02-12 | 2021-10-26 | Samsara Networks lac. | Facial recognition for drivers |
GB2606173A (en) * | 2021-04-28 | 2022-11-02 | Sony Interactive Entertainment Europe Ltd | Computer-implemented method for controlling a virtual avatar |
US20230030442A1 (en) * | 2021-07-31 | 2023-02-02 | Sony Interactive Entertainment Inc. | Telepresence robot |
JPWO2023037812A1 (ja) * | 2021-09-10 | 2023-03-16 | ||
US11740322B2 (en) * | 2021-09-10 | 2023-08-29 | Htc Corporation | Head mounted display device and position device thereof |
EP4155810A1 (en) * | 2021-09-28 | 2023-03-29 | Nokia Technologies Oy | Optical apparatus, modules and devices |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US7020305B2 (en) | 2000-12-06 | 2006-03-28 | Microsoft Corporation | System and method providing improved head motion estimations for animation |
US7257538B2 (en) * | 2002-10-07 | 2007-08-14 | Intel Corporation | Generating animation from visual and audio input |
US7255437B2 (en) | 2003-10-09 | 2007-08-14 | Howell Thomas A | Eyeglasses with activity monitoring |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
US7133048B2 (en) | 2004-06-30 | 2006-11-07 | Mitsubishi Electric Research Laboratories, Inc. | Variable multilinear models for facial synthesis |
US20060009978A1 (en) * | 2004-07-02 | 2006-01-12 | The Regents Of The University Of Colorado | Methods and systems for synthesis of accurate visible speech via transformation of motion capture data |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
CN1991982A (zh) * | 2005-12-29 | 2007-07-04 | 摩托罗拉公司 | 一种使用语音数据激励图像的方法 |
JP2010250419A (ja) * | 2009-04-13 | 2010-11-04 | Seiko Epson Corp | 目の様態を検出する画像処理装置 |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
KR101890328B1 (ko) | 2010-12-24 | 2018-08-21 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
EP3462286A1 (en) | 2011-05-06 | 2019-04-03 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
JP6250547B2 (ja) | 2011-11-23 | 2017-12-20 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元仮想現実および拡張現実表示システム |
JP5632100B2 (ja) * | 2011-11-24 | 2014-11-26 | 株式会社Nttドコモ | 表情出力装置及び表情出力方法 |
US9128522B2 (en) | 2012-04-02 | 2015-09-08 | Google Inc. | Wink gesture input for a head-mountable device |
CA3111134A1 (en) | 2012-04-05 | 2013-10-10 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
US9146397B2 (en) | 2012-05-30 | 2015-09-29 | Microsoft Technology Licensing, Llc | Customized see-through, electronic display device |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN107817555A (zh) | 2012-06-11 | 2018-03-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
JP6018707B2 (ja) | 2012-06-21 | 2016-11-02 | マイクロソフト コーポレーション | デプスカメラを使用するアバター構築 |
WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
IL293789B2 (en) | 2013-01-15 | 2023-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
IL308285B1 (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
US9094576B1 (en) | 2013-03-12 | 2015-07-28 | Amazon Technologies, Inc. | Rendered audiovisual communication |
US20140278403A1 (en) | 2013-03-14 | 2014-09-18 | Toytalk, Inc. | Systems and methods for interactive synthetic character dialogue |
CA3160567A1 (en) | 2013-03-15 | 2014-09-18 | Magic Leap, Inc. | Display system and method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
CA2927818C (en) | 2013-10-16 | 2021-11-30 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
IL305162A (en) | 2013-11-27 | 2023-10-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
WO2015117043A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
KR102207799B1 (ko) | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
EP3140780B1 (en) | 2014-05-09 | 2020-11-04 | Google LLC | Systems and methods for discerning eye signals and continuous biometric identification |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
JP6547244B2 (ja) * | 2014-06-30 | 2019-07-24 | カシオ計算機株式会社 | 動作処理装置、動作処理方法及びプログラム |
WO2016025323A1 (en) | 2014-08-10 | 2016-02-18 | Autonomix Medical, Inc. | Ans assessment systems, kits, and methods |
US10227536B2 (en) | 2014-12-01 | 2019-03-12 | Uop Llc | Methods for alternating production of distillate fuels and lube basestocks from heavy hydrocarbon feed |
GB2534580B (en) * | 2015-01-28 | 2020-06-17 | Sony Interactive Entertainment Europe Ltd | Image processing |
US20180107275A1 (en) | 2015-04-13 | 2018-04-19 | Empire Technology Development Llc | Detecting facial expressions |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US9910275B2 (en) | 2015-05-18 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
DE112016004437T5 (de) * | 2015-09-29 | 2018-07-05 | BinaryVR, Inc. | Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit |
IL297610B2 (en) | 2015-10-16 | 2023-11-01 | Magic Leap Inc | Eye position detection using eye features |
EP3185176A1 (en) | 2015-12-21 | 2017-06-28 | THOMSON Licensing | Method and device for synthesizing an image of a face partially occluded |
JP6845982B2 (ja) | 2016-01-13 | 2021-03-24 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
WO2018089691A1 (en) | 2016-11-11 | 2018-05-17 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
US11010595B2 (en) | 2017-03-23 | 2021-05-18 | Samsung Electronics Co., Ltd. | Facial verification method and apparatus |
JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
-
2017
- 2017-11-09 WO PCT/US2017/060942 patent/WO2018089691A1/en unknown
- 2017-11-09 JP JP2019521695A patent/JP6913164B2/ja active Active
- 2017-11-09 IL IL296031A patent/IL296031A/en unknown
- 2017-11-09 EP EP17870441.7A patent/EP3538946B1/en active Active
- 2017-11-09 EP EP23155488.2A patent/EP4202840A1/en active Pending
- 2017-11-09 US US15/808,516 patent/US10565790B2/en active Active
- 2017-11-09 KR KR1020197014144A patent/KR102217797B1/ko active IP Right Grant
-
2019
- 2019-05-02 IL IL266420A patent/IL266420B/en unknown
- 2019-12-19 US US16/721,625 patent/US11200736B2/en active Active
-
2021
- 2021-04-22 JP JP2021072365A patent/JP7307119B2/ja active Active
- 2021-07-20 IL IL285010A patent/IL285010B2/en unknown
- 2021-11-05 US US17/453,813 patent/US11636652B2/en active Active
-
2022
- 2022-08-16 JP JP2022129597A patent/JP7378553B2/ja active Active
Non-Patent Citations (1)
Title |
---|
Jie Zhang 他,Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt AutoEncoders,2016 IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2016年,p3428-3437 |
Also Published As
Publication number | Publication date |
---|---|
IL266420B (en) | 2021-08-31 |
JP2020507141A (ja) | 2020-03-05 |
US20180137678A1 (en) | 2018-05-17 |
IL285010A (en) | 2021-08-31 |
WO2018089691A1 (en) | 2018-05-17 |
JP2022159436A (ja) | 2022-10-17 |
EP3538946A1 (en) | 2019-09-18 |
US11200736B2 (en) | 2021-12-14 |
IL296031A (en) | 2022-10-01 |
IL285010B (en) | 2022-10-01 |
US20200226830A1 (en) | 2020-07-16 |
EP4202840A1 (en) | 2023-06-28 |
US10565790B2 (en) | 2020-02-18 |
US20220130113A1 (en) | 2022-04-28 |
EP3538946B1 (en) | 2023-02-15 |
KR102217797B1 (ko) | 2021-02-18 |
IL285010B2 (en) | 2023-02-01 |
JP2021114324A (ja) | 2021-08-05 |
KR20190084260A (ko) | 2019-07-16 |
JP7378553B2 (ja) | 2023-11-13 |
EP3538946A4 (en) | 2020-05-20 |
IL266420A (en) | 2019-06-30 |
JP6913164B2 (ja) | 2021-08-04 |
US11636652B2 (en) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7307119B2 (ja) | 完全な顔画像の眼球周囲およびオーディオ合成 | |
JP7186844B2 (ja) | ウェアラブルデバイスによる顔モデル捕捉 | |
KR102402467B1 (ko) | 혼합 현실 교정을 위한 안구주위 테스트 | |
JP2023096152A (ja) | 眼追跡カメラからの顔の表情 | |
JP7459050B2 (ja) | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 | |
JP2023100853A (ja) | アバタ移動のためのマルチモードの手の場所および配向 | |
US20230281988A1 (en) | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device | |
US12020381B2 (en) | Object interactivity in virtual space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7307119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |