JP6342458B2 - ビデオにおける改良型の顔面認識 - Google Patents
ビデオにおける改良型の顔面認識 Download PDFInfo
- Publication number
- JP6342458B2 JP6342458B2 JP2016157490A JP2016157490A JP6342458B2 JP 6342458 B2 JP6342458 B2 JP 6342458B2 JP 2016157490 A JP2016157490 A JP 2016157490A JP 2016157490 A JP2016157490 A JP 2016157490A JP 6342458 B2 JP6342458 B2 JP 6342458B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- sensor
- computer system
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims description 28
- 238000000034 method Methods 0.000 claims description 98
- 230000033001 locomotion Effects 0.000 claims description 50
- 210000003128 head Anatomy 0.000 claims description 42
- 210000001747 pupil Anatomy 0.000 claims description 37
- 230000004044 response Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 13
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 52
- 230000005855 radiation Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 27
- 238000013459 approach Methods 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000001525 retina Anatomy 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Details Of Television Systems (AREA)
- Studio Devices (AREA)
- Collating Specific Patterns (AREA)
Description
付記
1.顔面認識のためにビデオフレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された1つ以上のコンピューティングシステムの制御下で、
電子装置上のビデオ情報の取り込みを開始することと、
人間の頭部を示す前記ビデオ情報における少なくとも1つの特徴を検出することと、
前記少なくとも1つの特徴を検出することに応答して、前記人間を赤外線(IR)光の少なくとも1つの波長で照射し、前記人間から反射し戻るIR光を検出するよう動作可能な前記電子装置の少なくとも1つのIR画像化機構を作動させることと、
前記反射したIR光において前記人間の瞳孔に対応する特徴を検出することと、
前記反射したIR光における前記検出された特徴の方位、測定、または焦点のレベルの少なくとも1つを判断するために前記検出された特徴を解析することと、
前記検出された特徴の前記方位、測定、または焦点のレベルの少なくとも1つが特定の選択基準に合うときにビデオ情報の現在のフレームを選択することと、
前記選択されたフレーム上で顔面認識を実行することと、を含む、コンピュータで実施される方法。
2.ビデオ情報の現在のフレームを選択することは、検出されたIR反射が、人間の目に対応する前記検出された特徴を示すという判断に更に基づく、付記1のコンピュータで実施される方法。
3.前記少なくとも1つのIR画像化機構は、特定周波数の放出でIR光のパルスを放出するよう動作可能である、付記1のコンピュータで実施される方法。
4.ビデオ情報の取り込みを開始する前に前記電子装置の近くの動きを検出することを更に含む、付記1のコンピュータで実施される方法。
5.処理のために画像フレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された1つ以上のコンピューティングシステムの制御下で、
少なくとも1つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得することと、
前記一連の画像フレームの少なくとも一部における人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に、少なくとも1つの方位判断プロセスを実行することと、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記少なくとも1つの画像取り込み素子の方に実質的に向いているという、前記少なくとも1つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの1つを選択することと、
前記選択されたフレームを処理のために提供することと、を含む、コンピュータで実施される方法。
6.前記少なくとも1つの方位プロセスは、
前記少なくとも1つの画像取り込み素子の取り込み方向においてIR放射の少なくとも1つの波長を放出することと、
反射したIR放射を検出することと、
人間の目に対応する前記反射したIR放射における1つ以上の特徴の位置を突き止めることと、を含む、付記5のコンピュータで実施される方法。
7.前記少なくとも1つの方位プロセスは、
少なくとも2つの音声取り込み素子を用いて音声情報を取り込むことと、
少なくとも前記音声情報の源の方向を判断することと、を含み、
前記画像フレームの1つを選択することは、前記判断された方向に少なくとも一部更に基づく、付記6のコンピュータで実施される方法。
8.前記少なくとも1つの方位プロセスは、
前記少なくとも1つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも1つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、付記6のコンピュータで実施される方法。
9.前記画像フレームの1つを選択することは、前記少なくとも1つの画像取り込み素子が、画像化される人間に対して実質的に静止していることを判断される時間に対応する画像フレームを選択することを含む、付記5のコンピュータで実施される方法。
10.前記画像フレームの1つを選択することは、動きセンサが、前記少なくとも1つの画像取り込み素子に対して前記画像フレームにおいて取り込まれることが可能な対象の運動の最大閾値未満を検出する時間に対応する画像フレームを選択することを含む、付記5のコンピュータで実施される方法。
11.前記少なくとも1つの画像取り込み素子は、検出された動き、検出された熱特徴、検出されたIR反射の種類、または音声情報の閾値量の少なくとも1つに応答して、前記一連の画像を取り込むように構成される、付記5のコンピュータで実施される方法。
12.前記少なくとも1つの方位判断プロセスを実行する前に、少なくとも1つの頭部検出プロセスを実行することを更に含む、付記5のコンピュータで実施される方法。
13.前記少なくとも1つの方位判断プロセスは、人間の顔面の形状または輪郭に一致する前記一連の画像における少なくとも1つの特徴の位置を突き止めることに応答して、開始される、付記12のコンピュータで実施される方法。
14.処理することは、前記選択されたフレーム上で顔面認識または識別認証を実行することの少なくとも1つを含む、付記5のコンピュータで実施される方法。
15.前記一連から前記画像フレームの1つを選択することは、前記少なくとも1つの方位判断プロセスにおいて検出されるぶれの判断量に少なくとも一部更に依存する、付記5のコンピュータで実施される方法。
16.前記少なくとも1つの方位判断プロセスは、3次元の、立体的な、またはマルチカメラの画像化の少なくとも1つを含む、付記5のコンピュータで実施される方法。
17.前記選択されたフレームにおいて取り込まれたユーザの身元を認証することに応答して、判断された機能に安全にアクセスできることを更に含む、付記5のコンピュータで実施される方法。
18.顔面認識のためにビデオフレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された1つ以上のコンピューティングシステムの制御下で、
電子装置の近くの動きを検出することと、
動きを検出することに応答して、赤外線(IR)光の少なくとも1つの波長でIR画像化機構の視野内の人間を照射し、前記人間から反射し戻ったIR光を検出するよう動作可能な前記電子装置の少なくとも1つの前記IR画像化機構を作動させることと、
前記反射したIR光において前記人間の角膜に対応する特徴を検出することと、
前記特徴の検出に応答して、前記電子装置上でビデオ情報の取り込みを開始することと、
前記検出された特徴の方位、測定、または焦点のレベルの少なくとも1つが特定の選択基準に合うときに、ビデオ情報の現在のフレームを選択することと、
前記選択されたフレーム上で顔面認識を実行することと、を含む、コンピュータで実施される方法。
19.ビデオ情報の現在のフレームを選択することは、前記反射したIRが、実際の人間の目に対応する特徴であって、人間の目の画像ではない前記検出された特徴を示すという判断に更に基づく、付記18のコンピュータで実施される方法。
20.前記少なくとも1つのIR画像化機構は、赤外線源に実質的に隣接する第1のセンサと、前記電子装置上で前記赤外線源から離れた距離に位置付けられた第2のセンサとを含む、付記18のコンピュータで実施される方法。
21.コンピューティング装置であって、
プロセッサと、
少なくとも1つの画像取り込み素子と、
命令であって、前記プロセッサによって実行されるときに、前記コンピューティング装置に、
少なくとも1つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得させ、
前記一連の画像フレームの少なくとも一部における人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも1つの方位判断プロセスを実行させ、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記コンピューティング装置の方に実質的に向いているという、前記少なくとも1つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの1つを選択させ、
前記選択されたフレーム上で顔面認識を実行させる、命令を含むメモリ装置と、を備える、コンピューティング装置。
22.少なくとも1つの赤外線(IR)エミッタと、
少なくとも1つのIR受信機と、を更に備え、
前記少なくとも1つの方位プロセスは、
少なくとも1つのIRエミッタを用いてIR放射の少なくとも1つの波長を放出することと、
前記電子装置の少なくとも1つのIR検出器を用いて反射したIR放射を検出することと、
人間の目に対応する前記反射したIR放射における1つ以上の特徴の位置を突き止めることと、を含む、付記21のコンピューティング装置。
23.少なくとも2つの音声取り込み素子を更に備え、
前記少なくとも1つの方位プロセスは、
少なくとも2つの音声取り込み素子を用いて音声情報を取り込むことと、
少なくとも前記音声情報の源の方向を判断することと、を含み、
前記画像フレームの1つを選択することは、前記判断された方向に少なくとも一部更に基づく、付記21のコンピューティング装置。
24.前記コンピューティング装置の筺体の少なくとも一部上にタッチセンシティブ器具または圧力センシティブ器具の少なくとも1つを更に備え、
前記少なくとも1つの方位プロセスは、前記少なくとも1つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも1つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、付記21のコンピューティング装置。
25.少なくとも1つの動き判断素子を更に備え、
前記一連から前記画像フレームの1つを前記選択することは、前記少なくとも1つの動き判断素子によって判断されるように、前記コンピューティング装置が、実質的に静止していることに更に基づく、付記21のコンピューティング装置。
26.処理用の画像フレームを選択するために命令を格納する非一時的コンピュータ可読記憶媒体であって、プロセッサによって実行されるときに、前記命令が、前記プロセッサに、
少なくとも1つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得させ、
前記一連の画像フレームの少なくとも一部における人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも1つの方位判断プロセスを実行させ、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記コンピューティング装置の方に実質的に向いているという、前記少なくとも1つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの1つを選択させ、
前記選択されたフレーム上で顔面認識を実行させる、非一時的コンピュータ可読記憶媒体。
27.前記命令は、実行されるときに、前記プロセッサに、更に、
前記少なくとも1つの画像取り込み素子の取り込み方向においてIR放射の少なくとも1つの波長を放出させ、
反射したIR放射を検出させ、
人間に対応する前記反射したIR放射における1つ以上の特徴の位置を突き止めさせる、付記26の非一時的コンピュータ可読記憶媒体。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]処理用の画像フレームを選択するコンピュータで実施される方法であって、
実行可能な命令で構成された1つ以上のコンピューティングシステムの制御下で、
少なくとも1つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得することと、
前記一連の画像フレームの少なくとも一部において人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも1つの方位判断プロセスを実行することと、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記少なくとも1つの画像取り込み素子の方に実質的に向いているという、前記少なくとも1つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの1つを選択することと、
処理のために前記選択されたフレームを提供することと、を含む、コンピュータで実施される方法。
[2]前記少なくとも1つの方位プロセスは、
前記少なくとも1つの画像取り込み素子の取り込み方向においてIR放射の少なくとも1つの波長を放出することと、
反射したIR放射を検出することと、
人間の目に対応する前記反射したIR放射における1つ以上の特徴の位置を突き止めることと、を含む、[1]に記載のコンピュータで実施される方法。
[3]前記少なくとも1つの方位プロセスは、
少なくとも2つの音声取り込み素子を用いて音声情報を取り込むことと、
少なくとも前記音声情報の源の方向を判断することと、を含み、
前記画像フレームの1つを選択することは、前記判断された方向の少なくとも一部に更に基づく、[1]に記載のコンピュータで実施される方法。
[4]前記少なくとも1つの方位プロセスは、
前記少なくとも1つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも1つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、[1]に記載のコンピュータで実施される方法。
[5]前記画像フレームの1つを選択することは、前記少なくとも1つの画像取り込み素子が、画像化される人間に対して実質的に静止していることを判断される時間に対応する画像フレームを選択することを含む、[1]に記載のコンピュータで実施される方法。
[6]前記画像フレームの1つを選択することは、動きセンサが、前記少なくとも1つの画像取り込み素子に関して前記画像フレームにおいて取り込まれることが可能な対象の運動の最大閾値未満を検出する時間に対応する画像フレームを選択することを含む、[1]に記載のコンピュータで実施される方法。
[7]前記少なくとも1つの画像取り込み素子は、検出された動き、検出された熱特徴、検出されたIR反射の種類、または音声情報の閾値量の少なくとも1つに応答して、前記一連の画像を取り込むように構成される、[1]に記載のコンピュータで実施される方法。
[8]前記少なくとも1つの方位判断プロセスは、人間の顔面の形状または輪郭に一致する前記一連の画像における少なくとも1つの特徴の位置を突き止めることに応答して開始される、[1]に記載のコンピュータで実施される方法。
[9]処理することは、前記選択されたフレーム上で顔面認識または識別認証を実行することの少なくとも1つを含む、[1]に記載のコンピュータで実施される方法。
[10]前記選択されたフレームにおいて取り込まれたユーザの身元を認証することに応答して判断された機能に安全にアクセスできるようにすることを更に含む、[1]に記載のコンピュータで実施される方法。
[11]コンピューティング装置であって、
プロセッサと、
少なくとも1つの画像取り込み素子と、
命令であって、前記プロセッサによって実行されるときに、前記コンピューティング装置に、
少なくとも1つの画像取り込み素子を用いて取り込まれた一連の画像フレームを取得させ、
前記一連の画像フレームの少なくとも一部において人間の相対的方位を判断するために、前記一連の画像フレームを取得する頃に少なくとも1つの方位判断プロセスを実行させ、
前記人間が、選択される画像フレームの取り込みの時間に実質的に対応する時間に前記コンピューティング装置の方へ実質的に向いているという、前記少なくとも1つの方位判断プロセスによる判断に応答して、前記一連から前記画像フレームの1つを選択させ、
前記選択されたフレーム上で顔面認識を実行させる、命令を含むメモリ装置と、を備える、コンピューティング装置。
[12]少なくとも1つの赤外線(IR)エミッタと、
少なくとも1つのIR受信機と、を更に備え、
前記少なくとも1つの方位プロセスは、
少なくとも1つのIRエミッタを用いてIR放射の少なくとも1つの波長を放出することと、
電子装置の少なくとも1つのIR検出器を用いて反射したIR放射を検出することと、
人間の目に対応する前記反射したIR放射における1つ以上の特徴の位置を突き止めることと、を含む、[11]に記載のコンピューティング装置。
[13]少なくとも2つの音声取り込み素子を更に備え、
前記少なくとも1つの方位プロセスは、
少なくとも2つの音声取り込み素子を用いて音声情報を取り込むことと、
少なくとも前記音声情報の源の方向を判断することと、を含み
前記画像フレームの1つを選択することは、前記判断された方向に少なくとも一部更に基づく、[11]に記載のコンピューティング装置。
[14]前記コンピューティング装置の筺体の少なくとも一部上にタッチセンシティブ器具または圧力センシティブ器具の少なくとも1つを更に備え、
前記少なくとも1つの方位プロセスは、前記少なくとも1つの取り込み素子を含む電子装置の一部に関する動きまたは圧力の少なくとも1つを判断することを含み、前記動きまたは圧力は、前記電子装置に識別されることになる人間からの入力に対応する、[11]に記載のコンピューティング装置。
[15]少なくとも1つの動き判断素子を更に備え、
前記一連から前記画像フレームの1つを前記選択することは、前記コンピューティング装置が、前記少なくとも1つの動き判断素子によって判断されるように、実質的に静止していることに更に基づく、[11]に記載のコンピューティング装置。
Claims (10)
- コンピュータシステムにおいて、
少なくとも1つの波長の赤外(IR)光の少なくとも1つの源と、
前記少なくとも1つの波長のIR光を取り込むように構成されている少なくとも1つのセンサと、
少なくとも1つのプロセッサと、
命令を含むメモリとを具備し、
前記命令は、前記少なくとも1つのプロセッサによって実行されるとき、前記コンピュータシステムに、
前記少なくとも1つの波長のIR光により人間を照光するように、前記少なくとも1つの源を起動させ、
前記少なくとも1つのセンサから第1の画像データを受け取らせ、
前記第1の画像データによって表され、前記人間の瞳孔に潜在的に対応する特徴を、反射されたIR光中で検出させ、
前記第1の画像データを解析させて、前記第1の画像データ中に前記瞳孔が表されていることを決定させ、
前記瞳孔が前記第1の画像データ中に表されていることに少なくとも部分的に基づいて、前記第1の画像データの一部を選択させ、および
前記第1の画像データの前記一部について顔面認識を実行させるコンピュータシステム。 - 少なくとも1つの画像センサをさらに具備し、
前記メモリは、
前記少なくとも1つのプロセッサによって実行されるとき、前記コンピュータシステムにさらに、
前記少なくとも1つの画像センサを使用させて、前記人間の第2の画像データを発生させ、
前記第2の画像データ上で顔面認識を実行させる命令を含む請求項1記載のコンピュータシステム。 - 前記メモリは、
前記少なくとも1つのプロセッサによって実行されるとき、前記コンピュータシステムにさらに、
前記第1の画像データを解析させて、前記少なくとも1つのセンサの方に前記人間が実質的に向いていることを決定させ、
前記少なくとも1つのセンサの方に前記人間が実質的に向いていることを決定することに応答して、前記第2の画像データを発生させる命令を含む請求項2記載のコンピュータシステム。 - 少なくとも1つの音声センサをさらに具備し、
前記メモリは、
前記少なくとも1つのプロセッサによって実行されるとき、前記コンピュータシステムにさらに、
前記少なくとも1つの音声センサを使用させて、音声データを発生させ、
前記音声データ上で音声認識を実行させる命令を含む請求項1記載のコンピュータシステム。 - 少なくとも1つのビデオセンサをさらに具備し、
前記メモリは、
前記少なくとも1つのプロセッサによって実行されるとき、前記コンピュータシステムにさらに、
前記少なくとも1つのビデオセンサを使用させて、ビデオデータを発生させ、
人間の頭部を示す少なくとも1つの特徴を、前記ビデオデータ中で検出させ、
前記少なくとも1つの特徴を検出することに応答して、前記少なくとも1つの波長のIR光により前記人間を照光するように、前記少なくとも1つの源を起動させる命令を含む請求項1記載のコンピュータシステム。 - 少なくとも1つの動きセンサをさらに具備し、
前記メモリは、
前記少なくとも1つのプロセッサによって実行されるとき、前記コンピュータシステムにさらに、
前記少なくとも1つの動きセンサを使用させて、前記コンピュータシステムの近くの動きを検出させ、
前記動きを検出することに応答して、前記少なくとも1つのビデオセンサを使用させて、前記ビデオデータを発生させる命令を含む請求項5記載のコンピュータシステム。 - 前記少なくとも1つの源は、特定パルス周波数においてIR光のパルスを放出するように動作可能である請求項1記載のコンピュータシステム。
- 実行可能な命令を有するように構成されている1つ以上のコンピュータシステムの制御下で、コンピュータにより実現される方法において、
前記方法は、
赤外(IR)光の少なくとも1つの源を起動させ、前記源は、少なくとも1つの波長のIR光により人間を照光するように構成されていることと、
前記少なくとも1つの波長のIR光を取り込むように構成されている少なくとも1つのセンサから、第1の画像データを受け取ることと、
前記第1の画像データによって表され、前記人間の瞳孔に潜在的に対応する特徴を、反射されたIR光中で検出することと、
前記第1の画像データを解析して、前記第1の画像データ中に前記瞳孔が表されていることを決定することと、および
前記第1の画像データの一部について顔面認識を実行することとを含むコンピュータにより実現される方法。 - 前記第1の画像データを解析して、前記少なくとも1つのセンサの方に前記人間が実質的に向いていることを決定することと、
前記少なくとも1つのセンサの方に前記人間が実質的に向いていることを決定することに応答して、少なくとも1つの画像センサを使用して、第2の画像データを発生させることと、
前記第2の画像データ上で顔面認識を実行することとをさらに含む請求項8記載のコンピュータにより実現される方法。 - 少なくとも1つの音声センサを使用して、音声データを発生させることと、
前記音声データ上で音声認識を実行することとをさらに含む請求項8記載のコンピュータにより実現される方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/158,328 | 2011-06-10 | ||
US13/158,328 US8705812B2 (en) | 2011-06-10 | 2011-06-10 | Enhanced face recognition in video |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014514880A Division JP5989768B2 (ja) | 2011-06-10 | 2012-06-08 | ビデオにおける改良型の顔面認識 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017021812A JP2017021812A (ja) | 2017-01-26 |
JP6342458B2 true JP6342458B2 (ja) | 2018-06-13 |
Family
ID=47293239
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014514880A Expired - Fee Related JP5989768B2 (ja) | 2011-06-10 | 2012-06-08 | ビデオにおける改良型の顔面認識 |
JP2016157490A Active JP6342458B2 (ja) | 2011-06-10 | 2016-08-10 | ビデオにおける改良型の顔面認識 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014514880A Expired - Fee Related JP5989768B2 (ja) | 2011-06-10 | 2012-06-08 | ビデオにおける改良型の顔面認識 |
Country Status (5)
Country | Link |
---|---|
US (3) | US8705812B2 (ja) |
EP (1) | EP2718871B1 (ja) |
JP (2) | JP5989768B2 (ja) |
CN (2) | CN104137118B (ja) |
WO (1) | WO2012170803A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130050395A1 (en) * | 2011-08-29 | 2013-02-28 | DigitalOptics Corporation Europe Limited | Rich Mobile Video Conferencing Solution for No Light, Low Light and Uneven Light Conditions |
US8705812B2 (en) | 2011-06-10 | 2014-04-22 | Amazon Technologies, Inc. | Enhanced face recognition in video |
US9348466B2 (en) * | 2011-06-24 | 2016-05-24 | Hewlett-Packard Development Company, L.P. | Touch discrimination using fisheye lens |
US9129400B1 (en) * | 2011-09-23 | 2015-09-08 | Amazon Technologies, Inc. | Movement prediction for image capture |
US8971574B2 (en) * | 2011-11-22 | 2015-03-03 | Ulsee Inc. | Orientation correction method for electronic device used to perform facial recognition and electronic device thereof |
US9082004B2 (en) * | 2011-12-15 | 2015-07-14 | The Nielsen Company (Us), Llc. | Methods and apparatus to capture images |
US10150025B2 (en) * | 2012-02-10 | 2018-12-11 | Envisionbody, Llc | Process to aid in motivation of personal fitness, health monitoring and validation of user |
US8769557B1 (en) | 2012-12-27 | 2014-07-01 | The Nielsen Company (Us), Llc | Methods and apparatus to determine engagement levels of audience members |
US10216266B2 (en) * | 2013-03-14 | 2019-02-26 | Qualcomm Incorporated | Systems and methods for device interaction based on a detected gaze |
TWI637348B (zh) * | 2013-04-11 | 2018-10-01 | 緯創資通股份有限公司 | 影像顯示裝置和影像顯示方法 |
US9342877B2 (en) * | 2013-08-22 | 2016-05-17 | Glasses.Com Inc. | Scaling a three dimensional model using a reflection of a mobile device |
US20160227320A1 (en) * | 2013-09-12 | 2016-08-04 | Wolfson Dynamic Hearing Pty Ltd. | Multi-channel microphone mapping |
US10489912B1 (en) * | 2013-12-20 | 2019-11-26 | Amazon Technologies, Inc. | Automated rectification of stereo cameras |
US9483997B2 (en) | 2014-03-10 | 2016-11-01 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using infrared signaling |
EP3118811B1 (en) * | 2014-03-13 | 2023-05-03 | Nec Corporation | Detecting device, detecting method, and recording medium |
US9462230B1 (en) | 2014-03-31 | 2016-10-04 | Amazon Technologies | Catch-up video buffering |
US20150317464A1 (en) * | 2014-04-30 | 2015-11-05 | Motorola Mobility Llc | Selective Infrared Filtering for Imaging-Based User Authentication and Visible Light Imaging |
US9696414B2 (en) | 2014-05-15 | 2017-07-04 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using sonic signaling |
US10070291B2 (en) | 2014-05-19 | 2018-09-04 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth |
JP6383218B2 (ja) * | 2014-08-21 | 2018-08-29 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 |
JP6371637B2 (ja) * | 2014-08-21 | 2018-08-08 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 |
US9817635B1 (en) | 2015-02-24 | 2017-11-14 | Open Invention Netwotk LLC | Processing multiple audio signals on a device |
US20170285739A1 (en) * | 2016-04-04 | 2017-10-05 | International Business Machines Corporation | Methods and Apparatus for Repositioning a Computer Display Based on Eye Position |
US10509952B2 (en) * | 2016-08-30 | 2019-12-17 | Irida Labs S.A. | Fast, embedded, hybrid video face recognition system |
US10198818B2 (en) * | 2016-10-12 | 2019-02-05 | Intel Corporation | Complexity reduction of human interacted object recognition |
US11042725B2 (en) * | 2016-12-16 | 2021-06-22 | Keylemon Sa | Method for selecting frames used in face processing |
US20180189547A1 (en) * | 2016-12-30 | 2018-07-05 | Intel Corporation | Biometric identification system |
CN107273840A (zh) * | 2017-06-08 | 2017-10-20 | 天津大学 | 一种基于现实世界图像的面部识别方法 |
DE102017115136A1 (de) * | 2017-07-06 | 2019-01-10 | Bundesdruckerei Gmbh | Vorrichtung und Verfahren zur Erfassung von biometrischen Merkmalen eines Gesichts einer Person |
CN108564052A (zh) * | 2018-04-24 | 2018-09-21 | 南京邮电大学 | 基于mtcnn的多摄像头动态人脸识别***与方法 |
KR102522415B1 (ko) | 2018-05-15 | 2023-04-17 | 삼성전자주식회사 | 전자 장치의 객체 인증 장치 및 방법 |
US10607064B2 (en) * | 2018-05-21 | 2020-03-31 | Himax Technologies Limited | Optical projection system and optical projection method |
US11430447B2 (en) * | 2019-11-15 | 2022-08-30 | Qualcomm Incorporated | Voice activation based on user recognition |
CN111401315B (zh) * | 2020-04-10 | 2023-08-22 | 浙江大华技术股份有限公司 | 基于视频的人脸识别方法、识别装置及存储装置 |
JP7163352B2 (ja) * | 2020-11-06 | 2022-10-31 | 株式会社ソニー・インタラクティブエンタテインメント | 入力デバイス |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0761314B2 (ja) * | 1991-10-07 | 1995-07-05 | コナミ株式会社 | 網膜反射光量測定装置及び該装置を用いた視線検出装置 |
JP3119558B2 (ja) * | 1994-05-16 | 2000-12-25 | ホーユーテック株式会社 | 顔画像データ取り込み方法および装置並びにシステム |
EP0909431B1 (en) * | 1996-06-06 | 2002-05-08 | BRITISH TELECOMMUNICATIONS public limited company | Personal identification |
JPH10243494A (ja) * | 1997-03-03 | 1998-09-11 | Nippon Telegr & Teleph Corp <Ntt> | 顔方向認識方法及び装置 |
US7634662B2 (en) | 2002-11-21 | 2009-12-15 | Monroe David A | Method for incorporating facial recognition technology in a multimedia surveillance system |
US6757422B1 (en) * | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
GB9908545D0 (en) * | 1999-04-14 | 1999-06-09 | Canon Kk | Image processing apparatus |
US7095901B2 (en) | 2001-03-15 | 2006-08-22 | Lg Electronics, Inc. | Apparatus and method for adjusting focus position in iris recognition system |
US6920236B2 (en) * | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
US7027619B2 (en) * | 2001-09-13 | 2006-04-11 | Honeywell International Inc. | Near-infrared method and system for use in face detection |
CA2359269A1 (en) * | 2001-10-17 | 2003-04-17 | Biodentity Systems Corporation | Face imaging system for recordal and automated identity confirmation |
US6665426B1 (en) * | 2002-01-29 | 2003-12-16 | West Virginia University Research Corporation | Method of biometric identification of an individual and associated apparatus |
AU2003280516A1 (en) * | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
JP2004252511A (ja) * | 2003-02-18 | 2004-09-09 | Hitachi Ltd | 顔向き推定方法 |
JP2004295572A (ja) * | 2003-03-27 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 認証対象画像撮像装置及びその撮像方法 |
US7526193B2 (en) * | 2003-07-15 | 2009-04-28 | Omron Corporation | Object determining device and imaging apparatus |
US7324664B1 (en) | 2003-10-28 | 2008-01-29 | Hewlett-Packard Development Company, L.P. | Method of and system for determining angular orientation of an object |
JP2005227957A (ja) * | 2004-02-12 | 2005-08-25 | Mitsubishi Electric Corp | 最適顔画像記録装置及び最適顔画像記録方法 |
JP4059224B2 (ja) * | 2004-04-13 | 2008-03-12 | 株式会社デンソー | 運転者の外観認識システム |
US7469060B2 (en) * | 2004-11-12 | 2008-12-23 | Honeywell International Inc. | Infrared face detection and recognition system |
US8614676B2 (en) * | 2007-04-24 | 2013-12-24 | Kuo-Ching Chiang | User motion detection mouse for electronic device |
KR100608596B1 (ko) * | 2004-12-28 | 2006-08-03 | 삼성전자주식회사 | 얼굴 검출을 기반으로 하는 휴대용 영상 촬영 기기 및영상 촬영 방법 |
JP2006251266A (ja) * | 2005-03-10 | 2006-09-21 | Hitachi Ltd | 視聴覚連携認識方法および装置 |
CN101199207A (zh) * | 2005-04-13 | 2008-06-11 | 皮克索尔仪器公司 | 用于独立于说话者特征测量音频视频同步的方法、***和程序产品 |
ATE507762T1 (de) * | 2005-09-27 | 2011-05-15 | Penny Ab | Vorrichtung zur kontrolle eines externen geräts |
US20110298829A1 (en) * | 2010-06-04 | 2011-12-08 | Sony Computer Entertainment Inc. | Selecting View Orientation in Portable Device via Image Analysis |
US9250703B2 (en) * | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
JP2008052510A (ja) * | 2006-08-24 | 2008-03-06 | Oki Electric Ind Co Ltd | 虹彩撮像装置、虹彩認証装置、虹彩撮像方法、虹彩認証方法 |
US7860382B2 (en) * | 2006-10-02 | 2010-12-28 | Sony Ericsson Mobile Communications Ab | Selecting autofocus area in an image |
US7706579B2 (en) * | 2006-12-21 | 2010-04-27 | Sony Ericsson Communications Ab | Image orientation for display |
JP4939968B2 (ja) * | 2007-02-15 | 2012-05-30 | 株式会社日立製作所 | 監視画像処理方法、監視システム及び監視画像処理プログラム |
US8063929B2 (en) | 2007-05-31 | 2011-11-22 | Eastman Kodak Company | Managing scene transitions for video communication |
JP4999570B2 (ja) * | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
JP2009017030A (ja) | 2007-07-02 | 2009-01-22 | Sony Corp | 画像撮像装置、撮像制御方法 |
US8358328B2 (en) * | 2008-11-20 | 2013-01-22 | Cisco Technology, Inc. | Multiple video camera processing for teleconferencing |
CN101751551B (zh) * | 2008-12-05 | 2013-03-20 | 比亚迪股份有限公司 | 一种基于图像的人脸识别方法、装置、***及设备 |
JP5483899B2 (ja) * | 2009-02-19 | 2014-05-07 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
JP2010231350A (ja) | 2009-03-26 | 2010-10-14 | Toshiba Corp | 人物識別装置、そのプログラム、及び、その方法 |
US8681239B2 (en) * | 2009-04-07 | 2014-03-25 | Panasonic Corporation | Image capturing device, image capturing method, program, and integrated circuit |
US8254633B1 (en) * | 2009-04-21 | 2012-08-28 | Videomining Corporation | Method and system for finding correspondence between face camera views and behavior camera views |
US8275205B2 (en) | 2009-07-23 | 2012-09-25 | Honeywell International Inc. | Prioritizer system for target acquisition |
US8599238B2 (en) | 2009-10-16 | 2013-12-03 | Apple Inc. | Facial pose improvement with perspective distortion correction |
TW201205271A (en) * | 2010-07-29 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Electronic device with power saving mode and power saving control method thereof |
KR20120057033A (ko) * | 2010-11-26 | 2012-06-05 | 한국전자통신연구원 | Iptv 제어를 위한 원거리 시선 추적 장치 및 방법 |
US8705812B2 (en) * | 2011-06-10 | 2014-04-22 | Amazon Technologies, Inc. | Enhanced face recognition in video |
KR101381439B1 (ko) * | 2011-09-15 | 2014-04-04 | 가부시끼가이샤 도시바 | 얼굴 인식 장치 및 얼굴 인식 방법 |
US9443289B2 (en) * | 2013-06-21 | 2016-09-13 | Xerox Corporation | Compensating for motion induced artifacts in a physiological signal extracted from multiple videos |
-
2011
- 2011-06-10 US US13/158,328 patent/US8705812B2/en active Active
-
2012
- 2012-06-08 CN CN201280036173.8A patent/CN104137118B/zh active Active
- 2012-06-08 CN CN201811198744.3A patent/CN109446947B/zh active Active
- 2012-06-08 EP EP12797673.6A patent/EP2718871B1/en active Active
- 2012-06-08 JP JP2014514880A patent/JP5989768B2/ja not_active Expired - Fee Related
- 2012-06-08 WO PCT/US2012/041531 patent/WO2012170803A1/en unknown
-
2014
- 2014-01-09 US US14/151,717 patent/US8897510B2/en active Active
- 2014-11-24 US US14/552,378 patent/US9355301B2/en active Active
-
2016
- 2016-08-10 JP JP2016157490A patent/JP6342458B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012170803A1 (en) | 2012-12-13 |
CN104137118A (zh) | 2014-11-05 |
US9355301B2 (en) | 2016-05-31 |
US8897510B2 (en) | 2014-11-25 |
US20150078623A1 (en) | 2015-03-19 |
JP5989768B2 (ja) | 2016-09-07 |
CN109446947B (zh) | 2020-07-17 |
EP2718871B1 (en) | 2019-08-07 |
CN109446947A (zh) | 2019-03-08 |
US8705812B2 (en) | 2014-04-22 |
EP2718871A1 (en) | 2014-04-16 |
JP2017021812A (ja) | 2017-01-26 |
CN104137118B (zh) | 2018-11-09 |
EP2718871A4 (en) | 2015-04-29 |
JP2014519665A (ja) | 2014-08-14 |
US20120314914A1 (en) | 2012-12-13 |
US20140126777A1 (en) | 2014-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6342458B2 (ja) | ビデオにおける改良型の顔面認識 | |
JP2014519665A6 (ja) | ビデオにおける改良型の顔面認識 | |
US10108961B2 (en) | Image analysis for user authentication | |
US11100608B2 (en) | Determining display orientations for portable devices | |
US9274597B1 (en) | Tracking head position for rendering content | |
US9557811B1 (en) | Determining relative motion as input | |
US10217286B1 (en) | Realistic rendering for virtual reality applications | |
US9563272B2 (en) | Gaze assisted object recognition | |
JP5833231B2 (ja) | デバイス相互作用を用いる空間情報の使用 | |
US8743051B1 (en) | Mirror detection-based device functionality | |
US8942434B1 (en) | Conflict resolution for pupil detection | |
US9405918B2 (en) | Viewer-based device control | |
US10139898B2 (en) | Distracted browsing modes | |
US9049983B1 (en) | Ear recognition as device input | |
CN105917292B (zh) | 利用多个光源和传感器的眼睛注视检测 | |
US9367951B1 (en) | Creating realistic three-dimensional effects | |
US9529428B1 (en) | Using head movement to adjust focus on content of a display | |
JP2020514897A (ja) | 仮想現実に基づいたサービス制御およびユーザ識別認証 | |
US9857869B1 (en) | Data optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6342458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |