JP5529103B2 - 顔方向の検出方法および情報処理機器 - Google Patents
顔方向の検出方法および情報処理機器 Download PDFInfo
- Publication number
- JP5529103B2 JP5529103B2 JP2011252153A JP2011252153A JP5529103B2 JP 5529103 B2 JP5529103 B2 JP 5529103B2 JP 2011252153 A JP2011252153 A JP 2011252153A JP 2011252153 A JP2011252153 A JP 2011252153A JP 5529103 B2 JP5529103 B2 JP 5529103B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- face recognition
- image data
- display
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims description 97
- 230000008569 process Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 26
- 230000007704 transition Effects 0.000 claims description 19
- 230000007423 decrease Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims 3
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 210000000887 face Anatomy 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Power Sources (AREA)
Description
図1は、本実施の形態にかかるノートブック型パーソナル・コンピュータ(ノートPC)10のハードウェアおよびソフトウェアの構成を示す機能ブロック図である。図1において、カメラ・モジュール11、入力デバイス13、ディスプレイ25およびディスプレイに付随するバックライトはハードウェアであり、その他の要素はプロセッサおよびメイン・メモリなどのハードウェア資源とソフトウェア資源との協働作業により実現される。ソフトウェア資源は、OSおよびデバイス・ドライバなどの周知のプログラムと、本実施の形態にかかる新規な顔検出プログラムおよび電力制御プログラムで構成される。
つぎに、顔認識部15が画像データから顔認識強度絶対値を生成する方法を説明する。顔認識強度絶対値は、カメラ・モジュール11が撮影した画像から抽出した特徴情報を、複数のサンプル顔を撮影した画像データから抽出した特徴情報と比較したときに、当該画像がいずれかのサンプル顔に一致する割合を示す確率的な特性値をいう。顔認識強度絶対値は、顔の方向が基準方向のときに最大値となり、基準方向から頭部の垂直軸を中心にした左右方向、頭部の水平軸を中心にした上下方向、または斜め方向のいずれの方向であってもシフトするに従って小さくなる特性を備える。基準方向は一例として、カメラ・モジュール11の正面方向とすることができる。
顔認識強度絶対値には個人差があり、さらに、カメラ・モジュール11が撮影した画像の輝度でも変化する。顔認識強度絶対値を利用してディスプレイ25の動作を制御するときは、ユーザおよび撮影画像の輝度を限定することはできない。本実施の形態ではユーザの個人差および撮影画像の輝度が顔認識強度絶対値に与える影響を排除して、共通のアルゴリズムで顔の方向を認識できるようにするために顔認識強度絶対値を正規化する。
顔の方向を検出してバックライト26の動作を制御する場合は、ユーザが正面を向いてディスプレイ25を注視しているにもかかわらず、範囲Yまたは範囲Zの方向を向いていると認識する(よそ見をしていないのによそ見をしている)肯定的誤認識の確率を低減しないと実用に供することは困難である。つぎに、肯定的誤認識の確率を低減する手順を説明する。図6は、顔の方向を認識する際に肯定的誤認識の確率を低減する方法を説明する図である。図6は、カメラ・モジュール11から一定のフレーム・レートで受け取った画像データのそれぞれから計算した顔認識強度相対値を時間毎にプロットしている。図6(A)〜(C)にはそれぞれの画像データから計算した顔認識強度相対値の実測値と直近の過去2個の実測値を含めた3個の実測値から計算した移動平均値をプロットしている。
図8は、顔の方向を判断してバックライト26の動作を制御する手順を示すフローチャートで、図9はそのときの状態遷移図である。図9で各ステートまたはステート間の遷移に記載した番号は、図8のブロックの番号に対応している。図9において、ステート451はバックライト26が点灯した状態を示している。この状態は、顔認識部15がカメラ・モジュール11から受け取った画像データから計算した顔認識強度相対値が範囲Xに入ると認識した状態に対応する。ステート451では、ユーザの顔の方向がディスプレイ25の正面方向であると認識している状態なのでバックライト26は点灯する。
100、250、500 強識別器
101、101a〜101d 矩形特徴
151 認識対象の画像
155 小ウィンドウ
200、200a〜200d 識別パターン
C1〜Cn 弱識別器
P 顔認識強度相対値
Pz、Py 顔認識強度絶対値
S1〜S5 顔認識強度絶対値
Claims (22)
- カメラ・モジュールおよびディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法であって、
前記情報処理機器がパワー・オン状態に遷移するステップと、
前記カメラ・モジュールから定期的に受け取った画像データから、前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算するステップと、
前記顔認識強度値の単位時間当たりの変化量が所定値以下の画像データから計算した前記顔認識強度値から顔の方向を判断するステップと、
顔の方向が前記ディスプレイの正面方向からシフトしていると判断したことに応答して、前記情報処理機器が前記パワー・オン状態からロー・パワー状態に遷移するステップと
を有する方法。 - 前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向である請求項1に記載の方法。
- 前記顔の方向を判断するステップが、入力デバイスが入力イベントを生成するタイミングで前記カメラ・モジュールから受け取った画像データが示す顔の方向を正面顔に設定するステップを有する請求項1に記載の方法。
- 前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向に対して所定の角度だけシフトした方向を含む請求項1に記載の方法。
- 前記画像データから顔を認識しないときに入力デバイスが操作されたか否かを判断するステップと、
所定の時間以内に前記入力デバイスが操作されている間は前記パワー・オン状態を維持するステップと
を有する請求項1に記載の方法。 - 前記ロー・パワー状態に遷移している間に入力デバイスが操作されたか否かを判断するステップと、
前記入力デバイスが操作されたと判断したときに前記パワー・オン状態に復帰するステップと
を有する請求項1に記載の方法。 - 前記パワー・オン状態に復帰してから顔が所定時間連続して前記ディスプレイの正面方向を向いているか否かを判断するステップと、
顔が所定時間連続して前記ディスプレイの正面方向を向いていると判断しない間は前記パワー・オン状態を維持するステップと
を有する請求項1に記載の方法。 - 前記ロー・パワー状態に遷移している間に顔が前記ディスプレイの正面方向を向いているか否かを判断するステップと、
前記ディスプレイの正面方向を向いていると判断したときに前記ロー・パワー状態から前記パワー・オン状態に復帰するステップと
を有する請求項1に記載の方法。 - 前記ロー・パワー状態が前記ディスプレイのバックライトが消灯した状態である請求項1から請求項8のいずれかに記載の方法。
- カメラから取得した画像データから前記カメラに対する顔の方向を判断する方法であって、
前記カメラから定期的に画像データを取得するステップと、
前記カメラに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量が所定値以下であるか否かを判断するステップと、
前記変化量が所定値以下であると判断した前記画像データから計算した前記顔認識強度値から顔の方向を判断するステップと
を有する方法。 - 前記顔認識強度値が、複数のピーク値を含む特性を備えている請求項10に記載の方法。
- 前記顔認識強度値が、顔が左右方向に所定の角度だけ向いたときのピーク値と上下方向に所定の角度だけ向いたときのピーク値を含む請求項11に記載の方法。
- カメラ・モジュールとディスプレイとの通信が可能な情報処理機器であって、
前記カメラ−・モジュールから定期的に受け取った画像データから、前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算し、該顔認識強度値の単位時間当たりの変化量が所定値以下の画像データから計算した前記顔認識強度値から、前記画像データが前記ディスプレイに対する正面顔、斜め顔、または非顔のいずれの顔を含むかを判断する顔認識部と、
前記画像データが斜め顔または非顔を含むと判断した前記顔認識部の指示により前記ディスプレイをロー・パワー状態に遷移させる電力制御部と
を有する情報処理機器。 - ユーザが操作する入力デバイスと、
前記入力デバイスからの入力を検出して前記顔認識部に入力イベントを送る入力デバイス監視部とを有し、
前記顔認識部は、前記入力デバイス監視部から所定の時間以内に前記入力イベントを受け取っている間は、前記顔認識部が非顔を検出しても前記ロー・パワー状態への遷移を停止する請求項13に記載の情報処理機器。 - 前記顔認識部は、前記ディスプレイの動作が停止している間に正面顔を検出したときは前記ディスプレイを動作させる請求項14に記載の情報処理機器。
- 前記顔認識部は、前記ディスプレイが前記ロー・パワー状態に遷移している間に前記入力デバイス監視部から前記入力イベントを受け取ったときは前記ディスプレイを動作させる請求項14に記載の情報処理機器。
- 前記顔認識部は、前記情報処理機器が前記ディスプレイを動作させたあとに一定時間連続して正面顔を検出しない限り前記ディスプレイの動作を維持する請求項16に記載の情報処理機器。
- カメラ・モジュールおよびディスプレイとの通信が可能な顔方向認識装置であって、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するデータ取得部と、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算する顔認識強度値計算部と、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算する変化量計算部と、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値から顔の方向を判断する判断部と
を有する顔方向認識装置。 - カメラ・モジュールとの通信が可能なコンピュータに、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するステップと、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算するステップと、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値から顔の方向を判断するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 - カメラ・モジュールとディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法であって、
前記情報処理機器がパワー・オン状態に遷移するステップと、
入力デバイスが入力するタイミングで前記カメラ・モジュールから受け取った画像データから計算した、前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を登録するステップと、
顔認識強度値を前記カメラ・モジュールから定期的に受け取った画像データから計算するステップと、
前記定期的に受け取った画像データから計算した顔認識強度値を前記登録した顔認識強度値で正規化するステップと、
前記正規化した顔認識強度値から顔の方向が前記ディスプレイの正面方向からシフトしていると判断したことに応答して、前記情報処理機器が前記パワー・オン状態からロー・パワー状態に遷移するステップと
を有する方法。 - 前記登録するステップが、前記顔認識強度値を計算した画像データの輝度値を前記顔認識強度値と組にして登録するステップを含み、
前記正規化するステップが、前記定期的に受け取った画像データの輝度値に最も近い輝度値と組にした顔認識強度値で正規化するステップを含む請求項20に記載の方法。 - カメラ・モジュールとディスプレイとの通信が可能な情報処理機器であって、
入力デバイスと、
前記入力デバイスが入力するタイミングで前記カメラ・モジュールから受け取った画像データから計算した、前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を登録する顔画像データ登録部と、
顔認識強度値を前記カメラ・モジュールから定期的に受け取った画像データから計算し、前記定期的に受け取った画像データから計算した顔認識強度値を前記登録した顔認識強度値で正規化し、前記正規化した顔認識強度値から顔の方向が前記ディスプレイの正面方向からシフトしていると判断する顔認識部と、
前記顔認識部がシフトしていると判断したことに応答して、前記情報処理機器をパワー・オン状態からロー・パワー状態に遷移させる電力制御部と
を有する情報処理機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252153A JP5529103B2 (ja) | 2011-11-18 | 2011-11-18 | 顔方向の検出方法および情報処理機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252153A JP5529103B2 (ja) | 2011-11-18 | 2011-11-18 | 顔方向の検出方法および情報処理機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013109430A JP2013109430A (ja) | 2013-06-06 |
JP5529103B2 true JP5529103B2 (ja) | 2014-06-25 |
Family
ID=48706145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011252153A Active JP5529103B2 (ja) | 2011-11-18 | 2011-11-18 | 顔方向の検出方法および情報処理機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5529103B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10528127B2 (en) * | 2013-12-09 | 2020-01-07 | Apple Inc. | Method for operating an eye tracking device and eye tracking device for providing an active power management |
JP6280412B2 (ja) * | 2014-03-26 | 2018-02-14 | 株式会社メガチップス | 物体検出装置 |
JP6769475B2 (ja) | 2018-12-04 | 2020-10-14 | 日本電気株式会社 | 情報処理システム、認証対象の管理方法、及びプログラム |
WO2021070980A1 (ko) * | 2019-10-08 | 2021-04-15 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
CN113015302B (zh) * | 2021-04-01 | 2023-07-21 | 广东深明扬工程建设有限公司 | 一种基于智慧城市的数字化调光***及其调控方法 |
JP7454635B1 (ja) | 2022-12-14 | 2024-03-22 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、及び制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11288259A (ja) * | 1998-02-06 | 1999-10-19 | Sanyo Electric Co Ltd | 省電力制御方法及びその装置 |
JP4640825B2 (ja) * | 2006-02-23 | 2011-03-02 | 富士フイルム株式会社 | 特定向き顔判定方法および装置並びにプログラム |
JP5399880B2 (ja) * | 2009-12-11 | 2014-01-29 | レノボ・シンガポール・プライベート・リミテッド | 電力制御装置、電力制御方法、およびコンピュータが実行可能なプログラム |
-
2011
- 2011-11-18 JP JP2011252153A patent/JP5529103B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013109430A (ja) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11616906B2 (en) | Electronic system with eye protection in response to user distance | |
JP5529103B2 (ja) | 顔方向の検出方法および情報処理機器 | |
US11650659B2 (en) | User input processing with eye tracking | |
US8942434B1 (en) | Conflict resolution for pupil detection | |
US11715231B2 (en) | Head pose estimation from local eye region | |
US8379059B2 (en) | Portable electronic device and method for adjusting display orientation of the portable electronic device | |
US9792494B2 (en) | Image processing apparatus, method, and program capable of recognizing hand gestures | |
KR100947990B1 (ko) | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 | |
US9646200B2 (en) | Fast pose detector | |
Kim et al. | An empirical study on iris recognition in a mobile phone | |
US7719569B2 (en) | Image processing apparatus and image processing method | |
US11163995B2 (en) | User recognition and gaze tracking in a video system | |
US20130057553A1 (en) | Smart Display with Dynamic Font Management | |
TW201306573A (zh) | 具有影像擷取及分析模組之顯示裝置 | |
US10444831B2 (en) | User-input apparatus, method and program for user-input | |
Wang et al. | Your eyes reveal your secrets: An eye movement based password inference on smartphone | |
JP2024015400A (ja) | 入力装置、入力方法、及びプログラム | |
Sambrekar et al. | Human computer interaction for disabled using eye motion tracking | |
Lewis et al. | Smart scrolling based on eye tracking | |
WO2023215114A1 (en) | Aggregated likelihood of unintentional touch input | |
Lissoboi et al. | Development of an efficient method for eye detection on mobile CE devices | |
CN117711054A (zh) | 一种数据的检验方法、电子设备及介质 | |
S Choras et al. | Markerless head gesture recognition for human computer interaction | |
Esquef et al. | ROCC–A Webcam-Mouse for People with Disabilities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5529103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |