JP2012065107A - 携帯端末装置 - Google Patents

Abstract

【課題】簡単かつ便利に認証を行える携帯端末装置を提供する。
【解決手段】携帯端末装置１は、当該携帯端末装置が持たれたことを判断する判断部１０２と、画像を撮影する撮影部１５と、画像を記憶する記憶部２００と、撮影部１５により撮影された画像と記憶部に予め記憶された画像とを照合することにより認証を行う認証部１０３と、を備える。ここで、判断部１０２により当該携帯端末装置１が持たれたことが判断された場合、撮影部１５は撮影を開始し、認証部１０３は記憶部２００に予め記憶された画像に基づいて撮影部１５により撮影された画像の認証を行う。
【選択図】図２

Description

本発明は、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末装置に関するものである。

従来、携帯端末装置には、紛失や置き忘れなどにより携帯電話機が他人の手に渡った際に、携帯電話機が不正使用されないように、セキュリティ機能が設けられている。かかるセキュリティ機能として、ユーザからの入力を受け付けないロック機能などが設けられる。ロック機能が設定された状態において、たとえば、ユーザによるボタン押下などの入力操作が検出されると、顔認証およびパスワード認証が行われる。顔認証またはパスワード認証に成功すると、ロック状態が解除され、一方、顔認証およびパスワード認証に失敗すると、ロック状態が維持される（たとえば、特許文献１）。

特開２００９−２９６１１２号公報

しかしながら、上記の構成によれば、ロックを解除するためには、認証を開始するための特別な入力操作をユーザが行わなければならず、煩わしい。

また、ユーザが表示面に触れて入力操作を行う静電式タッチパネルを搭載した携帯電話機では、手袋をした手で表示面に触れても入力ができない。このような場合には、手袋をわざわざ外してから、表示面を操作しなければならず、不便である。

本発明は、かかる課題に鑑みてなされたものであり、簡単かつ便利に認証を行える携帯端末装置を提供することを目的とする。

本発明の携帯端末装置は、携帯端末装置において、当該携帯端末装置が持たれたことを判断する判断部と、画像を撮影する撮影部と、画像を記憶する記憶部と、前記撮影部により撮影された画像と前記記憶部に予め記憶された画像とを照合することにより認証を行う認証部と、を備える。ここで、前記判断部により当該携帯端末装置が持たれたことが判断された場合、前記撮影部は撮影を開始し、前記認証部は前記記憶部に予め記憶された画像に基づいて前記撮影部により撮影された画像の認証を行う。

本態様に係る携帯端末装置において、前記判断部は、当該携帯端末装置に作用する加速度に基づいて当該携帯端末装置が持たれたか否かを判断し得る。

本態様に係る携帯端末装置において、前記判断部は、当該携帯端末装置に作用する加速度および当該携帯端末装置における照度に基づき、当該携帯端末装置が持たれたか否かを判断し得る。

また、前記判断部は、当該携帯端末装置に作用する加速度、および当該携帯端末装置への被検出物の近接の有無に基づき、当該携帯端末装置が持たれたか否かを判断し得る。

さらに、前記判断部は、当該携帯端末装置に作用する加速度、当該携帯端末装置における前記照度、および当該携帯端末装置への被検出物の近接の有無に基づき、当該携帯端末装置が持たれたか否かを判断し得る。

本態様に係る携帯端末装置において、当該携帯端末装置への入力を受ける入力部と、前記入力部への入力を無効にするキーガード機能を設定および解除する機能制御部と、をさらに備え得る。ここで、前記機能制御部は、前記認証部による認証が成功した場合、前記キーガード機能を解除する。

この場合、前記判断部は、当該携帯端末装置が置かれることを判断し、前記機能制御部は、前記判断部により当該携帯端末装置が置かれることが判断されると、前記キーガード機能を設定し得る。

本態様に係る携帯端末装置において、当該携帯端末装置への入力を受ける入力部と、前記入力部への入力を無効にするキーガード機能を設定および解除する機能制御部と、をさらに備え得る。ここで、前記判断部は、当該携帯端末装置が置かれることを判断し、前記機能制御部は、前記認証部による認証が成功すると、前記キーガード機能を解除し、前記判断部により当該携帯端末装置が置かれることが判断されると、前記キーガード機能を設定する。

この場合、前記判断部は、当該携帯端末装置に作用する加速度に基づいて当該携帯端末装置が置かれるか否かを判断し得る。

また、前記判断部は、当該携帯端末装置に作用する加速度および当該携帯端末装置における照度に基づき、当該携帯端末装置が置かれるか否かを判断し得る。

さらに、前記判断部は、当該携帯端末装置に作用する加速度、および当該携帯端末装置への被検出物の近接の有無に基づき、当該携帯端末装置が置かれるか否かを判断し得る。

本態様に係る携帯端末装置において、表示部と、前記表示部を制御する表示制御部と、をさらに備え得る。ここで、前記表示制御部は、前記認証部による認証が成功した場合、前記表示部を点灯させる。

本態様に係る携帯端末装置において、表示部と、前記表示部を制御する表示制御部と、をさらに備え得る。ここで、前記表示制御部は、前記判断部により当該携帯端末装置が持たれたことが判断されると、前記表示部に顔認証に係る画像を表示させる。

実施の形態に係る携帯電話機の外観構成を示す図である。 実施の形態に係る携帯電話機の全体構成を示すブロック図である。 実施の形態に係るキーガード機能に関する処理手順を示すフローチャートである。 実施の形態に係るキーガード機能を解除する処理手順を示すフローチャートである。 実施の形態に係る携帯電話機の全体構成を示すブロック図である。 実施の形態に係る携帯電話機の全体構成を示すブロック図である。 実施の形態に係るキーガード機能を解除する処理手順を示すフローチャートである。 実施の形態に係るキーガード機能を解除する処理手順を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照して説明する。図１は携帯電話機１の外観構成を示す図である。

携帯電話機１は、正面および背面を含むキャビネット１０を有する。キャビネット１０の正面には、ディスプレイ１１が配されている。

ディスプレイ１１は、画像を表示する表示部であって、液晶パネル１１ａと液晶パネル１１ａを照明するパネルバックライト１１ｂにより構成されている。液晶パネル１１ａの表示面１１ｃが外部に現れ、ディスプレイ１１の表示面１１ｃ側にタッチセンサ１２（図２参照）が配されている。なお、ディスプレイ１１は、有機ＥＬなど他の表示素子により構成されてもよい。

タッチセンサ１２は透明なシート状を有しており、タッチセンサ１２を透してディスプレイ１１の表示面１１ｃを見ることができる。タッチセンサ１２は、マトリクス状に配された第１透明電極と第２透明電極とを備えている。タッチセンサ１２は、これら透明電極間の静電容量の変化を検出することによって、ユーザに触られた表示面１１ｃ上の位置を検出し、その位置に応じた位置信号を後述のＣＰＵへ出力する。なお、タッチセンサ１２は、静電容量式のタッチセンサ１２に限られず、超音波式、感圧式等のタッチセンサ１２であってもよい。

キャビネット１０の正面には、マイクロホン（以下、「マイク」と略す）１３およびスピーカ１４が配されている。ユーザは、スピーカ１４からの音声を耳で捉え、マイク１３に対して音声を発することにより通話を行うことができる。

キャビネット１０の正面には、カメラモジュール１５（図２参照）のレンズ窓１５ａが配されている。レンズ窓１５ａから被写体の画像がカメラモジュール１５に取り込まれる。

図２は、携帯電話機１の全体構成を示すブロック図である。

本実施の形態の携帯電話機１は、上述した各構成要素の他、ＣＰＵ１００、メモリ２００、映像エンコーダ３０１、音声エンコーダ３０２、通信モジュール３０３、バックライト駆動回路３０４、映像デコーダ３０５、音声デコーダ３０６、加速度センサ３０７および近接センサ３０８を備えている。

カメラモジュール１５は、ＣＣＤ等の撮像素子を有し、画像を撮影する撮影部を含む。カメラモジュール１５は、撮像素子から出力された撮像信号をデジタル化し、その撮像信号にガンマ補正等の各種補正を施して映像エンコーダ３０１へ出力する。映像エンコーダ３０１は、カメラモジュール１５からの撮像信号にエンコード処理を施してＣＰＵ１００へ出力する。

マイク１３は、集音した音声を音声信号に変換して音声エンコーダ３０２へ出力する。音声エンコーダ３０２は、マイク１３からのアナログの音声信号をデジタルの音声信号に変換するとともに、デジタルの音声信号にエンコード処理を施してＣＰＵ１００へ出力する。

通信モジュール３０３は、ＣＰＵ１００からの音声信号や画像信号、テキスト信号などを無線信号に変換し、アンテナ３０３ａを介して基地局へ送信する。また、アンテナ３０
３ａを介して受信した無線信号を音声信号や画像信号、テキスト信号などに変換してＣＰＵ１００へ出力する。

バックライト駆動回路３０４は、ＣＰＵ１００からの制御信号に応じた電圧信号をパネルバックライト１１ｂに供給する。パネルバックライト１１ｂは、バックライト駆動回路３０４からの電圧信号により点灯し、液晶パネル１１ａを照明する。

映像デコーダ３０５は、ＣＰＵ１００からの映像信号を液晶パネル１１ａで表示できるアナログ若しくはデジタルの映像信号に変換し、液晶パネル１１ａに出力する。液晶パネル１１ａは、映像信号に応じた画像を表示面１１ｃ上に表示する。

音声デコーダ３０６は、ＣＰＵ１００からの音声信号にデコード処理を施し、さらにアナログの音声信号に変換してスピーカ１４に出力する。また、音声デコーダ３０６は、ＣＰＵ１００からの着信音やアラーム音等の各種報知音の音信号、および音声信号にデコード処理を施し、さらにアナログの音信号に変換してスピーカ１４へ出力する。スピーカ１４は、音声デコーダ３０６からの音声信号や音信号に基づいて音声や報知音などを再生する。

加速度センサ３０７は、３軸加速度センサであり、図１のＸ軸方向、Ｙ軸方向およびＺ軸方向の３方向に生じる加速度を検出するように配されている。加速度センサ３０７は、検出した加速度に応じた加速度信号をＣＰＵ１００へ出力する。

近接センサ３０８は、携帯電話機１の背面に被検出物が近接したこと、および携帯電話機１の背面の近傍に被検出物が存在していることを検出するための近接検出部である。被検出物が近接または近傍に存在することにより静電容量が増加し、静電容量が閾値を越えると、近接センサ３０８は近接信号をＣＰＵ１００へ出力する。一方、近接センサ３０８は、被検出部が離れ近傍に存在しなくなると、近接信号をＣＰＵ１００へ出力しなくなる。なお、近接センサ３０８は、静電容量式の近接センサ３０８に限られず、たとえば、超音波式や誘導形の近接センサ３０８であっても良い。また、近接センサ３０８は、ユーザが携帯電話機１を持ったときに手のひらや指が近接しやすいよう、携帯電話機１の中央部から下部にかけた部位に配されることが望ましい。

メモリ２００は、ＲＯＭおよびＲＡＭを含む記憶部である。メモリ２００には、ＣＰＵ１００に制御機能を付与するための制御プログラムが記憶されている。かかる制御プログラムには、後述する認証部１０３にて顔認証を行うための顔認証エンジンが含まれている。顔認証エンジンには、撮像画像から顔領域を抽出するための処理プログラムと、抽出した顔領域の画像と予め登録された顔画像（登録顔画像）とのマッチングを判定するための処理プログラムが含まれている。

また、メモリ２００には、カメラモジュール１５で撮影した画像情報や通信モジュール３０３を介して外部から取り込んだ画像情報およびテキスト情報などが所定のファイル形式で保存される。さらに、メモリ２００には、位置定義テーブルとして、表示面１１ｃに表示されているアイコンやボタンなどの位置と、アイコンなどに対応するファイルやプログラムに関する処理要求などとが対応付けられて記憶されている。

ＣＰＵ１００は、メモリ２００の位置定義テーブルを参考にしつつ、タッチセンサ１２からの位置信号に基づき、制御プログラムに従って、カメラモジュール１５、マイク１３、通信モジュール３０３、パネルバックライト１１ｂ、液晶パネル１１ａ、スピーカ１４を動作させる。これにより、通話機能および電子メール機能などの各種アプリケーションが実行される。

ＣＰＵ１００は、登録部１０１、判断部１０２、認証部１０３、機能制御部１０４および表示制御部１０５を備える。これら各部は、ＣＰＵ１００によって実行されるソフトウェアの機能として実現される。

登録部１０１は、メモリ２００やカメラモジュール１５などから画像情報を取得し、この画像情報を顔認証用の登録顔画像としてメモリ２００に登録する。なお、メモリ２００に保存されている画像は、カメラモジュール１５により撮影された画像、および通信モジュール３０３を介して受信された画像などを含む。また、登録部１０１がカメラモジュール１５から登録顔画像を取得する場合には、登録部１０１は、カメラモジュール１５に制御信号を出力し、カメラモジュール１５に画像を撮影させる。

判断部１０２は、加速度センサ３０７および近接センサ３０８から出力される信号に基づいて携帯電話機１の状態を判断する。たとえば、判断部１０２は、加速度により携帯電話機１の動きを検出し、携帯電話機１の背面に対する近接物を検出することにより、携帯電話機１が持たれた状態であると判断する。また、判断部１０２は、加速度により携帯電話機１の動きを検出し、携帯電話機１の背面に対する近接物がないことを検出すると、携帯電話機１が置かれる状態であると判断する。

認証部１０３は、撮影された画像を登録顔画像と照合することにより認証を行う。認証部１０３は、カメラモジュール１５に画像を撮影させる撮影制御部、撮影された画像および登録顔画像を解析する顔解析部、および解析結果に基づいて撮影画像と登録顔画像とを照合する顔照合部を有する。

撮影制御部は、携帯電話機１が持たれたときに、カメラモジュール１５に制御信号を出力し、携帯電話機１の正面の前方にある風景をカメラモジュール１５に撮影させ、撮影された画像情報をメモリ２００に保存する。撮影画像情報は、１コマの静止画であってもよいし、複数のコマが集められた動画であってもよい。

顔解析部は、メモリ２００から撮影画像情報を１コマ毎あるいは数コマ毎に読み出しながら、撮影画像情報を基に画像の中に含まれる顔画像の領域（顔領域）を抽出する。たとえば、顔解析部は、撮影画像の色を解析し、肌色を検出し、さらに、目、鼻、口などの特徴部分を検出することにより、顔領域を抽出する。顔解析部は、顔領域を特定するための情報、たとえば顔の輪郭の位置情報（以下、「顔領域情報」という）を取得する。顔解析部は、顔領域情報を基に、目、鼻、口などの各パーツの位置、大きさおよび色などを、顔画像を特徴づけるパラメータ（特徴パラメータ）として抽出する。また、顔解析部は、登録顔画像をメモリ２００から読み出し、撮影画像の解析と同様に、登録顔画像も解析し、登録顔画像の特徴パラメータを抽出する。そして、抽出した特徴パラメータを、登録顔画像と共にメモリ２００に格納しておく。

顔照合部は、顔解析部により求められた撮影画像の特徴パラメータと、登録顔画像の特徴パラメータとを照合し、これらの適合率を算出する。顔照合部は、適合率に基づき、撮影画像に含まれる顔が登録顔画像と適合するか否かを判定する。

機能制御部１０４は、認証部１０３の判定結果に応じて、キーガード機能の設定および解除を実行する。キーガード機能が設定されると、ユーザからのタッチセンサ１２等を通じた入力が無効になる。一方、キーガード機能が解除されると、ユーザからの入力が受け付けられ、入力に応じた処理が実行される。なお、入力の無効には、タッチセンサ１２がユーザからの入力を検出しない場合、およびタッチセンサ１２が入力を検出しても、ＣＰＵがタッチセンサ１２からの入力に基づいた処理を実行しない場合を含む。

表示制御部１０５は、判断部１０２および認証部１０３の判定結果やユーザからの入力などに応じて、ディスプレイ１１を制御する。たとえば、表示制御部１０５は、パネルバックライト１１ｂに電圧を供給する制御信号をバックライト駆動回路３０４に出力するとともに、映像信号を映像デコーダ３０５に出力することにより、パネルバックライト１１ｂを点灯し、液晶パネル１１ａの表示面１１ｃに画像を表示させる。また、パネルバックライト１１ｂに電圧を供給させない制御信号をバックライト駆動回路３０４に出力することにより、パネルバックライト１１ｂを消灯し、液晶パネル１１ａの表示面１１ｃから画像を消す。

＜第１の実施形態の処理手順＞
図３（ａ）は、登録顔画像をメモリ２００に記憶する処理手順を示すフローチャートである。

表示制御部１０５は、所定の操作メニュー情報をメモリ２００から読み出し、図１に示すように、液晶パネル１１ａの表示面１１ｃに操作メニューの画像を表示させる。この操作メニューの画像には、６つのアイコンの画像が表示される。

操作メニューのアイコンの中から、ユーザが指で登録のアイコンの表示位置を触れると、タッチセンサ１２が接触位置を検出し、接触位置の信号をＣＰＵ１００は受ける。ＣＰＵ１００は、メモリ２００の位置定義テーブルを参照し、接触位置に対応する処理として顔画像を登録する処理を特定して開始する（Ｓ１０１）。

登録部１０１は、制御信号をカメラモジュール１５に出力し、画像を撮影させる。これにより、カメラモジュール１５は、携帯電話機１の正面に向かう位置にいるユーザの顔を撮影するため、登録部１０１は、ユーザの顔の画像の画像情報をメモリ２００への登録情報として取得する（Ｓ１０２）。

登録部１０１は、カメラモジュール１５から出力された画像情報をメモリ２００に格納することにより、ユーザの顔の画像を登録ユーザの登録顔画像として登録する（Ｓ１０３）。この際に、顔解析部が登録顔画像を解析することにより、登録ユーザの顔画像の特徴パラメータを求め、登録部１０１は登録顔画像と対応づけて特徴パラメータをメモリ２００に記憶する。

図３（ｂ）は、キーガード機能の設定／解除に係る処理手順を示すフローチャートである。図３（ｃ）は、キーガード機能を設定する処理手順を示すフローチャートである。図４は、キーガード機能を解除する処理手順を示すフローチャートである。

図３（ａ）に示すように、携帯電話機１の登録ユーザの登録顔画像が登録されると、次に、図３（ｂ）に示すキーガード機能の制御モードが起動される。ここでは、まず、キーガード機能が設定されているか否かが判断される（Ｓ２０１）。キーガード機能が設定されていなければ（Ｓ２０１：ＮＯ）、キーガード機能を設定するための設定判断処理が実行される（Ｓ２０２）。一方、キーガード機能が設定されていれば（Ｓ２０１：ＹＥＳ）、キーガード機能を解除するための解除判断処理が実行される（Ｓ２０３）。

図３（ｃ）の設定判断処理では、判断部１０２は、携帯電話機１が置かれる否かを判断する。つまり、ユーザが表示面１１ｃに触れて携帯電話機１を操作している場合や、ユーザが表示面１１ｃに表示される画像などを見ている場合など、ユーザが携帯電話機１を使用している状態では、ユーザは携帯電話機１を手に持って目の前に保持しほとんど動かさない。しかし、ユーザは、携帯電話機１を使用しなくなると、携帯電話機１を目の前から
遠ざけて、携帯電話機１の背面から手を離し、机の上やかばんの中など何らかの場所に置く。このため、判断部１０２は、携帯電話機１が静止した状態から動かされ、且つ、携帯電話機１の背面から近接物がなくなると、携帯電話機１が使用されなくなり置かれようとしていると判断され得る。

このため、判断部１０２は、加速度センサ３０７から加速度信号を受ける。携帯電話機１が目の前から大きく離される場合、動き始めの段階において、３軸方向の加速度のうちの少なくとも何れか１つが大きく変化する。判断部１０２は、何れかの加速度の変化が予め定めた第１閾値を越えたと判断すると、携帯電話機１が動かされたことを検出する。上記第１閾値は、携帯電話機１が動いたことがユーザの意図的な動作であるか否かを判断するために設定される。つまり、わずかな動作により第１閾値以下の加速度が検出されても、これは、携帯電話機１を置くためのユーザの意図的な動作によるものでないと判断される。

また、判断部１０２は、近接センサ３０８からの検出信号を受けなくなると、携帯電話機１の背面から近接物が無くなったと判断する。このように、携帯電話機１の背面から手が離され、且つ、携帯電話機１が目の前から移動させられたことにより、判断部１０２は、携帯電話機１がユーザの手から離れて机等に置かれると判断する（Ｓ３０１：ＹＥＳ）。

携帯電話機１がかばんの中や机の上などに置かれた状態では、かばんの中で物が携帯電話機１に当たるなどして誤動作することや、机の上に置かれた携帯電話機１の表示面１１ｃが他人に見られたり操作されたりする虞がある。これらを防止するために、携帯電話機１が置かれると即座にキーガード機能を設定するとともに、表示面１１ｃを消すことが望ましい。このため、機能制御部１０４は、キーガード機能を設定し（Ｓ３０２）、パネルバックライト１１ｂを消す（Ｓ３０３）。

図４の解除判断処理では、初め、携帯電話機１が使用されていない状態であるため、キーガード機能が設定され、表示面１１ｃの照明が消されている。ここで、ユーザが携帯電話機１を使用しようとすると、携帯電話機１がユーザに持たれる。このため、まず、判断部１０２は、携帯電話機１が持たれたか否かを判断する（Ｓ４０１）。

すなわち、加速度センサ３０７からの検出信号を受けて、３軸方向の何れかの加速度の変化が予め定められた第２閾値を超えたか否かを判断する。携帯電話機１が持ち上げられると、判断部１０２は、３軸方向の何れかの加速度が第２閾値を超えたと判断する。また、判断部１０２は、近接センサ３０８からの検出信号の有無を判断する。携帯電話機１の背面側が手で握られれば、判断部１０２は近接センサ３０８から検出信号を受けていると判断する。このように、携帯電話機１が持ち上げられ、背面側から手に持たれたと判断されることにより、判断部１０２は、携帯電話機１が持たれた状態にあることを検出する（Ｓ４０１：ＹＥＳ）。

ユーザが携帯電話機１を使用する場合、通常、携帯電話機１を持つと、すぐに携帯電話機１の正面側を自分の顔の前方に持ってくる。このため、携帯電話機１が持たれて使用される状態になると、認証部１０３は、カメラモジュール１５により携帯電話機１の正面の前方を撮影する（Ｓ４０２）。認証部１０３は、撮影した画像の中から顔画像を抽出する。顔画像が抽出できたら、認証部１０３は、顔画像から特徴パラメータを求め、顔画像の特徴パラメータと登録顔画像の特徴パラメータとを照合し、これらの特徴パラメータの適合率を算出して、適合率と予め定められた第３閾値とを比較する。

登録ユーザが携帯電話機１を使用して、携帯電話機１の正面に向かい合っていれば、登
録ユーザの顔が撮影されているため、適合率は第３閾値より高い値となり、認証部１０３は、顔画像を登録ユーザの顔として認証する。そして、顔認証が成功すると（Ｓ４０３：ＹＥＳ）、表示制御部１０５は、パネルバックライト１１ｂを点灯し、表示面１１ｃに画像を表示する（Ｓ４０４）。これにより、ユーザは顔認証に成功したことがわかる。また、機能制御部１０４は、キーガード機能を解除する（Ｓ４０５）。これにより、ユーザによる入力が受け付けられるため、ユーザは携帯電話機１を操作することができるようになる。

一方、登録ユーザ以外の他人が携帯電話機１を使用しようと持った場合には、認証部１０３が撮影した画像から顔画像を抽出しても、その顔画像は登録ユーザの顔画像でないため、特徴パラメータの適合率は第３閾値より低くなり、顔画像による認証はできない（Ｓ４０３：ＮＯ）。

また、登録ユーザが携帯電話機１を使用しようとする場合であっても、携帯電話機１の正面に向かう位置に登録ユーザの顔がなかったり、登録ユーザの顔の表情や向きなどが登録顔画像と異なったりすると、顔画像による認証ができない（Ｓ４０３：ＮＯ）。よって、認証部１０３は、撮影および顔認証を複数回行うため、顔認証の回数が所定回数に達したか否かを判断する。顔認証の回数が所定回数に達していなければ（Ｓ４０６：ＮＯ）、認証部１０３は撮影および顔認証を繰り返す（Ｓ４０２、Ｓ４０３）。

所定回数、顔画像による認証を行っても、認証部１０３が認証に成功しなければ（Ｓ４０３：ＮＯ、Ｓ４０６：ＹＥＳ）、機能制御部１０４は、キーガード機能を維持して、処理が終了する（Ｓ４０７）。これにより、携帯電話機１に対する入力が無効になるため、誤操作や不正使用などが防止される。この場合、パネルバックライト１１ｂが消されているため、表示内容が他人に見られることも防げる。

以上、本実施形態によれば、ユーザが携帯電話機１を使用するために、ユーザが携帯電話機１を持つだけで、顔認証が開始されることにより、特別な操作が必要なく、ユーザに意識させることなく簡単に顔認証を実施できる。しかも、静電式タッチセンサ１２を搭載した携帯電話機１を、手袋をはめた手で使用するような場合であっても、顔認証を実施できる。

また、本実施形態によれば、携帯電話機１が持たれて使用される際には、携帯電話機１の正面にユーザが居ることにより、レンズ窓１５ａが正面に設けられたカメラモジュール１５によりユーザを撮影できる。このように、レンズ窓１５ａを正面に設けることで、ユーザが携帯電話機１を使用する自然な動作で、カメラモジュール１５はユーザを撮影することができる。

また、本実施形態によれば、表示面１１ｃが表示されていない状態で、顔認証が開始されることで、ユーザに抵抗感を与えることなく、ユーザを撮影し認証することが可能である。

さらに、本実施形態によれば、仮にユーザがメールなどを読んでいる途中で携帯電話機１を机などにおいても、携帯電話機１が置かれた際に、表示面１１ｃの画像を消すことにより、他人に表示内容を見られる心配がない。また、携帯電話機１が置かれることにより、キーガード機能が設定されるため、キーガード機能を手動で設定する手間が無い上、キーガード機能の設定し忘れを防止できる。

また、本実施形態によれば、キーガード機能の設定および解除に伴い、パネルバックライト１１ｂを消灯および点灯することで、省電力化が図られる。

＜第２実施形態＞
第１実施形態の携帯電話機１では、加速度センサ３０７および近接センサ３０８からの出力に基づき携帯電話機１が持たれたことを検出した。これに対し、第２実施形態の携帯電話機１では、加速度センサ３０７および照度センサ３０９からの出力に基づき携帯電話機１が持たれたことを検出する点が、第１実施形態の携帯電話機１と異なる。なお、第２実施形態の構成のうち第１実施形態の構成と同様なものには、同じ番号を付して、その説明を省略する。

図５は、携帯電話機１の全体構成を示すブロック図である。

照度センサ３０９は、キャビネット１０の背面に配されている。照度センサ３０９２４は、背面に照射される光量を検出する照度検出部である。なお、照度センサ３０９は、ユーザが携帯電話機１を持ったときに手のひらや指で覆われやすいよう、携帯電話機１の中央部から下部にかけた部位に配されることが望ましい。

判断部１０２は、加速度センサ３０７および照度センサ３０９からの出力に基づいて携帯電話機１の状態を判断する。

なお、第２実施形態における処理手順は、第１実施形態における図３および図４の処理手順とほぼ同じであるが、Ｓ３０１およびＳ４０１の判断が異なる。

本実施形態の場合、図３（ｃ）の設定判断処理におけるＳ３０１では、判断部１０２は、加速度センサ３０７により検出される３軸方向の何れかの加速度の変化が第１閾値より大きいと判断することで、携帯電話機１が動かされたことを検出する。また、判断部１０２は、照度センサ３０９により検出される照度が予め定められた第４閾値より大きいと判断することで、携帯電話機１の背面が明るくなったと判断する。このように、携帯電話機１の背面から手が離れて背面が明るくなり、且つ、携帯電話機１が動かされ目の前から移動させられたことにより、判断部１０２は携帯電話機１が置かれる状態を判断する。

また、本実施形態の場合、図４の解除判断処理におけるＳ４０１では、判断部１０２は、加速度センサ３０７により検出される３軸方向の何れかの加速度の変化が第２閾値より大きいと判断することで、携帯電話機１が動かされたことを検出する。また、判断部１０２は、照度センサ３０９により検出される照度が予め定められた第５閾値より小さいと判断することで、携帯電話機１の背面が暗くなったと判断する。このように、携帯電話機１が動かされ持ち上げられて、且つ、背面側から手に持たれて背面が暗くなることにより、判断部１０２は、携帯電話機１が持たれた状態にあることを検出する。

以上、本実施形態によれば、加速度センサ３０７および照度センサ３０９の出力信号に基づくことで、携帯電話機１が持たれたことを検出することができる。

＜第３実施形態＞
第３実施形態の携帯電話機１では、加速度センサ３０７、近接センサ３０８および照度センサ３０９からの出力に基づき携帯電話機１が持たれたことを検出する点が、第１および第２実施形態の携帯電話機１と異なる。なお、第３実施形態の構成のうち第１および第２実施形態の構成と同様なものには、同じ番号を付して、その説明を省略する。

図６は、携帯電話機１の全体構成を示すブロック図である。

判断部１０２は、加速度センサ３０７、近接センサ３０８および照度センサ３０９から
の出力に基づいて携帯電話機１の状態を判断する。

なお、第３実施形態における処理手順は、第１実施形態における図３および図４の処理手順とほぼ同じであるが、Ｓ３０１およびＳ４０１の判断が異なる。

本実施形態の場合、図３（ｃ）の設定判断処理におけるＳ３０１では、判断部１０２は、加速度センサ３０７により検出される３軸方向の何れかの加速度の変化第１閾値より大きいと判断することで、携帯電話機１が動かされたことを検出する。また、判断部１０２は、近接センサ３０８からの検出信号を受けないことで、携帯電話機１の背面に近接物が無いことを検出する。さらに、判断部１０２は、照度センサ３０９により検出される照度が第４閾値より大きいと判断することで、携帯電話機１の背面が明るくなったことを検出する。このように、携帯電話機１の背面から手が離れ、且つ、背面が明るくなり、且つ、携帯電話機１が目の前から移動させられたことにより、携帯電話機１が置かれることを判断部１０２は検出する。

また、本実施形態の場合、図４の解除判断処理におけるＳ４０１では、判断部１０２は、加速度センサ３０７により検出される３軸方向の何れかの加速度の変化が第２閾値より大きいと判断することで、携帯電話機１が動かされたことを検出する。また、判断部１０２は、近接センサ３０８からの検出信号を受けることで、携帯電話機１の背面に近接物が存在すること検出する。さらに、判断部１０２は、照度センサ３０９により検出される照度が第５閾値より小さいと判断することで、携帯電話機１の背面が暗くなったと判断する。このように、携帯電話機１が持ち上げられ、且つ、背面に手が近接し、且つ、背面が暗くなることにより、判断部１０２は、携帯電話機１が持たれたことを検出する。

以上、上記実施形態によれば、加速度センサ３０７、近接センサ３０８および照度センサ３０９の出力信号に基づくことで、携帯電話機１が持たれたことをさらに正確に検出することができる。

＜第４実施形態＞
第１実施形態の携帯電話機１では、顔画像による認証ができた場合にパネルバックライト１１ｂを点灯した。これに対し、第４実施形態の携帯電話機１では、顔画像による認証の前にパネルバックライト１１ｂを点灯する点が、第１実施形態の携帯電話機１と異なる。なお、第４実施形態の構成のうち第１実施形態の構成と同様なものには、同じ番号を付して、その説明を省略する。

図７は、キーガード機能を解除する処理手順を示すフローチャートである。なお、Ｓ５０１はＳ４０１と同様であり、Ｓ５０３およびＳ５０４はＳ４０２およびＳ４０３とそれぞれ同様であり、Ｓ５０５〜Ｓ５０７はＳ４０５〜Ｓ４０７とそれぞれ同様であるため、Ｓ５０１およびＳ５０３〜Ｓ５０７における処理の説明は省略する。

携帯電話機１が持たれたことが検出されたら、顔認証を実施するために、撮影制御部は、カメラモジュール１５により携帯電話機１の正面の前方を撮影する。表示制御部１０４は、撮影した画像を表示面１１ｃに表示させるとともに、バックパネルライトを点灯させる（Ｓ５０２）。それから、認証部１０３は、カメラモジュール１５により画像を撮影して、登録顔画像と照合することにより、顔画像による認証を実施する。

以上、上記実施例によれば、顔認証の開始前に、携帯電話機１の正面の前方にいるユーザの顔が撮影され、その撮影された顔の画像が表示面１１ｃに表示される。これにより、ユーザがサングラスやマスクなどを付けている場合には、表示面１１ｃの表示された顔の画像を見ることで、サングラスなどを外さなければならないことに気づくことができる。

また、上記実施例によれば、表示面１１ｃに撮影された顔画像が表示されると、ユーザは顔認証のために撮影されることがわかる。このため、ユーザは撮影可能な位置および向きに顔を合わせることができ、より迅速に顔画像による認証が可能になる。

＜第５実施形態＞
第１実施形態の携帯電話機１では、顔画像による認証だけでキーガード機能の解除を判断した。これに対し、第５実施形態の携帯電話機１では、顔画像による認証ができない場合に、さらに他の認証を実施することによりキーガード機能の解除を判断する点が、第１実施形態の携帯電話機１と異なる。なお、第５実施形態の構成のうち第１実施形態の構成と同様なものには、同じ番号を付して、その説明を省略する。

顔認証以外の他の認証方法としては、ユーザがタッチセンサ１２を操作する必要があるパスワード入力などの方法ではなく、ユーザが携帯電話機１を予め定められたパターンで動かすなどの方法である。たとえば、携帯電話機１を動かして予め定めされた角度に傾けたり、携帯電話機１を動かして予め定められた動きで移動させたりして、携帯電話機１のユーザが登録ユーザであるかを確認する。

登録部１０１は、登録ユーザの登録顔画像を登録する顔登録部１０１および、携帯電話機１の角度や動きなどを登録パターンとして登録するパターン登録部１０１を有する。たとえば、ユーザが携帯電話機１を持って空中に星や四角形等の図形を描いた場合、パターン登録部１０１は、ユーザが携帯電話機１で図形を描き始めてから描き終わるまでの加速度の変化パターンを解析し、登録加速度パターンとしてメモリ２００に記憶する。

認証部１０３には、図示しないが、顔画像により認証を行うための顔認証部、および、ユーザによって持たれた携帯電話機１の角度やユーザによって携帯電話機１が動かされた方向などで認証を行うパターン認証部１０３が含まれる。なお、顔認証部は、撮影制御部、顔解析部および顔照合部を含む。パターン認証部は、パターン解析部およびパターン照合部を含む。

パターン解析部は、加速度センサ３０７から加速度信号を受け、加速度の変化を求める。パターン照合部は、パターン解析部により求められた加速度の変化をパターン登録部１０１により予め登録された加速度パターンと照合し、双方の適合率を算出する。パターン照合部は、適合率を、予め設定された第６閾値と比較することにより、認証できたか否かを決定する。

図３（ａ）に示す処理手順で登録ユーザの顔画像を登録顔画像として登録した手順と同様にして、ユーザにより動かされたときの携帯電話機１の加速度の変化パターンが登録加速度パターンとしてメモリ２００に登録される。

表示制御部１０５は表示面１１ｃに操作メニューを表示する。ここでは、操作メニューに、顔画像を登録する処理を表わすアイコンと、加速度の変化パターンを登録する処理を表わすアイコンとを設けておく。加速度の変化パターンを登録する処理を表わすアイコンの表示位置を、ユーザが指で触れることにより、パターン登録部１０１は、加速度の変化パターンを登録する処理を開始する（Ｓ１０１）。なお、顔画像を登録するためのアイコンがユーザにより選択された場合は、先に説明したとおり、顔登録部１０１は、顔画像を撮影して、登録顔画像としてメモリ２００に記憶する。

ユーザは、最初にパターン登録のアイコンを選択してから、携帯電話機１を動かして図形を描き、描き終えると、再びパターン登録のアイコンを選択する。これにより、パター
ン登録部１０１は、最初にパターン登録のアイコンが選択されてから、再びパターン登録のアイコンが選択されるまでの間、加速度センサ３０７から加速度信号を受ける。そして、パターン登録部１０１は、加速度の変化を算出して、この加速度の変化パターンをメモリ２００への登録情報として取得する（Ｓ１０２）。

パターン登録部１０１は、算出された加速度の変化を登録加速度パターンとしてメモリ２００に格納する（Ｓ１０３）。

図８は、キーガード機能を解除する処理手順を示すフローチャートである。なお、Ｓ６０１〜Ｓ６０６はＳ４０１〜Ｓ４０６とそれぞれ同様であるため、これらの処理の説明は省略する。

所定回数、顔画像による認証ができない場合、表示制御部１０５は、「認証操作を行ってください。」などの所定のコメントを表示面１１ｃに表示させる。これにより、携帯電話機１を動かすパターンで認証するようにユーザに促す。ユーザが携帯電話機１を動かすと、パターン解析部は、加速度センサ３０７による加速度から加速度の変化を求め、パターン照合部は、この加速度の変化と登録された加速度パターンとの適合率を算出する。

携帯電話機１の動きが登録パターンと同じ動きであれば、パターン照合部は、適合率が第６閾値より大きいと判断する。これにより、携帯電話機１の動くパターンによる認証ができたと判断されるため（Ｓ６０８：ＹＥＳ）、表示制御部１０５は表示面１１ｃに表示させ（Ｓ６０４）、機能制御部１０４はキーガード機能を解除する（Ｓ６０５）。

一方、携帯電話機１の動きが登録パターンと異なる動きであれば、パターン照合部は、適合率が第６閾値より小さいと判断する。これにより、携帯電話機１の動くパターンにより認証できないと判断されるため（Ｓ６０８：ＮＯ）、機能制御部１０４はキーガード機能を維持したまま（Ｓ６０９）、表示制御部１０５は表示面１１ｃに表示しない。そして、顔認証およびパターン認証により登録ユーザであることを確認できなかったため、ＣＰＵ１００は、顔認証部１０３の撮影制御部が撮影させた画像を所定の連絡先にメールで送信する（Ｓ６１０）。この連絡先を、登録ユーザのパソコンのアドレスなどにしておくことにより、登録ユーザはパソコンなどで撮影された画像に映る顔を見て、携帯電話機１を不正に使用するユーザを確認することができる。

＜その他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態によって何ら制限されるものではなく、また、本発明の実施の形態も、上記以外に種々の変更が可能である。

たとえば、第１実施形態では、携帯電話機１が置かれることを検出すると、キーガード機能を設定した。これと共に、またはこれに代えて、キーガードを解除してから所定時間間隔で顔認証を実施し、顔画像により認証できなかった場合にキーガード機能を設定することもできる。これにより、携帯電話機１のユーザが登録ユーザであるのかを所定時間ごとに確認できるため、不正使用者などがさらに発見され易くなる。

また、上記実施形態では、携帯電話機１が置かれることを検出すると、キーガード機能を設定したが、キャビネット１０の側面などに操作キーを設けておき、その操作キーを押すことにより、キーガード機能を設定することもできる。

さらに、上記第４実施形態では、顔認証を開始する前に撮影された画像を表示面１１ｃに表示したが、顔認証を開始する前に、撮影された画像以外の顔認証に係る画像を表示す
ることもできる。たとえば、顔認証に係る画像の例として、顔認証のための撮影や顔認証を実施していることを示すメッセージの画像や、これらを表わす所定のアイコンなどの画像を表示面１１ｃに表示する。この表示により、ユーザは携帯電話機１が顔認証を実行していることを知ることができる。また、顔認証に係る画像の別の例として、枠の画像と「枠に顔を入れてください。」との所定のコメントの画像とを表示する。これにより、ユーザは表示面１１ｃに映る顔のサイズを枠に合わせることで、撮影した画像の顔のサイズが小さすぎて、撮影画像の特徴パターンを取得できないなどの問題を回避できる。

また、上記第５実施形態では、ユーザが携帯電話機１を動かすパターンにより認証を行ったが、この認証方法に限定されない。たとえば、パスワード認証などのユーザによる入力操作を必要とする認証方法であってもよい。

さらに、上記第１実施形態では、加速度センサ３０７および近接センサ３０８からの出力に基づき、第２実施形態では、加速度センサ３０７および照度センサ３０９からの出力に基づき、第３実施形態では、加速度センサ３０７、近接センサ３０８および照度センサ３０９からの出力に基づき携帯電話機１が持たれたことを判断した。これに対し、加速度センサ３０７のみからの出力に基づき携帯電話機１が持たれたことを判断することもできる。すなわち、少なくとも加速度センサ３０７からの検出信号に基づいて携帯端末装置１が持たれたか否かを判断することができる。この場合、加速度センサ３０７の出力に加えて他のセンサ３０８、３０９の出力を加味することにより、携帯端末装置１が持たれたか否かの判断精度が向上する。

また、上記実施形態では、加速度センサ３０７は３軸方向の加速度を測定したが、さらに加速度センサ３０７は表示面１１ｃに垂直なＺ軸方向の重力加速度を測定し、Ｚ軸方向の重力加速度により表示面１１ｃの向きを検出することもできる。これにより、携帯端末装置が持たれてから、表示面１１ｃが上方を向いていれば、携帯端末装置は使用される状態にあることがわかる。また、携帯端末装置がかばんの中に入っていて、表示面１１ｃが下方を向いている場合などは、携帯端末装置が使用される状態でないことわかる。

さらに、上記実施形態では、キーガード機能が設定されると、ユーザからのタッチセンサ１２を通じた入力が無効にされた。無効にする範囲は、入力の全部であってもよいし、一部であってもよい。すなわち、タッチセンサ１２が検出する表示面１１ｃの全領域または一部領域における入力が無効になるように設定することもできる。また、携帯電話機１の側面などに操作キーを設けた場合には、操作キーの全てまたは一部からの入力が無効になるように設定することもできる。

さらに、上記実施形態では、携帯電話機１を用いたが、ＰＤＡやＰＨＳなどの携帯端末装置を用いることもできる。

また、上記実施形態では、カメラモジュール１５のレンズ窓１５ａをキャビネット１０の正面に設けたが、カメラモジュール１５のレンズ窓１５ａをキャビネット１０の背面に設けることもできる。この場合、登録ユーザは、携帯電話機１を持つと、カメラモジュール１５により撮影されて、顔認証されることを知っている。このため、登録ユーザは、携帯電話機１を持った際に、携帯電話機１の背面側を顔に向けて、カメラモジュール１５により顔を撮影させる。これにより、登録ユーザの顔画像が取得されるため、この顔画像が登録顔画像と照合されて、顔画像による認証ができ、キーガードが解除される。このように、キーガードの解除に、顔認証だけでなく、携帯電話機１の背面を顔の方に向ける動作が必要となるため、より一層正確にユーザを識別することができる。

さらに、上記実施形態において、携帯電話機１に発光部を設けることもできる。発光部
は、ＬＥＤなどから構成され、ＣＰＵ１００からの制御信号に基づき光を発する。ＣＰＵ１００は、顔認証のための撮影が実行されている場合や、顔認証が実行されている場合に、発光部へ制御信号を出力する。これにより、顔認証のための撮影や顔認証が実行されている間に、発光部から光が発せられて、撮影および顔認証が報知される。このため、ユーザは、発光部からの光によって、撮影および顔認証が実行されていることを知ることができる。なお、この顔認証を報知する発光部に代えてまたは発光部と共に、振動部を設けることもできる。振動部は、モータなどから構成され、ＣＰＵ１００からの制御信号に基づいて振動する。顔認証の撮影および顔認証が実施されると、振動部はＣＰＵ１００から制御信号により振動して、顔認証を報知する。また、ＣＰＵ１００は、顔認証の実施によりスピーカ１４へ制御信号を出力し、スピーカ１４から音を発し、顔認証を報知してもよい。

また、上記実施形態において、キーガード機能が設定されている状態で、着信時に認証を行うか否かをユーザが予め設定することもできる。また、キーガード機能が設定されている状態で、着信時に着信を報知する否かをユーザが予め設定することもできる。着信を報知する場合、着信の報知方法をユーザが予め設定するようにしてもよい。これにより、ユーザの意思に基づきキーガード設定中における着信の報知および着信時の認証を制御することができ、利便性が向上する。

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。たとえば、上記実施形態の一部または全部を組み合わせることができる。

１５ カメラモジュール
１０２ 判断部
１０３ 認証部
１０４ 機能制御部
１０５ 表示制御部
２００ メモリ
３０７ 加速度センサ
３０８ 近接センサ
３０９ 照度センサ

Claims (13)

1. 携帯端末装置において、
   当該携帯端末装置が持たれたことを判断する判断部と、
   画像を撮影する撮影部と、
   画像を記憶する記憶部と、
   前記撮影部により撮影された画像と前記記憶部に予め記憶された画像とを照合することにより認証を行う認証部と、を備え、
   前記判断部により当該携帯端末装置が持たれたことが判断された場合、前記撮影部は撮影を開始し、前記認証部は前記記憶部に予め記憶された画像に基づいて前記撮影部により撮影された画像の認証を行う、
   ことを特徴とする携帯端末装置。
2. 請求項１に記載の携帯端末装置において、
   前記判断部は、当該携帯端末装置に作用する加速度に基づいて当該携帯端末装置が持たれたか否かを判断する、
   ことを特徴とする携帯端末装置。
3. 請求項１に記載の携帯端末装置において、
   前記判断部は、当該携帯端末装置に作用する加速度および当該携帯端末装置における照度に基づき、当該携帯端末装置が持たれたか否かを判断する、
   ことを特徴とする携帯端末装置。
4. 請求項１に記載の携帯端末装置において、
   前記判断部は、当該携帯端末装置に作用する加速度、および当該携帯端末装置への被検出物の近接の有無に基づき、当該携帯端末装置が持たれたか否かを判断する、
   ことを特徴とする携帯端末装置。
5. 請求項１に記載の携帯端末装置において、
   前記判断部は、当該携帯端末装置に作用する加速度、当該携帯端末装置における前記照度、および当該携帯端末装置への被検出物の近接の有無に基づき、当該携帯端末装置が持たれたか否かを判断する、
   ことを特徴とする携帯端末装置。
6. 請求項１ないし５の何れか一項に記載の携帯端末装置において、
   当該携帯端末装置への入力を受ける入力部と、
   前記入力部への入力を無効にするキーガード機能を設定および解除する機能制御部と、をさらに備え、
   前記機能制御部は、前記認証部による認証が成功した場合、前記キーガード機能を解除する、
   ことを特徴とする携帯端末装置。
7. 請求項６に記載の携帯端末装置において、
   前記判断部は、当該携帯端末装置が置かれることを判断し、
   前記機能制御部は、前記判断部により当該携帯端末装置が置かれることが判断されると、前記キーガード機能を設定する、
   ことを特徴とする携帯端末装置。
8. 請求項１に記載の携帯端末装置において、
   当該携帯端末装置への入力を受ける入力部と、
   前記入力部への入力を無効にするキーガード機能を設定および解除する機能制御部と、をさらに備え、
   前記判断部は、当該携帯端末装置が置かれることを判断し、
   前記機能制御部は、前記認証部による認証が成功すると、前記キーガード機能を解除し、前記判断部により当該携帯端末装置が置かれることが判断されると、前記キーガード機能を設定する、
   ことを特徴とする携帯端末装置。
9. 請求項７または８に記載の携帯端末装置において、
   前記判断部は、当該携帯端末装置に作用する加速度に基づいて当該携帯端末装置が置かれるか否かを判断する、
   ことを特徴とする携帯端末装置。
10. 請求項７または８に記載の携帯端末装置において、
    前記判断部は、当該携帯端末装置に作用する加速度および当該携帯端末装置における照度に基づき、当該携帯端末装置が置かれるか否かを判断する、
    ことを特徴とする携帯端末装置。
11. 請求項７または８に記載の携帯端末装置において、
    前記判断部は、当該携帯端末装置に作用する加速度、および当該携帯端末装置への被検出物の近接の有無に基づき、当該携帯端末装置が置かれるか否かを判断する、
    ことを特徴とする携帯端末装置。
12. 請求項１ないし１１の何れか一項に記載の携帯端末装置において、
    表示部と、
    前記表示部を制御する表示制御部と、をさらに備え、
    前記表示制御部は、前記認証部による認証が成功した場合、前記表示部を点灯させる、ことを特徴とする携帯端末装置。
13. 請求項１ないし１１の何れか一項に記載の携帯端末装置において、
    表示部と、
    前記表示部を制御する表示制御部と、をさらに備え、
    前記表示制御部は、前記判断部により当該携帯端末装置が持たれたことが判断されると、前記表示部に顔認証に係る画像を表示させる、
    ことを特徴とする携帯端末装置。

Images