以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<第1の実施の形態>
図1を参照して、本発明の第1の実施に係る携帯型電子機器の一態様である携帯電話機100について説明する。図1は、携帯電話機100の外観を表わす図である。
携帯電話機100は、アンテナ102と、主表示部110と、キー入力部130と、スピーカ170と、マイク180と、赤外線/可視光線用光源150と、撮像部160と、サブ表示部120とを含む。キー入力部130は、血管撮像モード設定部132と、第1の輝度調整キー134と、第2の輝度調整キー136と、位置選択キー138と、数字ボタン140とを含む。
主表示部110およびサブ表示部120は、たとえば液晶ディスプレイにより実現される。キー入力部130は、たとえば押下形式、タッチパネル形式あるいはペン入力の態様により実現されるデータの入力インターフェイスである。血管撮像モード設定部132は、血管パタンの撮影動作を開始するための指令の入力を受け付ける。第1の輝度調整キー134は、主表示部110における輝度を調整するための入力を受け付ける。第2の輝度調整キー136は、サブ表示部120における輝度を調整するための指示の入力を受け付ける。赤外線/可視光線用光源150は、予め定められた波長を有する赤外線と可視光線とをそれぞれ照射する。撮像部160は、入射される電磁波の強度に応じて画像データを生成して出力する。
図2を参照して、携帯電話機100の構成についてさらに説明する。図2は、携帯電話機100の機能的構成を表わすブロック図である。
携帯電話機100は、図1に示される構成に加えてさらに、無線通信部104と、記憶部190と、一時記憶部192と、バッテリ196と、撮像部160と、音声入出力部172と、VRAM(Video Random Access Memory)194と、制御部200とを含む。撮像部160は、受光センサ152とレンズ(図示しない)とを含む。
アンテナ102により受信された電波は、無線通信部104を介して制御部200に入力される。制御部200により出力される信号は、無線通信部104を介してアンテナ102により発信される。当該電波は、電話のための音声信号や、電子メール、画像データ等の信号も含む。
携帯電話機100の出力信号は、制御部200により出力され、音声入出力部172に入力される。音声入出力部172は、予め定められた信号処理を実行し処理後の信号をスピーカ170に出力する。マイク180に対して発せられた音声は、マイク180により所定の信号に変換され音声入出力部172に入力される。音声入出力部172は、変換後の信号を制御部200に対して出力する。
受光センサ152は、たとえばCCD(Charge Coupled Device)を備えるイメージセンサである。当該イメージセンサは、可視光線(波長約400nm)から近赤外線(波長約1200nm)までの電磁波を検出できる。受光センサ152が可視光線あるいは赤外線を受光すると、受光強度に応じた信号を出力する。当該信号は、予め定められた変換処理により画像データに変換される。当該変換処理は、たとえばアナログ信号をデジタル信号(画像データ)に変換する処理である。制御部200は、その画像データを、後述する記憶部190あるいは一時記憶部192の所定の領域に格納する。
受光センサ152は、たとえばシリコンによって形成される。受光センサ152は、モノクロタイプのイメージセンサである。なお、受光センサ152は、複数のイメージセンサから構成されていてもよい。この場合、同一被写体からの反射光を複数の位置において受信された信号から画像データが生成されるため、被写体を多面的に表現するための画像データを取得することができる。
キー入力部130は、外部から指示の入力を受け付けてその指示に応じた信号を制御部200に対して出力する。制御部200は、その信号の入力に応じて予め定められた処理を実行する。
制御部200は、主表示部110に画像を表示させるための画像データをVRAM194の所定の領域に格納する。主表示部110は、VRAM194に書込まれたデータに基づいて画像を表示する。制御部200は、同様にサブ表示部120に画像表示させるためのデータをVRAM194の所定の領域に格納する。サブ表示部120は、その領域に格納されたデータに基づいて画像を表示する。表示される画像には、撮影された画像、電子メールその他の文書、あるいは撮影された血管パタンなどが含まれる。
第1の輝度調整キー134は、押下に応じてあるいは予め定められた操作に応じて所定の信号を制御部200に対して出力する。制御部200は、その信号に応じて主表示部110における輝度を調整する。第2の輝度調整キー136が外部から指示の入力を受け付けると、その入力に応じた信号が制御部200に対して出力される。制御部200は、その信号に応じてサブ表示部120における輝度を調整するための信号を出力する。
赤外線/可視光線用光源150は、制御部200により出力される指令に応じて予め定められたタイミングにおいて予め定められた波長の赤外線あるいは可視光線を所定の範囲に対して照射する。当該指令は、たとえば、予め定められた照射ボタンの押下、照射モードを有効にするための設定データと撮像動作の指令の出力に応答して、出力される。受光センサ152は、被写体からの反射光の入力を受け付けて、その反射光に応じた信号を制御部200に出力する。
記憶部190は、たとえばフラッシュメモリ、HDD(Hard Disk Drive)により実現される。記憶部190は、予め準備されたプログラムあるいはデータを格納する。一時記憶部192は、たとえばRAMにより実現される。一時記憶部192は、制御部200による演算により生成されたデータを一時的に格納する。一時記憶部192は、また撮像部160から出力される画像データを一時的に格納する。記憶部190におけるデータ構造については後述する。
図3を参照して、制御部200の構成について説明する。図3は、制御部200の機能的構成を表わすブロック図である。制御部200は、たとえばCPU(Central Processing Unit)により実現される。すなわち記憶部190に格納されているプログラムが実行されると、後述するように各機能が実現される。
制御部200は、入力検知部210と、第1の画像生成部220と、第2の画像生成部230と、抽出部240と、比較部250と、動作制御部260と、検出部270とを含む。
入力検知部210は、携帯電話機100に対する指示の入力を検知し、その入力に応じた信号を出力する。第1の画像生成部220は、予め定められた照射範囲に含まれる人体の一部に対して照射された可視光線の反射波に基づいて当該人体の一部についての第1の画像データを生成する。第1の画像データは、たとえば予め定められたフィルタリング処理やエッジ強調処理などを経て生成される。その他の画像処理が第1の画像データの生成のために実行されてもよい。
第2の画像生成部230は、その人体の一部に対して照射された赤外線の反射波に基づいて人体の一部についての第2の画像データを生成する。第2の画像データも、たとえば、上記フィルタリング処理やエッジ強調処理などを経て生成される。その他の画像処理が第2の画像データの生成のために実行されてもよい。
抽出部240は、上記第1の画像データと上記第2の画像データとに基づいて、予め定められたデータ処理を実行することにより、各画像データに含まれるパタンのデータを抽出する。当該パタンは、たとえば、撮影された人体の一部(たとえば指、瞳など)における第2の血管のパタンを含む。
比較部250は、後述するように、記憶部190に予め格納されている血管のパタンを表わすパタンデータと、抽出部240により抽出された血管のパタンデータとを比較し、比較の結果を出力する。当該比較は、たとえば各血管のパタンデータの端部を一致させた後に行なわれる。たとえば、一時記憶部192において定められる座標において、座標値が最小値である部位を特定し、当該部位を基準として各パタンデータの位置を揃え、その後に、各データが比較される。なお、各血管のパタンデータの比較の態様は、これに限られない。
動作制御部260は、比較部250による比較の結果に基づいて携帯電話機100の動作を制御する。この動作は、たとえば携帯電話機100の電源がオフの状態からオンの状態に切換わる場合における動作、携帯電話機100により電子メールの送受信処理を実行するための動作などを含む。
検出部270は、携帯電話機100の作動状態を検出する。この検出は、制御部200に入力される信号あるいは一時的に生成された指令などに基づいて行なわれる。検出部270は、たとえばバッテリ196からの電力の供給状態を検出する。
図4を参照して、本実施の形態に係る携帯電話機100のデータ構造について説明する。図4は、携帯電話機100が備える記憶部190におけるデータの格納の一態様を概念的に表わす図である。
記憶部190において、予め準備された携帯電話機の動作を制御するための制御プログラムは、領域410に格納されている。後述する認証処理を実行するための認証プログラムは、領域420に格納されている。撮像部160による撮像により生成される画像データは、たとえば第1の撮像画像データとして領域430に格納される。予め定められた第1の基準値TH(1)は、領域440に格納されている。予め登録された第1の血管パタンは、領域450に格納されている。
なお、記憶部190におけるデータの格納の態様は、図4に示されるものに限られない。また、第1の撮像画像データは、一時的に保存される場合には、一時記憶部192の所定の領域に格納されてもよい。この場合、第1の撮像画像データは、所定の処理(たとえば認証処理、あるいは携帯電話機100の各動作)が完了した後、記憶部190から削除されてもよい。これにより、過去に取得された撮像データに基づく認証処理ができなくなるため、携帯電話機100のセキュリティを向上させることができる。
ここで、図5を参照して、ヘモグロビンの特性について説明する。図5は、ヘモグロビンの吸収率の波長依存性を表わす図である。
ヘモグロビンは酸素との結合状態により、酸化ヘモグロビンと還元ヘモグロビンの状態をとる。酸化ヘモグロビンは、動脈中に多く含まれる。還元ヘモグロビンは、静脈中に多く含まれる。そこで、たとえば酸化ヘモグロビンと還元ヘモグロビンとの吸収率の差が大きくなるような波長(たとえば750nm)の光を被写体(たとえば人体の指先)に照射し、予め定められた第1の基準値TH(1)よりも吸収率が大きいものが暗く写るように撮影された画像を画像処理することにより、還元ヘモグロビンを多く含む静脈のパタンを黒く表示させ、それ以外を明るく写すことができる。
ここで、明暗の判定基準値である第1の基準値TH(1)に対応して明暗の区別をした画像処理をすることは、例えば、次のようにして実施できる。まず、携帯電話機100は、赤外光線を被写体、たとえば携帯電話機100の使用者の指先に投射して撮像する。ここで、光センサーで撮像された画像が、白黒の明暗のみで、各画素256段階の階調で表されており、0階調の時が最も暗い状態、255階調の時が最も明るい状態を表わすとする。
例えば縦横640×480=307,200個の画素で構成される、撮影された画像の、白黒階調の統計分布が取得される。階調の値ごとに、その値をとる画素の個数を調べる。図5に示されるTHAおよびTHBに対応して、2つの階調の値を持つ画素が多いことが分かる。例えば、図5におけるTHAに対応して階調の値が80の画素と、THBに対応した階調の値が120の画素が、全体の画素数の内で、多く存在するような分布をもつことが分かる。図5は、ヘモグロビンの吸収率を表しているので、より暗いほうである階調の値80がTHAに対応し、階調の値120がTHBに対応する。この場合、階調の値80と120の間である階調の値100を、図5に示されるTH(1)に対応する明暗の判定基準の値として決定できる。
そこで、決定した明暗の判定基準値100より大きい値を持つ画素の階調の値を大きくするような画像処理、つまり明暗の判定基準値より明るい画素を、より明るくするような画像処理を、赤外線を投射して撮像した画像に実施する。例えば、画像処理前の画像で画素の明暗の階調が100より大きい画素の階調を、全て一番明るい255に変更する画像処理を実施する。静脈のパタンは、THAに対応した階調の値80付近の値を持つので、画像処理を実施しても変更されず、暗く写ることになる。一方、酸化ヘモグロビンを多く含む動脈は、画像処理前はTHBに対応した階調の値120として撮像されており、この場合のように、明暗の判定基準値100より大きい階調の値を255にするような画像処理を実施した場合は、真っ白に写ることになり、パタンとして表示されない。ただし、人体表面の汚れや表皮の皺により、光源に対し影になった部分が暗く写ることは、可視光の場合と同様である。
図6を参照して、本実施の形態に係る携帯電話機100により生成される血管パタンについて説明する。図6(A)〜図6(C)は、指先の一部600に電磁波を照射することにより撮像された画像を表わす図である。指先の一部600は、たとえば色素/汚れ610と皺620とを含む。
図6(A)に示されるように、可視光線が人体の指に照射されると、照射光は、人体の表面でほぼすべて反射される。ここで可視光線は、たとえば波長が約400nmから700nmである。この場合、人体の表面の汚れや表皮の皺により赤外線/可視光線光源150に対して影になった部分が暗く写り、それ以外は反射されるためそれ以外の部分は明るく表示される。
図6(B)は、上記の部分と同一箇所に赤外線を照射し、撮影により生成された画像データを予め定められた画像処理により処理することにより得られる画像を表わす。すなわち、指先は、赤外線/可視光線光源150により照射され受光センサ152により受光された反射光に基づいて撮像される。画像データは、図5に示される特性に基づいて予め定められた第1の基準値TH(1)を用いてフィルタリング処理される。これにより、血管630の画像データが抽出される(図6(B))。
図6(A)および図6(B)にそれぞれ示されるように、人体表面の汚れや表皮の皺により光源に対して影になった部分はいずれの場合も暗く写る。そこで、同一の部位に対して撮影により得られたそれぞれの画像に対して差分処理を実行することにより、これらの影になった部分を取り除くことができる。すなわち図6(C)に示されるように、赤外線の照射により撮影された撮像画像から、可視光線の照射により撮影された画像に含まれる人体表面に起因する暗い部分を画像処理によって取り除くことで、人体表面の汚れや皺などの影響を受けない血管画像を抽出することができる。
図7を参照して、本実施の形態に係る携帯電話機100の制御構造について説明する。図7は、携帯電話機100が備える制御部200が実行する処理の手順を示すフローチャートである。この処理は、たとえば記憶部190に格納されている制御プログラム(図4における領域410)が実行されることにより実現される。
ステップS702にて、携帯電話機100の制御部200は、キー入力部130に対する操作の入力に基づいて電源のONを検知する。ステップS704にて、制御部200は、予め定められた起動時初期動作の実行命令を出力する。この命令の出力により、携帯電話機100は、記憶部190に予め格納されているデータに基づいて主表示部110に所定の画面を表示する。ステップS706にて、制御部200は、外部からの入力を待機する待機状態に移行する。
ステップS708にて、制御部200は、外部からの入力に応答して撮像ボタンが押下されたか否かを判断する。制御部200が、撮像ボタンは押下されたと判断すると(ステップS708にてYES)、処理はステップS710に移される。そうでない場合には(ステップS708にてNO)、処理はステップS706に戻される。
ステップS710にて、制御部200は、赤外線/可視光線用光源150に対して可視光線の発光指令と撮像部160に対する撮像指令とを出力する。赤外線/可視光線用光源150は、これらの指令の出力に応答して、可視光線を照射する。撮像部160は、当該可視光線の照射に応答して、被写体(たとえば人体の指先)を撮影する。すなわち、可視光線が被写体に照射され、当該被写体からの反射光が受光センサ152によって受光されると、撮像部160は、受光信号に応じた画像データを生成し、出力する。
ステップS712にて、制御部200は、赤外線/可視光線用光源150に対して赤外線の発光指令と撮像部160に対する撮像指令とを出力する。赤外線/可視光線用光源150は、これらの指令の出力に応答して、赤外線を照射する。撮像部160は、赤外線の照射に応答して、被写体を撮影する。すなわち、赤外線が被写体に照射され、当該被写体からの反射光が受光センサ152によって受光されると、撮像部160は、受光信号に応じた画像データを生成し、出力する。
ステップS714にて、制御部200は、ステップS710にて取得された第1の撮像画像とステップS712にて取得された第2の撮像画像とを比較する。ステップS716にて、制御部200は、第1および第2の撮像画像のパタンが一致するか否かを判断する。制御部200が、これらのパタンは一致すると判断すると(ステップS716にてYES)、処理はステップS720に移される。そうでない場合には(ステップS716にてNO)、処理はステップS718に移される。
ステップS718にて、制御部200は、比較結果のエラーの値が予め定められた回数以上であるか否かを判断する。エラーの値が予め定められた回数よりも大きい場合には(ステップS718にてYES)、処理はステップS726に移される。そうでない場合には(ステップS718にてNO)、処理はステップS706に戻され、再び待機状態に移行する。
ステップS720にて、制御部200は、キー入力部130その他のキーによる入力を活性化する。これにより外部からの入力が受け付けられる。ステップS722にて、制御部200は、キーを介した入力を検知する。ステップS724にて、制御部200は、当該入力に応じた動作を実行するための指令を出力する。これにより携帯電話機100は、キーによる入力に応じた動作を行なうことができる。ステップS726にて、制御部200は、電源OFFの入力に応じて、携帯電話機100の電源を遮断する指令を出力する。
以上のようにして、本発明の第1の実施の形態に係る携帯電話機100は、撮像指令に基づいて、被写体を撮影し、血管パタンを表わすデータを取得する。携帯電話機100は、電源遮断の状態から所望の動作を実行するまでに、血管パタンの認証処理を実行し、動作可否を判定する。このような認証処理により、指先の汚れや、指紋の磨耗による本人認証率の低下が防止される。その結果、本人の認証率を向上させることができる。また、偽の指紋パタンを使用した、いわゆる「なりすまし」等も防止されるため、携帯電話機100の情報機密性を改善することができる。
なお、本実施の形態においては、可視光線の反射光で撮像される画像と、赤外線の反射光で撮像される画像は短い間隔(たとえば、0.1秒)の間にそれぞれ1回撮像されているが、可視光線と赤外線を交互に照射しながら、各々を複数回撮像して取得される画像データを積算してもよい。例えば0.01秒間隔で可視光線を照射して撮像する処理と、赤外光線を照射して撮像する処理とを、合計10回実施してもよい。この場合、(0.01秒×10回=)0.1秒間の撮像により取得された各光源毎の画像データが積算される。このようにすると、それぞれの画像データとして、0.1秒という撮像時間中における平均値を使用することができる。その結果、たとえば、指先が僅かに動く場合などでも安定した画像データが取得されるため、認証率の低下を防止することができる。
また、当該認証処理中、すなわち、可視光線および赤外線が照射されている間、携帯電話機100は、認証処理中であることを通知する機能を有していてもよい。たとえば、インジケータ(図示しない)が点灯されてもよいし、主表示部110あるいはサブ表示部120における認証処理が実行中である旨が表示されてもよい。これにより、使用者は、携帯電話機100が認証処理の実行中であることを認識できるため、認証対象(たとえば指先)を認証処理が完了するまで移動させないようにする。その結果、撮影が正確に実行されるため、認証精度を向上させることができる。
<第2の実施の形態>
図8〜図10を参照して、本発明の第2の実施の形態について説明する。本実施の形態に係る携帯電話機は、前述の認証処理の結果に基づいて操作のロックをかける機能をさらに有する点で、前述の第1の実施の形態と異なる。なお、本実施の形態に係る携帯電話機は、図1に示される携帯電話機と同一のハードウェア構成を有する。それらの機能も同じである。したがって、ここではそれらについての説明は繰り返さない。
図8を参照して、本実施の形態に係る携帯電話機の制御部800について説明する。図8は、制御部800の機能的構成を表わすブロック図である。
制御部800は、図3に示される構成に加えて、操作ロック制御部810を含む。操作ロック制御部810は、たとえば記憶部190に格納されている操作ロック部を制御するためのモジュールを実行することにより実現される。
図9を参照して、本実施の形態に係る携帯電話機のデータ構造について説明する。図9は、携帯電話機100の記憶部190におけるデータの格納の一態様を表わす図である。
記憶部190において、予め準備された認証プログラムは、領域420に格納される。赤外線/可視光線用光源150による照射に応じて撮影される第2の撮像画像データは、領域432に格納される。予め定められた第2の基準値TH(2)は、領域442に格納される。携帯電話機100の動作を制御するために予め設定されたデータは、領域460から領域490に格納される。たとえば、メール受信の有効あるいは無効を設定するためのデータは、領域460に格納されている。携帯電話機100をタイマにより起動させるための設定が有効であるか否かを表わすデータは、領域470に格納されている。撮像ボタンの押下が有効であるか否かを表わすデータは、領域480に格納されている。その他の外部の操作が有効であるか否かを表わすデータは、領域490に格納されている。なお、携帯電話機100を制御するために予め設定されるデータは、図9に示されるものに限られない。
図10を参照して、本実施の形態に係る携帯電話機100の制御構造について説明する。図10は、携帯電話機100の制御部800が実行する処理の手順を表わすフローチャートである。なお、前述の実施の形態における処理と同一の処理には同一のステップ番号を付し、それらについての説明はここでは繰り返さない。
ステップS1010にて、制御部800は、携帯電話機100を予め定められた操作ロック状態に設定する。
ステップS718にて、制御部800は、比較結果のエラーの値が予め定められた回数以上であるか否かを判断する。エラーの値が予め定められた回数よりも大きい場合には(ステップS718にてYES)、処理はステップS1020に移される。そうでない場合には(ステップS718にてNO)、処理はステップS706に戻され、再び待機状態に移行する。
ステップS1020にて、制御部800は、電源OFFの指令を出力する。この指令が出力されると、携帯電話機100のバッテリ196から他の構成要素への電力の供給が停止される。これにより、携帯電話機100は作動しなくなる。
ステップS1030にて、制御部800は、ロック解除の操作があるか否かを判断する。制御部800は、その操作はあると判断すると(ステップS1030にてYES)、処理はステップS1040に移される。そうでない場合には(ステップS1030にてNO)、処理はステップS1010に戻され、携帯電話機100は操作ロック状態を継続する。
ステップS1040にて、制御部800は、ロック解除指令を出力する。これにより、キー入力部130を介して入力される携帯電話機100の動作のための入力は、有効になりメールの受発信あるいは通話処理が可能になる。
以上のようにして、本発明の第2の実施の形態に係る携帯電話機100によると、撮像された血管の認証処理の結果に基づいて、電源のOFFを指令する。たとえば、認証処理の結果がエラーであり、当該エラーの回数が予め定められた回数を上回ると、電源のOFFが指令される。その結果、携帯電話機100は作動しなくなるため、不正な利用を防止することができる。たとえば、操作ロック時における盗み見み等を防止することができる。
また、前述の第1の実施の形態と組み合わせることにより、使用者が実際に使用しているとき以外に、常時、他者の不正な使用を防ぐこともできるため、機密性をさらに高めることができる。
<第3の実施の形態>
以下、図11〜図13を参照して、本発明の第3の実施の形態について説明する。本実施の形態に係る携帯電話機は、被写体を照射するための光源と、サブ表示部の光源すなわち画像を表示するための光源とが共用されている点で、前述の各実施の形態と異なる。
図11を参照して、本実施の形態に係る携帯電話機1100の構成について説明する。図11(A)および図11(B)は、それぞれ、携帯電話機1100の外観を表わす図である。なお、図11(A)に示される外観は、前述の第1の実施の形態に係る携帯電話機100の外観と同じであるので、ここでは、それらについての説明は、繰り返さない。
図11(B)に示されるように、携帯電話機1100は、その筐体の背面に、サブ表示部1110と、サブ表示部1110の内側に配置される可視光線用光源1112と、赤外線光源1120とを含む。サブ表示部1110の表示領域は、可視光線用光源1112により照射される光が透過されるように、たとえば透明の樹脂材料により構成される。なお、当該表示領域の材料は、上記のものに限られず、可視光線用光源1112からの照射光が透過可能であればよい。
図12を参照して、携帯電話機1100の構成についてさらに説明する。図12は、携帯電話機1100の機能的構成を表わす図である。
携帯電話機1100は、図11に示される構成に加えて、表示ドライバ1114と液晶ユニット1116とを含む。可視光線用光源1112は、制御部200により出力される発光指令に基づいて、撮像部160による撮影のためのライトを被写体に照射する。可視光線用光源1112は、さらにサブ表示部1110における画像の表示時に、制御部200による発光指令に基づいて液晶ユニット1116を照射する。すなわち可視光線用光源1112は、液晶ユニット1116のバックライトとして機能する。この場合、液晶ユニット1116は、表示ドライバ1114からのデータに基づいて画像を表示する。
図13を参照して、本実施の形態に係る携帯電話機1100の制御構造について説明する。図13は、携帯電話機1100が備える制御部200が実行する処理の手順を表わすフローチャートである。この処理は、携帯電話機1100が外部からの指令の入力を受け付け可能な場合、たとえば待機状態のときに実行される。
ステップS1310にて、携帯電話機1100の制御部200は、キー入力部130を介した入力を検知する。ステップS1320にて、制御部200は、当該入力に基づいて、撮像モードのキーが押下されたか否かを判断する。制御部200が、撮像モードのキーは押下されたと判断すると(ステップS1320にてYES)、処理はステップS1330に移される。そうでない場合には(ステップS1320にてNO)、処理はステップS1340に移される。
ステップS1330にて、制御部200は、可視光線用光源1112に対して、発光指令を出力する。可視光線用光源1112は、その指令に応答して、予め定められた強度により発光する。これにより、可視光線用光源1112は、撮像部160の撮影時における照明として機能する。
ステップS1340にて、制御部200は、サブ表示部120への画像の表示処理を実行するか否かを判断する。この判断は、たとえば制御部200に対して入力される信号に基づいて行なわれる。制御部200が、サブ表示部120に画像を表示する処理を実行すると判断すると(ステップS1340にてYES)、処理はステップS1350に移される。そうでない場合には(ステップS1340にてNO)、処理は終了する。
ステップS1350にて、制御部200は、サブ表示部120を照射する指令を、可視光線用光源1112(バックライト)に出力する。可視光線用光源1112は、その指令に応答してサブ表示部120に対して発光する。その結果、サブ表示部1110の液晶ユニット1116は、形成されている画像(たとえば写真、文字等)を表示する。
以上のようにして、本発明の第3の実施の形態に係る携帯電話機1100によると、血管パタンを撮影するための専用の可視光線用光源を必要としない。すなわち、携帯電話機1100は、従来の携帯電話機が備えるライト、すなわち可視光線用光源1112を、血管パタンの撮影のための光源としても使用できる。その結果、携帯電話機1100の構成部品を削減することができ、携帯電話機100をより小型化することができる。また、携帯電話機100のコストの増加を抑制することができる。
<第4の実施の形態>
図14および図15を参照して、本発明の第4の実施の形態について説明する。本実施の形態に係る携帯電話機1400は、赤外線光源1500を携帯電話機1400の筐体の内部に備える点で、前述の各実施の形態と異なる。
図14を参照して、本実施の形態に係る携帯電話機1400の構成について説明する。図14は、携帯電話機1400の外観を表わす図である。
携帯電話機1400は、図11に示される構成に加えて、サブ表示部1110の内側に配置された赤外線光源1500をさらに含む。赤外線光源1500は、サブ表示部1110の表示領域の内側に配置されている。
図15を参照して、本実施の形態に係る携帯電話機1400の構成についてさらに説明する。図15は、携帯電話機1400の機能的構成を表わすブロック図である。
携帯電話機1400は、液晶ユニット1116を透過して赤外線を発信することができるように配置された赤外線光源1500を含む。赤外線光源1500は、制御部200により出力される指令に基づいて所定の赤外線を発信する。赤外線光源1500による出力は、可視光線用光源1112による動作に同期して行なわれる。これにより、赤外線光源1500と可視光線用光源1112とが別個に設けられていても、同一の被写体をそれぞれ同時期に照射することができる。その結果、正確な撮像データが取得されるため、認証処理の精度の低下が防止される。
以上のようにして、本発明の第4の実施の形態に係る携帯電話機1400によると、赤外線光源1500がその筐体の内部に配置されていても、赤外線光源1500は、予め定められた照射範囲に対して赤外線を照射することができる。他方、第3者は、赤外線光源1500が携帯電話機1400に含まれていることを容易に認識することができない。これにより、不正なアクセスの防止に関し、認証処理のセキュリティレベルを向上させることができる。
<第5の実施の形態>
以下、本発明の第5の実施の形態について説明する。本実施の形態に係る携帯電話機は、予め定められた2つの基準値に基づいて認証処理を実行することによりユーザ認証を行なう機能を有する点で、前述の各実施の形態と異なる。2つの基準値は、たとえば血管の撮像データを、静脈パタンと動脈パタンとに分けるために使用できる。そして、静脈パタンと動脈パタンとのそれぞれについて認証処理を行なうことにより、携帯電話機のセキュリティを向上することができる。
なお、本実施の形態に係る携帯電話機は、前述の各実施の形態に係る携帯電話機のいずれかのハードウェア構成と同一の構成により実現される。それらの機能も同じである。したがって、ハードウェア構成についての説明は、ここでは繰り返さない。
ここで、図16を参照して、基準値を1つ使用する場合における認証処理の手順について説明する。図16は、制御部200が実行する処理の手順を表わすフローチャートである。なお、前述の各実施の形態における処理と同一の処理には同一のステップ番号を付してある。したがって、ここではそれらについての説明は繰り返さない。
ステップS1610にて、制御部200は、一時記憶部192の所定の領域に撮像した第1の画像データを格納する。ステップS1620にて、制御部200は、予め定められた第1の基準値TH(1)を用いて、予め定められた画像処理を実行する。
ステップS1630にて、制御部200は、当該画像処理により得られた第2の画像データを一時記憶部192の所定の領域に格納する。この領域は、ステップS1610において使用される領域とは異なる領域である。
ステップS1640にて、制御部200は、第2の画像データと第1の画像データとに基づいて、血管のパタンを表わすデータを取得する。この取得は、たとえば図6(C)に示されるように、同一の部位に対して撮影された画像データの差分を算出することにより行なわれる。
ステップS1650にて、制御部200は、予め登録されている血管のパタンを表わすデータとステップS1640にて取得されたパタンを表わすデータとが一致するか否かを判断する。制御部200が、これらのデータは一致すると判断すると(ステップS1650にてYES)、処理はステップS1660に移される。そうでない場合には(ステップS1650にてNO)、処理はステップS1670に移される。
ステップS1660にて、制御部200は、一致時において予め定められた処理を実行する。この処理は、たとえば、それまでアクティブに設定されていたロック状態を解除して、外部からの入力を受け付け可能な状態、いわゆる待機状態に移行するための処理である。
ステップS1670にて、制御部200は、不一致時における予め定められた処理を実行するための指令を出力する。この指令は、たとえば、認証処理が失敗したことを通知するためのメッセージの出力指令、発振動作の指令、認証処理の失敗時に報知される音声として予め準備されている警報音の出力指令などを含む。
次に、図17を参照して、本実施の形態に係る携帯電話機の制御部1700について説明する。図17は、制御部1700の機能的構成を表わすブロック図である。
制御部1700は、図3に示される構成に加えて、撮像により取得された血管のパタンデータの差分を算出するための差分演算部1710をさらに含む。データ差分演算部1710は、差分演算を実行するためのプログラムが実行されることにより実現される。当該プログラムは、たとえば記憶部190に予め格納されている。差分演算部1710は、たとえば赤外線光源により照射された画像データから、可視光線用光源により照射された画像データに共通に含まれるデータを、予め定められた画像処理を実行することにより、静脈パタンを取得する。
図18を参照して、本実施の形態に係る携帯電話機のデータ構造について説明する。図18は、記憶部190におけるデータの格納の一態様を表わす図である。
記憶部190において、予め定められた第2の基準値TH(2)は、領域442に格納されている。この基準値は、赤外線の照射により撮影された画像を明暗に基づいて処理するための基準値である。
予め登録された第2の血管パタンを表わすデータは、領域452に格納されている。第2の血管パタンは、たとえば動脈パタンである。このデータは、たとえば外部からの入力処理により、記憶部190に格納される。データの入力処理は、周知であるため、入力処理についての説明は、ここでは繰り返さない。
ここで、第1の撮像画像データおよび第2の撮像画像データは、領域430,432にそれぞれ格納されているが、一時記憶部192のみに格納されてもよい。また、記憶部190から、後述する処理が実行された後に消去されてもよい。これにより、撮像データが継続して保持されることはなくなるため、認証処理におけるセキュリティを向上させることができる。
図19を参照して、本実施の形態に係る携帯電話機の制御構造について説明する。図19は、携帯電話機の制御部1700が実行する処理の手順を表わすフローチャートである。なお、前述の各実施の形態における処理と同一の処理には同一のステップ番号を付し、それらについての説明はここでは繰り返さない。
ステップS1910にて、制御部1700は、第2の画像データと第1の画像データとに基づいて静脈パタンを表わすデータを作成する。作成されたデータは、たとえば一時記憶部192の所定の領域に一時的に格納される。
ステップS1920にて、制御部1700は、予め登録されている静脈パタンを表わすデータとステップS1910において生成された静脈パタンを表わすデータとが一致するか否かを判断する。この判断は、各データを比較することにより実現される。制御部1700が、これらのデータは一致すると判断すると(ステップS1920にてYES)、処理はステップS1930に移される。そうでない場合には(ステップS1920にてNO)、処理はステップS1670に移される。
ステップS1930にて、制御部1700は、予め定められた第2の基準値TH(2)を用いて予め定められた画像処理を実行し、第3の画像データを生成する。この画像データは、明暗の基準値に基づいてフィルタリング処理を実行することにより得られる。
ステップS1940にて、制御部1700は、第3の画像データと第1の画像データと第2の画像データとに基づいて、動脈パタンを表わすデータを作成する。ステップS1950にて、予め登録されている動脈パタンを表わすデータ(図18における領域452に格納されているデータ)と、ステップS1940において作成された動脈パタンを表わすデータとが一致するか否かを判断する。制御部1700が、これらのデータは一致すると判断すると(ステップS1950にてYES)、処理はステップS1660に移される。そうでない場合には(ステップS1950にてNO)、処理はステップS1670に移される。
図20を参照して、本実施の形態に係る携帯電話機により生成される血管パタンの画像について説明する。図20(A)〜図20(E)は、それぞれ血管パタンの画像のイメージを表わす図である。当該イメージは、たとえば、血管パタンを表わすデータがコンピュータシステムに入力され、予め定められた画像処理が実行された後に、当該コンピュータシステムのディスプレイにも表示され得る。
なお、図20(A)〜図20(C)に示される画像は、図6(A)〜図6(C)に示される画像と同じであるので、それらについての説明はここでは繰り返さない。
図20(D)を参照して、予め定められた第2の基準値TH(2)を使用して画像処理が実行されると、静脈630に加えて、動脈640が抽出される。
図20(E)を参照して、図20(D)に示される画像と図20(B)および(C)に示される画像との差分が算出されると、動脈640のみが抽出される。すなわち、血管パタンを表わすデータについて、差分処理を実行することにより、図20(B)〜図20(D)のいずれにも表われるデータが消去されることにより、図20(D)に示されるデータのみが残り、差分データとして抽出される。当該差分処理は、制御部1700の差分演算部1710により実行される。
以上のようにして、本発明の第5の実施の形態に係る携帯電話機によると、一度の認証手続きにおいて、2つの照合処理、すなわち、動脈の照合と静脈の照合とが実施される。このため、第3者が何らかの不正な手段で認証機能を解除しようとする場合、2つの認証機能を解除する必要がある。このように、認証機能を解除するための不正な操作を行なう回数が増えるため、当該回数が少ない場合よりも、携帯電話機の情報機密性を高めることができる。
また、動脈と静脈の2つの血管のパタン照合は内部的な処理であり、外から見たときには、その処理内容が分からない。すなわち、具体的な認証処理は、他者に認識されにくい。そのため、当該認証処理の対象が動脈と静脈とに分けられていることが認識されなければ、仮に、第3者が、何らかの不正な手段で血管パタンを取得し、携帯電話機の改造等により、当該血管パタンを携帯電話機に認証させるようなことができた場合であっても、それぞれのパタンを用意することができない。したがって、当該第3者は、携帯電話機の正当な使用者として認識されない。このようにして、他者に認証処理の内容を分かりにくくすることにより、携帯型電子機器における情報の機密性を高めることができる。
なお、上述の実施の形態においては、説明の簡略化のため、赤外光による撮像画像の明暗判断の基準値が2つ使用される場合が説明されている。しかし、複数の基準値が使用されてもよい。この場合は設定された値に応じて、動脈であるか静脈であるか、血管の太さ、あるいは、体表面からの距離などに応じて、血管パタンが分類され、認証に使用される複数のパタンが使用可能になる。その結果、携帯電話機における情報の機密性をさらに高めることができる。
<第6の実施の形態>
図21および図22を参照して、本発明の第6の実施の形態について説明する。本実施の形態に係る携帯電話機2000は、着脱可能なデータ記憶媒体の装着が可能である点で、前述の各実施の形態と異なる。
図21を参照して、本実施の形態に係る携帯電話機2000の構成について説明する。図21は、携帯電話機2000の機能的構成を表わすブロック図である。なお、前述の各実施の形態における携帯電話機と同一の構成には同一の番号を付してある。それらの機能も同じである。したがって、それらについての説明はここでは繰り返さない。
携帯電話機2000は、図2に示される構成に加えて、着脱可能なデータ記憶部の装着を受け付ける駆動部2010を含む。駆動部2010には、着脱可能なデータ記憶部2020が装着される。データ記憶部2020は、たとえばメモリカードその他の不揮発性の記録媒体により実現される。
図22を参照して、本実施の形態に係る携帯電話機200に装着されるデータ記憶部2020におけるデータ構造について説明する。図22は、データ記憶部2020におけるデータの格納の一態様を概念的に表わす図である。
携帯電話機200のユーザの血管のパタンを表わすデータは、領域2200に格納されている。携帯電話機2000の通話機能により使用される電話番号リストは、領域2210に格納されている。同様に電子メールアドレスは、領域2220に格納されている。あるいは携帯電話機2000がテキストの編集機能を有する場合には、テキストファイルは、領域2230に格納されている。また画像データたとえば写真あるいは動画像などは、画像ファイルとして領域2240に格納されている。なお、データ記憶部2020におけるデータの格納の態様および種類は、図22に示されるものに限られない。たとえば、音声ファイルが格納されていてもよい。
上記の構成において、着脱可能なデータ記憶部2020の容量は、たとえば血管パタンを画像データとして格納した場合であっても数百キロバイトから数メガバイト程度である。また血管パタンの特徴点のみを格納した場合は、数キロバイトから数十キロバイトである。この程度であれば、不揮発性メモリが血管パタンのデータを十分記憶できるため、データ記憶部2020の記憶容量を大きくする必要はない。したがって、データ記憶部2020は、持ち運びが容易になる。
以上のようにして、本発明の第6の実施の形態に係る携帯電話機2000によると、データ記憶部2020を使用することにより、同様の認証機能を有する携帯電話機の間でデータ記憶部2020を差し替えることができる。ユーザは、同一の登録データを使用する携帯機器を自由に変更することができる。したがって、複数の携帯電話機を使用する場合や通信規格の異なる携帯電話機を使用する場合には、それぞれの携帯電話機に対して事前に必要なデータの登録をすることなく、データ記憶部2020の差し替えのみで使用可能とすることができる。このようにすると、たとえば登録情報の管理は、データ記憶部2020に対してのみ行なえばよくなる。その結果、携帯型電子機器における情報のセキュリティが向上するとともに、利便性も向上する。
なお、本実施の形態においては、登録情報を取得する手段として、着脱可能なデータ記憶媒体が使用されているが、他の態様によって、登録情報を外部から取得可能にしてもよい。たとえば、登録情報は、データの入力を受け付け可能なデータ入力インターフェイスを介して入力されてもよい。この場合には、携帯電話機が、データ記憶媒体に代えて、たとえば暗号化処理された登録情報を受信可能とすることにより、データ記憶媒体を持ち運ぶ必要がなくなる。
<第7の実施の形態>
以下、図23〜図28を参照して、本発明の第7の実施の形態について説明する。本実施の形態に係る携帯電話機2300は、血管の立体構造を抽出する機能を有する点で、前述の各実施の形態と異なる。立体構造は、各光源により照射された光に基づいて取得された撮影画像の位置関係の相違に基づいて抽出される。
図23を参照して、本実施の形態に係る携帯電話機2300について説明する。図23は、携帯電話機2300の外観を表わす図である。なお、前述の各実施の形態における携帯電話機と同一の構成には同一の番号を付してある。それらの機能も同じである。したがって、それについての説明はここでは繰り返さない。
携帯電話機2300は、図1に示される構成に加えて、さらに赤外線光源2310を含む。赤外線光源2310は、携帯電話機2300のサブ表示部120が配置されている面、たとえば筐体の背面に設けられている。換言すれば、赤外線光源2310は、赤外線/可視光線用光源150と同一の面に設けられている。なお、各光源150,2310が配置される面は、他の面であってもよい。
図24を参照して、本実施の形態に係る携帯電話機2300の構成についてさらに説明する。図24は、携帯電話機2300の機能的構成を表わすブロック図である。
赤外線光源2310は、制御部2500に接続されている。赤外線光線2310は、制御部2500が出力する指令に基づいて、予め定められた波長を有する赤外線を照射する。当該波長は、赤外線/可視光線用光源150が照射する赤外線と同一の波長(たとえば750nm)である。赤外線光源2310に対する制御構造については後述する。
図25を参照して、本実施の形態に係る携帯電話機2300の制御部2500について説明する。図25は、制御部2500の機能的構成を表わすブロック図である。
制御部2500は、図3に示される構成に加えて、撮像部160により撮影された画像明暗を算出するための明暗差算出部2510と、撮影された画像に基づいて被写体の立体構造を生成するための立体構造生成部2520とを含む。明暗差算出部2510と立体構造生成部2520とは、それぞれ、明暗差を算出するために予め作成されたプログラムおよび立体構造を生成するために予め作成されたプログラムが実行されることにより、実現される。
図26を参照して、本実施の形態に係る携帯電話機2300におけるデータ構造について説明する。図26は、記憶部190におけるデータの格納の一態様を表わす図である。
記憶部190において、立体構造が反映された静脈パタンを表わすデータは、領域2610に格納されている。このデータには、平面的に表わされる静脈パタンのデータ(たとえば図4における領域450に格納されているデータ)と異なり、3次元情報も含まれている。当該データを導出するための処理については後述する。
ここで図27を参照して、本実施の形態に係る携帯電話機2300による立体構造の生成について説明する。図27は、携帯電話機2300と、人体の一部である指先2700におけるある血管の一部との関係を表わす図である。
赤外線/可視光線用光源150から照射された光は、人体内2710を進み血管2730に到達する。当該光は、血管2730においてヘモグロビンにより大部分が吸収される。しかし、一部の光は、血管2730の表面で散乱される。当該散乱光のうち携帯電話機2300の撮像範囲に反射される光は、反射光2750として撮像部160において撮像される。ここで、撮像画像の明暗の度合は、反射光と吸収光との割合に応じて定まる。
ここで血管2730の反射面2720に対する法線ベクトルを2740として、赤外線/可視光線用光源150と法線ベクトル2740とのなす角度がθ1とすると、反射光2750は、法線ベクトル2740と赤外線/可視光線用光源150と反射面2720とを結ぶベクトルとの内積COS(θ1)に比例する。すなわち、赤外線/可視光線用光源150により赤外線を照射したときに受光センサ152によって撮像される反射面2720の明暗は、当該赤外線が血管2730により吸収される割合と、赤外線光源/可視光線用光源150と反射面2720とを結ぶベクトルと法線ベクトル2740とにより作られる角度θ1に依存する。
赤外線光源2310により赤外線が照射された場合についても同様である。すなわち、血管2730の反射面2720に対する法線ベクトル2740と、赤外線光源2310から反射面2720を結ぶ照射方向とのなす角度を角度θ2とすると、反射光2760は、法線ベクトル2740と赤外線光源2310と反射面2720とを結ぶベクトルとの内積COS(θ2)に比例する。すなわち、赤外線光源2310により赤外線を照射したときに撮像部160によって撮像される反射面2720の明暗は、当該赤外線が血管2730により吸収される割合と、赤外線光源2310と反射面2720とを結ぶベクトルと、法線ベクトル2740とにより作られる角度θ2に依存する。
ここで、赤外線/可視光線用光源150および赤外線光源2310として同一の波長750nmであるLED(Light Emitting Diode)を使用することにより、たとえば図5に示されるように、赤外線は、血管において吸収される割合は、当該波長に依存するので、赤外線がいずれの光源から照射された場合も同じである。つまり反射光2750、2760は、赤外線光源150,2310がそれぞれ、反射面2720における角度θ1,θ2のみに依存することになり、この依存性に基づく明暗の差が、受光センサ152により撮影される。
このようにして、本実施の形態に係る携帯電話機2300は、赤外線/可視光線用光源150により照射して撮像された画像と赤外線光源2310により照射して撮像された画像とに基づいて各画像の明暗差を算出し、角度依存性に基づいて血管パタンの立体構造を算出することができる。
図28を参照して、本実施の形態に係る携帯電話機2300の制御構造について説明する。図28は、携帯電話機2300の制御部2500が実行する処理の手順を表わすフローチャートである。なお、前述の実施の形態における処理と同一の処理には同一のステップ番号を付し、それらについての説明はここでは繰り返さない。
ステップS2810にて、制御部2500は、第1の赤外線光源(すなわち赤外線/可視光線用光源150)に対する発光指令と撮像部160に対する撮像指令とを出力する。ステップ2820にて、制御部2500は、撮像により生成された第2の画像データを一時記憶部192に格納する。
ステップ2830にて、制御部2500は、第2の赤外線光源(すなわち赤外線光源2310)に対する発光指令と撮像部160に対する撮像指令とを出力する。ステップS2840にて、制御部2500は、一時記憶部192の所定の領域に、撮像により生成された第3の画像データを格納する。
ステップS2850にて、制御部2500は、第3の画像データと第1の画像データとに基づいて第2の静脈パタンを表わすパタンデータを作成する。ステップS2860にて、制御部2500は、ステップS1910にて作成された第1の静脈パタンを表わすデータと第2の静脈パタンを表わすデータとの明暗差を算出する。
ステップS2870にて、制御部2500は、予め定められた処理を実行することにより、当該明暗差に基づいて静脈パタンの立体構造を生成する。ステップS2880にて、制御部2500は、立体構造が反映された予め登録されている静脈パタンを表わすデータと、ステップS2870にて生成された静脈パタンを表わすデータとが、一致するか否かを判断する。制御部2500が、これらのデータは一致すると判断すると(ステップS2880にてYES)、処理はステップS1660に移される。そうでない場合には(ステップS2880にてNO)、処理はステップS1670に移される。
以上のようにして、本実施の形態に係る携帯電話機2300によると、血管パタンの立体構造が生成され、認証処理に使用される。これにより、平面上の血管パタンによる認証処理によっては正当な使用者であると誤認識するような血管パタンにおいても、正確に認証処理を実行することができる。これにより、認証精度を向上させることができる。なお、上記の説明においては、赤外線の光源が2つである場合について説明されたが、当該光源は2つ以上であってもよい。
なお、第1〜第7の各実施の形態においては、本発明を携帯電話機に適用して説明したが、本発明は、携帯電話機に限られない。例えば、デジタルカメラ、電子手帳、PDA(Personal Digital Assistant)その他のデータ処理機能、データ入出力機能、あるいは通信機能を備える携帯型電子機器に適用できる。こうした携帯型電子機器は、各実施の形態において説明されるように、使用者の指先の汚れなどに依存することなく認証処理を実行することができるため、本人の認証率が改善され、あるいは、認証装置そのものを他者に認識されにくくすることで、携帯型電子機器における情報の機密性が高められる。
なお、以上の説明において、血管パタンの抽出のための撮像は、たとえば図16または図19に示されるように、初めに可視光線を照射した状態での撮像、続いて赤外線を照射した状態での撮像、という順序で実現される。しかしながら、処理内容からも明らかな通り、この撮影順序が入れ替えられてもよい。
以上、詳述したように、本発明に係る携帯型電子機器によれば、日常生活の様々な状況下で使用されている携帯型電子機器は、使用者の状態、特に指先の汚れなどに影響を受けにくくなる。また、携帯型電子機器が他人に持ち出されても、偽の認証パタンによって不正に使用される可能性が少なくなる。これにより、正当に許可された使用者のみが携帯型電子機器の機能あるいは携帯型電子機器に保持されている様々な情報を使用できる携帯型電子機器を提供することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
100,1100,1400,2000,2300 携帯電話機、102 アンテナ、104 無線通信部、110 主表示部、120,1110 サブ表示部、130 キー入力部、132 血管撮像モード設定部、134 第1の輝度調整キー、136 第2の輝度調整キー、150 赤外線/可視光線用光源、152 受光センサ、160 撮像部、170 スピーカ、172 音声入出力部、180 マイク、190 記憶部、192 一時記憶部、194 VRAM、200,800,1700,2500 制御部、196 バッテリ、210 入力検知部、220 第1の画像生成部、230 第2の画像生成部、240 抽出部、250 比較部、260 動作制御部、270 検出部、600 指先の一部、610 色素/汚れ、620 皺、630,2730 血管、810 操作ロック制御部、1112 可視光線用光源、1114 表示ドライバ、1116 液晶ユニット、1500,2310 赤外線光源、1710 差分演算部、2010 駆動部、2020 データ記憶部、2510 明暗差算出部、2520 立体構造生成部、2700 人体の一部、2710 人体の内部、2720 血管の反射面、2740 法線ベクトル、2750,2760 反射光。