JP2021175149A - 電子機器、電子機器の制御方法、プログラム - Google Patents
電子機器、電子機器の制御方法、プログラム Download PDFInfo
- Publication number
- JP2021175149A JP2021175149A JP2020080331A JP2020080331A JP2021175149A JP 2021175149 A JP2021175149 A JP 2021175149A JP 2020080331 A JP2020080331 A JP 2020080331A JP 2020080331 A JP2020080331 A JP 2020080331A JP 2021175149 A JP2021175149 A JP 2021175149A
- Authority
- JP
- Japan
- Prior art keywords
- user
- line
- electronic device
- sight
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 210000001508 eye Anatomy 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 17
- 208000016339 iris pattern Diseases 0.000 claims description 13
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】複数人が視線入力を利用する際に煩雑さを低減させる。【解決手段】電子機器は、ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、ユーザを認証する認証手段と、前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、を有することを特徴とする。【選択図】図2
Description
本発明は電子機器、電子機器の制御方法、プログラムに関する。
電子機器には、視線の入力を受け付ける技術である視線入力技術がある。特許文献1には、視点位置(ユーザが見ている位置)を検出するビデオカメラが記載されている。また、生体認証には、電子機器がユーザ個人を特定する(認証する)技術があり、特許文献2には、虹彩を用いてユーザ個人を特定する虹彩認証の技術が記載されている。
ここで、視線入力の技術では、眼球の回転半径や瞳孔開閉時の視線のずれがユーザごとに異なるため、ユーザごとに、これらのずれを補正するためのデータであるキャリブレーションデータと呼ばれる視線の特徴データが必要である。しかし、電子機器を複数人が使用する場合には、複数人のキャリブレーションデータを事前に登録(取得)しておく必要があり、電子機器を使用するユーザが代わった際に正しく視線入力の検出ができない場合がある。
また、複数人分のキャリブレーションデータを予め登録している場合でも、視線入力に応じた機能を利用する際に、ユーザが自身の登録内容を選択する必要があり、ユーザにとって手間であった。また、登録された複数のキャリブレーションデータのうちいずれが自身のデータであるのかをユーザが記憶しておかないと、再度キャリブレーションデータを取得する必要があるなどの手間が生じていた。
そこで、本発明は、複数人が視線入力を利用する際に煩雑さを低減させることを目的とする。
本発明の第1の態様は、
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
ユーザを認証する認証手段と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器である。
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
ユーザを認証する認証手段と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器である。
本発明の第2の態様は、
ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
ユーザを認証する認証工程と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出
工程と、
を有する、
ことを特徴とする電子機器の制御方法である。
ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
ユーザを認証する認証工程と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出
工程と、
を有する、
ことを特徴とする電子機器の制御方法である。
本発明によれば、複数人が視線入力を利用する際に煩雑さを低減させることができる。
以下に、本発明の実施の形態を、添付の図面を用いて詳細に説明する。
<実施形態1>
[撮像装置の構成]
図1を参照して、本実施形態に係る撮像装置100の構成を説明する。図1は、実施形態1に係る撮像装置100の構成図である。ここで、撮像装置100は、ユーザの視線入力を受け付け可能であれば、デジタルカメラなどのカメラに限らず、スマートフォンなどの他の電子機器やパーソナルコンピューターであってもよい。
[撮像装置の構成]
図1を参照して、本実施形態に係る撮像装置100の構成を説明する。図1は、実施形態1に係る撮像装置100の構成図である。ここで、撮像装置100は、ユーザの視線入力を受け付け可能であれば、デジタルカメラなどのカメラに限らず、スマートフォンなどの他の電子機器やパーソナルコンピューターであってもよい。
撮像装置100は、レンズユニット101、撮像素子102、光源部103、画像処理回路109、記録部110、メモリ回路111、制御回路112、表示部113、検出部114、虹彩認証部115を有する。また、撮像装置100は、操作部116、表示部117、視線用撮像素子118、バス120を有する。
レンズユニット101は、被写体からの入射光を撮像素子102に集光する。レンズユニット101は、例えば、複数のレンズ、絞りなどを有する。
撮像素子102は、レンズユニット101が集光した光に基づき、被写体が撮像された画像(画像データ)を取得する。光源部103は、被写体に対して光を照射する光源を有する。
画像処理回路109(現像処理部)は、撮像素子102から取得した画像に対して、色マトリクス処理やガンマ処理などの現像処理を行う。なお、これらの処理において、画像処理回路109は、必要に応じてメモリ回路111に画像を記録する。そして、画像処理回路109は、表示部113、表示部117や記録部110に処理した画像を出力する。
記録部110は、画像やプログラムなどを記録(記憶)する。また、記録部110は、ユーザごとに、虹彩の特徴を示す虹彩データと、当該虹彩データと紐づいたキャリブレーションデータを記録する。本実施形態では、キャリブレーションデータとは、ユーザごとの、眼球の回転半径や瞳孔開閉時の視線のずれなどを補正して、視点の位置(視点位置)を特定するために用いる視線の特徴データである。つまり、キャリブレーションデータとは、ユーザの目の向きと、ユーザが実際に見ている位置(視点位置)とを結びつける情報である。
制御回路112は、画像処理回路109の画像処理や撮像素子102の駆動の一部の制御を実行する。また、制御回路112は、表示部113や表示部117の表示の制御、操作部116からの指示の受け取りの制御や、メモリ回路111や記録部110へのデータ受け渡しの制御を実行している。撮像素子102や画像処理回路109を制御回路112が制御することに限らず、撮像素子102や画像処理回路109のそれ自身が制御部を有していてもよい。
表示部113および表示部117は、処理された画像を表示する。表示部117は、本実施形態では、EVF(エレクトリカルビューファインダー)である。ユーザは、接眼ファインダー(不図示)を介して撮像装置100の内部の表示部117に表示された画像を視認することができる。つまり、表示部113は、ユーザが接眼ファインダーに接眼していない場合に視認する表示部であり、表示部117は、ユーザが接眼ファインダーに接眼している場合に視認する表示部である。
検出部114は、ユーザの目(目の動き)を撮像した画像に基づき、ユーザの視線(視点位置;見ている位置;視線位置)を検出する。本実施形態では、ユーザが接眼ファインダーを介して表示部117を覗いた状態で、ユーザの視線(視点位置)が検出される。また、検出部114は、ユーザごとに、キャリブレーションデータを取得する。なお、本実施形態では、ユーザは、視点位置に応じて、撮像装置100の各機能部の操作をすることができる。例えば、表示部117における視点位置を検出すると、検出した位置に対して、撮像装置100はAF(オートフォーカス)を実行することができる。なお、検出部114は、視線用撮像素子118から取得するユーザの目を撮像した画像に基づき、ユーザの視点位置を検出する。
虹彩認証部115は、ユーザ特有の情報(生体認証データ)である虹彩データを取得して、ユーザを認証して(虹彩認証をして)、キャリブレーションデータと虹彩データ(ユーザ個人)とを結び付ける。
操作部116は、ユーザ操作に応じた操作信号を生成する。操作部116は、タッチパネル、ダイヤル、4方向キー、シャッターボタン、電源スイッチ、メニューボタン、再生ボタンなどを含む。
視線用撮像素子118は、ユーザの視線検出に用いるための画像であって、ユーザの目を撮像した画像を取得する。視線用撮像素子118は、本実施形態では、赤外光に対して感度を有するIR画素を含む。バス120は、撮像装置100における各機能部が互いにデータをやり取りするための共通の経路である。
[キャリブレーションデータの取得・記録のフロー]
以下では、図2を参照して、撮像装置100が起動してから、キャリブレーションデータが取得されて、さらにキャリブレーションデータが記録部110に記録されるまでの処理の流れについて説明する。図2は、撮像装置100における、キャリブレーションデータの取得・記録のフローに関する処理を実行する機能部を示している。なお、光源部103は、光源201、光源制御部202、プリズム205を有する。光源201は、赤外光(IR光)を照射する。光源制御部202は、光源201を制御して、ユーザの目200に光を照射する。プリズム205は、表示部117の前に配置されており、ユーザの目200から照射される光を屈折させて、視線用撮像素子118に入射させる。
以下では、図2を参照して、撮像装置100が起動してから、キャリブレーションデータが取得されて、さらにキャリブレーションデータが記録部110に記録されるまでの処理の流れについて説明する。図2は、撮像装置100における、キャリブレーションデータの取得・記録のフローに関する処理を実行する機能部を示している。なお、光源部103は、光源201、光源制御部202、プリズム205を有する。光源201は、赤外光(IR光)を照射する。光源制御部202は、光源201を制御して、ユーザの目200に光を照射する。プリズム205は、表示部117の前に配置されており、ユーザの目200から照射される光を屈折させて、視線用撮像素子118に入射させる。
まず、光源制御部202が光源201を制御して、光源201からユーザの目200に赤外光を照射する。すると、ユーザの目200において反射した赤外光が、プリズム205において屈折して、視線用撮像素子118に入射される。視線用撮像素子118は、赤
外光に対して感度を有するため、ユーザの目200を撮像した画像を取得することができる。
外光に対して感度を有するため、ユーザの目200を撮像した画像を取得することができる。
検出部114が有するデータ検出部204は、虹彩認証部115が認証したユーザのキャリブレーションデータが記録部110に記録されていない場合に、視線用撮像素子118が取得した目200の画像に応じて、キャリブレーションデータを取得する。なお、キャリブレーションデータを予め取得していれば、検出部114は、視線用撮像素子118が取得したユーザの目200の画像に応じて、表示部117においてユーザが見ている位置(視点位置)を検出することができる。
虹彩認証部115は、撮像装置100の起動時に、視線用撮像素子118から画像に基づき、虹彩データを取得する。虹彩部分のパターンは、人により異なるため、そのパターンの特徴量を数値化した情報を虹彩データとして扱うことによって個人を特定することが可能である。そして、虹彩認証部115は、虹彩データとキャリブレーションデータを関連付けて(紐付けて)記録部110に記録する。なお、記録部110に、虹彩データに紐づけるためのキャリブレーションデータが記録されていない場合には、上述のように、データ検出部204がキャリブレーションデータを取得する(キャリブレーションを実行する)。なお、虹彩認証部115は、起動時に限らず、視線用撮像素子118から画像を取得した場合や、表示部117であるEVFをユーザがのぞき込んだことを示す接眼(近眼)を接眼検出部(不図示)が検出した場合に、虹彩パターンを検出してもよい。なお、接眼検出は、例えば、接眼検出部が赤外線を物体に照射する場合に、接眼検出部が受光する、物体において反射した赤外光の光量の変化に基づいて行うことができる。
[キャリブレーションデータの読み出しフロー]
図3は、時刻経過(タイミングT310〜T313)に対する、キャリブレーションデータの読出しのシーケンスを示す図である。光源201、視線用撮像素子118の処理とともに、虹彩認証部115や検出部114などによる視線検出のための処理をそれぞれ示している。
図3は、時刻経過(タイミングT310〜T313)に対する、キャリブレーションデータの読出しのシーケンスを示す図である。光源201、視線用撮像素子118の処理とともに、虹彩認証部115や検出部114などによる視線検出のための処理をそれぞれ示している。
タイミングT310では、光源201が光をユーザの目に照射(通常照射)し、視線用撮像素子118がユーザの目の画像を取得する。なお、虹彩パターンを検出する際に、通常の照射(視線検出のための照射)では光量が不足する場合には、光源201は照射する光の出力の光量を大きくしてもよい。つまり、虹彩認証と視線検出とでは、互いに異なる光量の光が光源201から照射されてもよい。
タイミングT311では、虹彩認証部115は、取得した目の画像から虹彩パターンを取得(抽出)する。
タイミングT312では、制御回路112は、記録部110に抽出した虹彩パターンと一致する虹彩データが記録部110に記録されている場合には、記録部110において当該虹彩データに紐づいて記録されていたキャリブレーションデータを取得する。制御回路112は、取得したキャリブレーションデータを、視線検出に用いるデータとして設定(確定)する。
タイミングT313以後では、検出部114は、設定したキャリブレーションデータに基づいて、視線検出用に取得した画像からユーザの視点位置を取得する(ユーザの視線を検出する)。
[キャリブレーションデータの設定処理]
以下では、図4を用いて、キャリブレーションデータを視線検出に用いるデータとして
設定する設定処理について説明する。図4は、キャリブレーションデータの設定処理を示すフローチャートである。本フローチャートの処理は、電源スイッチがオンにされて、撮像装置100が起動すると開始する。なお、本フローチャートの処理は、制御回路112が記録部110(記憶媒体)に格納されたプログラムを読み出して実行することによって実現される。
以下では、図4を用いて、キャリブレーションデータを視線検出に用いるデータとして
設定する設定処理について説明する。図4は、キャリブレーションデータの設定処理を示すフローチャートである。本フローチャートの処理は、電源スイッチがオンにされて、撮像装置100が起動すると開始する。なお、本フローチャートの処理は、制御回路112が記録部110(記憶媒体)に格納されたプログラムを読み出して実行することによって実現される。
S401において、制御回路112は、虹彩認証部115を制御して、ユーザの虹彩パターンを検出する。
S402において、制御回路112は、S401にて検出した虹彩パターンと合致する虹彩データ(虹彩パターンデータ)が記録部110に記録されているか否かを判定する。S401にて検出した合致する虹彩パターンが記録されている場合にはS403に進み、そうでない場合にはS404に進む。つまり、S402では、虹彩パターン(虹彩認証)によって、ユーザを特定して、当該ユーザが過去にキャリブレーションを実行してキャリブレーションデータを記録部110に記録させているか否かが判定されている。
S403において、制御回路112は、検出した虹彩パターンに紐づいて記録部110に記録されたキャリブレーションデータを、視線検出に用いるためのデータとして設定する。つまり、本実施形態では、S402およびS403において、制御回路112は、虹彩認証をして、虹彩認証されたユーザに紐づいて記録部110に記録されたキャリブレーションデータを、視線検出に用いるデータとして設定している。
S404において、制御回路112は、キャリブレーションするか否かの選択画面を表示部117に表示する。その後、制御回路112は、選択画面を確認したユーザがキャリブレーションを要求(指示)したか否かを判定する。ユーザがキャリブレーションを要求した場合にはS405に進み、そうでない場合にはS407に進む。なお、キャリブレーションをするか否かをユーザに問わずに、一律にS405に進んでもよいし、または、一律にS407に進んでもよい。
S405において、制御回路112は、検出部114(データ検出部204)を制御して、キャリブレーションデータを新たに取得する(キャリブレーションを実行する)。
S406において、制御回路112は、S405にて取得したキャリブレーションデータを、視線検出に用いるデータとして設定(反映)する。また、制御回路112は、S401にて取得した虹彩データと、S405にて取得したキャリブレーションデータとを紐づけて記録部110に記録(保存)する。これによって、次回以降に、S405にて取得したキャリブレーションデータを、ユーザは利用することができる。
S407において、制御回路112は、予め設定しておいた一般的なキャリブレーションデータであるスタンダードデータを、視線検出に用いるためのデータとして設定する。ここで、スタンダードデータは、一般的な人(複数の人)のキャリブレーションデータの平均的なデータであり得る。なお、スタンダードデータは、撮像装置100の工場出荷時に設定されていてもよいし、ユーザによって事前に設定されていてもよい。また、性別、年齢別、人種別、身長別に用意された複数のスタンダードデータを記録部110が予め記録しており、S407において、ユーザが、複数のスタンダードデータから視線検出に用いるデータを選択できてもよい。
以上のように、実施形態1では、撮像装置は、虹彩認証(個人認証)を実行して、虹彩認証をしたユーザに紐づいたキャリブレーションデータが記録部に記録されていれば、当該キャリブレーションデータを当該ユーザの視線検出に用いる。つまり、撮像装置を1度
使ったことがあるユーザであれば、起動時に虹彩データを取得することによってユーザを特定するため、撮像装置が記録している当該ユーザのキャリブレーションデータをスムーズに用いることができる。また、1度も撮像装置を利用していないユーザであっても、起動時に取得した虹彩データによって、ユーザとキャリブレーションデータとを紐づけして容易に記録(登録)しておくことができる。このため、複数人が撮像装置を用いる場合においても、スムーズに視線入力に応じた機能を使用することができる。
使ったことがあるユーザであれば、起動時に虹彩データを取得することによってユーザを特定するため、撮像装置が記録している当該ユーザのキャリブレーションデータをスムーズに用いることができる。また、1度も撮像装置を利用していないユーザであっても、起動時に取得した虹彩データによって、ユーザとキャリブレーションデータとを紐づけして容易に記録(登録)しておくことができる。このため、複数人が撮像装置を用いる場合においても、スムーズに視線入力に応じた機能を使用することができる。
<実施形態2>
実施形態1では、視線検出および虹彩データの取得のために、光源は赤外光を照射してたが、実施形態2では視線検出には赤外光を用いて、虹彩データの取得には可視光(RGB)を用いる。なお、実施形態2に係る撮像装置100の構成は、図1および図2に示すような実施形態1に係る撮像装置100の構成と同様である。以下では、実施形態1と異なる部分のみ説明し、同一の部分についての説明は省略する。なお、可視光とは、人の目で見える波長の光であり、例えば、0.3μmから0.7μmまでの波長の光である。また、赤外光とは、可視光の赤色より波長が長く、人の目では見ることのできない光であり、例えば、0.7μmから1mmまでの波長の光である。
実施形態1では、視線検出および虹彩データの取得のために、光源は赤外光を照射してたが、実施形態2では視線検出には赤外光を用いて、虹彩データの取得には可視光(RGB)を用いる。なお、実施形態2に係る撮像装置100の構成は、図1および図2に示すような実施形態1に係る撮像装置100の構成と同様である。以下では、実施形態1と異なる部分のみ説明し、同一の部分についての説明は省略する。なお、可視光とは、人の目で見える波長の光であり、例えば、0.3μmから0.7μmまでの波長の光である。また、赤外光とは、可視光の赤色より波長が長く、人の目では見ることのできない光であり、例えば、0.7μmから1mmまでの波長の光である。
本実施形態では、視線用撮像素子118は、赤外光に対する感度を有するIR画素に加えて、可視光(RGB)に対して感度を有するRGB画素を含む。ここで、本実施形態では、表示部117は、可視光の光源としても動作する。具体的な処理としては、視線用撮像素子118は、光源201からの赤外光の反射光をIR画素で受光して、画像として検出部114に出力する。また、視線用撮像素子118は、EVFである表示部117からの可視光の反射光をRGB画素で受光して、画像として虹彩認証部115に出力する。
以下では、図5を参照して、キャリブレーションデータの読み出しについて説明する。図5は、実施形態2におけるキャリブレーションデータの読出しのシーケンスを示す図である。本実施形態では、実施形態1に係る図3に示すシーケンスのタイミングT310における処理の代わりに、タイミングT510の処理が実行される。本実施形態では、タイミングT510において、表示部117が可視光を照射して、ユーザの目における当該可視光の反射光を取得することにより視線用撮像素子118がRGB画像をユーザの目の画像として取得する。この後のタイミングT311以降の処理は、実施形態1に係る処理と同一である。
なお、本実施形態では、視線検出のための画像と虹彩認証のための画像との両方を視線検出用撮像素子が取得していた。しかし、これに限らず、第1の撮像素子が視線検出のための画像を取得し(赤外光を受光し)、第1の撮像素子とは異なる第2の撮像素子が虹彩認証のための画像を取得する(可視光を受光する)ような構成であってもよい。また、本実施形態では、視線検出のための光源と虹彩認証のための光源とを2つ備える構成を説明したが、1つの光源によって視線検出および虹彩認証が行われてもよい。また、赤外光および可視光のいずれも発光できる光源を採用して、虹彩認証と視線検出とで、照射タイミングを切り替えて光を照射するようにしてもよい。
以上のように、実施形態2では、虹彩データを取得する場合には、視線を検出するための光とは異なる波長の光を用いた。このように撮像に用いる光を異ならせるすることによって、視線検出と虹彩認証とで、撮像時の解像度や露光条件を変えることが容易に可能であるため、それぞれの用途に応じた最適な条件を設定することができる。また、視線を検出する機能部と虹彩認証する機能部とを分けることが容易になるので、多様な装置に対して本実施形態を適用することができる。
<実施形態3>
実施形態3では、撮像装置100は、ユーザの特定(個人認証;識別)を虹彩認証の代わりに、指紋認証によって行う。以下では、実施形態1と同様の部分については、説明を省略し、異なる部分のみ詳細に説明する。
実施形態3では、撮像装置100は、ユーザの特定(個人認証;識別)を虹彩認証の代わりに、指紋認証によって行う。以下では、実施形態1と同様の部分については、説明を省略し、異なる部分のみ詳細に説明する。
本実施形態に係る撮像装置100は、実施形態1に係る撮像装置100の構成における虹彩認証部115の代わりに、指紋認証部600を有する。なお、図6では、図2に示す光源部103、視線用撮像素子118、表示部117をまとめて、視線検出ブロック610として示している。
視線用撮像素子118が撮像した画像を用いて虹彩認証部115が虹彩認証(個人認証)を行っていた処理に代わり、指紋検出部601がユーザの指紋パターンを検出して指紋認証部600が指紋データを取得して指紋認証を行う。また、記録部110は、指紋データとキャリブレーションデータとを紐づけて記録する。
つまり、本実施形態では、撮像装置100の起動時に、制御回路112は、指紋検出部601を制御してユーザの指紋パターンを検出して、指紋認証部600を制御して指紋データを取得する。そして、制御回路112は、取得した指紋データと一致する指紋データが記録部110に記録されている場合には、取得した指紋データに紐づいて記録されたキャリブレーションデータを、視線検出のために用いるデータとして設定する。このような処理が行われることによって、指紋を用いて個人認証が行われる場合にも、実施形態1と同様の効果を得ることができる。
なお、本実施形態では、虹彩認証の機能を有しないようなスマートフォンなどの他の電子機器やパーソナルコンピューターに指紋認証を搭載して、キャリブレーションデータと指紋データを紐付けることも可能である。
また、虹彩認証や指紋認証の代わりに任意の個人認証が用いられてもよい。例えば、ユーザの顔を検出して顔データを取得して、顔認証が行われてもよい。また、静脈パターンなどの生体認証等によって個人認証が行われてもよく、認証するためのデータ(生体認証データ)とキャリブレーションデータとを紐づけ可能であれば、どのような認証方法が用いられてもよい。
以上のように、本実施形態では、虹彩認証以外の個人認証によってユーザを特定して、当該ユーザに対応したキャリブレーションデータを読み出す例を説明した。これにより、特定の個人認証によらず、キャリブレーションデータをユーザに対応づけることが可能である。例えば、実施形態1に係る撮像装置の場合では、ユーザの目が接眼していないと虹彩認証ができないが、ユーザの指がグリップを握っている場合には指紋認証(個人認証)ができる。このように、個人認証の方法を変えることにより、取得タイミングの範囲を広くできるという効果が得られる。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、撮像装置100の周囲の環境光の明るさが所定の明るさ以上である場合には顔認証を用いて、撮像装置100の周囲の環境光の明るさが所定の明るさ未満(よりも暗い)場合には虹彩認証(または指紋認証)が行われてもよい。なお、撮像装置100の周囲の環境光の明るさが所定の明るさ未満の場合には、通知部によって、ユーザに対して、接眼ファインダーに接眼するように通知してもよい。このように、複数の認証を用いること
によれば、多くの場合にユーザを認証することが可能になる。
によれば、多くの場合にユーザを認証することが可能になる。
なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ASIC、FPGA、DSPなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ(記憶媒体)とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
(その他の実施形態)
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上記の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:撮像装置、110:記録部、112:制御回路、
114:検出部、115:虹彩認証部
114:検出部、115:虹彩認証部
Claims (18)
- ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
ユーザを認証する認証手段と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器。 - 前記認証手段は、ユーザの虹彩パターンを検出することによって認証する虹彩認証手段を含む、
ことを特徴とする請求項1に記載の電子機器。 - ユーザの目を接眼することによって表示手段の表示を視認することができる接眼ファインダーをさらに有し、
ユーザの目が前記接眼ファインダーに接眼すると、前記認証手段は当該ユーザの虹彩パターンによって認証を行う、
ことを特徴とする請求項2に記載の電子機器。 - 前記電子機器の周囲の環境光の明るさが所定の明るさよりも暗い場合には、前記接眼ファインダーに接眼するようにユーザに通知する通知手段をさらに有する、
ことを特徴とする請求項3に記載の電子機器。 - 光源から照射された第1の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第1の画像を取得する撮像手段をさらに有し、
前記認証手段は、前記第1の画像に基づきユーザの虹彩パターンを検出する、
ことを特徴とする請求項4に記載の電子機器。 - 前記撮像手段は、光源から照射された第2の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第2の画像を取得し、
前記検出手段は、前記第2の画像に基づきユーザの視線を検出する、
ことを特徴とする請求項5に記載の電子機器。 - ユーザの目に前記第1の光を照射する第1の光源と、
ユーザの目に前記第2の光を照射する第2の光源と、
をさらに有することを特徴とする請求項6に記載の電子機器。 - 前記第2の光源は、EVF(エレクトリカルビューファインダー)であり、
前記第2の光は、可視光である、
ことを特徴とする請求項7に記載の電子機器。 - 前記第1の光と前記第2の光とは、波長が異なる、
ことを特徴とする請求項6から8のいずれか1項に記載の電子機器。 - 前記第1の光と前記第2の光とは、光量が異なる、
ことを特徴とする請求項6から9のいずれか1項に記載の電子機器。 - 前記第1の光は、赤外光である、
ことを特徴とする請求項6から10のいずれか1項に記載の電子機器。 - 前記認証手段は、ユーザの指紋パターンを検出することによって認証する指紋認証手段を含む、
ことを特徴とする請求項1から11のいずれか1項に記載の電子機器。 - 前記認証手段は、ユーザの顔のパターンを検出することによって認証する顔認証手段を含む、
ことを特徴とする請求項1から12のいずれか1項に記載の電子機器。 - 前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、
前記検出手段は、当該ユーザについての視線の特徴データを新たに取得して、当該特徴データを用いて、当該ユーザの視線を検出し、
前記制御手段は、前記検出手段が新たに取得した視線の特徴データを前記記録手段に記録するように制御する、
ことを特徴とする請求項1から13のいずれか1項に記載の電子機器。 - 前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、前記検出手段は、予め設定された視線の特徴データを用いて、当該ユーザの視線を検出する、
ことを特徴とする請求項1から13のいずれか1項に記載の電子機器。 - 前記認証手段は、前記電子機器の起動時に、ユーザの認証を行う、
ことを特徴とする請求項1から15のいずれか1項に記載の電子機器。 - ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
ユーザを認証する認証工程と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出工程と、
を有する、
ことを特徴とする電子機器の制御方法。 - コンピュータを、請求項1から16のいずれか1項に記載された電子機器の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080331A JP2021175149A (ja) | 2020-04-30 | 2020-04-30 | 電子機器、電子機器の制御方法、プログラム |
CN202180031934.XA CN115516848A (zh) | 2020-04-30 | 2021-04-13 | 电子设备、电子设备的控制方法和程序 |
PCT/JP2021/015327 WO2021220798A1 (ja) | 2020-04-30 | 2021-04-13 | 電子機器、電子機器の制御方法、プログラム |
US17/970,634 US20230039896A1 (en) | 2020-04-30 | 2022-10-21 | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080331A JP2021175149A (ja) | 2020-04-30 | 2020-04-30 | 電子機器、電子機器の制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021175149A true JP2021175149A (ja) | 2021-11-01 |
JP2021175149A5 JP2021175149A5 (ja) | 2023-10-27 |
Family
ID=78280035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020080331A Pending JP2021175149A (ja) | 2020-04-30 | 2020-04-30 | 電子機器、電子機器の制御方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230039896A1 (ja) |
JP (1) | JP2021175149A (ja) |
CN (1) | CN115516848A (ja) |
WO (1) | WO2021220798A1 (ja) |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8611919B2 (en) * | 2002-05-23 | 2013-12-17 | Wounder Gmbh., Llc | System, method, and computer program product for providing location based services and mobile e-commerce |
JP2006157154A (ja) * | 2004-11-25 | 2006-06-15 | Canon Inc | 情報入力装置、カメラ |
US8485442B2 (en) * | 2009-07-02 | 2013-07-16 | Biometric Payment Solutions | Electronic transaction verification system with biometric authentication |
JP2014211795A (ja) * | 2013-04-19 | 2014-11-13 | 株式会社ニコン | 視線検出装置 |
JP6175945B2 (ja) * | 2013-07-05 | 2017-08-09 | ソニー株式会社 | 視線検出装置及び視線検出方法 |
WO2015113479A1 (zh) * | 2014-01-28 | 2015-08-06 | 北京中科虹霸科技有限公司 | 一种具有人机交互机制的移动终端虹膜识别装置和方法 |
JPWO2015166811A1 (ja) * | 2014-04-30 | 2017-04-20 | みこらった株式会社 | 自動運転車及び自動運転車用プログラム |
KR20160050755A (ko) * | 2014-10-31 | 2016-05-11 | 삼성전자주식회사 | 전자 장치 및 그의 홍채 인식 방법 |
KR102277212B1 (ko) * | 2015-01-23 | 2021-07-15 | 삼성전자주식회사 | 디스플레이 정보를 이용한 홍채 인증 방법 및 장치 |
KR102322029B1 (ko) * | 2015-03-27 | 2021-11-04 | 삼성전자주식회사 | 생체 정보 획득 방법 및 이를 위한 장치 |
US11017404B1 (en) * | 2016-11-15 | 2021-05-25 | Wells Fargo Bank, N.A. | Event based authentication |
KR102627244B1 (ko) * | 2016-11-30 | 2024-01-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법 |
KR102371211B1 (ko) * | 2017-03-24 | 2022-03-07 | 삼성전자 주식회사 | 복수의 카메라를 이용하여 생체 정보를 인증하는 방법 및 장치 |
KR102329765B1 (ko) * | 2017-03-27 | 2021-11-23 | 삼성전자주식회사 | 홍채 기반 인증 방법 및 이를 지원하는 전자 장치 |
KR102314241B1 (ko) * | 2017-03-28 | 2021-10-20 | 삼성전자주식회사 | 적응적 인증 수행 방법 및 이를 지원하는 전자 장치 |
US10979430B1 (en) * | 2017-05-17 | 2021-04-13 | Adnazon Technologies, Inc. | Service-initiated user authentication via delegated methods |
JP6918576B2 (ja) * | 2017-05-24 | 2021-08-11 | キヤノン株式会社 | システム、情報処理装置、方法及びプログラム |
JP2019008527A (ja) * | 2017-06-23 | 2019-01-17 | 富士通コネクテッドテクノロジーズ株式会社 | 情報処理装置、生体認証制御方法、及び生体認証制御プログラム |
CN107463883A (zh) * | 2017-07-18 | 2017-12-12 | 广东欧珀移动通信有限公司 | 生物识别方法及相关产品 |
CN107748869B (zh) * | 2017-10-26 | 2021-01-22 | 奥比中光科技集团股份有限公司 | 3d人脸身份认证方法与装置 |
EP3896644A4 (en) * | 2018-12-14 | 2022-01-12 | NEC Corporation | IMAGE PROCESSING DEVICE, AUTHENTICATION SYSTEM, IMAGE PROCESSING METHOD, AUTHENTICATION METHOD AND RECORDING MEDIA |
US11495041B2 (en) * | 2019-03-29 | 2022-11-08 | Jumio Corporation | Biometric identification using composite hand images |
US20210359875A1 (en) * | 2019-05-02 | 2021-11-18 | Lg Electronics Inc. | Artificial intelligent refrigerator and control method of the same |
US11675919B2 (en) * | 2019-05-31 | 2023-06-13 | Apple Inc. | Separation of managed and unmanaged data in a computing device |
US11062136B2 (en) * | 2019-07-02 | 2021-07-13 | Easy Solutions Enterprises Corp. | Pupil or iris tracking for liveness detection in authentication processes |
US11120159B1 (en) * | 2019-09-02 | 2021-09-14 | Wells Fargo Bank, N.A. | Composite biometric authentication |
US11526887B2 (en) * | 2019-10-23 | 2022-12-13 | Optum, Inc. | Transaction authentication using multiple biometric inputs |
US11782610B2 (en) * | 2020-01-30 | 2023-10-10 | Seagate Technology Llc | Write and compare only data storage |
-
2020
- 2020-04-30 JP JP2020080331A patent/JP2021175149A/ja active Pending
-
2021
- 2021-04-13 CN CN202180031934.XA patent/CN115516848A/zh active Pending
- 2021-04-13 WO PCT/JP2021/015327 patent/WO2021220798A1/ja active Application Filing
-
2022
- 2022-10-21 US US17/970,634 patent/US20230039896A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230039896A1 (en) | 2023-02-09 |
WO2021220798A1 (ja) | 2021-11-04 |
CN115516848A (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7452571B2 (ja) | 生体認証装置、生体認証方法および生体認証プログラム | |
JP5502837B2 (ja) | 電子機器、電子機器においてオペレーションを実行する段階を備える方法、及びプログラム | |
IL303125A (en) | Tilt-shift iris imaging | |
JP5467992B2 (ja) | 撮像装置 | |
JP5604285B2 (ja) | 撮像装置 | |
JP7113364B2 (ja) | 撮像装置 | |
US8244119B2 (en) | Image capturing apparatus and method for controlling the same | |
JP4840978B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP7293039B2 (ja) | 撮像装置およびその制御方法 | |
KR20150085417A (ko) | 이동 통신 단말기의 카메라에서의 홍채 데이터 등록 및 인증 장치와 그 방법 | |
JP4680100B2 (ja) | 画像認証装置、撮影装置および画像認証システム | |
WO2021220798A1 (ja) | 電子機器、電子機器の制御方法、プログラム | |
CN117095456A (zh) | 考试行为的检测方法、装置、电子设备和存储介质 | |
WO2020065931A1 (ja) | 撮影制御システム、撮影制御方法、制御装置、制御方法、および記憶媒体 | |
JP5228927B2 (ja) | 電子機器、動作制御方法及びプログラム | |
JP5455514B2 (ja) | 電子機器及びその制御方法 | |
JP3987081B2 (ja) | 生体認証装置 | |
US11050923B2 (en) | Imaging apparatus and control method | |
JP2004023734A (ja) | 画像撮影装置および方法 | |
JP2013157675A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP4531070B2 (ja) | 生体認証装置 | |
TWI630556B (zh) | 影像擷取裝置及其紅外線感測方法 | |
JP2024085684A (ja) | 生体判定装置、生体判定方法、及び認証システム | |
JP2023158365A (ja) | 対象物識別装置、電子機器、対象物識別方法、及びコンピュータプログラム | |
JP2018166014A (ja) | 顔検出装置及び顔検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |