JP2021175149A - 電子機器、電子機器の制御方法、プログラム - Google Patents

電子機器、電子機器の制御方法、プログラム Download PDF

Info

Publication number
JP2021175149A
JP2021175149A JP2020080331A JP2020080331A JP2021175149A JP 2021175149 A JP2021175149 A JP 2021175149A JP 2020080331 A JP2020080331 A JP 2020080331A JP 2020080331 A JP2020080331 A JP 2020080331A JP 2021175149 A JP2021175149 A JP 2021175149A
Authority
JP
Japan
Prior art keywords
user
line
electronic device
sight
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020080331A
Other languages
English (en)
Other versions
JP2021175149A5 (ja
Inventor
秀太 西沢
Hideta Nishizawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020080331A priority Critical patent/JP2021175149A/ja
Priority to CN202180031934.XA priority patent/CN115516848A/zh
Priority to PCT/JP2021/015327 priority patent/WO2021220798A1/ja
Publication of JP2021175149A publication Critical patent/JP2021175149A/ja
Priority to US17/970,634 priority patent/US20230039896A1/en
Publication of JP2021175149A5 publication Critical patent/JP2021175149A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】複数人が視線入力を利用する際に煩雑さを低減させる。【解決手段】電子機器は、ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、ユーザを認証する認証手段と、前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、を有することを特徴とする。【選択図】図２

Description

本発明は電子機器、電子機器の制御方法、プログラムに関する。
電子機器には、視線の入力を受け付ける技術である視線入力技術がある。特許文献１には、視点位置（ユーザが見ている位置）を検出するビデオカメラが記載されている。また、生体認証には、電子機器がユーザ個人を特定する（認証する）技術があり、特許文献２には、虹彩を用いてユーザ個人を特定する虹彩認証の技術が記載されている。
特開平５−０９１３９４号公報 特表平８−５０４９７９号公報
ここで、視線入力の技術では、眼球の回転半径や瞳孔開閉時の視線のずれがユーザごとに異なるため、ユーザごとに、これらのずれを補正するためのデータであるキャリブレーションデータと呼ばれる視線の特徴データが必要である。しかし、電子機器を複数人が使用する場合には、複数人のキャリブレーションデータを事前に登録（取得）しておく必要があり、電子機器を使用するユーザが代わった際に正しく視線入力の検出ができない場合がある。
また、複数人分のキャリブレーションデータを予め登録している場合でも、視線入力に応じた機能を利用する際に、ユーザが自身の登録内容を選択する必要があり、ユーザにとって手間であった。また、登録された複数のキャリブレーションデータのうちいずれが自身のデータであるのかをユーザが記憶しておかないと、再度キャリブレーションデータを取得する必要があるなどの手間が生じていた。
そこで、本発明は、複数人が視線入力を利用する際に煩雑さを低減させることを目的とする。
本発明の第１の態様は、
ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
ユーザを認証する認証手段と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
を有する、
ことを特徴とする電子機器である。
本発明の第２の態様は、
ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
ユーザを認証する認証工程と、
前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出
工程と、
を有する、
ことを特徴とする電子機器の制御方法である。
本発明によれば、複数人が視線入力を利用する際に煩雑さを低減させることができる。
実施形態１に係る撮像装置の構成図 実施形態１に係るキャリブレーションデータの記録等を説明する図 実施形態１に係るキャリブレーションデータの読み出しを説明する図 実施形態１に係るキャリブレーションデータの設定のフローチャート 実施形態２に係るキャリブレーションデータの読み出しを説明する図 実施形態３に係るキャリブレーションデータの記録等を説明する図
以下に、本発明の実施の形態を、添付の図面を用いて詳細に説明する。
＜実施形態１＞
［撮像装置の構成］
図１を参照して、本実施形態に係る撮像装置１００の構成を説明する。図１は、実施形態１に係る撮像装置１００の構成図である。ここで、撮像装置１００は、ユーザの視線入力を受け付け可能であれば、デジタルカメラなどのカメラに限らず、スマートフォンなどの他の電子機器やパーソナルコンピューターであってもよい。
撮像装置１００は、レンズユニット１０１、撮像素子１０２、光源部１０３、画像処理回路１０９、記録部１１０、メモリ回路１１１、制御回路１１２、表示部１１３、検出部１１４、虹彩認証部１１５を有する。また、撮像装置１００は、操作部１１６、表示部１１７、視線用撮像素子１１８、バス１２０を有する。
レンズユニット１０１は、被写体からの入射光を撮像素子１０２に集光する。レンズユニット１０１は、例えば、複数のレンズ、絞りなどを有する。
撮像素子１０２は、レンズユニット１０１が集光した光に基づき、被写体が撮像された画像（画像データ）を取得する。光源部１０３は、被写体に対して光を照射する光源を有する。
画像処理回路１０９（現像処理部）は、撮像素子１０２から取得した画像に対して、色マトリクス処理やガンマ処理などの現像処理を行う。なお、これらの処理において、画像処理回路１０９は、必要に応じてメモリ回路１１１に画像を記録する。そして、画像処理回路１０９は、表示部１１３、表示部１１７や記録部１１０に処理した画像を出力する。
記録部１１０は、画像やプログラムなどを記録（記憶）する。また、記録部１１０は、ユーザごとに、虹彩の特徴を示す虹彩データと、当該虹彩データと紐づいたキャリブレーションデータを記録する。本実施形態では、キャリブレーションデータとは、ユーザごとの、眼球の回転半径や瞳孔開閉時の視線のずれなどを補正して、視点の位置（視点位置）を特定するために用いる視線の特徴データである。つまり、キャリブレーションデータとは、ユーザの目の向きと、ユーザが実際に見ている位置（視点位置）とを結びつける情報である。
制御回路１１２は、画像処理回路１０９の画像処理や撮像素子１０２の駆動の一部の制御を実行する。また、制御回路１１２は、表示部１１３や表示部１１７の表示の制御、操作部１１６からの指示の受け取りの制御や、メモリ回路１１１や記録部１１０へのデータ受け渡しの制御を実行している。撮像素子１０２や画像処理回路１０９を制御回路１１２が制御することに限らず、撮像素子１０２や画像処理回路１０９のそれ自身が制御部を有していてもよい。
表示部１１３および表示部１１７は、処理された画像を表示する。表示部１１７は、本実施形態では、ＥＶＦ（エレクトリカルビューファインダー）である。ユーザは、接眼ファインダー（不図示）を介して撮像装置１００の内部の表示部１１７に表示された画像を視認することができる。つまり、表示部１１３は、ユーザが接眼ファインダーに接眼していない場合に視認する表示部であり、表示部１１７は、ユーザが接眼ファインダーに接眼している場合に視認する表示部である。
検出部１１４は、ユーザの目（目の動き）を撮像した画像に基づき、ユーザの視線（視点位置；見ている位置；視線位置）を検出する。本実施形態では、ユーザが接眼ファインダーを介して表示部１１７を覗いた状態で、ユーザの視線（視点位置）が検出される。また、検出部１１４は、ユーザごとに、キャリブレーションデータを取得する。なお、本実施形態では、ユーザは、視点位置に応じて、撮像装置１００の各機能部の操作をすることができる。例えば、表示部１１７における視点位置を検出すると、検出した位置に対して、撮像装置１００はＡＦ（オートフォーカス）を実行することができる。なお、検出部１１４は、視線用撮像素子１１８から取得するユーザの目を撮像した画像に基づき、ユーザの視点位置を検出する。
虹彩認証部１１５は、ユーザ特有の情報（生体認証データ）である虹彩データを取得して、ユーザを認証して（虹彩認証をして）、キャリブレーションデータと虹彩データ（ユーザ個人）とを結び付ける。
操作部１１６は、ユーザ操作に応じた操作信号を生成する。操作部１１６は、タッチパネル、ダイヤル、４方向キー、シャッターボタン、電源スイッチ、メニューボタン、再生ボタンなどを含む。
視線用撮像素子１１８は、ユーザの視線検出に用いるための画像であって、ユーザの目を撮像した画像を取得する。視線用撮像素子１１８は、本実施形態では、赤外光に対して感度を有するＩＲ画素を含む。バス１２０は、撮像装置１００における各機能部が互いにデータをやり取りするための共通の経路である。
［キャリブレーションデータの取得・記録のフロー］
以下では、図２を参照して、撮像装置１００が起動してから、キャリブレーションデータが取得されて、さらにキャリブレーションデータが記録部１１０に記録されるまでの処理の流れについて説明する。図２は、撮像装置１００における、キャリブレーションデータの取得・記録のフローに関する処理を実行する機能部を示している。なお、光源部１０３は、光源２０１、光源制御部２０２、プリズム２０５を有する。光源２０１は、赤外光（ＩＲ光）を照射する。光源制御部２０２は、光源２０１を制御して、ユーザの目２００に光を照射する。プリズム２０５は、表示部１１７の前に配置されており、ユーザの目２００から照射される光を屈折させて、視線用撮像素子１１８に入射させる。
まず、光源制御部２０２が光源２０１を制御して、光源２０１からユーザの目２００に赤外光を照射する。すると、ユーザの目２００において反射した赤外光が、プリズム２０５において屈折して、視線用撮像素子１１８に入射される。視線用撮像素子１１８は、赤
外光に対して感度を有するため、ユーザの目２００を撮像した画像を取得することができる。
検出部１１４が有するデータ検出部２０４は、虹彩認証部１１５が認証したユーザのキャリブレーションデータが記録部１１０に記録されていない場合に、視線用撮像素子１１８が取得した目２００の画像に応じて、キャリブレーションデータを取得する。なお、キャリブレーションデータを予め取得していれば、検出部１１４は、視線用撮像素子１１８が取得したユーザの目２００の画像に応じて、表示部１１７においてユーザが見ている位置（視点位置）を検出することができる。
虹彩認証部１１５は、撮像装置１００の起動時に、視線用撮像素子１１８から画像に基づき、虹彩データを取得する。虹彩部分のパターンは、人により異なるため、そのパターンの特徴量を数値化した情報を虹彩データとして扱うことによって個人を特定することが可能である。そして、虹彩認証部１１５は、虹彩データとキャリブレーションデータを関連付けて（紐付けて）記録部１１０に記録する。なお、記録部１１０に、虹彩データに紐づけるためのキャリブレーションデータが記録されていない場合には、上述のように、データ検出部２０４がキャリブレーションデータを取得する（キャリブレーションを実行する）。なお、虹彩認証部１１５は、起動時に限らず、視線用撮像素子１１８から画像を取得した場合や、表示部１１７であるＥＶＦをユーザがのぞき込んだことを示す接眼（近眼）を接眼検出部（不図示）が検出した場合に、虹彩パターンを検出してもよい。なお、接眼検出は、例えば、接眼検出部が赤外線を物体に照射する場合に、接眼検出部が受光する、物体において反射した赤外光の光量の変化に基づいて行うことができる。
［キャリブレーションデータの読み出しフロー］
図３は、時刻経過（タイミングＴ３１０〜Ｔ３１３）に対する、キャリブレーションデータの読出しのシーケンスを示す図である。光源２０１、視線用撮像素子１１８の処理とともに、虹彩認証部１１５や検出部１１４などによる視線検出のための処理をそれぞれ示している。
タイミングＴ３１０では、光源２０１が光をユーザの目に照射（通常照射）し、視線用撮像素子１１８がユーザの目の画像を取得する。なお、虹彩パターンを検出する際に、通常の照射（視線検出のための照射）では光量が不足する場合には、光源２０１は照射する光の出力の光量を大きくしてもよい。つまり、虹彩認証と視線検出とでは、互いに異なる光量の光が光源２０１から照射されてもよい。
タイミングＴ３１１では、虹彩認証部１１５は、取得した目の画像から虹彩パターンを取得（抽出）する。
タイミングＴ３１２では、制御回路１１２は、記録部１１０に抽出した虹彩パターンと一致する虹彩データが記録部１１０に記録されている場合には、記録部１１０において当該虹彩データに紐づいて記録されていたキャリブレーションデータを取得する。制御回路１１２は、取得したキャリブレーションデータを、視線検出に用いるデータとして設定（確定）する。
タイミングＴ３１３以後では、検出部１１４は、設定したキャリブレーションデータに基づいて、視線検出用に取得した画像からユーザの視点位置を取得する（ユーザの視線を検出する）。
［キャリブレーションデータの設定処理］
以下では、図４を用いて、キャリブレーションデータを視線検出に用いるデータとして
設定する設定処理について説明する。図４は、キャリブレーションデータの設定処理を示すフローチャートである。本フローチャートの処理は、電源スイッチがオンにされて、撮像装置１００が起動すると開始する。なお、本フローチャートの処理は、制御回路１１２が記録部１１０（記憶媒体）に格納されたプログラムを読み出して実行することによって実現される。
Ｓ４０１において、制御回路１１２は、虹彩認証部１１５を制御して、ユーザの虹彩パターンを検出する。
Ｓ４０２において、制御回路１１２は、Ｓ４０１にて検出した虹彩パターンと合致する虹彩データ（虹彩パターンデータ）が記録部１１０に記録されているか否かを判定する。Ｓ４０１にて検出した合致する虹彩パターンが記録されている場合にはＳ４０３に進み、そうでない場合にはＳ４０４に進む。つまり、Ｓ４０２では、虹彩パターン（虹彩認証）によって、ユーザを特定して、当該ユーザが過去にキャリブレーションを実行してキャリブレーションデータを記録部１１０に記録させているか否かが判定されている。
Ｓ４０３において、制御回路１１２は、検出した虹彩パターンに紐づいて記録部１１０に記録されたキャリブレーションデータを、視線検出に用いるためのデータとして設定する。つまり、本実施形態では、Ｓ４０２およびＳ４０３において、制御回路１１２は、虹彩認証をして、虹彩認証されたユーザに紐づいて記録部１１０に記録されたキャリブレーションデータを、視線検出に用いるデータとして設定している。
Ｓ４０４において、制御回路１１２は、キャリブレーションするか否かの選択画面を表示部１１７に表示する。その後、制御回路１１２は、選択画面を確認したユーザがキャリブレーションを要求（指示）したか否かを判定する。ユーザがキャリブレーションを要求した場合にはＳ４０５に進み、そうでない場合にはＳ４０７に進む。なお、キャリブレーションをするか否かをユーザに問わずに、一律にＳ４０５に進んでもよいし、または、一律にＳ４０７に進んでもよい。
Ｓ４０５において、制御回路１１２は、検出部１１４（データ検出部２０４）を制御して、キャリブレーションデータを新たに取得する（キャリブレーションを実行する）。
Ｓ４０６において、制御回路１１２は、Ｓ４０５にて取得したキャリブレーションデータを、視線検出に用いるデータとして設定（反映）する。また、制御回路１１２は、Ｓ４０１にて取得した虹彩データと、Ｓ４０５にて取得したキャリブレーションデータとを紐づけて記録部１１０に記録（保存）する。これによって、次回以降に、Ｓ４０５にて取得したキャリブレーションデータを、ユーザは利用することができる。
Ｓ４０７において、制御回路１１２は、予め設定しておいた一般的なキャリブレーションデータであるスタンダードデータを、視線検出に用いるためのデータとして設定する。ここで、スタンダードデータは、一般的な人（複数の人）のキャリブレーションデータの平均的なデータであり得る。なお、スタンダードデータは、撮像装置１００の工場出荷時に設定されていてもよいし、ユーザによって事前に設定されていてもよい。また、性別、年齢別、人種別、身長別に用意された複数のスタンダードデータを記録部１１０が予め記録しており、Ｓ４０７において、ユーザが、複数のスタンダードデータから視線検出に用いるデータを選択できてもよい。
以上のように、実施形態１では、撮像装置は、虹彩認証（個人認証）を実行して、虹彩認証をしたユーザに紐づいたキャリブレーションデータが記録部に記録されていれば、当該キャリブレーションデータを当該ユーザの視線検出に用いる。つまり、撮像装置を１度
使ったことがあるユーザであれば、起動時に虹彩データを取得することによってユーザを特定するため、撮像装置が記録している当該ユーザのキャリブレーションデータをスムーズに用いることができる。また、１度も撮像装置を利用していないユーザであっても、起動時に取得した虹彩データによって、ユーザとキャリブレーションデータとを紐づけして容易に記録（登録）しておくことができる。このため、複数人が撮像装置を用いる場合においても、スムーズに視線入力に応じた機能を使用することができる。
＜実施形態２＞
実施形態１では、視線検出および虹彩データの取得のために、光源は赤外光を照射してたが、実施形態２では視線検出には赤外光を用いて、虹彩データの取得には可視光（ＲＧＢ）を用いる。なお、実施形態２に係る撮像装置１００の構成は、図１および図２に示すような実施形態１に係る撮像装置１００の構成と同様である。以下では、実施形態１と異なる部分のみ説明し、同一の部分についての説明は省略する。なお、可視光とは、人の目で見える波長の光であり、例えば、０．３μｍから０．７μｍまでの波長の光である。また、赤外光とは、可視光の赤色より波長が長く、人の目では見ることのできない光であり、例えば、０．７μｍから１ｍｍまでの波長の光である。
本実施形態では、視線用撮像素子１１８は、赤外光に対する感度を有するＩＲ画素に加えて、可視光（ＲＧＢ）に対して感度を有するＲＧＢ画素を含む。ここで、本実施形態では、表示部１１７は、可視光の光源としても動作する。具体的な処理としては、視線用撮像素子１１８は、光源２０１からの赤外光の反射光をＩＲ画素で受光して、画像として検出部１１４に出力する。また、視線用撮像素子１１８は、ＥＶＦである表示部１１７からの可視光の反射光をＲＧＢ画素で受光して、画像として虹彩認証部１１５に出力する。
以下では、図５を参照して、キャリブレーションデータの読み出しについて説明する。図５は、実施形態２におけるキャリブレーションデータの読出しのシーケンスを示す図である。本実施形態では、実施形態１に係る図３に示すシーケンスのタイミングＴ３１０における処理の代わりに、タイミングＴ５１０の処理が実行される。本実施形態では、タイミングＴ５１０において、表示部１１７が可視光を照射して、ユーザの目における当該可視光の反射光を取得することにより視線用撮像素子１１８がＲＧＢ画像をユーザの目の画像として取得する。この後のタイミングＴ３１１以降の処理は、実施形態１に係る処理と同一である。
なお、本実施形態では、視線検出のための画像と虹彩認証のための画像との両方を視線検出用撮像素子が取得していた。しかし、これに限らず、第１の撮像素子が視線検出のための画像を取得し（赤外光を受光し）、第１の撮像素子とは異なる第２の撮像素子が虹彩認証のための画像を取得する（可視光を受光する）ような構成であってもよい。また、本実施形態では、視線検出のための光源と虹彩認証のための光源とを２つ備える構成を説明したが、１つの光源によって視線検出および虹彩認証が行われてもよい。また、赤外光および可視光のいずれも発光できる光源を採用して、虹彩認証と視線検出とで、照射タイミングを切り替えて光を照射するようにしてもよい。
以上のように、実施形態２では、虹彩データを取得する場合には、視線を検出するための光とは異なる波長の光を用いた。このように撮像に用いる光を異ならせるすることによって、視線検出と虹彩認証とで、撮像時の解像度や露光条件を変えることが容易に可能であるため、それぞれの用途に応じた最適な条件を設定することができる。また、視線を検出する機能部と虹彩認証する機能部とを分けることが容易になるので、多様な装置に対して本実施形態を適用することができる。
＜実施形態３＞
実施形態３では、撮像装置１００は、ユーザの特定（個人認証；識別）を虹彩認証の代わりに、指紋認証によって行う。以下では、実施形態１と同様の部分については、説明を省略し、異なる部分のみ詳細に説明する。
本実施形態に係る撮像装置１００は、実施形態１に係る撮像装置１００の構成における虹彩認証部１１５の代わりに、指紋認証部６００を有する。なお、図６では、図２に示す光源部１０３、視線用撮像素子１１８、表示部１１７をまとめて、視線検出ブロック６１０として示している。
視線用撮像素子１１８が撮像した画像を用いて虹彩認証部１１５が虹彩認証（個人認証）を行っていた処理に代わり、指紋検出部６０１がユーザの指紋パターンを検出して指紋認証部６００が指紋データを取得して指紋認証を行う。また、記録部１１０は、指紋データとキャリブレーションデータとを紐づけて記録する。
つまり、本実施形態では、撮像装置１００の起動時に、制御回路１１２は、指紋検出部６０１を制御してユーザの指紋パターンを検出して、指紋認証部６００を制御して指紋データを取得する。そして、制御回路１１２は、取得した指紋データと一致する指紋データが記録部１１０に記録されている場合には、取得した指紋データに紐づいて記録されたキャリブレーションデータを、視線検出のために用いるデータとして設定する。このような処理が行われることによって、指紋を用いて個人認証が行われる場合にも、実施形態１と同様の効果を得ることができる。
なお、本実施形態では、虹彩認証の機能を有しないようなスマートフォンなどの他の電子機器やパーソナルコンピューターに指紋認証を搭載して、キャリブレーションデータと指紋データを紐付けることも可能である。
また、虹彩認証や指紋認証の代わりに任意の個人認証が用いられてもよい。例えば、ユーザの顔を検出して顔データを取得して、顔認証が行われてもよい。また、静脈パターンなどの生体認証等によって個人認証が行われてもよく、認証するためのデータ（生体認証データ）とキャリブレーションデータとを紐づけ可能であれば、どのような認証方法が用いられてもよい。
以上のように、本実施形態では、虹彩認証以外の個人認証によってユーザを特定して、当該ユーザに対応したキャリブレーションデータを読み出す例を説明した。これにより、特定の個人認証によらず、キャリブレーションデータをユーザに対応づけることが可能である。例えば、実施形態１に係る撮像装置の場合では、ユーザの目が接眼していないと虹彩認証ができないが、ユーザの指がグリップを握っている場合には指紋認証（個人認証）ができる。このように、個人認証の方法を変えることにより、取得タイミングの範囲を広くできるという効果が得られる。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、撮像装置１００の周囲の環境光の明るさが所定の明るさ以上である場合には顔認証を用いて、撮像装置１００の周囲の環境光の明るさが所定の明るさ未満（よりも暗い）場合には虹彩認証（または指紋認証）が行われてもよい。なお、撮像装置１００の周囲の環境光の明るさが所定の明るさ未満の場合には、通知部によって、ユーザに対して、接眼ファインダーに接眼するように通知してもよい。このように、複数の認証を用いること
によれば、多くの場合にユーザを認証することが可能になる。
なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００：撮像装置、１１０：記録部、１１２：制御回路、
１１４：検出部、１１５：虹彩認証部

Claims (18)

  1. ユーザの視線の特徴データを記録手段に記録するように制御する制御手段と、
    ユーザを認証する認証手段と、
    前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出手段と、
    を有する、
    ことを特徴とする電子機器。
  2. 前記認証手段は、ユーザの虹彩パターンを検出することによって認証する虹彩認証手段を含む、
    ことを特徴とする請求項１に記載の電子機器。
  3. ユーザの目を接眼することによって表示手段の表示を視認することができる接眼ファインダーをさらに有し、
    ユーザの目が前記接眼ファインダーに接眼すると、前記認証手段は当該ユーザの虹彩パターンによって認証を行う、
    ことを特徴とする請求項２に記載の電子機器。
  4. 前記電子機器の周囲の環境光の明るさが所定の明るさよりも暗い場合には、前記接眼ファインダーに接眼するようにユーザに通知する通知手段をさらに有する、
    ことを特徴とする請求項３に記載の電子機器。
  5. 光源から照射された第１の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第１の画像を取得する撮像手段をさらに有し、
    前記認証手段は、前記第１の画像に基づきユーザの虹彩パターンを検出する、
    ことを特徴とする請求項４に記載の電子機器。
  6. 前記撮像手段は、光源から照射された第２の光がユーザの目において反射した光を受光することによって、当該ユーザの目の第２の画像を取得し、
    前記検出手段は、前記第２の画像に基づきユーザの視線を検出する、
    ことを特徴とする請求項５に記載の電子機器。
  7. ユーザの目に前記第１の光を照射する第１の光源と、
    ユーザの目に前記第２の光を照射する第２の光源と、
    をさらに有することを特徴とする請求項６に記載の電子機器。
  8. 前記第２の光源は、ＥＶＦ（エレクトリカルビューファインダー）であり、
    前記第２の光は、可視光である、
    ことを特徴とする請求項７に記載の電子機器。
  9. 前記第１の光と前記第２の光とは、波長が異なる、
    ことを特徴とする請求項６から８のいずれか１項に記載の電子機器。
  10. 前記第１の光と前記第２の光とは、光量が異なる、
    ことを特徴とする請求項６から９のいずれか１項に記載の電子機器。
  11. 前記第１の光は、赤外光である、
    ことを特徴とする請求項６から１０のいずれか１項に記載の電子機器。
  12. 前記認証手段は、ユーザの指紋パターンを検出することによって認証する指紋認証手段を含む、
    ことを特徴とする請求項１から１１のいずれか１項に記載の電子機器。
  13. 前記認証手段は、ユーザの顔のパターンを検出することによって認証する顔認証手段を含む、
    ことを特徴とする請求項１から１２のいずれか１項に記載の電子機器。
  14. 前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、
    前記検出手段は、当該ユーザについての視線の特徴データを新たに取得して、当該特徴データを用いて、当該ユーザの視線を検出し、
    前記制御手段は、前記検出手段が新たに取得した視線の特徴データを前記記録手段に記録するように制御する、
    ことを特徴とする請求項１から１３のいずれか１項に記載の電子機器。
  15. 前記認証したユーザについての視線の特徴データが前記記録手段に記録されていない場合には、前記検出手段は、予め設定された視線の特徴データを用いて、当該ユーザの視線を検出する、
    ことを特徴とする請求項１から１３のいずれか１項に記載の電子機器。
  16. 前記認証手段は、前記電子機器の起動時に、ユーザの認証を行う、
    ことを特徴とする請求項１から１５のいずれか１項に記載の電子機器。
  17. ユーザの視線の特徴データを記録手段に記録するように制御する制御工程と、
    ユーザを認証する認証工程と、
    前記認証したユーザについての視線の特徴データが前記記録手段に記録されている場合には、当該記録されている視線の特徴データを用いて、当該ユーザの視線を検出する検出工程と、
    を有する、
    ことを特徴とする電子機器の制御方法。
  18. コンピュータを、請求項１から１６のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
JP2020080331A 2020-04-30 2020-04-30 電子機器、電子機器の制御方法、プログラム Pending JP2021175149A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020080331A JP2021175149A (ja) 2020-04-30 2020-04-30 電子機器、電子機器の制御方法、プログラム
CN202180031934.XA CN115516848A (zh) 2020-04-30 2021-04-13 电子设备、电子设备的控制方法和程序
PCT/JP2021/015327 WO2021220798A1 (ja) 2020-04-30 2021-04-13 電子機器、電子機器の制御方法、プログラム
US17/970,634 US20230039896A1 (en) 2020-04-30 2022-10-21 Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080331A JP2021175149A (ja) 2020-04-30 2020-04-30 電子機器、電子機器の制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021175149A true JP2021175149A (ja) 2021-11-01
JP2021175149A5 JP2021175149A5 (ja) 2023-10-27

Family

ID=78280035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080331A Pending JP2021175149A (ja) 2020-04-30 2020-04-30 電子機器、電子機器の制御方法、プログラム

Country Status (4)

Country Link
US (1) US20230039896A1 (ja)
JP (1) JP2021175149A (ja)
CN (1) CN115516848A (ja)
WO (1) WO2021220798A1 (ja)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611919B2 (en) * 2002-05-23 2013-12-17 Wounder Gmbh., Llc System, method, and computer program product for providing location based services and mobile e-commerce
JP2006157154A (ja) * 2004-11-25 2006-06-15 Canon Inc 情報入力装置、カメラ
US8485442B2 (en) * 2009-07-02 2013-07-16 Biometric Payment Solutions Electronic transaction verification system with biometric authentication
JP2014211795A (ja) * 2013-04-19 2014-11-13 株式会社ニコン 視線検出装置
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
WO2015113479A1 (zh) * 2014-01-28 2015-08-06 北京中科虹霸科技有限公司 一种具有人机交互机制的移动终端虹膜识别装置和方法
JPWO2015166811A1 (ja) * 2014-04-30 2017-04-20 みこらった株式会社 自動運転車及び自動運転車用プログラム
KR20160050755A (ko) * 2014-10-31 2016-05-11 삼성전자주식회사 전자 장치 및 그의 홍채 인식 방법
KR102277212B1 (ko) * 2015-01-23 2021-07-15 삼성전자주식회사 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
KR102322029B1 (ko) * 2015-03-27 2021-11-04 삼성전자주식회사 생체 정보 획득 방법 및 이를 위한 장치
US11017404B1 (en) * 2016-11-15 2021-05-25 Wells Fargo Bank, N.A. Event based authentication
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
KR102371211B1 (ko) * 2017-03-24 2022-03-07 삼성전자 주식회사 복수의 카메라를 이용하여 생체 정보를 인증하는 방법 및 장치
KR102329765B1 (ko) * 2017-03-27 2021-11-23 삼성전자주식회사 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
KR102314241B1 (ko) * 2017-03-28 2021-10-20 삼성전자주식회사 적응적 인증 수행 방법 및 이를 지원하는 전자 장치
US10979430B1 (en) * 2017-05-17 2021-04-13 Adnazon Technologies, Inc. Service-initiated user authentication via delegated methods
JP6918576B2 (ja) * 2017-05-24 2021-08-11 キヤノン株式会社 システム、情報処理装置、方法及びプログラム
JP2019008527A (ja) * 2017-06-23 2019-01-17 富士通コネクテッドテクノロジーズ株式会社 情報処理装置、生体認証制御方法、及び生体認証制御プログラム
CN107463883A (zh) * 2017-07-18 2017-12-12 广东欧珀移动通信有限公司 生物识别方法及相关产品
CN107748869B (zh) * 2017-10-26 2021-01-22 奥比中光科技集团股份有限公司 3d人脸身份认证方法与装置
EP3896644A4 (en) * 2018-12-14 2022-01-12 NEC Corporation IMAGE PROCESSING DEVICE, AUTHENTICATION SYSTEM, IMAGE PROCESSING METHOD, AUTHENTICATION METHOD AND RECORDING MEDIA
US11495041B2 (en) * 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
US20210359875A1 (en) * 2019-05-02 2021-11-18 Lg Electronics Inc. Artificial intelligent refrigerator and control method of the same
US11675919B2 (en) * 2019-05-31 2023-06-13 Apple Inc. Separation of managed and unmanaged data in a computing device
US11062136B2 (en) * 2019-07-02 2021-07-13 Easy Solutions Enterprises Corp. Pupil or iris tracking for liveness detection in authentication processes
US11120159B1 (en) * 2019-09-02 2021-09-14 Wells Fargo Bank, N.A. Composite biometric authentication
US11526887B2 (en) * 2019-10-23 2022-12-13 Optum, Inc. Transaction authentication using multiple biometric inputs
US11782610B2 (en) * 2020-01-30 2023-10-10 Seagate Technology Llc Write and compare only data storage

Also Published As

Publication number Publication date
US20230039896A1 (en) 2023-02-09
WO2021220798A1 (ja) 2021-11-04
CN115516848A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
JP7452571B2 (ja) 生体認証装置、生体認証方法および生体認証プログラム
JP5502837B2 (ja) 電子機器、電子機器においてオペレーションを実行する段階を備える方法、及びプログラム
IL303125A (en) Tilt-shift iris imaging
JP5467992B2 (ja) 撮像装置
JP5604285B2 (ja) 撮像装置
JP7113364B2 (ja) 撮像装置
US8244119B2 (en) Image capturing apparatus and method for controlling the same
JP4840978B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP7293039B2 (ja) 撮像装置およびその制御方法
KR20150085417A (ko) 이동 통신 단말기의 카메라에서의 홍채 데이터 등록 및 인증 장치와 그 방법
JP4680100B2 (ja) 画像認証装置、撮影装置および画像認証システム
WO2021220798A1 (ja) 電子機器、電子機器の制御方法、プログラム
CN117095456A (zh) 考试行为的检测方法、装置、电子设备和存储介质
WO2020065931A1 (ja) 撮影制御システム、撮影制御方法、制御装置、制御方法、および記憶媒体
JP5228927B2 (ja) 電子機器、動作制御方法及びプログラム
JP5455514B2 (ja) 電子機器及びその制御方法
JP3987081B2 (ja) 生体認証装置
US11050923B2 (en) Imaging apparatus and control method
JP2004023734A (ja) 画像撮影装置および方法
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP4531070B2 (ja) 生体認証装置
TWI630556B (zh) 影像擷取裝置及其紅外線感測方法
JP2024085684A (ja) 生体判定装置、生体判定方法、及び認証システム
JP2023158365A (ja) 対象物識別装置、電子機器、対象物識別方法、及びコンピュータプログラム
JP2018166014A (ja) 顔検出装置及び顔検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240702