JP6763434B2 - 情報入力装置および情報入力方法 - Google Patents

情報入力装置および情報入力方法 Download PDF

Info

Publication number
JP6763434B2
JP6763434B2 JP2018547634A JP2018547634A JP6763434B2 JP 6763434 B2 JP6763434 B2 JP 6763434B2 JP 2018547634 A JP2018547634 A JP 2018547634A JP 2018547634 A JP2018547634 A JP 2018547634A JP 6763434 B2 JP6763434 B2 JP 6763434B2
Authority
JP
Japan
Prior art keywords
projection
indicator
projected
instruction
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018547634A
Other languages
English (en)
Other versions
JPWO2018079446A1 (ja
Inventor
悟 京砂
悟 京砂
尋史 津田
尋史 津田
藤男 奥村
藤男 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018079446A1 publication Critical patent/JPWO2018079446A1/ja
Application granted granted Critical
Publication of JP6763434B2 publication Critical patent/JP6763434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報入力装置および情報入力方法に関する。特に、プロジェクタから投影したユーザインターフェースに対して行われた入力操作をカメラで撮像することによって認識する情報入力装置および情報入力方法に関する。
近年、プロジェクタから投影したユーザインターフェース（以下、ＵＩ：User Interface）に対して直感的に情報入力できるシステムが報告されている。その一例が、ＭＩＴ（Massachusetts Institute of Technology）のＳｉｘｔｈＳｅｎｓｅやＭｉｃｒｏｓｏｆｔ（登録商標）のＯｍｎｉＴｏｕｃｈである。ＳｉｘｔｈＳｅｎｓｅやＯｍｎｉＴｏｕｃｈでは、被投射体に投射されるバーチャルなＵＩに対して指で行われた入力操作をカメラや深度センサによって認識する。例えば、ＳｉｘｔｈＳｅｎｓｅやＯｍｎｉＴｏｕｃｈでは、指先に付けた色マーカをカメラで追跡してＵＩ上の入力位置を検出する。
ところで、色マーカを日常的に指先に付け続けることは現実的でなく、何も装着していない指で入力操作を行うことが求められる。しかし、何も装着していない指先をカメラで追跡する場合、ほぼ同色である手の平と指とを正確に区別することは困難である。深度センサを用いれば、手の平と指とを至近距離で判別することは可能であるが、少し距離が離れると判別が困難になり、実用的なインターフェースを実現することは難しい。
特許文献１には、ユーザの上肢に装着して使用され、直感的な操作により入力可能な装着型情報入力装置が開示されている。例えば、特許文献１の装置は、一方の手の手首に装着され、他方の手の指先が一方の手の平に接触したことや、手の平に接触した指先の位置や移動をセンサによって認識する。
特許文献２には、ユーザの体の特定部位が検出されたときに、特定の対象物に画像を投影するとともに、特定部位に情報入力用画像を投影する投影装置が開示されている。特許文献２の装置は、投影された情報入力用画像に対して行われた入力操作を深度センサによって取得する。
特許文献３には、プロジェクタから投影された映像情報に対して加えられた操作をカメラで認識する情報提示システムが開示されている。特許文献３のシステムは、情報提示媒体となるユーザの手の平に対してプロジェクタから映像データを投影する。特許文献３のシステムは、映像データの投影中に、カメラの撮像データを基に手の平の変位を検出する。そして、特許文献３のシステムは、検出された手の平の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に検出された手の平の変位を投影中の映像データに反映させた映像データを生成する。そして、特許文献３のシステムは、投影中の映像データに代えて、生成した映像データをプロジェクタから手の平に投影させる。
特開２０１５−１２１９７９号公報 特開２０１５−１１１７７２号公報 特開２００９−１５１３８０号公報
特許文献１の装置によれば、装置を装着することによって直感的な操作により入力可能となる。しかし、特許文献１の装置には、使用する際に上肢に装置を装着する必要があるため、入力処理が必要となる場面において装置を装着していない任意のユーザは入力処理を行うことができないという問題点があった。
特許文献２の装置によれば、ユーザの体の特定部位が検出されたときに特定の対象物に画像を投影する投影部の存在を、ユーザが自然に認識できる。しかし、特許文献２の装置は、深度センサによって投射対象を検出することはできるが、投射範囲に投射禁止範囲が含まれている場合、投射禁止範囲に光を投射してしまう可能性があった。
特許文献３の装置によれば、ユーザにとって直感的で分かりやすい操作が実現される。しかし、特許文献３の装置には、手の平の変位が予め設定した変位条件を満たさない場合に、映像データを手の平に投影できないという問題点があった。
本発明の目的は、上述した課題を解決するために、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる情報入力装置を提供することにある。
本発明の情報入力装置は、投射範囲に投射光を投射する投射装置と、投射範囲を撮像して画像データを生成する撮像装置と、投射装置および撮像装置を制御する制御装置と、制御装置の制御に応じて外部と通信し合う通信装置とを備え、制御装置は、撮像装置を制御することで生成された画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて投射範囲内に進入した対象を検出し、被投射体には入力を受け付ける表示情報を被投射体上に表示させる投射光を投射するように投射装置を制御するとともに、被投射体の上方領域に指示体が進入したことを画像データに基づいて検出し、被投射体上に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した指示内容を入力情報として外部に送信するように通信装置を制御し、投射禁止体には投射光を投射しないように投射装置を制御する。
本発明の情報入力方法は、投射範囲に投射光を投射する投射装置と、投射範囲を撮像して画像データを生成する撮像装置と、投射装置および撮像装置を制御する制御装置と、制御装置の制御に応じて外部と通信し合う通信装置とを備える情報入力装置を用いる情報入力方法であって、制御装置が、撮像装置を制御することで生成された画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて投射範囲内に進入した対象を検出し、被投射体には入力を受け付ける表示情報を被投射体上に表示させる投射光を投射するように投射装置を制御し、被投射体の上方領域に指示体が進入したことを画像データに基づいて検出し、被投射体上に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した指示内容を入力情報として外部に送信するように通信装置を制御し、投射禁止体には投射光を投射しないように投射装置を制御する。
本発明によれば、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる情報入力装置を提供することが可能になる。
本発明の第１の実施形態に係る情報入力装置の構成を示すブロック図である。 本発明の第１の実施形態に係る情報入力装置の使用例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置が備える制御装置の構成を示すブロック図である。 本発明の第１の実施形態に係る情報入力装置が備える制御装置の検出手段の構成を示すブロック図である。 本発明の第１の実施形態に係る情報入力装置によって被投射体の上方領域に指示体が位置する状態を検知する一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置によって被投射体の上方領域に指示体が位置する状態を検知する一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置によって被投射体上に位置する指示体に含まれる指示部を検知する一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置が備える制御装置の座標設定手段の構成を示すブロック図である。 本発明の第１の実施形態に係る情報入力装置によって被投射体上に設定される座標の一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置の動作を示すフローチャートである。 本発明の第１の実施形態に係る情報入力装置の投射条件設定処理を示すフローチャートである。 本発明の第１の実施形態に係る情報入力装置の指示位置特定処理を示すフローチャートである。 本発明の第１の実施形態に係る情報入力装置が備える撮像装置の構成を示す概念図である。 本発明の第１の実施形態に係る情報入力装置が備える投射装置の構成を示す概念図である。 本発明の第１の実施形態に係る情報入力装置が備える投射装置の光学系の構成を示す概念図である。 本発明の第１の実施形態に係る情報入力装置を装着する一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。 本発明の第１の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。 本発明の第２の実施形態に係る情報入力装置によって表示されたユーザインターフェースを用いた情報入力方法の一例を示す概念図である。 本発明の第２の実施形態において被投射体上に位置する指示体の指示部を検出する一例を示す概念図である。 本発明の第２の実施形態に係る情報入力装置の指示位置特定処理を示すフローチャートである。 本発明の第２の実施形態に係る情報入力方法の一例を示す概念図である。 本発明の第２の実施形態に係る情報入力方法の一例を示す概念図である。 本発明の第３の実施形態に係る情報入力装置の座標設定手段の構成を示すブロック図である。 本発明の第３の実施形態に係る情報入力装置の指示位置特定処理を示すフローチャートである。 本発明の第３の実施形態に係る情報入力装置の指示位置特定処理の別の一例を示すフローチャートである。 本発明の第４の実施形態に係る認証システムの構成を示すブロック図である。 本発明の第４の実施形態に係る認証システムの認証装置の構成を示すブロック図である。 本発明の第４の実施形態に係る認証システムの適用例を示す概念図である。 本発明の第４の実施形態に係る情報入力装置の設置例を示す概念図である。 本発明の第４の実施形態に係る情報入力装置の適用例を示す概念図である。 本発明の第４の実施形態に係る情報入力装置の適用例を示す概念図である。 本発明の第４の実施形態に係る情報入力装置の適用例を示す概念図である。 本発明の各実施形態に係る制御装置を実現するハードウェアの一例を示す概念図である。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、以下の実施形態において、図面中ブロック間における矢印の向きは、信号の流れの一例を端的に示したものであり、信号の流れの方向を限定するものではない。
（第１の実施形態）
〔構成〕
図１は、本実施形態に係る情報入力装置１の構成を示すブロック図である。情報入力装置１は、撮像装置１０、投射装置２０、制御装置３０および通信装置４０を備える。
撮像装置１０は、撮像機能を有するカメラである。投射装置２０は、投射機能を有するプロジェクタである。制御装置３０は、撮像装置１０および投射装置２０を制御する装置である。通信装置４０は、有線通信や無線通信によって、入力情報を外部に出力する通信機能を有する。
図２は、本実施形態の情報入力装置１の典型的な利用シーンを示す概念図である。例えば、本実施形態の情報入力装置１は、セキュリティレベルの高い場所の入り口などにおいてパスワードなどの認証情報を入力するために使用される。図２は、認証対象者（以下、対象者）の上方に情報入力装置１を設置し、対象者の手の平（被投射体ともよぶ）にユーザインターフェース（以下、ＵＩ：User Interface）を表示させる例である。
図２のように、情報入力装置１から投射される投射光の投射範囲は、情報入力装置１の投射部分を頂点とする略四角錐の内部の三次元空間である。そして、投射範囲に位置する物体の表面のうち、投射光が当たる面が被投射面となる。
情報入力装置１は、対象者の手の平を含む範囲を撮像し、投射範囲内の被投射面を含む範囲の画像データを生成する。情報入力装置１は、生成した画像データを解析して手の平の位置を特定し、その手の平にＵＩを表示させるために投射光を投射する。情報入力装置１は、所定のタイミングで投射範囲内を検証したり、別のシステムから対象者が投射範囲内に入ったことをしめす通知を受けたりして、投射範囲内に対象者の手の平を検出できる。
情報入力装置１は、認証対象者の手の平に表示されたＵＩに対して指（指示体ともよぶ）で行われた指示内容を特定し、特定した指示内容に対応する表示情報を手の平に表示させるための投射光を投射する。
情報入力装置１は、認証対象者による入力操作を検知すると、指で選択されていた表示情報を入力情報として外部の認証システム等のシステムに出力する。
〔制御装置〕
次に、情報入力装置１が備える制御装置３０の詳細構成について図面を参照しながら説明する。
図３は、制御装置３０の構成を示すブロック図である。図３のように、制御装置３０は、撮像制御手段３１、投射制御手段３２、検出手段３３、座標設定手段３４、投射条件設定手段３５、投射条件記憶手段３６、指示内容同定手段３７、指示内容記憶手段３８および出力手段３９を有する。なお、図３において、ブロック間を接続する線が交差するところは、互いに接続されていない。
撮像制御手段３１は、撮像装置１０を制御して投射範囲を撮像させ、投射範囲の画像データを取得する。撮像制御手段３１は、取得した画像データを検出手段３３に出力する。
投射制御手段３２は、投射条件設定手段３５が設定した投射条件に応じて、投射範囲内に位置する被投射体に投射光を投射するように投射装置２０を制御する。投射条件とは、取得したパターンを適切なタイミングで被投射体に投射するための制御条件である。
検出手段３３は、撮像制御手段３１から投射範囲の画像データを取得し、取得した画像データから投射範囲における被投射体や指示体を検出する。検出手段３３は、被投射体や指示体の検出状況に応じた種々の指示信号を座標設定手段３４や出力手段３９に出力する。
検出手段３３は、投射範囲内を撮像した画像データから被投射体を検出する。検出手段３３は、画像データに被投射体を検出した場合、被投射体に合わせた座標系（投射座標系）を設定することを指示する指示信号（投射座標系設定指示信号：第１の指示信号とも呼ぶ）を座標設定手段３４に出力する。
検出手段３３は、被投射体の上方領域に指示体が位置する状態を検知する。検出手段３３は、指示体の一部である指示部を抽出する。検出手段３３は、抽出した指示部に座標を設定することを指示する信号（指示座標設定信号：第２の指示信号）を座標設定手段３４に出力する。
そして、検出手段３３は、被投射体と指示体とが離れたことを検知すると、その時点において被投射体によって選択されていた入力情報を出力することを指示する入力情報出力指示信号（第３の指示信号）を出力手段３９に出力する。
すなわち、検出手段３３は、画像データから投射範囲に位置する被投射体および指示体を検出し、被投射体および指示体の検出状態に応じた指示信号を出力する。
座標設定手段３４は、撮像制御手段３１から画像データを取得し、検出手段３３からの指示信号に応じて、画像データ内における被投射体や指示部に関する座標情報を設定する。座標設定手段３４は、設定した座標情報を投射条件設定手段３５または指示内容同定手段３７に出力する。
座標設定手段３４は、投射座標系設定指示信号（第１の指示信号）を受信すると、被投射体に合わせて投射座標系を設定する。座標設定手段３４は、設定した投射座標系データを投射条件設定手段３５に出力する。
また、座標設定手段３４は、指示座標設定信号（第２の指示信号）を受信すると、投射座標系における指示部の位置座標（指示座標）を設定する。座標設定手段３４は、指示座標データを指示内容同定手段３７に出力する。
投射条件設定手段３５は、座標設定手段３４または指示内容同定手段３７から取得した情報に基づいて、投射装置２０に投射条件を設定する。
投射条件設定手段３５は、座標設定手段３４から投射座標系データを取得すると、取得した投射座標系データに合わせたＵＩなどの表示情報を被投射体上に表示させるための投射条件を投射装置２０に設定する。投射条件設定手段３５は、投射条件記憶手段３６に記憶された投射条件を取得し、取得した投射条件を投射制御手段３２に出力する。
投射条件設定手段３５は、被投射体に表示させる表示情報に対応するパターンを投射条件記憶手段３６から取得する。例えば、投射装置２０が位相変調型素子を用いる場合、表示情報に対応するパターンは位相分布である。
投射条件設定手段３５は、投射条件を生成し、生成した投射条件を投射制御手段３２に出力する。投射条件は、後述の光源制御条件および画像制御条件を含む。
投射条件設定手段３５は、どのようなタイミングでどの程度の出力の光を投射装置２０から出射させるかという光源制御条件を生成する。光源制御条件は、投射装置２０に含まれる光源が光を出射するタイミングを制御するための条件であり、表示情報を表示させるタイミングを制御する条件に相当する。投射条件設定手段３５は、生成した光源制御条件を投射制御手段３２に出力する。
また、投射条件設定手段３５は、どのようなタイミングでどの表示情報を被投射体上に表示させるかという画像制御条件を生成する。画像制御条件は、投射装置２０に含まれる画像生成素子（図示しない）を制御する条件に相当する。投射条件設定手段３５は、生成した画像制御条件を投射制御手段３２に出力する。
例えば、投射装置２０が位相変調型素子を含む場合、投射条件設定手段３５は、どのようなタイミングでどのパターンを空間光変調素子の表示部に表示させるかという変調素子制御条件を画像制御条件として生成する。変調素子制御条件は、表示情報に対応するパターンを空間光変調素子の表示部に適切なタイミングで表示させるための条件である。空間光変調素子の表示部に表示情報に対応するパターンを表示させるタイミングは、光源制御条件に含まれる光源の駆動タイミングと同期される。
投射条件記憶手段３６は、投射制御手段３２によって投射装置２０を制御するための投射条件（光源制御条件および画像制御条件）を記憶する。
投射条件記憶手段３６は、ＵＩや数字、文字、記号等の表示情報を被投射体上に適切なタイミングで表示させるための光源制御条件を記憶する。また、投射条件記憶手段３６は、ＵＩや数字、文字、記号等の表示情報を被投射体上に表示させるための画像制御条件を記憶する。例えば、投射装置２０が位相変調型素子を用いる場合、投射条件記憶手段３６は、表示情報に対応する位相分布を記憶する。
指示内容同定手段３７は、座標設定手段３４から指示部の位置座標（指示座標）を取得する。指示内容同定手段３７は、投射座標系の位置座標に関連付けられた項目を指示内容記憶手段３８から取得する。指示内容同定手段３７は、投射座標系の位置座標に関連付けられた項目と、指示座標とを対応させてＵＩにおける指示内容を同定する。すなわち、指示内容同定手段３７は、指示内容が設定された位置座標のうち、特定した指示座標に最も近接する位置座標に設定された指示内容が選択されたものと同定する。
指示内容同定手段３７は、同定した指示内容を被投射体に形成させる投射条件を設定する指示を投射条件設定手段３５に出す。
指示内容記憶手段３８は、投射座標系の位置座標に関連付けられた項目をまとめたテーブルやリストを記憶する。すなわち、指示内容記憶手段３８は、被投射体上の少なくとも一つの位置座標に指示内容が関連付けられた情報を記憶する。
出力手段３９は、検出手段３３から入力情報出力指示信号（第３の指示信号）を受信すると、その時点における指示内容を指示内容同定手段３７から取得する。出力手段３９は、取得した指示内容を入力情報として通信装置４０に出力する。
すなわち、制御装置３０は、撮像装置１０を制御することで生成された画像データに含まれる対象（被投射体および投射禁止体）の特徴に基づいて、投射範囲内に進入した対象を検出する。なお、対象とは、光を投射する対象である被投射体と、光を投射してはいけない投射禁止体とを含む。また、対象の特徴とは、対象の形状や色などである。例えば、制御装置３０は、被投射体が手の平である場合、形状や色などの特徴に基づいて、被投射体である手の平を検出する。また、制御装置３０は、投射禁止体が顔である場合、形状や色などの特徴に基づいて、投射禁止体である顔を検出する。そのため、本実施形態によれば、投射光を投射してはならない対象である投射禁止体に投光することを防止できる。
制御装置３０は、投射禁止体を検出すると、投射禁止体には光が投射されないように投射装置２０を制御する。制御装置３０は、被投射体を検出すると、入力を受け付ける表示情報を表示させる投射光を被投射体に投射するように投射装置２０を制御する。また、制御装置３０は、被投射体および投射禁止体を投射範囲に検出すると、投射禁止体には光が投射されず、被投射体に投射光を投射するように投射装置２０を制御する。なお、制御装置３０は、投射範囲に投射禁止体が検出された場合、被投射体の有無に関わらずに投射を止めるように投射装置２０を制御してもよい。
そして、制御装置３０は、被投射体の上方領域に指示体が進入したことを画像データに基づいて検出する。制御装置３０は、被投射体に表示された表示情報と指示体に含まれる指示部との位置関係に基づいて判定した入力情報を外部に送信するように通信装置４０を制御する。
ここで、制御装置３０に含まれる検出手段３３および座標設定手段３４の内部構成について図面を参照しながら説明する。
〔検出手段〕
図４は、制御装置３０に含まれる検出手段３３の内部構成を含むブロック図である。検出手段３３は、被投射体検出手段３３１、進入検知手段３３２、指示体検出手段３３３を有する。
被投射体検出手段３３１は、形状や色などの特徴を用いて画像データ上の被投射体を検出する。被投射体検出手段３３１は、投射範囲を撮像した画像データ中に被投射体を検出した場合、被投射体に座標系を設定することを指示する投射座標系設定指示信号（第１の指示信号）を座標設定手段３４に出力する。例えば、被投射体検出手段３３１は、投射範囲内に位置する被投射体を形状や色で検出する。
また、被投射体検出手段３３１は、形状や色などの特徴を用いて画像データ上の投射禁止体を検出する。被投射体検出手段３３１は、投射禁止体を検出すると、投射禁止体には投射座標系を設定しない指示を含む第１の指示信号を座標設定手段３４に出力する。
進入検知手段３３２は、被投射体と指示体との位置関係を検知する。具体的には、進入検知手段３３２は、被投射体の上方に指示体が進入して被投射体の上方領域に指示体が位置する状態になったことと、被投射体の上方領域に指示体が位置しない状態になったことを検知する。
進入検知手段３３２は、被投射体の上方に指示体が進入し、被投射体の上方領域に指示体が位置する状態になったことを検知する。本実施形態においては、被投射体の上方領域に指示体が位置する状態になった時点を、指示体による入力が開始された時点とみなす。例えば、進入検知手段３３２は、被投射体として検出している対象物の面積が急激に増大したり、形状が急激に変化したりした場合に、被投射体の上方領域に指示体が位置する状態になったと検知する。進入検知手段３３２は、被投射体の上方領域に指示体が位置する状態になったこと検知すると、指示体を抽出する指示を指示体検出手段３３３に出す。また、本実施形態においては、被投射体上に指示体が接触して位置する状態を、被投射体の上方領域に指示体が位置する状態に含む。以下において、被投射体に表示された表示情報に指示体が重ならない場合は、被投射体の上方領域に指示体が位置する状態においては、被投射体と指示体とが接触しているとみなすこともある。
指示体検出手段３３３は、進入検知手段３３２の指示に応じて、指示体を抽出する。指示体検出手段３３３は、抽出した指示体に含まれる指示部に座標を設定することを指示する指示座標設定信号（第２の指示信号）を座標設定手段３４に出力する。
また、進入検知手段３３２は、被投射体の上方から指示体が外れたことを検知すると、その時点において被投射体によって選択されていた入力情報を出力することを指示する入力情報出力指示信号（第３の指示信号）を出力手段３９に出力する。本実施形態においては、被投射体の上方領域に指示体が位置しない状態になった時点で、被投射体と指示体とが離れたものとみなす。例えば、進入検知手段３３２は、被投射体と指示体とが接触している状態から、面積が急激に減少したり、形状が急激に変化したり、対象の数が増えたりした場合に、被投射体の上方領域に指示体が位置しない状態になったと検知する。
図５および図６は、進入検知手段３３２が被投射体である手の平の上方領域に指示体である指が位置することを検知する一例を示す概念図である。
図５は、情報入力が可能となったことを示す投射光が手の平に投射された状態（状態１）と、情報入力が可能となった手の平の上方領域に指が位置する状態（状態２）の画像の概念図である。図６は、図５の画像を二値化し、手の部分を白く示し、その他の部分を黒く示した図である。例えば、進入検知手段３３２は、人体部分の肌色を検出し、その肌色部分を白くし、その他の部分を黒くすることによって図６のようなデータを得る。
図６の状態１と状態２とを比較すると、状態２では白い部分の面積が増大している。そのため、状態１でモニターしていた白い部分の面積が急激に増大したことから、手の平の上方領域に指が位置することを検出できる。反対に、白い部分の面積が減少したことから、手の平と指とが離れたことを検出できる。なお、図６においては面積の増減によって被投射体と指示体との位置関係を検知する例を挙げたが、白い部分の形状や数の変化を検知することによって被投射体と指示体との位置関係を検出してもよい。
指示体検出手段３３３は、進入検知手段３３２の指示に応じて、指示体に含まれる指示部に座標を設定することを指示する指示座標設定信号（第２の指示信号）を座標設定手段３４に出力する。例えば、指が指示体である場合、検出手段３３は、指先や爪などを抽出する。実際にＵＩに入力を加える部分は指先の腹周辺である。検出手段３３は、抽出された指先や爪などから推定される指の腹に相当する位置（指示部）の座標を設定するために、指示座標設定信号（第２の指示信号）を座標設定手段３４に出力する。例えば、検出した爪を含む円の領域を設定し、その円の中心を指示部の位置であるとみなせる。
図７は、手の平の上方領域に指が位置する状態を検出する一例を示す概念図である。図７は、手の平の上方領域に指が位置する状態で撮像された画像データ（画像１）と、その画像データ（画像１）にエッジ検出処理を加えたデータ（画像２）との概念図を示す。指先を含む画像データにエッジ検出処理を加えると、爪の部分のエッジ密度が増大する。そのため、他の部分よりもエッジ密度が大きい箇所を爪として検出すれば、その爪の位置から指先の腹の位置（指示部）を推定できる。なお、エッジ検出以外の方法で指示部の位置を特定してもよい。例えば、指先の形状や、指のしわなどを目安として指先を検出してもよい。
〔座標設定手段〕
図８は、制御装置３０に含まれる座標設定手段３４の内部構成を含むブロック図である。座標設定手段３４は、投射座標系設定手段３４１と、指示座標特定手段３４２とを有する。
投射座標系設定手段３４１は、撮像制御手段３１から画像データを取得し、検出手段３３から投射座標系設定指示信号（第１の指示信号）を受信すると、被投射体に合わせて座標系（投射座標系）を設定する。また、投射座標系設定手段３４１は、投射禁止体には投射座標系を設定しない指示が第１の指示信号に含まれている場合、投射禁止体には光が投射されないように投射座標系を設定する。投射座標系設定手段３４１は、被投射体に設定した投射座標系データを投射条件設定手段３５に出力する。
指示座標特定手段３４２は、撮像制御手段３１から画像データを取得する。指示座標特定手段３４２は、指示座標設定信号（第２の指示信号）を受信すると、画像データを解析し、被投射体に設定される投射座標系における指示部の位置座標（指示座標）を特定する。例えば、指が指示体である場合、座標設定手段３４は、指先や爪などから推定される指先の腹に相当する位置（指示部）の座標を特定する。指示座標特定手段３４２は、特定した指示座標データを指示内容同定手段３７に出力する。
図９は、手の平を被投射体とした場合に設定される投射座標系の一例である。図９の例では、手の平のいずれかの箇所を基準として２次元座標系を設定する。なお、投射座標系は、手の平に合わせて設定されるが、設定された後は投射範囲を撮像した画像に固定される。
例えば、投射座標系設定手段３４１は、手の小指側にｘ座標を設定し、そのｘ座標上の一点から親指方向に向けてｙ座標を設定する。そして、投射座標系設定手段３４１は、ｘ軸上に指示座標（ｘ0〜ｘ10）を設定する。投射座標系設定手段３４１は、設定した投射座標系データを投射条件設定手段３５に出力する。
（動作）
次に、本実施形態に係る情報入力装置１の動作について図面を参照しながら説明する。まず、本実施形態の情報入力装置１の典型的な動作例について概念図を用いて説明する。図１０は、本実施形態における情報入力方法の一例を示す概念図である。図１０は、以下の入力手順を示す。
（１）情報入力装置１は、被投射体（手の平）を検出し、検出された被投射体に入力準備ができたことを示す光を投射する。
（２）情報入力装置１は、被投射体の上方領域に指示体（指）が位置する状態を検出し、指示体に含まれる指示部の指示座標に合わせた画像を形成する投射光を被投射体に投射する。
（３）情報入力装置１は、被投射体上の指示部の位置が変化したことを検出し、指示部の位置に合わせた画像を形成する投射光を被投射体に投射する。
（４）情報入力装置１は、被投射体の上方領域から指示体が外れた状態を検出し、指示部によって選択されていた情報を入力情報として出力する。
次に、本実施形態の情報入力装置の動作についてフローチャートを用いて説明する。図１１〜図１３は、本実施形態の情報入力装置１の動作を示すフローチャートである。
図１１は、情報入力装置１の全体的な動作を示すフローチャートである。図１１に関しては、情報入力装置１を動作主体として説明する。
図１１において、まず、情報入力装置１は、投射範囲内に位置する被投射体を検出する（ステップＳ１１）。
情報入力装置１は、被投射体に投射光を投射するための投射条件を設定する投射条件設定処理を実行する（ステップＳ１２）。投射条件設定処理については、図１２を用いて後ほど説明する。
情報入力装置１は、情報入力が可能となったことを示す表示情報を被投射体上に形成する投射光を投射する（ステップＳ１３）。
情報入力装置１は、被投射体の上方領域に指示体が位置する状態を検出する（ステップＳ１４）。
ここで、情報入力装置１は、指示位置特定処理を実行する（ステップＳ１５）。指示位置特定処理については、図１３を用いて後ほど説明する。
情報入力装置１は、指示体に含まれる指示部による指示位置に応じた表示情報を被投射体上に形成する投射光を投射する（ステップＳ１６）。
ここで、情報入力装置１は、被投射体と指示体が離れたか否かを判定する（ステップＳ１７）。被投射体と指示体が離れていない場合（ステップＳ１７でＮｏ）、ステップＳ１５に戻る。一方、被投射体と指示体が離れた場合（ステップＳ１７でＹｅｓ）、情報入力装置１は、指示体が離れるときの指示位置に対応する指示情報が入力されたものと判定する（ステップＳ１８）。
そして、情報入力装置１は、入力されたものと判定した指示情報を入力情報として出力する（ステップＳ１９）。
以上が、情報入力装置１の全体的な動作に関する説明である。
〔投射条件設定処理〕
図１２は、情報入力装置の投射条件設定処理に関する動作を示すフローチャートである。図１２に関しては、情報入力装置１の構成要素を動作主体として説明する。
図１２において、まず、検出手段３３は、投射範囲内において被投射体の形状や位置を検出する（ステップＳ１２１）。
座標設定手段３４は、検出された被投射体に合わせて投射座標系を設定する（ステップＳ１２２）。
投射条件設定手段３５は、被投射体上に設定される表示範囲に表示情報が形成される投射条件を投射制御手段３２に出力する（ステップＳ１２３）。
以上が、情報入力装置１の投射条件設定処理に関する説明である。
〔指示位置特定処理〕
図１３は、情報入力装置１の指示位置特定処理に関する動作を示すフローチャートである。図１３に関しては、情報入力装置１の構成要素を動作主体として説明する。
図１３において、まず、検出手段３３は、指示体を抽出する（ステップＳ１５１）。
座標設定手段３４は、指示部の位置座標（指示座標）を特定する（ステップＳ１５２）。
投射条件設定手段３５は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段３２に出力する（ステップＳ１５３）。
以上が、情報入力装置１の指示位置特定処理に関する説明である。
〔撮像装置〕
次に、情報入力装置１の撮像装置１０について図面を参照しながら説明する。図１４は、撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮像素子１１、画像処理プロセッサ１３、内部メモリ１５およびデータ出力回路１７を有する。撮像装置は、一般的なデジタルカメラの機能を含む。
撮像素子１１は、所定の撮像領域を撮像し、その撮像領域の撮像データを取得するための素子である。本実施形態においては、被投射体を含む範囲が撮像領域に設定される。
撮像素子１１は、半導体部品が集積回路化された光電変換素子である。撮像素子１１は、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの固体撮像素子によって実現できる。通常、撮像素子１１は、可視領域の光を撮像する素子によって構成するが、赤外線や紫外線、Ｘ線、ガンマ線、電波、マイクロ波などの電磁波を撮像・検波できる素子によって構成してもよい。
画像処理プロセッサ１３は、撮像素子１１によって撮像された撮像データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行して画像データに変換する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ１３を省略してもよい。
内部メモリ１５は、画像処理プロセッサ１３によって画像処理を行う際に処理しきれない画像情報や、処理済みの画像情報を一時的に格納する記憶素子である。なお、撮像素子１１によって撮像された画像情報を内部メモリ１５に一時的に記憶するように構成してもよい。内部メモリ１５は、一般的なメモリによって構成すればよい。
データ出力回路１７は、画像処理プロセッサ１３によって処理された画像データを制御装置３０に出力する。
〔投射装置〕
次に、投射装置２０について図面を参照しながら説明する。図１５は、情報入力装置１の投射装置２０の構成を示すブロック図である。また、図１６は、情報入力装置１に含まれる光学系の構成例を示す概念図である。
図１５のように、投射装置２０は、光源２１と、光源駆動電源２２と、空間光変調素子２３と、変調素子駆動手段２４と、投射光学系２５とを備える。なお、図１５は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。
光源２１は、特定波長の光１１０を出射する。例えば、レーザ光源を光源２１として用いることができる。光源２１から出射される光１１０は、位相がそろったコヒーレントな光であることが好ましい。通常、光源２１は、可視領域の光を出射するように構成する。なお、光源２１は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。また、光源２１は、発光ダイオードや白熱電球、放電管などのレーザ光源以外で構成してもよい。
図１６のように、光源２１が出射した光１１０は、コリメータ２１０によってコヒーレントな光１１０となり、空間光変調素子２３の表示部に入射される。例えば、複数の波長の光を出射するように光源２１を構成すれば、光源２１から出射する光の波長を変えることによって、表示情報の色を変更することができる。また、異なる波長の光を同時に出射するように光源２１を構成すれば、複数の色によって構成される表示情報を表示させることができる。
光源駆動電源２２（光源駆動手段ともよぶ）は、制御装置３０の制御に応じて光源２１を駆動させて、光源２１から光を出射させるための電源である。
空間光変調素子２３は、変調素子駆動手段２４の制御に応じて、各表示領域に表示される表示情報を生成するためのパターンを自身の表示部に表示する。本実施形態においては、空間光変調素子２３の表示部に所定のパターンが表示された状態で、その表示部に光１１０を照射する。空間光変調素子２３は、入射される光１１０の反射光（変調光１３０）を投射光学系２５に向けて出射する。
図１６のように、本実施形態においては、空間光変調素子２３の表示部に対して光１１０の入射角を非垂直にする。すなわち、本実施形態においては、光源２１からの光１１０の出射軸を空間光変調素子２３の表示部に対して斜めにする。空間光変調素子２３の表示部に対して光１１０の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間光変調素子２３の表示部に光１１０を入射できるため、効率を向上させることができる。
空間光変調素子２３は、位相がそろったコヒーレントな光１１０の入射を受け、入射された光１１０の位相を変調する位相変調型の空間光変調素子によって実現できる。位相変調型の空間光変調素子２３を用いた投射光学系からの出射光は、フォーカスフリーであるため、複数の投射距離に設定される表示領域に光を投射することになっても投射距離ごとに焦点を変える必要がない。なお、空間光変調素子２３は、各表示領域に表示情報を表示できるのであれば位相変調型とは異なる方式の素子であってもよいが、フォーカスフリーを実現するためには位相変調型の素子である方が好ましい。
位相変調型の空間光変調素子２３の表示部には、各表示領域に表示させる表示情報の位相分布が表示される。この場合、空間光変調素子２３の表示領域で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように表示情報が形成される。
空間光変調素子２３は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調素子によって実現される。空間光変調素子２３は、具体的には、ＬＣＯＳ（Liquid Crystal on Silicon）によって実現できる。また、空間光変調素子２３は、例えば、ＭＥＭＳ（Micro Electro Mechanical System）によって実現してもよい。
位相変調型の空間光変調素子２３では、投射光を投射する表示領域を順次切り替えるように動作させることによってエネルギーを表示情報の部分に集中することができる。そのため、位相変調型の空間光変調素子２３を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。
変調素子駆動手段２４は、制御装置３０の制御に応じて、各表示領域に表示される表示情報を生成するためのパターンを空間光変調素子２３の表示部に表示させる。変調素子駆動手段２４は、空間光変調素子２３の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間光変調素子２３を駆動する。
位相変調型の空間光変調素子２３の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調素子駆動手段２４は、空間光変調素子２３の表示部に印加する電圧を変化させることによって、表示部の屈折率を変化させる。その結果、表示部に照射された光１１０は、表示部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調素子２３に照射された光１１０の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子駆動手段２４による空間光変調素子２３の駆動方法はここで挙げた限りではない。
投射光学系２５は、空間光変調素子２３で変調された変調光１３０を照射光１５０として投射する。図１６のように、投射光学系２５は、フーリエ変換レンズ２５１、アパーチャ２５２および投射レンズ２５３を有する。空間光変調素子２３で変調された変調光１３０は、投射光学系２５によって照射光１５０として照射される。なお、各表示領域に表示情報を表示させることができれば、投射光学系２５の構成要素のうちいずれかを省略して構成してもよい。
フーリエ変換レンズ２５１は、空間光変調素子２３の表示部で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図１６では、アパーチャ２５２の位置に焦点が形成されている。
アパーチャ２５２は、フーリエ変換レンズ２５１によって集束された光に含まれる高次光を遮蔽し、表示領域を特定する機能を有する。アパーチャ２５２の開口部は、アパーチャ２５２の位置における表示領域の最外周よりも小さく開口され、アパーチャ２５２の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ２５２の開口部は、矩形状や円形状に形成される。アパーチャ２５２は、フーリエ変換レンズ２５１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。
投射レンズ２５３は、フーリエ変換レンズ２５１によって集束された光を拡大して投射する光学レンズである。投射レンズ２５３は、空間光変調素子２３に入力された位相分布に対応する表示情報が各表示領域に表示されるように照射光１５０を投射する。
単純な記号などの線画を投射する用途に情報入力装置１を用いる場合、投射光学系２５から投射された照射光１５０は、各表示領域に均一に投射されるのではなく、表示情報を構成する文字や記号、枠などの部分に集中的に投射される。そのような場合、情報入力装置１によれば、光１１０の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、情報入力装置１は、小型かつ低電力な光源２１で構成できるため、その光源２１を駆動する光源駆動電源２２を低出力にでき、全体的な消費電力を低減できる。
上述のように、本実施形態の情報入力装置１は、全体的な消費電力を低減できるため、装置全体を小型化できる。図１７は、本実施形態の情報入力装置１を携帯型に構成する例である。図１７のように、情報入力装置１を胸などに装着するウェアラブル型に構成すれば、どのような場面においても情報入力が可能となる。
以上のように、本実施形態においては、表示情報が投影される被投射体（手の平）と、情報を指示する指示体（指）との位置関係から選択された情報を判定し、指示体が被投射体から離れることによって、選択された情報が入力されたことを判定する。一般に、手の平に表示されたボタンを指で押すような動作では、押したことを判定するために、手の平における指の位置と、手の平と指との距離とを知ることが必要であり、色の判定や距離の判定が非常に困難であった。本実施形態の手法によれば、手の平における指の位置と、手の平と指との距離とを容易に知ることができる。そのため、本実施形態によれば、色にも距離にも無関係に情報の選択と入力が可能となり、撮像装置と手との位置が離れていてもロバストな入力が可能となる。
本実施形態の入力方法の特徴は、以下のようにまとめられる。
（１）両手の接触をスイッチとする。
一般に、手を認識する場合は、深度センサを用いるが、深度センサを用いない場合は色を用いる。しかし、ＵＩを表示させる被投射体として手の平を使う場合、指示体である指と手の平とが同じ色なので指示位置を特定することが難しい。
本実施形態では、手の平と指とが同じ色であることを利用して、手の平と指とが接触したり離れたりした際に、手の平と指とを合わせた領域の面積や形状が大幅に変化することをスイッチングの判定に用いる。
（２）ポインティングする方の指の位置や数を認識して選択肢を選ぶ。
本実施形態では、情報を入力する者がどのような認識を行っているかを知っているという前提で、被投射体である手の平の画像を解析することにより、指示体である指の位置や数の認識を容易に行える。
（３）指の停止時間で選択したことを認識する。
本実施形態では、両手が接触した状態で、全体が停止した時点における指の位置を解析し、選択された情報を決定する。
また、本実施形態においては、投射範囲に投射禁止体が検出された場合、投射禁止体には光が当たらないように制御する。そのため、本実施形態によれば、入力情報を入力するユーザの顔などに光が投射されることがないので安全である。
以上のように、本実施形態に係る情報入力装置によれば、入力処理が必要となる場面において、任意のユーザが直感的な入力処理を安全に行うことができる。
本実施形態においては、画像データに基づいて、投射範囲に進入した被投射体を検出し、被投射体の上方領域に進入した指示体を検出する。そのため、本実施形態によれば、深度センサなどを用いない簡易な構成で、被投射体に投影された表示情報に対する指示体の位置を検出でき、ユーザが直感的な入力処理を行うことができるＵＩを実現できる。
〔適用例〕
ここで、本実施形態の情報入力装置１の適用例についていくつか例を挙げて説明する。図１８〜図１９は、本実施形態の情報入力装置１に係る適用例の一例を示す概念図である。なお、図１８〜図１９の例は一例であって、本実施形態の範囲を限定するものではない。
図１８は、手の平に表示された情報を指で選択する例である。
まず、情報入力装置１は、検出された手の平に選択項目（Ａ、Ｂ、Ｃ）を表示させる（１）。情報入力装置１は、手の平と指との接触を検知すると、指の位置に対応する項目を円で囲って表示させる（２）。情報入力装置１は、指の移動に合わせて、円で囲われる項目を変更する（３）。情報入力装置１は、手の平と指とが離れると、その時点において選択されていた項目を入力情報として出力する（４）。
図１９は、手の平と接触する指の本数に意味を持たせる例である。
例えば、入力項目が何ページにわたる場合、ページ内の検索と、ページを跨る検索とが必要となる。
一本の指で接触している場合、ページ内でスクロールさせるように動作する（１）。二本の指で接触している場合、ページをめくるように動作する（２）。三本の指で接触した場合、直前に入力した情報をキャンセルすることを示す（３）。また、四本の指で接触した場合、直前にキャンセルした内容を再度入力しなおすことを示す（４）。
図１９の例では、指の本数に意味を持たせたが、例えば親指で手の平に触りつつ、別の指を手の平に触れさせたり離したりする動作に意味を持たせてもよい。
（第２の実施形態）
次に、本発明の第２の実施形態に係る情報入力装置について図面を参照しながら説明する。本実施形態においては、被投射体に投影される表示情報と指示体とが重なった場合に指示体を検出しやすくする方法を示す。
図２０は、手の平に表示されたテンキーを選択する例である。図２０の例では、指が手の平上で一定時間静止したことを選択のスイッチとする。
まず、情報入力装置は、検出された手の平にテンキーを表示させる（状態１）。このとき、情報入力装置は、手の平上に表示された複数のキーを用いてキャリブレーションを実行する。例えば、情報入力装置は、被投射体に投射された表示情報を撮像した画像データをパターンマッチングなどの手法を用いて画像処理することによってキャリブレーションを実行する。図２０の例において、情報入力装置は、被投射体に表示された表示情報（複数のキー）を含む投射範囲を撮像して得られた画像データを画像処理し、複数のキーのそれぞれの位置を画像データ上の座標に置き換える。
情報入力装置は、手の平の上方領域に指が位置する状態を検知すると、指の動きを追う。そして、情報入力装置は、指が一定時間停止した時点で指の指示位置を検出する（状態２）。情報入力装置は、画像データ上において、指による指示位置（指示座標）を特定する。例えば、キーを選択するまでは、手の平の上方領域に指が位置している状態であっても、手の平に指が接触しているわけではない。そのため、本実施形態において、情報入力装置は、指の動きが一定時間停止した時点において指示位置を特定する。
情報入力装置は、いずれかのキーを選択している状態で指が所定期間停止した時点において選択されていたキーの位置を認識し、キー操作が受け付けられたことを示す印を表示させる（状態３）。情報入力装置は、画像データ上において、指示部の指示位置（指示座標）から最も近い位置に配置されたキーが選択されたものと判定する。このとき、情報入力装置は、選択されたキーが入力されたものと判定する。第１の実施形態においては、手の平から指が離れた時点で入力が受け付けられた。それに対し、本実施形態においては、指によって選択されたキーが特定できた段階で入力を受け付ける。
情報入力装置は、手の平の上方領域から指が外れると、次の入力を受け付けるために再びテンキーを手の平に表示させる（状態４）。手の平と指とを離すことは、第１の実施形態においては選択項目を入力するための動作であったが、本実施形態においては手の平に表示させる表示情報を切り替えるための動作である。すなわち、本実施形態においては、図１１のフローチャートのステップＳ１８は、「入力判定」ではなく、表示情報の「切替指示」である。
図２０の例では、手の平に表示されたテンキーのキーを指が指示しているとき（状態２）、表示情報と指の位置が重なった画像データが得られるため、指を検出しにくくなる。そのため、本実施形態においては、以下の図２１のような手順によって指を検出しやすくする。
図２１は、表示情報と指の位置が重なってしまう際に、情報入力装置が指示体を検出する一例について説明するための概念図である。図２１のように、情報入力装置は、手の平の上方領域に指示体が位置する状態で（状態２）、投射光の投射を一時停止して指先を検出し、指示部の指示する位置（指示位置）を特定する（状態２−３）。そして、情報入力装置１は、特定された指示位置が受け付けられたことを示す印を手の平に表示させる（状態３）。
指を検出する際に投射光の投射を継続したままだと、投射光の影響で指先の位置が特定しにくくなる。本実施形態においては、指を検出する際に、状態２−３のように一時的に投射光を停止することによって指を検出しやすくする。
〔指示位置特定処理〕
図２２は、情報入力装置１の指示位置特定処理に関する動作を示すフローチャートである。図２２においては、情報入力装置１の構成要素を動作主体として説明する。
図２２において、まず、検出手段３３は、指示体が一定時間停止したことを検知する（ステップＳ２６１）。このとき、検出手段３３は、投光を一時的に停止することを指示する停止指示信号を投射制御手段３２に出力する。
ここで、検出手段３３は、投射制御手段３２に投光を一時停止するように指示を出す（ステップＳ２６２）。
検出手段３３は、被投射体上の指示体を抽出する（ステップＳ２６３）。
座標設定手段３４は、指示部の位置座標（指示座標）を特定する（ステップＳ２６４）。
投射条件設定手段３５は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段３２に出力する（ステップＳ２６５）。
以上が、本実施形態の指示位置特定処理に関する説明である。本実施形態においては、指示体が一定時間停止していることを検知し、その時点において指示部が指示する位置（指示座標）に対応する表示情報が選択されたものとみなす。このとき、本実施形態においては、指示座標の位置に表示された表示情報に対応する入力情報が入力されたものとみなす。本実施形態によれば、被投射体に表示されたＵＩに指示体を直接触れさせることによって、より直感的な入力操作が実現できる。
ここで、数字や文字ではなく、絵をＵＩとして用いる例を示す。図２３および図２４は、手の平に数字や文字ではなく、絵を表示させる例である。子供は、数字や絵文字の順番は覚えられなくても、絵に含まれるパーツに触る順番なら覚えやすい。なお、以下の説明においては、紙面側見た際の左右の位置を示す。
図２３は、入力順番が正しい例である。まず、対象者は、第１の動物の右耳に触る（１）。次に、対象者は、第２の動物の鼻に触る（２）。次に、対象者は、第３の動物の左耳に触る（３）。図２３のように１〜３の順番で入力されると、正解を示すハートマークが表示される（４）。
図２４は、入力順番が間違っている例である。まず、第１の動物の右耳を触る（１）。次に、第２の動物の右目を触る（２）。次に、第３の動物の右耳に触る（３）。図２４のように１〜３の順番で入力されると、不正解を示す印が表示される（４）。なお、図２４では、不正解を示す印として、禁止図記号を表示させる例を示している。
本実施形態の手法を用いれば、図２３および図２４のように、ＵＩとして表示された動物の一部に指で直接触れることによって入力しやすくなる。
（第３の実施形態）
次に、本発明の第３の実施形態に係る情報入力装置について図面を参照しながら説明する。本実施形態の情報入力装置は、座標設定手段の構成が第１の実施形態と異なる。本実施形態の情報入力装置は、機械学習データを用いて指示位置を特定する。なお、本実施形態の構成のうち、第１の実施形態と同様の構成や動作については詳細な説明は省略する。
（構成）
図２５は、本実施形態の情報入力装置に含まれる座標設定手段３４−３の構成を示すブロック図である。座標設定手段３４−３は、投射座標系設定手段３４１と指示座標特定手段３４２に加えて、位置特定情報記憶手段３４３を有する。すなわち、座標設定手段３４−３は、位置特定情報記憶手段３４３を含む点で、第１の実施形態の座標設定手段３４と異なる。
位置特定情報記憶手段３４３は、被投射体上に設定される投射座標系における指示部の指示座標を特定するための情報を記憶する。位置特定情報記憶手段３４３には、指示座標特定手段３４２が画像データから指示部による指示位置を特定する際に用いる機械学習データを記憶させておく。機械学習データは、被投射体の上に指示体が位置する画像データから指示部の指示位置を特定するためのアルゴリズムを含む。例えば、数千枚程度の画像データを事前に集めておき、それらの画像データ上で指示部による指示位置を予め設定しておく。例えば、手の平の上に位置する指の爪の真ん中あたりを指示位置に設定しておく。
指示座標特定手段３４２は、位置特定情報記憶手段３４３に記憶された機械学習データを用いて指示部による指示位置を特定する。例えば、指示座標特定手段３４２は、機械学習データを用いて手の平の上に指が位置する画像データを解析すると、指先の爪のあたりを検出する。例えば、指示座標特定手段３４２は、検出した爪の位置に円を設定し、その円の中心に指示座標を設定する。
指示内容同定手段３７は、指示内容が設定された位置座標のうち、特定した指示座標に最も近接する位置座標に設定された指示内容が選択されたものと同定する。
投射条件設定手段３５は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段３２に出力する。
（動作）
ここで、本実施形態の情報入力装置の動作について図面を参照しながら説明する。図２６は、本実施形態の情報入力装置の指示位置特定処理に関する流れを示すフローチャートである。本実施形態の情報入力装置の動作は、指示位置特定処理（図１３）が第２の実施形態と異なる。
図２６において、まず、検出手段３３は、指示体が一定時間停止したことを検知する（ステップＳ３６１）。このとき、検出手段３３は、投光を一時的に停止することを指示する停止指示信号を投射制御手段３２に出力する。
投射制御手段３２は、停止指示信号に応じて、一時的に投光を停止する（ステップＳ３６２）。
撮像制御手段３１は、投光が停止している状態で投射範囲を撮像する（ステップＳ３６３）。
座標設定手段３４ー３は、位置特定情報記憶手段３４３に記憶された機械学習データを用いて、画像データ上で指示部による指示位置を特定する（ステップＳ３６４）。
座標設定手段３４ー３は、指示部による指示位置から指示座標を設定する（ステップＳ３６５）。
投射条件設定手段３５は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段３２に出力する（ステップＳ３６６）。
以上が、本実施形態の情報入力装置の投射条件設定処理に関する説明である。
〔ハイブリッド処理〕
ここで、本実施形態の情報入力装置に関する別の動作例について、図面を参照しながら説明する。図２７は、機械学習データを用いた処理とエッジ検出処理とを併用したハイブリッド処理の一例を示すフローチャートである。
図２７において、まず、検出手段３３は、指示体を検知する（ステップＳ４６１）。このとき、検出手段３３は、一時的に投射を停止することを指示する停止指示信号を投射制御手段３２に出力する。
投射制御手段３２は、停止指示信号に応じて、一時的に投光を停止する（ステップＳ４６２）。
撮像制御手段３１は、投光が停止している状態で投射範囲を撮像する（ステップＳ４６３）。
座標設定手段３４ー３は、位置特定情報記憶手段３４３に記憶された機械学習データを用いて、画像データ上で指示部による指示位置を特定する（ステップＳ４６４）。
ここで、座標設定手段３４ー３は、指示部による指示位置を特定できなかった場合（ステップＳ４６５でＮｏ）、エッジ検出を用いて指示部による指示位置を検出する（ステップＳ４６６）。一方、座標設定手段３４ー３が指示部による指示位置を特定できた場合（ステップＳ４６５でＹｅｓ）、ステップＳ４６７に進む。
座標設定手段３４ー３は、指示部による指示位置から指示座標を設定する（ステップＳ４６７）。
投射条件設定手段３５は、特定された指示座標に応じた表示情報が形成される投射光を投射するための投射条件を投射制御手段３２に出力する（ステップＳ４６８）。
以上が、本実施形態の情報入力装置の投射条件設定処理に関する説明である。
以上のように、本実施形態においては、予め記憶しておいた機械学習データを用いて指示部の座標を特定する。そのため、本実施形態によれば、第２の実施形態と比べて指示部の検出精度を向上できる。
（第４の実施形態）
次に、本発明の第４の実施形態に係る認証システムについて図面を参照しながら説明する。図２８は、本実施形態の認証システム４の構成を示すブロック図である。図２８のように、認証システム４は、情報入力装置１に認証装置５０を追加した構成を有する。なお、認証システム４は、第１の実施形態の情報入力装置１ではなく、第２または第３の実施形態の情報入力装置を備えていてもよい。
図２９は、認証システム４の認証装置５０の構成を示すブロック図である。図２９のように、認証装置５０は、入力手段５１、判定手段５２、認証情報記憶手段５３、出力手段５４を有する。
入力手段５１は、情報入力装置１の通信装置４０に接続され、情報入力装置１への入力情報を取得する。入力手段５１は、取得した入力情報を判定手段５２に出力する。
判定手段５２は、入力手段５１から入力情報を取得する。判定手段５２は、認証に用いる全ての入力情報を取得した時点で認証情報記憶手段５３を参照し、入力情報を解析する。判定手段５２は、認証情報の解析結果に基づいて認証の成否を判定する。判定手段５２は、判定結果を出力手段５４に出力する。
出力手段５４は、判定手段５２から取得した判定結果を認証結果に応じて動作する外部のシステムや装置に出力する。
認証装置５０は、ネットワークを経由して通信装置４０に接続されるように構成してもよい。また、認証装置５０の機能を外部のシステムや装置に負わせてもよい。
外部のシステムや装置は、認証装置５０の判定結果に基づいて、所定の処理を実行する。例えば、建物の出入り口に設置された自動ドアなどの認証システムであれば、認証装置５０からの認証結果に基づいて、ドアの開閉の可否が判定される。例えば、装置を使用する際の認証システムであれば、認証装置５０からの認証結果に基づいて、装置の起動可否が判定される。例えば、現金自動預け払い機の認証システムであれば、認証装置５０からの認証結果に基づいて、現金の払い出し可否が判定される。なお、上述の例は、本実施形態の認証システムの適用範囲を示す一例であって、本実施形態の認証システムの適用範囲を限定するものはない。
例えば、図２３や図２４の例では、認証装置５０は、表示情報として手の平に表示させた動物の絵の特定位置と指示部との位置関係に基づいて、認証の成否を判定する。すなわち、認証装置５０は、被投射体に表示された表示情報上の特定位置と指示部との位置関係に基づいて判定した入力情報を解析して認証情報としての成否を判定する。
以上のように、本実施形態の認証システムは、情報入力装置に入力される少なくとも一つの入力情報によって構成される情報を解析して認証情報としての成否を判定する。本実施形態の認証システムによれば、認証情報の入力処理が必要となる場面において、任意のユーザが直感的な認証情報の入力処理を行うことができる。
また、本実施形態の認証システムには、パターン認証を用いてもよい。本実施形態の認証システムは、情報入力装置に入力されるパターン情報を解析して認証情報としての成否を判定する。
図３０は、本実施形態の認証システムにパターン認証を用いる適用例である。図３０の例は、指先の軌跡が星型のパターンを描く例である。図３０の例では、１〜６のように動く指先を検知し、指先の軌跡が形成するパターンによって認証情報としての成否を判定する。認証情報の成否判定基準となるパターンは、認証装置５０の認証情報記憶手段５３に記憶させておけばよい。
以上の適用例では、情報入力装置に入力される少なくとも一つの入力情報によって構成される情報を解析して認証情報としての成否を判定する。本適用例によれば、認証情報の入力処理が必要となる場面において、任意のユーザがより直感的な認証情報の入力処理を行うことができる。
〔適用例〕
次に、本実施形態の認証システム４の適用例について図面を参照しながら説明する。なお、以下の適用例の図面においては、認証システム４に含まれる情報入力装置１のみを図示している。
図３１は、情報入力装置１を自動ドアの上方に設置する例である。情報入力装置１の投射範囲には、自動ドアの手前側と、自動ドア自体とが含まれる。
図３２は、自動ドアの方に向かってきた認証対象者が認証処理をする際の一連の動作をまとめた概念図である。なお、図３２においては、情報入力装置１からの投射光を破線で示し、撮像範囲の目安を一点鎖線で示している。
（１）認証システム４は、「ＷＥＬＣＯＭＥ」という表示情報を表示させるための投射光を自動ドアに向けて投射する。認証対象者は、自動ドアに表示された表示情報「ＷＥＬＣＯＭＥ」を視認する。
（２）認証対象者が自動ドアの手前で手の平を上に向けて静止させると、認証システム４は、認証対象者の手の平を検出し、認証情報を入力するためのＵＩを手の平に表示するための投射光を投射する。認証対象者は、手の平に表示されたＵＩに認証情報を入力する。
（３）認証システム４は、認証が成功した場合、認証されたことを示すための表示情報「ＰＬＥＡＳＥ ＥＮＴＥＲ」を表示させるための投射光を自動ドアに向けて投射する。認証対象者は、自動ドアに表示された「ＰＬＥＡＳＥ ＥＮＴＥＲ」という表示情報を視認し、認証が成功したことを認識できる。
（４）認証システム４は、自動ドアを開けるために、自動ドアの制御装置に対してドアを開くことを指示する信号を出力する。認証対象者は、開いた自動ドアから室内へ入場する。
以上のように、本実施形態の認証システム４によれば、入力装置を携帯していない任意の認証対象者に対して認証処理を行うことができる。認証対象者は、キーボードやテンキーなどのハードウェアに直接触れることがない。そのため、本実施形態によれば、入力の痕跡をハードウェアに残すことなく、セキュリティ度の高い認証システムが実現される。
〔顔認証との併用〕
図３３は、図３２とは別の適用例である。図３３の適用例では、手の平に表示させたＵＩを用いた認証に加えて、顔認証を用いる。図３３の適用例の情報入力装置１−２は、手の平を撮像する撮像装置１０に加えて、認証対象者の顔を撮像するカメラを備える。なお、図３３の適用例は、状態１以外は図３２と同様であるため、詳細な説明は省略する。
図３３の適用例では、まず、認証対象者の顔認証を行う（１）。顔認証は、認証装置５０に顔認証用のデータベースを構築しておき、カメラによって撮像された顔をデータベースに格納された顔データと照合することによって行う。そして、手の平認証と顔認証とがともに成功した場合に、自動ドアを開けるように制御すればよい。なお、手の平認証と顔認証との順番は入れ替わっていてもよい。また、手の平認証と顔認証とのいずれかが成功した場合に自動ドアを開くようにしてもよい。
図３３の適用例によれば、手の平を用いた認証に加えて、顔認証によって認証対象者を識別するため、より高度なセキュリティを実現できる。
〔バリアフリー認証〕
図３４は、情報入力装置１から子供の手の平に表示情報を表示させる例である。
大人と比べると、子供の手の平は小さい。また、大人と比べると、子供の手の平への投射距離は長くなる。そのため、一般的なプロジェクタを用いる場合、大人の手の平に表示させる表示情報を子供の手の平に投射すると、手の平から表示情報がはみ出してしまう。
それに対し、本実施形態の認証システム４を用いれば、撮像装置１０で撮像した画像データに基づいて、手の平の大きさに合わせた表示情報を形成できる。例えば、認証システム４は、初めに投射した表示情報が手の平からはみ出している場合、サイズの小さい投射画像を選択すればよい。そのため、大人の手の平に表示させる表示情報を子供の手の平に投射しても、手の平の中に表示情報を納められる。
また、投射装置２０から見ると、大人の手の平への距離と、子供の手の平への距離とは異なる。一般的なプロジェクタを用いる場合、プロジェクタと被投射体との距離が異なると、認証対象者の身長に合わせて、その都度焦点を合わせる必要がある。
それに対し、本実施形態の認証システム４が備える投射装置２０は、位相変調型の空間光変調素子を含むため、フォーカスフリーで画像を投射できる。そのため、認証対象者の身長に合わせて焦点を合わせる必要がない。すなわち、本実施形態の認証システム４によれば、バリアフリー認証が可能となる。
また、本実施形態によれば、入力する位置や高さを任意に変更できるので、対象者の立つ位置や手の出し方などの特徴を個人認証の一部に設定することもできる。また、本実施形態によれば、指紋認証や掌紋認証を用いる場合のように、指紋や掌紋が入力装置等に残る可能性がないため、より安全な認証システムを構築できる。また、本実施形態によれば、手や指の形、手相なども個人認証の一部に用いてもよい。
（ハードウェア）
ここで、本実施形態に係る情報入力装置の制御系統を実現するハードウェア構成について、図３５のコンピュータ９０を一例として挙げて説明する。なお、図３５のコンピュータ９０は、各実施形態の投射システムを実現するための構成例であって、本発明の範囲を限定するものではない。
図３５のように、コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。図３５においては、インターフェースをＩ／Ｆ（Interface）と略して表記している。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ授受可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。コンピュータ９０は、ネットワークを介して外部に接続され、投射する表示情報の位相分布などの情報を上位システムから取得したり、入力結果を外部に出力したりする。
プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る制御装置が実行する演算処理や制御処理を実行する。
主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
補助記憶装置９３は、表示情報の位相分布などのデータを記憶する手段である。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、表示情報の位相分布を主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。
入出力インターフェース９５は、コンピュータ９０と周辺機器との接続規格に基づいて、コンピュータ９０と周辺機器とを接続する装置である。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。
コンピュータ９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続できるように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ授受は、入出力インターフェース９５に仲介させればよい。
通信インターフェース９６は、ネットワーク回線を通じて、外部のシステムや装置に接続される。
また、コンピュータ９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介してコンピュータ９０に接続すればよい。
また、コンピュータ９０には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス９９に接続される。リーダライタは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、コンピュータ９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばＳＤ（Secure Digital）カードやＵＳＢ（Universal Serial Bus）メモリなどの半導体記録媒体などで実現できる。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体やその他の記録媒体によって実現してもよい。
以上が、本発明の実施形態に係る情報入力装置を可能とするためのハードウェア構成の一例である。なお、図３５のハードウェア構成は、本実施形態に係る情報入力装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、本実施形態に係る情報入力装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、本発明の実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１６年１０月２７日に出願された日本出願特願２０１６−２１０１９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明の情報入力装置は、認証情報以外の任意の情報入力に適用できる。本発明の情報入力装置は、例えば、小売店やレストラン、物流、工場、医療、防衛、消防、警察などの業務支援に利用できる。
１ 情報入力装置
４ 認証システム
１０ 撮像装置
１１ 撮像素子
１３ 画像処理プロセッサ
１５ 内部メモリ
１７ データ出力回路
２０ 投射装置
２１ 光源
２２ 光源駆動電源
２３ 空間光変調素子
２４ 変調素子駆動手段
２５ 投射光学系
３０ 制御装置
３１ 撮像制御手段
３２ 投射制御手段
３３ 検出手段
３４ 座標設定手段
３５ 投射条件設定手段
３６ 投射条件記憶手段
３７ 指示内容同定手段
３８ 指示内容記憶手段
３９ 出力手段
４０ 通信装置
５０ 認証装置
５１ 入力手段
５２ 判定手段
５３ 認証情報記憶手段
５４ 出力手段
２１０ コリメータ
２５１ フーリエ変換レンズ
２５２ アパーチャ
２５３ 投射レンズ
３３１ 被投射体検出手段
３３２ 進入検知手段
３３３ 指示体検出手段
３４１ 投射座標系設定手段
３４２ 指示座標特定手段
３４３ 位置特定情報記憶手段

Claims (10)

  1. 投射範囲に投射光を投射する投射装置と、
    前記投射範囲を撮像して画像データを生成する撮像装置と、
    前記投射装置および前記撮像装置を制御する制御装置と、
    前記制御装置の制御に応じて外部と通信し合う通信装置とを備え、
    前記制御装置は、
    前記撮像装置を制御することで生成された前記画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて前記投射範囲内に進入した前記対象を検出し、前記被投射体には入力を受け付ける表示情報を前記被投射体上に表示させる投射光を投射するように前記投射装置を制御するとともに、前記被投射体の上方領域に指示体が進入したことを前記画像データに基づいて検出し、前記被投射体の上方領域における前記指示体の動きに応じて情報入力を判定し、前記被投射体上に表示された前記表示情報と前記指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した前記指示内容を入力情報として外部に送信するように前記通信装置を制御し、前記投射禁止体には投射光を投射しないように前記投射装置を制御し、
    前記制御装置は、
    前記撮像装置に前記投射範囲を撮像させる制御をする撮像制御手段と、
    前記画像データから前記投射範囲に位置する前記被投射体および前記指示体を検出し、前記被投射体および前記指示体の検出状態に応じた指示信号を出力する検出手段と、
    前記検出手段からの前記指示信号に応じて、検出された前記被投射体上に投射座標系を設定し、前記被投射体の上方領域で検出された前記指示体に含まれる指示部の位置を示す指示座標を前記投射座標系において特定する座標設定手段と、
    前記座標設定手段によって設定された前記投射座標系および前記指示座標に基づいた前記表示情報を前記被投射体上に形成させるための投射光の投射条件を設定する投射条件設定手段と、
    前記投射条件設定手段によって設定された前記投射条件に基づいて前記投射装置を制御する投射制御手段と、
    前記座標設定手段によって特定された前記指示座標に基づいて指示内容を同定する指示内容同定手段と、
    前記検出手段からの前記指示信号に応じて前記指示内容同定手段によって同定された前記指示内容を前記通信装置に出力する出力手段とを有し、
    前記検出手段は、
    前記画像データを解析し、前記被投射体と前記指示体とを合わせた領域の面積が大きくなったことを検出した際に、前記被投射体の上方領域に前記指示体が進入したと判定し、
    前記画像データを解析し、前記被投射体の上方領域から前記指示体が外れた状態になった時点において、前記指示部による情報入力がなされたと判定し、前記指示部による前記指示内容を出力するように前記出力手段に指示し、
    前記出力手段は、
    前記検出手段からの指示に応じて、前記被投射体の上方領域から前記指示体が外れた状態になったことが検知された時点における前記指示内容を前記指示内容同定手段から取得し、取得した前記指示内容を前記通信装置に出力する情報入力装置。
  2. 投射範囲に投射光を投射する投射装置と、
    前記投射範囲を撮像して画像データを生成する撮像装置と、
    前記投射装置および前記撮像装置を制御する制御装置と、
    前記制御装置の制御に応じて外部と通信し合う通信装置とを備え、
    前記制御装置は、
    前記撮像装置を制御することで生成された前記画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて前記投射範囲内に進入した前記対象を検出し、前記被投射体には入力を受け付ける表示情報を前記被投射体上に表示させる投射光を投射するように前記投射装置を制御するとともに、前記被投射体の上方領域に指示体が進入したことを前記画像データに基づいて検出し、前記被投射体の上方領域における前記指示体の動きに応じて情報入力を判定し、前記被投射体上に表示された前記表示情報と前記指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した前記指示内容を入力情報として外部に送信するように前記通信装置を制御し、前記投射禁止体には投射光を投射しないように前記投射装置を制御し、
    前記制御装置は、
    前記撮像装置に前記投射範囲を撮像させる制御をする撮像制御手段と、
    前記画像データから前記投射範囲に位置する前記被投射体および前記指示体を検出し、前記被投射体および前記指示体の検出状態に応じた指示信号を出力する検出手段と、
    前記検出手段からの前記指示信号に応じて、検出された前記被投射体上に投射座標系を設定し、前記被投射体の上方領域で検出された前記指示体に含まれる指示部の位置を示す指示座標を前記投射座標系において特定する座標設定手段と、
    前記座標設定手段によって設定された前記投射座標系および前記指示座標に基づいた前記表示情報を前記被投射体上に形成させるための投射光の投射条件を設定する投射条件設定手段と、
    前記投射条件設定手段によって設定された前記投射条件に基づいて前記投射装置を制御する投射制御手段と、
    前記座標設定手段によって特定された前記指示座標に基づいて指示内容を同定する指示内容同定手段と、
    前記検出手段からの前記指示信号に応じて前記指示内容同定手段によって同定された前記指示内容を前記通信装置に出力する出力手段とを有し、
    前記検出手段は、
    前記画像データを解析し、前記被投射体と前記指示体とを合わせた領域の面積が大きくなったことを検出した際に、前記被投射体の上方領域に前記指示体が進入したと判定し、
    前記画像データを解析し、前記被投射体の上方領域において前記指示体が一定時間停止したことを検知した時点において、前記指示体による情報入力がなされたと判定し、前記指示体による前記指示内容を出力するように前記出力手段に指示し、
    前記出力手段は、
    前記検出手段からの指示に応じて、前記被投射体の上方領域において前記指示体が一定時間停止したことが検知された時点における前記指示内容を前記指示内容同定手段から取得し、取得した前記指示内容を前記通信装置に出力し、
    前記検出手段は、
    前記画像データを解析し、前記被投射体の上方領域から前記指示体が外れたことを検知した時点において、前記被投射体に投射する前記表示情報を切り替えるように前記投射制御手段に指示し、
    前記投射制御手段は、
    前記検出手段からの指示に応じて、前記被投射体の上方領域から前記指示体が外れたことが検知された時点において、前記被投射体に投射する前記表示情報を切り替えるように前記投射装置を制御する情報入力装置。
  3. 前記検出手段は、
    前記画像データ中において前記被投射体を検出し、検出された前記被投射体に前記投射座標系を設定することを指示する第１の指示信号を前記座標設定手段に出力する被投射体検出手段と、
    前記被投射体の上方領域に前記指示体が位置する状態を検知し、前記指示体が一定時間停止したことを検知した際に前記指示体を抽出する指示を出力する進入検知手段と、
    前記進入検知手段の指示に応じて前記指示体を抽出し、抽出された前記指示体に含まれる前記指示部に前記指示座標を設定することを指示する第２の指示信号を前記座標設定手段に出力する指示体検出手段とを有し、
    前記座標設定手段は、
    前記撮像制御手段から前記画像データを取得し、前記第１の指示信号に応じて、前記被投射体に合わせて前記投射座標系を設定する投射座標系設定手段と、
    前記撮像制御手段から前記画像データを取得し、前記第２の指示信号に応じて、前記画像データを解析して前記投射座標系における前記指示部の前記指示座標を特定する指示座標特定手段とを有し、
    前記進入検知手段は、
    前記被投射体の上方領域から前記指示体が外れた状態を検知すると、前記被投射体によって選択されていた入力情報を出力することを指示する第３の指示信号を前記出力手段に出力する請求項１に記載の情報入力装置。
  4. 前記検出手段は、
    前記画像データ中において前記被投射体を検出し、検出された前記被投射体に前記投射座標系を設定することを指示する第１の指示信号を前記座標設定手段に出力する被投射体検出手段と、
    前記被投射体の上方領域に前記指示体が位置する状態を検知し、前記指示体が一定時間停止したことを検知した際に前記指示体を抽出する指示を出力する進入検知手段と、
    前記進入検知手段の指示に応じて前記指示体を抽出し、抽出された前記指示体に含まれる前記指示部に前記指示座標を設定することを指示する第２の指示信号を前記座標設定手段に出力する指示体検出手段とを有し、
    前記座標設定手段は、
    前記撮像制御手段から前記画像データを取得し、前記第１の指示信号に応じて、前記被投射体に合わせて前記投射座標系を設定する投射座標系設定手段と、
    前記撮像制御手段から前記画像データを取得し、前記第２の指示信号に応じて、前記画像データを解析して前記投射座標系における前記指示部の前記指示座標を特定する指示座標特定手段とを有し、
    前記進入検知手段は、
    前記被投射体の上方領域から前記指示体が外れた状態を検知すると、前記被投射体によって選択されていた入力情報を出力することを指示する第３の指示信号を前記出力手段に出力する請求項２に記載の情報入力装置。
  5. 投射範囲に投射光を投射する投射装置と、
    前記投射範囲を撮像して画像データを生成する撮像装置と、
    前記投射装置および前記撮像装置を制御する制御装置と、
    前記制御装置の制御に応じて外部と通信し合う通信装置とを備え、
    前記制御装置は、
    前記撮像装置を制御することで生成された前記画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて前記投射範囲内に進入した前記対象を検出し、前記被投射体には入力を受け付ける表示情報を前記被投射体上に表示させる投射光を投射するように前記投射装置を制御するとともに、前記被投射体の上方領域に指示体が進入したことを前記画像データに基づいて検出し、前記被投射体の上方領域における前記指示体の動きに応じて情報入力を判定し、前記被投射体上に表示された前記表示情報と前記指示体に含まれる指示部との位置関係に基づいて指示内容を同定し、同定した前記指示内容を入力情報として外部に送信するように前記通信装置を制御し、前記投射禁止体には投射光を投射しないように前記投射装置を制御し、
    前記制御装置は、
    前記撮像装置に前記投射範囲を撮像させる制御をする撮像制御手段と、
    前記画像データから前記投射範囲に位置する前記被投射体および前記指示体を検出し、前記被投射体および前記指示体の検出状態に応じた指示信号を出力する検出手段と、
    前記検出手段からの前記指示信号に応じて、検出された前記被投射体上に投射座標系を設定し、前記被投射体の上方領域で検出された前記指示体に含まれる指示部の位置を示す指示座標を前記投射座標系において特定する座標設定手段と、
    前記座標設定手段によって設定された前記投射座標系および前記指示座標に基づいた前記表示情報を前記被投射体上に形成させるための投射光の投射条件を設定する投射条件設定手段と、
    前記投射条件設定手段によって設定された前記投射条件に基づいて前記投射装置を制御する投射制御手段と、
    前記座標設定手段によって特定された前記指示座標に基づいて指示内容を同定する指示内容同定手段と、
    前記検出手段からの前記指示信号に応じて前記指示内容同定手段によって同定された前記指示内容を前記通信装置に出力する出力手段とを有し、
    前記検出手段は、
    前記画像データ中において前記被投射体を検出し、検出された前記被投射体に前記投射座標系を設定することを指示する第１の指示信号を前記座標設定手段に出力する被投射体検出手段と、
    前記被投射体の上方領域に前記指示体が位置する状態を検知し、前記指示体が一定時間停止したことを検知した際に前記指示体を抽出する指示を出力する進入検知手段と、
    前記進入検知手段の指示に応じて前記指示体を抽出し、抽出された前記指示体に含まれる前記指示部に前記指示座標を設定することを指示する第２の指示信号を前記座標設定手段に出力する指示体検出手段とを有し、
    前記座標設定手段は、
    前記撮像制御手段から前記画像データを取得し、前記第１の指示信号に応じて、前記被投射体に合わせて前記投射座標系を設定する投射座標系設定手段と、
    前記撮像制御手段から前記画像データを取得し、前記第２の指示信号に応じて、前記画像データを解析して前記投射座標系における前記指示部の前記指示座標を特定する指示座標特定手段とを有し、
    前記進入検知手段は、
    前記被投射体の上方領域から前記指示体が外れた状態を検知すると、前記被投射体によって選択されていた入力情報を出力することを指示する第３の指示信号を前記出力手段に出力する情報入力装置。
  6. 前記座標設定手段は、
    前記被投射体上に前記指示体が位置する状態の複数の前記画像データ上における前記指示部による指示位置を学習させた機械学習データを記憶する位置特定情報記憶手段を有し、
    前記指示座標特定手段は、
    前記位置特定情報記憶手段に記憶された前記機械学習データを用いて、前記撮像装置によって生成された前記画像データにおける前記指示部の前記指示座標を特定し、
    前記指示内容同定手段は、
    前記指示内容が設定された位置座標のうち、特定された前記指示座標に最も近接する前記位置座標に設定された前記指示内容が選択されたものと同定する請求項５に記載の情報入力装置。
  7. 前記投射装置は、
    光源と、
    前記制御装置の制御に応じて前記光源を駆動させる光源駆動手段と、
    前記光源からの出射光を反射する表示部を含む位相変調型の空間光変調素子と、
    前記制御装置の制御に応じて前記被投射体に表示される前記表示情報を生成するためのパターンを前記空間光変調素子の表示部に表示させる変調素子駆動手段と、
    前記空間光変調素子で変調された変調光を照射光として投射する投射光学系とを有する請求項１乃至６のいずれか一項に記載の情報入力装置。
  8. 請求項１乃至７のいずれか一項に記載の情報入力装置と、
    前記通信装置に接続され、前記情報入力装置に入力される少なくとも一つの入力情報によって構成される情報を解析して認証情報としての成否を判定する認証装置とを備える認証システム。
  9. 前記認証装置は、
    前記被投射体に表示された前記表示情報上の特定位置と前記指示部との位置関係に基づいて判定した少なくとも一つの入力情報を解析して認証情報としての成否を判定する請求項８に記載の認証システム。
  10. 投射範囲に投射光を投射する投射装置と、前記投射範囲を撮像して画像データを生成する撮像装置と、前記投射装置および前記撮像装置を制御する制御装置と、前記制御装置の制御に応じて外部と通信し合う通信装置とを備える情報入力装置を用いる情報入力方法であって、
    前記制御装置が、
    前記投射範囲を撮像させるように前記撮像装置を制御し、
    前記撮像装置を制御することで生成された前記画像データに含まれる被投射体および投射禁止体を含む対象の特徴に基づいて前記投射範囲内に進入した前記対象を検出し、
    前記被投射体には入力を受け付ける表示情報を前記被投射体上に表示させる投射光を投射するように前記投射装置を制御し、
    前記画像データから前記投射範囲に位置する前記被投射体および指示体を検出し、
    前記被投射体上に投射座標系を設定し、
    前記被投射体の上方領域で検出された前記指示体に含まれる指示部の位置を示す指示座標を前記投射座標系において特定し、
    前記投射座標系および前記指示座標に基づいた前記表示情報を前記被投射体上に形成させるための投射光の投射条件を設定し、
    前記投射条件に基づいて前記投射装置を制御し、
    前記被投射体の上方領域に前記指示体が進入したことを前記画像データに基づいて検出し、
    前記被投射体の上方領域における前記指示体の動きに応じて情報入力を判定し、
    前記被投射体上に表示された前記表示情報と前記指示体に含まれる指示部との位置関係を前記指示座標に基づいて同定し、
    前記指示座標に基づいて指示内容を同定し、
    同定した前記指示内容を入力情報として外部に送信するように前記通信装置を制御し、
    前記投射禁止体には投射光を投射しないように前記投射装置を制御し、
    前記画像データを解析して、前記被投射体と前記指示体とを合わせた領域の面積が大きくなったことを検出した際に、前記被投射体の上方領域に前記指示体が進入したと判定し、
    前記画像データを解析して、前記被投射体の上方領域から前記指示体が外れた状態になった時点において、前記指示部による情報入力がなされたと判定して、前記被投射体の上方領域から前記指示体が外れた状態になったことが検知された時点における前記指示内容を前記通信装置に出力する、情報入力方法。
JP2018547634A 2016-10-27 2017-10-20 情報入力装置および情報入力方法 Active JP6763434B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016210192 2016-10-27
JP2016210192 2016-10-27
PCT/JP2017/038047 WO2018079446A1 (ja) 2016-10-27 2017-10-20 情報入力装置および情報入力方法

Publications (2)

Publication Number Publication Date
JPWO2018079446A1 JPWO2018079446A1 (ja) 2019-09-19
JP6763434B2 true JP6763434B2 (ja) 2020-09-30

Family

ID=62024832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547634A Active JP6763434B2 (ja) 2016-10-27 2017-10-20 情報入力装置および情報入力方法

Country Status (3)

Country Link
US (1) US10955971B2 (ja)
JP (1) JP6763434B2 (ja)
WO (1) WO2018079446A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018056195A1 (ja) * 2016-09-21 2018-03-29 日本電気株式会社 投射システム、投射方法およびプログラム記録媒体
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
JP6859863B2 (ja) * 2017-06-15 2021-04-14 コニカミノルタ株式会社 情報処理装置及びプログラム
US11082669B2 (en) * 2017-06-19 2021-08-03 Sony Corporation Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system
US10678342B2 (en) * 2018-10-21 2020-06-09 XRSpace CO., LTD. Method of virtual user interface interaction based on gesture recognition and related device
JP2022047549A (ja) * 2019-01-18 2022-03-25 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP6705926B1 (ja) * 2019-03-13 2020-06-03 Ｎｅｃプラットフォームズ株式会社 ウェアラブルデバイスおよび制御方法
CN114616533A (zh) * 2019-10-30 2022-06-10 艾梅崔克斯持株公司株式会社 目光交流检测装置
US11782548B1 (en) * 2020-03-25 2023-10-10 Apple Inc. Speed adapted touch detection
CN112716117B (zh) * 2020-12-28 2023-07-14 维沃移动通信有限公司 智能手环及其控制方法
CN115840327A (zh) * 2021-09-21 2023-03-24 卡西欧计算机株式会社 投影处理装置、投影***、方法及记录有程序的记录介质
US20240048983A1 (en) * 2022-08-08 2024-02-08 Qualcomm Incorporated Mutual authentication for reliable configuration reception over reference signals
CN115802111A (zh) * 2022-11-02 2023-03-14 深圳创维－Rgb电子有限公司 电视控制方法及其相关设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143220A (ja) * 2006-12-06 2008-06-26 Tokai Rika Co Ltd 個人認証システム
US20090102603A1 (en) * 2007-10-19 2009-04-23 Fein Gene S Method and apparatus for providing authentication with a user interface system
JP4931788B2 (ja) 2007-12-18 2012-05-16 日本電信電話株式会社 情報提示制御装置及び情報提示制御方法
JP5272827B2 (ja) * 2009-03-18 2013-08-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100251176A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
US7940448B2 (en) * 2009-06-11 2011-05-10 Alces Technology, Inc. Display system
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
KR101446902B1 (ko) * 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
JP2013125181A (ja) * 2011-12-15 2013-06-24 Nikon Corp 投影装置
US20130155018A1 (en) * 2011-12-20 2013-06-20 Synaptics Incorporated Device and method for emulating a touch screen using force information
KR20140004335A (ko) * 2012-07-02 2014-01-13 한국전자통신연구원 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
US20150186039A1 (en) * 2012-08-27 2015-07-02 Citizen Holdings Co., Ltd. Information input device
WO2014136292A1 (ja) * 2013-03-04 2014-09-12 日本電気株式会社 インタフェース装置、及び制御方法
JP6146094B2 (ja) * 2013-04-02 2017-06-14 富士通株式会社 情報操作表示システム、表示プログラム、および、表示方法
WO2015049866A1 (ja) * 2013-10-02 2015-04-09 日本電気株式会社 インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体
US9244608B2 (en) * 2013-11-27 2016-01-26 Synaptics Incorporated Method and system for gesture identification
JP2015111772A (ja) 2013-12-06 2015-06-18 シチズンホールディングス株式会社 投影装置
JP2015121979A (ja) 2013-12-24 2015-07-02 株式会社東芝 装着型情報入力装置、情報入力システム、及び情報入力方法
WO2015105044A1 (ja) * 2014-01-10 2015-07-16 日本電気株式会社 インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびプログラム記憶媒体
WO2015120913A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method and device for detecting a touch between a first object and a second object
WO2015175964A1 (en) * 2014-05-15 2015-11-19 Burch Reuben Wearable devices for courier processing and methods of use thereof
JP2016005157A (ja) * 2014-06-18 2016-01-12 トヨタ紡織株式会社 操作装置
KR101687017B1 (ko) * 2014-06-25 2016-12-16 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US10757382B2 (en) * 2014-12-18 2020-08-25 Nec Corporation Projection apparatus and interface apparatus
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US20190302963A1 (en) * 2016-06-01 2019-10-03 Carnegie Mellon University Hybrid depth and infrared image sensing and method for enhanced touch tracking on ordinary surfaces

Also Published As

Publication number Publication date
US20190302964A1 (en) 2019-10-03
US10955971B2 (en) 2021-03-23
JPWO2018079446A1 (ja) 2019-09-19
WO2018079446A1 (ja) 2018-05-03

Similar Documents

Publication Publication Date Title
JP6763434B2 (ja) 情報入力装置および情報入力方法
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
US8837780B2 (en) Gesture based human interfaces
TWI531929B (zh) 基於影像來識別觸控表面的目標接觸區域之技術
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
RU2608462C2 (ru) Обработка пользовательской входной информации с отслеживанием глаз
EP3885986B1 (en) User terminal apparatus and iris recognition method thereof
JPWO2015105044A1 (ja) インターフェース装置、可搬装置、制御装置、モジュール、制御方法およびコンピュータプログラム
WO2015159548A1 (ja) 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体
CN102196176A (zh) 信息处理设备、信息处理方法和程序
US20160054806A1 (en) Data processing apparatus, data processing system, control method for data processing apparatus, and storage medium
US10444825B2 (en) Drift cancelation for portable object detection and tracking
JP2015094828A (ja) 画像投影方法、情報入力装置及びプログラム
JP6645588B2 (ja) 表示システム
JP6801329B2 (ja) 画像形成装置、情報処理装置及び情報処理システム
JP2016099939A (ja) 顔認識装置
JP2019046310A (ja) 情報処理システム、端末装置、情報処理方法及び情報処理プログラム
JP2010079529A (ja) 情報処理装置、情報処理方法、そのプログラム及および記録媒体
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
JP6460510B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6166250B2 (ja) 情報処理装置及びその制御方法、プログラム
WO2022064914A1 (ja) 制御装置、制御方法、および記録媒体
US20230305634A1 (en) Gesture recognition apparatus, head-mounted-type display apparatus, gesture recognition method, and non-transitory computer readable medium
KR102405476B1 (ko) 비접촉 입력에 기초한 엘리베이터 조작 방법 및 시스템
JP2005078291A (ja) 画像投影表示装置、ポインティング位置検出方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200630

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6763434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150