JP2008065169A - 表示装置、表示方法 - Google Patents

表示装置、表示方法 Download PDF

Info

Publication number
JP2008065169A
JP2008065169A JP2006244686A JP2006244686A JP2008065169A JP 2008065169 A JP2008065169 A JP 2008065169A JP 2006244686 A JP2006244686 A JP 2006244686A JP 2006244686 A JP2006244686 A JP 2006244686A JP 2008065169 A JP2008065169 A JP 2008065169A
Authority
JP
Japan
Prior art keywords
display
user
unit
image
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006244686A
Other languages
English (en)
Other versions
JP2008065169A5 (ja
JP5228305B2 (ja
Inventor
Yoichiro Sako
曜一郎 佐古
Masaaki Tsuruta
雅明 鶴田
Daiji Ito
大二 伊藤
Masamichi Asukai
正道 飛鳥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006244686A priority Critical patent/JP5228305B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to RU2009108342/08A priority patent/RU2009108342A/ru
Priority to CNA2007800317984A priority patent/CN101506868A/zh
Priority to US12/438,735 priority patent/US8368794B2/en
Priority to EP07791763A priority patent/EP2061026A4/en
Priority to PCT/JP2007/065083 priority patent/WO2008029570A1/ja
Priority to KR1020097004731A priority patent/KR101352660B1/ko
Priority to TW096131010A priority patent/TW200827769A/zh
Publication of JP2008065169A publication Critical patent/JP2008065169A/ja
Publication of JP2008065169A5 publication Critical patent/JP2008065169A5/ja
Priority to US13/614,591 priority patent/US8860867B2/en
Application granted granted Critical
Publication of JP5228305B2 publication Critical patent/JP5228305B2/ja
Priority to US14/481,576 priority patent/US9261956B2/en
Priority to US14/962,429 priority patent/US9733701B2/en
Priority to US15/652,835 priority patent/US10466773B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • A61B5/0533Measuring galvanic skin response
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261Evaluating exocrine secretion production
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)

Abstract

【課題】ユーザのユーザの状況(意志、視覚状態、身体状況等)に応じた的確な表示動作制御の実現。
【解決手段】例えばユーザが眼鏡型もしくは頭部装着型の装着ユニットを装着することで、眼の直前の表示部で各種画像を視認できるようにし、撮像された画像、再生された画像、受信した画像などを提供する。このとき表示動作のオン/オフや、表示動作態様、ソース切換など、各種の表示動作に関する制御として、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて適切な制御を行う。
【選択図】図1

Description

本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの目の前方に位置するように表示手段が配置されて画像の表示を行う表示装置と、表示方法に関する。
特開平8−126031号公報 特開平9−27970号公報 特開平9−185009号公報
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
しかしながら従来の装置では、ユーザが操作キー等の操作子の操作を不要としたうえで、ユーザの意志や状況に応じて、ユーザにとって望ましい表示動作を行う装置は開発されていない。
そこで本発明では、ユーザの状況(意志や身体状況等)に応じて、的確な表示動作が行われるようにすることを目的とする。
本発明の表示装置は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、上記使用者情報取得手段で取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段とを備える。
また画像の撮像を行う撮像手段を更に備える。またその場合、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記撮像手段で撮像された画像データを上記表示手段で表示させる制御を行う。
また記録媒体からデータを再生する再生手段を更に備える。またその場合、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記再生手段で再生されたデータを上記表示手段で表示させる制御を行う。また上記制御手段は、上記再生手段で再生されたデータを上記表示手段で表示させている際に、上記使用者情報取得手段で取得された情報に基づいて、上記再生手段の再生動作の制御を行う。
また外部機器と通信を行ってデータを受信する受信手段を更に備える。またその場合、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記受信手段で受信されたデータを上記表示手段で表示させる制御を行う。
また上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表示を行う表示状態とを切換可能であるとする。
また上記使用者情報取得手段は、加速度、角速度、又は振動を検出するセンサである。
また上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサである。
また上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサである。
また上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサである。
また上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされている。
また上記使用者情報取得手段は、使用者の生体情報を検出する生体センサである。
また上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされている。
また上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされている。
また上記制御手段は、上記表示手段における表示動作の開始/終了の制御を行う。
また上記制御手段は、上記表示手段に対して上記スルー状態と上記表示状態の切換制御を行う。
また上記制御手段は、上記表示手段で表示するデータの供給ソースの切換制御を行う。
また上記制御手段は、上記表示手段における表示画像の拡大/縮小の制御を行う。
また上記制御手段は、上記表示手段における画面分割表示の制御を行う。
また上記制御手段は、上記表示手段における表示輝度の制御を行う。
また上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行う。
また上記制御手段は、上記表示手段で表示させる画像のスクロール又はページ切換の制御を行う。
また上記制御手段は、上記表示手段で表示させた画像の内容に対する入力操作を、上記使用者情報取得手段で取得された情報に基づいて判別する。
本発明の表示方法は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、上記使用者情報取得ステップで取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップとを備える。
以上の本発明では、使用者(ユーザ)は、表示装置を例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより装着することで、目の前方に位置する表示手段を視認する状態となる。即ちユーザは装着状態で、撮像手段で撮像された画像や、再生手段で再生されたデータの画像、或いは受信手段で受信されたデータの画像などを表示手段で視認できる。
ここで、表示動作のオン/オフ/スルー、表示する画像データのソースの選択、各種表示動作態様(例えば分割表示、拡大/縮小表示、表示輝度などの表示画質調整、画像のスクロールやページ送り/ページ戻しなど)、表示に対する入力、再生画像表示の際の再生動作など、表示動作に関する制御としてユーザの意志や状況に応じた適切な制御が行われることが好ましいが、本発明では、これらをユーザの操作子の操作ではなく、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて各種適切な制御を行うようにする。
本発明によれば、ユーザの眼の直前とされる表示手段で各種画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担がないまま、ユーザの意志又は状況に応じた的確な表示動作が実行される。これによりユーザにとって使用性が良く、また多様な視界光景を提供できる表示装置を実現できるという効果がある。
また表示手段は透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の表示装置の利点を有効に得ることができる。
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
[1.表示装置の外観例及び外部機器との関連]
[2.表示装置の構成例]
[3.表示例]
[4.ユーザ状況の判定]
[5.各種動作例]
[6.実施の形態の効果、変形例及び拡張例]
[1.表示装置の外観例及び外部機器との関連]

実施の形態として、図1に眼鏡型ディスプレイとした表示装置1の外観例を示す。表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部2、2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部2がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
なお図1は一例であり、表示装置1をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部2が設けられていればよい。また表示部2は、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成でもよい。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。
また図1は撮像機能を含む例としているが、撮像機能を備えない例も考えられる。
さらには、表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。また発光部4aを設けない構成も考えられる。
ところで内部構成例については後述するが、この表示装置1は、記録媒体に対して再生を行う再生機能(図3,図4で述べるストレージ部25)や、外部機器と通信を行う通信機能(図3,図4で述べる通信部26)を備えることも考えられる。
従って、表示部2において表示する画像としてのデータのソースは、撮像機能部位、再生機能部位、通信機能部位が想定される。
図2は、表示装置1の使用形態を、外部機器との関連において例示したものである。
図2(a)は表示装置1を単体で使用する場合であり、この場合、表示装置1が撮像機能を有していれば、撮像された画像データを表示部2に表示させることができる。また、表示装置1が再生機能を有していれば、記録媒体から再生されたデータによる画像を表示部2に表示させることができる。記録媒体から再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成して記録媒体に記録した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、記録媒体に記録されたゲームプログラムに基づくゲーム画像など、記録媒体に記録されて表示対象となるあらゆるデータが想定される。
図2(b)は、表示装置1が通信機能を備え、外部の撮像装置70と通信を行う例である。この場合、表示装置1は、撮像装置70で撮像された画像(動画/静止画)を受信して表示部2に表示させる。外部の撮像装置70とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また図1のように撮像機能を備えた表示装置1を、或る表示装置1に対して外部の撮像装置1と考えることもできる。
また外部の撮像装置70は、表示装置1を用いるユーザ本人が所有する撮像装置であったり、表示装置1のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって表示装置1と通信可能とされているものなど多様に考えられる。
図2(c)は、表示装置1が通信機能を備え、外部のコンテンツソース機器71と通信を行う例である。この場合、表示装置1は、コンテンツソース機器71から提供される画像(動画/静止画)を受信して表示部2に表示させる。
コンテンツソース機器71とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のAV(Audio-Visual)機器や、パーソナルコンピュータ、PDA(Personal Digital Assistant)、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器71も、表示装置1を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器71から表示装置1に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
図2(d)は、表示装置1が通信機能、特にインターネット等のネットワーク73を介した通信アクセス機能を備えることで、ネットワーク73で接続される外部の撮像装置70やコンテンツソース機器71と通信を行う例である。この場合表示装置1は、ネットワーク74を介して各種データを受信し、その受信したデータの画像を表示部2で表示させる。
[2.表示装置の構成例]

図2に表示装置1の内部構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10はユーザの状況に基づいて、表示装置1内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能10aと、ユーザ状況判定機能10aの判定結果に従って各部に制御指示を行う動作制御機能10bを有することになる。
表示装置1内では、ユーザの前方の光景の撮像のための構成として、撮像部3、撮像制御部11、撮像信号処理部15が設けられる。
撮像部3は、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
撮像信号処理部15は、撮像部3の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部15は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
撮像制御部11は、システムコントローラ10からの指示に基づいて、撮像部3及び撮像信号処理部15の動作を制御する。例えば撮像制御部11は、撮像部3,撮像信号処理部15の動作のオン/オフを制御する。また撮像制御部11は撮像部3に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御(モータ制御)を行うものとされる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号(撮像による画像データ)は画像入出力コントロール部27に供給される。
画像入出力コントロール部27は、システムコントローラ10の制御に応じて、画像データの転送を制御する。即ち撮像系(撮像信号処理部15)、表示系(表示画像処理部12)、ストレージ部25、通信部26の間の画像データの転送を制御する。
例えば画像入出力コントロール部27は、撮像信号処理部15で処理された撮像信号としての画像データを、表示画像処理部12に供給したり、ストレージ部25に供給したり、通信部26に供給する動作を行う。
また画像入出力コントロール部27は例えばストレージ部25から再生された画像データを、表示画像処理部12に供給したり、通信部26に供給する動作を行う。
また画像入出力コントロール部27は例えば通信部26で受信された画像データを、表示画像処理部12に供給したり、ストレージ部25に供給する動作を行う。
表示装置1においてユーザに対して表示を行う構成としては、表示部2、表示画像処理部12、表示駆動部13,表示制御部14が設けられる。
例えば撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データは、画像入出力コントロール部27を介して表示画像処理部12に供給することができる。表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また表示画像処理部12は、供給された画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成や、供給された画像データの分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を供給された画像データに合成する処理なども行うことができる。つまり供給された画像データに対しての各種処理を行うことができる。
表示駆動部13は、表示画像処理部12から供給される画像データを、例えば液晶ディスプレイとされる表示部2において表示させるための画素駆動回路で構成されている。即ち表示部2においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部13は、表示部2の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。即ち表示画像処理部12に対しては、上記の各種処理を実行させる。また表示駆動部13に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお、ストレージ部25で再生された画像データや、通信部26で受信された画像データも、画像入出力コントロール部27を介して表示画像処理部12に供給できる。その場合、表示画像処理部12、表示駆動部13の上記動作により、表示部2において再生画像や受信画像が出力されることになる。
また表示装置1には、音声入力部6、音声信号処理部16,音声出力部5が設けられる。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
音声入力部6で得られた音声データは音声入出力コントロール部28に供給される。
音声入出力コントロール部28は、システムコントローラ10の制御に応じて、音声データの転送を制御する。即ち音声入力部6、音声信号処理部16、ストレージ部25、通信部26の間の音声信号の転送を制御する。
例えば音声入出力コントロール部28は、音声入力部6で得られた音声データを、音声信号処理部16に供給したり、ストレージ部25に供給したり、通信部26に供給する動作を行う。
また音声入出力コントロール部28は例えばストレージ部25で再生された音声データを、音声信号処理部16に供給したり、通信部26に供給する動作を行う。
また音声入出力コントロール部28は例えば通信部26で受信された音声データを、音声信号処理部16に供給したり、ストレージ部25に供給する動作を行う。
音声信号処理部16は、例えばデジタルシグナルプロセッサ、D/A変換器などからなる。この音声信号処理部16には、音声入力部6で得られた音声データや、ストレージ部25、或いは通信部26からの音声データが、音声入出力コントロール部28を介して供給される。音声信号処理部16は、供給された音声データに対して、システムコントローラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部2に供給する。なお、音声信号処理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。
この音声入力部6、音声信号処理部16,音声出力部5により、ユーザは外部音声を聞いたり、ストレージ部25で再生された音声を聞いたり、通信部26で受信された音声を聞くことができる。なお音声出力部5は、いわゆる骨伝導スピーカとして構成されてもよい。
ストレージ部25は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部25としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データや、通信部26で受信した画像データは、画像入出力コントロール部27を介してストレージ部25に供給することができる。また音声入力部6で得られた音声データや、通信部26で受信した音声データは、音声入出力コントロール部28を介してストレージ部25に供給することができる。
ストレージ部25はシステムコントローラ10の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部25はシステムコントローラ10の制御に従って、記録媒体から画像データや音声データを再生する。再生した画像データは画像入出力コントロール部27へ出力し、また再生した音声データは音声入出力コントロール部28へ出力する。
通信部26は外部機器との間でのデータの送受信を行う。外部機器としては、図2で述べた撮像装置70やコンテンツソース機器71などとしての各種の機器が考えられる。
通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データや、ストレージ部25で再生した画像データは、画像入出力コントロール部27を介して通信部26に供給することができる。また音声入力部6で得られた音声データや、ストレージ部25で再生された音声データは、音声入出力コントロール部28を介して通信部26に供給することができる。
通信部26はシステムコントローラ10の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。
また通信部26は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部27へ出力し、また受信復調した音声データは音声入出力コントロール部28へ出力する。
表示装置1には照明部4と照明制御部18が設けられる。照明部4は、図1に示した発光部4aとその発光部4(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の指示に基づいて、照明部4に発光動作を実行させる。
照明部4における発光部4aが図1に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
この表示装置1は、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22を有する。
視覚センサ19は、ユーザの視覚に関する情報を検出する。視覚センサ19は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ22は、ユーザの生体情報を検出する。例えば生体センサ22は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応(GSR)、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ22の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
これら視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22により、表示装置1を装着したユーザの動作又は身体の状況に関する情報(使用者情報)が取得され、システムコントローラ10に供給される。
システムコントローラ10はユーザ状況判定機能10aの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ10は判定したユーザの意志又は状況に応じて動作制御機能10bの処理により、表示動作に関する制御を行う。即ちシステムコントローラ10は表示制御部14に指示して表示画像処理部12や表示駆動部13の動作を制御したり、表示するデータのソースを選択したり、ストレージ部25の再生動作や通信部26の通信動作の制御を行う。
なお、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22、入力部17を示したが、これらは必ずしも全てを備える必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
次に図4は、撮像機能を有しない表示装置1の構成例を示すものである。なお、図3と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図4の構成は、図3の構成から、撮像部3,撮像信号処理部15、撮像制御部11、照明部4、照明制御部18、音声入力部6を省いたものとなっている。
上記図3の構成例の場合、表示部2に表示させるデータのソースは、撮像機能系(撮像部3,撮像信号処理部15、撮像制御部11)と、再生機能系(ストレージ部25)と、受信機能系(通信部26)の3つとなるが、この図4の構成例の場合、表示部2に表示させるデータのソースは、再生機能系(ストレージ部25)と、受信機能系(通信部26)の2つとなる。
つまり図3は表示画像のソースとして表示装置1内に3系統のソースを備える場合の例であり、図4は表示装置1内に2系統のソースを備える場合の例である。
なお図示しないが表示装置1の構成例としては、この図3,図4以外に、表示装置1内の表示画像のソースとして、例えば撮像機能系のみを備える例、再生機能系のみを備える例、受信機能系のみを備える例、撮像機能系と再生機能系を備える例、撮像機能系と受信機能系を備える例などが、それぞれ考えられる。
[3.表示例]

システムコントローラ10が、ユーザの意志又は状況に応じて表示動作に関する制御を行い、表示するデータのソースを選択したり、表示画像処理を行うことなどにより、ユーザは表示部2において多様な表示態様、表示内容の画像を見ることができる。図5から図10により、各種の表示例を示す。
図5(a)は表示部2がスルー状態となっている場合を示しているとする。つまり、表示部2は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部2を介して見ている状態である。
図5(b)は、撮像部3で撮像した画像が表示部2に表示された状態である。例えば図5(a)の状態で撮像部3,撮像信号処理部15,表示画像処理部12,表示駆動部13が動作し、撮像画像を通常に表示部2に表示した状態である。この場合の表示部2に表示される撮像画像(通常撮像画像)は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
図5(c)は、システムコントローラ10が撮像制御部11を介して撮像部3に望遠撮像を実行させた場合であり、望遠画像が表示部2に表示されている。
図示しないが、逆にシステムコントローラ10が撮像制御部11を介して撮像部3に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部2に表示されることになる。なお、望遠−広角の制御は、撮像部3におけるズームレンズの駆動制御の他、撮像信号処理部15での信号処理でも可能である。
上記図5(b)(c)は撮像機能系を画像ソースとして表示部2に表示を行った例を示したが、図6はストレージ部25を表示画像のソースとして表示部2に表示を行う例を示している。
図6(a)は、ストレージ部25における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部2で表示されている例である。
図6(b)は、ストレージ部25における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部2で表示されている例である。
図6(c)は、ストレージ部25における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部2で表示されている例である。
これら図6(a)(b)(c)のようにユーザは表示装置1を用いて記録媒体に記録されたデータの再生画像を楽しむことができる。
次に図7,図8は通信部26を表示画像のソースとして表示部2に表示を行う例を示している。
図7は、図2(b)又は図2(d)のような通信で、外部の撮像装置70から送信され、通信部26で受信した画像を表示する例である。
図7(a)は、例えばユーザからの視界が図5(a)のようであり、つまりスタジアムで客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像を行う撮像装置70による映像を、通信部26で受信し、表示部2に表示させている例である。例えば監督席近辺に設置された撮像装置70や、審判が装着する小型の撮像装置70などからの映像を受信して、表示部2で表示することで、より興味深く試合観戦を行うことができる。
図7(b)は、リゾート地に設置した撮像装置70や、旅行中の知人が所持する撮像装置70によって撮像した映像を、通信部26で受信し、表示部2に表示させている例である。このような映像表示により、ユーザは、例えば自宅等にいながら、多様な地域の映像を見ることができる。
図7(c)は、航空機や衛星に設置された撮像装置70で撮像した地上の映像(バードビュー映像)を、通信部26で受信し、表示部2に表示させている例である。このような映像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
図8は、図2(c)又は図2(d)のような通信で、外部のコンテンツソース機器71から送信され、通信部26で受信した画像を表示する例である。
図8(a)は、AV機器やパーソナルコンピュータ等のコンテンツソース機器71から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部2で表示されている例である。
図8(b)は、例えばパーソナルコンピュータ等のコンテンツソース機器71においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、表示装置1に送信させ、表示装置1においては通信部26で受信した画像データを表示部2で表示させている例である。
図8(c)は、例えばパーソナルコンピュータ等のコンテンツソース機器71において見ることのできる写真画像の一覧表示画像などを表示装置1に送信させ、表示装置1において通信部26で受信し、表示部2に表示させている例である。
例えばこのようにコンテンツソース機器71からの画像として、ビデオプレーヤ等のAV機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置1において、これらの画像を確認したり、各種の作業を行うことができる。
なお、図6はストレージ部25をソースとする画像、図8は通信部26をソースとする画像として述べたが、例えば図8で例に挙げた画像内容を、ストレージ部25からの再生画像と考えることもできるし、図6で例に挙げた画像内容を、外部機器から送信されて通信部26で受信した画像と考えることもできる。
図9,図10,図11は、上記のような各種ソース(撮像機能系、再生機能系、又は受信機能系)からの画像について、表示態様や画像データに関する処理を行う例である。
図9(a)は、表示部2がスルー状態とされている場合を示している。
システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)に対して分割表示を指示することにより、図9(b)のような画像を表示部2に表示させることができる。即ち表示部2の画面上を領域AR1、AR2に分割し、領域AR1はスルー状態又は通常画像表示とし、領域AR2には、例えばストレージ部25或いは通信部26をソースとする画像(例えば再生又は受信した映像コンテンツの画像など)を表示させている例である。
また図9(c)は他の分割表示の例を示しており、この場合は表示部2の画面上を領域AR1、AR2、AR3,AR4に分割するとともに、各領域には、所定時間間隔で画像の1フレームを抽出して表示させている。例えば表示画像処理部12に、画像データについて0.5秒間隔で1フレームを抽出させ、抽出したフレームの画像を領域AR1→AR2→AR3→AR4→AR1→AR2・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部2で分割表示により実行した例である。
もちろん画面上の複数の領域で、それぞれ異なるソースからの画像を表示することも考えられる。
図10(a)は表示部2に、撮像機能系、再生機能系、又は受信機能系からの画像がそのまま通常のサイズで表示されている場合を示している。
このときにシステムコントローラ10が、表示制御部14を介して表示画像処理部12に対して画像拡大処理を指示することで、図10(b)のような拡大画像を表示部2に表示させることができる。
図11(a)は表示部2に、撮像機能系、再生機能系、又は受信機能系からの画像が通常に表示されている場合を示している。
但しこの表示画像は、輝度の低い画像であって、ユーザにとって快適な見やすい画像ではないとする。
このような場合に、システムコントローラ10は表示制御部14(表示画像処理部12、表示駆動部13)に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図11(b)のように、よりはっきりした画像を表示部2に表示させることができる。
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像機能系、再生機能系、受信機能系というソースの選択や、撮像機能系や再生機能系の動作、さらには表示画像処理部12,表示駆動部13の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、撮像機能系を表示画像ソースとする場合は、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示(高フレームレートや低フレームレートでの撮像など)、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示なども可能である。
また再生機能系、受信機能系を表示画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像表示や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の表示も可能である。
また表示画像処理部12の処理により、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト表示なども想定される。
[4.ユーザ状況の判定]

上述したように本例の表示装置1は、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22を有する。
視覚センサ19は、ユーザの視覚に関する情報を検出するものとするが、この視覚センサ19は、一例としては、例えば表示部2の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ10が取り込み、ユーザ状況判定機能10aが画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ19は、表示部2の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
ユーザの視線方向を検出することで、システムコントローラ10は例えば表示部2に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ10は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、表示装置1に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大/縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが3回まばたきをすることを、所定の操作入力と判定するなどである。
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例えば加速度センサ20は直線方向の動きを検出し、ジャイロ21により回転系の動きや振動を検出する場合に適している。
加速度センサ20やジャイロ21の配置位置にもよるが、加速度センサ20やジャイロ21によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図1のような眼鏡型の表示装置1の内部に取り付けられた場合、つまり加速度センサ20及びジャイロ21がユーザの頭部の動きを検出するものとされた場合は、加速度センサ20の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ21はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ10はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に2回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ20及びジャイロ21によっては、ユーザが静止状態(非歩行状態)であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ20やジャイロ21が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
生体センサ22は、ユーザの生体情報として例えば心拍情報(心拍数)、脈拍情報(脈拍数)、発汗情報、脳波情報(例えばα波、β波、θ波、δ波の情報)、又は皮膚電気反応、体温、血圧、呼吸活動(例えば呼吸の速さ、深さ、換気量など)等を検出するが、これらの情報からシステムコントローラ10は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また表示装置1をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ10は、ユーザが表示装置1を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置1を装着したことを検知したら、電源オン状態とすることや、逆にユーザが表示装置1の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ22による検出情報は、ユーザの個人認証(装着者個人の識別)にも利用できる。
なお生体センサ22は、例えば眼鏡型の表示装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
[5.各種動作例]

本実施の形態の表示装置1は、以上のように視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22から検出されるユーザの情報に応じて、システムコントローラ10が表示動作に関する制御することで、表示部2においてユーザの意志や状況に応じた表示を実行し、これによってユーザに好適な画像を提供できる。
このためのシステムコントローラ10の制御に基づく各種動作例を説明していく。
図12は、システムコントローラ10の動作制御機能10bとしての制御処理を示している。
ステップF101は、システムコントローラ10が表示制御部14に対して表示部2をスルー状態とする制御処理を示している。例えば表示装置1が電源オンとされた初期段階では、システムコントローラ10はステップF101で表示部2をスルー状態に制御する。
表示部2をスルー状態にしている期間は、システムコントローラ10はステップF102で表示開始のトリガが発生したか否かを確認している。ここでは表示開始トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示部2での表示を開始させるとシステムコントローラ10自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意識な動作や状態(ユーザ個人の認識も含む)によって、システムコントローラ10は表示開始トリガの有無を判断する。具体例は後述する。
表示開始トリガがあったと判別した場合は、システムコントローラ10は処理をステップF103に進め、表示開始制御を行う。即ち表示制御部14に指示して、表示画像処理部12及び表示駆動部13に、供給されるデータにを通常撮像画像の態様で表示部2に表示させる動作を実行させる。
表示画像処理部12には、画像入出力コントロール部27を介して画像データが供給されるが、例えば図3又は図4のように複数の画像データソースを備える場合は、この時点では、撮像機能系(撮像部3、撮像信号処理部15)、再生機能系(ストレージ部25)、受信機能系(通信部26)のソースのうちで内でデフォルト設定で選択されているソースからの画像データが、表示画像処理部12に供給されるようにすればよい。例えば撮像機能系をデフォルト設定のソースであるとすると、ステップF103の表示開始制御の際に、システムコントローラ10は撮像制御部11に撮像開始を指示して撮像部3及び撮像信号処理部15の通常撮像動作を実行させ、その撮像信号としての画像データを、画像入出力コントロール部27を介して表示画像処理部12に供給させる。この場合、表示部2では例えば図5(a)のスルー状態から例えば図5(b)の通常撮像画像のモニタ表示状態に切り換えられることになる。
また、デフォルト設定のソースがストレージ部25であれば、表示開始制御の際にストレージ部25の制御も行い、コンテンツの再生やコンテンツ選択等のメニュー画面を表示部2に表示させてもよいし、デフォルト設定のソースが通信部26であれば、表示開始制御の際に通信部26の動作の制御も行い、通信用の画面や、外部機器からの受信データによる表示を表示部2に実行させてもよい。
もちろん、ソースが1つの構成の場合は、そのソースからの画像データが表示画像処理部12に供給されるようにすればよい。
さらには、ステップF103での表示開始制御の際には、画像ソースからの画像データは供給させず、初期画面としてメニュー画面やソース選択画面等を表示部2に表示させるような制御を行いことも考えられる。
なお、この図12の処理では音声出力部5からの音声出力動作については特に述べないが、表示部2で表示動作が実行される際には、システムコントローラ10は、表示画像と同一のソースからの音声データに基づく音声出力が実行されるよに音声入出力コントロール部28及び音声信号処理部16を制御するものとする。
表示部2で或るソースからの画像の表示を行っている期間は、システムコントローラ10は、ステップF104で表示制御トリガが発生したか否かを監視し、またステップF105でソース切換トリガが発生したか否かを監視し、またステップF106で表示終了トリガが発生したか否かを監視する。
表示制御トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示動作における表示画像態様や表示する画像データに関する処理などについての変更を行うとシステムコントローラ10自身が判断することを意味している。
またソース切換トリガの発生とは、例えば図3,図4のように表示装置1に複数のソースが設けられている場合に、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示する画像データのソースの切換を行うとシステムコントローラ10自身が判断することを意味している。
また表示終了トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示部3での表示を終了してスルー状態への切り換えを行うとシステムコントローラ10自身が判断することを意味している。
これらのトリガ発生は、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意識な動作や状態(ユーザの身体状況やユーザ個人の認識など)によって、システムコントローラ10が判断するが、その判断手法やトリガに応じた制御内容についても、具体例は後述する。
表示制御トリガ発生と判断した場合は、システムコントローラ10は処理をステップF104からF107に進め、画像の表示動作に関しての制御を行う。つまり表示制御部14に所定の指示を与え、その時点のユーザの意志又は状況に応じた態様の表示を表示部2において実行させる。その時点で選択されているソースによっては、システムコントローラ10は撮像機能系の制御、ストレージ部25に対する動作制御、通信部26に対する動作制御を行う場合もある。
ステップF107で表示動作制御を行った後も、システムコントローラ10はステップF104,F105,F106のトリガ発生の監視を行う。
ソース切換トリガ発生と判断した場合は、システムコントローラ10は処理をステップF105からF108に進め、ソース切換制御を行う。この場合、切換前後のソースに対する動作制御や、新たなソースからの画像データ/音声データが、表示画像処理部12/音声信号処理部16に供給されるように画像入出力コントロール部27/音声入出力コントロール部28の制御を行う。
このソース切換制御により、例えば表示部2は、撮像部3で撮像された画像が表示されていた状態から、例えばストレージ部25での再生画像が表示される状態等に切り換えられることになる。
ステップF108でソース切換制御を行った後も、システムコントローラ10はステップF104,F105,F106のトリガ発生の監視を行う。
表示終了トリガ発生と判断した場合は、システムコントローラ10は処理をステップF106からF101に戻し、表示制御部14に対して表示部2をスルーとする指示を行う。またその時点で選択されていた画像ソースに対して画像供給動作の終了を指示する。
ユーザが表示装置1を装着して電源オンとしている期間は、システムコントローラ10の動作制御機能10bは、例えばこの図12のような制御処理を行うことになる。
そしてこの処理においては、表示開始トリガの判断による表示開始制御、表示制御トリガの判断による表示態様制御、ソース切換トリガの判断によるソース切換制御、及び表示終了トリガの判断による表示部2の表示を停止させてスルー状態とする制御を行うが、これらのトリガ判断と制御内容の具体例について、図13以降で説明していく。
図13から図19は、システムコントローラ10のユーザ状況判定機能10aとしての処理例を示しており、これらは動作制御機能10bによる上記図12の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ10が図12の処理を実行している期間中に、図13〜図19のような検知処理が定期的に割込処理としてに行われればよいものである。これら図13〜図19のような処理のプログラムは、図12の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
まず図13で、スルー状態から表示状態に切り換える、表示開始トリガの判断についての例を述べる。
図13(a)(b)は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図13(a)のステップF200では、システムコントローラ10が加速度センサ20、又はジャイロ21からの検出情報(加速度信号、角速度信号)を監視する処理を示している。
例えば首を縦に2回振る、左右に1往復振る、首を1周回す・・など、特定の動作を、ユーザが表示開始を求める操作であると設定されているとする。システムコントローラ10は、加速度センサ20又はジャイロ21(又はその両方)からの検出情報により、そのような表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップF201からF202に進め、表示開始トリガ発生と判別する。
このようにステップF202で表示開始トリガ発生と判別することにより、上記図12の処理はステップF102からF103に進むことになり、システムコントローラ10は表示部2において画像表示を開始する制御を実行することになる。
なお加速度センサ20又はジャイロ21からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。
図13(b)は、視覚センサ19の情報に基づいて表示開始トリガを判別する例である。
システムコントローラ10はステップF210で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを3回連続して行うという特定の動作を、ユーザが表示開始を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF211からF212に進め、表示開始トリガ発生と判別する。
ステップF212で表示開始トリガ発生と判別することにより、上記図12の処理はステップF102からF103に進むことになり、システムコントローラ10は表示部2において画像表示を開始する制御を実行することになる。
なお視覚センサ19からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に2往復させるなど、他にも各種考えられる。
図13(c)は、ユーザが表示装置1を装着すること自体を、表示開始トリガとする例である。
システムコントローラ10はステップF230で、生体センサ22からの脳波、心拍数、皮膚電気反応などの情報をチェックする。
そしてステップF231でシステムコントローラ10は、生体センサ22からの情報に基づいて、ユーザが表示装置1を装着したか否かを判断する。生体センサ22により人体からの情報が得られる状態になったか否かによりユーザの装着を検知できる。
システムコントローラ10はユーザが表示装置1を装着したと判別した場合は、処理をステップF231からF232に進め、表示開始トリガ発生と判別する。
このようにステップF232で表示開始トリガ発生と判別することにより、上記図12のステップF103で、システムコントローラ10は表示開始制御を行うことになる。
このように例えば生体センサ22の反応により、ユーザによる装着を検出できるため、生体センサ22による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始されたことを撮像開始トリガ発生とする。これにより、ユーザが装着したら表示を開始するという動作制御を実行できる。
なお、不特定のユーザの装着ではなく、特定のユーザが装着したら、表示を開始するという制御ことも考えられる。上述のように視覚センサ19で検出する眼底パターンや生体センサ22による検出信号によっては、ユーザの個人を識別できる。例えば予め使用するユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ10は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ10は、表示装置1が或るユーザに装着された際に個人認証を行い、特定のユーザを認識した場合に、それを表示開始トリガと判別し、表示開始制御を行うこともできる。
なお、ユーザの無意識的な挙動や身体状況によって撮像開始トリガを判別する処理として他にも各種想定される。
例えば視覚センサ19からの情報で、ユーザの視線が急に動いた場合に撮像開始トリガ発生と判断するなど、視覚センサ19の情報を用いたり、また音声入力部6からの入力音声に基づいて表示開始トリガ発生を判断することも考えられる。
なお、以上のような表示開始トリガに応じて画像を表示部2に表示させる際には、図9(b)のように表示部2の画面上でスルー状態の領域AR1を残し、一部の領域AR2において画像表示を行うようにしてもよい。
また図12には示していないが、上記図13(c)のようなユーザによる装着検出を電源オンのトリガとし、システムコントローラ10はユーザの装着を検知したら表示装置1の電源をオンとするようにしてもよい。
この場合、逆に、ユーザが表示装置1を取り外したことを検知したら、電源オフとすればよい。
次に、図12のステップF104としての、表示制御トリガ発生の判断に関する処理例を図14から図17で説明する。
図14は、ユーザの視線の動きにより表示画像のページや選択部分の進み/戻しの制御を行う例である。
システムコントローラ10は図14のステップF300で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ10は、ユーザの視線方向が左方に移動したことを検知したら、ステップF301からF303に進め、画像戻しのトリガ発生と判別する。
またシステムコントローラ10は、ユーザの視線方向が右方に移動したことを検知したら、ステップF302からF304に進め、画像進みのトリガ発生と判別する。
これらの場合、上記図12の処理はステップF104からF107に進むことになり、システムコントローラ10は表示画像の進み/戻しの制御を行う。例えばストレージ部25をソースとし、その再生画像として図6(c)や図8(c)のような画像を表示させているときに、そのページ又は選択部分の進み/戻しが行われるように表示画像処理部12やストレージ部25の制御を行う。
ここでは視線方向の左右の動きを検知したが、例えば視線方向の上下の動きを検知したときに、画面スクロールのトリガ発生と判別し、表示画面のスクロール処理を実行させるようにすることも好適である。
図15は、ユーザの視覚としての快、不快の感覚に応じた制御の例である。
システムコントローラ10は図14のステップF400で、視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況(単位時間あたりのまばたき回数など)を検出する。
またステップF401で、生体センサ22からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ10は、これらの視覚センサ19や生体センサ22からの情報に基づいて、表示部2の表示画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ10は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップF402からF403に進め、画像の調整制御のトリガ発生と判別する。その場合ステップF404で、ユーザの状況に応じて快適と考えられる調整値、例えば表示輝度、コントラスト、シャープネス等の調整値を算出する。
このステップF403,F404の処理により、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、この場合は表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が調整され、ユーザにとって快適な表示画像となる。
例えばユーザの撮像機能系からの撮像画像を表示しているときの周囲の明るさや、ユーザの眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このような処理が行われることで、快適な視覚状況を提供できる。例えば図11(a)のように暗くて見にくい画像が表示されている場合に、図11(b)のようなはっきり見えるような画像を提供したり、また眼が疲れてきたような場合は、柔らかな画質の画像とすることなどが可能となる。
図16はユーザの首(頭部)の動きを操作とみなす処理である。
システムコントローラ10はステップF500で、加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ステップF501でユーザの頭部の動きを判定する。例えばここでは、後ろに2回頭部を傾ける動作があったか、又は前に2回頭部を傾ける動作があったか、又は2回左に首を振る動作があったかを判定する。
後ろに2回頭部を傾ける動作を検出した場合、システムコントローラ10は処理をステップF502からF505に進め、画像拡大のトリガ発生と判別する。
この場合、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、表示画像処理部12に画像拡大処理を指示する。これにより表示部2では、例えば図10(b)のような拡大画像が表示されることになる。
また前に2回頭部を傾ける動作を検出したら、システムコントローラ10は処理をステップF503からF506に進め、画像縮小のトリガ発生と判別する。この場合も、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、表示画像処理部12にに画像縮小処理を指示する。これにより表示部2では、縮小画像が表示されることになる。
また2回左に首を振る動作を検出したら、システムコントローラ10は処理をステップF504からF507に進め、拡大/縮小倍率をリセットするというトリガ発生と判別する。この場合も、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、表示画像処理部12に拡大/縮小処理をリセットさせる。これにより表示部2では、標準倍率に戻された画像が表示されることになる。
図17は、視覚センサ19の情報により表示画面上での操作入力のトリガを判別する例である。
システムコントローラ10は図17のステップF600で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析し、表示部2を見ているユーザの視線移動やまばたきを検出する。
システムコントローラ10は、ユーザの視線移動を検知したら、ステップF601からF603に進め、表示画面上のカーソル(画面上のポインタ)の移動のトリガ発生と判別する。そしてステップF604で、視線の移動方向と移動量から、画面上でのカーソル移動方向と移動量を算出する。
この場合、システムコントローラ10は図12のステップF107で、表示画像処理部12にカーソル移動を指示する。例えば図8(b)(c)のような画像を表示しているときに、その表示画面上でカーソルを移動させる。
また、システムコントローラ10は、ユーザが2回連続してまばたきを行ったことを検知したら、ステップF602からF605に進め、クリック操作のトリガ発生と判別する。この場合、システムコントローラ10は図12のステップF107で、クリック操作に応じた制御処理を行うことになる。例えばストレージ部25での再生画像に関しての何らかの操作であれば、操作に応じたストレージ部25の再生動作の制御を行い、また通信部26で受信している画像上でのクリック操作であれば、その際のカーソル位置やクリック操作の情報を外部機器に送信するなどの処理を行う。
このような処理により、ユーザの眼の動作を、コンピュータシステムにおけるマウスの操作と同等に扱うことができる。また、図6(b)のようなゲーム画像を表示しているときに、ユーザの視線方向やまばたきをゲームに対する操作として扱うこともできる。
ここまでの図14,図15,図16、図17の処理として、ユーザの意識的な動作や無意識な動作又は身体状況に応じて、表示画像の表示態様、或いは表示する画像データの処理、或いは表示画面上での操作などの制御を行う例を挙げたが、これらは一例にすぎず、他にも表示制御トリガの判別及び制御例として非常に多様な例が考えられる。
表示制御トリガとしては、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22の各情報から各種のユーザの挙動や身体状況を検知し、所定の条件が満たされた場合にトリガ発生と判断すればよい。
そして多様な条件において表示制御トリガ発生と判断した場合の制御例として、表示画像処理部12に対する制御としては、拡大/縮小の制御、輝度、コントラスト、シャープネス等の調整制御、モザイク画像/輝度反転画像/ソフトフォーカスなどの画像エフェクト表示、更には図9のような画面分割やストロボ表示などの制御を、ユーザの挙動や身体状況に応じて実行できる。
また撮像機能系をソースとして撮像画像を表示部2に表示している場合は、撮像部3,撮像信号処理部15の動作制御として、望遠/広角のズーム処理、撮像感度の制御、撮像フレームレートの切換、赤外線撮像感度や紫外線撮像感度の変更制御などを行うことが考えられる。
またストレージ部25での再生画像や通信部26での受信画像を表示部2に表示している場合は、表示制御トリガを、早送り/早戻し、頭出し、コマ送り、スロー、一時停止などの変速再生制御を行ったり、ページ送り、ページスクロール、一覧表示上での選択部分の送り、カーソル移動、決定操作、ゲーム操作などのトリガとして扱い、ストレージ部25や通信部26に所要の動作を実行させるように制御することが想定される。
即ち、表示制御トリガの発生判断の条件と、それに応じた制御内容としては、これらの中でのあらゆる組み合わせが考えられる。
また、以上のように表示制御のトリガに応じて表示部2の表示を切り換える際には、図9(b)のように表示部2の画面上でスルー状態もしくは通常撮像画像の領域AR1を残し、一部の領域AR2において、異なる態様の画像の表示を行うようにしてもよい。もちろん逆に広い領域AR1において、画像制御トリガに応じた画像を表示してもよいし、画面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。
ところで以上の図14〜図18では表示制御トリガの発生判断の例と、それに応じた制御の例について述べたが、図12のステップF105で判断するソース切換トリガについても、同様に各種の例が想定される。
即ち視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22の各情報から各種のユーザの意識的な挙動や無意識の動作や身体状況を検知し、所定の条件が満たされた場合にソース切換トリガ発生と判断すればよい。
そして図12のステップF108では、そのソース切換トリガ発生に応じて、システムコントローラ10は表示画像処理部12に供給する画像データのソースを切り換える制御を行う。
続いて、図12のステップF106として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図18,図19で述べる。
図18(a)は、ユーザが意識的な挙動により表示を終了させる処理例である。
図18(a)において、システムコントローラ10はステップF800で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ10は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップF801からF802に進め、表示終了トリガ発生と判断する。
このステップF802の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
図18(b)も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ10は図18(b)のステップF810で、視覚センサ19からの情報を解析する。例えばまばたきを3回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF811からF812に進め、表示終了トリガ発生と判別する。
このステップF812の処理により、システムコントローラ10の図12の処理はステップF106からF101に進み、表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
この図18(a)(b)のような処理により、ユーザがスルー状態を求めた場合に、スルー状態となるという、ユーザの意志に応じた制御が実行される。もちろん、スルー状態に戻すというユーザの意志を表す挙動は、他にも各種考えられる。
図19(a)は、ユーザの動作(操作として意識しない動作)に応じて自動的にスルー状態に戻す処理例である。
図19(a)において、システムコントローラ10はステップF900で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ10は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップF901からF902に進め、表示終了トリガ発生と判断する。
このステップF902の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図3(b)のような通常撮像画像の表示に切り換えるようにしてもよい。
図19(b)は、ユーザの身体状況に応じて自動的にスルー状態に戻す処理例である。
図19(b)において、システムコントローラ10はステップF910で、生体センサ22からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。
またステップF911で視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況(単位時間あたりのまばたき回数など)を検出する。
システムコントローラ10は、生体センサ22や視覚センサ19からの情報に基づいて、ユーザの眼が疲労している状態にあるか否かを判断する。
そして、ユーザの眼が疲労していると判断した場合は、ステップF912からF913に進み、表示終了トリガ発生と判断する。
このステップF913の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部2はスルー状態に戻る。
このようにユーザの眼の疲れなどの身体状況に応じて表示部2の表示を終了させることで、ユーザの身体に負担をかけないような表示装置1の使用が実現できる。
[6.実施の形態の効果、変形例及び拡張例]

以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された表示部2により、使用者の目の直前で画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担をかけずに、ユーザの意志又は状況に応じた的確な表示動作が実行される。これにより表示装置1は、ユーザにとって使用性が良く、また多様な視界光景を提供できる装置となる。
また表示部2は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットにより装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の表示装置1の利点を有効に活用できる。
なお、実施の形態では特に表示動作に関する制御について説明したが、例えば電源オン/オフ/スタンバイの切換や、音声出力部5から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ22の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像、再生画像、受信画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部5から出力させるようにすることも考えられる。
また、表示装置1の外観や構成は図1,図3,図4の例に限定されるものではなく、各種の変形例が考えられる。
表示画像1として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
本発明の実施の形態の表示装置の外観例の説明図である。 実施の形態の表示装置の使用形態の説明図である。 実施の形態の表示装置の構成例のブロック図である。 実施の形態の表示装置の他の構成例のブロック図である。 実施の形態のスルー状態と撮像画像表示状態の説明図である。 実施の形態のストレージ部から画像の表示状態の説明図である。 実施の形態の通信部からの画像の表示状態の説明図である。 実施の形態の通信部からの画像の表示状態の説明図である。 実施の形態の分割表示の説明図である。 実施の形態の拡大画像の表示状態の説明図である。 実施の形態の明るさ調整画像の表示状態の説明図である。 実施の形態の制御処理のフローチャートである。 実施の形態の表示開始トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示終了トリガの判別処理のフローチャートである。 実施の形態の表示終了トリガの判別処理のフローチャートである。
符号の説明
1 表示装置、2 表示部、3 撮像部、4 照明部、5 音声出力部、6 音声入力部、10 システムコントローラ、11 撮像制御部、12 表示画像処理部、13 表示駆動部、14 表示制御部、15 撮像信号処理部、16 音声信号処理部、17 入力部、19 視覚センサ、20 加速度センサ、21 ジャイロ、22 生体センサ、25 ストレージ部、26 通信部

Claims (27)

  1. 使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、
    使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、
    上記使用者情報取得手段で取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、
    を備えることを特徴とする表示装置。
  2. 画像の撮像を行う撮像手段を更に備えることを特徴とする請求項1に記載の表示装置。
  3. 上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記撮像手段で撮像された画像データを上記表示手段で表示させる制御を行うことを特徴とする請求項2に記載の表示装置。
  4. 記録媒体からデータを再生する再生手段を更に備えることを特徴とする請求項1に記載の表示装置。
  5. 上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記再生手段で再生されたデータを上記表示手段で表示させる制御を行うことを特徴とする請求項4に記載の表示装置。
  6. 上記制御手段は、上記再生手段で再生されたデータを上記表示手段で表示させている際に、上記使用者情報取得手段で取得された情報に基づいて、上記再生手段の再生動作の制御を行うことを特徴とする請求項4に記載の表示装置。
  7. 外部機器と通信を行ってデータを受信する受信手段を更に備えることを特徴とする請求項1に記載の表示装置。
  8. 上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記受信手段で受信されたデータを上記表示手段で表示させる制御を行うことを特徴とする請求項7に記載の表示装置。
  9. 上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表示を行う表示状態とを切換可能であることを特徴とする請求項1に記載の表示装置。
  10. 上記使用者情報取得手段は、加速度、角速度、又は振動を検出するセンサであることを特徴とする請求項1に記載の表示装置。
  11. 上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサであることを特徴とする請求項1に記載の表示装置。
  12. 上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサであることを特徴とする請求項1に記載の表示装置。
  13. 上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサであることを特徴とする請求項1に記載の表示装置。
  14. 上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされていることを特徴とする請求項1に記載の表示装置。
  15. 上記使用者情報取得手段は、使用者の生体情報を検出する生体センサであることを特徴とする請求項1に記載の表示装置。
  16. 上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされていることを特徴とする請求項1に記載の表示装置。
  17. 上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされていることを特徴とする請求項1に記載の表示装置。
  18. 上記制御手段は、上記表示手段における表示動作の開始/終了の制御を行うことを特徴とする請求項1に記載の表示装置。
  19. 上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表示を行う表示状態とが切換可能とされるとともに、
    上記制御手段は、上記表示手段に対して上記スルー状態と上記表示状態の切換制御を行うことを特徴とする請求項1に記載の表示装置。
  20. 上記制御手段は、上記表示手段で表示するデータの供給ソースの切換制御を行うことを特徴とする請求項1に記載の表示装置。
  21. 上記制御手段は、上記表示手段における表示画像の拡大/縮小の制御を行うことを特徴とする請求項1に記載の表示装置。
  22. 上記制御手段は、上記表示手段における画面分割表示の制御を行うことを特徴とする請求項1に記載の表示装置。
  23. 上記制御手段は、上記表示手段における表示輝度の制御を行うことを特徴とする請求項1に記載の表示装置。
  24. 上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行うことを特徴とする請求項1に記載の表示装置。
  25. 上記制御手段は、上記表示手段で表示させる画像のスクロール又はページ切換の制御を行うことを特徴とする請求項1に記載の表示装置。
  26. 上記制御手段は、上記表示手段で表示させた画像の内容に対する入力操作を、上記使用者情報取得手段で取得された情報に基づいて判別することを特徴とする請求項1に記載の表示装置。
  27. 使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、
    使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
    上記使用者情報取得ステップで取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップと、
    を備えることを特徴とする表示方法。
JP2006244686A 2006-09-08 2006-09-08 表示装置、表示方法 Expired - Fee Related JP5228305B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2006244686A JP5228305B2 (ja) 2006-09-08 2006-09-08 表示装置、表示方法
KR1020097004731A KR101352660B1 (ko) 2006-09-08 2007-08-01 표시 장치, 표시 방법
CNA2007800317984A CN101506868A (zh) 2006-09-08 2007-08-01 显示设备和显示方法
US12/438,735 US8368794B2 (en) 2006-09-08 2007-08-01 Display device and display method that determines intention or status of a user
EP07791763A EP2061026A4 (en) 2006-09-08 2007-08-01 DISPLAY DEVICE AND DISPLAY METHOD
PCT/JP2007/065083 WO2008029570A1 (fr) 2006-09-08 2007-08-01 Dispositif d'affichage et procédé d'affichage
RU2009108342/08A RU2009108342A (ru) 2006-09-08 2007-08-01 Устройство и способ отображения
TW096131010A TW200827769A (en) 2006-09-08 2007-08-22 Display device and display method
US13/614,591 US8860867B2 (en) 2006-09-08 2012-09-13 Display device and display method
US14/481,576 US9261956B2 (en) 2006-09-08 2014-09-09 Display device and display method that determines intention or status of a user
US14/962,429 US9733701B2 (en) 2006-09-08 2015-12-08 Display device and display method that determines intention or status of a user
US15/652,835 US10466773B2 (en) 2006-09-08 2017-07-18 Display device and display method that determines intention or status of a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006244686A JP5228305B2 (ja) 2006-09-08 2006-09-08 表示装置、表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012254402A Division JP2013077013A (ja) 2012-11-20 2012-11-20 表示装置、表示方法

Publications (3)

Publication Number Publication Date
JP2008065169A true JP2008065169A (ja) 2008-03-21
JP2008065169A5 JP2008065169A5 (ja) 2009-10-01
JP5228305B2 JP5228305B2 (ja) 2013-07-03

Family

ID=39157015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006244686A Expired - Fee Related JP5228305B2 (ja) 2006-09-08 2006-09-08 表示装置、表示方法

Country Status (8)

Country Link
US (5) US8368794B2 (ja)
EP (1) EP2061026A4 (ja)
JP (1) JP5228305B2 (ja)
KR (1) KR101352660B1 (ja)
CN (1) CN101506868A (ja)
RU (1) RU2009108342A (ja)
TW (1) TW200827769A (ja)
WO (1) WO2008029570A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251154A (ja) * 2008-04-03 2009-10-29 Konica Minolta Holdings Inc 頭部装着式映像表示装置
WO2010064361A1 (ja) * 2008-12-02 2010-06-10 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010153960A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010151867A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
US7797163B2 (en) 2006-08-18 2010-09-14 Lg Electronics Inc. Apparatus for processing media signal and method thereof
US7881817B2 (en) 2006-02-23 2011-02-01 Lg Electronics Inc. Method and apparatus for processing an audio signal
JP2011161111A (ja) * 2010-02-13 2011-08-25 Brother Industries Ltd ストライクゾーン提示システム
WO2012133020A1 (ja) * 2011-03-30 2012-10-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2013055383A (ja) * 2011-09-01 2013-03-21 Panasonic Corp 立体視映像のための画像表示システム及び3次元表示装置
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
CN103189817A (zh) * 2010-11-02 2013-07-03 Nec卡西欧移动通信株式会社 信息处理***和信息处理方法
US8538031B2 (en) 2004-04-16 2013-09-17 Dolby International Ab Method for representing multi-channel audio signals
WO2014041871A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2014130325A (ja) * 2012-10-23 2014-07-10 Semiconductor Energy Lab Co Ltd 表示装置、及びプログラム
JP2014187574A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
WO2014185002A1 (en) 2013-05-15 2014-11-20 Sony Corporation Display control device, display control method, and recording medium
KR20150054129A (ko) * 2013-11-11 2015-05-20 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR20150091322A (ko) * 2012-12-06 2015-08-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 아이웨어 상에서의 멀티 터치 상호작용 기법
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JP2016082411A (ja) * 2014-10-17 2016-05-16 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
JP2016080971A (ja) * 2014-10-21 2016-05-16 ローム株式会社 視覚補助システム
JP2016181286A (ja) * 2016-06-29 2016-10-13 カシオ計算機株式会社 携帯端末装置及びプログラム
JP2017502570A (ja) * 2013-12-03 2017-01-19 ノキア テクノロジーズ オーユー ヘッドマウントディスプレイへの情報の表示
JP2017537368A (ja) * 2014-09-18 2017-12-14 エフエックスギア インコーポレイテッド 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
US9921646B2 (en) 2013-03-25 2018-03-20 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP2018107823A (ja) * 2018-03-05 2018-07-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
US10426668B2 (en) 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
JP7369884B1 (ja) 2023-04-06 2023-10-26 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081123A1 (en) * 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US20080243005A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
KR101511193B1 (ko) * 2009-02-27 2015-04-10 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
JP5263092B2 (ja) * 2009-09-07 2013-08-14 ソニー株式会社 表示装置および制御方法
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US20120194550A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Sensor-based command and control of external devices with feedback from the external device to the ar glasses
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20120194553A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with sensor and user action based control of external devices with feedback
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
CA2803047A1 (en) * 2010-07-05 2012-01-12 Cognitive Media Innovations (Israel) Ltd. System and method of serial visual content presentation
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US20120050142A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with eye state detection
US20120050044A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with biological state detection
US8736516B2 (en) 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
EP2617202A4 (en) * 2010-09-20 2015-01-21 Kopin Corp BLUETOOTH OR OTHER WIRELESS INTERFACE WITH POWER MANAGEMENT FOR A HEAD-MOUNTED DISPLAY
US8594381B2 (en) * 2010-11-17 2013-11-26 Eastman Kodak Company Method of identifying motion sickness
US8218006B2 (en) 2010-12-01 2012-07-10 Honeywell International Inc. Near-to-eye head display system and method
BR112013013565B1 (pt) 2010-12-02 2021-11-23 Ultradent Products Inc Sistema e método de visualização e rastreamento de imagens de vídeo estereoscópicas
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US10455089B2 (en) * 2011-03-22 2019-10-22 Fmr Llc Augmented reality system for product selection
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
WO2012145556A2 (en) * 2011-04-20 2012-10-26 Enovadent Technologies, Inc. Centralized online media platform for use with visual display systems
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
CN102890346A (zh) * 2011-07-20 2013-01-23 英华达(上海)科技有限公司 眼镜
WO2013013230A2 (en) * 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
CN103018904A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式影像撷取分析显示***及其方法
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
US20140006563A1 (en) * 2011-12-27 2014-01-02 Bradford Needham Method, device, and system for generating and analyzing digital readable media consumption data
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
ITUD20120024A1 (it) * 2012-02-15 2013-08-16 Qbell Technology S P A Dispositivo elettronico visuale emozionale
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8947322B1 (en) 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population
US8947323B1 (en) 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
JP6028357B2 (ja) * 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
TW201344502A (zh) * 2012-04-20 2013-11-01 Utechzone Co Ltd 耳戴式眼控裝置
WO2013180773A1 (en) 2012-06-01 2013-12-05 Ultradent Products, Inc. Stereoscopic video imaging
JP6064464B2 (ja) * 2012-09-10 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、認証システム
CN102871793A (zh) * 2012-10-19 2013-01-16 江苏万新光学有限公司 一种智能视力保护互动应用***
CN102945077B (zh) * 2012-10-24 2015-12-16 广东欧珀移动通信有限公司 一种图片查看方法、装置及智能终端
EP2918225A4 (en) * 2012-11-12 2016-04-20 Alps Electric Co Ltd BIOLOGICAL INFORMATION MEASURING DEVICE AND INPUT DEVICE USING THE SAME
CN103838536B (zh) * 2012-11-27 2017-12-29 联想(北京)有限公司 显示模式的切换方法、控制电子设备的方法及电子设备
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
CN103190883B (zh) * 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US20140268360A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Head-mounted display
EP2972561A1 (en) * 2013-03-15 2016-01-20 Huntington Ingalls Incorporated System and method for providing secure data for display using augmented reality
CN104076510A (zh) * 2013-03-27 2014-10-01 聚晶半导体股份有限公司 适应性调整头戴式显示器的方法与头戴式显示器
TWI486630B (zh) * 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
US9049469B2 (en) * 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
CN103327172A (zh) * 2013-04-28 2013-09-25 华为终端有限公司 一种调节终端屏幕亮度的方法和终端
US9979547B2 (en) 2013-05-08 2018-05-22 Google Llc Password management
US10302944B2 (en) 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR102086511B1 (ko) * 2013-07-25 2020-03-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
USD741474S1 (en) * 2013-08-22 2015-10-20 Fresca Medical, Inc. Sleep apnea device accessory
KR102160650B1 (ko) 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
KR102333704B1 (ko) * 2013-09-30 2021-12-01 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术(北京)有限公司 头戴式显示设备
KR102208195B1 (ko) * 2013-11-29 2021-01-27 삼성전자주식회사 머리 착용형 디스플레이 장치에서 디스플레이 화면을 제어하는 방법, 및 머리 착용형 디스플레이 장치
US9465237B2 (en) * 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
KR102191151B1 (ko) 2013-12-30 2020-12-16 삼성디스플레이 주식회사 전자 기기 및 전자 기기의 구동 방법
KR102233223B1 (ko) * 2014-01-20 2021-03-29 소니 주식회사 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
US9135849B2 (en) * 2014-01-31 2015-09-15 International Business Machines Corporation Variable operating mode HMD application management based upon crowd determined distraction
ES2528169B1 (es) * 2014-04-15 2015-09-29 Pedro José DIEZMA LÓPEZ Dispositivo para toma de mediciones biométricas
DE102014207251A1 (de) * 2014-04-15 2015-10-15 Siemens Aktiengesellschaft Datenbrille, Datenübertragungsnetzwerk und Verfahren zum drahtlosen Datenaustausch
US9922667B2 (en) 2014-04-17 2018-03-20 Microsoft Technology Licensing, Llc Conversation, presence and context detection for hologram suppression
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
CN103976733A (zh) * 2014-05-21 2014-08-13 蓝江涌 一种多通道脑电波控制眼镜
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
WO2016020921A1 (en) * 2014-08-04 2016-02-11 Pebbles Ltd. Method and system for reconstructing obstructed face portions for virtual reality environment
CN104267805A (zh) * 2014-09-15 2015-01-07 联想(北京)有限公司 一种信息处理方法及头戴式电子设备
CN105511846B (zh) * 2014-09-24 2018-12-14 联想(北京)有限公司 电子设备和显示控制方法
KR20160059406A (ko) 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
CN104503588A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种终端控制方法及装置
CN104615243A (zh) * 2015-01-15 2015-05-13 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互***及多通道交互方法
WO2016133269A1 (ko) * 2015-02-16 2016-08-25 넥시스 주식회사 영상 신호 생성을 위한 웨어러블 장치 및 그 제어를 위한 시스템
JP2016177240A (ja) * 2015-03-23 2016-10-06 カシオ計算機株式会社 表示装置、表示制御方法、及びプログラム
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
KR102446440B1 (ko) 2015-05-12 2022-09-22 삼성전자주식회사 콘텐트를 제공하는 방법 및 디바이스
JP6571767B2 (ja) 2015-06-05 2019-09-04 マクセル株式会社 映像表示装置および制御方法
TWI578021B (zh) * 2015-08-19 2017-04-11 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
CN106562793B (zh) * 2015-10-08 2021-12-21 松下电器(美国)知识产权公司 信息提示装置的控制方法、以及信息提示装置
TWI596542B (zh) * 2015-11-18 2017-08-21 Univ Chang Gung Image display method
EP3187963A1 (en) * 2015-12-31 2017-07-05 Shanghai Xiaoyi Technology Co., Ltd. Display device and method
CN105700686B (zh) * 2016-02-19 2020-04-24 联想(北京)有限公司 一种控制方法及电子设备
CN105912109A (zh) * 2016-04-06 2016-08-31 众景视界(北京)科技有限公司 头戴式可视设备的屏幕自动开关装置和头戴式可视设备
US10762429B2 (en) 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10964190B2 (en) 2016-05-31 2021-03-30 Ellcie-Healthy Personal system for the detection of a risky situation and alert
FR3051656B1 (fr) 2016-05-31 2019-03-22 Ellcie Healthy Dispositif connecte de suivi comportemental d'un individu et permettant la detection et/ou la prevention d'une anomalie
US11222519B2 (en) 2016-05-31 2022-01-11 Ellcie-Healthy Personal system for the detection of a risky situation, more particularly of a fall prone situation
US12008879B2 (en) 2016-05-31 2024-06-11 Euro Protection Surveillance Personal system for the detection of a fall or a fall prone situation
KR102600504B1 (ko) * 2016-09-07 2023-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
EP3511800A4 (en) * 2016-09-08 2019-08-14 Sony Corporation INFORMATION PROCESSING DEVICE
US10178969B2 (en) 2016-09-19 2019-01-15 Intel Corporation Stress detection method and apparatus
CN106445164A (zh) * 2016-10-18 2017-02-22 北京小米移动软件有限公司 智能眼镜的调节方法和装置
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
IL248721A0 (en) * 2016-11-03 2017-02-28 Khoury Elias An accessory for providing hands-free computer input
KR101999425B1 (ko) * 2016-12-29 2019-07-12 극동대학교 산학협력단 허상 투영 디스플레이용 광학장치
KR102678242B1 (ko) * 2017-02-01 2024-06-26 삼성전자주식회사 인증을 수행하는 전자 장치 및 방법
JP6304415B2 (ja) * 2017-02-16 2018-04-04 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP7008424B2 (ja) 2017-04-10 2022-01-25 株式会社ジャパンディスプレイ 表示装置
WO2018194528A1 (en) 2017-04-18 2018-10-25 Safaş, Saf Plasti̇k San. Ti̇c. A.Ş. Composite material production by using physically recycled flexible polyurethane foam and spray polyurea coating
US10386657B2 (en) * 2017-05-06 2019-08-20 Optikam Tech, Inc. System and method for obtaining lens fabrication measurements that accurately account for natural head position
CN107066103B (zh) * 2017-05-27 2021-03-30 深圳市宏智力科技有限公司 利用脑电波识别生物的方法及装置
CN107844177A (zh) * 2017-10-18 2018-03-27 歌尔科技有限公司 设备参数调整方法、装置及电子设备
EP3494872A1 (fr) * 2017-12-07 2019-06-12 Ellcie Healthy Système personnel d'alerte physiologique
EP3409198B1 (fr) * 2017-12-07 2022-04-27 Ellcie-Healthy Procédée pour la détection d'une situation à risque et d'alerte
CN108418959A (zh) * 2018-02-11 2018-08-17 广东欧珀移动通信有限公司 电子装置、输出提示信息的方法及相关产品
CN108632373B (zh) * 2018-05-09 2021-11-30 方超 设备控制方法和***
US11402635B1 (en) * 2018-05-24 2022-08-02 Facebook Technologies, Llc Systems and methods for measuring visual refractive error
US11357412B2 (en) 2018-11-20 2022-06-14 42 Health Sensor Holdings Ltd. Wearable cardiovascular monitoring device
JP7169213B2 (ja) * 2019-02-05 2022-11-10 株式会社日立製作所 身体健康状態映像分析装置、方法並びにシステム
CN109907736A (zh) * 2019-04-25 2019-06-21 蔡文贤 一种在计步软件上区分计步运动类型与强度的应用方法
CN116648278A (zh) 2020-07-16 2023-08-25 英瓦卡尔公司 用于浓缩气体的***和方法
WO2022015907A1 (en) 2020-07-16 2022-01-20 Invacare Corporation System and method for concentrating gas
CN114302193B (zh) * 2021-01-14 2022-09-30 海信视像科技股份有限公司 一种显示设备及协议检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085954A (ja) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118008B2 (ja) 1989-08-18 1995-12-18 松下電器産業株式会社 画像変形方法と画像変形装置
JP3348956B2 (ja) 1994-03-24 2002-11-20 ソニー株式会社 表示装置
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
JP3478354B2 (ja) 1994-10-20 2003-12-15 ミノルタ株式会社 方位検出機構付hmd
US5978015A (en) * 1994-10-13 1999-11-02 Minolta Co., Ltd. Stereoscopic system with convergence and dioptric power adjustments according to object distance
JP3727961B2 (ja) * 1994-10-28 2005-12-21 キヤノン株式会社 頭部装着型表示装置
US6388638B2 (en) 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
US5841409A (en) * 1995-04-18 1998-11-24 Minolta Co., Ltd. Image display apparatus
US5734421A (en) * 1995-05-30 1998-03-31 Maguire, Jr.; Francis J. Apparatus for inducing attitudinal head movements for passive virtual reality
JP3701053B2 (ja) 1995-07-13 2005-09-28 コニカミノルタホールディングス株式会社 映像表示装置
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
JP3632271B2 (ja) 1995-12-28 2005-03-23 富士ゼロックス株式会社 メガネディスプレイ
JPH09218375A (ja) 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
TW395121B (en) * 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
CA2307877C (en) * 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
JPH11146057A (ja) 1997-11-04 1999-05-28 Tokai Rika Co Ltd 移動電話及び個人識別システム
JPH11164186A (ja) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd 画像記録装置
JPH11177907A (ja) * 1997-12-08 1999-07-02 Canon Inc ヘッドマウントディスプレイ装置
JP4566311B2 (ja) 1998-12-18 2010-10-20 株式会社半導体エネルギー研究所 ゴーグル型表示装置
JP2000284214A (ja) 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
JP2000307715A (ja) 1999-04-23 2000-11-02 Nec Corp 携帯電話装置のセキュリティシステム及び方法
JP3492942B2 (ja) 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
JP4174923B2 (ja) * 1999-07-23 2008-11-05 コニカミノルタホールディングス株式会社 装着型カメラ
TW455769B (en) 1999-08-18 2001-09-21 Jian Huei Jiuan Eye-protection method and apparatus set up for monitor screen
JP3403361B2 (ja) * 1999-09-30 2003-05-06 川崎重工業株式会社 ヘッド・マウント・ディスプレイ装置
US7233312B2 (en) * 2000-07-31 2007-06-19 Panaseca, Inc. System and method for optimal viewing of computer monitors to minimize eyestrain
US6480174B1 (en) * 1999-10-09 2002-11-12 Optimize Incorporated Eyeglass-mount display having personalized fit module
WO2002019728A1 (fr) * 2000-08-28 2002-03-07 Olympus Optical Co., Ltd. Système d'affichage vidéo
JP2002330318A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 携帯端末装置
CN1400525A (zh) * 2001-08-03 2003-03-05 鲁良骏 一种鼠标
JP2003076353A (ja) 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP2003157136A (ja) 2001-11-20 2003-05-30 Canon Inc 生体反応を記録可能な高臨場感映像表示装置
GB2388266B (en) * 2002-04-30 2005-07-27 Hewlett Packard Co Improvements in and relating to camera controls
AU2003278708A1 (en) * 2002-08-12 2004-02-25 Walker Digital, Llc Digital picture frame and method for editing related applications
JP2004085476A (ja) 2002-08-28 2004-03-18 Sony Corp ヘッドトラッキング方法及び装置
JP3901061B2 (ja) 2002-08-29 2007-04-04 ソニー株式会社 ヘッドマウント装置
JP2004109995A (ja) 2003-08-12 2004-04-08 Toshiba Corp 装着型情報呈示装置および方法および記憶媒体
JP4517664B2 (ja) * 2004-02-12 2010-08-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2005283154A (ja) 2004-03-26 2005-10-13 Mitsubishi Electric Corp 通信機能付携行型情報処理装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP2006098820A (ja) 2004-09-30 2006-04-13 Shimadzu Corp 表示装置
US20060158731A1 (en) * 2005-01-18 2006-07-20 Dimension Technologies, Inc. FOCUS fixation
US7809954B2 (en) * 2005-03-31 2010-10-05 Brian Scott Miller Biometric control of equipment
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
TWI277848B (en) * 2006-01-11 2007-04-01 Ind Tech Res Inst Apparatus for automatically adjusting display parameters relying on visual performance and method for the same
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP5017989B2 (ja) * 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085954A (ja) * 1994-06-21 1996-01-12 Matsushita Electric Ind Co Ltd 眼鏡型画像表示装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499155B2 (en) 2004-04-16 2019-12-03 Dolby International Ab Audio decoder for audio channel reconstruction
US10440474B2 (en) 2004-04-16 2019-10-08 Dolby International Ab Audio decoder for audio channel reconstruction
US8693696B2 (en) 2004-04-16 2014-04-08 Dolby International Ab Apparatus and method for generating a level parameter and apparatus and method for generating a multi-channel representation
US10244319B2 (en) 2004-04-16 2019-03-26 Dolby International Ab Audio decoder for audio channel reconstruction
US10015597B2 (en) 2004-04-16 2018-07-03 Dolby International Ab Method for representing multi-channel audio signals
US10244320B2 (en) 2004-04-16 2019-03-26 Dolby International Ab Audio decoder for audio channel reconstruction
US10250984B2 (en) 2004-04-16 2019-04-02 Dolby International Ab Audio decoder for audio channel reconstruction
US10250985B2 (en) 2004-04-16 2019-04-02 Dolby International Ab Audio decoder for audio channel reconstruction
US9972329B2 (en) 2004-04-16 2018-05-15 Dolby International Ab Audio decoder for audio channel reconstruction
US9743185B2 (en) 2004-04-16 2017-08-22 Dolby International Ab Apparatus and method for generating a level parameter and apparatus and method for generating a multi-channel representation
US9635462B2 (en) 2004-04-16 2017-04-25 Dolby International Ab Reconstructing audio channels with a fractional delay decorrelator
US10271142B2 (en) 2004-04-16 2019-04-23 Dolby International Ab Audio decoder with core decoder and surround decoder
US8538031B2 (en) 2004-04-16 2013-09-17 Dolby International Ab Method for representing multi-channel audio signals
US9621990B2 (en) 2004-04-16 2017-04-11 Dolby International Ab Audio decoder with core decoder and surround decoder
US10244321B2 (en) 2004-04-16 2019-03-26 Dolby International Ab Audio decoder for audio channel reconstruction
US9972328B2 (en) 2004-04-16 2018-05-15 Dolby International Ab Audio decoder for audio channel reconstruction
US9972330B2 (en) 2004-04-16 2018-05-15 Dolby International Ab Audio decoder for audio channel reconstruction
US11647333B2 (en) 2004-04-16 2023-05-09 Dolby International Ab Audio decoder for audio channel reconstruction
US10129645B2 (en) 2004-04-16 2018-11-13 Dolby International Ab Audio decoder for audio channel reconstruction
US11184709B2 (en) 2004-04-16 2021-11-23 Dolby International Ab Audio decoder for audio channel reconstruction
US10623860B2 (en) 2004-04-16 2020-04-14 Dolby International Ab Audio decoder for audio channel reconstruction
US7881817B2 (en) 2006-02-23 2011-02-01 Lg Electronics Inc. Method and apparatus for processing an audio signal
US7797163B2 (en) 2006-08-18 2010-09-14 Lg Electronics Inc. Apparatus for processing media signal and method thereof
JP2009251154A (ja) * 2008-04-03 2009-10-29 Konica Minolta Holdings Inc 頭部装着式映像表示装置
WO2010064361A1 (ja) * 2008-12-02 2010-06-10 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010134057A (ja) * 2008-12-02 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010151867A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010153960A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011161111A (ja) * 2010-02-13 2011-08-25 Brother Industries Ltd ストライクゾーン提示システム
CN103189817B (zh) * 2010-11-02 2016-08-24 日本电气株式会社 信息处理***和信息处理方法
CN103189817A (zh) * 2010-11-02 2013-07-03 Nec卡西欧移动通信株式会社 信息处理***和信息处理方法
WO2012133020A1 (ja) * 2011-03-30 2012-10-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2013055383A (ja) * 2011-09-01 2013-03-21 Panasonic Corp 立体視映像のための画像表示システム及び3次元表示装置
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
JPWO2014041871A1 (ja) * 2012-09-12 2016-08-18 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
WO2014041871A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
US9798144B2 (en) 2012-09-12 2017-10-24 Sony Corporation Wearable image display device to control display of image
JP2018026832A (ja) * 2012-09-12 2018-02-15 ソニー株式会社 画像制御装置及び画像制御方法
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
JP2014130325A (ja) * 2012-10-23 2014-07-10 Semiconductor Energy Lab Co Ltd 表示装置、及びプログラム
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
KR20150091322A (ko) * 2012-12-06 2015-08-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 아이웨어 상에서의 멀티 터치 상호작용 기법
KR102227836B1 (ko) * 2012-12-06 2021-03-12 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 아이웨어 상에서의 멀티 터치 상호작용 기법
JP2016507802A (ja) * 2012-12-06 2016-03-10 マイクロソフト テクノロジー ライセンシング,エルエルシー アイウェアでのマルチタッチ対話
JP2014187574A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9921646B2 (en) 2013-03-25 2018-03-20 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JPWO2014156388A1 (ja) * 2013-03-29 2017-02-16 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
WO2014156388A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
US10613330B2 (en) 2013-03-29 2020-04-07 Sony Corporation Information processing device, notification state control method, and program
WO2014185002A1 (en) 2013-05-15 2014-11-20 Sony Corporation Display control device, display control method, and recording medium
JP2014225727A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
KR20150054129A (ko) * 2013-11-11 2015-05-20 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR102138520B1 (ko) * 2013-11-11 2020-08-11 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
JP2017502570A (ja) * 2013-12-03 2017-01-19 ノキア テクノロジーズ オーユー ヘッドマウントディスプレイへの情報の表示
US10445577B2 (en) 2014-04-08 2019-10-15 Maxell, Ltd. Information display method and information display terminal
WO2015155841A1 (ja) * 2014-04-08 2015-10-15 日立マクセル株式会社 情報表示方法および情報表示端末
JPWO2015155841A1 (ja) * 2014-04-08 2017-04-13 日立マクセル株式会社 情報表示方法および情報表示端末
US10426668B2 (en) 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
JP2017537368A (ja) * 2014-09-18 2017-12-14 エフエックスギア インコーポレイテッド 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
JP2016082411A (ja) * 2014-10-17 2016-05-16 国立大学法人電気通信大学 ヘッドマウントディスプレイ、画像表示方法及びプログラム
JP2016080971A (ja) * 2014-10-21 2016-05-16 ローム株式会社 視覚補助システム
JP2016181286A (ja) * 2016-06-29 2016-10-13 カシオ計算機株式会社 携帯端末装置及びプログラム
JP2018107823A (ja) * 2018-03-05 2018-07-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP7369884B1 (ja) 2023-04-06 2023-10-26 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム
JP7371299B1 (ja) 2023-04-06 2023-10-30 輝明 村上 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
US8860867B2 (en) 2014-10-14
US9733701B2 (en) 2017-08-15
US8368794B2 (en) 2013-02-05
KR20090050069A (ko) 2009-05-19
US20130009868A1 (en) 2013-01-10
KR101352660B1 (ko) 2014-01-23
CN101506868A (zh) 2009-08-12
US20170315610A1 (en) 2017-11-02
US20160124503A1 (en) 2016-05-05
US20140375559A1 (en) 2014-12-25
RU2009108342A (ru) 2010-09-20
EP2061026A1 (en) 2009-05-20
WO2008029570A1 (fr) 2008-03-13
US9261956B2 (en) 2016-02-16
JP5228305B2 (ja) 2013-07-03
US20100013739A1 (en) 2010-01-21
US10466773B2 (en) 2019-11-05
EP2061026A4 (en) 2011-06-22
TWI378262B (ja) 2012-12-01
TW200827769A (en) 2008-07-01

Similar Documents

Publication Publication Date Title
JP5228305B2 (ja) 表示装置、表示方法
JP2013077013A (ja) 表示装置、表示方法
JP4961914B2 (ja) 撮像表示装置、撮像表示方法
JP2008067219A (ja) 撮像装置、撮像方法
JP5309448B2 (ja) 表示装置、表示方法
EP1921844B1 (en) Imaging apparatus and method
JP4367663B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5904246B2 (ja) 頭部装着型表示装置、表示方法
JP5228307B2 (ja) 表示装置、表示方法
JP5092357B2 (ja) 撮像表示装置、撮像表示方法
EP1924084A2 (en) Imaging system and method
JP2013210643A (ja) 表示装置、表示方法
JP6160654B2 (ja) 表示装置、表示方法、プログラム
JP2008288821A (ja) 撮像装置、撮像方法
JP2013083994A (ja) 表示装置、表示方法
JP5971298B2 (ja) 表示装置、表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130304

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5228305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees