JP2019118004A - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP2019118004A
JP2019118004A JP2017250651A JP2017250651A JP2019118004A JP 2019118004 A JP2019118004 A JP 2019118004A JP 2017250651 A JP2017250651 A JP 2017250651A JP 2017250651 A JP2017250651 A JP 2017250651A JP 2019118004 A JP2019118004 A JP 2019118004A
Authority
JP
Japan
Prior art keywords
image
area
eye
display area
luminance correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017250651A
Other languages
English (en)
Inventor
佳世子 田中
Kayoko Tanaka
佳世子 田中
相木　一磨
Kazuma Aiki
一磨 相木
洋史 湯浅
Hirofumi Yuasa
洋史 湯浅
中野　聡
Satoshi Nakano
聡 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017250651A priority Critical patent/JP2019118004A/ja
Priority to US16/758,674 priority patent/US11039124B2/en
Priority to CN201880069134.5A priority patent/CN111264057B/zh
Priority to PCT/JP2018/045816 priority patent/WO2019131160A1/ja
Priority to EP18895427.5A priority patent/EP3734969A4/en
Publication of JP2019118004A publication Critical patent/JP2019118004A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにする。【解決手段】本技術の一側面の情報処理装置は、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、左眼用の画像の表示領域に含まれる、右眼用の画像の表示領域と重なる領域である第１の表示領域と、右眼用の画像の表示領域に含まれる、左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を位置情報に基づいて設定する。本技術は、例えば透過型のHMDに適用することができる。【選択図】図９

Description

本技術は、情報処理装置、情報処理方法、および記録媒体に関し、特に、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにした情報処理装置、情報処理方法、および記録媒体に関する。
左眼用と右眼用のそれぞれのディスプレイが設けられたHMD(Head Mounted Display)がある。左眼用のディスプレイに表示する画像と右眼用のディスプレイに表示する画像にオフセットが設定されている場合、ユーザは、両眼の視差により、画像に含まれるオブジェクトの立体視が可能になる。
特許文献１には、広い視野角を確保することを目的として、ユーザの眼の前に配置される左眼用の光学系と右眼用の光学系をそれぞれ外側に傾ける技術が開示されている。
オブジェクトを無理なく融像させるために、光学系を構成するデバイスの配置や画像処理に工夫が必要となる。例えば、左眼用の画像と右眼用の画像のそれぞれの端の一定の範囲に輝度補正を施すことにより、オブジェクトを自然な形で融像させる技術がある。
特開２０１３−２５１０１号公報
オブジェクトの距離を変えて提示する場合において、輝度補正の範囲を提示距離に関わらず一定の範囲とすると、融像や画質に影響を与えてしまうことがある。
本技術はこのような状況に鑑みてなされたものであり、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにするものである。
本技術の一側面の情報処理装置は、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部とを備える。
本技術の一側面においては、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報が取得され、左眼用の画像の表示領域に含まれる、右眼用の画像の表示領域と重なる領域である第１の表示領域と、右眼用の画像の表示領域に含まれる、左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域が位置情報に基づいて設定される。
本技術によれば、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの構成例を示す図である。 オブジェクトの見え方の例を示す図である。 コンテンツの表示例を示す図である。 オブジェクトの見え方の他の例を示す図である。 左眼用画像と右眼用画像の例を示す図である。 HMDの表示方式を模式的に示す平面図である。 輝度補正パターンの例を示す図である。 輝度補正処理の例を示す図である。 オブジェクトの提示距離に応じた輝度補正パターンの変化の例を示す図である。 オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。 オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。 HMDの構成例を示すブロック図である。 出力制御部の機能構成例を示すブロック図である。 左眼用画像と右眼用画像を対象とした処理の例を示す図である。 HMDの表示処理について説明するフローチャートである。 視線非交差方式による左眼用画像と右眼用画像の表示例を示す図である。 視線交差方式による左眼用画像と右眼用画像の表示例を示す図である。 左眼用画像と右眼用画像の他の表示例を示す図である。 左眼用画像と右眼用画像の他の表示例を示す図である。 視線非交差方式における補助画像の表示例を示す図である。 注視距離が近い場合の補助画像の表示例を示す図である。 出力制御部の機能構成例を示すブロック図である。 HMDの視線認識処理について説明するフローチャートである。 HMDの表示処理について説明するフローチャートである。 補助画像の表示例を示す図である。 補助画像の表示例を示す図である。 HMDの表示処理について説明するフローチャートである。 左眼用画像と右眼用画像の例を示す図である。 補助画像の他の表示例を示す図である。 補助画像の他の表示例を示す図である。 補助画像の他の表示例を示す図である。 コンテンツ配信サーバの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態 輝度補正（シェーディング）について
２．第２の実施の形態 補助画像の表示について
両眼視領域と単眼視領域の境界近傍において、単眼視領域側の映像の一部が透明に見える現象や、暗い帯状が見えるLuningと呼ばれる現象が視野闘争によって生じることがある。これらの現象を抑制するために、境界近傍に線状の画像である補助画像を表示する手法が知られている。補助画像を表示することによってLuningを抑制する技術は、例えば軍用航空機のHMDなどで採用されている。
＜＜第１の実施の形態 輝度補正（シェーディング）について＞＞
図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
図１の情報処理システムは、HMD１とコンテンツ配信サーバ２が、インターネットなどのネットワーク３を介して接続されることによって構成される。
図１に示すように、HMD１は、透過型の表示デバイスを備えた眼鏡型のウエアラブル端末である。HMD１は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたコンテンツを受信する。HMD１は、コンテンツを再生し、各種のオブジェクトを含む画像を表示デバイスに表示する。ユーザは、自分の前方の風景に重ねてオブジェクトを見ることになる。
オブジェクトを含む画像の投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。
HMD１が再生するコンテンツは、コンテンツ配信サーバ２から送信されてきたコンテンツに限られるものではない。例えば、HMD１に搭載されたメモリに記憶されたコンテンツがHMD１において再生される。また、ユーザが携帯しているスマートホンやタブレット端末などの携帯端末に記憶されているコンテンツ、あるいはPCに記憶されているコンテンツがHMD１により取得され、再生されるようにしてもよい。
＜コンテンツの投影方式について＞
図２は、オブジェクトの見え方の例を示す図である。
図２に示す横長長方形の範囲は、ユーザが実際に見ている風景の範囲のうち、HMD１によって各種の情報を重ねて表示可能な範囲を示している。実際には、ユーザは、図２に示す範囲よりもさらに広い風景を見ていることになる。
図２の例においては、バイクの画像であるオブジェクトＯが、ユーザの前方の風景に重ねて提示されている。オブジェクトＯは、二次元の画像であってもよいし、立体視が可能な３次元の画像であってもよい。
図３は、図２に示すような風景の見え方を実現するためのコンテンツの表示例を示す図である。
図３のＡは、ユーザの前方に見える風景を示している。図３のＡの例においては、道を挟んで左右に建物が並ぶ風景をユーザは見ていることになる。
このような風景に重ねて、図３のＢに示すようなオブジェクトＯを含む画像が表示され、図３のＣに示すように、図２と同じ、風景の手前にオブジェクトＯが存在する見え方が実現される。図３のＢに示す画像のうち、オブジェクトＯが表示されている部分以外の部分は、透過度が高い部分（画面の見た目上、画像のある部分と比べて完全に風景が透過して見える部分）である。
HMD１は、このようなオブジェクトを、提示距離を様々な距離に設定して提示する。提示距離は、目の位置からオブジェクトの位置までの、ユーザに知覚させる奥行き方向の距離である。
図４は、オブジェクトの見え方の他の例を示す図である。
図４のＡは、提示距離が近い場合のオブジェクトＯの見え方を示す。例えば、図４のＡのオブジェクトＯの提示距離は３０ｃｍである。提示距離が近い場合、図４のＡに示すように、広い範囲を占めるような形でオブジェクトＯが表示される。
図４のＢは、提示距離が例えば２ｍである場合のオブジェクトＯの見え方を示し、図４のＣは、提示距離が例えば１０ｍである場合のオブジェクトＯの見え方を示す。図４のＢおよび図４のＣに示すように、提示距離に応じて、異なる大きさのオブジェクトＯが表示される。
このようなオブジェクトの提示は、左眼用の画像である左眼用画像をユーザの左眼に届け、右眼用の画像である右眼用画像をユーザの右眼に届けることによって行われる。HMD１には、左眼用画像を表示するための表示部と右眼用画像を表示するための表示部が設けられる。
図５は、左眼用画像と右眼用画像の例を示す図である。
図５の例においては、説明の便宜上、オブジェクトの背景にユーザの前方の風景が示されている。それぞれの風景の範囲が異なることは、左眼用画像と右眼用画像が、視差に応じた、異なる視野角を想定した画像であることを示している。左眼用画像に含まれる風景の範囲と、右眼用画像に含まれる風景の範囲は、一部において重複する範囲となる。
左眼用画像におけるオブジェクトＯLの位置と、右眼用画像におけるオブジェクトＯRの位置も、視差に応じて異なる位置となる。
図６は、HMD１の表示方式を模式的に示す平面図である。
図６に示すように、前方の風景と左眼用画像を左眼に導く左眼用光学系１１Ｌと、前方の風景と右眼用画像を右眼に導く右眼用光学系１１Ｒは、ユーザの両眼の中心を通る垂直線に対して外側を向くように、所定の角度をつけた状態で設けられる。後述するように、左眼用光学系１１Ｌと右眼用光学系１１Ｒには、それぞれ、左眼用画像と右眼用画像を表示するための表示部が設けられる。
直線＃１と＃２で示すように、破線の枠Ｆ１で囲んで示す左眼用画像がユーザの左眼に導かれる。また、直線＃１１と＃１２で示すように、一点鎖線の枠Ｆ２で囲んで示す右眼用画像がユーザの右眼に導かれる。
左眼用画像の領域と右眼用画像の領域が重なる領域が、表示内容が両眼に導かれる両眼視領域となる。また、左眼用画像の領域と右眼用画像の領域のうちの、両眼視領域以外の領域が、表示内容が片方の眼に導かれる単眼視領域となる。左眼用画像において、右眼用画像と表示領域が重なる領域である両眼視領域は表示領域全体のうちの右側に形成され、右眼用画像において、左眼用画像と表示領域が重なる領域である両眼視領域は表示領域全体のうちの左側に形成される。
このように、左眼用画像と右眼用画像に視差を設定し、一部の領域において重なるように左眼用画像と右眼用画像を表示することによって、左右で同様の画像を表示する場合と比べて広い視野角を確保することができる。
ここでは、バイクの画像を提示する場合について説明したが、HMD１は、バイクの画像以外の各種の画像をオブジェクトとしてユーザに提示することができる。また、HMD１は、複数のオブジェクトを含む画像を表示することによって、複数のオブジェクトを同時にユーザに提示することができる。
＜輝度補正について＞
HMD１においては、左眼用画像に含まれるオブジェクトと右眼用画像に含まれるオブジェクトが自然な形でつながって認知されるようにするために、それぞれの画像に対していわゆるシェーディングと呼ばれる輝度補正処理が施される。
図７は、輝度補正パターンの例を示す図である。
図７に示すように、左眼用画像の右端から所定の幅の領域が左眼側輝度補正領域として設定される。左眼用画像に対しては、右端に近づくにつれて輝度が徐々に下がるように、グラデーション状の輝度補正パターンに従って輝度補正処理が施される。図７においては、色が濃い部分ほど、その部分の画像の輝度が低くなる（透過度が高くなる）ような処理が施されることを表している。
同様に、右眼用画像の左端から所定の幅の領域が右眼側輝度補正領域として設定される。右眼用画像に対しては、左端に近づくにつれて輝度が徐々に下がるように、グラデーション状の輝度補正パターンに従って輝度補正処理が施される。図７の例においては、左眼側輝度補正領域の幅と右眼側輝度補正領域の幅は同じ幅とされている。
図８は、輝度補正処理の例を示す図である。
図８の上段に示すグラフは、図７の輝度補正パターンを用いて輝度補正を行った場合の輝度の変化を示すグラフである。縦軸は、輝度の補正値を示し、横軸は、表示部上（画像上）の水平方向の位置を示す。
図８の例においては、画像の端に近づくにつれて輝度が直線状に下がるような輝度補正パターンが用いられるものとしているが、輝度が段階的に下がる輝度補正パターンや輝度が曲線状に下がる輝度補正パターンが用いられるようにしてもよい。
このような輝度補正パターンを用いた輝度補正が行われることによって、図８の中段に示すような、輝度補正後の左眼用画像と右眼用画像が生成される。
輝度補正後の左眼用画像に示すように、オブジェクトＯLの輝度補正領域内の部分は、右端に近づくにつれて輝度が徐々に下がる状態になる。図８の例においては、オブジェクトが、人の顔を表すイラストの画像とされている。また、輝度補正後の右眼用画像に示すように、オブジェクトＯRの輝度補正領域の部分は、左端に近づくにつれて輝度が徐々に下がる状態になる。
輝度補正後の左眼用画像が左眼用光学系１１Ｌに設けられた表示部に表示され、右眼用画像が右眼用光学系１１Ｒに設けられた表示部に表示されることにより、図８の下段に示すような、両眼視領域の両端において輝度が補正されたオブジェクトＯが提示される。
図８の下段は、ユーザが認知するオブジェクトＯの状態を示している。左眼用画像の両眼視領域と右眼用画像の両眼視領域を重ねて示した場合、左眼側輝度補正領域の位置は、左眼用画像の右端と右眼用画像との境界を基準として、左眼用画像の両眼視領域内の位置（両眼視領域の内側の位置）となる。また、右眼側輝度補正領域の位置は、右眼用画像の左端と左眼用画像との境界を基準として、右眼用画像の両眼視領域内の位置となる。
輝度補正を行うことによって境界部分の輝度差を抑えた左眼用画像と右眼用画像を表示することにより、２つの画像上のオブジェクトをユーザの眼に適切に融像させることができ、オブジェクトを自然な形で認知させることが可能になる。ここで、融像は、左右の網膜に映った像を融合し、１つの像として認識する働きのことである。
上述したように、HMD１においては、提示距離を様々な距離に設定してオブジェクトの提示が行われる。左眼用画像と右眼用画像の輝度補正に用いられる輝度補正パターンが、オブジェクトの提示距離に応じて切り替えられる。
・輝度補正領域の幅を線形的に変化させる例
図９は、オブジェクトの提示距離に応じた輝度補正パターンの変化の例を示す図である。
図９の下方に示す破線Ｌ１が、提示距離の基準となるユーザの眼の位置を示す。破線Ｌ２は、オブジェクトの提示距離として３５ｃｍを想定した場合の位置を示し、破線Ｌ３は、オブジェクトの提示距離として５ｍを想定した場合の位置を示す。
上述したように、直線＃１と＃２の間の範囲がユーザの左眼に届く光の範囲（左目用画像の範囲）に相当し、直線＃１１と＃１２の間の範囲がユーザの右眼に届く光の範囲（右目用画像の範囲）に相当する。左眼用画像の右端には左眼側輝度補正領域が設定され、右眼用画像の左端には右眼用輝度補正領域が設定される。
斜線を付して示すように、左眼用画像の右端に設定された左眼側輝度補正領域は、オブジェクトの提示距離が長いほど、広い幅（角度）の領域として設定される。また、右眼用画像の左端に設定された右眼側輝度補正領域は、オブジェクトの提示距離が長いほど、広い幅の領域として設定される。図９の例においては、提示距離が３５ｃｍから５ｍまでの範囲において、輝度補正領域の幅が線形的（リニア）に変化する。
図９の右側に示す輝度補正パターンＰ１は、提示距離が３５ｃｍである場合の輝度補正パターンを示す。輝度補正パターンＰ２は、提示距離が５ｍである場合の輝度補正パターンを示す。輝度補正パターンＰ１と輝度補正パターンＰ２から分かるように、オブジェクトの提示距離が５ｍである場合、提示距離が３５ｃｍである場合より広い範囲において輝度補正が行われることになる。
オブジェクトの提示距離に関わらず輝度補正領域の幅を一定とした場合、提示距離が近いときには、両眼視領域に対して輝度補正領域が広すぎることによって左右の画像差が大きくなり、それにより融像が阻害されることがある。オブジェクトの提示距離に応じて輝度補正領域の幅を変化させることにより、HMD１は、オブジェクトの提示距離が近い場合であっても適切に融像させることが可能になる。
・輝度補正領域の幅を段階的に変化させる例
図１０は、オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
図１０の例においては、輝度補正領域の幅が、オブジェクトの提示距離に応じて段階的に変化するものとされている。
例えば、オブジェクトの提示距離が３５ｃｍ以上、１ｍ未満の範囲においては、輝度補正領域の幅が線形的（リニア）に変化する。オブジェクトの提示距離が３５ｃｍである場合に用いられる輝度補正パターンＰ１１は、例えば図９の輝度補正パターンＰ１より細幅の領域を輝度補正領域とする輝度補正パターンである。
オブジェクトの提示距離が１ｍである場合、提示距離が３５ｃｍ以上、１ｍ未満の範囲における輝度補正領域の幅の変化と不連続となる幅の領域が輝度補正領域として設定される。提示距離が１ｍから５ｍまでの範囲においては、輝度補正領域の幅が線形的に変化する。オブジェクトの提示距離が５ｍである場合に用いられる輝度補正パターンＰ１２は、例えば図９の輝度補正パターンＰ２と同じ幅の領域を輝度補正領域とする輝度補正パターンである。
このように、融像が一般的に難しくなる１ｍ未満とそれ以上の２段階で輝度補正領域の幅を切り替えるようにすることも可能である。輝度補正領域の幅の変化が不連続となる提示距離は１ｍ以外の他の距離であってもよい。また、輝度補正領域の幅が、３段階以上の変化を持たせて設定されるようにしてもよい。
図１１は、オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
図１１の例においては、オブジェクトの提示距離が、破線Ｌ１１で示す閾値ＴＨ１、破線Ｌ１２で示す閾値ＴＨ２、破線Ｌ１３で示す閾値ＴＨ３のそれぞれの距離において、輝度補正領域の幅が段階的に変化するものとされている。
このように、HMD１は、各種の提示距離において輝度補正領域の幅を段階的に変化させることが可能である。例えば、オブジェクトの提示距離が３５ｃｍ、５０ｃｍ、７５ｃｍ、１ｍ、２ｍの各距離で輝度補正領域の幅が段階的に切り替えられるようにしてもよい。さらに、３５ｃｍ、５０ｃｍ、１ｍ、２ｍの各距離、３５ｃｍ、５０ｃｍ、２ｍの各距離などの、所定の提示距離の組み合わせを用いて輝度補正領域の幅が切り替えられるようにしてもよい。
オブジェクトの提示距離が２ｍ以上である場合、ユーザの眼の輻輳角が大きく変化しないため、輝度補正領域の幅が一定の幅として設定されるようにしてもよい。輻輳角は、左眼とオブジェクトを結ぶ直線と、右眼とオブジェクトを結ぶ直線とにより形成される角度である。
また、ユーザの眼の輻輳角をモニタリングし、モニタリング値に応じて輝度補正領域の幅が切り替えられるようにしてもよい。例えば、輻輳角が５度以上である場合と５度未満である場合とで輝度補正領域の幅が切り替えられるようにすることが可能である。
さらに、輝度補正領域の幅がユーザの設定に応じて切り替えられるようにしてもよい。この場合、例えば、オブジェクトを徐々に近付けて提示し、融像が難しくなる距離をユーザに設定させる処理が初期設定として行われる。オブジェクトを実際に提示する場合、初期設定時に記録された情報が参照され、ユーザが設定した提示距離の前後で輝度補正領域の幅が段階的に切り替えられる。
このように、各種の方法で輝度補正領域が設定されるようにすることが可能である。
＜HMDの構成＞
図１２は、HMD１の構成例を示すブロック図である。
図１２に示すように、HMD１は、センサ５１、カメラ５２、ユーザ情報取得部５３、周辺情報取得部５４、出力制御部５５、左眼用表示部５６Ｌ、右眼用表示部５６Ｒ、通信部５７、および電源部５８から構成される。センサ５１とカメラ５２については、HMD１に設けられるのではなく、ユーザが持つ携帯端末などの外部の装置に設けられるようにしてもよい。
センサ５１は、加速度センサ、ジャイロセンサ、測位センサなどにより構成される。センサ５１には、ユーザの視線の方向を検出する視線検出デバイス５１Ａも設けられる。センサ５１は、各種の測定結果を表す情報をユーザ情報取得部５３と周辺情報取得部５４に出力する。
カメラ５２は、ユーザの前方の風景を撮影する。カメラ５２は、撮影することによって得られた画像をユーザ情報取得部５３と周辺情報取得部５４に供給する。
ユーザ情報取得部５３は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの位置、ユーザがとっている行動などのユーザの状態を特定する。
また、ユーザ情報取得部５３は、視線検出デバイス５１Ａから供給された情報に基づいて、ユーザがどの被写体を見ているのかを特定する。左眼用画像と右眼用画像を表示することによって提示したオブジェクト、カメラ５２により撮影された画像に写っている被写体などが、ユーザが見ている被写体として特定される。ユーザ情報取得部５３は、ユーザの状態を表す情報と、ユーザが見ている被写体を表す情報を含むユーザ情報を出力制御部５５に出力する。
周辺情報取得部５４は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの周辺の状況を特定する。例えば、カメラ５２により撮影された画像を解析することによって、建物、道路、看板の位置などが特定される。周辺情報取得部５４は、ユーザの周辺の状況を表す周辺情報を出力制御部５５に出力する。
出力制御部５５は、通信部５７から供給されたコンテンツに基づいて、ユーザに提示するオブジェクトを決定する。また、出力制御部５５は、ユーザ情報取得部５３から供給されたユーザ情報と、周辺情報取得部５４から供給された周辺情報に基づいて、オブジェクトの提示位置を決定する。
ゲームなどの所定のアプリケーションの実行中において、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置をオブジェクトの提示位置として決定するような処理が行われる。
出力制御部５５は、通信部５７から供給されたコンテンツに基づいて、オブジェクトを含む左眼用画像と右眼用画像を生成する。また、出力制御部５５は、オブジェクトの提示距離に基づいて設定した輝度補正パターンを用いて、左眼用画像と右眼用画像の輝度補正を行う。
出力制御部５５は、輝度補正を行うことによって得られた左眼用画像を左眼用表示部５６Ｌに出力し、右眼用画像を右眼用表示部５６Ｒに出力する。
左眼用表示部５６Ｌは、左眼用光学系１１Ｌに設けられるディスプレイである。左眼用表示部５６Ｌは、出力制御部５５から供給された左眼用画像を表示する。
右眼用表示部５６Ｒは、右眼用光学系１１Ｒに設けられるディスプレイである。右眼用表示部５６Ｒは、出力制御部５５から供給された右眼用画像を表示する。
通信部５７は、ネットワークのインタフェースである。通信部５７は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたコンテンツを受信する。通信部５７において受信されたコンテンツは、出力制御部５５に供給される。
電源部５８は、バッテリと電源回路から構成される。電源部５８は、駆動に必要な電源を各部に供給する。
図１３は、図１２の出力制御部５５の機能構成例を示すブロック図である。
図１３に示す機能部のうちの少なくとも一部は、例えば、出力制御部５５に設けられるCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。出力制御部５５には、CPUが実行するプログラムなどが記録されるROM(Read Only Memory)、プログラムの実行に用いられるRAM(Random Access Memory)、および、GPU(Graphics Processing Unit)などの構成も設けられる。
図１３に示すように、出力制御部５５は、表示画像取得部８１、表示位置決定部８２、画像生成部８３、制御部８４、輝度補正部８５、および歪み補正部８６から構成される。ユーザ情報取得部５３から出力されたユーザ情報と周辺情報取得部５４から出力された周辺情報は、それぞれ、表示画像取得部８１と表示位置決定部８２に入力される。
表示画像取得部８１は、ユーザ情報により表されるユーザの状態と周辺情報により表される周辺の状況に基づいて、ユーザに提示するオブジェクトを決定する。ユーザに提示するオブジェクトは、通信部５７から供給されたコンテンツに含まれるオブジェクトから選択される。
上述したように、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置に提示するオブジェクトが決定される。表示画像取得部８１は、ユーザに提示するオブジェクトの情報を画像生成部８３と制御部８４に出力する。表示画像取得部８１から出力される情報にはオブジェクトの画像データが含まれる。
表示位置決定部８２は、ユーザ情報と周辺情報に基づいて、オブジェクトの表示位置を決定する。
上述したように、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置がオブジェクトの表示位置として決定される。表示位置決定部８２は、オブジェクトの表示位置を表す情報を画像生成部８３と制御部８４に出力する。
画像生成部８３は、表示画像取得部８１から供給された情報に基づいて、表示位置決定部８２により決定された表示位置に応じた大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。左眼用画像に含まれるオブジェクトと右眼用画像に含まれるオブジェクトには、適宜、視差が設定される。画像生成部８３は、左眼用画像と右眼用画像を輝度補正部８５に出力する。
制御部８４は、表示位置決定部８２により決定された表示位置に基づいて、オブジェクトの提示距離を特定する。オブジェクトの表示位置は、オブジェクトの提示距離と、オブジェクトの画像上の位置により表される。
また、制御部８４は、オブジェクトの提示距離に応じた幅の輝度補正領域を左眼用画像と右眼用画像のそれぞれに設定する。制御部８４は、輝度補正の対象となる輝度補正領域を、オブジェクトの提示距離に基づいて設定する制御部として機能する。
制御部８４は、輝度補正領域の部分において輝度補正を行うための輝度補正パターンを表す情報を輝度補正部８５に出力する。
輝度補正部８５は、画像生成部８３により生成された左眼用画像と右眼用画像に対して、制御部８４により設定された輝度補正パターンに従って輝度補正を施す。輝度補正部８５は、輝度補正を行うことによって得られた輝度補正後の左眼用画像と右眼用画像を歪み補正部８６に出力する。
歪み補正部８６は、輝度補正部８５から供給された輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。歪み補正部８６による歪み補正は、光学系の特性に応じた射影変換などの処理である。歪み補正部８６は、歪み補正後の左眼用画像を左眼用表示部５６Ｌに出力し、右眼用画像を右眼用表示部５６Ｒに出力する。
図１４は、左眼用画像と右眼用画像を対象とした処理の例を示す図である。
図１４に示すように、左眼用画像と右眼用画像に対する輝度補正は、歪み補正の前に行われる。歪み補正の後に輝度補正を行うとした場合、輝度補正領域の設定が複雑になる。歪み補正の前に輝度補正が行われるようにすることにより、輝度補正領域の設定に要する計算量を抑えることができる。
また、歪み補正の前に輝度補正が行われるようにすることにより、画像端から等幅の範囲に輝度補正を施すことができ、これにより、融像しやすい画像を生成することが可能になる。補正すべき歪みが軽微である場合、歪み補正の後に輝度補正が行われるようにしてもよい。
＜HMDの動作＞
ここで、図１５のフローチャートを参照して、以上のような構成を有するHMD１の表示処理について説明する。
ステップＳ１において、周辺情報取得部５４は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの周辺の状況を表す周辺情報を取得する。
ステップＳ２において、ユーザ情報取得部５３は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの状態を表すユーザ情報を取得する。
ステップＳ３において、出力制御部５５の表示画像取得部８１と表示位置決定部８２は、それぞれ、ユーザの周辺の状況を周辺情報に基づいて特定する。また、表示画像取得部８１と表示位置決定部８２は、それぞれ、ユーザの状態をユーザ情報に基づいて特定する。
ステップＳ４において、表示画像取得部８１は、ユーザの状態と周辺の状況に基づいて、ユーザに提示するオブジェクトを決定する。
ステップＳ５において、表示位置決定部８２は、ユーザの状態と周辺の状況に基づいて、オブジェクトの表示位置を決定する。
ステップＳ６において、制御部８４は、ステップＳ５で決定された表示位置に基づいてオブジェクトの提示距離を特定し、提示距離に応じた輝度補正パターンを決定する。輝度補正パターンの決定に際しては、適宜、オブジェクトの形状なども考慮される。提示距離以外の要素に基づいて輝度補正パターンを決定する処理については後述する。
ステップＳ７において、画像生成部８３は、所定の大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。
ステップＳ８において、輝度補正部８５は、輝度補正パターンに従って、左眼用画像と右眼用画像に対して輝度補正を施す。
ステップＳ９において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
ステップＳ１０において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。ここで表示される左眼用画像と右眼用画像は歪み補正後の画像である。左眼用画像と右眼用画像が表示されることによってオブジェクトの提示が行われた後、ステップＳ１に戻り、それ以降の処理が行われる。
HMD１の電源がオンとなり、コンテンツのオブジェクトを提示する所定のアプリケーションが実行されている間、ステップＳ１乃至Ｓ１０の処理が繰り返される。
以上のように、輝度補正の対象となる領域の幅をオブジェクトの提示距離に応じて変化させることにより、HMD１は、オブジェクトをユーザの眼に適切に融像させることができる。
＜変形例＞
・オブジェクトの形状に基づく輝度補正の例
オブジェクトのアスペクト比（縦の長さと横の長さの比）に応じて輝度補正領域の幅が切り替えられるようにしてもよい。
例えば、オブジェクトを囲む矩形領域のアスペクト比が１：２より横長である場合、１：２より縦長である場合より細幅の輝度補正領域が設定される。２：３のアスペクト比を基準として、輝度補正領域の幅が切り替えられるようにしてもよい。
・オブジェクトの大きさに基づく輝度補正の例
オブジェクトの大きさに応じて、輝度補正領域の幅が切り替えられるようにしてもよい。
例えば、オブジェクトの提示距離が近く、オブジェクトが両眼視領域に収まらない場合、両眼視領域に収まる場合より細幅の輝度補正領域が設定される。
表示領域全体の面積に対するオブジェクトの面積の比が４割以上である場合には、４割未満である場合より細幅の輝度補正領域を設定するといったように、オブジェクトの面積の比に応じて輝度補正領域の幅が切り替えられるようにしてもよい。
・オブジェクトの形状と大きさに基づく輝度補正の例
オブジェクトの形状と面積の比を組み合わせて用いて輝度補正領域の幅が切り替えられるようにしてもよい。
例えば、オブジェクトのアスペクト比が１：２より横長であり、かつ、画像全体の面積に対するオブジェクトの面積の比が４割以上である場合に、それらの条件を満たさない場合より細幅の輝度補正領域が設定される。
このように、輝度補正領域の設定は、オブジェクトの提示距離、オブジェクトのアスペクト比、および、画像全体の面積に対するオブジェクトの面積の比のうちの少なくともいずれかに基づいて行われる。
単眼視領域と両眼視領域を跨ぐ部分の表示によって融像のしやすさが変化する。このように、オブジェクトの形状や画像に占める割合に応じて輝度補正領域の幅を変えることにより、より融像のしやすいオブジェクトを提示することが可能になる。
提示距離が異なる複数のオブジェクトを提示する場合、最も近いオブジェクトの形状や大きさに基づいて、輝度補正領域の幅が決定されるようにしてもよい。
・視線非交差方式／視線交差方式による例
図１６は、視線非交差方式による左眼用画像と右眼用画像の表示例を示す図である。
なお、図６等を参照して説明した左眼用画像と右眼用画像の表示方式が視線非交差方式である。図１６の中段に示すように両眼視領域を重ねて配置した場合、視線非交差方式においては、左眼用画像は右眼用画像の左側に配置され、ユーザの左眼に導かれる。また、右眼用画像は左眼用画像の右側に配置され、ユーザの右眼に導かれる。両眼視領域は、左眼用画像においては右端に寄せて形成され、右眼用画像においては左端に寄せて形成される。
視線非交差方式の場合、上述したように、左眼用画像の右端に輝度補正領域が設定され、左眼用画像の輝度補正が行われるとともに、右眼用画像の左端に輝度補正領域が設定され、右眼用画像の輝度補正が行われる。
図１７は、視線交差方式による左眼用画像と右眼用画像の表示例を示す図である。
図１７の中段に示すように両眼視領域を重ねて配置した場合、視線交差方式においては、左眼用画像は右眼用画像の右側に配置され、ユーザの左眼に導かれる。また、右眼用画像は左眼用画像の左側に配置され、ユーザの右眼に導かれる。両眼視領域は、左眼用画像においては左端に寄せて形成され、右眼用画像においては右端に寄せて形成される。
視線交差方式の場合、左眼用画像の左端に輝度補正領域が設定され、左眼用画像の輝度補正が行われるとともに、右眼用画像の右端に輝度補正領域が設定され、右眼用画像の輝度補正が行われる。
このように、オブジェクトの提示方式が視線交差方式であり、左眼用画像の左端と右眼用画像の右端にそれぞれ輝度補正領域が設定される場合も、輝度補正領域の幅が、上述したようにオブジェクトの提示距離に応じて設定される。
なお、視線交差方式の場合、視線非交差方式の場合とは反対に、オブジェクトの提示距離が遠いほど、狭い幅の輝度補正領域が設定される。視線交差方式の場合も、オブジェクトの提示距離に応じて線形的に変化するように、または段階的に変化するように、輝度補正領域の幅が設定される。オブジェクトの提示距離だけでなく、オブジェクトの形状と大きさのうちの少なくともいずれかを用いて輝度補正領域の幅が設定されるようにしてもよい。
これによっても、より融像のしやすいオブジェクトを提示することが可能になる。
・輝度補正領域の設定の他の例
オブジェクトが単眼視領域のみに収まる場合、輝度補正処理が行われないようにしてもよい。これにより、GPUの負荷を低減することが可能になる。
図１８は、左眼用画像と右眼用画像の他の表示例を示す図である。
図１８の左眼用画像においては、オブジェクトが右方に寄せて配置され、オブジェクトの右側の一部が表示領域に収まっていない。左眼用画像に収まっていないオブジェクトの右側の部分は、右眼用画像を用いて提示されることになる。
一方、右眼用画像においては、オブジェクトが表示領域に収まるように配置されている。
この場合、図１８の下段に示すように、両眼視領域の左右の境界のうち、オブジェクトが跨がって表示される右側の境界の内側の領域のみを対象として輝度補正が施される。すなわち、左眼用画像の右端に輝度補正領域が設定され、左眼用画像を対象とした輝度補正が行われるのに対して、右眼用画像を対象とした輝度補正は行われない。
このように、オブジェクトが表示領域の端（左眼用画像の右端、右眼用画像の左端）にかからない場合、その領域を対象とした輝度補正が行われないようにすることが可能である。輝度補正処理は、左眼用画像と右眼用画像のうちの少なくともいずれかに対して行われることになる。
図１９は、左眼用画像と右眼用画像の他の表示例を示す図である。
図１９の例においては、ユーザの利き眼が右眼であるものとする。この場合、例えば初期設定時に利き目の選択が行われ、ユーザの利き目を表す情報がHMD１に記録される。
なお、図１９の例においては、左眼用画像のオブジェクトは右端にかかり、右眼用画像のオブジェクトは左端にかかるものとされている。左眼用画像の右端に輝度補正領域が設定されるとともに、右眼用画像の左端に輝度補正領域が設定され、左眼用画像と右眼用画像のそれぞれに対して輝度補正が施される。
ユーザの利き目が右眼である場合、図１９に示すように、利き目側である右眼用画像に対しては、左眼用画像に設定される輝度補正領域より幅の狭い輝度補正領域が設定される。
一般的に、人の脳内では利き眼側の情報の方が優先されやすい。このように利き眼側の画像の輝度補正領域の幅を狭くすることによっても、近距離でも融像しやすくなるといった効果が期待できる。
＜＜第２の実施の形態 補助画像の表示について＞＞
以下、HMD１における補助画像の表示について説明する。
＜補助画像の表示位置を注視距離に応じて変化させる例＞
図２０は、視線非交差方式における補助画像の表示例を示す図である。
図２０の上段に示すように、左眼用画像と右眼用画像のそれぞれの両眼視領域と単眼視領域の境界には、オブジェクトを含む主画像に重ねて、補助画像が表示される。図２０の例においては、垂直方向の細線が補助画像として表示されている。
両眼視領域の幅は、ユーザの注視距離によって異なる。HMD１においては、ユーザが注視する距離に応じて両眼視領域と単眼視領域の幅が変化し、これに伴って、補助画像の表示位置も調整される。
ユーザがどこに注視しているかは、例えば、左眼用光学系１１Ｌと右眼用光学系１１Ｒの近傍に設けられた視線検出デバイス５１Ａにより検出された視線方向に基づいて特定される。両眼の視線方向に基づいて輻輳角が算出され、算出された輻輳角に基づいてユーザの注視距離が特定される。
図２０は、ユーザの注視距離が、５ｍといったように遠い場合の補助画像の表示位置を示している。例えば、複数のオブジェクトを含む主画像が表示され、５ｍの位置にあるオブジェクトをユーザが注視している場合、図２０に示すような間隔で補助画像が表示される。
なお、図２０の中段においては補助画像の上下に破線が示されているが、この破線は左眼用画像と右眼用画像の表示領域の範囲を示す線であって、主画像に合成される画像を表すものではない。
図２１は、ユーザの注視距離が近い場合の補助画像の表示例を示す図である。
複数のオブジェクトのうち、３５ｃｍといったように近い位置にあるオブジェクトをユーザが注視している場合、図２１に示すように、両眼視領域の幅が図２０の場合より狭くなり、これに伴って補助画像の表示位置も変更される。なお、視線交差方式の場合、ユーザが注視するオブジェクトが近いほど、両眼視領域の幅が広くなる。
ユーザが注視している距離に応じて補助画像の表示位置を変えることにより、オブジェクトの提示距離が上述したように切り替わる場合であっても、視野闘争による弊害を抑制することができる。
なお、図２０、図２１においては、補助画像が黒色の実線として表されているが、透過型のHMDにおいては黒色を表示することができない。補助画像の表示は、実際には、補助画像を示す実線部分の輝度、色度、および彩度のうちの少なくともいずれかを変更することによって実現される。
例えば、元の画像（オブジェクトの画像）のうち、補助画像を表示させる部分である、両眼視領域と単眼視領域の境界の輝度を５０％に減少させることにより、補助画像の表示が実現される。これにより、元の画像の輝度と相関のある輝度の補助画像を表示することになり、視野闘争による弊害を抑制するための十分なコントラストを実現することができる。
HMD１においては、このような補助画像の表示とともに、上述した輝度調整も行われる。
＜HMDの構成＞
図２２は、出力制御部５５の機能構成例を示すブロック図である。
図２２に示す出力制御部５５の構成は、補助画像生成部８３Ａが画像生成部８３に設けられている点を除いて、図１３を参照して説明した構成と同じである。重複する説明については適宜省略する。視線検出デバイス５１Ａにより検出されたユーザの視線方向の情報を含むユーザ情報は、例えば表示位置決定部８２を介して画像生成部８３に入力される。
画像生成部８３は、表示画像取得部８１から供給された画像に基づいて、表示位置決定部８２により決定された表示位置に応じた大きさと形状のオブジェクトを含む左眼用画像と右眼用画像の主画像を生成する。
また、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に、補助画像生成部８３Ａにより生成された補助画像を合成する。画像生成部８３は、補助画像を含む左眼用画像と右眼用画像を輝度補正部８５に出力する。
補助画像生成部８３Ａは、左眼用画像と右眼用画像のそれぞれの両眼視領域と単眼視領域の境界に合成するための補助画像を生成する。補助画像生成部８３Ａにより生成された補助画像が、左眼用画像と右眼用画像のそれぞれの主画像に合成される。
＜HMDの動作＞
ここで、以上のような補助画像が合成された左眼用画像と右眼用画像を表示することによってオブジェクトを提示するHMD１の処理について説明する。
はじめに、図２３のフローチャートを参照して、HMD１の視線認識処理について説明する。図２３の処理は、例えば、図２４を参照して後述する処理と並行して行われる。
ステップＳ５１において、視線検出デバイス５１Ａは、オブジェクトを見ているユーザの視線を認識する。
ステップＳ５２において、補助画像生成部８３Ａは、ユーザの視線の方向に基づいて両眼の輻輳角を検出し、注視距離を特定する。
ステップＳ５３において、補助画像生成部８３Ａは、補助画像の表示位置をユーザの注視距離に基づいて決定する。以上のような処理が、オブジェクトの表示が行われている間繰り返される。
次に、図２４のフローチャートを参照して、HMD１の表示処理について説明する。
図２４の処理は、補助画像の合成が行われる点を除いて、図１５を参照して説明した処理と同様の処理である。
ステップＳ６１乃至Ｓ６７において図１５のステップＳ１乃至Ｓ７の処理と同様の処理が行われた後、ステップＳ６８において、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に補助画像を合成する。
ステップＳ６９において、輝度補正部８５は、輝度補正パターンに従って、補助画像が合成された左眼用画像と右眼用画像に対して輝度補正を施す。
ステップＳ７０において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
ステップＳ７１において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。これにより、両眼視領域と単眼視領域の境界に補助画像が合成された左眼用画像と右眼用画像が表示され、オブジェクトが提示される。
ユーザは、視野闘争による弊害が抑制された形でオブジェクトを見ることができる。
＜補助画像の表示位置をオブジェクトの距離に応じて変化させる例＞
以上においては、ユーザの注視距離を特定して補助画像の表示位置を調整するものとしたが、オブジェクトの提示距離に応じて、補助画像の表示位置が調整されるようにしてもよい。この場合、オブジェクトの提示距離とユーザの注視距離が一致するとの前提で処理が行われることになる。
複数のオブジェクトが提示される場合、最も大きいオブジェクトや画像の中心に最も近いオブジェクトなどの、主となるオブジェクトの提示距離に応じて補助画像の表示位置が調整される。この場合、視線検出デバイス５１Ａは不要となる。
図２５および図２６は、補助画像の表示例を示す図である。
図２５は、主となるオブジェクトの提示距離が遠い場合の補助画像の表示例を示し、図２６は、主となるオブジェクトの提示距離が近い場合の補助画像の表示例を示している。視線交差方式の場合、ユーザが注視するオブジェクトが近いほど、両眼視領域の幅が広くなる。
図２５および図２６に示すように、主となるオブジェクトの提示距離に応じて両眼視領域の幅が変化し、これに伴って補助画像の表示位置が調整される。なお、図２5、図２６に示す補助画像の表示は、図２０、図２１を参照して説明した表示とそれぞれ同じである。
＜HMDの動作＞
図２７のフローチャートを参照して、主となるオブジェクトの提示距離に応じて補助画像の表示位置を調整するHMD１の処理について説明する。
図２７の処理は、補助画像の表示位置をオブジェクトの提示距離に応じて決定する処理が行われる点を除いて、図２４を参照して説明した処理と同様の処理である。ステップＳ８１乃至Ｓ８６において、図２４のステップＳ６１乃至Ｓ６６の処理と同様の処理が行われる。
ステップＳ８７において、画像生成部８３は、補助画像の表示位置を主となるオブジェクトの提示距離に応じて決定する。
ステップＳ８８において、画像生成部８３は、所定の大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。左眼用画像と右眼用画像には、それぞれ、主となるオブジェクトが少なくとも含まれている。
ステップＳ８９において、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に補助画像を合成する。補助画像の合成位置は、主となるオブジェクトの提示距離に応じて設定された両眼視領域と、単眼視領域の境界となる。
ステップＳ９０以降の処理は、図２４のステップＳ６９以降の処理と同様である。すなわち、ステップＳ９０において、輝度補正部８５は、輝度補正パターンに従って、補助画像が合成された左眼用画像と右眼用画像に対して輝度補正を施す。
ステップＳ９１において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
ステップＳ９２において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。これにより、両眼視領域と単眼視領域の境界に補助画像が合成された左眼用画像と右眼用画像が表示され、オブジェクトが提示される。
図２８は、以上の処理により、補助画像の合成とともに輝度調整が行われた左眼用画像と右眼用画像の例を示す図である。
図２８の中段に示すように、左眼用画像のうち、オブジェクトＯLの左眼側輝度補正領域の部分は、右端に近づくにつれて輝度が徐々に下がる状態になる。また、両眼視領域と単眼視領域の境界を跨ぐ、オブジェクトＯL上の位置には補助画像が重ねて表示される。
一方、右眼用画像のうち、オブジェクトＯRの右眼側輝度補正領域の部分は、左端に近づくにつれて輝度が徐々に下がる状態になる。また、両眼視領域と単眼視領域の境界を跨ぐ、オブジェクトＯR上の位置には補助画像が重ねて表示される。
このように、補助画像が合成されるとともに輝度補正が行われた左眼用画像と右眼用画像を表示することにより、視野闘争をより効果的に低減させることが可能となる。
また、補助画像の合成と組み合わせることにより、輝度補正によって輝度を下げるときの補正量を減らすことができ、境界部分の明るさの変化が少ない画像を提示することが可能になる。
図２８の上段に示すように、補助画像の合成と輝度補正とを組み合わせる場合の輝度補正パターンは、表示部の端の部分（左眼用表示部５６Ｌの右端、右眼用表示部５６Ｒの左端）において、図８を参照して説明した、補助画像の合成を行わない場合の補正量と比べて補正量を抑えたパターンになっている。
補助画像の合成と組み合わせた場合には、このように補正量を抑えた輝度補正パターンを用いたとしても、十分な効果を得ることが可能になる。
＜変形例＞
図２９は、補助画像の他の表示例を示す図である。
図２９の例においては、補助画像が破線の画像とされている。このように、実線の画像ではなく、破線などの他の線種の画像を補助画像として用いることが可能である。
図３０は、補助画像の他の表示例を示す図である。
図３０の例においては、補助画像が、矢印形状の画像や星形状の画像とされている。このように、各種の形状のアイコンやマークなどの画像を補助画像として用いることも可能である。補助画像の種類や形状は、オブジェクトの種類に応じて適宜選択される。
以上においては、オブジェクトの大きさが両眼視領域の左右の両方の境界に跨がる大きさである場合について説明したが、左右のいずれかの境界にのみ跨がる大きさである場合、オブジェクトが跨がる境界部分には同様にして補助画像が表示される。
図３１は、補助画像の他の表示例を示す図である。
図３１の例においては、両眼視領域の左端に跨がるようにオブジェクトが配置されている。この場合、図３１の左上に示すように、左眼用画像にのみ補助画像が合成される。補助画像の合成位置は、両眼視領域と単眼視領域の境界の位置である。
このように、補助画像の合成は、両眼視領域と単眼視領域の境界にオブジェクトが跨っている画像に対してのみ行われる。
補助画像として表示される線の輝度をユーザが好みに応じて調整することができるようにしてもよい。また、補助画像の表示／非表示をユーザが選択することができるようにしてもよい。
＜＜その他の例＞＞
左眼用画像と右眼用画像の生成がHMD１により行われるものとしたが、コンテンツ配信サーバ２において行われるようにしてもよい。
図３２は、コンテンツ配信サーバ２の構成例を示すブロック図である。
CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。
また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
図３２に示す構成を有するコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムをRAM１００３にロードして実行することにより、図１３または図２２に示す構成を有する出力制御部５５が実現される。
コンテンツ配信サーバ２において実現される出力制御部５５は、通信部１００９を制御し、HMD１と通信を行う。出力制御部５５は、HMD１から送信されてきたユーザ情報と周辺情報に基づいて左眼用画像と右眼用画像を生成し、HMD１に送信して表示させる。
HMD１においては、コンテンツ配信サーバ２から送信されてきた左眼用画像と右眼用画像が通信部５７により受信され、それぞれ左眼用表示部５６Ｌと右眼用表示部５６Ｒに供給されて表示される。
このように、オブジェクトの提示がコンテンツ配信サーバ２による制御に従って行われるようにすることが可能である。
また、以上においては、HMD１が透過型の表示デバイスを有するARヘッドマウントディスプレイであるものとしたが、非透過型の表示デバイスを有するVRヘッドマウントディスプレイであってもよい。VRヘッドマウントディスプレイに設けられる左眼用と右眼用のそれぞれの表示デバイスも、視野角の拡大のために左右にオフセットが設定された状態で設けられる。
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図３２に示されるリムーバブルメディア１０１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部と
を備える情報処理装置。
（２）
前記輝度補正領域を対象として輝度補正を行う輝度補正部をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記輝度補正部は、前記輝度補正領域の輝度を下げるように輝度補正を行う
前記（２）に記載の情報処理装置。
（４）
前記輝度補正部は、前記輝度補正領域が設定された表示領域の端に近づくにつれて輝度が下がるように輝度補正を行う
前記（２）または（３）に記載の情報処理装置。
（５）
前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の広い前記輝度補正領域を設定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記制御部は、前記第１の表示領域の右端と前記第２の表示領域の左端に前記輝度補正領域を設定する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の狭い前記輝度補正領域を設定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（８）
前記制御部は、前記第１の表示領域の左端と前記第２の表示領域の右端に前記輝度補正領域を設定する
前記（１）乃至（４）、（７）のいずれかに記載の情報処理装置。
（９）
前記制御部は、前記輝度補正領域の幅を、線形的に、または、段階的に変化させる
前記（５）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記制御部は、前記位置情報とともに、前記オブジェクトの形状と大きさのうちの少なくともいずれかを用いて、前記輝度補正領域を設定する
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
輝度補正が行われた前記左眼用の画像と前記右眼用の画像の歪み補正を行う歪み補正部をさらに備える
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（１２）
前記制御部は、両眼視領域となる前記第１の表示領域と前記第２の表示領域の内側に前記輝度補正領域を設定する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記制御部は、前記オブジェクトの位置に応じた幅の前記両眼視領域を設定し、
前記両眼視領域と、前記両眼視領域の外側の領域である単眼視領域との境界を表す所定の画像を生成する画像生成部をさらに備える
前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記オブジェクトを見ている前記ユーザの両眼の輻輳角に応じた幅の前記両眼視領域を設定する
前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記位置情報により表される、前記オブジェクトの奥行き方向の位置に応じた幅の前記両眼視領域を設定する
前記（１３）に記載の情報処理装置。
（１６）
前記画像生成部は、前記オブジェクトに応じて異なる画像を前記所定の画像として生成する
前記（１３）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記画像生成部は、前記オブジェクトの輝度を変化させた画像を前記所定の画像として生成する
前記（１３）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記画像生成部は、前記オブジェクトの色度と彩度のうちの少なくともいずれかを変化させた画像を前記所定の画像として生成する
前記（１３）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置が、
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
情報処理方法。
（２０）
コンピュータに、
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
処理を実行させるためのプログラムが記録された記録媒体。
１ HMD， ５１ センサ， ５１Ａ 視線検出デバイス， ５２ カメラ， ５３ ユーザ情報取得部， ５４ 周辺情報取得部， ５５ 出力制御部， ５６Ｌ 左眼用表示部， ５６Ｒ 右眼用表示部， ５７ 通信部， ５８ 電源部， ８１ 表示画像取得部， ８２ 表示位置決定部， ８３ 画像生成部， ８３Ａ 補助画像生成部， ８４ 制御部， ８５ 輝度補正部， ８６ 歪み補正部

Claims (20)

  1. 左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、
    前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部と
    を備える情報処理装置。
  2. 前記輝度補正領域を対象として輝度補正を行う輝度補正部をさらに備える
    請求項１に記載の情報処理装置。
  3. 前記輝度補正部は、前記輝度補正領域の輝度を下げるように輝度補正を行う
    請求項２に記載の情報処理装置。
  4. 前記輝度補正部は、前記輝度補正領域が設定された表示領域の端に近づくにつれて輝度が下がるように輝度補正を行う
    請求項２に記載の情報処理装置。
  5. 前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の広い前記輝度補正領域を設定する
    請求項１に記載の情報処理装置。
  6. 前記制御部は、前記第１の表示領域の右端と前記第２の表示領域の左端に前記輝度補正領域を設定する
    請求項１に記載の情報処理装置。
  7. 前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の狭い前記輝度補正領域を設定する
    請求項１に記載の情報処理装置。
  8. 前記制御部は、前記第１の表示領域の左端と前記第２の表示領域の右端に前記輝度補正領域を設定する
    請求項１に記載の情報処理装置。
  9. 前記制御部は、前記輝度補正領域の幅を、線形的に、または、段階的に変化させる
    請求項５に記載の情報処理装置。
  10. 前記制御部は、前記位置情報とともに、前記オブジェクトの形状と大きさのうちの少なくともいずれかを用いて、前記輝度補正領域を設定する
    請求項１に記載の情報処理装置。
  11. 輝度補正が行われた前記左眼用の画像と前記右眼用の画像の歪み補正を行う歪み補正部をさらに備える
    請求項２に記載の情報処理装置。
  12. 前記制御部は、両眼視領域となる前記第１の表示領域と前記第２の表示領域の内側に前記輝度補正領域を設定する
    請求項１に記載の情報処理装置。
  13. 前記制御部は、前記オブジェクトの位置に応じた幅の前記両眼視領域を設定し、
    前記両眼視領域と、前記両眼視領域の外側の領域である単眼視領域との境界を表す所定の画像を生成する画像生成部をさらに備える
    請求項１２に記載の情報処理装置。
  14. 前記制御部は、前記オブジェクトを見ている前記ユーザの両眼の輻輳角に応じた幅の前記両眼視領域を設定する
    請求項１３に記載の情報処理装置。
  15. 前記制御部は、前記位置情報により表される、前記オブジェクトの奥行き方向の位置に応じた幅の前記両眼視領域を設定する
    請求項１３に記載の情報処理装置。
  16. 前記画像生成部は、前記オブジェクトに応じて異なる画像を前記所定の画像として生成する
    請求項１３に記載の情報処理装置。
  17. 前記画像生成部は、前記オブジェクトの輝度を変化させた画像を前記所定の画像として生成する
    請求項１３に記載の情報処理装置。
  18. 前記画像生成部は、前記オブジェクトの色度と彩度のうちの少なくともいずれかを変化させた画像を前記所定の画像として生成する
    請求項１３に記載の情報処理装置。
  19. 情報処理装置が、
    左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
    前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
    情報処理方法。
  20. コンピュータに、
    左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
    前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
    処理を実行させるためのプログラムが記録された記録媒体。
JP2017250651A 2017-12-27 2017-12-27 情報処理装置、情報処理方法、および記録媒体 Pending JP2019118004A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017250651A JP2019118004A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法、および記録媒体
US16/758,674 US11039124B2 (en) 2017-12-27 2018-12-13 Information processing apparatus, information processing method, and recording medium
CN201880069134.5A CN111264057B (zh) 2017-12-27 2018-12-13 信息处理装置、信息处理方法和记录介质
PCT/JP2018/045816 WO2019131160A1 (ja) 2017-12-27 2018-12-13 情報処理装置、情報処理方法、および記録媒体
EP18895427.5A EP3734969A4 (en) 2017-12-27 2018-12-13 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND RECORDING MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017250651A JP2019118004A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
JP2019118004A true JP2019118004A (ja) 2019-07-18

Family

ID=67067109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017250651A Pending JP2019118004A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法、および記録媒体

Country Status (5)

Country Link
US (1) US11039124B2 (ja)
EP (1) EP3734969A4 (ja)
JP (1) JP2019118004A (ja)
CN (1) CN111264057B (ja)
WO (1) WO2019131160A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11868524B2 (en) 2020-12-23 2024-01-09 Samsung Electronics Co., Ltd. Augmented reality device and operating method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409112B2 (en) * 2019-07-29 2022-08-09 Lg Electronics Inc. Electronic device using an augmented reality
CN115190284B (zh) * 2022-07-06 2024-02-27 敏捷医疗科技(苏州)有限公司 一种图像处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233458A (en) 1991-07-01 1993-08-03 Kaiser Aerospace And Electronics Corporation Method and apparatus to reduce binocular rivalry in a partial overlap binocular display
JP3269657B2 (ja) * 1992-05-07 2002-03-25 日本電信電話株式会社 両眼立体視装置
JP2849313B2 (ja) 1993-09-21 1999-01-20 キヤノン株式会社 画像記録再生装置
JP2006030600A (ja) 2004-07-16 2006-02-02 Nec Viewtechnology Ltd 多画面表示システム、多画面表示方法、輝度補正方法及びプログラム
JP2006246551A (ja) 2005-02-28 2006-09-14 Nsk Ltd 超音波モータ制御装置、および超音波モータ制御方法
JP4102410B2 (ja) * 2006-04-10 2008-06-18 オリンパス株式会社 立体映像ディスプレイ装置
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP5127317B2 (ja) * 2007-06-25 2013-01-23 三洋電機株式会社 カメラ
WO2012029371A1 (ja) * 2010-08-30 2012-03-08 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2013025101A (ja) 2011-07-21 2013-02-04 Olympus Corp 画像表示装置
TWI533663B (zh) * 2012-01-17 2016-05-11 晨星半導體股份有限公司 立體影像處理裝置及立體影像處理方法
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
JP2015149634A (ja) 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
JP2016130771A (ja) 2015-01-13 2016-07-21 パイオニア株式会社 表示装置、制御方法、プログラム及び記憶媒体
US20180364488A1 (en) 2015-12-28 2018-12-20 Sony Corporation Display device
JP6887824B2 (ja) 2016-05-18 2021-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2017215688A (ja) 2016-05-30 2017-12-07 キヤノン株式会社 画像処理装置、画像処理方法
CN106780330B (zh) * 2016-12-08 2018-05-11 中国人民解放军国防科学技术大学 一种基于彩色与黑白双摄像头的超分辨率重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11868524B2 (en) 2020-12-23 2024-01-09 Samsung Electronics Co., Ltd. Augmented reality device and operating method thereof

Also Published As

Publication number Publication date
CN111264057B (zh) 2021-08-13
US20200359008A1 (en) 2020-11-12
EP3734969A4 (en) 2021-02-17
WO2019131160A1 (ja) 2019-07-04
US11039124B2 (en) 2021-06-15
EP3734969A1 (en) 2020-11-04
CN111264057A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
EP3035681B1 (en) Image processing method and apparatus
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US9280951B2 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
JP2011210027A (ja) 画像処理装置および方法並びにプログラム
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
WO2020115815A1 (ja) ヘッドマウントディスプレイ装置
US20180232945A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
JP2018157331A (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US11543655B1 (en) Rendering for multi-focus display systems
US11237413B1 (en) Multi-focal display based on polarization switches and geometric phase lenses
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP5663854B2 (ja) 表示装置、表示方法、および、プログラム
US20140085434A1 (en) Image signal processing device and image signal processing method
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
US20230118559A1 (en) Information processing apparatus and information processing method
KR20180108314A (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
US20230245280A1 (en) Image processing apparatus, image processing method, and storage medium
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム
JP2010226392A (ja) 撮像装置、観賞用眼鏡および画像出力方法