JP5565258B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5565258B2
JP5565258B2 JP2010229770A JP2010229770A JP5565258B2 JP 5565258 B2 JP5565258 B2 JP 5565258B2 JP 2010229770 A JP2010229770 A JP 2010229770A JP 2010229770 A JP2010229770 A JP 2010229770A JP 5565258 B2 JP5565258 B2 JP 5565258B2
Authority
JP
Japan
Prior art keywords
image
eye
user
eye image
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010229770A
Other languages
English (en)
Other versions
JP2012085106A (ja
Inventor
成司 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010229770A priority Critical patent/JP5565258B2/ja
Priority to US13/247,419 priority patent/US9256069B2/en
Priority to CN201110301366.9A priority patent/CN102447931B/zh
Publication of JP2012085106A publication Critical patent/JP2012085106A/ja
Application granted granted Critical
Publication of JP5565258B2 publication Critical patent/JP5565258B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、例えば3次元像を提示する場合に適用して好適なものである。
従来、視差を有する右眼用画像と左眼用画像とを、対応する観察者の眼に交互に与えることで、該観察者に対して3次元像を提示するといった技術がある(特許文献1,特許文献2参照)。この技術では、映像内の人物が立体的に見ることができるためリアリティ性が高まる。
特開平10−117362号公報 特開2010−193409公報
ところでゲームに関する映像など、ユーザの視点を画像に見立て表示する場合がある。このような場合に、リアリティ性を向上させる一環として、ユーザの視点を画像に見立てたままで、該ユーザがあたかもその場にいるかのような臨場感を与えるといった要請があった。
本発明は以上の点を考慮してなされたもので、リアリティ性を向上し得る画像処理装置、画像処理方法及びプログラムを提案しようとするものである。
かかる課題を解決するため本発明は、画像処理装置であって、ユーザに装着可能なメガネフレームと、メガネフレームに、該メガネフレームが装着されるユーザの前方向に右眼用画像と左眼用画像とを交互に投影可能なように設けられた投影と、メガネフレームに、該メガネフレームが装着されるユーザの右眼及び左眼それぞれの前方に配されるように設けられ、投影部によりユーザの前方向に投影される右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離する分離と、分離部により右眼用画像の投影像及び左眼用画像の投影像を与えるべきユーザの視線方向を検出する視線検出と、右眼用画像及び左眼用画像に対して、視線検出部により検出された視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整する輝度調整とを設けるようにした
また本発明は、画像処理方法であって、投影部がユーザの前方向に右眼用画像左眼用画像とを交互に投影可能なように設けられるとともに、投影部によりユーザの前方向に投影される右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離するための分離部がユーザの右眼及び左眼それぞれの前方に配されるように設けられたメガネフレームを装着したユーザの視線方向を検出する視線検出ステップと、右眼用画像及び左眼用画像に対して、検出した視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整する輝度調整ステップと、メガネフレームが装着されたユーザの前方向に投影部により、画素の輝度値を調整した右眼用画像と左眼用画像とを交互に投影する投影ステップと、分離部により右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離する分離ステップとを有するようにした
また本発明は、プログラムであって、コンピュータに対して、投影部がユーザの前方向に右眼用画像左眼用画像とを交互に投影可能なように設けられるとともに、投影部によりユーザの前方向に投影される右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離するための分離部がユーザの右眼及び左眼それぞれの前方に配されるように設けられたメガネフレームを装着したユーザの視線方向を検出する視線検出ステップと、右眼用画像及び左眼用画像に対して、検出した視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整する輝度調整ステップと、メガネフレームが装着されたユーザの前方向に投影部により、画素の輝度値を調整した右眼用画像と左眼用画像とを交互に投影する投影ステップと、分離部により右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離する分離ステップとを実行させるようにした
発明によれば、投影部がユーザの前方向に右眼用画像と左眼用画像とを交互に投影可能なように設けられるとともに、投影部によりユーザの前方向に投影される右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離するための分離部がユーザの右眼及び左眼それぞれの前方に配されるように設けられたメガネフレームを装着したユーザの視線方向を検出し、右眼用画像及び左眼用画像に対して、当該検出した視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整し、メガネフレームが装着されたユーザの前方向に投影部により、画素の輝度値を調整した右眼用画像と左眼用画像とを交互に投影し、分離部により右眼用画像の投影像と左眼用画像の投影像とをユーザの対応する右眼と左眼とに与えるように分離するようにしたことにより、ユーザに対して、視線方向を中心として着目領域が制限され、夜などの暗い場所などでの実際の視野と近似した3次元像を提示することが可能となり、この結果、リアリティ性を向上し得る画像処理装置、画像処理方法及びプログラムが実現される。
映像提示システムの構成を示す概略図である。 メガネの構成を示す概略図である。 メガネの装着状態を示す概略図である。 画像処理装置の構成を示す概略図である。 CPUの機能的構成を示す概略図である。 視線と、電位差の符号及び大きさとの関係を示す概略図である。 投影像の提示状態例(1)を示す概略図である。 投影像の提示状態例(2)を示す概略図である。 映像提示処理手順を示すフローチャートである。
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
<1.実施の形態>
<2.他の実施の形態>
<1.実施の形態>
3次元映像の提示方式は、時分割方式と偏光方式とに大別される。時分割方式は、視差を有する右眼用画像と左眼用画像とを時系列に沿って交互に投影し、左右の眼に割り当てられる液晶シャッターに対する透過タイミングを切り換えて3次元画像を提示させる方式である。
一方、偏光方式は、互いに偏光方向の異なる右眼用画像と左眼用画像とを時系列に沿って交互に投影し、左右の眼に対して偏光方向が異なる状態として割り当てられるレンズを介して3次元映像を提示させる方式である。
実施の形態として、時分割方式を用いた映像提示システムを一例として挙げる。
[1−1.映像提示システムの構成]
図1に示すように、映像提示システム1は、メガネ10と画像処理装置20とを含む構成とされる。メガネ10と画像処理装置20とは有線又は無線によりデータを授受し得るようになされている。
[1−2.メガネの構成]
メガネ10は、図2又は図3に示すように、フレーム(以下、これをメガネフレームとも呼ぶ)11を有し、該メガネフレーム11の所定位置には、左眼に割り当てるべき液晶シャッターLLと、右眼に割り当てるべき液晶シャッターLRとが設けられる。
メガネフレーム11のうち、液晶シャッターLL,LRに介在するブリッジ部12の上側には投影部13が取り付けられる。投影部13は、液晶面と直交する前方向に向けて像を投影する。またブリッジ部BLPには3軸のジャイロスコープ14が内蔵される。
メガネフレーム11のうち、顔面と対向される側には、左眼の左上側部位に接触される電極(以下、これを左上電極とも呼ぶ)15と、右眼の右下側部位に接触される電極(以下、これを右下電極とも呼ぶ)16とが設けられる。
左上電極15が接触されるべき位置として、メガネフレーム11を装着した装着者の左眉毛の眉尻周辺がより好ましい。一方、右下電極16が接触されるべき位置として、メガネフレーム11を装着した装着者の右眼尻下方が好ましい。
またメガネフレーム11のうち、耳かけ部の内側には、耳付近に接触される電極(以下、これを耳電極とも呼ぶ)1が設けられる。耳電極17が接触されるべき位置として、メガネフレーム11を装着した装着者の右又は左の下方が好ましい。耳朶であればより好ましい。
なお、メガネフレーム11を装着したユーザの各部位に電極15〜17が接触可能であれば、メガネフレーム11と電極15〜17との設置形態は図示した形態に限定されるものではない。
[1−3.画像処理装置の構成]
画像処理装置20は、図4に示すように、該画像処理装置20全体の制御を司るCPU(Central Processing Unit)21に対して各種ハードウェアを接続することにより構成される。
具体的にはROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、操作部24及びインターフェス25などがバス26を介して接続される。
ROM22には、液晶シャッターLL,LR、投影部13、ジャイロスコープ14及び電極15〜17を適宜用いて、3次元像をユーザに提示させるためのプログラムが格納される。
操作部24は、各種操作子を有し、該操作子に対するユーザの操作に応じた命令をCPU21に与えるものである。この命令は、例えば、3次元像に含まれる人又は3次元像自体を奥、手前、左又は右に移動させる、あるいは、3次元像の状態を変更するなど、該3次元像の制御に関する命令である。
インターフェイス25には、液晶シャッターLL,LR、投影部13、ジャイロスコープ14、電極15〜17、記録媒体MRがそれぞれ接続される。記録媒体MRは、例えば、Blu−ray(ブルーレイディスクアソシエーション:登録商標)ディスク、ハードディスク又はメモリカードなどである。
[1−4.映像提示処理]
CPU21は、映像を提示すべき命令が与えられた場合、ROM22に格納されたプログラムをRAM23に展開する。この場合、CPU21は、図5に示すように、プログラムに基づいて映像取得部31、同期信号生成部32、投影制御部33、シャッター制御部34、視線検出部35、輝度調整部36及び傾き調整部37として機能し、3次元像をユーザに提示させる処理を実行する。
映像取得部31は、インターフェイス25を用いて、記媒体MRから有線又は無線の通信路を介して映像データを取得し、これを投影制御部33に送出する。この映像データは、視差の異なる右眼用画像と左眼用画像と単位として、時系列に沿った複数の画像をもつデータである。
同期信号生成部32は、同期の制御に関する信号(以下、これを同期信号と呼ぶ)を生成し、これを投影制御部33、シャッター制御部34、輝度調整部36及び傾き調整部37に送出する。
投影制御部33は、同期信号生成部32から与えられる同期信号にしたがって、映像取得部31から与えられる映像データを構成する複数の右眼用画像と左眼用画像とを、時系列に沿って交互に投影部13から投影させる。
シャッター制御部34は、右眼用画像が右眼に与えられ左眼用画像が左眼に与えられるよう、同期信号生成部32から与えられる同期信号にしたがって、液晶シャッターLL,LRの開閉を交互に切り替える。
視線検出部35では、耳電極17を基準とする左上電極15との電位差および右下電極16との電位差から、視線方向が検出される。
ここで、左の耳朶に基準電極を配置し、左眼の左上及び右眼の右下に検出電極を配置し、様々な方向に視線を移動させた際の、各検出電極と基準電極との電位差、及び検出電極間の電位差を測定した実験結果を図6に示す。
この測定では、視線を正面から左上、右下、***、下中央、右上、左下、右中央、左中央、正面の順に移動させ、それぞれの位置で所定時間だけ視線が停止された。図に示すように、それぞれの方向で視線が停止している際、左検出電極と基準電極との電位差、右検出電極と基準電極との電位差、及び左検出電極と右検出電極との電位差は、視線が停止している方向によって符号及び大きさが異なる。
なお、図6において、視線の移動時にそれぞれの電位差(眼電位に相当)が大きく変化しているのは、視線を移動させているときの筋電位が測定されるためである。筋電位は眼電位に対して約1000倍の大きさであるため、筋電位と眼電位とは容易に区別がつくものである。
視線検出部35は、基準とされる耳電極17と左上電極15との電位差を増幅するとともに、該耳電極17と右下電極16との電位差を増幅し、所定間隔ごとに、増幅した電位差の値と、筋電位とみなすべき最低の値として規定される閾値とを比較する。
耳電極17と左上電極15との電位差(以下、これを左電位差とも呼ぶ)及び耳電極17と右下電極16(以下、これを右電位差とも呼ぶ)との電位差の値がそれぞれ閾値以上であった場合、視線検出部35は視線を検出すべきではないものと判断する。
一方、左電位差及び右電位差の値が閾値未満であった場合、視線検出部35は視線を検出すべきであると判断する。この場合、視線検出部35は、左電位差及び右電位差の符号及び大きさに対応する視線方向を、テーブルを参照して検出する。
具体的には、例えば、9種類の視線方向を検出対象として設定された3段階の大きさである「大」、「中」及び「小」のいずれであるかがそれぞれ判断され、その判断結果と、図に示したような9方向の視線方向での符号及び大きさを示したテーブルとが比較される。因みに9方向とは、「正面」、「***」、「下中央」、「右中央」、「左中央」、「右上」、「右下」、「左上」、「左下」である。
視線検出部35は、視線方向を検出した場合、該視線方向を示すデータ(以下、これを視線データとも呼ぶ)を生成し、これを輝度調整部36に送出する。
輝度調整部36は、視線検出部35から視線データが与えられた場合、同期信号生成部32から与えられる同期信号及び内蔵時計に基づいて、その視線データに示される視線方向が検出された時点に対応する右眼用画像及び左眼用画像を調整対象として認識する。
そして輝度調整部36は、調整対象として認識した右眼用画像及び左眼用画像に対して視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう、該部分における画素の輝度値を所定値未満の値に変更する。
また輝度調整部36は、設定した範囲がその中心から徐々に暗くなるよう、該範囲内における画素の輝度値を、中心から離れるほど当該輝度値に対する引き下げ割合を大きく変更する。
この結果、図7に示すように、ユーザに対して、視線方向を中心として着目領域が制限され、夜などの暗い場所などでの実際の視野と近似した3次元像が提示されることとなる。
傾き調整部37は、メガネフレーム11が適正に装着された状態におけるジャイロスコープ14での計測値を基準データとして取得する。この基準データの取得手法には、例えば、予め記憶されたROM等などから読み出して取得する手法や、メガネフレーム11の装着されたことを検出した時点におけるジャイロスコープ14での計測値を基準データとして生成して取得する手法がある。
傾き調整部37は、基準データを取得すると、該基準データを、ジャイロスコープ14から出力される計測値と定期的に比較し、その比較結果から基準面に対する傾き角を検出する。
ここで、検出した傾き角が、傾きがあるものとして設定される最低値以上となる場合、傾き調整部37は、同期信号生成部32から与えられる同期信号及び内蔵時計に基づいて、その検出した時点に対応する右眼用画像及び左眼用画像を調整対象として認識する。
そして傾き調整部37は、調整対象の右眼用画像及び左眼用画像の傾きを、傾き角が所定の角度未満となるよう補正する。
この結果、図8に示すように、メガネフレーム11を装着するユーザにおける頭の傾きに応じて投影像も傾いてしまうといった事態が回避され、該ユーザに対して、実際の視界状態と一致した3次元像が提示されることとなる。
このようにCPU21は、電極15〜17及びジャイロスコープ14を用いて、暗い場所での実際の視野と近似し、かつ実際の視界状態と一致するよう右眼用画像及び左眼用画像を補正した上で、3次元像を提示できるようになされている。
[1−5.3次元像提示処理手順]
次に上述した3次元像提示処理の手順について図9に示すフローチャートを用いて説明する。CPU21は、映像を提示すべき命令が与えられと、3次元像提示処理を開始しステップSP1に進む。
CPU21は、ステップSP1では、電極15〜17を用いて視線方向を検出するとともに、ジャイロスコープ14を用いて基準面に対する傾き角を検出し、ステップSP2に進む。
CPU21は、ステップSP2では、記録媒体MRから、映像データを構成する1組の右眼用画像と左眼用画像を取得し、ステップSP3に進む。
CPU21は、ステップSP3では、ステップSP1で検出した視線方向と、基準面に対する傾き角に基づいて、ステップSP2で取得した右眼用画像と左眼用画像を補正し、ステップSP4に進む。具体的には、右眼用画像と左眼用画像の輝度値が、ステップSP1で検出した視線方向を基準とする所定範囲が可視化されるよう補正され、右眼用画像と左眼用画像の傾きが、ステップSP1で検出した基準面に対する傾き角との差が所定未満となるよう補正される。
CPU21は、ステップSP4では、ステップSP3で補正した右眼用画像と左眼用画像を交互に投影させるとともに、該投影時期に対応させて液晶シャッターLL,LRの開閉を切り替え、ステップSP5に進む。
CPU21は、ステップSP5では、ステップSP1の検出時点から所定の期間が経過したか否かを判定する。この期間が未経過である場合、CPU21は、ステップSP2に戻って、記録媒体MRから、新たな1組の右眼用画像と左眼用画像を取得する。
これに対して、ステップSP1の検出時点から所定の期間が経過した場合、CPU21はステップSP1に戻って、視線方向と、基準面に対する傾き角を再検出する。
このようにしてCPU21は、映像の提示を終了すべき命令が与えられるまで、記録媒体MRに記憶される映像データに基づいて3次元像を提示するようになされている。
なお、視線が移動していることなどに起因して、ステップSP1において視線方向が非検出となる場合がある。この場合、ステップSP3では、現取得対象である右眼用画像と左眼用画像の輝度値は、当該画像よりも前に取得された右眼用画像と左眼用画像に対して補正された輝度値と同様に補正される。
また、ステップSP1において基準面に対する傾き角が、傾きがあるものとして設定される最低値未満であった場合、ステップSP3では、現取得対象である右眼用画像と左眼用画像の傾きは、当該画像よりも前に取得された右眼用画像と左眼用画像に対して補正された傾きと同様に補正される。
[1−6.効果等]
以上の構成においてこの画像処理装置20は、3次元像を提示すべきユーザの視線方向を検出し、該ユーザの右眼に与えられる右眼用画像と、左眼に与えられる左眼用画像とに対して視線方向を基準とする範囲を設定する。そして画像処理装置20は、設定した範囲外の部分が不可視状態となるよう、該部分における画素の輝度値を調整する。
したがってこの画像処理装置20は、ユーザに対して、視線方向を中心として着目領域が制限され、夜などの暗い場所などでの実際の視野と近似した3次元像を提示することが可能となる。このことは、ゲームに関する3次元像など、画面をユーザの視界と捉えて3次元像を提示する場合などでは特に有用である。
これに加えてこの画像処理装置20は、ジャイロスコープ14での計測値に基づいて基準面に対する傾き角を検出し、該傾き角が所定の角度未満となるよう右眼用画像及び左眼用画像の傾きを調整する。
したがってこの画像処理装置20は、メガネフレーム11を装着するユーザにおける頭の傾きに応じて投影像も傾いてしまうといった事態が回避され、該ユーザに対して、実際の視界状態と一致した3次元像が提示することが可能となる。このことは、観測者に装着されるメガネフレーム11等の装具に対して、該観測者に観測させるべき像を投影する投影部13が設けられている形態の場合、特に有用である。
以上の構成によれば、実際の視野と近似した3次元像や実際の視界状態と一致した3次元像を提示することができるようにしたことにより、リアリティ性を向上し得る画像処理装置20が実現できる。
<2.他の実施の形態>
上述の実施の形態では、右眼用画像と左眼用画像との投影像を対応する眼に分離する手段として、液晶シャッターLL,LRが適用された。しかしながら分離手段はこの実施の形態に限定されるものではない。例えばレンチキュラースクリーンなどの適用が可能である。また時分割方式代えて偏光方式が適用される場合、液晶シャッターLL,LRに代えて液晶レンズ(偏光フィルター)などの適用が可能である。
なお、時分割方式では、投影前の右眼用画像及び左眼用画像の輝度値及び傾きが補正されたが、偏光方式では、液晶レンズの偏光方向を調整することで、投影される右眼用画像及び左眼用画像の輝度値及び傾きが補正される。
また上述の実施の形態では、電極15,16と電極17との電位差から視線方向が検出された。しかしながら視線方向の検出手段はこの実施の形態に限定されるものではない。例えば、右眼用画像及び左眼用画像を与えるべきユーザの眼を撮像する撮像部での撮像結果として得られる画像から視線方向が検出されてもよい。画像からの視線方向の検出手法は、具体例には、例えば瞼に挟まれる眼球領域の中心に対する瞳の中心のずれ量に基づいて視線方向を検出する手法などがある。
また上述の実施の形態では、視線方向を検出対象として、「正面」、「***」、「下中央」、「右中央」、「左中央」、「右上」、「右下」、「左上」、「左下」の9方向が適用された。しかしながら視線方向を検出対象はこの実施の形態に限らず、様々な数を適用することができる。
また上述の実施の形態では、左電位差及び右電位差の大きさが3段階に分類された。しかしながら大きさを分類すべき段数はこの実施の形態に限らず、様々な段数を適用することができる。
また上述の実施の形態では、視線方向を基準とする範囲の形状が円とされた。しかしながら範囲の形状は円に限らず、様々な形状を適用することができる。
また上述した実施の形態では、左電位差及び右電位差の符号及び大きさと、9方向の視線方向での符号及び大きさを示したテーブルとを比較して視線方向が検出された。しかしながら視線方向の検出手法はこの実施の形態に限らず、例えば、左電位差及び右電位差の符号及び大きさから演算により直接的に視線方向を検出する手法などを適用するようにしてもよい。
また上述の実施の形態では、ユーザに装着可能な装着手段(装具)として、メガネフレーム11が適用された。しかしながら装着手段はこの実施の形態に限定されるものではない。例えば、ヘアバンド又は帽子など、様々なものを適用することができる。
また上述した実施の形態では、電極を接触させるべき部位として、左眼の左上及び右眼の右下が適用された。しかしながら電極を接触させるべき部位は、上下方向及び左右方向の視線を検出することができるのであれば、左眼の左上及び右眼の右下に限るものではない。また、眼の近傍に接触させるべき電極数は、左右に1つずつとされたが、2以上とされてもよい。
また上述した実施の形態では、映像提示処理を実行するためのプログラムがROMに格納された。しかしながらプログラムの格納場所はこの実施の形態に限定されるものではない。画像処理装置20の外部又は内部における様々な記憶媒体が適用可能である。
本発明は、ゲーム産業、医療産業などに利用可能性がある。
1……映像提示システム、10……メガネ、11……メガネフレーム、12……ブリッジ部、13……投影部、14……ジャイロスコープ、20……画像処理装置、21……CPU、22……ROM、23……RAM、24……操作部、25……インターフェース、31……映像取得部、32……同期信号生成部、33……投影制御部、34……シャッター制御部、35……視線検出部、36……輝度調整部、37……傾き調整部、LL,LR……液晶シャッター。

Claims (7)

  1. ユーザに装着可能なメガネフレームと、
    上記メガネフレームに、該メガネフレームが装着される上記ユーザの前方向に右眼用画像と左眼用画像とを交互に投影可能なように設けられた投影と、
    上記メガネフレームに、該メガネフレームが装着される上記ユーザの右眼及び左眼それぞれの前方に配されるように設けられ、上記投影部により上記ユーザの上記前方向に投影される上記右眼用画像の投影像と上記左眼用画像の投影像とを上記ユーザの対応する上記右眼と上記左眼とに与えるように分離する分離と、
    上記分離部により上記右眼用画像の投影像及び上記左眼用画像の投影像を与えるべき上記ユーザの視線方向を検出する視線検出と、
    上記右眼用画像及び上記左眼用画像に対して、上記視線検出部により検出された上記視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整する輝度調整
    を有する画像処理装置。
  2. メガネフレームに設けられるジャイロスコープと、
    上記ジャイロスコープでの計測値に基づいて基準面に対する傾き角を検出し、該傾き角が所定の角度未満となるよう上記右眼用画像及び上記左眼用画像の傾きを調整する傾き調整
    をさらに有する請求項1に記載の画像処理装置。
  3. 上記輝度調整は、
    上記範囲が上記基準から徐々に暗くなるよう、該範囲内における上記画素の輝度値を調整する
    請求項1又は請求項2の何れかに記載の画像処理装置。
  4. 上記分離
    1対の液晶シャッターであ
    請求項1、請求項2又は請求項3の何れかに記載の画像処理装置。
  5. 上記メガネフレームに設けられ、該メガネフレームが装着される上記ユーザの上記右眼と、上記左眼とで上下方向及び左右方向の異なる位置に配される2つの電極と、
    基準とされる電位を測定する基準電極と
    をさらに具え、
    上記視線検出部は、
    上記電極と上記基準電極との電位差から上記ユーザの上記視線方向を検出する
    請求項1、請求項2、請求項3又は請求項4の何れかに記載の画像処理装置。
  6. 投影部がユーザの前方向に右眼用画像左眼用画像とを交互に投影可能なように設けられるとともに、上記投影部により上記ユーザの上記前方向に投影される上記右眼用画像の投影像と上記左眼用画像の投影像とを上記ユーザの対応する右眼と左眼とに与えるように分離するための分離部が上記ユーザの上記右眼及び上記左眼それぞれの前方に配されるように設けられたメガネフレームを装着した上記ユーザの視線方向を検出する視線検出ステップと、
    上記右眼用画像及び上記左眼用画像に対して、上記検出した上記視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整する輝度調整ステップと、
    上記メガネフレームが装着された上記ユーザの前方向に上記投影部により、上記画素の輝度値を調整した上記右眼用画像と上記左眼用画像とを交互に投影する投影ステップと、
    上記分離部により上記右眼用画像の投影像と上記左眼用画像の投影像とを上記ユーザの対応する上記右眼と上記左眼とに与えるように分離する分離ステップと
    を有する画像処理方法。
  7. コンピュータに対して、
    投影部がユーザの前方向に右眼用画像左眼用画像とを交互に投影可能なように設けられるとともに、上記投影部により上記ユーザの上記前方向に投影される上記右眼用画像の投影像と上記左眼用画像の投影像とを上記ユーザの対応する右眼と左眼とに与えるように分離するための分離部が上記ユーザの上記右眼及び上記左眼それぞれの前方に配されるように設けられたメガネフレームを装着した上記ユーザの視線方向を検出する視線検出ステップと、
    上記右眼用画像及び上記左眼用画像に対して、上記検出した上記視線方向を基準とする範囲を設定し、その範囲外の部分が不可視状態となるよう画素の輝度値を調整する輝度調整ステップと、
    上記メガネフレームが装着された上記ユーザの前方向に上記投影部により、上記画素の輝度値を調整した上記右眼用画像と上記左眼用画像とを交互に投影する投影ステップと、
    上記分離部により上記右眼用画像の投影像と上記左眼用画像の投影像とを上記ユーザの対応する上記右眼と上記左眼とに与えるように分離する分離ステップ
    を実行させるプログラム。
JP2010229770A 2010-10-12 2010-10-12 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5565258B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010229770A JP5565258B2 (ja) 2010-10-12 2010-10-12 画像処理装置、画像処理方法及びプログラム
US13/247,419 US9256069B2 (en) 2010-10-12 2011-09-28 Image processing apparatus image processing method and program using electrodes contacting a face to detect eye gaze direction
CN201110301366.9A CN102447931B (zh) 2010-10-12 2011-09-30 图像处理装置、图像处理方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010229770A JP5565258B2 (ja) 2010-10-12 2010-10-12 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012085106A JP2012085106A (ja) 2012-04-26
JP5565258B2 true JP5565258B2 (ja) 2014-08-06

Family

ID=45924819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010229770A Expired - Fee Related JP5565258B2 (ja) 2010-10-12 2010-10-12 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9256069B2 (ja)
JP (1) JP5565258B2 (ja)
CN (1) CN102447931B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
CN102759848B (zh) * 2012-06-11 2015-02-04 海信集团有限公司 一种投影显示***、投影设备及投影显示方法
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
CN103605199B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 成像装置及方法
CA2941306C (en) * 2014-03-03 2020-04-28 Eyeway Vision Ltd. Eye projection system
JP6454851B2 (ja) * 2014-08-07 2019-01-23 フォーブ インコーポレーテッド 3次元上の注視点の位置特定アルゴリズム
WO2017047132A1 (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP6714402B2 (ja) * 2016-03-18 2020-06-24 国立大学法人大阪大学 眼疲労検査装置及び眼疲労検査方法
JP6389208B2 (ja) 2016-06-07 2018-09-12 株式会社カプコン ゲームプログラム及びゲーム装置
CN106231291B (zh) * 2016-07-18 2018-03-30 杭州当虹科技有限公司 一种基于虚拟现实视频的影片故事回溯方法
KR101812249B1 (ko) * 2016-08-10 2017-12-27 인제대학교 산학협력단 사시 자동측정기구
CN108804975A (zh) * 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
CN110824611B (zh) * 2019-11-21 2021-02-05 歌尔股份有限公司 均匀性补偿方法、光波导***及增强现实设备
CN114339037A (zh) * 2021-12-23 2022-04-12 臻迪科技股份有限公司 一种自动对焦的方法、装置、设备和存储介质

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1572492A1 (ru) * 1984-04-02 1990-06-23 Mo Nii Microchirurg Cпocoб abtomatичeckoй oбpaбotkи элektpookулoгpaфичeckиx cигhaлob
JPS6483424A (en) * 1987-09-25 1989-03-29 Honda Motor Co Ltd Indicator for vehicle
US5297550A (en) * 1992-08-06 1994-03-29 Picker International, Inc. Background darkening of magnetic resonance angiographic images
US6198484B1 (en) * 1996-06-27 2001-03-06 Kabushiki Kaisha Toshiba Stereoscopic display system
JP3504111B2 (ja) * 1996-06-27 2004-03-08 株式会社東芝 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JPH10117362A (ja) 1996-08-23 1998-05-06 Shinko Koki Seisakusho:Kk 立体視映像表示装置
JPH10282877A (ja) * 1997-04-08 1998-10-23 Canon Inc 画像生成方法、画像生成装置、シュミレーションシステム、及び記憶媒体
JP2000013818A (ja) * 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
US7312765B2 (en) * 1998-08-05 2007-12-25 Microvision, Inc. Display system and method for reducing the magnitude of or eliminating a visual artifact caused by a shift in a viewer's gaze
DE19962491A1 (de) * 1999-12-23 2001-07-05 Daimler Chrysler Ag Verfahren zur optischen Überwachung der Umgebung eines sich bewegenden Fahrzeugs
JP2001339742A (ja) * 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
JP3878401B2 (ja) * 2000-09-14 2007-02-07 シャープ株式会社 画像処理装置、画像処理方法およびそれを記録した記録媒体
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US8083376B2 (en) * 2002-11-04 2011-12-27 Tseng-Lu Chien LED power failure light
US6966882B2 (en) * 2002-11-25 2005-11-22 Tibion Corporation Active muscle assistance device and method
US7834890B2 (en) * 2003-10-17 2010-11-16 Canon Kabushiki Kaisha Information processing method and image processing method
US20050237485A1 (en) * 2004-04-21 2005-10-27 Blum Ronald D Method and apparatus for correcting vision
JP4642400B2 (ja) * 2004-07-20 2011-03-02 オリンパス株式会社 情報表示システム
US7131319B2 (en) * 2004-09-10 2006-11-07 Chip Ganassi Racing Teams, Inc. Method and apparatus for testing a moving vehicle
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP2006133665A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 立体画像表示装置
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
JP5036177B2 (ja) * 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
WO2007117485A2 (en) * 2006-04-03 2007-10-18 Sony Computer Entertainment Inc. Screen sharing method and apparatus
US7693341B2 (en) * 2006-04-21 2010-04-06 Apple Inc. Workflows for color correcting images
JP4688739B2 (ja) * 2006-05-02 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 情報表示装置
US8487775B2 (en) * 2006-06-11 2013-07-16 Volvo Technology Corporation Method and apparatus for determining and analyzing a location of visual interest
US7952581B2 (en) * 2007-03-26 2011-05-31 Microsoft Corporation Realistic transformation of 3D lighting models
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
JP5086711B2 (ja) * 2007-07-11 2012-11-28 シャープ株式会社 映像表示装置
JP4760799B2 (ja) * 2007-08-07 2011-08-31 ソニー株式会社 液晶プロジェクタおよび液晶プロジェクタの制御方法
JP4458151B2 (ja) * 2007-11-06 2010-04-28 ソニー株式会社 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8357101B2 (en) * 2008-05-20 2013-01-22 Panasonic Corporation Electro-oculography apparatus, imaging apparatus, electro-oculography method, program, and integrated circuit
EP2297694B1 (en) * 2008-06-13 2014-10-01 Imax Corporation Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
KR101482125B1 (ko) * 2008-09-09 2015-01-13 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5402070B2 (ja) 2009-02-20 2014-01-29 株式会社ニコン 画像提示システム、画像処理装置、プログラムおよび画像提示方法
US8866841B1 (en) * 2009-04-03 2014-10-21 Joshua Distler Method and apparatus to deliver imagery with embedded data
WO2010137408A1 (ja) * 2009-05-26 2010-12-02 日産自動車株式会社 車両の制御装置および制御方法
WO2010138128A1 (en) * 2009-05-29 2010-12-02 Hewlett-Packard Development Company, Lp Multi-projector system and method
JP5775074B2 (ja) * 2009-07-07 2015-09-09 トムソン ライセンシングThomson Licensing 3次元(3d)投影用の明度補正のための方法及びシステム
US20110149098A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Image processing apparutus and method for virtual implementation of optical properties of lens
US8471890B1 (en) * 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
JP4951076B2 (ja) * 2010-03-05 2012-06-13 株式会社東芝 表示装置、システム、及びメガネに関する
US8954885B2 (en) * 2010-10-05 2015-02-10 Fergason Patent Properties, Llc Display system using metadata to adjust area of interest and method

Also Published As

Publication number Publication date
US9256069B2 (en) 2016-02-09
JP2012085106A (ja) 2012-04-26
US20120086788A1 (en) 2012-04-12
CN102447931B (zh) 2015-07-22
CN102447931A (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
JP5565258B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5538483B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP6020923B2 (ja) 焦点可変レンズを有するビューア、および映像表示システム
JP6026836B2 (ja) 画像表示装置、制御方法、プログラム及び記憶媒体
WO2012160741A1 (ja) 視覚疲労度測定装置、その方法、視覚疲労度測定システムおよび3次元メガネ
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
KR20160067045A (ko) 안구추적을 기반으로 한 홀로그램 디스플레이 방법 및 홀로그램 디스플레이 장치
CN104076512A (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6332392B2 (ja) 眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ選択装置および眼鏡レンズ選択方法
JP6515542B2 (ja) 眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラム
JP7218376B2 (ja) 視線追跡方法および装置
WO2012160745A1 (ja) 立体映像提供装置及びその方法
KR101467529B1 (ko) 착용형 정보 제공 시스템
US11835737B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
JP5096643B1 (ja) 輻輳能力判定装置及びその方法
US20240134191A1 (en) Monovision display for wearable device
JP6500570B2 (ja) 画像表示装置および画像表示方法
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
JP2012244466A (ja) 立体画像処理装置
KR20140115637A (ko) 다수 사용자에 입체 영상을 제공하는 시스템 및 그 방법
KR20220002280A (ko) 자연스럽게 바라보는 자세로 있는 대상자의 머리에 대한 유향 3d 표현을 구현하는 방법
US11740478B2 (en) Display device, control method thereof, and recording medium
US20230393655A1 (en) Electronic apparatus
US11159777B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140602

R151 Written notification of patent or utility model registration

Ref document number: 5565258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees