JPWO2012160745A1 - 立体映像提供装置及びその方法 - Google Patents

Abstract

立体映像提供装置は、立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測部（１００４）と、同一の立体映像を見ているユーザの人数を判定する利用人数判定部（２００４）と、利用人数判定部（２００４）が同一の立体映像を見ているユーザの人数が複数であると判定した場合に、複数のユーザの眼球運動を比較することにより、複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定部（２００５）とを備える。

Description

本発明は、右眼用と左眼用の映像を画面に表示し、右眼と左眼の眼鏡の透過度を制御可能な眼鏡をユーザが装着することにより、ユーザに立体映像を視聴可能とする立体映像提供装置に関する。

平面ディスプレイ上に表示した映像を、ユーザが立体的な映像として視聴可能にする方法として、両眼視差を利用した方法がある。これは人の右眼と左眼は離れた位置にあり、それぞれの眼に入る映像は視点が異なるため、人が奥行きを感じることを利用した方法である。

両眼視差を利用した方法では、ユーザの右眼と左眼に対して異なる映像を表示することでユーザの脳の中で立体を感じさせることができる。しかしながら、このような現実とは異なる方法による立体視は視覚疲労や不快感をユーザに与える可能性がある。

そこで、両眼の疲労による両眼の視覚機能の疲労度を推定し、推定された疲労度に応じて立体度（立体度合いを示す値）を調整する立体映像表示装置が提案されている（例えば、特許文献１参照）。

また、フレームシーケンシャル方式で提示されている３Ｄ映像を見るための眼鏡において、ユーザが眼鏡の液晶シャッターの切替タイミングを切り替えることにより、３Ｄ映像が表示画面には提示されているが、ユーザは２Ｄ映像を見ることができるシステムが提案されている（例えば、特許文献２参照）。

特開平９−１８８９４号公報 実用新案登録第３１５９９６２号公報

特許文献１では、ユーザの眼球の輻輳運動回数の積算値や左右の眼の輻輳運動の違いから、ユーザの疲労度を判定し、立体度合いを変更する。しかしながら、立体度合いを変更しなくてはならないユーザの状態は、眼球の輻輳運動による疲労状態のみならず、そもそも立体視ができていない状態や、正しい位置から立体映像を見ていない状態もある。さらに、特許文献１では映像表示部において、立体度合いを調整するため、複数人数で同一の立体映像を見ていた場合、全てのユーザに対する立体度合いを変更してしまう。このため、立体視による疲労がないユーザに対しても立体度合いを変更してしまうという問題がある。また、特許文献１では、例えば、疲労度を輻輳運動回数の積算値により判断しているが、どの程度立体視を見れば疲労するかというのはユーザ毎に異なり、同一ユーザにおいても体調などにより変化するため、固定の値との比較によりユーザの疲労度を正しく判定することは困難である。

特許文献２では眼鏡において立体視と平面視の切り替えを可能とするため、複数人数で同一の立体映像を見ている場合でも、例えば疲労を感じたユーザのみが立体映像を平面映像に切り替えて映像を見ることができる。しかしながら、その切り替えは手動で行うため、疲労を自覚しないと切替できないため、自覚がないが平面映像に切り替えた方が良い場合に切り替えが行えない。例えば、疲労を感じていないが正しく立体視できていない場合や正しい位置から立体映像を見ていない場合、また、眼球運動能力が低下しており、やがて疲労を感じるであろうという場合においても切り替えができない。

本発明は上記課題を解決するためになされたものであり、同一の立体映像を見ている複数のユーザのうち、眼球運動が不具合状態にあるユーザのみに対して、メッセージの伝達、またはユーザの視聴映像を立体映像から平面映像に切り替えることを可能とする立体映像提供装置を提供することを目的とする。

本発明のある局面に係る立体映像提供装置は、左眼用映像および右眼用映像の表示タイミングと同期させて、ユーザが装着している立体視用の眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉を制御することにより、前記ユーザに立体映像を提供する立体映像提供装置であって、立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測部と、同一の立体映像を見ているユーザの人数を判定する利用人数判定部と、前記利用人数判定部が前記同一の立体映像を見ているユーザの人数が複数であると判定した場合に、複数のユーザの眼球運動を比較することにより、前記複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明によると、同一の立体映像を見ている複数のユーザのうち、眼球運動が不具合状態にあるユーザのみに対して、メッセージの伝達、またはユーザの視聴映像を立体映像から平面映像に切り替えることを可能とする立体映像提供装置を提供することができる。

図１は、立体視を可能とする眼鏡制御原理を説明するための図である。 図２は、立体視から平面視への切り替えを可能とする眼鏡制御原理を説明するための図である。 図３は、本発明の実施形態における眼鏡制御後のユーザの視聴映像に関する説明図である。 図４Ａは、ユーザの眼球運動における輻輳角について説明するための図である。 図４Ｂは、ユーザの眼球運動における輻輳角について説明するための図である。 図５は、表示物体の位置が異なるときの眼球状態を示す図である。 図６は、本発明の実施の形態における立体映像提供装置に含まれる映像表示装置、眼鏡装置及び不具合状態判定装置の機能的な構成を示すブロック図である。 図７は、本発明の実施の形態に係る眼鏡装置の基本処理を示すフローチャートである。 図８Ａは、眼電位計測用の立体視用眼鏡の一例を示す図である。 図８Ｂは、眼球撮影用の立体視用眼鏡の一例を示す図である。 図８Ｃは、図８Ｂの眼鏡部分を取り除き横から見た図である。 図９は、眼球の電池モデルを説明するための図である。 図１０は、眼球運動記憶部に記憶されるデータの具体例を示す図である。 図１１は、計測された眼電位データの具体例を示す図である。 図１２は、眼鏡に設置されたカメラにより撮像された画像の一例を示す図である。 図１３は、眼球運動算出結果情報の一例を示す図である。 図１４は、ユーザの両眼の瞳孔中心位置の時間変化と輻輳量の時間変化を示すグラフである。 図１５は、ユーザに対して行った実験を説明するための図である。 図１６は、眼球運動送信部が送信するデータの一例を示す図である。 図１７は、本発明の実施の形態に係る不具合状態判定装置の基本処理を示すフローチャートである。 図１８は、眼鏡別眼球運動記憶部に記憶されるデータの具体例を示す図である。 図１９Ａは、正しくコンテンツを立体視できているユーザの眼球運動の計測結果の一例を示す図である。 図１９Ｂは、疲労のため部分的に立体視できていないユーザの眼球運動の計測結果の一例を示す図である。 図１９Ｃは、全く立体視できていないユーザの眼球運動の計測結果の一例を示す図である。 図２０は、ユーザの視聴位置に関する説明図である。 図２１は、ユーザの視聴位置に関する説明図である。 図２２は、映像表示部とユーザとの間の距離の違いによる眼球状態の違いを示す図である。 図２３は、映像表示部に対するユーザの角度の違いによる眼球状態の違いを示す図である。 図２４は、ユーザの視聴位置に関する説明図である。 図２５Ａは、ユーザの不具合状態が検出された場合に映像表示部に表示されるメッセージの一例を示す図である。 図２５Ｂは、ユーザの不具合状態が検出された場合に映像表示部に表示されるメッセージの一例を示す図である。 図２６は、映像表示装置上に不具合状態判定装置が実装されている場合の信号の流れを示す図である。 図２７は、眼鏡装置上に不具合状態判定装置が実装されている場合の信号の流れを示す図である。 図２８は、本発明の実施の形態の変形例における眼鏡装置の機能的な構成を示すブロック図である。 図２９は、本発明の実施の形態の変形例に係る眼鏡装置の基本処理を示すフローチャートである。 図３０は、本発明の実施の形態の変形例に係る制御タイミング決定部の基本処理を示すフローチャートである。 図３１は、本発明の実施の形態の変形例における立体映像提供装置に含まれる映像表示装置及び眼鏡装置の機能的な構成を示すブロック図である。 図３２は、本発明の必須の構成要素から構成される立体映像提供装置の機能的な構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

本発明の一態様に係る立体映像提供装置は、左眼用映像および右眼用映像の表示タイミングと同期させて、ユーザが装着している立体視用の眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉を制御することにより、前記ユーザに立体映像を提供する立体映像提供装置であって、立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測部と、同一の立体映像を見ているユーザの人数を判定する利用人数判定部と、前記利用人数判定部が前記同一の立体映像を見ているユーザの人数が複数であると判定した場合に、複数のユーザの眼球運動を比較することにより、前記複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定部とを備える。

この構成によると、他のユーザの眼球運動と異なる眼球運動を行うユーザを、眼球運動が不具合状態にあるユーザと判定することができる。このため、同一の立体映像を見ている複数のユーザのうち、眼球運動が不具合状態にあるユーザのみに対して、メッセージの伝達、またはユーザの視聴映像を立体映像から平面映像に切り替えることを可能とすることができる。

なお、本発明に開示される立体映像提供装置は、立体映像のみならず、静止画などの立体画像にも適用可能である。

また、上述の立体映像提供装置は、さらに、前記不具合状態判定部で不具合状態にあると判定されたユーザが装着している眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉制御を、前記左眼用シャッターおよび前記右眼用シャッター同時に開閉させる制御に変更することにより、右眼用映像および左眼用映像のいずれか一方の映像のみをユーザに提供する制御変更部を備えていても良い。

この構成によると、不具合状態にないユーザの視聴映像は立体映像のままで、不具合状態にあるユーザの視聴映像を立体映像から平面映像に切り替えることができる。

また、上述の立体映像提供装置は、さらに、前記不具合状態判定部で不具合状態にあると判定されたユーザの眼球運動の輻輳量が所定の輻輳量閾値よりも小さいタイミングにおいて、前記制御変更部に対して、当該ユーザが装着している眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉制御を、前記左眼用シャッターおよび前記右眼用シャッター同時に開閉させる制御に変更させる制御タイミング決定部を備えていても良い。

この構成によると、眼球運動の輻輳量が所定の輻輳量閾値よりも小さいタイミングにおいて、不具合状態にあるユーザの視聴映像を立体映像から平面映像に切り替えることができる。これにより、ユーザにとって違和感なく立体映像から平面映像への変更が可能となる。

また、前記不具合状態判定部は、所定期間における複数のユーザの眼球運動の輻輳量を比較し、所定数以上の他のユーザの眼球運動の輻輳量よりも、輻輳量が小さいユーザを、立体視ができていない不具合状態にあるユーザとして判定しても良い。

他のユーザは正しく立体視を行えているにも関わらず、自分だけが立体視を行えていない場合には、他のユーザの眼球運動の輻輳量よりも輻輳量が小さくなる。このため、この構成によると、正しく立体視が行えていない状態をユーザの不具合状態として判定することができる。

また、前記不具合状態判定部は、同一時刻の前記複数のユーザの眼球運動の輻輳量を比較し、他のいずれかのユーザの眼球運動の輻輳量に対して輻輳量が所定値以上大きいユーザを、前記右眼用映像および前記左眼用映像の表示画面に近づきすぎている不具合状態にあるユーザとして判定しても良い。

本来の視聴位置に比べて表示画面に近付きすぎている場合には、輻輳量が大きくなる。このため、この構成によると、表示画面に近付きすぎている状態をユーザの不具合状態として判定することができる。

また、前記不具合状態判定部は、ユーザ間で同一期間における眼球運動の輻輳量の積算値を比較し、他のいずれかのユーザの積算値よりも積算値が所定値以上小さいユーザを、疲れている不具合状態にあると判定しても良い。

疲労により正しく立体視できない場合は通常、正しく立体視できている眼球運動の輻輳量よりも、部分的に小さな輻輳量となってしまう。このため、この構成によると、疲れている状態をユーザの不具合状態として判定することができる。

また、前記不具合状態判定部は、ユーザ間で同一期間における眼球運動の反応速度を比較し、他のいずれかのユーザの反応速度よりも反応速度が所定値以上小さいユーザを、疲れている不具合状態にあると判定しても良い。

疲労により正しく立体視できない場合は通常、正しく立体視できている眼球運動の反応速度よりも、小さな反応速度となってしまう。このため、この構成によると、疲れている状態をユーザの不具合状態として判定することができる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

立体映像をユーザに提供する装置の一つに、図１に示すように、ディスプレイ上に右眼用と左眼用の映像を交互に表示し（以後このような映像を「立体映像」と記述）、立体視用の液晶シャッター眼鏡（以下、適宜「眼鏡」という）が立体映像の表示に同期して左右交互に映像を通過させることで、ユーザに左右の眼に対応した映像を提供する装置がある（フレームシーケンシャル方式）。つまり、左眼には左眼用映像が表示され、右眼には右眼用映像が表示されるようにシャッター眼鏡のシャッターの同期制御が行われる。

本実施の形態における立体映像提供装置は、そのような立体映像装置において、（ｉ）ユーザが疲労を起こしている、（ｉｉ）視聴位置や映像に不備があり、立体視によりユーザに疲労などを与える可能性がある、または、（ｉｉｉ）立体映像を表示しているにも関わらず立体視ができていない、などと判定（以後、「不具合状態にあると判定」と記述）した場合に、例えば、液晶シャッター眼鏡を図２のように、両眼に左右どちらかの映像を見せるように制御することで立体映像から平面映像の視聴に切り替える。

ここで、同一立体視に対しても各ユーザによって見え方や疲労の進行度合いが異なる。このため、本実施の形態では、複数のユーザが眼鏡を使って立体映像を視聴していた場合に、各ユーザの眼球運動を比較する。比較結果に基づいて、不具合状態にあるユーザを特定し、不具合状態にあると判定されたユーザの眼鏡のみに対して例えば上記制御や、メッセージ通知を行う。このため、同一立体映像を見ている不具合状態にない他のユーザの立体視を妨げることがない。例えば、図３のような状況でユーザＡからユーザＧまでの７人で１つの３Ｄ映像を視聴していたとする。このとき、ユーザＡとユーザＦにおいて、３Ｄ視聴の疲労が検出された場合には、ユーザＡとユーザＦの眼鏡のシャッター制御を行うことにより、ユーザＡとユーザＦにのみ、２Ｄ映像を提供する。これにより、残りの５人のユーザの３Ｄ映像視聴環境を変更することなく、ユーザＡとユーザＦのみに、２Ｄの映像を提供することが可能になる。

ここで、立体映像を見ているユーザの眼球運動について簡単に説明する。立体映像によって上記のように左右の眼に異なる映像を見せるが、水平方向に異なる映像を見せることで奥行き的な立体度をユーザに知覚させる。ここで、図４Ａに示すように、左眼用映像および右眼用映像における物体間の距離（視差）が左右の眼と逆の方向に離れるほど、表示されている物体は近づいて見え、その際のユーザの眼球は内側に回転する。この運動を輻輳運動といい、このときの両眼の視線方向の成す角を輻輳角という。輻輳角は、左右の眼球が（無限遠方を見ている状態に対して）どれほど内側に位置しているかを示す量であり、図４Ａから分かるように物体の３次元的な知覚位置が眼に近づくほど輻輳角は大きくなる。一方、図４Ｂに示すように立体表示されている物体の３次元的な知覚位置が眼から遠ざかるとユーザの眼球は外側方向に回転する。この運動を開散運動という。開散運動時は輻輳角が小さくなる。

図５に表示物体の位置が異なるときの眼球状態を表現したイラスト例を示す。図５（ｄ）のように無限遠方を見ているときが眼球が最も外側に動いた状態であり、瞳孔中心距離（両眼の瞳孔中心間の距離）が最も長い。図５（ａ）のように画面より手前に知覚する立体映像を見ているときには平面映像を見ているときに比べて眼球が内側に動いているため、瞳孔中心距離は短くなる。一方、図５（ｃ）のように画面より奥に知覚する立体映像を見ているときには平面映像を見ているときに比べて眼球が外側に動いているため、瞳孔中心距離は長くなる。

本実施の形態では、複数のユーザの眼球運動の輻輳角を比較することでユーザの不具合状態を判定する。ただし、本実施の形態では輻輳角を直接計算するのでなく、輻輳角と相関がある輻輳量を用いる。ここで、輻輳量とは、輻輳角と同様に無限遠方を見ている、または画面上の物体を見ている状態の眼に比べてどれだけ輻輳運動が起こっているかを示す量である。即ち、輻輳量は、上記状態における瞳孔中心距離に比べて、どのくらい瞳孔中心距離が短くなっているかを示す量であり、眼球運動を計測する手法によりその単位は異なる。

以下、本発明の実施の形態について、ユーザの眼電位を計測した結果に基づいてユーザの状態を判定し、制御を行う具体例について図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

図６は、本発明の実施の形態に係る立体映像提供装置の機能的な構成を示すブロック図である。

立体映像提供装置は、ユーザに対して立体映像を提供する装置であり、映像表示装置１０１と、眼鏡装置１００１と、不具合状態判定装置２００１とを備える。

映像表示装置１０１は、ディスプレイに代表される映像表示部１０２と、前記映像表示部１０２で表示される左眼用映像と右眼用映像の切り替えタイミングを示す切替タイミング信号を眼鏡装置１００１に送信する左右映像切替タイミング送信部１０３とを含む。左右映像切替タイミング送信部１０３は、例えば、赤外線エミッタにより構成される。

次に眼鏡装置１００１に含まれる各構成要素について説明する。眼鏡装置１００１は、左右映像切替タイミング受信部１００２と、眼鏡透過度制御部１００３と、眼球運動計測部１００４と、眼球運動記憶部１００５と、眼球運動送信部１００６と、判定結果受信部１００７と、タイマー１００８とを備える。

左右映像切替タイミング受信部１００２は、前記左右映像切替タイミング送信部１０３から発信された左眼用の映像と右眼用の映像の切替タイミング信号を受信する。眼鏡透過度制御部１００３は、前記左右映像切替タイミング受信部で受信された、左眼用の映像と右眼用の映像の切替タイミング信号に応答して眼鏡の左右の透過度を制御する。眼鏡とは眼鏡装置１００１に備えられているユーザの両眼の前面に配置される液晶シャッターのことである。眼球運動計測部１００４は、ユーザの眼球運動を計測し、タイマー１００８で計測された計測時間とともに、その結果を眼球運動記憶部１００５に書き込む。眼球運動送信部１００６は、不具合状態判定装置２００１に前記結果を計測時間とともに送信する。判定結果受信部１００７は、不具合状態判定部２００５で判定された不具合状態判定結果を受信する。眼鏡透過度制御部１００３は、受信結果において不具合状態にあると判定されている場合、眼鏡の透過度の制御方法を変更する。それにより、ユーザに対して提供する映像を立体映像から平面映像に変更することができる。

次に不具合状態判定装置２００１に含まれる各要素について説明する。不具合状態判定装置２００１は、眼球運動受信部２００２と、眼鏡別眼球運動記憶部２００３と、利用人数判定部２００４と、不具合状態判定部２００５と、不具合状態条件記憶部２００６とを備える。

眼球運動受信部２００２は、各眼鏡装置１００１からの眼球運動の計測結果および計測時間を受信し、受信したデータを眼鏡別眼球運動記憶部２００３に書き込む。利用人数判定部２００４は、眼鏡別眼球運動記憶部２００３に記憶されている眼鏡別の眼球運動の計測結果から、現在同一のコンテンツを見ているユーザ数を判定し、その結果を不具合状態判定部２００５に送信する。不具合状態条件記憶部２００６は、コンテンツの再生時間ごとに、想定されるユーザの眼球運動の輻輳量または輻輳角を記憶している。不具合状態判定部２００５は、現在同一のコンテンツを見ているユーザが複数いる場合には、眼鏡別眼球運動記憶部２００３に記憶されている複数のユーザの眼球運動の計測結果を比較することにより、各ユーザが不具合状態にあるか否かを判定する。不具合状態判定部２００５は、現在同一のコンテンツを見ているユーザが１人の場合には、不具合状態条件記憶部２００６に記憶されている情報と、眼鏡別眼球運動記憶部２００３に記憶されている１人のユーザの眼球運動を比較することにより、そのユーザが不具合状態にあるか否かを判定する。不具合状態判定部２００５は、判定結果を判定結果送信部２００７に出力する。判定結果送信部２００７は前記判定結果を各眼鏡装置１００１に送信する。

はじめに、眼鏡装置１００１の処理を図７のフローチャートを用いて説明する。図７のフローチャートはユーザの眼球運動を１つ計測してから次の計測を行うまでの処理の流れを示し、本処理はユーザの眼球運動を計測中繰り返し行われる処理である。

ステップＳ４０１において、眼球運動計測部１００４は所定の時間間隔でユーザの眼球運動を計測する。眼球運動計測部１００４における眼球運動の計測方法として、例えば、センサとして電極を用いて眼電位を計測し、その電位変動を計測する方法や、センサとしてカメラを用いて眼球画像を撮影する方法などがある。図８Ａ〜図８Ｃに電極やカメラといったセンサを取り付け、眼球運動を計測可能とした立体視用眼鏡の概観の一例を示す。

図８Ａは眼電位計測用の立体視用眼鏡であり、フレーム部分に眼電位を計測するための電極５０１及び５０２が設けられている。電極５０１は両眼の電位を計測するための電極であり、電極５０１Ａから電極５０１Ｄの４つの電極を含む。また、電極５０２はアース電極であり、両眼の電位変化を電極５０１と電極５０２での電位差により計測する。また、図８Ｂは眼球撮影用の立体視用眼鏡であり、カメラ５０３と、ハーフミラー５０４とを備える。ハーフミラー５０４に写るユーザの眼球を、上部に取り付けたカメラ５０３で撮影する。なお、図８Ｃは図８Ｂの眼鏡部分を取り除き横から見た図である。図８Ｃのように、ユーザの眼にはハーフミラーを通して映像が届く一方でハーフミラーに反射したユーザの眼の映像はカメラ５０３に入る。

初めに、眼電位を計測することにより眼球運動を計測する一例について具体的に説明する。図９に示すように、人の眼球は角膜が陽性で網膜が陰性となるような微弱な電池と考えることができる。このため、眼電位を計測することで眼球運動の計測が可能となる。

眼球運動計測部１００４は、例えば図８Ａのような眼鏡により各電極の電位変化を計測した結果を眼球運動記憶部１００５に記憶する。眼球運動記憶部１００５に記憶される眼球運動の計測結果を示す情報の一例を図１０に示す。眼球運動の計測結果情報は、項目６０１〜６０７の７つの項目の情報を対応付けている情報である。項目６０１は計測日時を示す。項目６０２から項目６０５は電極５０１Ａから電極５０１Ｄで計測された電位の計測結果である。なお、この項目６０２から項目６０５は各電極とアース電極との差分値である。項目６０６は項目６０２の値から項目６０３の値を引いた値を示し、この値の変化から左眼の運動がわかる。項目６０７は項目６０４の値から項目６０５の値を引いた値を示し、この値の変化から右眼の運動がわかる。

なお、実施の形態では、立体視に必要な輻輳運動を計測するため、眼の水平方向の電位差を計測可能とするため、図８Ａのように眼を横方向に挟んで電極を配置する。この配置により例えば電極５０１Ｂと電極５０１Ａのアース電極に対する電位差を計測することにより、左眼の水平方向の眼球運動が計測できる。

図１１に眼電位の計測結果の一例を示す。図１１よりユーザが同一平面状を見ているときは右眼と左眼の電位差の値は同相であるが、立体映像を視聴しているときは逆相であり、さらにその変化の方向から眼球運動が開散、輻輳のどちらの運動であるかについても計測結果から分かる。

次に、眼球画像を計測することにより眼球運動を計測する一例について具体的に説明する。眼球運動計測部１００４は、例えば図８Ｂおよび図８Ｃに示すような眼鏡に設置されたカメラ５０３が撮像したユーザの眼球画像に画像処理を施すことにより瞳孔中心を抽出する。また、眼球運動計測部１００４は、抽出した瞳孔中心の座標を眼球運動記憶部１００５に記憶する。図１２は、カメラ５０３で撮像された眼球画像の一例を示す図であり、眼球運動計測部１００４は、この画像から、右眼と左眼の瞳孔中心の座標を算出する。

眼球運動記憶部１００５に記憶される眼球運動算出結果情報の一例を図１３に示す。眼球運動算出結果情報は、項目３４０１〜３４０４の４つの項目の情報を対応付けている情報である。項目３４０１は計測日時を示す。項目３４０２は右眼の瞳孔中心座標のｘ座標（ピクセル単位）を示す。項目３４０３は左眼の瞳孔中心座標のｘ座標（ピクセル単位）を示す。項目３４０４は輻輳量を示す。輻輳量は、項目３４０３の値から項目３４０２の値を引いた値（ピクセル単位）である。図１４に図１５に示すような画面（ディスプレイ）上に表示された印と画面から所定距離前方に表示された印とを交互に見せる実験を行った際のユーザの両眼の瞳孔中心位置の時間変化と前記輻輳量の時間変化をグラフ化した結果を示す。上記実験を詳しく説明すると、ユーザから９０ｃｍ先の画面上と画面から６０ｃｍ手前の位置に十字マークを３秒〜５秒間隔で９００秒間提示し、そのときの両眼の瞳孔中心位置の時間変化と輻輳量の時間変化とを求めた。図１４（ａ）および図１４（ｂ）はそれぞれ左眼と右眼の瞳孔中心座標の時間変化を示すグラフであり、図１４（ｃ）は同時間における左眼の瞳孔中心座標（図１４（ａ））から右眼の瞳孔中心座標（図１４（ｂ））を引いた輻輳量の時間変化を示す。図１４（ｃ）の輻輳量において、値が約３７５ピクセルの位置にあるときにユーザは画面上に表示された印を見ており、輻輳量の値が約３３０ピクセルの位置にあるときにユーザは画面から所定距離前方の位置に表示された印を見ている。

なお、本実施の形態では図１４（ｃ）に示すような輻輳量に基づいてユーザの不具合状態を判定するが、上記のように輻輳量は画面上を見ているときにも値を持つ。そこで、輻輳量から画面からどれだけ飛び出しているもしくはどれだけ奥行きがあるかを知るためには画面上の物体を見たときの輻輳量を予め知る必要がある。

そこで、本ステップにおいて、立体映像の画面上の物体もしくは平面映像を見ている際のユーザの眼球運動の輻輳量（以後「基準輻輳量」と記述）を計測する。

ユーザが立体映像ではなく、平面映像を見ていることを判定するには、例えば、映像表示装置１０１の左右映像切替タイミング送信部１０３から立体映像表示時は眼鏡の左右透過度を切り替える信号が送信されてないか否かを用いる。眼球運動計測部１００４は、左右映像切替タイミング受信部１００２が送信する切替タイミング信号を受信していない時間における輻輳量の計測結果から基準輻輳量を算出する。例えば、その時間における輻輳量の平均値を基準輻輳量として算出しても良い。なお、上記では左右映像の切替タイミング信号を用いたが、別途、映像表示装置１０１が現在表示している映像が立体映像なのか平面映像なのかを示す信号を眼鏡装置１００１に対して送信しても良い。眼球運動計測部１００４は、平面映像を示す信号を受信している時間における輻輳量の計測結果から、上記等同様にして基準輻輳量を算出する。

なお、以上のように算出した基準輻輳量からの差分値を輻輳量として眼球運動記憶部１００５に記憶したり、眼球運動送信部１００６から送信したりして、不具合状態の判定に利用しても良い。

ステップＳ４０２において、眼球運動送信部１００６は前記計測結果を不具合状態判定装置２００１に送信する。この際、計測した眼球運動に加えて、眼鏡装置１００１ごとに設定されているＩＤも送信する。

図１６は、眼球運動送信部１００６が送信するデータの一例を示す図である。眼球運動送信部１００６は、眼球運動計測部１００４が計測した瞳孔中心の両眼ｘ座標及び両眼ｘ座標より計算した輻輳量を含むデータを不具合状態判定装置２００１に送信する。このデータは、項目３７０１〜３７０５の５つの項目のデータを含む。図１６において、項目３７０１は眼鏡装置１００１を識別するための眼鏡ＩＤを示す。項目３７０２は、眼球運動のサンプリング間隔を示し、図１６では０．０３３秒間隔（サンプリング周波数３０Ｈｚ）で計測されたことを示す。項目３７０３と項目３７０４はそれぞれ右眼の瞳孔中心のｘ座標の計測結果と左眼の瞳孔中心のｘ座標の計測結果であり、項目３７０５は両眼の計測結果から算出した輻輳量である。

なお、図１６で示したようなデータを複数個まとめて不具合状態判定装置２００１に送信しても良いし、計測のたびに送信しても良い。また、図１６には示していないが、複数のデータをまとめて送信する際には、眼球運動の計測区間長やデータ数、計測時間などを含めて送っても良い。具体的には１秒間の計測結果をまとめて送信する際には、送信データには計測区間長として１秒、データ数として３０個、計測時間として例えば１９：００：１０：０１−１９：００：１０：０２という情報を追加しても良い。

ステップＳ４０３において、判定結果受信部１００７は、不具合状態判定装置２００１からユーザが不具合状態にあるか否かの判定結果を受信する。

ステップＳ４０４において、眼鏡透過度制御部１００３は受け取った結果が不具合状態か否かを判定する。不具合状態にないと判定された場合、ステップＳ４０５へ進み、眼鏡透過度制御部１００３は、液晶シャッターの制御方法の変更は行わず、ユーザに対して立体映像を提供する。一方、ステップＳ４０４において、不具合状態にあると判定された場合、ステップＳ４０６へ進み、上記実施の形態と同様に、液晶シャッターの制御方法を変更し、ユーザに対して平面映像を提供する。

なお、上記眼鏡装置１００１の処理の説明では、ユーザの眼球運動の計測処理及び送信処理と、判定結果に基づいた液晶シャッターの制御処理を続けて行う処理方法について説明したが、眼球運動の計測処理及び送信処理と、判定結果に基づいた液晶シャッターの制御処理は非同期で行っても良い。例えば、眼鏡装置１００１ではユーザの眼球運動の計測・送信を計測間隔で行う一方で、判定結果受信部１００７は計測間隔とは別の間隔で判定結果を待ちうけても良い。また、判定結果送信部２００７は、ユーザが不具合状態の時のみ不具合信号を送り、判定結果受信部１００７は前記不具合信号を受信したときのみステップＳ４０６の処理を行っても良い。

なお、ステップＳ４０４において、不具合状態にあると判定された場合、ステップＳ４０６において、ユーザに対して平面映像を提供する代わりに、メッセージをユーザに伝えても良い。具体的には不具合状態にあると判定された眼鏡装置１００１の液晶上にユーザ状態の説明と共に平面映像への切り替えを行うか否かを問い合わせるメッセージを提示する。ユーザは平面映像への切り替えに同意した場合、眼鏡上のスイッチを押す等の作業を行い、平面映像への切り替えを行う。さらに前記メッセージは不具合状態にあると判定された眼鏡装置１００１に表示するのではなく、映像表示部１０２に表示しても良い。このことにより同一映像を見ている他のユーザの不具合状態を共有する事ができるため、例えば親子で立体映像を見ており、子供が不具合状態にあると判定された場合に親がそれを知り、子供が不具合状態で立体映像を見続けることをやめさせることができる。

次に、不具合状態判定装置２００１の処理を図１７のフローチャートを用いて説明する。

ステップＳ８０１において、眼球運動受信部２００２は、各眼鏡装置１００１の眼球運動送信部１００６から送信された眼球運動計測結果を受信し、受信結果を眼鏡別眼球運動記憶部２００３に記憶する。眼鏡別眼球運動記憶部２００３に記憶される各眼鏡装置１００１で計測された結果の一例を図１８に示す。眼球運動計測結果には、項目９０１、９０２及び１１０３で示される情報が含まれている。項目９０１は計測日時を示す。項目９０２は各眼鏡装置１００１に対応したＩＤを示す。項目１１０３は図１０を用いて説明した各眼鏡装置１００１の計測結果を示す。つまり、眼球運動計測結果は、眼鏡装置１００１毎の計測結果を示している。

ステップＳ８０２において、利用人数判定部２００４は、眼鏡別眼球運動記憶部２００３に記憶されているユーザの眼球運動計測結果から、現在立体映像を見ているユーザの数を判定する。例えば同時刻の計測結果が複数存在し、その計測結果の差が所定値以内であれば、ユーザの数が複数であると判定する。ステップＳ８０２において、現在立体映像を視聴しているユーザの数が複数であると判定された場合、ステップＳ８０３へ進む。

ステップＳ８０３において、不具合状態判定部２００５は、眼鏡別眼球運動記憶部２００３に記憶されている、同一立体映像を視聴している複数のユーザの眼球運動計測結果の違いから、各ユーザが不具合状態にあるか否かを判定し、その結果を判定結果送信部２００７に送る。これは、不具合状態となっているユーザを特定していることになる。

複数のユーザの眼球運動計測結果を用いて各ユーザの不具合状態を判定する方法について、ユーザの不具合状態の種類別に以下に３つの具体例を述べる。

なお、以下の説明では計測する眼球運動として輻輳運動を中心に説明する。

１つめのユーザ不具合状態として、正しく立体視が行えていない状態をユーザの不具合状態として判定する場合について述べる。本不具合状態は、立体視ができているユーザとできていないユーザが存在する場合に、立体視ができていないユーザを不具合状態にあると判定する。より具体的には、ユーザは同一の立体映像を視聴しているため、複数のユーザの同一期間における眼球運動計測結果において、輻輳運動があるユーザと輻輳運動がないユーザが共に存在するか否かを判定し、存在する場合に、輻輳運動がないユーザが不具合状態にあると判定する。

図１９Ａ〜図１９Ｃに同一コンテンツを見ているユーザの眼球運動の計測結果の一例を示す。図１９Ａは正しくコンテンツを立体視できているユーザの計測結果であり、図１９Ｂは疲労のため部分的に立体視できていないユーザの計測結果であり、図１９Ｃは全く立体視できていないユーザの計測結果である。各図において上側のグラフは左眼の計測結果を示し、下側のグラフは右目の計測結果を示している。図１９Ｃのユーザのように立体視できないユーザは輻輳運動ができないため、輻輳量が検出されない。例えば、輻輳量として計測した輻輳量から基準輻輳量を引いた値を用いている場合、他のユーザの計測結果では所定値以上の輻輳量が計測される時間帯において、輻輳量が所定値以下となっているユーザを立体視ができていない不具合状態にあると判定する。

他のユーザは正しく立体視を行えているにも関わらず、自分だけが立体視を行えていない場合には、他のユーザの眼球運動の輻輳量よりも輻輳量が小さくなる。このため、このような判定を行うことにより、正しく立体視が行えていない状態をユーザの不具合状態として判定することができる。

２つめのユーザ不具合状態として、正しくない位置で立体映像を見ている状態をユーザの不具合状態として判定する場合について述べる。ここで正しくない位置とは、図２０のように映像表示部１０２からの距離が近すぎる位置または、図２１のように映像表示部１０２とユーザとのなす角度が小さすぎる位置のことをさす。通常、立体映像は画面正面から所定の範囲において正しく立体視できるように作成されているため、このような位置においては、正しく立体視ができない。具体的には前記距離が小さすぎる位置では、コンテンツ作成者が想定した輻輳角に比べて大きな輻輳角となるため、眼球運動計測部１００４で計測及び算出される輻輳量は大きくなる。この場合、立体物がより飛び出した映像に見えるため適正な位置から見ているユーザに比べて早く映像による疲労を起こしてしまう可能性がある。また、映像を表示している画面とのなす角度が小さすぎる位置では、輻輳時の両眼の動きに差が生じ、例えば、立方体が斜めに歪んで見えるなど、正しい立体視ができない。

図２２に映像表示部１０２とユーザとの間の距離の違いによる眼球状態の違いを示す。図２２（ａ）は、画面（映像表示部１０２）に近いユーザと画面から遠いユーザの視線方向を示す図である。同一立体映像（画像）においても、図２２（ｂ）は画面に近いユーザの瞳孔位置を示す図であり、図２２（ｃ）は画面から遠いユーザの瞳孔位置を示す図である。図２２（ｂ）および図２２（ｃ）に示すように画面に近いユーザほど輻輳量は大きくなり、立体物はより近くに見える。

図２３に映像表示部１０２に対するユーザの角度の違いによる眼球状態の違いを示す。図２３（ａ）は、物体がユーザに対して接近してきているように見える立体映像を映像表示部１０２（画面）に表示したときの、画面を正面から見ているユーザの視線方向の移動と、画面を斜めから見ているユーザの視線方向の移動を示す図である。図２３（ｂ）は、画面を正面から見ているユーザの瞳孔位置の変化を示す図であり、図２３（ｂ）の下図から上図のように瞳孔位置が変化する。また、図２３（ｃ）は、画面を斜めから見ているユーザの瞳孔位置の変化を示す図であり、図２３（ｃ）の下図から上図のように瞳孔位置が変化する。図２３（ｂ）及び図２３（ｃ）のように、同一立体映像を見ている場合であっても、画面とのなす角が小さい位置から見ているユーザ（斜めから見ているユーザ）の場合、右眼と左眼の輻輳量の変化量が異なる。より具体的には輻輳運動が起こった際、左眼及び右眼のうち、画面に近い眼（より画面との角度が小さい眼）の輻輳量の方が他方の眼に比べ輻輳量の変化量が小さくなる。図２３（ａ）及び図２３（ｃ）の例では、右眼のほうが左眼に比べて輻輳量の変化量が小さくなる。

そこで、不具合状態判定部２００５は、複数のユーザの同一時刻における輻輳量を比較し、他のいずれかのユーザに比べて輻輳量が所定値以上大きいユーザを、画面に対して近すぎるという不具合状態にあると判定する。また、不具合状態判定部２００５は、他のユーザの眼球運動の輻輳量の変化に比べて、所定値以上の輻輳量の変化があったと判定した際に、右眼と左眼の輻輳量の差、もしくは輻輳量の比を計算し、その値が他のユーザの値と比べて所定値以上大きいユーザを、画面との角度が小さすぎるという不具合にあると判定する。

本来の視聴位置に比べて表示画面に近付きすぎている場合には、輻輳量が大きくなる。このため、このような判定を行うことにより、表示画面に近付きすぎている状態をユーザの不具合状態として判定することができる。

さらに、図２４のように画面に対して回転角度を持って見ているユーザを検出しても良い。例えば寝た状態で立体映像を見ることはユーザに映像酔いを発生させる可能性がある。このように回転角度を持って映像を見た場合、正しく見ている場合に対して輻輳角は小さくなり、また縦軸方向（上下方向）の眼球運動も計測される。

画面に対して回転角度を持って見ているか否かの判定は、複数のユーザの同一時刻における眼球運動計測結果において輻輳運動が生じており、輻輳量が他のユーザの眼球運動の輻輳量より所定値以上小さく生じており、さらに縦軸方向に異なる眼球運動が生じているユーザが存在する場合、画面に対して回転角が大きすぎる不具合状態にあると判定する。

３つめのユーザ不具合状態として、他のユーザと比較して、疲れている状態をユーザの不具合状態として判定する場合について述べる。ユーザが疲れているか否かの判定方法としては、例えば、他のユーザとの眼球運動能力の違いを用いる。図１９Ｂのように疲労のため正しく立体視できなくなると、正しく立体視できている眼球運動とは異なる眼球運動を行う。このように疲労により正しく立体視できない場合は通常、正しく立体視できている眼球運動の輻輳量よりも、部分的に小さな輻輳量となってしまう。そこで、同一の所定期間の輻輳量の積算値を計算し、他のユーザと比較した結果、他のいずれかのユーザの積算値よりも積算値が所定値以上小さいユーザを、疲れている不具合状態にあると判定する。

疲労により正しく立体視できない場合は通常、正しく立体視できている眼球運動の輻輳量よりも、部分的に小さな輻輳量となってしまう。このため、このような判定を行うことにより、疲れている状態をユーザの不具合状態として判定することができる。

また、他の判定方法として、例えば、眼球運動の反応速度を用いても良い。具体的には、所定時間以内に所定量以上の輻輳量変化が計測されるシーンにおいて、輻輳量の変化量と前記輻輳量の変化に必要とした時間とから輻輳運動の反応速度、即ち奥行き方向における眼球運動の反応速度を計算する。この反応速度が他のユーザに比べて遅くなっている場合、そのユーザは疲れている状態であるという不具合状態にあると判定する。

疲労により正しく立体視できない場合は通常、正しく立体視できている眼球運動の反応速度よりも、小さな反応速度となってしまう。このため、このような判定を行うことにより、疲れている状態をユーザの不具合状態として判定することができる。

なお、前記他のユーザとの比較による判定を行う場合、その判定は、例えば前記輻輳量の積算値が最も大きいユーザの積算値と比較して、積算値が所定値以上小さいか否かに基づいて不具合状態にあるか否かを判定しても良い。また、両目の輻輳量の積算値を別々に算出し、左右の眼ごとに最大積算値を計算し、左右の眼の最大積算値の和と、ユーザの左右の眼の輻輳量の積算値の和とを比較することにより、ユーザが不具合状態にあるか否かを判定しても良い。また、各ユーザの眼球運動の輻輳量の分散値を計算し、輻輳量の分散値が所定値以上となっているユーザを不具合状態にあると判定しても良い。また眼球運動の反応速度を用いる場合も上記と同様の方法により判定しても良い。

一方、ステップＳ８０２において、利用人数判定部２００４は、眼鏡別眼球運動記憶部２００３に記憶されているユーザの眼球運動計測結果から、現在立体映像を見ているユーザの数が１人であると判定した場合、ステップＳ８０４へ進む。

ステップＳ８０４において、不具合状態判定部２００５は、眼鏡別眼球運動記憶部２００３に記憶される、同一立体映像を視聴している１人のユーザの眼球運動計測結果から、ユーザが不具合状態にあるか否かの判定を行い、その結果を判定結果送信部２００７に送る。

不具合状態判定部２００５が判定するユーザの不具合状態の種類は、上記ステップＳ８０３と同様の種類であり、不具合状態判定部２００５は、各種類の不具合状態を、ステップＳ８０３と同様の手法により判定する。ただし、眼球運動の比較対象が他のユーザの眼球運動計測結果ではなく、不具合状態条件記憶部２００６に予め記憶されている、コンテンツの再生時間と対応付けられた想定輻輳量や想定輻輳角である。

ステップＳ８０５において、判定結果送信部２００７は、不具合状態判定部２００５から受け取った判定結果を各眼鏡装置１００１に対して送信する。

なお、不具合状態の種類により、判定結果送信部２００７は映像表示部１０２に対して判定結果を送り、映像表示部１０２にメッセージを表示するようにしても良い。例えば、上記正しくない位置で見ているユーザの不具合状態が検出された場合には、眼鏡装置１００１の制御ではなく、映像表示部１０２にメッセージを表示する。上記近すぎると判定されたときは図２５Ａのようなメッセージを表示しても良いし、上記画面との角度が小さすぎると判定されたときは図２５Ｂのようなメッセージを出しても良い。

なお、ステップＳ８０２において現在立体映像を見ているユーザの数が１人であると判定され、ステップＳ８０４においてそのユーザが不具合状態にあると判定された場合、複数人数の場合と同様に眼鏡の制御を行うことで平面映像をユーザに提供するのではなく、映像表示装置１０１が平面映像を提供しても良い。つまり、映像表示装置１０１が左眼用映像または右眼用映像のみを表示するようにしても良い。例えば、不具合状態と判定されると眼鏡の液晶（液晶シャッター）上または、映像表示部１０２上に不具合状態と判定されたため映像表示部１０２に表示する映像を立体映像から平面映像に切り替えるとのメッセージを表示し、眼鏡の左右切り替え制御を中止する。

なお、上記実施の形態では、不具合状態判定装置２００１を眼鏡装置１００１とは別に構成し、説明を行った。しかし、不具合状態判定装置は、例えばテレビのような映像表示装置１０１上に実装しても良いし、眼鏡装置１００１上に実装しても良い。

それぞれの場合における眼鏡装置１００１と映像表示装置１０１とのデータのやり取りについて述べる。

テレビのような映像表示装置１０１上に不具合状態判定装置２００１が実装されている場合、図２６のように、眼鏡装置１００１からは眼球運動の計測結果が送信され、それを受信した映像表示装置１０１に実装された不具合状態判定装置２００１が不具合状態を判定し、その結果もしくは、同結果に基づく眼鏡制御用の命令を、眼鏡装置１００１に対して送信する。

一方、眼鏡装置１００１上に不具合状態判定装置２００１が実装されている場合、不具合状態判定装置２００１は、眼鏡装置１００１の制御を行い、立体視を平面視に切り替える場合は特に映像表示装置１０１とデータのやりとりを行う必要はない。但し、映像表示部１０２にメッセージを表示する場合は、眼鏡装置１００１の不具合状態判定装置２００１は、不具合状態判定結果を映像表示装置１０１に送信する。また、図２７に示すように眼鏡装置１００１の制御のための確認メッセージを映像表示装置１０１に表示し、ユーザの入力結果に基づいて眼鏡装置１００１を制御する場合もある。この場合は、眼鏡装置１００１の不具合状態判定装置２００１が、映像表示装置１０１に対して不具合状態判定結果を送信する。図２７に示すように、映像表示装置１０１は、受信した不具合状態判定結果に基づき、眼鏡装置１００１の制御を行うか否かの確認メッセージを表示する。ユーザはリモコン等によりこの確認メッセージに対する回答を行う。もし、平面視に切り替えるという回答であった場合、映像表示装置１０１は眼鏡装置１００１に対して、眼鏡制御を平面視に切り替えるための信号を送る。

以上説明したように、本実施の形態の構成及び処理により、複数のユーザの眼球運動計測結果を比較することによる各ユーザの不具合状態の判定が可能となる。このため、同一の立体映像を見ている複数のユーザのうち、眼球運動が不具合状態にあるユーザのみに対して、メッセージの伝達、またはユーザの視聴映像を立体映像から平面映像に切り替えることを可能とすることができる。

例えば、ユーザが装着している眼鏡の液晶シャッターの制御を行うことで、立体映像から平面映像への切り替えを行う。このため、不具合状態にないユーザの視聴映像は立体映像のままで、不具合状態にあるユーザの視聴映像を立体映像から平面映像に切り替えることができる。

なお、本実施の形態においては、複数ユーザのうち１人のユーザの不具合状態を検出する例について述べた。例えば、２人のユーザが立体映像を視聴しているときに、１人のユーザの立体映像視聴の疲労が判定された場合、疲労しているユーザの眼鏡の制御が実施され、立体映像が平面映像に切り替えられる。このとき、１人は立体映像を視聴し、もう１人は平面映像を視聴している状態となる。その後、立体映像を視聴しているユーザの立体映像視聴の疲労が判定された場合には、２人とも平面映像を視聴することとなる。このとき、２人とも立体視用の眼鏡を装着する必要がないため、画面に平面映像を描画すべき状態となる。そこで、眼球運動を計測しているすべてのユーザにおいて不具合が検出された場合には、眼鏡の装着を停止させ、画面に平面映像を表示するように映像を切り替えるようにしても良い。

（変形例）
上記実施の形態では、不具合状態判定装置２００１からユーザが不具合状態にあるという判定を眼鏡装置１００１が受け取ったタイミングで、眼鏡透過度制御部１００３は、眼鏡の左右の透過度の制御を行うことにより、ユーザの視聴映像の立体映像から平面映像への切り替えを行った。本変形例では、ユーザが不具合状態にあると判定されたタイミングとは別のタイミングで眼鏡の透過度の制御を行う。

図２８は、本変形例に係る眼鏡装置の機能的な構成を示すブロック図である。上記実施の形態との違いとしては、眼鏡の透過度の制御のタイミングを不具合状態判定装置２００１の判定結果に基づき決定する制御タイミング決定部１００９が、眼鏡装置１００１Ａに加えられたことである。

本変形例における眼鏡装置１００１Ａの処理を図２９のフローチャートに示す。上記実施の形態における眼鏡装置１００１の処理を示す図７のフローチャートとの違いは、ステップＳ１４０７のシャッター制御変更タイミングの決定処理が加えられた点のみである。そこで、以下では異なるステップＳ１４０７で行われる処理を図３０に示すフローチャートを用いて説明する。

ステップＳ１５０１において、判定結果受信部１００７は、不具合状態判定装置２００１から不具合状態にあるか否かの判定結果に加え、不具合状態にある場合は不具合状態の種類も取得する。制御タイミング決定部１００９は、判定結果受信部１００７から前記判定結果及び不具合状態の種類を取得する。

ステップＳ１５０２において、制御タイミング決定部１００９は、取得した判定結果が不具合状態を示している場合、前記不具合状態が長期的疲労によるものか否かの判定を行う。具体的には、長期的疲労とは、上記実施の形態において３つめの不具合状態として述べた疲労に基づく不具合状態である。つまり、輻輳量の積算値や眼球運動の反応速度から判定された不具合状態が所定時間以上の時間幅連続した不具合状態である。一方、長期的疲労ではない不具合状態としては、上記実施の形態において、１つめ及び２つめの不具合状態として述べた正しく立体視できない状態やユーザの位置が表示画面に対して適切でない場合がある。また、上記実施の形態において３つめの不具合状態として述べた疲労に基づく不具合状態であっても、所定時間以下の時間において輻輳角の積算値や眼球運動の反応速度が低下した場合がある。長期的疲労である不具合状態の場合には、ユーザは立体視ができているため、即座に２Ｄ映像に切り替える必要はない。しかし、長期的疲労ではない不具合状態の場合には、そもそもユーザは立体視ができていないため、ユーザが３Ｄ映像を負担のかかる状態で見続けるのを避けるため、即座に２Ｄ映像に切り替える必要がある。

ここで、長期的疲労による不具合状態にあると判定された場合、ステップＳ１５０３へ進み、制御タイミング決定部１００９は、映像の立体度合いに基づいて変更タイミングを決定する。具体的には、立体度合いの変化が小さいタイミングまたは立体度合い自体が小さいタイミングにて立体映像から平面映像へ変更するように変更タイミングを決定する。これは、長期的疲労に基づく不具合状態は蓄積的な疲労による可能性が高いので、急いで対応する必要がないとの仮定に基づく。つまり、液晶シャッターの制御方法の変更による映像の変化がなるべく小さくなるタイミングにおいて、立体映像から平面映像への変更を行い、違和感なく平面映像への変更を行うという思想に基づく。制御タイミング決定のより具体的な方法としては、ユーザの眼球運動の計測結果により、輻輳が起こっていないタイミング（ユーザの眼球運動の輻輳量が所定の輻輳量閾値よりも小さくなるタイミング）をユーザが平面映像を見ているタイミングと判定し、そのタイミングを立体映像から平面映像への切り替え制御タイミングとする。なお、映像表示装置１０１の代わりに、図３１のように、映像情報記憶部１０４を備える映像表示装置１０１Ａを用いても良い。映像情報記憶部１０４は、映像の立体度合いの時間変化に関する情報を記憶している。制御タイミング決定部１００９は、映像情報記憶部１０４に記憶されている情報を利用して、ステップＳ１５０３における制御タイミングを決定しても良い。即ち、長期計測による不具合状態が検出された後、制御タイミング決定部１００９は映像情報記憶部１０４から今後の立体度合いの時間変化に関する情報を取得し、立体度合いの小さな時刻を取得する。制御タイミング決定部１００９は、取得した前記時刻において、液晶シャッターの制御方法の変更を行う。

一方、ステップＳ１５０２において、長期的疲労に基づく不具合状態にないと判定された場合、ステップＳ１５０４へ進み、所定時間以内に液晶シャッターの制御方法の変更を行うよう制御タイミングを決定する。ここで所定時間はなるべく早い時間とし、基本的にはすぐに切り替えるよう決定する。例えば、座って立体映像を見ていたユーザが寝ながら立体映像を見ようと横になった場合にその不具合状態を検出すると、すぐに立体映像の提供から平面映像の提供に切り替える。

以上、説明したように、本変形例の構成及び処理により、不具合状態に応じた、さらに違和感の少ない立体映像から平面映像への変更が可能となる。

つまり、疲労による不具合状態の場合には、眼球運動の輻輳量が所定の輻輳量閾値よりも小さいタイミングにおいて、不具合状態にあるユーザの視聴映像を立体映像から平面映像に切り替えることができる。これにより、ユーザにとって違和感なく立体映像から平面映像への変更が可能となる。

以上、本発明の実施の形態に係る立体映像提供装置について説明したが、本発明は、この実施の形態に限定されるものではない。

本発明の必須の構成要素は、図６に示した立体映像提供装置のうち、眼球運動計測部１００４と、利用人数判定部２００４と、不具合状態判定部２００５とである。その他の構成要素は、立体映像提供装置に備わっているのが望ましいが、必ずしも必須ではない。図３２は、本発明の必須の構成要素から構成される立体映像提供装置の機能的な構成を示すブロック図である。立体映像提供装置は、左眼用映像および右眼用映像の表示タイミングと同期させて、ユーザが装着している立体視用の眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉を制御することにより、ユーザに立体映像を提供する立体映像提供装置であって、立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測部１００４と、同一の立体映像を見ているユーザの人数を判定する利用人数判定部２００４と、利用人数判定部２００４が同一の立体映像を見ているユーザの人数が複数であると判定した場合に、複数のユーザの眼球運動を比較することにより、複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定部２００５とを備える。

なお、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

すなわち、このプログラムは、コンピュータに、立体映像提供方法に含まれるステップを実行させる。この立体映像提供方法は、左眼用映像および右眼用映像の表示タイミングと同期させて、ユーザが装着している立体視用の眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉を制御することにより、前記ユーザに立体映像を提供する立体映像提供方法であって、立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測ステップと、同一の立体映像を見ているユーザの人数を判定する利用人数判定ステップと、前記利用人数判定ステップにおいて前記同一の立体映像を見ているユーザの人数が複数であると判定された場合に、複数のユーザの眼球運動を比較することにより、前記複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定ステップとを含む。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

以上、本発明の一つまたは複数の態様に係る立体映像提供装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、立体映像を視聴するユーザに対して快適な映像を提供することが可能である。本発明はフレームシーケンシャル方式に対応した発明であるが、フレームシーケンシャル方式は映画館をはじめ民生用テレビの多くで利用されている方式であり、本発明の利用可能性は非常に大きい。

１０１ 映像表示装置
１０２ 映像表示部
１０３ 左右映像切替タイミング送信部
１００１、１００１Ａ 眼鏡装置
１００２ 左右映像切替タイミング受信部
１００３ 眼鏡透過度制御手法
１００４ 眼球運動計測部
１００５ 眼球運動記憶部
１００６ 眼球運動送信部
１００７ 判定結果受信部
２００１ 不具合状態判定装置
２００２ 眼球運動受信部
２００３ 眼鏡別眼球運動記憶部
２００４ 利用人数判定部
２００５ 不具合状態判定部
２００６ 不具合状態条件記憶部
２００７ 判定結果送信部

Claims (9)

1. 左眼用映像および右眼用映像の表示タイミングと同期させて、ユーザが装着している立体視用の眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉を制御することにより、前記ユーザに立体映像を提供する立体映像提供装置であって、
   立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測部と、
   同一の立体映像を見ているユーザの人数を判定する利用人数判定部と、
   前記利用人数判定部が前記同一の立体映像を見ているユーザの人数が複数であると判定した場合に、複数のユーザの眼球運動を比較することにより、前記複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定部と
   を備える立体映像提供装置。
2. さらに、
   前記不具合状態判定部で不具合状態にあると判定されたユーザが装着している眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉制御を、前記左眼用シャッターおよび前記右眼用シャッター同時に開閉させる制御に変更することにより、右眼用映像および左眼用映像のいずれか一方の映像のみをユーザに提供する制御変更部を備える
   請求項１に記載の立体映像提供装置。
3. さらに、
   前記不具合状態判定部で不具合状態にあると判定されたユーザの眼球運動の輻輳量が所定の輻輳量閾値よりも小さいタイミングにおいて、前記制御変更部に対して、当該ユーザが装着している眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉制御を、前記左眼用シャッターおよび前記右眼用シャッター同時に開閉させる制御に変更させる制御タイミング決定部を備える
   請求項２に記載の立体映像提供装置。
4. 前記不具合状態判定部は、所定期間における複数のユーザの眼球運動の輻輳量を比較し、所定数以上の他のユーザの眼球運動の輻輳量よりも、輻輳量が小さいユーザを、立体視ができていない不具合状態にあるユーザとして判定する
   請求項１に記載の立体映像提供装置。
5. 前記不具合状態判定部は、同一時刻の前記複数のユーザの眼球運動の輻輳量を比較し、他のいずれかのユーザの眼球運動の輻輳量に対して輻輳量が所定値以上大きいユーザを、前記右眼用映像および前記左眼用映像の表示画面に近づきすぎている不具合状態にあるユーザとして判定する
   請求項１に記載の立体映像提供装置。
6. 前記不具合状態判定部は、ユーザ間で同一期間における眼球運動の輻輳量の積算値を比較し、他のいずれかのユーザの積算値よりも積算値が所定値以上小さいユーザを、疲れている不具合状態にあると判定する
   請求項１に記載の立体映像提供装置。
7. 前記不具合状態判定部は、ユーザ間で同一期間における眼球運動の反応速度を比較し、他のいずれかのユーザの反応速度よりも反応速度が所定値以上小さいユーザを、疲れている不具合状態にあると判定する
   請求項１に記載の立体映像提供装置。
8. 左眼用映像および右眼用映像の表示タイミングと同期させて、ユーザが装着している立体視用の眼鏡が備える左眼用シャッターおよび右眼用シャッターの開閉を制御することにより、前記ユーザに立体映像を提供する立体映像提供方法であって、
   立体映像を見ている各ユーザの眼球運動を計測する眼球運動計測ステップと、
   同一の立体映像を見ているユーザの人数を判定する利用人数判定ステップと、
   前記利用人数判定ステップにおいて前記同一の立体映像を見ているユーザの人数が複数であると判定された場合に、複数のユーザの眼球運動を比較することにより、前記複数のユーザのうち眼球運動が不具合状態にあるユーザを判定する不具合状態判定ステップと
   を含む立体映像提供方法。
9. 請求項８に記載の立体映像提供方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。

Images