JP5632245B2 - 眼鏡の視野画像表示装置 - Google Patents
眼鏡の視野画像表示装置 Download PDFInfo
- Publication number
- JP5632245B2 JP5632245B2 JP2010215367A JP2010215367A JP5632245B2 JP 5632245 B2 JP5632245 B2 JP 5632245B2 JP 2010215367 A JP2010215367 A JP 2010215367A JP 2010215367 A JP2010215367 A JP 2010215367A JP 5632245 B2 JP5632245 B2 JP 5632245B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- eyeball
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eyeglasses (AREA)
- Eye Examination Apparatus (AREA)
Description
しかし、眼鏡店において用意できるサンプルレンズの種類には限りがある。特に、累進屈折力レンズは、レンズの種類が非常に多いために、サンプルレンズの中に眼鏡使用者に適したレンズがあるとは限らない。そのため、注文したレンズが出来上がって実際に掛けて見るまでは、どのように見えるかがわからない。
累進屈折力レンズでは、度数の異なる遠用部と近用部とを、滑らかにつないでいるために歪曲収差が生じ、顔の方向を変化させると、揺れを感じる。眼鏡を掛けたときに見える網膜像を、シミュレーションによって表示することにより、この揺れ等を容易に示して説明することが可能になる。
そして、回旋運動も含んで、眼球の運動を計測する方法が提案されている(例えば、特許文献2や、非特許文献1及び非特許文献2を参照)。
ところが、特定のケースにおいて、眼球が視線方向を軸とする回転である融像回旋(トーション)を行うことがある。
そして、この融像回旋(トーション)が行われる場合を調べたところ、輻輳等の視線方向が平行状態でなくなった場合に、発生することが明らかになった。
そのため、眼鏡の融像回旋(トーション)が行われている場合には、従来のシミュレーション方法では、シミュレーションの結果と現実との差異が生じて、問題となることがあった。
これにより、顔の方向の変化や視線の方向の変化だけでなく、眼球の融像回旋も反映させて、眼球回旋量を加える処理をした網膜像の画像を作成することができる。そのため、融像回旋が生じている場合でも、注視部分を正確にシミュレートすることができる。
従って、本発明の眼鏡の視野画像表示装置により、融像回旋にも対応して、実際の見え方に近い網膜像を表示することが可能な眼鏡の視野画像表示装置を実現することができる。
なお、説明は以下の順序で行う。
1.本発明の一実施の形態の装置・システムの構成の説明
2.動画像シミュレーションの理論及び手法の説明
2−1.シミュレーションの目的
2−2.シミュレーションに使用する座標系
2−3.レンズの歪みについての説明
2−4.レンズによるボヤケについての説明
2−5.融像回旋(トーション)についての説明
2−6.シミュレーション像の合成
2−7.視野の中心視線を指定した場合の座標変換
2−8.光線データのスプライン補間近似
2−9.PSFの簡略化
2−10.多次元Bスプライン補間計算の高速化
2−11.まとめ
3.本発明の他の実施の形態の説明
4.変形例
本発明の一実施の形態として、眼鏡の視野画像表示装置(表示システム)の概略構成図(ブロック図)を、図1に示す。
HMD11には、頭部の動きセンサー(ジャイロセンサー等)12と、視線の動きセンサー(視線追跡装置等)13とが、搭載されている。
PC15内には、右眼の画像用のグラフィックボード21、左眼の画像用のグラフィックボード22、USB23を備えている。また、HMD11とPC15との間には、HMDコントローラ14が接続されている。グラフィックボード21,22を備えていることにより、PC15は、本発明の眼鏡の視野画像表示装置の画像処理部として動作する。
そのため、視対象となる3次元CG(コンピュータグラフィックス)ムービーに、リアルタイム演算にて「歪み」と「ぼやけ」の画像処理効果を与えて、累進屈折力レンズの見え方を再現する。
また、再現される視野は、HMD11に搭載したジャイロセンサー(頭部の動きセンサー12)及び視線追跡装置(視線の動きセンサー13)によって、視聴者の視線の動きに応じて、3次元CGモデル内の視野を追従させる形で表示を行う。
「歪みフィルター」とは、元画像の各画素に対して、Bスプライン光線データベースから、像側の出力座標(T’,C’)の値を返す機構である。
「ぼやけフィルター」とは、元画像の各画素に対して、Bスプライン光線データベースから、ぼやけテクスチャの大きさ(σμ,σν)、及び方向係数(ρ)の値を返す機構である。
出力となる可視画像は、元画像の全ての画素を入力とし、「歪みフィルター」を通して返される出力画像での座標位置に、「ぼやけフィルター」を通して返されるぼやけテクスチャ画像を加算(重ね塗り)して生成される。
空間内に、球・円柱・直方体・立方体等の形状の5個のオブジェクト31,32,33,34,35が配置されている。眼鏡使用者41から見て、それぞれのオブジェクト31,32,33,34,35までの距離は様々であり、球形状のオブジェクト31は比較的近く、オブジェクト32やオブジェクト34は比較的遠くなっている。
また、図2においては、3次元CGモデルの配置と共に、2方向の主視線43A,43Bにおいて、眼鏡レンズ50上の視線通過点46A,46Bを併せて示している。
まず、眼鏡使用者41が、オブジェクト32及びオブジェクト33の方を見て、視覚視野44Aが見えている状態を考える。このとき、眼鏡使用者41の頭部42は図示しないが視覚視野44Aの方を向いている。そして、主視線43Aは、視覚視野44Aの視野中心45Aに向かっている。ここで、視覚視野44Aは、比較的眼鏡使用者41からの距離が比較的遠くなっているため、眼鏡レンズ50上の視線通過点46Aの位置は、中央部よりやや上にある。
次に、眼鏡使用者41が、オブジェクト34及びオブジェクト35の方を見て、視覚視野44Bが見えている状態を考える。このとき、眼鏡使用者41の頭部42は図示しないが視覚視野44Bの方を向いている。そして、主視線43Bは、視覚視野44Bの視野中心45Bに向かっている。ここで、視覚視野44Bは、比較的眼鏡使用者41からの距離が視覚視野44Aよりも近くなっているため、眼鏡レンズ50上の視線通過点46Bの位置は、先ほどの視線通過点46Aよりも下にあり、眼鏡レンズ50の中央部付近にある。
このように、視覚視野44A,44Bが変わることにより、眼鏡使用者41の頭部42の向きが変わるだけではなく、視覚視野44A,44Bまでの距離等に対応して、眼鏡レンズ50上の視線通過点46A,46Bの位置も変わってくる。
このようなことから、前記特許文献1のように頭部の動きに対応させるだけで、視線通過点が固定であると、実際の見え方とは大きく異なってくることになる。
本実施の形態では、図1に示したシステムを使用して、眼鏡レンズ50上の視線通過点46A,46Bの位置の変化にも対応するように、シミュレーションの画像を表示する。
以下、図3を参照して、図1のシステムにおけるシミュレーションの過程を説明する。
一方、ステップS3において、図2に示したように、CG仮想物体(3次元CGモデル)を用意する。
次に、ステップS4において、CGウォークスルー機能を使用して、ステップS1及びステップS2によって検出した顔の位置や向きや視線方向によって、3次元CGモデルから切り取る視覚視野を求める。この視覚視野は、右眼用と左眼用とでそれぞれ異なる視野となる。
次に、ステップS5において、ステップS4で切り取った視覚視野から、右眼用の歪み、ボヤケが全くない元画像を作成する。同様に、ステップS6において、ステップS5において、ステップS4で切り取った視覚視野から、左眼用の歪み、ボヤケが全くない元画像を作成する。
一方、ステップS7において、入力装置(キーボード19等)により、眼鏡使用者41の処方度数、加入度、レンズ種類を入力する。
次に、入力した内容から、ステップS8で右眼レンズの形状データ及びレイアウトデータ及び右眼球モデルを作成し、ステップS9で左眼レンズの形状データ及びレイアウトデータ及び左眼球モデルを作成する。
次に、ステップS8〜S9でそれぞれ作成した、形状データ、レイアウトデータ、眼球モデルに基づいて、ステップS10において、光線データの3次元スプライン補間係数を生成する。
次に、ステップS10で生成した光線データの3次元スプライン補間係数を用いて、ステップS11において、右眼用の、出射光線方向、PSFパラメータ、レンズ通過点位置、その他いろいろなパラメータの3次元スプライン補間係数を求める。同様に、ステップS12において、左眼用の、出射光線方向、PSFパラメータ、レンズ通過点位置、その他いろいろなパラメータの3次元スプライン補間係数を求める。
次に、ステップS5及びステップS6で作成した元画像と、ステップS11及びステップS12で求めたパラメータや補間係数等を使用して、ステップS13において、シミュレーションを実行する。このシミュレーションの過程では、画像処理用ハードウエアを使用することも含んでいる。
次に、ステップS14において、右眼用の、歪み及びボヤケを含む画像を作成する。同様に、ステップS15において、左眼用の、歪み及びボヤケを含む画像を作成する。
このようにして作成した、歪み及びボヤケを含む画像は、HMD11の表示画面や、右眼監視用モニター16、左眼監視用モニター17に表示する。
以上説明した過程によって、HMD11の表示画面において、視線方向に対応した、歪みやボヤケを含む画像が表示される。
2−1.シミュレーションの目的
この動画像シミュレーションは、眼鏡をかけた場合にどのように感じるかを、静止画像や動画像で表現することを目的としている。
3次元CGとHMD11、ジャイロセンサー、視線追跡装置を組み合わせて使うことにより、仮想空間の中で頭を回したり、視線を変更したりするときに見える画像を、リアルタイムで提示することが可能である。
また、図1のシステム及び図3のフローチャートに示したように、左右の眼にそれぞれ別々の画像を提示すれば両眼立体視も可能である。
本実施の形態のシミュレーションに使用する座標系を、図4に示す。
図4に示すように、x軸、y軸、z軸の3軸の直交座標系を構成する。x軸は、正面から目に入る方向にとる。y軸は、x軸と直交し、上に向く方向とする。z軸は、右から左に向く水平方向とする。x軸−y軸−z軸の方向は、右手則に則っている。そして、原点は、眼球の回旋中心に置く。図中の破線は、眼球とその角膜とを模式的に示している。
シミュレーション画像上の位置は、縦方向ではtanβ=y/xとなり、横方向ではtanγ=z/xとなる。物体距離は、そのまま表すのではなく、逆数で表わすことが、眼鏡の場合には都合がいい。従って、空間上任意点の位置は、下記のように表わすことができる。
レンズを通して見ると、光線が屈折されてしまう。
つまり、裸眼では(ψ,ζ)の方向にある物体点が、眼鏡レンズを通して見ると、(ψ',ζ')に移動する。
このことを、図5を参照して、さらに詳しく説明する。図5には、眼鏡レンズ50と、眼球51と、眼鏡レンズ50の凹面に対応する後方頂点球面52を示している。
図5に示す任意点Pは、裸眼時の入射方向がPOであるのに対し、眼鏡をかけて眼鏡レンズ50を通して見ると、眼球51の回旋中心Oへの入射方向がROに変わる。
同様に、図5に示す点Aは、裸眼時の入射方向がAOであるのに対し、眼鏡レンズ50を通して見ると、眼球51の回旋中心Oへの入射方向がBOに変わる。
ψ'=ψ'(Dl,ψ,ζ)
ζ'=ζ'(Dl,ψ,ζ)
という関数で表すことができる。この関数の中身は、後述する光線追跡によって確定することができる。
なお、融像回旋がある場合には、中心視線の融像回旋角に合わせて座標変換する必要がある。融像回旋の原理については後述する。
レンズによるボヤケの原因は、物体点からのすべての光線が網膜の一点に収束しないことである。
物体点からの光が、像点を中心にある範囲に広がる光量分布を形成する。この分布を、点広がり関数(Point Spread Function;PSF)という。
PSFを求めるときには、まずその点Pを通る主光線PQOを探す。
主光線が決まれば、入射瞳を均等に分割して(例えば400分割)、P点から各分割領域の中心と結ぶ光線を追跡し、網膜に交わる点を求める。
図6において、P点の方位角と、P点出発の光線の主光線に対する方位角とを用いて、各光線を追跡することができる。
入射瞳の位置は、厳密に言うと瞳孔の物体側の共役点だが、主光線の物体側の線PQの延長線上の一点O’で、PO=PO’を満たすところに設定しても差し支えない。
波動光学の効果を考える場合には、さらに各分割領域の光線の光路差を計算して、フレネル積分してPSFを求める。
主な分割方法として、図7Aに示す正方分割と、図7Bに示す螺旋分割との2種類が挙げられる。
図7Aに示す正方分割は、縦横に領域を分割して、各領域の中心点を使用している。この場合には、単純明解だが、四隅に無駄な部分があり、予定の光線数の7割程度しか追跡できない。
一方、図7Bに示す螺旋分割は、入射瞳の中心点から螺旋状に延びる曲線の上の点を使用している。この場合には、予定の光線数の全てを追跡できる。
なお、螺旋状の配置は少なくとも2以上の螺旋を含むことが望ましい。2以上の螺旋を含むことにより、1つの螺旋のみを含む配置よりも、入射瞳を効率良く利用することができる。図7Bでは6つの螺旋を含んでおり、このように6つの螺旋を含んだ場合には、最も効率良く入射瞳を利用することができる。
ここで、入射角と像高の関係を、図8に示す。PSFの有効範囲では像高が小さく、近軸計算で十分精度が得られると考える。
つまり、ψm=ym/f,ζm=zm/fとなる。なお、fは目の焦点距離であり、処方度数によって変化する。
そして、近傍の点と点の間は、お互いに影響を及ぼしあって、区別がつきにくく、ぼやけるように見える。
また、たとえレンズ上同じ位置を通して見ていても、物体距離が異なっていれば、PSFも異なる。
さらにまた、レンズ上同じ位置を通して同じ物体距離の点を見ても、目の調節状態が異なるとPSFも異なる。
なお、融像回旋がある場合には、眼球とレンズとの位置関係が融像回旋角だけ変わって、PSFも変化する。特に、乱視処方(眼球の度数に乱視成分が含まれる)の場合、注意が必要である。
前述したように、視線方向が平行状態でなくなった場合には、眼球が融像回旋を行うことがある。
遠方を見る場合の眼球の回旋は、リスティング法則(Listing’s Law)に基づく。このリスティング法則は、眼球が空間上のある方向に向いたときの姿勢を定める法則である。
眼球の姿勢というのは、眼球の横方向と縦方向の向きを指す。眼球の姿勢が定まらないと、網膜像の上下左右が定まらない。
ただし、視線の方向、即ち、眼球の光軸の方向が決まっただけでは、眼球の姿勢は視線を軸に回転する全ての方向を取りうる。
リスティング法則について、例えば、「視覚情報処理ハンドブック」p.405では、「片眼のどんな回転も1つの平面(リスティング平面)内の軸を中心にして起こるとみなしうる」と記載されている。
図9に示す座標系は、図4に示した座標系と同様に、X軸は正面(水平前方)から目に入る方向、Y軸はX軸と直交する上方向、Z軸は水平方向、としている。図9のX軸方向は、第1眼位とも呼ばれる。
そして、眼球と、眼球の回旋中心の点Rを示している。Y−Z平面は、前述したリスティング平面である。
仮に、(図示しない)方向ベクトル(L,M,N)へ眼球回旋するならば、回旋後の眼球座標系のX軸、Y軸、Z軸のそれぞれのベクトルは、下記の式(1)で計算される。
また、例えば、無限遠方の物体を視ていて体を傾けた場合には、左眼と右眼とで眼球の姿勢が同じで、眼球の回旋も同様である。
これに対して、無限遠方でない物体を両眼で視る場合には、左眼と右眼とで眼球の姿勢が異なることがある。
ここで、両眼視の場合の左右の眼の視線方向を説明する図を、図10A及び図10Bに示す。
このとき、左右眼それぞれの網膜像に差異は生じない。
なお、図10A及び図10Bでは、左眼の眼球51Lと右眼の眼球51Rとの間の中央部に、左眼と右眼とを平均した眼球55を破線で示している。
そのため、左眼の眼球51Lの視方向と、右眼の眼球51Rの視方向とが異なり、眼球の回旋量が、左右の眼球51L,51Rで異なる。図10Bでは、点Aが左前方にあるため、右眼の眼球51Rの回旋量が左目の眼球51Lの回旋量よりも多くなっている。
左眼と右眼の視方向ベクトルが異なれば、回旋後のy軸とz軸の各方向ベクトルは、左右眼で一致せず、網膜像の回転ずれが起こる。
この回転ずれを解消するために、左右の眼において、それぞれ視線周りの回旋が必要になる。この回旋を、融像回旋という。
この共通のy方向は、左眼の視線と右眼の視線とに対して、共に垂直である方向が自然である。つまり、図10Bの左目の眼球51Lの中心と点Aとの間の直線と、右眼の眼球51Rの中心と点Aとの間の直線とを含む平面に垂直な方向である。
従って、図11に両眼共通のy方向を示すように、左眼の視線方向のベクトルxLと右眼の視線方向のベクトルxRとに、それぞれ垂直な方向に、共通のy方向のベクトルyCがある。この方向は、理論的縦方向ホロプターともいう。
この場合、共通のy方向yC自体は変わらないが、左右それぞれのレンズを通過した後のy方向を光線追跡で求めて、光線追跡で求めた共通のy方向と左右の眼のリスティング法則に基づいたy方向のベクトルとの角度を求めると、融像回旋角が求められる。
以上、レンズによる歪みとボヤケと融像回旋について説明した。
歪みとボヤケとを画像処理の手法で合成すると、眼鏡レンズをかけて見える画像のシミュレーションが可能である。さらに、静止画像だけではなく、動画像も可能である。
歪みについては、像側視野内のすべての画素の対応点物体側に求めて、元画像の輝度情報を当てることで実現できる。
ボヤケについては、各画素の輝度をそのPSFに基づいて周辺画素に“分配”して、画像全画素の輝度を再構成することによって実現できる。
ボヤケ処理は、たたみこみ演算(Convolution)とも呼ばれる。一般的なたたみこみ演算と異なるのは、PSFが一定でないことである。
融像回旋(トーション)については、視野内の元画像のデータに、融像回旋を含む眼球回旋量を加える処理を行うことによって実現できる。
なお、視線方向の遠用アイポイントにおける基準位置とは、図10Bでは、左右の眼球51L,51Rから伸びる破線の方向であり、左眼と右眼とを平均した眼球55からでは、正面から角度φだけ左にある。図10Bでは、左右の眼の移動角度量の和が角度αとなっている。
融像回旋(トーション)は、無限遠方を見ている遠方視は除く近方視のときに生じるものであり、左右の眼の視線方向が異なる(平行でなく、交差する)ときに生じるものである。
また、注視している物体が近づいて来る際に眼球が内転する運動(即ち、輻輳)や、注視している物体が遠ざかる際に眼球が外転する運動(即ち、開散)に伴い、融像回旋(トーション)の処理が加えられる。
以上のように、真正面から目に入る方向をx軸とした座標系(以下、グローバル座標系と呼ぶ)において、歪み情報(物体側視方向から像側視方向への変換)と、ボヤケ情報(特定視方向、視距離におけるPSF)とを用いれば、視野全体のシミュレーションが可能である。
例えば、近用部の見え方を確認したい場合は、中心視線がレンズ近用部を通っている必要がある。この場合、中心視線はグローバル座標の斜め方向に当たる。この斜め方向をx’軸とするローカル座標系において、シミュレーションを行う。
このとき、ローカル座標系のy’軸とz’軸をいかに決めるかが問題となる。ここでは眼球回旋の法則のひとつである、リスティング法則に則って決める。リスティング法則によれば、中心視線が真正面向きのときの上下方向及び左右方向が、眼球が回旋して中心視線が移動することに対応して、ある決まった方向にそれぞれ変化する。そして、中心視線が移動して視線方向が変化したときにも、実際の物体の上下方向及び左右方向が網膜像でも上下方向及び左右方向となるように変化する。
座標軸の変換マトリックスは、下記の式(5)になる。
そして、グローバル座標の任意一点(x,y,z)のローカル座標(x',y',z')は、下記の式(6)で変換される。
メガネレンズを通しての見え方をシミュレーションする光学的原理及び画像処理手法は、上述のようにして確立した。
しかし、いざシミュレーションを始めると、膨大な計算量に悩まされる。眼鏡レンズの形状は単純な球面ではなく、特に累進レンズは自由曲面である。
眼鏡レンズのような複雑な面の光線追跡には、繰り返して収束する手法を採用する。これは単純な球面の光線追跡よりも、少なくとも数倍の時間がかかる。
また、シミュレーションする画像の画素数の多さも、光線追跡計算量の上昇に拍車をかけている。
全てのシミュレーションの結果画像の全画素に対して、元画像のどの画素に対応しているか探すための光線追跡(主光線追跡)を実行しなければならない。その上に、PSFを確定するために対応物体点から発する多数(例えば100)の光線を追跡して、網膜上のスポットを求める。これらの光線追跡が全て非球面に対応するために、繰り返し収束手法を採用しなければならないので、途方もなく膨大な計算負担になるのである。
現在のパーソナルコンピュータ1台の計算能力では、このような手法では、一枚の画像(動画像の一コマ)を処理するのに数日かかることになる。
ψ'=ψ'(Dl,ψ,ζ)
ζ'=ζ'(Dl,ψ,ζ)
が成立する。
しかも、変数(Dl,ψ,ζ)に対し、(ψ',ζ')は連続変化することも、容易に想像できる。このような関数は、スプライン補間に適している。
これらのサンプル点のすべての組み合わせについて、光線追跡を実行し、真の関数値を求める。
それ以外の変数値(サンプル点とサンプル点の間の値)に対する関数値は、サンプル点における真の関数値を用いて補間する方法が確立されている。補間方法は、目的に合わせて多数あるが、サンプル点における真値が既知の場合の補間方法としては、Bスプライン法が最も適している。
前述したように、厳密にある物体点のPSFを取得するには、物体点から発し、入射瞳を均等分割する多数の点を通過する光線を追跡し、網膜上のスポットを求めて、さらにスポット密度分布関数を求める。
しかし、この方法では、光線の数を増やしても精度の向上が思うほど上がらない。
また、収差が少ない場合にはスポットが集中して、像点以外にはほとんど光線が通らないケースもあれば、度数誤差の大きい場合には、ある領域で均等分布のケースもあり、PSF関数の変化が激しい。
一方、シミュレーションやレンズパフォーマンス評価の場合、必ずしも正確なPSFを必要としない。例えば、視力の場合、二つの点が分別できる最も近い距離(視角)を表している。この場合、PSFの関数の精密な形は必要とせず、PSFがカバーする範囲の大きさが重要なパラメータである。従って、PSFを大胆に簡略しても、レンズ性能評価に果たす役割が大きく影響されることはないと言える。
逆に、PSFをあらかじめ連続関数に仮定して、そのパラメータを光線追跡のデータを用いて当てはめるようにすれば、少ないパラメータでPSFを表現できる。それらのパラメータを、前述の歪み関数のようにスプライン補間(三次元)で求めることができる。
下記の式(9)で表される楕円の線上すべての点(μ,ν)において、次の式(10)が成り立つ。
もちろん、PFSの光学系の状態による無限に近い変化を忠実に表すことはできないが、PSFを表現する簡略関数としては有効である。
σμ=σμ(Dl,ψ,ζ)
σν=σν(Dl,ψ,ζ)
ρ=ρ(Dl,ψ,ζ)
これらの関数は、歪み情報と同様にスプライン補間で求めることもできる。つまり、下記のように求めることができる。
1次元スプライン補間は、
言い換えると、xの定義域内の任意点aにおいては、ゼロでない値のNi(x)が最多でもM個しか存在しない。
従って、補間式は一見するとn項あるように見えるが、x=aにおいては実質M項であり、M回の掛け算とM回の足し算でF(a)が得られる。
つまり、項の数は各次元の標本点数の積になる。しかし、上述の基底関数の局部性により、ある一点については、ゼロでない項の数は、各次元の階数の積である。
各次元のスプライン階数が4の場合、項の数は43=64である。つまり、一回の補間演算では、足し算を64回、掛け算を64×3=192回行うことになる。
一般的には、nj次元のM階スプライン補間演算に必要な掛け算の回数は、nj×Mnjであり、次元数が大きくなるにつれて、急激に計算負担が増える。
一般的には、nj次元のM階スプライン補間演算に必要な掛け算の回数は、下記式(14)で表される。
3次元CGを利用した動画像シミュレーションの、主に技術的側面について説明した。累進レンズをかけて見えた3次元の外部世界を動画像でシミュレーションするため、計算量は膨大である。
この膨大な計算量を、スプライン補間とPSFのパラメータ化によって削減することができ、実現可能なレベルまで達成することが可能になる。
そして、本発明を適用しないでシミュレーションの計算を行った場合と比較して、本発明を適用した場合には、計算に要する時間を1/100〜1/1000程度にまで短縮することができる。
そして、ジャイロを搭載したHMDで、CGの中でリアルタイムウォークスルーを実行したところ、10フレーム/秒の速さで実現することができた。
本発明では、上述の実施の形態のように、HMD11とモニター16,17の両方への画像表示を行う構成に限定されるものではない。モニターを省略してHMDのみに表示する等、いずれか一方の表示部のみを設けて、その表示部に網膜像を表示する構成としてもよい。
本発明において、網膜像を表示する表示部は、HMDやモニターに限定されない。また、頭部の動きのセンサーは、ジャイロセンサーに限定されるものではない。
本実施の形態では、図1及び図3に示したHMD11とモニター16,17の代わりに、3D(立体)ディスプレー、例えば、3Dテレビジョンや3Dプロジェクター等を表示部として使用する。そして、あらかじめ動画を作成した後に、一コマずつシミュレーション画像を作成して、このシミュレーション画像から眼鏡レンズをかけた場合の動画像を作成して、左右眼画像を3Dディスプレーに表示する。
まず、ステップS21において、図2に示したと同様に、CG仮想物体(3次元CGモデル)を用意する。
また、ステップS22において、あらかじめ作成した動画像ストーリーを用意する。
次に、ステップS23において、CG仮想物体(3次元CGモデル)と動画像ストーリーとから、動画の一コマを左右眼の視点及び視方向から作成する。
次に、ステップS24において、ステップS23で作成した動画の一コマから、右眼用の歪み、ボヤケが全くない元画像の各画素の輝度(RGB)と視点からの距離を求める。同様に、ステップS25において、ステップS23で作成した動画の一コマから、左眼用の歪み、ボヤケが全くない元画像の各画素の輝度(RGB)と視点からの距離を求める。
一方、ステップS26において、入力装置(キーボード19等)により、眼鏡使用者の処方度数、加入度、レンズ種類を入力する。
次に、入力した内容から、ステップS27で右眼レンズの形状データ及びレイアウトデータと右眼球モデルを作成し、ステップS28で左眼レンズの形状データ及びレイアウトデータ及び左眼球モデルを作成する。
次に、ステップS27〜S28でそれぞれ作成した、形状データ、レイアウトデータ、眼球モデルに基づいて、ステップS29において、光線データの3次元スプライン補間係数を生成する。
次に、ステップS29で生成した光線データの3次元スプライン補間係数を用いて、ステップS30において、右眼用の、出射光線方向、PSFパラメータ、レンズ通過点位置、その他いろいろなパラメータの3次元スプライン補間係数を求める。同様に、ステップS31において、左眼用の、出射光線方向、PSFパラメータ、レンズ通過点位置、その他いろいろなパラメータの3次元スプライン補間係数を求める。
次に、ステップS24及びステップS25で作成した元画像の各画素の輝度及び視点からの距離と、ステップS30及びステップS31で求めたパラメータや補間係数等を使用して、ステップS32において、シミュレーションを実行する。このシミュレーションの過程では、画像処理用ハードウエアを使用することも含んでいる。
次に、ステップS33において、右眼用の、歪み及びボヤケを含む画像を作成する。同様に、ステップS34において、左眼用の、歪み及びボヤケを含む画像を作成する。
このようにして作成した、歪み及びボヤケを含む画像は、3Dディスプレーにおいて立体表示する。
以上説明した過程によって、3Dディスプレーの表示画面において、視線方向に対応した、歪みやボヤケを含む立体画像が表示される。
上述の実施の形態では、歪みを加える処理では、像側視野内のすべての画素の対応点物体側に求めて、元画像の輝度情報を当てていた。
また、上述の実施の形態では、ボヤケを加える処理では、各画素の輝度をそのPSFに基づいて周辺画素に“分配”して、画像全画素の輝度を再構成していた。さらにまた、式(1)で表わされる正規分布関数とパラメータを使用していた。
本発明では、歪みやボケを加える処理の方法は、上述した実施の形態で説明した方法に限定されるものではなく、その他の方法を使用することが可能である。
そして、本発明は、歪みを加える処理とボケを加える処理とのうち、一方又は両方に、上述した実施の形態で説明した方法以外の方法を使用する構成も含むものである。
本発明は、右眼用画像或いは左眼用画像のいずれか一方の眼用の画像のみを作成する構成も含む。
本発明では、累進屈折力レンズに限らず、他の眼鏡レンズにおいても、融像回旋を含む眼球回旋量を加える処理を行って、網膜像を作成することが可能である。
Claims (3)
- 眼鏡レンズを掛けたときに見える網膜像を、シミュレーションによって表示する、眼鏡の視野画像表示装置であって、
前記眼鏡レンズを掛けた状態での眼球の視線の方向に対応する視野内の元画像のデータに、前記眼鏡レンズにおける前記視線の通過点に対応する、少なくとも、眼球の視軸回りの回転運動である融像回旋を含む眼球回旋量を加える処理を行うことにより、前記網膜像を作成する画像処理部と、
前記画像処理部で作成した前記網膜像を表示する表示部とを有する
ことを特徴とする眼鏡の視野画像表示装置。 - 前記画像処理部は、視線方向の遠用アイポイントにおける基準位置からの視線移動角度量(眼球の水平垂直運動)と、前記眼鏡レンズの屈折力及び/又はプリズムとに応じて、眼球のトーション(融像回旋)角度を算出することを特徴とする請求項1に記載の眼鏡の視野画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215367A JP5632245B2 (ja) | 2010-09-27 | 2010-09-27 | 眼鏡の視野画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215367A JP5632245B2 (ja) | 2010-09-27 | 2010-09-27 | 眼鏡の視野画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012066002A JP2012066002A (ja) | 2012-04-05 |
JP5632245B2 true JP5632245B2 (ja) | 2014-11-26 |
Family
ID=46163967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010215367A Active JP5632245B2 (ja) | 2010-09-27 | 2010-09-27 | 眼鏡の視野画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5632245B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6023801B2 (ja) * | 2012-05-25 | 2016-11-09 | Hoya株式会社 | シミュレーション装置 |
EP2886040B1 (en) | 2012-08-20 | 2018-01-10 | HOYA Corporation | Simulation device, simulation system, simulation method and simulation program |
EP2958035A4 (en) * | 2013-02-06 | 2016-10-19 | Hoya Corp | SIMULATION SYSTEM, SIMULATION DEVICE, AND METHOD OF ASSISTING PRODUCT DESCRIPTION |
AU2017236893A1 (en) | 2016-03-21 | 2018-09-06 | Washington University | Virtual reality or augmented reality visualization of 3D medical images |
US10783700B2 (en) * | 2018-05-20 | 2020-09-22 | Neurolens, Inc. | Progressive lens simulator with an axial power-distance simulator |
JP7186082B2 (ja) * | 2018-12-26 | 2022-12-08 | ホヤ レンズ タイランド リミテッド | 眼鏡レンズの設計方法および製造方法 |
CN110430357B (zh) * | 2019-03-26 | 2021-01-29 | 华为技术有限公司 | 一种图像拍摄方法与电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3347514B2 (ja) * | 1995-03-31 | 2002-11-20 | ホーヤ株式会社 | 眼光学系のシミュレーション装置 |
JP2000047154A (ja) * | 1998-07-28 | 2000-02-18 | Seiko Epson Corp | 眼鏡の視野体験装置、眼鏡の視野体験方法及び記録媒体 |
JP3893760B2 (ja) * | 1998-07-28 | 2007-03-14 | セイコーエプソン株式会社 | 眼鏡の視野体験装置、眼鏡の視野体験方法及び記録媒体 |
JP3825654B2 (ja) * | 2000-05-22 | 2006-09-27 | Hoya株式会社 | 眼光学系のシミュレーション方法及び装置 |
JP3919097B2 (ja) * | 2001-09-06 | 2007-05-23 | Hoya株式会社 | 眼鏡レンズの両眼視性能表示方法及びその装置 |
JP4477909B2 (ja) * | 2004-03-19 | 2010-06-09 | セイコーオプティカルプロダクツ株式会社 | 眼鏡装用シミュレーションシステム、および画像生成方法 |
JP3686418B2 (ja) * | 2004-10-29 | 2005-08-24 | アレイ株式会社 | 計測装置およびその方法 |
EP2341388A1 (en) * | 2008-10-17 | 2011-07-06 | Hoya Corporation | Visual field image display device for eyeglasses and method for displaying visual field image for eyeglasses |
JP5352249B2 (ja) * | 2009-01-13 | 2013-11-27 | ホーヤ レンズ マニュファクチャリング フィリピン インク | シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体 |
-
2010
- 2010-09-27 JP JP2010215367A patent/JP5632245B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012066002A (ja) | 2012-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010044383A1 (ja) | 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法 | |
JP7078540B2 (ja) | 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 | |
US9785306B2 (en) | Apparatus and method for designing display for user interaction | |
JP5632245B2 (ja) | 眼鏡の視野画像表示装置 | |
US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
JP6014038B2 (ja) | 眼鏡装用シミュレーション方法、プログラム、装置、眼鏡レンズ発注システム及び眼鏡レンズの製造方法 | |
US11577159B2 (en) | Realistic virtual/augmented/mixed reality viewing and interactions | |
EP1949174B1 (en) | Ophthalmic lens simulation system and method | |
JP3342423B2 (ja) | 眼光学系のシミュレーション装置 | |
JP6023801B2 (ja) | シミュレーション装置 | |
CN109791433A (zh) | 预测式中心凹虚拟现实*** | |
JP6276691B2 (ja) | シミュレーション装置、シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム | |
BR112013009855B1 (pt) | Aparelho de exibição montado na cabeça | |
US20230251508A1 (en) | Modular prescription augmented reality display | |
JP2006185448A (ja) | 距離演算装置 | |
Sun et al. | A novel integrated eye-tracking system with stereo stimuli for 3-D gaze estimation | |
JPWO2016051431A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
US20230209032A1 (en) | Detection, analysis and correction of disparities in a display system utilizing disparity sensing port | |
JP2002045336A (ja) | 眼光学系のシミュレーション方法及び装置 | |
CN108881892B (zh) | 用于桌面式虚拟现实***的防眩晕方法、*** | |
JP7241702B2 (ja) | 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム | |
D'Angelo et al. | Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype | |
Wetzstein | Augmented and virtual reality | |
Zhdanov et al. | Adaptive vergence reconstruction method for mixed reality systems | |
JP2022050768A (ja) | 要素画像群生成装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5632245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |