JPWO2013175923A1 - シミュレーション装置 - Google Patents

シミュレーション装置 Download PDF

Info

Publication number
JPWO2013175923A1
JPWO2013175923A1 JP2014516730A JP2014516730A JPWO2013175923A1 JP WO2013175923 A1 JPWO2013175923 A1 JP WO2013175923A1 JP 2014516730 A JP2014516730 A JP 2014516730A JP 2014516730 A JP2014516730 A JP 2014516730A JP WO2013175923 A1 JPWO2013175923 A1 JP WO2013175923A1
Authority
JP
Japan
Prior art keywords
image
simulation
lens
distance
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014516730A
Other languages
English (en)
Other versions
JP6023801B2 (ja
Inventor
祁 華
華 祁
英敏 西村
英敏 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2014516730A priority Critical patent/JP6023801B2/ja
Publication of JPWO2013175923A1 publication Critical patent/JPWO2013175923A1/ja
Application granted granted Critical
Publication of JP6023801B2 publication Critical patent/JP6023801B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eyeglasses (AREA)
  • Studio Devices (AREA)

Abstract

眼鏡レンズの装用者が当該眼鏡レンズを通して見るであろう画像を疑似的に表示するシミュレーション装置を、前記装用者の視野内について撮像を行う撮像カメラ13と、前記撮像カメラ13での撮像結果と同画角の画像の構成要素について画角奥行き方向の距離データを画像単位で検出する距離画像センサ14と、前記眼鏡レンズのレンズデータを取得するデータ取得手段と、前記距離データおよび前記レンズデータに基づき前記撮像カメラ13での撮像結果に対する画像処理を行ってシミュレーション画像を生成する画像生成手段と、前記シミュレーション画像を表示出力する画像表示ディスプレイ15と、を備えて構成する。

Description

本発明は、眼鏡レンズの装用者が当該眼鏡レンズを通して見るであろう画像を疑似的に表示するシミュレーション装置に関する。
近年、例えば眼鏡店においては、眼鏡レンズの装用予定者に当該眼鏡レンズを装用した状態を疑似体験させるシミュレーション装置が利用されている(例えば、特許文献1,2参照)。このようなシミュレーション装置を利用すれば、眼鏡レンズの装用予定者は、レンズ発注に先立って、当該眼鏡レンズを通した場合の見え方(像の歪みやボケ等)を体感することができる。また、眼鏡店の側においても、シミュレーションによる像形成を利用するので、装用予定者が所望するレンズ処方等のサンプルレンズを用意する必要が無く、サンプルレンズにはない種類のレンズを装用した場合の見え方を装用予定者に体感させることもできる。
特許第3342423号公報 国際公開第2010/044383号公報
ところで、特許文献1,2等で開示された従来のシミュレーション装置は、シミュレーションによる像形成の基になる原画像(静止画または動画)が、事前に撮影しておいたもの、またはコンピュータグラフィックス(computer graphics、以下「CG」と略す。)で生成したものに限られている。つまり、従来のシミュレーション装置は、予め用意しておいた原画像を用いて、眼鏡レンズの装用予定者にレンズ装用状態を疑似体験させるように構成されている。
従来のシミュレーション装置が予め用意しておいた原画像を用いる理由は、以下のとおりである。シミュレーションによる像形成には、レンズ処方等のレンズデータに加えて、原画像の構成要素(例えば各画素)までのレンズからの距離のデータが必要不可欠である。レンズ焦点距離は眼鏡レンズ毎に固定的な値なので、原画像の構成要素までの距離が異なれば、当該構成要素について眼鏡レンズを通した場合の見え方も当然に異なってくるからである。この点、原画像を予め用意しておけば、当該原画像の構成要素についての距離を事前に特定しておくことが可能となる。例えばCGで生成した画像であれば、各画素について距離データを有することが可能である。このような理由により、従来のシミュレーション装置は、予め用意しておいた原画像を用いている。
しかしながら、予め用意しておいたCGなどの情景に限られていると、シミュレーション装置を利用する眼鏡レンズの装用予定者は、実空間の現実に即した画像とは異なる画像を見ながらレンズ装用状態を疑似体験することになるため、違和感を覚えてしまうおそれがある。一方、特許文献1にあるように、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等を利用した撮像カメラを複数台用いれば、当該複数台によるステレオ視を使って、原画像とこれに対応した距離データの取得も実現可能となる。ところが、その場合には、コントラストの低い面の距離データを取得できず、照明条件の影響を受け易いという問題があるため、シミュレーション可能な画像に制約ができてしまう。また、距離データ取得のための計算負荷が大きいため、距離データのリアルタイム取得には向いていないという問題もある。
そこで、本発明は、眼鏡レンズの装用予定者が実空間の現実に即した画像を見ながらレンズ装用状態を疑似体験することを可能にしつつ、その場合であっても距離の違いに対応する見え方の相違を正しく反映させたシミュレーション画像の生成を行うことのできるシミュレーション装置を提供することを目的とする。
本発明は、上記目的を達成するために案出されたものである。
この目的達成のために、本願発明者らは、先ず、シミュレーションによる像形成の基になる原画像として、実空間の現実に即した画像を用いることについて検討した。この点については、例えば実空間の現実に即した画像を撮像する撮像カメラを用いることが考えられる。ここでいう実空間の現実に即した画像とは、眼鏡レンズの装用予定者の視野に動的に対応しつつ、その視野内の物体(被写体)をリアルタイム表示するための画像である。ところが、上述したように複数台の撮像カメラによるステレオ視を利用した場合であっても取得できる距離データには制約があり、シミュレーション可能な画像が限られてしまうため、撮像カメラでの撮像結果だけでは、レンズ装用状態を疑似体験させるシミュレーションに適したものとはならない。
単に距離を特定するだけであれば、例えば広く一般的に用いられている赤外線測長センサのような距離測定器を利用することも考えられる。しかしながら、距離は、原画像の構成要素(例えば各画素)毎に特定する必要がある。そのため、例えば一般的な距離測定器を利用して各画素について距離のデータを検出することは、常識的なシミュレーション装置における情報処理能力を考慮すると、とても現実的であるとは言えない。
この点につき、本願発明者らは、さらに鋭意検討を重ねた。そして、本願発明者らは、眼鏡レンズの装用予定者にレンズ装用状態を疑似体験させるシミュレーション用途において、その装用予定者の視野に動的に対応しつつその視野内の物体をリアルタイム表示するために、監視システムやゲーム機器等に利用される距離画像センサを、敢えて光学系の光線追跡等の解析処理を必要とするシミュレーション装置に用い、その距離画像センサによって撮像カメラでの撮像結果と同画角の距離画像を取得するという、従来には無かった新たな着想に至った。
本発明は、上述した本願発明者らによる新たな着想に基づいてなされたものである。
本発明の第1の態様は、眼鏡レンズの装用者が当該眼鏡レンズを通して見るであろう画像を疑似的に表示するシミュレーション装置であって、前記装用者の視野内について撮像を行う撮像カメラと、前記撮像カメラでの撮像結果と同画角の距離画像を取得する距離画像センサと、前記眼鏡レンズのレンズデータを取得するデータ取得手段と、前記距離画像および前記レンズデータに基づき、前記撮像カメラでの撮像結果に対する画像処理を行って、前記眼鏡レンズを通した場合の見え方を反映させたシミュレーション画像を生成する画像生成手段と、前記シミュレーション画像を前記装用者が前記眼鏡レンズを通して見るであろう画像として表示出力する画像表示ディスプレイとを備えることを特徴とするシミュレーション装置である。
本発明の第2の態様は、第1の態様に記載の発明において、少なくとも前記画像生成手段および前記画像表示ディスプレイは、左眼用シミュレーション画像と右眼用シミュレーション画像とのそれぞれに個別に対応したものであることを特徴とする。
本発明の第3の態様は、第2の態様に記載の発明において、前記撮像カメラおよび前記距離画像センサについても、左右眼のそれぞれに対応して個別に設けられていることを特徴とする。
本発明の第4の態様は、第1、第2または第3の態様に記載の発明において、前記撮像カメラ、前記距離画像センサ、前記画像生成手段および前記画像表示ディスプレイで扱う画像が動画であることを特徴とする。
本発明の第5の態様は、第1から第4のいずれか1態様に記載の発明において、少なくとも前記撮像カメラ、前記距離画像センサおよび前記画像表示ディスプレイは、前記装用者の頭部に装着可能な筐体に組み込まれていることを特徴とする。
本発明の第6の態様は、第5の態様に記載の発明において、前記撮像カメラの配置状態を変化させるカメラ駆動機構を備えることを特徴とする。
本発明の第7の態様は、第1から第4のいずれか1態様に記載の発明において、少なくとも前記撮像カメラ、前記距離画像センサおよび前記画像表示ディスプレイは、携帯型の情報処理端末機に組み込まれていることを特徴とする。
本発明によれば、眼鏡レンズの装用予定者が実空間の現実に即した画像を見ながらレンズ装用状態を疑似体験することを可能にしつつ、その場合であっても距離の違いに対応する見え方の相違を正しく反映させたシミュレーション画像を生成することができる。
本発明の第1実施形態におけるシミュレーション装置全体の概略構成例を示す説明図である。 本発明の第1実施形態におけるシミュレーション装置の機能構成例を示すブロック図である。 本発明の第1実施形態におけるシミュレーション装置が行うシミュレーション処理の実行手順の一例を示すフローチャートである。 本発明の第2実施形態におけるシミュレーション装置全体の概略構成例を示す説明図である。 本発明の第2実施形態のシミュレーション装置によるシミュレーション画像の表示例を示す説明図である。
以下、本発明の実施形態を、第1実施形態と第2実施形態とに分け、これらを順に図面に基づいて説明する。
[第1実施形態]
第1実施形態では、以下の順序で項分けをして説明を行う。
1.シミュレーション装置の概略構成
2.シミュレーション装置の機能構成
3.シミュレーション処理の手順
4.第1実施形態の効果
5.変形例等
<1.シミュレーション装置の概略構成>
先ず、第1実施形態におけるシミュレーション装置全体の概略構成について説明する。
図1は、第1実施形態におけるシミュレーション装置全体の概略構成例を示す説明図である。
第1実施形態におけるシミュレーション装置は、眼鏡レンズの装用者が当該眼鏡レンズを通して見るであろう画像を疑似的に表示するものであり、これにより眼鏡レンズの装用予定者にレンズ装用状態を疑似体験させるものである。そのために、第1実施形態におけるシミュレーション装置は、大別すると、図1(a)に示すように、ヘッドマウントディスプレイ(Head Mounted Display、以下「HMD」と略す。)部10と、制御コンピュータ部20と、を備えて構成されている。
(HMD部)
HMD部10は、筐体11とこれに接続された装着バンド12とを備えており、これらにより眼鏡レンズの装用予定者(以下、単に「レンズ装用者」という。)の頭部に装着することが可能に構成されている。そして、筐体11には、撮像カメラ13、距離画像センサ14および画像表示ディスプレイ15が組み込まれている。
撮像カメラ13は、レンズ装用者の視野に動的に対応しつつ、その視野内に存在する物体(被写体)についての撮像を行うことで、当該レンズ装用者が居る実空間の現実に即した画像を撮像するものである。撮像カメラ13は、例えばCCDセンサやCMOSセンサ等を利用して構成されたものを用いることが考えられる。なお、撮像カメラ13は、レンズ装用者の左右眼のそれぞれに対応して個別に設けられていることが望ましい。その場合に、個別に設けられた各撮像カメラ13は、図1(b)に示すように、一方がレンズ装用者の左眼の視野に対応した画角16Lについての撮像を行い、他方がレンズ装用者の右眼の視野に対応した画角16Rについての撮像を行うことになる。また、撮像カメラ13は、動画の撮像に対応したものであることが望ましい。
距離画像センサ14は、撮像カメラ13での撮像結果と同画角の距離画像を取得するものである。「距離画像」とは、一般的な二次元RGB画像の色や濃淡等の値の代わりに、距離画像センサ14から被写体までの距離情報を持った画像のことをいう。つまり、距離画像を取得する距離画像センサ14は、撮像カメラ13での撮像結果と同画角の画像における被写体について、当該被写体と距離画像センサ14との間の画角奥行き方向の距離の大きさを、当該被写体の画像を構成する画素毎に、当該画素の集合体である1フレームを一つの単位としつつ、検出するものであると言える。距離検出は、公知の手法を用いて行えばよい。公知の手法としては、例えば、出射した光が被写体に当たって跳ね返ってくるまでの時間を測定することで検出するTOF(Time Of Flight)方式や、あるパターンを持ったレーザー光線を被写体に当て、反射する光のパターンの歪で距離を測定するSL(Structured Light)方式等が挙げられる。
このような距離画像センサ14は、撮像カメラ13と同様に、レンズ装用者の左右眼のそれぞれに対応して個別に設けられていることが望ましい。ただし、撮像カメラ13がレンズ装用者の左右眼のそれぞれに対応して個別に設けられている場合であっても、距離画像センサ14による距離検出結果を左右眼用に補正し得る機能を有していれば、左右眼用に一つの距離画像センサ14を共用することが考えられる。
また、距離画像センサ14は、撮像カメラ13と同様に動画を取り扱い可能なものであることが望ましく、さらに高フレームレート動画を扱えるものであれば、滑らかな映像に対応し得るようになるので、より一層望ましい。
なお、距離画像センサ14は、撮像カメラ13での撮像結果と同画角の距離画像を取得するものであるが、ここでいう「同画角」には、画角が完全に一致する場合は勿論、画角が完全同一ではないが同一になるようアライメントを取る場合も含まれるものとする。
また、距離画像センサ14は、必ずしも撮像カメラ13と別体である必要はない。つまり、距離画像センサ14は、例えば一般的な二次元RGB画像と距離情報を持つ距離画像とを同時に取得できるカメラ装置を用いることで、撮像カメラ13と一体で構成されたものであっても構わない。
画像表示ディスプレイ15は、HMD部10の筐体11を装着したレンズ装用者の眼の前方に配されて、当該レンズ装用者に対する画像表示を行うものである。画像表示ディスプレイ15は、例えばLCD(Liquid Crystal Display)を利用して構成されたものを用いることが考えられる。このような画像表示ディスプレイ15が表示出力する画像としては、詳細を後述するように、レンズ装用者が眼鏡レンズを通して見るであろう画像であるシミュレーション画像が挙げられる。なお、画像表示ディスプレイ15は、左眼用シミュレーション画像と右眼用シミュレーション画像とのそれぞれに個別に対応したもの、すなわち左眼用ディスプレイパネルと右眼用ディスプレイパネルとによって構成されていることが望ましい。また、画像表示ディスプレイ15は、動画の表示出力に対応したものであることが望ましい。
(制御コンピュータ部)
制御コンピュータ部20は、所定プログラムで指示された情報処理を行うコンピュータ装置としての機能を有するものであり、具体的にはCPU(Central Processing Unit)、HDD(Hard disk drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、外部インタフェース(I/F)等の組み合わせによって構成されたものである。なお、制御コンピュータ部20は、HMD部10の筐体11に組み込まれたものであってもよいし、HMD部10とは別体で設けられたものであってもよい。HMD部10と別体で設けられる場合、制御コンピュータ部20は、HMD部10との間で、有線または無線の通信回線を介して、通信を行うことが可能になっているものとする。
<2.シミュレーション装置の機能構成>
続いて、第1実施形態におけるシミュレーション装置の機能構成について説明する。
図2は、第1実施形態におけるシミュレーション装置の機能構成例を示すブロック図である。
第1実施形態におけるシミュレーション装置では、制御コンピュータ部20が所定プログラムを実行することにより、通信手段21、データ取得手段22、および、画像生成手段23としての機能が実現される。
通信手段21は、制御コンピュータ部20がHMD部10との間の通信を行うための機能である。具体的には、通信手段21は、撮像カメラ13による撮像画像と距離画像センサ14が取得した距離画像とを受け取ったり、後述する画像生成手段23が生成したシミュレーション画像を画像表示ディスプレイ15へ送り出したりする。なお、通信手段21が用いる通信プロトコルについては、特に限定されるものではない。
データ取得手段22は、レンズ装用者が装用を予定する眼鏡レンズについてのレンズデータを取得するための機能である。取得するレンズデータには、左眼用眼鏡レンズと右眼用眼鏡レンズとのそれぞれについて、少なくともレンズ処方データおよびレンズ形状設計データが含まれているものとする。レンズ処方データは、レンズ度数、加入度数、球面度数、乱視度数、乱視軸、プリズム度数、プリズム基底方向、近用内寄せ量等に関するデータである。レンズ形状設計データは、眼鏡レンズの形状に関するデータであり、レンズ素材の屈折率やアッベ数、レンズ屈折面(前面、後面)の座標値データ、レンズ中心厚等の厚みデータ、累進帯長等の設計パラメータに関するデータ、レンズ上各点における屈折作用(屈折力、プリズム作用等)に関するデータ等からなるものである。このようなレンズデータの取得は、例えば、図示せぬネットワーク回線を通じて、制御コンピュータ部20におけるデータ取得手段22が当該ネットワーク回線上のデータサーバ装置にアクセスすることによって行えばよい。また、例えば、制御コンピュータ部20が有する記憶装置にレンズデータがデータベース化されて記憶保持されていれば、制御コンピュータ部20におけるデータ取得手段22が当該記憶装置にアクセスすることによって行うことも考えられる。データサーバ装置等に様々な眼鏡レンズについてのレンズデータが存在する場合には、例えば、HMD部10または制御コンピュータ部20の図示せぬ操作部での操作内容に従いつつ、例えば眼鏡レンズのメーカ名や製品型番等をキーにして検索を行うことで、所望のレンズデータの取得を行えばよい。
画像生成手段23は、レンズ装用者が眼鏡レンズを通して見るであろう画像であるシミュレーション画像を生成するための機能である。画像生成手段23では、詳細を後述するように、距離画像センサ14が取得し通信手段21で受け取った距離画像と、データ取得手段22が取得した眼鏡レンズのレンズデータとに基づき、撮像カメラ13が撮像し通信手段21で受け取った撮像画像に対して、当該眼鏡レンズを通した場合の見え方を反映させた画像処理を行うことによって、シミュレーション画像の生成を行うようになっている。なお、画像生成手段23は、左眼用シミュレーション画像と右眼用シミュレーション画像とのそれぞれに個別に対応したもの、すなわち左眼用シミュレーション画像の生成と右眼用シミュレーション画像の生成とを行い得るものであることが望ましい。また、画像生成手段23は、動画によるシミュレーション画像の生成に対応したものであることが望ましい。
以上に説明した通信手段21、データ取得手段22および画像生成手段23は、コンピュータ装置としての機能を有する制御コンピュータ部20が、所定プログラム(すなわちシミュレーション実行プログラム)を実行することによって実現される。その場合に、シミュレーション実行プログラムは、制御コンピュータ部20のHDD等にインストールされて用いられるが、そのインストールに先立ち、制御コンピュータ部20と接続するネットワーク回線を通じて提供されるものであってもよいし、あるいは制御コンピュータ部20で読み取り可能な記憶媒体に格納されて提供されるものであってもよい。
<3.シミュレーション処理の手順>
次に、以上のように構成されたシミュレーション装置において、レンズ装用者に眼鏡レンズの装用状態を疑似体験させるために行うシミュレーション処理の実行手順について説明する。
図3は、第1実施形態におけるシミュレーション装置が行うシミュレーション処理の実行手順の一例を示すフローチャートである。
第1実施形態で説明するシミュレーション処理は、大別すると、事前処理ステップ(S1)と、原画像取得ステップ(S2)と、歪み情報特定ステップ(S3)と、ボケ情報特定ステップ(S4)と、画像処理ステップ(S5)と、シミュレーション画像出力ステップ(S6)とを備えている。
事前処理ステップ(S1)では、原画像取得ステップ(S2)以降の一連の処理に先立って、レンズ装用者が装用を予定する眼鏡レンズについてのレンズデータを、データ取得手段22で取得しておく。このとき、データ取得手段22は、左眼用眼鏡レンズと右眼用眼鏡レンズとのそれぞれについてレンズデータの取得を行うものとする。レンズ装用者が装用を予定する眼鏡レンズの特定は、HMD部10または制御コンピュータ部20の図示せぬ操作部での操作内容に従いつつ行えばよい。
原画像取得ステップ(S2)では、レンズ装用者の頭部にHMD部10を装着した状態で、そのレンズ装用者の視野内に存在する物体(被写体)について、これをHMD部10に組み込まれた撮像カメラ13で撮像する。そして、撮像カメラ13で得られた撮像画像を通信手段21で受け取って、その撮像画像をシミュレーション画像の元になる原画像とする。これにより、制御コンピュータ部20は、例えば撮像カメラ13がレンズ装用者の左右眼のそれぞれに対応して個別に設けられていれば、レンズ装用者の左眼の視野に対応した左眼用原画像と、同レンズ装用者の右眼の視野に対応した右眼用原画像とを、それぞれ取得することになる。
さらに、原画像取得ステップ(S2)では、撮像カメラ13での撮像に合わせて、その撮像結果と同画角の距離画像を距離画像センサ14が取得し、その距離画像を通信手段21で受け取る。これにより、制御コンピュータ部20は、例えば撮像カメラ13での撮像結果に基づき左眼用原画像と右眼用原画像とを取得する場合であれば、左眼用原画像を構成する各画素についての距離情報(距離の大きさ)と、右眼用原画像を構成する各画素についての距離情報(距離の大きさ)とを、それぞれ把握し得ることになる。なお、撮像カメラ13が動画の撮像に対応している場合には、静止画を複数フレーム分連続させたものが動画であることから、距離画像センサ14による距離画像の取得も、1フレームを一つの単位としつつ、各フレームについて個別に行われるものとする。
歪み情報特定ステップ(S3)では、レンズ装用者が装用を予定する眼鏡レンズを通して見た場合に生じる画像の歪みについて、左眼用眼鏡レンズと右眼用眼鏡レンズとのそれぞれに関し、その発生態様の特定を画像生成手段23が行う。眼鏡レンズを通して見ると、光線が屈折されてしまう。つまり、裸眼で見る場合の物体点の位置が、眼鏡レンズを通して見ると、別の位置に移動してしまう。その移動によって生じるのが、画像の歪みである。
画像の歪みは、ある仮想的な三次元座標空間において、事前処理ステップ(S1)で取得したレンズデータに基づき眼鏡レンズにおける任意の光透過点の位置を認識するとともに、原画像取得ステップ(S2)で取得した距離画像に基づき眼鏡レンズから被写体までの距離の大きさを認識した上で、例えば光線追跡の手法を用いることで、その発生態様を特定することが可能である。このとき、距離画像センサ14が取得する距離画像は、当該距離画像センサ14と被写体との間の距離を特定するものである。ただし、距離画像センサ14と眼鏡レンズとが近傍位置にあることから、距離画像センサ14による距離画像で特定された距離を、そのまま眼鏡レンズと被写体との間の距離として擬制すればよい。または、距離画像センサ14による距離画像に対して、所定の演算処理を行って補正することで、眼鏡レンズと被写体との間の距離を算出してもよい。このようにすれば、原画像の構成要素(例えば各画素)について、眼鏡レンズとの間の距離が分かるので、画像の歪みの特定が可能となる。なお、光線追跡の手法については、公知の技術を利用して行えばよいため(特許第3342423号明細書、国際公開第2010/044383号等参照)、ここではその詳細な説明を省略する。
また、画像の歪みの特定にあたっては、例えば光線データのスプライン補間近似を利用することで、その処理負荷の軽減を図ることも考えられる。なお、光線データのスプライン補間近似についても、公知の技術を利用して行えばよい(特許第3342423号明細書、国際公開第2010/044383号等参照)。
ボケ情報特定ステップ(S4)では、レンズ装用者が装用を予定する眼鏡レンズを通して見た場合に生じる画像のボケについて、左眼用眼鏡レンズと右眼用眼鏡レンズとのそれぞれに関し、その発生態様の特定を画像生成手段23が行う。眼鏡レンズを通して見た場合に画像のボケが生じる原因は、物体点からの全ての光線が網膜の一点に収束しないことによる。つまり、物体点からの光は、像点を中心にある範囲に広がる光量分布を形成する。この分布を、点広がり関数(Point Spread Function、以下「PSF」と略す。)という。したがって、画像のボケは、PSFを求めることによって、その発生態様を特定することが可能である。
ただし、たとえ眼鏡レンズ上の同じ位置を通して見ていても、物体点までの距離が異なっていれば、PSFも異なる。これに対して、画像生成手段23では、原画像取得ステップ(S2)で取得した距離画像により、歪み情報特定ステップ(S3)の場合と同様に原画像の構成要素(例えば各画素)についての距離が分かるので、当該距離によって異なるPSFを適切に求めることが可能となる。PSFの求め方は、事前処理ステップ(S1)で取得したレンズデータに基づき眼鏡レンズにおける任意の光透過点の位置を認識するとともに、原画像取得ステップ(S2)で取得した距離画像に基づき被写体までの距離の大きさを認識した上で、公知の技術を利用して行えばよい(特許第3342423号明細書、国際公開第2010/044383号等参照)。
画像処理ステップ(S5)では、原画像取得ステップ(S2)で取得した左眼用原画像と右眼用原画像とのそれぞれに対して、眼鏡レンズを通した場合の見え方を反映させた画像処理を、画像生成手段23が行う。具体的には、左眼用原画像に対しては、左眼用眼鏡レンズについて歪み情報特定ステップ(S3)で特定した歪みおよびボケ情報特定ステップ(S4)で求めたPSFで特定されるボケを反映させるための画像処理を行う。そして、その画像処理によって得られた画像を左眼用シミュレーション画像とする。また、右眼用原画像に対しては、右眼用眼鏡レンズについて歪み情報特定ステップ(S3)で特定した歪みおよびボケ情報特定ステップ(S4)で求めたPSFで特定されるボケを反映させるための画像処理を行う。そして、その画像処理によって得られた画像を右眼用シミュレーション画像とする。
画像処理ステップ(S5)での画像処理は、例えば以下のようにして行うことが考えられる。
歪みについては、視野内の全ての画素について像側と物体(被写体)側との対応関係を求めて、その対応関係に基づいて原画像の輝度情報を当てる(移動させる)ことで反映させることができる。これにより、原画像に歪み情報を反映させた歪み画像が得られることになる。
ボケについては、各画素の輝度をPSFに基づいて周辺画素に分配して、画像の全画素の輝度を再構成することで反映させることができる。このような処理は、畳み込み演算(Convolution)とも呼ばれる。
つまり、画像処理ステップ(S5)では、歪み画像と各画素のPSFとの畳み込み演算を行うことで、原画像からシミュレーション画像を生成するのである。
なお、画像処理ステップ(S5)で行う画像処理の詳細な手法等については、公知の技術を利用して行えばよいため(特許第3342423号明細書、国際公開第2010/044383号等参照)、ここではその説明を省略する。
シミュレーション画像出力ステップ(S6)では、画像処理ステップ(S5)で生成した左眼用シミュレーション画像と右眼用シミュレーション画像とのそれぞれを、通信手段21が画像表示ディスプレイ15へ送り出す。これにより、画像表示ディスプレイ15では、左眼用ディスプレイパネルの部分にて左眼用シミュレーション画像が、右眼用ディスプレイパネルの部分にて右眼用シミュレーション画像が、それぞれ表示出力されることになる。
このような一連のシミュレーション処理を、例えば動画の場合であれば、シミュレーション装置は、当該動画を構成する各フレームについて繰り返し行う。
以上に説明したシミュレーション処理を行うと、頭部にHMD部10を装着したレンズ装用者は、眼鏡レンズを通した場合の見え方を反映させたシミュレーション画像を視認することで、当該眼鏡レンズの装用状態を疑似体験することができる。
<4.第1実施形態の効果>
第1実施形態で説明したシミュレーション装置によれば、以下に述べるような効果が得られる。
第1実施形態のシミュレーション装置は、撮像カメラ13を備えており、その撮像カメラ13のよる撮像結果をシミュレーション画像の元になる原画像としている。したがって、レンズ装用者に眼鏡レンズの装用状態を疑似体験させるのにあたり、CGによって描かれる仮想的な空間についての画像ではなく、当該レンズ装用者がいる実空間の現実に即した画像を、当該レンズ装用者の視野に動的に対応しつつ、リアルタイム表示することが可能となる。
しかも、その場合であっても、撮像カメラ13での撮像結果と同画角の距離画像を距離画像センサ14が取得しているので、その距離画像を基にすることで原画像を構成する各画素についての距離情報(距離の大きさ)を把握することができ、距離の違いに対応する見え方の相違を正しく反映させることができる。つまり、距離画像センサ14が取得する距離画像を利用することで、例えば一般的な距離測定器を利用して各画素について距離のデータを画素毎に個別に検出する場合とは異なり、1フレームを一つの単位として当該フレームを構成する各画素についての距離情報を一括して得られるので、シミュレーション処理の際の処理負荷が過大になるのを回避でき、シミュレーション画像のリアルタイム表示に非常に適したものとなる。
以上のことから、第1実施形態のシミュレーション装置によれば、レンズ装用者が実空間の現実に即した画像を見ながらレンズ装用状態を疑似体験することを可能にしつつ、その場合であっても距離の違いに対応する見え方の相違を正しく反映させたシミュレーション画像の生成を行うことができると言える。
また、第1実施形態のシミュレーション装置は、画像表示ディスプレイ15、データ取得手段22が取得するレンズデータ、および、画像生成手段23が生成するシミュレーション画像が、レンズ装用者の左右眼のそれぞれに個別に対応したものとなっているので、当該左右眼に対して異なるシミュレーション画像を表示出力することができる。したがって、第1実施形態のシミュレーション装置によれば、例えば左右眼に異なる眼鏡レンズを処方した場合であっても、各眼鏡レンズを通した場合の見え方を的確に反映させたシミュレーション画像を、レンズ装用者に対して表示出力することができる。また、左右眼のそれぞれに対応する各シミュレーション画像が、左右眼の輻輳角を考慮したものであれば、3Dと呼ばれる立体視画像に対応することも実現可能となる。
また、第1実施形態のシミュレーション装置は、画像表示ディスプレイ15、レンズデータおよびシミュレーション画像のみならず、HMD部10における撮像カメラ13および距離画像センサ14についても、レンズ装用者の左右眼のそれぞれに個別に対応したものとなっている。したがって、上述したようにレンズ装用者の左右眼に対して異なるシミュレーション画像を表示出力する場合であっても、撮像カメラ13で得た原画像および距離画像センサ14で得た距離画像をそのまま用いることができる。つまり、例えば一つの原画像に対するデータ補正処理を行って左眼用原画像および右眼用原画像を得る等の煩雑な処理を行う必要がないので、当該煩雑な処理を必要とする場合に比べると、シミュレーション処理にあたっての処理負荷軽減が図れるようになる。
また、第1実施形態のシミュレーション装置は、撮像カメラ13、距離画像センサ14、画像生成手段23および画像表示ディスプレイ15で扱う画像が動画であるため、静止画の場合に比べると、シミュレーション画像を視認するレンズ装用者にとってリアルタイム感や臨場感等を感じ易いものとなり、当該レンズ装用者に眼鏡レンズの装用状態を疑似体験させる上で非常に好適なものとなる。具体的には、例えばHMD部10を装着したレンズ装用者が頭部の向きを変えた場合、静止画では頭部の向きを変える前の視野に対応したシミュレーション画像を表示出力し続けてしまうが、動画に対応していればレンズ装用者が頭部の向きを変えるのに合わせてシミュレーション画像の表示出力内容を切り替えることができる。
また、第1実施形態のシミュレーション装置は、少なくとも撮像カメラ13、距離画像センサ14および画像表示ディスプレイ15が、HMD部10の筐体11に組み込まれている。したがって、レンズ装用者は、HMD部10を頭部に装着すれば、当該頭部が向いた方向の視野内に存在する物体(被写体)について、眼鏡レンズを通した場合の見え方を的確に反映させたシミュレーション画像として視認することができる。つまり、第1実施形態のシミュレーション装置によれば、眼鏡レンズの装用状態の疑似体験にあたり、レンズ装用者がHMD部10を頭部に装着するだけでよいので、非常に利便性に優れたものとなる。
<5.変形例等>
以上に本発明の第1実施形態を説明したが、上述した開示内容は、本発明の例示的な実施形態を示すものに過ぎず、本発明の技術的範囲が上述の例示的な実施形態に限定されるものではない。
以下に、上述した実施形態以外の変形例について説明する。
上述した第1実施形態では、撮像カメラ13や距離画像センサ14等について、レンズ装用者の左右眼のそれぞれに対応して個別に設けられている場合を例に挙げたが、左右眼で一つのものを共用するような構成であっても構わない。
例えば、撮像カメラ13については、左右眼で一つのものを共用する場合であっても、左右眼のそれぞれについて距離画像を取得していれば、それぞれの距離画像から特定される距離情報を基にすることで、一つの原画像に対するデータ補正処理を行って左眼用原画像および右眼用原画像を得ることが可能である。具体的には、例えば左右眼の間の中間位置あたりに配された一つの撮像カメラ13で撮影した画像とその距離画像から、左右眼それぞれの視点から見た左眼用原画像および右眼用原画像を生成することができる。その場合には、一つの原画像から左眼用原画像および右眼用原画像を生成することになるので、複数台の撮像カメラ13を用いる場合とは異なり、各撮像カメラ13での撮像結果のアライメント調整が不要になるという利点がある。
また、例えば、距離画像センサ14については、被写体までの距離が左右眼で大きく異なる訳ではないので、左右眼の間の中間位置あたりに配された一つのものを共用することが考えられる。
また、上述した第1実施形態では、撮像カメラ13がレンズ装用者の視野に対応した画角を撮像し得る位置に固設されている場合を例に挙げている。ただし、撮像カメラ13は、モータ等の駆動源を備えた機構によって移動可能に支持されていても構わない。
その場合には、例えば、レンズ装用者の左右眼のそれぞれに対応して個別に設けられた撮像カメラ13の位置を移動させて、各撮像カメラ13の間隔をレンズ装用者の瞳孔間距離(PD)に合致させるといったことが実現可能となる。
さらには、例えば、レンズ装用者が近方視する場合に、左右眼が寄って輻輳状態となるのに合わせて、撮像カメラ13を旋回させて撮像する画角を内寄せ状態にするといったことも実現可能となる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。なお、ここでは、主として、上述した第1実施形態との相違点について説明する。
第2実施形態では、以下の順序で項分けをして説明を行う。
6.シミュレーション装置の概略構成
7.シミュレーション装置の機能構成
8.シミュレーション処理の手順
9.第2実施形態の効果
10.変形例等
<6.シミュレーション装置の概略構成>
先ず、第2実施形態におけるシミュレーション装置全体の概略構成について説明する。
図4は、第2実施形態におけるシミュレーション装置全体の概略構成例を示す説明図である。
第2実施形態におけるシミュレーション装置は、大別すると、情報処理端末部30と、制御コンピュータ部20と、を備えて構成されている。つまり、第2実施形態におけるシミュレーション装置は、第1実施形態で説明したHMD部10に代わって、情報処理端末部30を備えている。
(情報処理端末部)
情報処理端末部30は、例えばタブレット端末、スマートフォンまたはPDA(Personal Digital Assistants)等の携帯型の情報処理端末機からなるもので、レンズ装用者が手に持って使用することが可能に構成されている。そのために、情報処理端末部30は、レンズ装用者が手に持ち得る大きさの板状(タブレット状)の筐体31を備えている。そして、筐体31には、一方の面(レンズ装用者に目視される側の面)に画像表示ディスプレイ32が組み込まれているとともに、他方の面(レンズ装用者に目視されない側の面)に撮像カメラ33および距離画像センサ34が組み込まれている。画像表示ディスプレイ32には、レンズ装用者が操作して情報入力等を行うタッチパネルとしての機能が設けられている。また、筐体31内には、所定プログラムで指示された情報処理を行うコンピュータ装置としての機能が組み込まれている(ただし不図示)。これらの機能によって、情報処理端末部30は、外部との情報通信等を行い得るようになっている。
画像表示ディスプレイ32は、第1実施形態で説明した画像表示ディスプレイ15と同様に、レンズ装用者に対する画像表示を行うものである。ただし、第1実施形態の場合とは異なり、筐体31には、左眼用シミュレーション画像または右眼用シミュレーション画像のいずれかを選択的に表示する一つの画像表示ディスプレイ32のみが組み込まれている。なお、画像表示ディスプレイ32は、必ずしも一つのみに限定されることはなく、第1実施形態の場合と同様に左眼用ディスプレイパネルと右眼用ディスプレイパネルとによって構成されていてもよい。また、一つの表示画面を領域分割して、左眼用シミュレーション画像と右眼用シミュレーション画像とのそれぞれに個別に対応するように構成されたものであってもよい。
撮像カメラ33は、第1実施形態で説明した撮像カメラ13と同様に、レンズ装用者が居る実空間の現実に即した画像を撮像するものである。ただし、第1実施形態の場合とは異なり、筐体31には、レンズ装用者の左眼の視野に対応した画角または右眼の視野に対応した画角のいずれかを選択的に撮像する一つの撮像カメラ33のみが組み込まれている。なお、画像表示ディスプレイ32は、必ずしも一つのみに限定されることはなく、第1実施形態の場合と同様に左右眼のそれぞれに対応して個別に設けられたものであってもよい。
距離画像センサ34は、第1実施形態で説明した距離画像センサ14と同様に、撮像カメラ33での撮像結果と同画角の距離画像を取得するものである。この距離画像センサ34についても、撮像カメラ33と同様に、筐体31に一つの距離画像センサ34のみが組み込まれている。なお、撮像カメラ33が左右眼のそれぞれに対応して個別に設けられている場合には、距離画像センサ34についても、左右眼のそれぞれに対応して個別に設けられていることが望ましい。
また、これら撮像カメラ33および距離画像センサ34については、それぞれが別体ではなく一体で構成されていることが望ましい。つまり、撮像カメラ33および距離画像センサ34は、単眼カメラ(センサ)によって構成されていることが望ましい。単眼であれば、複数眼の場合に比べて、情報処理端末部30の小型軽量化等が容易に図れるからである。
そのために、撮像カメラ33および距離画像センサ34としては、例えば、通常のRGB画像と距離情報を持つ距離画像を同時に取得できるCMOSセンサを用いることが考えられる。このCMOSセンサは、距離画像取得のための画素(Z画素)とRGB画素とが集積されて構成されている。このような構成によれば、単一のCMOSセンサでRGB画像と距離画像とを同時に取得できるようになる(例えばURL:http://www.nikkei.com/article/DGXNASFK24036_U2A220C1000000/参照)。
また、その他にも、撮像カメラ33および距離画像センサ34としては、例えば、一つのイメージセンサで3D撮像を可能とする単眼3Dカメラ向けイメージセンサを用いることが考えられる。このイメージセンサは、左右方向から入射する光線を左右それぞれの電気信号に変換する左目/右目画素を列交互に配置することで、一つのイメージセンサで左目/右目画像を同時に得ることを可能にしている。このような構成によれば、左目/右目画像のずれを利用することで立体情報を抽出し、さらにその立体情報から距離画像を抽出し得るようになるので、単一のイメージセンサで、RGB画像と距離画像とを同時に取得できるようになる(例えばURL:http://panasonic.co.jp/news/topics/2013/108643.html参照)。
(制御コンピュータ部)
制御コンピュータ部20は、第1実施形態の場合と同様に、所定プログラムで指示された情報処理を行うコンピュータ装置としての機能を有するものである。なお、制御コンピュータ部20は、情報処理端末部30の筐体31内に組み込まれたもの、すなわち当該筐体31内におけるコンピュータ装置としての機能を利用したものであってもよいが、情報処理能力等を考慮すると、情報処理端末部30とは別体で設けられたものであることが望ましい。その場合に、制御コンピュータ部20は、情報処理端末部30との間で、無線または有線の通信回線(例えば公衆無線LAN)を介して、通信を行うことが可能になっているものとする。つまり、制御コンピュータ部20は、情報処理端末部30からみると、いわゆるクラウドコンピューティングを実現するためのものである。
<7.シミュレーション装置の機能構成>
第2実施形態のシミュレーション装置において、制御コンピュータ部20は、通信手段21、データ取得手段22、および、画像生成手段23としての機能を備える。これらの各機能21〜23は、第1実施形態の場合と同様であるため、ここではその説明を省略する。
<8.シミュレーション処理の手順>
次に、第2実施形態のシミュレーション装置において、レンズ装用者に眼鏡レンズの装用状態を疑似体験させるために行うシミュレーション処理の実行手順について説明する。ここでは、撮像カメラ33および距離画像センサ34が情報処理端末部30に一つのみ組み込まれている場合を例に挙げて、以下の説明を行う。
第2実施形態で説明するシミュレーション処理は、図3に示すように、事前処理ステップ(S1)と、原画像取得ステップ(S2)と、歪み情報特定ステップ(S3)と、ボケ情報特定ステップ(S4)と、画像処理ステップ(S5)と、シミュレーション画像出力ステップ(S6)とを備えている。この点は第1実施形態の場合と同様であるが、以下に述べる点で第1実施形態の場合とは異なる。
事前処理ステップ(S1)では、レンズ装用者が情報処理端末部30を操作して制御コンピュータ部20にアクセスし、左右眼のどちらを処理対象とするかを情報処理端末部30から指定する。この指定情報を受けて、制御コンピュータ部20は、左眼用眼鏡レンズまたは右眼用眼鏡レンズのいずれか一方についてのレンズデータを、データ取得手段22で取得しておく。
原画像取得ステップ(S2)では、レンズ装用者が情報処理端末部30を手に持った状態で、その情報処理端末部30に組み込まれた撮像カメラ33で被写体を撮像するとともに、その撮像結果と同画角の距離画像を距離画像センサ34で取得して、撮像画像および距離画像を制御コンピュータ部20へ送信する。そして、制御コンピュータ部20は、撮像画像を通信手段21で受け取ってシミュレーション画像の元になる原画像とするとともに、距離画像を通信手段21で受け取って撮像画像を構成する各画素についての距離情報(距離の大きさ)を把握する。
その後に行う歪み情報特定ステップ(S3)、ボケ情報特定ステップ(S4)および画像処理ステップ(S5)については、第1実施形態の場合と同様である。これにより、制御コンピュータ部20は、情報処理端末部30での撮像結果に対応するシミュレーション画像を生成することになる。
シミュレーション画像出力ステップ(S6)では、画像処理ステップ(S5)で生成したシミュレーション画像を、通信手段21が情報処理端末部30へ送り出す。これにより、情報処理端末部30では、画像表示ディスプレイ32がレンズ装用者に対してシミュレーション画像の画像表示を行う。
その後、左右眼のどちらを処理対象とするかについて、情報処理端末部30で指定内容の切り替えがあると、その切り替え後の指定内容について、情報処理端末部30および制御コンピュータ部20は、上述した一連の処理ステップを繰り返し行う。
以上に説明したシミュレーション処理を行うと、情報処理端末部30を操作するレンズ装用者は、眼鏡レンズを通した場合の見え方を反映させたシミュレーション画像を視認することで、当該眼鏡レンズの装用状態を疑似体験することができる。
<9.第2実施形態の効果>
第2実施形態で説明したシミュレーション装置によれば、以下に述べるような効果が得られる。
第2実施形態のシミュレーション装置によれば、レンズ装用者が実空間の現実に即した画像を見ながらレンズ装用状態を疑似体験することを可能にしつつ、その場合であっても距離の違いに対応する見え方の相違を正しく反映させたシミュレーション画像の生成を行うことができる。つまり、第2実施形態においても、第1実施形態の場合と同様の効果が得られる。
また、第2実施形態のシミュレーション装置は、第1実施形態で説明したHMD部10に代わって、情報処理端末部30を備えて構成されている。そして、情報処理端末部30を構成する筐体31には、少なくとも画像表示ディスプレイ32、撮像カメラ33および距離画像センサ34が組み込まれている。さらに、情報処理端末部30は、クラウドコンピューティングを実現する制御コンピュータ部20と通信を行うことが可能になっている。したがって、第2実施形態のシミュレーション装置によれば、情報処理端末部30から制御コンピュータ部20へアクセスすることで、レンズ装用者に眼鏡レンズの装用状態の疑似体験をさせ得るようになる。つまり、レンズ装用者にとっては、例えば自身が所有する情報処理端末部30を用いて手軽に眼鏡レンズの装用状態を疑似体験することができ、非常に利便性に優れたものとなる。また、レンズ装用者に対してレンズ装用状態の疑似体験サービスを提供する側(眼鏡店や眼鏡レンズメーカ等)にとっては、レンズ装用者が所有する情報処理端末部30を利用可能なので、特別な端末装置等を要することなく低コストでのサービス提供を行うことが実現可能となる。
また、第2実施形態のシミュレーション装置は、情報処理端末部30の画像表示ディスプレイ32でシミュレーション画像を表示するので、第1実施形態で説明したHMD部10による場合とは異なり、そのシミュレーション画像を複数人が同時に視認できる。そのため、第2実施形態のシミュレーション装置によれば、例えば、レンズ装用者と眼鏡店の店員が同時にシミュレーション画像を視認しつつ、そのシミュレーション画像の特徴を眼鏡店の店員がレンズ装用者に説明するといったように、インタラクティブ(対話型)であるレンズ装用状態の疑似体験サービスを構築することが実現可能となる。
<10.変形例等>
以上に本発明の第2実施形態を説明したが、上述した開示内容は、本発明の例示的な実施形態を示すものに過ぎず、本発明の技術的範囲が上述の例示的な実施形態に限定されるものではない。
以下に、上述した実施形態以外の変形例について説明する。
上述した第2実施形態において、情報処理端末部30の画像表示ディスプレイ32が表示するシミュレーション画像は、レンズ装用者の全視野に対応した画像であることを想定している。ここで、「全視野」とは、レンズ装用者が眼鏡レンズを通して視認可能な視野角の範囲のことをいい、例えば水平方向約90°、垂直方向約70°の範囲のことをいう。
ところで、情報処理端末部30は、携帯性や可搬性等に優れていることが望ましい。そのため、情報処理端末部30の画像表示ディスプレイ32は、レンズ装用者の全視野に対応した画像を表示する上で、必ずしも十分な画面サイズではないこともあり得る。
このことから、情報処理端末部30の画像表示ディスプレイ32は、シミュレーション画像の表示を、全視野の一部に相当する部分視野について選択的に行うものであってもよい。
図5は、第2実施形態のシミュレーション装置によるシミュレーション画像の表示例を示す説明図である。
図5(a)は、眼鏡レンズが累進屈折力レンズである場合に、遠方視領域の右側部分、中央部分、左側部分のうちの中央部分を含む部分領域につき、これを全視野の一部に相当する部分視野として、画像表示ディスプレイ32で表示している状態を例示している。
また、図5(b)は、眼鏡レンズが累進屈折力レンズである場合に、近方視領域の右側部分、中央部分、左側部分のうちの中央部分を含む部分領域につき、これを全視野の一部に相当する部分視野として、画像表示ディスプレイ32で表示している状態を例示している。
これらの表示例に代表されるように、画像表示ディスプレイ32においては、眼鏡レンズが累進屈折力レンズであれば、例えば、全視野領域を9つの領域に区分けし、遠方視領域の右側部分、中央部分、左側部分、近方視領域の右側部分、中央部分、左側部分、中間視領域の右側部分、中央部分、左側部分のいずれかを、それぞれが別領域に属するようにした状態で選択的に表示することが考えられる。なお、これら複数の部分視野領域は、それぞれが全視野領域の一部分に相当するものであればよく、各部分視野領域が互いに重複する画像部分を有していてもよい。
このような部分視野別の選択的表示は、制御コンピュータ部20において、原画像取得ステップ(S2)で取得した原画像を所定の区分け態様に基づいて複数領域に区分けし、各領域別に画像処理ステップ(S5)の画像処理を行うことで、実現することが可能となる。また、部分視野別の選択的表示を行う場合において、画像表示ディスプレイ32での表示切り替え(部分視野の切り替え)は、情報処理端末部30が備える公知の操作機能を利用して行うことが考えられる。
以上のように、部分視野別の選択的表示を行えば、画像表示ディスプレイ32が十分な画面サイズでない場合であっても、シミュレーション画像の縮小等を要することなく、その表示出力を行うことができる。しかも、部分視野別の選択的表示を行っても、表示切り替えを通じて、全視野分をレンズ装用者等に視認させ得るようになる。つまり、ここで例に挙げた部分視野別の選択的表示は、画像表示ディスプレイ32が十分な画面サイズでない場合に適用すると非常に好適であり、携帯性や可搬性等が重視される情報処理端末部30との親和性が非常に高いと言える。
また、情報処理端末部30の画像表示ディスプレイ32で表示するシミュレーション画像は、図5(a)または(b)に示すように、眼鏡レンズの明瞭指数の等高線画像が重畳されたものであってもよい。「明瞭指数」は、眼鏡レンズ(特に累進屈折力レンズ)の性能を評価する指標の一つをいう。なお、明瞭指数の詳細については、公知技術に基づくものであるため(例えば特許第3919097号参照)、ここではその説明を省略する。
明瞭指数の等高線画像の重畳は、制御コンピュータ部20において、事前処理ステップ(S1)で取得したレンズデータを基に眼鏡レンズの明瞭指数を求め、画像処理ステップ(S5)でその明瞭指数の等高線を表す画像を生成し、その等高線画像をシミュレーション画像に合成することで、実現することが可能となる。
このような明瞭指数の等高線画像の重畳を行えば、当該等高線画像の重畳が無い場合に比べて、レンズ視覚特性の特徴の把握が容易化する。このことは、特に、画像表示ディスプレイ32における解像度が十分でない場合に有効である。なぜならば、画像表示ディスプレイ32の解像度が十分でない場合には、シミュレーション画像に反映させたボケ・ゆがみ等を必ずしも完全に再現できないおそれもあるが、等高線画像が重畳されていれば、その完全に再現できない部分を等高線によって補足できるからである。画像表示ディスプレイ32が低解像度のものでよければ、小型軽量で安価な情報処理端末部30を用いてレンズ装用者にレンズ装用状態の疑似体験をさせ得るようにもなる。さらには、等高線画像が重畳されていれば、その重畳された等高線画像の違いによって、各眼鏡レンズ間におけるレンズ視覚特性の微妙な違いを顕在化することも可能になる。
10…HMD部、13…撮像カメラ、14…距離画像センサ、15…画像表示ディスプレイ、20…制御コンピュータ部、21…通信手段、22…データ取得手段、23…画像生成手段、30…情報処理端末部、32…画像表示ディスプレイ、33…撮像カメラ、34…距離画像センサ

Claims (7)

  1. 眼鏡レンズの装用者が当該眼鏡レンズを通して見るであろう画像を疑似的に表示するシミュレーション装置であって、
    前記装用者の視野内について撮像を行う撮像カメラと、
    前記撮像カメラでの撮像結果と同画角の距離画像を取得する距離画像センサと、
    前記眼鏡レンズのレンズデータを取得するデータ取得手段と、
    前記距離画像および前記レンズデータに基づき、前記撮像カメラでの撮像結果に対する画像処理を行って、前記眼鏡レンズを通した場合の見え方を反映させたシミュレーション画像を生成する画像生成手段と、
    前記シミュレーション画像を前記装用者が前記眼鏡レンズを通して見るであろう画像として表示出力する画像表示ディスプレイと
    を備えることを特徴とするシミュレーション装置。
  2. 少なくとも前記画像生成手段および前記画像表示ディスプレイは、左眼用シミュレーション画像と右眼用シミュレーション画像とのそれぞれに個別に対応したものである
    ことを特徴とする請求項1記載のシミュレーション装置。
  3. 前記撮像カメラおよび前記距離画像センサについても、左右眼のそれぞれに対応して個別に設けられている
    ことを特徴とする請求項2記載のシミュレーション装置。
  4. 前記撮像カメラ、前記距離画像センサ、前記画像生成手段および前記画像表示ディスプレイで扱う画像が動画である
    ことを特徴とする請求項1、2または3記載のシミュレーション装置。
  5. 少なくとも前記撮像カメラ、前記距離画像センサおよび前記画像表示ディスプレイは、前記装用者の頭部に装着可能な筐体に組み込まれている
    ことを特徴とする請求項1から4のいずれか1項に記載のシミュレーション装置。
  6. 前記撮像カメラの配置状態を変化させるカメラ駆動機構を備える
    ことを特徴とする請求項5記載のシミュレーション装置。
  7. 少なくとも前記撮像カメラ、前記距離画像センサおよび前記画像表示ディスプレイは、携帯型の情報処理端末機に組み込まれている
    ことを特徴とする請求項1から4のいずれか1項に記載のシミュレーション装置。
JP2014516730A 2012-05-25 2013-04-23 シミュレーション装置 Active JP6023801B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014516730A JP6023801B2 (ja) 2012-05-25 2013-04-23 シミュレーション装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012119885 2012-05-25
JP2012119885 2012-05-25
PCT/JP2013/061897 WO2013175923A1 (ja) 2012-05-25 2013-04-23 シミュレーション装置
JP2014516730A JP6023801B2 (ja) 2012-05-25 2013-04-23 シミュレーション装置

Publications (2)

Publication Number Publication Date
JPWO2013175923A1 true JPWO2013175923A1 (ja) 2016-01-12
JP6023801B2 JP6023801B2 (ja) 2016-11-09

Family

ID=49623622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014516730A Active JP6023801B2 (ja) 2012-05-25 2013-04-23 シミュレーション装置

Country Status (5)

Country Link
US (1) US9967555B2 (ja)
EP (1) EP2856931B1 (ja)
JP (1) JP6023801B2 (ja)
CN (1) CN104284622B (ja)
WO (1) WO2013175923A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014116665A1 (de) * 2014-09-22 2016-03-24 Carl Zeiss Ag Verfahren und Vorrichtung zur Bestimmung der Augenrefraktion
CN105353512B (zh) * 2015-12-10 2018-06-29 联想(北京)有限公司 一种图像显示方法和图像显示装置
EP3276327B1 (en) * 2016-07-29 2019-10-02 Essilor International Method for virtual testing of at least one lens having a predetermined optical feature and associated device
EP3295864B1 (en) 2016-09-15 2019-05-15 Carl Zeiss Vision International GmbH Apparatus for assisting in establishing a correction for correcting heterotropia or heterophoria and method of operating a computer for assisting in establishing a correction for correcting heterotropia or heterophoria
EP3531194A4 (en) * 2016-10-20 2020-05-06 Nikon-Essilor Co., Ltd. IMAGE PRODUCTION DEVICE, IMAGE PRODUCTION METHOD, IMAGE PRODUCTION PROGRAM, METHOD FOR DESIGNING AN EYE GLASS LENS AND METHOD FOR PRODUCING AN EYE GLASS LENS
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
JP7252892B2 (ja) * 2017-07-03 2023-04-05 株式会社ニコン・エシロール 眼鏡レンズの設計方法、および眼鏡レンズの製造方法
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
WO2019044710A1 (ja) * 2017-08-31 2019-03-07 株式会社ニコン 眼科機器、画像生成装置、プログラム、及び眼科システム
US11559197B2 (en) 2019-03-06 2023-01-24 Neurolens, Inc. Method of operating a progressive lens simulator with an axial power-distance simulator
US11175518B2 (en) 2018-05-20 2021-11-16 Neurolens, Inc. Head-mounted progressive lens simulator
US10783700B2 (en) 2018-05-20 2020-09-22 Neurolens, Inc. Progressive lens simulator with an axial power-distance simulator
JP7182920B2 (ja) * 2018-07-02 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11259699B2 (en) 2019-03-07 2022-03-01 Neurolens, Inc. Integrated progressive lens simulator
US11202563B2 (en) 2019-03-07 2021-12-21 Neurolens, Inc. Guided lens design exploration system for a progressive lens simulator
US11288416B2 (en) 2019-03-07 2022-03-29 Neurolens, Inc. Deep learning method for a progressive lens simulator with an artificial intelligence engine
US11241151B2 (en) 2019-03-07 2022-02-08 Neurolens, Inc. Central supervision station system for Progressive Lens Simulators
US11259697B2 (en) 2019-03-07 2022-03-01 Neurolens, Inc. Guided lens design exploration method for a progressive lens simulator
JP7467830B2 (ja) 2019-05-08 2024-04-16 株式会社ニデック 視覚シミュレーション方法、および、視覚シミュレーションプログラム
GB2589657B (en) * 2019-05-22 2022-09-14 Otos Wing Co Ltd Welding guiding system providing high quality images
CA3171478A1 (en) 2020-02-21 2021-08-26 Ditto Technologies, Inc. Fitting of glasses frames including live fitting
JP7272985B2 (ja) * 2020-03-23 2023-05-12 ホヤ レンズ タイランド リミテッド 仮想画像生成装置及び仮想画像生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003812A (ja) * 2007-06-22 2009-01-08 Sgi Japan Ltd デフォーカス画像の生成方法及び生成装置
JP2010134460A (ja) * 2008-11-06 2010-06-17 Seiko Epson Corp 眼鏡レンズ用視覚シミュレーション装置、眼鏡レンズ用視覚シミュレーション方法及び眼鏡レンズ用視覚シミュレーションプログラム
JP4609581B2 (ja) * 2008-03-26 2011-01-12 セイコーエプソン株式会社 シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体
JP2012066002A (ja) * 2010-09-27 2012-04-05 Hoya Corp 眼鏡の視野画像表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3342423B2 (ja) 1998-10-09 2002-11-11 ホーヤ株式会社 眼光学系のシミュレーション装置
JP3919097B2 (ja) 2001-09-06 2007-05-23 Hoya株式会社 眼鏡レンズの両眼視性能表示方法及びその装置
CA2576010C (en) * 2004-08-03 2011-07-26 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
CA2629903C (en) * 2005-11-15 2016-04-12 Carl Zeiss Vision Australia Holdings Limited Ophthalmic lens simulation system and method
EP1862110A1 (en) * 2006-05-29 2007-12-05 Essilor International (Compagnie Generale D'optique) Method for optimizing eyeglass lenses
US20120026183A1 (en) * 2008-10-17 2012-02-02 Hoya Corporation Visual field image display device for eyeglasses and method for displaying visual field image for eyeglasses
EP2198769A1 (en) * 2008-12-22 2010-06-23 Essilor International (Compagnie Générale D'Optique) A method of and an apparatus for simulating an optical effect of an optical lens
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009003812A (ja) * 2007-06-22 2009-01-08 Sgi Japan Ltd デフォーカス画像の生成方法及び生成装置
JP4609581B2 (ja) * 2008-03-26 2011-01-12 セイコーエプソン株式会社 シミュレーション装置、シミュレーションプログラムおよびシミュレーションプログラムを記録した記録媒体
JP2010134460A (ja) * 2008-11-06 2010-06-17 Seiko Epson Corp 眼鏡レンズ用視覚シミュレーション装置、眼鏡レンズ用視覚シミュレーション方法及び眼鏡レンズ用視覚シミュレーションプログラム
JP2012066002A (ja) * 2010-09-27 2012-04-05 Hoya Corp 眼鏡の視野画像表示装置

Also Published As

Publication number Publication date
EP2856931A1 (en) 2015-04-08
US20150163480A1 (en) 2015-06-11
US9967555B2 (en) 2018-05-08
JP6023801B2 (ja) 2016-11-09
CN104284622A (zh) 2015-01-14
WO2013175923A1 (ja) 2013-11-28
EP2856931B1 (en) 2020-03-18
EP2856931A4 (en) 2016-01-06
CN104284622B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
JP6023801B2 (ja) シミュレーション装置
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CA3043204C (en) Apparatus and method for a dynamic "region of interest" in a display system
CN107071382B (zh) 立体图像显示装置
CN106484116B (zh) 媒体文件的处理方法和装置
JP6276691B2 (ja) シミュレーション装置、シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム
WO2013027755A1 (ja) 眼鏡装用シミュレーション方法、プログラム、装置、眼鏡レンズ発注システム及び眼鏡レンズの製造方法
AU2014370001A1 (en) 3-D light field camera and photography method
CN108141578A (zh) 呈现相机
WO2010044383A1 (ja) 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
JP7148634B2 (ja) ヘッドマウントディスプレイ装置
CN109799899B (zh) 交互控制方法、装置、存储介质和计算机设备
JP2012513604A5 (ja)
JP6509101B2 (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
CN109255838B (zh) 避免增强现实显示设备观看重影的方法及设备
CN104216126A (zh) 一种变焦3d显示技术
JP2015043187A (ja) 画像生成装置および画像生成プログラム
JP6915368B2 (ja) 多焦点視覚出力方法、多焦点視覚出力装置
CN107087153B (zh) 3d图像生成方法、装置及vr设备
JP2017098596A (ja) 画像生成方法及び画像生成装置
CN112153319B (zh) 基于视频通信技术的ar信息显示方法和装置
Balram Fundamentals of light field imaging and display systems
US20220232201A1 (en) Image generation system and method
US20230244307A1 (en) Visual assistance
Shen et al. 3-D perception enhancement in autostereoscopic TV by depth cue for 3-D model interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161007

R150 Certificate of patent or registration of utility model

Ref document number: 6023801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250