JP7078540B2 - 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 - Google Patents
画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 Download PDFInfo
- Publication number
- JP7078540B2 JP7078540B2 JP2018546389A JP2018546389A JP7078540B2 JP 7078540 B2 JP7078540 B2 JP 7078540B2 JP 2018546389 A JP2018546389 A JP 2018546389A JP 2018546389 A JP2018546389 A JP 2018546389A JP 7078540 B2 JP7078540 B2 JP 7078540B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- retina
- pixel
- brightness
- retinal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000013461 design Methods 0.000 title claims description 18
- 238000004519 manufacturing process Methods 0.000 title claims description 13
- 230000004256 retinal image Effects 0.000 claims description 122
- 210000005252 bulbus oculi Anatomy 0.000 claims description 103
- 210000001508 eye Anatomy 0.000 claims description 99
- 210000001525 retina Anatomy 0.000 claims description 83
- 230000003287 optical effect Effects 0.000 claims description 48
- 210000004087 cornea Anatomy 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 210000001747 pupil Anatomy 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 11
- 230000004308 accommodation Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 210000000695 crystalline len Anatomy 0.000 description 178
- 230000004438 eyesight Effects 0.000 description 33
- 238000010276 construction Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 230000002207 retinal effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000004270 retinal projection Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000008602 contraction Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 201000009310 astigmatism Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 210000002159 anterior chamber Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 208000014733 refractive error Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000003660 reticulum Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/024—Methods of designing ophthalmic lenses
- G02C7/025—Methods of designing ophthalmic lenses considering parameters of the viewed object
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/024—Methods of designing ophthalmic lenses
- G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/06—Lenses; Lens systems ; Methods of designing lenses bifocal; multifocal ; progressive
- G02C7/061—Spectacle lenses with progressively varying focal power
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C13/00—Assembling; Repairing; Cleaning
- G02C13/003—Measuring during assembly or fitting of spectacles
- G02C13/005—Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Eyeglasses (AREA)
- Image Generation (AREA)
Description
本発明の第2の態様によると、画像作成方法は、仮想の対象風景における構造物の配置、形状および光学特性に関する対象風景三次元情報と、眼鏡レンズの配置、形状および光学特性に関する眼鏡レンズ三次元情報と、前記対象風景を前記眼鏡レンズを通して仮想的に目視する装用者の眼の配置、形状および光学特性に関する眼球三次元情報と、に基づいて、前記眼の網膜の各位置へ入射する光線について、前記網膜から前記眼の角膜の方向への第1の光線追跡によって、前記角膜の前面への入射方向および入射位置を算出し、算出された前記入射方向および前記入射位置に基づく、前記角膜から前記対象風景の方向への第2の光線追跡によって、前記対象風景から前記光線が、前記角膜の前面を通って前記網膜の前記各位置へ伝播する光線経路と前記網膜の前記各位置に対応するピクセルの輝度を算出することにより、網膜画像を作成することと、両眼の前記網膜画像のうち、一方の眼の前記網膜画像に設定した複数ピクセルからなる第1ピクセル領域に含まれるそれぞれのピクセルの輝度と、他方の眼の前記網膜画像に設定した複数ピクセルからなる第2ピクセル領域に含まれるそれぞれのピクセルの輝度との相関係数に基づいて、前記対象風景における任意の位置に対応する対応点を算出することとを含み、前記網膜画像は、前記装用者が前記眼鏡レンズを通して仮想的に目視する前記対象風景が、前記装用者の前記眼の網膜に投影される画像であり、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度を(fl(xi,yj))とし、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfl(エフ・エル・バー;バーはflの上に横棒)とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度を(fr(xi,yj))とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfr(エフ・アール・バー;バーはfrの上に横棒)として、前記相関係数であるDcorrが以下の式で求められる。
本発明の第3の態様によると、画像作成プログラムは、仮想の対象風景における構造物の配置、形状および光学特性に関する対象風景三次元情報と、眼鏡レンズの配置、形状および光学特性に関する眼鏡レンズ三次元情報と、前記対象風景を前記眼鏡レンズを通して仮想的に目視する装用者の眼の配置、形状および光学特性に関する眼球三次元情報と、に基づいて、前記眼の網膜の各位置へ入射する光線について、前記網膜から前記眼の角膜の方向への第1の光線追跡によって、前記角膜の前面への入射方向および入射位置を算出し、算出された前記入射方向および前記入射位置に基づく、前記角膜から前記対象風景の方向への第2の光線追跡によって、前記対象風景から前記光線が、前記角膜の前面を通って前記網膜の前記各位置へ伝播する光線経路と前記網膜の前記各位置に対応するピクセルの輝度を算出することにより、網膜画像を作成する網膜画像作成処理と、両眼の前記網膜画像のうち、一方の眼の前記網膜画像に設定した複数ピクセルからなる第1ピクセル領域に含まれるそれぞれのピクセルの輝度と、他方の眼の前記網膜画像に設定した複数ピクセルからなる第2ピクセル領域に含まれるそれぞれのピクセルの輝度との相関係数に基づいて、前記対象風景における任意の位置に対応する対応点を算出する対応点算出処理とを、コンピュータに実行させ、前記網膜画像は、前記装用者が前記眼鏡レンズを通して仮想的に目視する前記対象風景が、前記装用者の前記眼の網膜に投影される画像であり、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度を(fl(xi,yj))とし、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfl(エフ・エル・バー;バーはflの上に横棒)とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度を(fr(xi,yj))とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfr(エフ・アール・バー;バーはfrの上に横棒)として、前記相関係数であるDcorrが以下の式で求められる。
本発明の第4の態様によると、眼鏡レンズの設計方法は、第1の態様の画像作成装置における前記網膜画像の作成に用いた前記眼鏡レンズの形状に基づいて、眼鏡レンズを設計する。
本発明の第5の態様によると、眼鏡レンズの製造方法は、第4の態様の設計方法により前記眼鏡レンズを設計することと、前記設計方法により設計された前記眼鏡レンズを製造することとを含む。
なお、後述の通信部22が入力データを受信し、制御部10に出力する構成にすることもできる。入力データの入力方法は特に限定されず、予め記憶部9に記憶されているデータを入力データとして用いてもよい。
なお、本実施形態において、「風景」とは、視認できる外界を指し、特に内容は限定されない。
なお、入力データに含まれるデータは、図3に例示されたものに限定されず、また、図3に例示されたものの一部を予め定められた固定の値としてもよく、適宜設計変更することができる。
入力データが入力されたら、ステップS1003に進む。
なお、オブジェクト53としては、視力表等の視力測定用の対象物を置いてもよい。これにより、仮想的な視力の参考にすることができる。外界モデル5では、床59の中心もしくは中央部のいずれかの位置を座標系の原点としてもよいし、またはその他の任意の位置を原点として設定してもよい。
外界モデルが構築されたら、ステップS1005に進む。
なお、ステップS1005からステップS1009について、それぞれの処理を両眼について行ってから次のステップに進むように構成されているが、片方の眼についてステップS1005~ステップS1009までの処理を行ってから、もう一方の眼についてステップS1005~ステップS1009までの処理を行ってもよい。
なお、水晶体31をさらに複数の部分に分けてモデル化する等、眼球モデルの構成は適宜設計することができ、また、眼球モデルの各構成要素の向きや基準となる位置等を変化させてもよい。
なお、角膜36、角膜前面360a、角膜後面360p、瞳孔35やその他の光学的要素を変化させて眼球モデル30を複数構築してもよい。外界モデル5の照明等の環境に応じて異なる複数の眼球モデル30を構築してもよく、例えば、瞳孔35は、後述の光線追跡で得た網膜32へ到達する光の強さをフィードバックして取得し、開口部の大きさを変化させてもよい。また、装用者の調節力に基づいて、水晶体辺縁部33および水晶体コア34の変化量を定め、眼球モデル30を決定してもよい。
なお、三次元の眼鏡レンズモデルを構築できれば、特にその方法は限定されず、販売店に形状データがあればそれを利用して構築してもよい。
網膜画像70は、曲面である網膜32を二次元座標に割り当てた画像である。網膜画像生成部14は、網膜32の形状を球面である網膜球の一部として近似し、光線追跡部15が算出した網膜32での各点での輝度のデータを、網膜球上の緯度、経度等の角度と平面上の座標位置とを対応付けてマッピングする。網膜画像生成部14は、例えば網膜球上の経度θ0~θ1、緯度φ0~φ1の範囲の輝度データを、Nh×Nv画素の網膜画像70にマッピングする。ここで、Nhは水平方向の画素数、Nvは垂直方向の画素数を表す。また、一つの画素(ピクセル)の大きさSh×Svは、Sh=(θ1-θ0)/Nh、Sv=(φ1-φ0)/Nvで算出される。各画素の対応位置は、θ=θ0+(i+1/2)・Sh、φ=φ0+(j+1/2)・Sv(但し、0≦i<Nh、0≦j<Nv)等、適宜設定することができる。両眼の網膜画像70が構築されたら、ステップS1011に進む。
なお、上記では、網膜球上の角度に基づいて二次元にマッピングしているが、三次元球面座標系(r、θ、φ)を三次元直交座標系(x、y、z)で表した後に、XZ平面等、任意の平面に直接投影してもよい。例えば、網膜画像生成部14は、眼球モデル30の光軸39と網膜32との交点に座標の原点を設定し、網膜32上の各点の輝度データを、原点を通り光軸に垂直な平面に射影してもよい。なお、三次元球面座標系(r、θ、φ)から三次元直交座標系(x、y、z)への変換の計算には、公知の変換式を用いることができる。原点の取り方等、所望の変換が実現できれば座標系の設定の方法は特に限定されない。
なお、注目しているピクセルに対応するテンプレートの設定の仕方は適宜調整することができる。例えば、テンプレートの大きさを3×3、5×5、17×17等の正方形に設定することができる。
・・・(1)
ここで、上方に横棒のついたfl、frは、テンプレート全体での輝度値の平均を表し、以下の式(2)で算出される。
・・・(2)
なお、相関係数ではなく、テンプレート間で対応する画素の差分を行い、差分の二乗和を類似度として、差分の二乗和が最も小さいテンプレートを算出して、対応点を算出してもよい。また、類似度の算出に当たり、輝度は、RGBのいずれかの値を用いてもよいし、RGBから算出した輝度信号Y等を用いて計算してもよい。さらに、上記では左眼のあるピクセル61Lに対して右眼の対応点を探索する構成にしたが、右眼のあるピクセルに対して左眼の対応点を探索してもよい。
対応点の算出と、視差分布等の作成が終わったら、ステップS1013に進む。
両眼視画像71が作成されたら、ステップS1015に進む。
なお、両眼視画像作成部18は、例えばステップS1003~S1013までを繰り返して得た複数の両眼視画像71を動画像作成部19に送り、動画像を作成させてもよい。動画像作成部19は、入力データ等のパラメータを変化させて得られた複数の両眼視画像71を並べて逐次表示するように構成した動画像を作成する。例えば、図6(a)の状態から図6(b)の状態まで水晶体辺縁部33および水晶体コア34を変化させた場合を含んだ動画像を、両状態間の異なる複数の段階の眼球モデル30に基づいて作成された両眼視画像71を基に作成する。
作成する動画像は、眼球モデル30の任意のパラメータを時間軸に沿って変化させて構成することができる。また、視線方向を変えた場合等を仮想し、眼球が運動した場合の網膜画像70等の変化を動画像として表してもよい。
なお、ステップS1007に戻る場合、必要に応じて、制御部10は設計装置93(図12参照)に再設計の指示を出すことができる。設計装置93は、網膜画像70等の作成に用いた眼鏡レンズの形状や、両眼視画像71の作成の際に用いた補正パラメータや、視差分布等に基づいて眼鏡レンズの設計を行ってもよい。
ステップS1023において、眼鏡レンズ加工機92は、ステップS1021で加工指示が送られた眼鏡レンズを製造する。設計装置93が、例えば入力データの一部として画像作成装置1に送った眼鏡レンズ設計データを加工機制御装置91に送信し、加工機制御装置91の制御により、眼鏡レンズ加工機92が眼鏡レンズを製造する。
(1)本実施形態の画像作成装置1は、外界モデル5におけるオブジェクト53の配置、形状および反射率等の光学特性に関する外界記述データと、眼鏡レンズの配置、形状および屈折率等の光学特性に関する眼鏡レンズ記述データと、外界モデル5を眼鏡レンズを通して仮想的に目視する装用者の両眼の配置、形状および屈折率等の光学特性に関する眼球記述データと、に基づいて、装用者が眼鏡レンズを通して仮想的に目視する外界モデル5が、装用者の両眼のそれぞれの網膜に投影される網膜画像70を作成する網膜画像作成部14を備える。これにより、装用者が眼鏡レンズをかけたと仮想した際、眼球構造や風景、眼鏡レンズ等に応じて、様々な実際的な場面での視画像の想定を行うことができる。
(変形例1)
上述の実施形態において、網膜画像作成部14は、屈折異常の眼球構造を考慮して、矯正レンズとの組み合わせで網膜画像70を作成してもよい。これにより、本実施形態の網膜画像70等に基づいて、屈折異常を適切に矯正するレンズを提供することが可能となる。
上述の実施形態においては、眼球構造が眼球記述データにより記述されるとしたが、装用者の処方データから眼球記述データを算出するように構成してもよい。これにより、装用者の眼球構造を実測したり、直接計測したデータが取得できなくても、処方データから眼球モデル30を構築することができる。
なお、上記では、設定した角膜前面360aおよび角膜後面360pの曲率を採用するか否かの基準を0.02Dとしたが、0.01D、0.03D等の値に適宜設定することができる。また、光線波面の屈折力の算出位置も、角膜を出て光軸方向に10~15mmの範囲等から選択する等、適宜設定することができる。以下の乱視の有る場合でも同様である。
なお、処方データに対応する眼鏡レンズを眼球前方に配置し、眼鏡レンズ前方から眼鏡レンズの光学中心に向かう平面波の光線追跡をし、網膜中心位置320での屈折力が0.02D未満等になるように角膜前面360aおよび角膜後面360pの曲率等のパラメタを反復アルゴリズムで決定してもよい。これにより、検眼時の状況を反映してより精密なモデル構築が可能となる。
画像作成装置1の情報処理機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した画像作成処理およびそれに関連する処理の制御に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
日本国特許出願2016年第205990号(2016年10月20日出願)
Claims (12)
- 仮想の対象風景における構造物の配置、形状および光学特性に関する対象風景三次元情報と、
眼鏡レンズの配置、形状および光学特性に関する眼鏡レンズ三次元情報と、
前記対象風景を仮想的な前記眼鏡レンズを通して目視する装用者の眼の配置、形状および光学特性に関する眼球三次元情報と
を記憶する記憶部と、
前記対象風景三次元情報、前記眼鏡レンズ三次元情報、及び前記眼球三次元情報に基づいて、前記眼の網膜の各位置へ入射する光線について、前記網膜から前記眼の角膜の方向への第1の光線追跡によって、前記角膜の前面への入射方向および入射位置を算出し、算出された前記入射方向および前記入射位置に基づく、前記角膜から前記対象風景の方向への第2の光線追跡によって、前記対象風景から前記光線が、前記角膜の前面を通って前記網膜の前記各位置へ伝播する光線経路と前記網膜の前記各位置に対応するピクセルの輝度を算出することにより網膜画像を作成する網膜画像作成部と、
両眼の前記網膜画像のうち、一方の眼の前記網膜画像に設定した複数ピクセルからなる第1ピクセル領域に含まれるそれぞれのピクセルの輝度と、他方の眼の前記網膜画像に設定した複数ピクセルからなる第2ピクセル領域に含まれるそれぞれのピクセルの輝度との相関係数に基づいて、前記対象風景における任意の位置に対応する対応点を算出する対応点算出部と、
を備え、
前記網膜画像は、前記装用者が前記眼鏡レンズを通して前記対象風景を目視した際に前記装用者の前記眼の網膜に投影される仮想的な画像であり、
前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度を(fl(xi,yj))とし、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfl(エフ・エル・バー;バーはflの上に横棒)とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度を(fr(xi,yj))とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfr(エフ・アール・バー;バーはfrの上に横棒)として、前記相関係数であるDcorrが以下の式で求められる、画像作成装置。
- 請求項1に記載の画像作成装置において、
前記対応点に基づいて、前記位置に対する前記両眼の視差を算出する視差算出部と、
を備える画像作成装置。 - 請求項2に記載の画像作成装置において、
前記両眼の視差と、融像割合を含む視差の補正パラメータとに基づいて、前記両眼の前記網膜画像から合成画像を作成する合成画像作成部を備える画像作成装置。 - 請求項1から3までのいずれか一項に記載の画像作成装置において、
前記網膜画像に対応する前記両眼の視差の分布を表示する視差表示部を備える画像作成装置。 - 請求項1から4までのいずれか一項に記載の画像作成装置において、
前記装用者の前記眼の形状や光学特性を、前記装用者の処方データから算出する眼球形状算出部を備える画像作成装置。 - 請求項5に記載の画像作成装置において、
前記眼球形状算出部は、前記眼の形状を、前記装用者の調節力および瞳孔径から算出する画像作成装置。 - 請求項1から6までのいずれか一項に記載の画像作成装置において、
前記眼球三次元情報の変化に基づいて、前記網膜画像、または両眼の前記網膜画像に基づいた合成画像を動画像として表示する動画表示部を備える画像作成装置。 - 仮想の対象風景における構造物の配置、形状および光学特性に関する対象風景三次元情報と、眼鏡レンズの配置、形状および光学特性に関する眼鏡レンズ三次元情報と、前記対象風景を前記眼鏡レンズを通して仮想的に目視する装用者の眼の配置、形状および光学特性に関する眼球三次元情報と、に基づいて、前記眼の網膜の各位置へ入射する光線について、前記網膜から前記眼の角膜の方向への第1の光線追跡によって、前記角膜の前面への入射方向および入射位置を算出し、算出された前記入射方向および前記入射位置に基づく、前記角膜から前記対象風景の方向への第2の光線追跡によって、前記対象風景から前記光線が、前記角膜の前面を通って前記網膜の前記各位置へ伝播する光線経路と前記網膜の前記各位置に対応するピクセルの輝度を算出することにより、網膜画像を作成することと、
両眼の前記網膜画像のうち、一方の眼の前記網膜画像に設定した複数ピクセルからなる第1ピクセル領域に含まれるそれぞれのピクセルの輝度と、他方の眼の前記網膜画像に設定した複数ピクセルからなる第2ピクセル領域に含まれるそれぞれのピクセルの輝度との相関係数に基づいて、前記対象風景における任意の位置に対応する対応点を算出することとを含み、
前記網膜画像は、前記装用者が前記眼鏡レンズを通して仮想的に目視する前記対象風景が、前記装用者の前記眼の網膜に投影される画像であり、
前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度を(fl(xi,yj))とし、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfl(エフ・エル・バー;バーはflの上に横棒)とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度を(fr(xi,yj))とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfr(エフ・アール・バー;バーはfrの上に横棒)として、前記相関係数であるDcorrが以下の式で求められる、画像作成方法。
- 請求項8に記載の画像作成方法において、
両眼の視差を補正する量を設定した視差補正パラメータに基づいて、前記両眼の前記網膜画像から合成画像を作成する画像作成方法。 - 仮想の対象風景における構造物の配置、形状および光学特性に関する対象風景三次元情報と、眼鏡レンズの配置、形状および光学特性に関する眼鏡レンズ三次元情報と、前記対象風景を前記眼鏡レンズを通して仮想的に目視する装用者の眼の配置、形状および光学特性に関する眼球三次元情報と、に基づいて、前記眼の網膜の各位置へ入射する光線について、前記網膜から前記眼の角膜の方向への第1の光線追跡によって、前記角膜の前面への入射方向および入射位置を算出し、算出された前記入射方向および前記入射位置に基づく、前記角膜から前記対象風景の方向への第2の光線追跡によって、前記対象風景から前記光線が、前記角膜の前面を通って前記網膜の前記各位置へ伝播する光線経路と前記網膜の前記各位置に対応するピクセルの輝度を算出することにより、網膜画像を作成する網膜画像作成処理と、
両眼の前記網膜画像のうち、一方の眼の前記網膜画像に設定した複数ピクセルからなる第1ピクセル領域に含まれるそれぞれのピクセルの輝度と、他方の眼の前記網膜画像に設定した複数ピクセルからなる第2ピクセル領域に含まれるそれぞれのピクセルの輝度との相関係数に基づいて、前記対象風景における任意の位置に対応する対応点を算出する対応点算出処理とを、コンピュータに実行させ、
前記網膜画像は、前記装用者が前記眼鏡レンズを通して仮想的に目視する前記対象風景が、前記装用者の前記眼の網膜に投影される画像であり、
前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度を(fl(xi,yj))とし、前記第1ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfl(エフ・エル・バー;バーはflの上に横棒)とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度を(fr(xi,yj))とし、前記第2ピクセル領域に含まれるそれぞれのピクセルの輝度の平均値をfr(エフ・アール・バー;バーはfrの上に横棒)として、前記相関係数であるDcorrが以下の式で求められる、画像作成プログラム。
- 請求項1から7までのいずれか一項に記載の画像作成装置における前記網膜画像の作成に用いた前記眼鏡レンズの形状に基づいて、眼鏡レンズを設計する眼鏡レンズの設計方法。
- 請求項11に記載の設計方法により前記眼鏡レンズを設計することと、
前記設計方法により設計された前記眼鏡レンズを製造することと
を含む眼鏡レンズの製造方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016205990 | 2016-10-20 | ||
JP2016205990 | 2016-10-20 | ||
PCT/JP2017/037741 WO2018074528A1 (ja) | 2016-10-20 | 2017-10-18 | 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018074528A1 JPWO2018074528A1 (ja) | 2019-09-26 |
JP7078540B2 true JP7078540B2 (ja) | 2022-05-31 |
Family
ID=62018651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018546389A Active JP7078540B2 (ja) | 2016-10-20 | 2017-10-18 | 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10958898B2 (ja) |
EP (1) | EP3531194A4 (ja) |
JP (1) | JP7078540B2 (ja) |
CA (1) | CA3040852C (ja) |
WO (1) | WO2018074528A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2901477C (en) | 2015-08-25 | 2023-07-18 | Evolution Optiks Limited | Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display |
US11631224B2 (en) * | 2016-11-21 | 2023-04-18 | Hewlett-Packard Development Company, L.P. | 3D immersive visualization of a radial array |
US11693239B2 (en) | 2018-03-09 | 2023-07-04 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
CA3021636A1 (en) | 2018-10-22 | 2020-04-22 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US11353699B2 (en) | 2018-03-09 | 2022-06-07 | Evolution Optiks Limited | Vision correction system and method, light field display and light field shaping layer and alignment therefor |
US11327563B2 (en) | 2018-10-22 | 2022-05-10 | Evolution Optiks Limited | Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same |
US10761604B2 (en) | 2018-10-22 | 2020-09-01 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US10936064B2 (en) | 2018-10-22 | 2021-03-02 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions |
US10636116B1 (en) * | 2018-10-22 | 2020-04-28 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US10860099B2 (en) | 2018-10-22 | 2020-12-08 | Evolution Optiks Limited | Light field display, adjusted pixel rendering method therefor, and adjusted vision perception system and method using same addressing astigmatism or similar conditions |
US11500460B2 (en) | 2018-10-22 | 2022-11-15 | Evolution Optiks Limited | Light field device, optical aberration compensation or simulation rendering |
US11966507B2 (en) | 2018-10-22 | 2024-04-23 | Evolution Optiks Limited | Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same |
US11500461B2 (en) | 2019-11-01 | 2022-11-15 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
US11789531B2 (en) | 2019-01-28 | 2023-10-17 | Evolution Optiks Limited | Light field vision-based testing device, system and method |
JP7434353B2 (ja) * | 2019-03-22 | 2024-02-20 | エシロール・アンテルナシオナル | 視覚タスクのための視覚機器の性能を評価する装置及び方法 |
US11635617B2 (en) | 2019-04-23 | 2023-04-25 | Evolution Optiks Limited | Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same |
US11902498B2 (en) | 2019-08-26 | 2024-02-13 | Evolution Optiks Limited | Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same |
US11487361B1 (en) | 2019-11-01 | 2022-11-01 | Evolution Optiks Limited | Light field device and vision testing system using same |
US11823598B2 (en) | 2019-11-01 | 2023-11-21 | Evolution Optiks Limited | Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same |
JP7272985B2 (ja) * | 2020-03-23 | 2023-05-12 | ホヤ レンズ タイランド リミテッド | 仮想画像生成装置及び仮想画像生成方法 |
CN112353363A (zh) * | 2020-10-24 | 2021-02-12 | 泰州市华仕达机械制造有限公司 | 基于开孔分析的尺寸选择*** |
DE102020215285A1 (de) | 2020-12-03 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Parallaxeregelung und binokulare Datenbrille mit einer Recheneinheit zu einem Durchführen des Verfahrens |
US20220190306A1 (en) * | 2020-12-10 | 2022-06-16 | Applied Materials, Inc. | Web edge metrology |
EP4043946A1 (en) * | 2021-02-12 | 2022-08-17 | Essilor International | A device and method for automatically evaluating visual equipment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010044383A1 (ja) | 2008-10-17 | 2010-04-22 | Hoya株式会社 | 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法 |
JP2010134460A (ja) | 2008-11-06 | 2010-06-17 | Seiko Epson Corp | 眼鏡レンズ用視覚シミュレーション装置、眼鏡レンズ用視覚シミュレーション方法及び眼鏡レンズ用視覚シミュレーションプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6792401B1 (en) * | 2000-10-31 | 2004-09-14 | Diamond Visionics Company | Internet-based modeling kiosk and method for fitting and selling prescription eyeglasses |
JP4014438B2 (ja) * | 2001-06-20 | 2007-11-28 | 株式会社ビジョンメガネ | 眼鏡・コンタクトレンズ度数決定システムおよびその方法 |
DE60206342T2 (de) * | 2001-09-06 | 2006-07-27 | Hoya Corp. | Verfahren zur Beurteilung der binokularen Eigenschaften von Brillengläsern, Vorrichtung zur Anzeige dieser Eigenschaften und zugehöriger Apparat |
JP3919097B2 (ja) * | 2001-09-06 | 2007-05-23 | Hoya株式会社 | 眼鏡レンズの両眼視性能表示方法及びその装置 |
US7275822B2 (en) * | 2004-03-18 | 2007-10-02 | Essilor International (Compagnie Generale D'optique) | Progressive addition lenses with adjusted image magnification |
FR2874709B1 (fr) * | 2004-08-27 | 2006-11-24 | Essilor Int | Procede de determination d'une paire de lentilles ophtalmiques progressives |
ATE514118T1 (de) * | 2007-01-25 | 2011-07-15 | Rodenstock Gmbh | Flexibler gleitsichtglasoptimierer |
WO2010090429A2 (ko) * | 2009-02-03 | 2010-08-12 | 주식회사 엘지화학 | 입체영상 표시장치용 광학필터 제조방법 |
RU2511706C2 (ru) * | 2009-02-05 | 2014-04-10 | Хойа Корпорейшн | Способ оценивания очковых линз, способ проектирования очковых линз, способ изготовления очковых линз, система изготовления очковых линз и очковая линза |
FR2950984B1 (fr) * | 2009-10-05 | 2012-02-03 | Interactif Visuel Systeme Ivs | Procede et equipement de mesures pour la personnalisation et le montage de lentilles ophtalmiques correctrices |
US9967555B2 (en) * | 2012-05-25 | 2018-05-08 | Hoya Corporation | Simulation device |
JP6020576B2 (ja) * | 2012-09-19 | 2016-11-02 | 株式会社ニコン | 視線検出装置較正方法、視線情報検出方法、眼鏡レンズ設計方法、眼鏡レンズ選択方法、および、眼鏡レンズ製造方法 |
GB201310368D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
WO2015168794A1 (en) * | 2014-05-07 | 2015-11-12 | Michael Quigley | Method of prescribing/making eyewear for an individual |
US10121178B2 (en) * | 2014-06-13 | 2018-11-06 | Ebay Inc. | Three-dimensional eyeglasses modeling from two-dimensional images |
US9665984B2 (en) * | 2014-07-31 | 2017-05-30 | Ulsee Inc. | 2D image-based 3D glasses virtual try-on system |
US11956414B2 (en) * | 2015-03-17 | 2024-04-09 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
US20170132845A1 (en) * | 2015-11-10 | 2017-05-11 | Dirty Sky Games, LLC | System and Method for Reducing Virtual Reality Simulation Sickness |
CN108886610A (zh) * | 2016-03-15 | 2018-11-23 | 深见有限公司 | 3d显示装置、方法和应用 |
CN105913487B (zh) * | 2016-04-09 | 2018-07-06 | 北京航空航天大学 | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 |
-
2017
- 2017-10-18 CA CA3040852A patent/CA3040852C/en active Active
- 2017-10-18 JP JP2018546389A patent/JP7078540B2/ja active Active
- 2017-10-18 WO PCT/JP2017/037741 patent/WO2018074528A1/ja unknown
- 2017-10-18 EP EP17863041.4A patent/EP3531194A4/en active Pending
-
2019
- 2019-04-19 US US16/389,428 patent/US10958898B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010044383A1 (ja) | 2008-10-17 | 2010-04-22 | Hoya株式会社 | 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法 |
JP2010134460A (ja) | 2008-11-06 | 2010-06-17 | Seiko Epson Corp | 眼鏡レンズ用視覚シミュレーション装置、眼鏡レンズ用視覚シミュレーション方法及び眼鏡レンズ用視覚シミュレーションプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190246095A1 (en) | 2019-08-08 |
US10958898B2 (en) | 2021-03-23 |
JPWO2018074528A1 (ja) | 2019-09-26 |
EP3531194A1 (en) | 2019-08-28 |
EP3531194A4 (en) | 2020-05-06 |
WO2018074528A1 (ja) | 2018-04-26 |
CA3040852C (en) | 2023-04-04 |
CA3040852A1 (en) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7078540B2 (ja) | 画像作成装置、画像作成方法、画像作成プログラム、眼鏡レンズの設計方法および眼鏡レンズの製造方法 | |
US10319154B1 (en) | Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects | |
US20220028175A1 (en) | Multi-depth plane display system with reduced switching between depth planes | |
US9629539B2 (en) | Eyeglasses-wearing simulation method, program, device, eyeglass lens-ordering system and eyeglass lens manufacturing method | |
US9785306B2 (en) | Apparatus and method for designing display for user interaction | |
US20170237974A1 (en) | Multi-depth plane display system with reduced switching between depth planes | |
JP2021511564A (ja) | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 | |
US9364142B2 (en) | Simulation device, simulation system, simulation method and simulation program | |
JPWO2014203440A1 (ja) | 画像表示装置および画像表示方法 | |
CN104204904A (zh) | 紧凑式眼睛跟踪头戴式显示器 | |
JP2021515278A (ja) | ホログラフィック実空間屈折システム | |
JP2024069461A (ja) | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 | |
Hwang et al. | Instability of the perceived world while watching 3D stereoscopic imagery: a likely source of motion sickness symptoms | |
CN111373307A (zh) | 立体眼镜、该立体眼镜中使用的眼镜镜片的设计方法以及立体图像的观察方法 | |
WO2021239284A1 (en) | Methods, devices and systems enabling determination of eye state variables | |
CN113613546B (zh) | 评估用于视觉任务的视觉设备的性能的装置和方法 | |
JP2003177076A (ja) | 眼鏡レンズの両眼視性能表示方法及びその装置 | |
US20220261072A1 (en) | Light field vision-based testing device, system and method | |
JP3347514B2 (ja) | 眼光学系のシミュレーション装置 | |
Padmanaban et al. | Optimizing VR for all users through adaptive focus displays | |
JP7241702B2 (ja) | 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム | |
US20240176418A1 (en) | Method and system for improving perfomance of an eye tracking system | |
RU2609285C1 (ru) | Способ формирования многопланового изображения и мультифокальный стереоскопический дисплей | |
WO2023102500A1 (en) | Methods for controlling performance of extended reality display systems | |
CN111757089A (zh) | 利用眼睛的瞳孔增强调节来渲染图像的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20200630 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210423 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7078540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |