JP7420707B2 - 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 - Google Patents
少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 Download PDFInfo
- Publication number
- JP7420707B2 JP7420707B2 JP2020504762A JP2020504762A JP7420707B2 JP 7420707 B2 JP7420707 B2 JP 7420707B2 JP 2020504762 A JP2020504762 A JP 2020504762A JP 2020504762 A JP2020504762 A JP 2020504762A JP 7420707 B2 JP7420707 B2 JP 7420707B2
- Authority
- JP
- Japan
- Prior art keywords
- slm
- image
- projection
- optical
- optical fiber
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 25
- 230000003190 augmentative effect Effects 0.000 title claims description 5
- 239000013307 optical fiber Substances 0.000 claims description 52
- 230000003287 optical effect Effects 0.000 claims description 35
- 239000000835 fiber Substances 0.000 claims description 30
- 210000001747 pupil Anatomy 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000010363 phase shift Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 6
- 230000009365 direct transmission Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 16
- 238000007639 printing Methods 0.000 description 16
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 229920000642 polymer Polymers 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 238000003462 Bender reaction Methods 0.000 description 1
- 206010029412 Nightmare Diseases 0.000 description 1
- 238000003848 UV Light-Curing Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001723 curing Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000002019 doping agent Substances 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
- G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/0977—Reflective elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
- G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/24—Coupling light guides
- G02B6/26—Optical coupling means
- G02B6/35—Optical coupling means having switching means
- G02B6/351—Optical coupling means having switching means involving stationary waveguides with moving interposed optical elements
- G02B6/3512—Optical coupling means having switching means involving stationary waveguides with moving interposed optical elements the optical element being reflective, e.g. mirror
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3152—Modulator illumination systems for shaping the light beam
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2284—Superimposing the holobject with other visual information
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
- Eyeglasses (AREA)
- Projection Apparatus (AREA)
Description
本発明は、通常の眼鏡のように透明であるが、しかしながら眼鏡ガラスを介して見ることができる実際の像に、仮想のオブジェクトまたは像を高解像度で付加的に挿入することができる、AR(拡張現実)眼鏡に関する。特に、本発明は、眼鏡着用者の瞳孔のすぐ前に多数の光ファイバ端部を配置することによって、解像度が動的なライトフィールドを瞳孔に投影するAR眼鏡に関し、光ファイバ線路は、光学的なクローキング装置によって、外部からは不可視であるようにガラスを通って案内され、光学スイッチによって分配することができ、また眼鏡着用者の耳または頭部の後方において、SLMプロセッサは、伝送マトリクス変換された像を光ファイバに結合させ、それによって光ファイバの端部は、瞳孔の手前で完全な部分像を送出する。
どのようにAR眼鏡が機能的に構成されるかについて種々のシステムが公知である。この場合、眼鏡ガラス越しの、またはプリズム内の小型のディスプレイの後方反射の旧式のアプローチは大まかに区別される。このアプローチは、このディスプレイの範囲を過度に大きくするか、または可視のセクションを極めて小さくするので、本願において以降では考察しない(例えば、Google GlassまたはMeta 2)。
上記において紹介した構想は、市販の眼鏡のように可能な限り小さいフレームを備えた外観とは大きく離れている。しかしながら、Google Glassの市場での経験から、眼鏡が毎日利用されるべき場合には、通常の眼鏡との極僅かな差異でさえも、市場での受け入れに関して問題を意味することがはっきりと分かった。個々人の顔の表情およびアイコンタクトは、多くの場合、社会的には繊細過ぎるので、未来の技術によってもそれらを偽装することはできない。さらに、それらの眼鏡は、ピクセル解像度が低く、透過性も制限されており、実際のオブジェクトのように集束せず、限定的な視野しか提供せず、また多くの光が目に入射する。
本発明の利点およびタスクは、模範的にガラスに直接取り付けられたブリッジおよびテンプルを備えた、最大限に小型化されたフレームレスの眼鏡(1)を採用し、その眼鏡にほぼ不可視の光学システム(10)を統合させ、この光学システムが、外部からは不可視であり、また最大限の分解能でインテグラルライトフィールドを目に投影する(少なくとも20K)(48)、ということである。この場合、ライトフィールドの広がりは、眼鏡の視界によってのみ制限されているので、眼鏡を相応に設計すれば、220°の視界も実現できる。ガラスの前面には、LCD減光層が設けられている。さらに、目に向けられた少なくとも2つのビデオカメラと、視野に向けられた2つのビデオカメラと、が取り付けられている(53)。
ピンホールプロジェクタ、インテグラルイメージング、光学クローキング装置、マルチモードファイバ内視鏡、計算機合成ホログラフィ(CGH)、フォービエイテッドレンダリング、適合的眼球離反運動の不一致、時間領域イメージング、振幅・位相複素変調SLM、Magic Leap、HoloLens、SLM、DMD、DLP、FLCOS、拡張現実AR、複合現実MR、マトリクス光学系、スペックル低減、ピエゾFTIR、エレクトロクロミックミラー、ピンホール眼鏡。
以下では、図面に図示した複数の実施形態に基づき、本発明を詳細に説明する。
図面に図示したように、AR眼鏡に関して、後頭部に配置された、複数のSLMライトプロセッサから成るホログラムプロジェクタ(3)において、それぞれが低解像度の部分像(51)を含む、少なくとも300個の光ファイバ投影点(48)が供給される。供給光ファイバは、眼鏡テンプル(9)および眼鏡縁部(62)を通り、眼鏡における投影のために任意に位置決めされる。これによって、複数の部分像またはホログラム(33)を瞳孔に直接的に投影するために、どのようにして投影をパターンとして目の前に直接到達させることができるかについての種々のアプローチ(34)が明らかになる。線状のヴァリエーション(2)では、投影点が眼鏡フレームに配置され、ガラス内の高速スイッチング可能なミラー面(19)が利用される。ここで説明する好適な点状のヴァリエーション(1)では、勾配クローキング光学系(12、69)が利用される。このために、眼鏡ガラス内の光ファイバは、光学的なクローキングチューブを通って案内されるので(12)、ファイバ、またはファイバに取り付けられた終端にあるMEMSスイッチシステム(10、70)は、ガラス内で特にあらゆる方向からも不可視である(66)。したがって、光導体はパターンとして、目のすぐ手前で、ガラス内で目の方向に向かって投影を行うことができる(59)。
このヴァリエーションは、光ファイバの先端が本来ははっきりとしない影しか示さない程度にしか、光学クローキング部から突出しない、非常に小さい光ファイバの先端に基づいて、その名が付けられた。光ファイバの先端が完全にクローキング領域に押し込まれると、先端はもはや全く見てとることができなくなる。このヴァリエーションの魅力は、像がまさに何もないところからガラス内に現れるという、魔法のように思われる効果である。このヴァリエーションは、提供される可能性および自由度を完全に利用することができることから、技術的に特に魅力的である。
このヴァリエーションは、個々のガラスボディ間の細い溝に基づいて、その名が付けられた。ただし実際には、張り合わせによってそれらの溝は可視のものではなくなっている。
SV6 漏れ全反射(FTIR:Frustrierte Totale interne Reflektion):内部全反射、または漏れTIRのみが、ピエゾ素子を用いた間隙の拡張によって生じ、このピエゾ素子は、伸張または振動によって間隙を形成する。
SV8 エレクトロクロミックミラー:
エレクトロクロミックミラーのシステムが、ミラー(エレクトロクロミックミラー)として利用される。
PA1:演算ユニットは、小型化の度合いに応じて、眼鏡に直接取り付けることができるか(3)、または別個のユニットとして構成することができる。この場合、接続は無線または有線により構成することができる。
PA2:プロジェクタおよび演算ユニットは、1つのユニットとして頭部の後方に配置することができる。
PA3:プロジェクタおよび/または演算ユニットは、ポケットまたはベルト内の1つのユニットとして、身体に配置することができる。演算ユニット自体も、無線によりハンドバック内に保持することができるか、または単純にユーザの周囲最大10メートルの範囲内に保持することができる。
インテグラルライトフィールドは、重複する円形の投影(50)を生成する。重複部は、像レンダリングの際に切り抜かれなければならない(クリッピング)(51)。
PB1:アイトラッキングによって、視線方向が正確に検出され、クリッピングフレームが算出される。
PB2:さらに、瞳孔の幅がアイトラッキングカメラ(53)によって検出され、クリッピングフレームが適合される。
PB3:滑らかな遷移:クリッピングの縁部は、巧みにシームレスで円滑に切り取られ、それによって、複数の投影が僅かな誤差で相互に適合される。
AR眼鏡の前面には、高解像度の減光LCDディスプレイ(67)が設けられており、この減光LCDディスプレイ(67)は、眼鏡ガラスを介する完全な視野をカバーする。
ローカルのKIサーバが、パターン認識に使用される。周囲が周囲カメラ(53)を用いてスキャンされ、すべてのオブジェクトがニューラルネットワーク(ディープラーニング)を介して、可能な限り広範に、既知の論理的なオブジェクトに対応付けられる。コンピュータにおいて、ディジタルで解釈された世界が構築され、ユーザインタフェースによってこの世界にアクセスすることができる。この場合、ユーザインタフェースは、オブジェクトに関連付けられて機能することができる。
クローキング光学系を、種々のやり方で、密なガラス媒体に導入することができる。形状は、正確にチューブである必要はなく、より複雑であるが、それにもかかわらず一貫してクローキングが行える、以下のような形状をとることもできる:
TO1 円形状:クローキングチャネルは、完全なシリンダ形状(12)を有する。
TO2 楕円形状:クローキングチャネルは、完全な楕円形状を有する。
TO3 シェル形状:ガラスの縁部において、クローキング光学系は、その縁部によって満たすことができるシェル形状(61)を有する。
TO4 屈曲あり:この形状は、その均一な形状に加えて、異なる強さで、または均一に湾曲されている。
TO5 全体の格子:この形状は、相応の分岐または交点を有するメッシュまたは格子に形成されている。
TO6:分岐における丸み:各分岐における鋭い移行部が緩やかに丸められている。
GR1 異なる屈折率:層は、相互に調整された異なる屈折率を有する。
GR2 異なる分散値:層は、クローキングの光学的な一貫性を高めるために、相互に調整された異なる分散値を有する。
GR3 非常に厚いまたは薄い層:層は、非常に薄く設計されているか、または非常に厚く設計されている。
GR4 不均一な強さの減少:層の密度(屈折率)または層の厚さは、均一に減少するのではなく、指数関数的にまたは可変に高速で減少する。
GR5 段状または無段状:層は、相互に段状に設計されているか、または層は、相互に段状にならないような厚さの経過を有する。
クローキング部の内部から投影を行うために、クローキングジャケットを貫通させる(穿孔)(69)ことが必要になると考えられる。これを様々なやり方で行うことができる:
TP1 孔:孔(69)は、相応の箇所に相応の角度で設けられる。
TP2 孔の深さ:孔の深さを介して、正確な光学特性は調整される。
TP3 孔の形状:孔の形状によって、特性は変化する。形状は、球状、円錐状、スリット状、楔状または他の形状を有することができる。
TP4 孔の充填:孔は、他の光学媒体で充填されるか、または閉鎖される。
TP5 孔の内側:穿孔は、層の作製の中間段階で行われ、孔は閉鎖され、作製は継続される。穿孔は、内側からのみ作用する。
クローキング光学系を大量生産できるようにするために、全体の格子が層毎にそれぞれ作製される。この場合、UV硬化ポリマー層または相応の屈折率を有する他の材料がそれぞれ設けられる。この段階で、クローキングチューブの投影箇所において光学的な穿孔を行うために、「バブルジェット」のような印刷技術を用いて、それらの箇所に、別の屈折率を有する別のポリマーが噴射される。このポリマーが、この点において、事前に設けられている層を押し退ける。その後、層はUV硬化され、後続の層が設けられる。これらのステップの順序および印刷材料は変更することができる。
PD1 層形成前の印刷:全体の層が形成される前に、穿孔された箇所に印刷が行われる。印刷材料は、この箇所へのコーティングの流入を阻止する流入抑制材料であってよい。
PD2 層形成後の印刷:全体の層が形成された後に、印刷が行われる。
PD3 ドーパントのみの印刷:屈折率を変化させる物質のみが噴射される。
PD4 層形成前後の印刷:事前印刷および事後印刷を組み合わせた印刷が行われ、これには層の中間硬化を含むこともできる。
PD5 さらなる補正印刷:光学的な補正を行うために、層においてさらに別の箇所に印刷が行われる。この印刷が行われなければ、光学的な補正が妨害される恐れがある。
クローキングチューブの内部構造を、技術水準に応じて種々に構成することができる。メインタスクは、投影の正確な位置決めおよび光導が行われる撓みである。より高い技術水準では、スイッチおよび分岐もこれに含めることができる。さらに、投影システムならびに記録システムも設置することができる。
TI1 構造:光ファイバが案内され、別の光学素子が取り付けられている、より複雑な保持構造が製造される。
TI2 光学系の嵌め込み:ウェハレベルオプティクスによって形成された導波体、偏向光学系およびレンズを備えた細いマイクロチップが製造され、このマイクロチップは、所望の投影点を正確に生成し、眼鏡縁部における線路が提供される。続いて、眼鏡縁部には、MEMSスイッチおよび光学系を備えた細いICが収容され、このICは、それらの線路に光ファイバ信号を分配する。
TI3 MEMS基板(70):非常に細長いマイクロチップが使用され、このマイクロチップには、電気回路の他に、光学的なスイッチとしての多数のMEMS-DMDマイクロミラー、ならびに光導体およびレンズも集積されている。チップは、IC、MEMS(13)およびウェハレベルオプティクス(15)技術を用いて大量生産することができ、またナノポリマー光学プリンタを用いて洗練することができる。
ライトフィールドの投影は、目に比較的近い位置において眼鏡ガラスに取り付けられている光ファイバプロジェクタのパターンから成る。眼球における瞳孔(58)は、眼鏡ガラスの比較的近くに位置しており、したがって比較的大きい眼球の回転によって比較的大きくずれる(71)。この大きい目の運動は、右方、左方ならびに上方および下方に行われる。またターゲットの位置は、したがって、視線方向に強く依存する。通常のディスプレイにとっては、これは問題にならない。何故ならば、通常のスクリーンは、各ピクセルを大きい視野角で結像するからである。スクリーンの光は、それが眼鏡ガラスの反射面において反射される場合であっても、あらゆる方向を比較的強く照らし、また目の領域全体を照明する。
完全な視野をカバーする高解像度のAR眼鏡のための理論的なピクセル解像度は、容易に20~40メガピクセルに達する。しかしながら幸いなことに、ARホログラム投影は、実際の使用では、従来の像プロジェクタまたはモニタとは根本的に異なる。
A1 マトリクスプロジェクタ:変換マトリクスTMは、光学的には、変換ホログラムによって行われるのではなく、純粋にコンピュータにおける計算によって像に適用される。SLMは、光ファイバの端部の手前に像を配置するために、オーソドックスなやり方で利用される。これによって、計算機合成ホログラムの複雑さは低減され、照明システムを備えた専用の最適化されたSLM(83)のみが必要になる。
E1 コヒーレンスの低減:レーザ光源は、ホログラフィ方式に関してまだなお許容できる程度に、1つまたは複数の異なる態様で、組み合わされて変調される。
1. 光の波長は、相応に限定されて混合されたスペクトルに変調される。
2. 位相はシフトされて均一に混合される(移動拡散板またはマルチモードファイバ)。
3. ビーム相互の角度(平行度)は、相応に限定された範囲で混合される。
これらの変調は、可動拡散板、ピエゾベンダ、音響光学変調器、またはマルチモード光ファイバを介する受動的な通過によって達成することができる。
AR眼鏡は、目のすぐ前に位置決めされている光ファイバ投影点の密なパターンを基礎とする。水平方向において最大限に知覚できる220°のアクティブな視野が大きくなるほど、またそのために必要とされる垂直方向の点解像度が高くなるほど、より多くの光ファイバ端部が使用される。しかしながら、使用されるSLMプロジェクタの数に応じて、またプロジェクタの、使用されるホログラムの併用に応じて、それらの光ファイバのうちの少数(2~32)しか並行して使用されない。また、それらの光ファイバは、高周波で選択されなければならない。これに関する観念的な基礎は、光学スイッチであり、最終的には、種々の形態のスイッチの混合形態が使用される。
AR眼鏡は、最後のスイッチを、カスケード式にクローキングチューブ嵌め込み部に取り付けることができ、これをMEMS技術および/またはウェハレベルオプティクス技術で作製することができる(10)。投影光学系は、付加的に、例えばナノ勾配ポリマープリンタでもって、UV硬化ベースで洗練することができる。スイッチは、同様に、約90°の回転を実行することができる。このために、以下の設計のヴァリエーションが有利である。
スイッチの機能は、1つの大きいDMDミラーによって、またはDMDミラーの1つのパターンによって実施される。この場合、ミラーを種々の位置に傾斜させることができる。この場合、個々のミラーは、焦点合わせされたシェル形状を有することができるか、またはミラーアレイは、同様に所望の焦点合わせを実行することができる。傾斜方向に応じて、焦点合わせは異なる結果になると考えられる。
光ファイバの端部に、ナノ光学ポリマープリンタでもって、精密なレンズ光学系を設けることができる。プリンタは、勾配光学系も印刷することができ、また複雑な光波束が妨害されずに、開口部の大きさによって制限される、システム全体の解像度能力が向上するように、ファイバの開口部を拡大および構成することができる。この場合、幾何学は伝送マトリクスによって再び確立されるので、この幾何学の維持に注意する必要はない。
公知のSLMシステムは、主に、通常のビデオ投影のために開発されたものである。それらは、CGHの用途にも良好に利用することができる。それにもかかわらず、AR眼鏡に関して、SLMシステムはCGH用途について、また光ファイバ結合のために最適化されるべきである。何故ならば、波面によって、単一の視点しか利用されず、また残りの視点は、通常のプロジェクタとは異なり無関係だからである。
独立して調整可能である振幅変調および位相変調を達成するために、それぞれが反対方向に偏光を回転させることができる、2つの厚いFLCDの層が使用される。つまり、純粋な位相変調は、両方の層の等しい強さのアクティブ化によって達成することができる。この場合、光の偏光は、先ず、一方の方向に回転され、続いて、再び正確に逆方向に回転される。最終的には、偏光は等しいままである。両方の層の屈折率のみが、したがって位相シフトのみが、活性化の強さに応じて変化する。この場合、両方の層の異なる強さの活性化は、付加的に偏光回転を生じさせ、それと共に振幅変調も生じさせる。
種々の方向から種々の光源を利用することによって、それらの光源を相応に組み合わせた場合、多くの異なる振幅強度を生じさせることができる。異なる光源は、異なる位相シフトも提供することができ、これによって、異なる位相を有する結合パターンが生成される。
簡略化されたヴァリエーションは、マイクロミラーを2つの位相シフト位置の間で切り替え、例えば利用される波長の0とπとの間でのみ切り替える。第3の状態として、ミラーは依然として完全に傾斜させることができ、それによって、付加的にバイナリ振幅変調器として機能する。
Claims (7)
- 拡張現実(AR)眼鏡において、少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に、仮想像を合成するための方法において、
マルチモード光ファイバ(42)から成る複数の光ファイバプロジェクタ(59)によって、被写界深度の大きい仮想像を、眼鏡着用者の少なくとも一方の目に投影し、前記仮想像は、相互に上下左右に並んで配置された個々の投影(48)のパターンから成るインテグラルイメージングであり、前記個々の投影(48)は、前記眼鏡着用者に対しては近くでの観察時には1つの全体投影に統合され、かつそれぞれが前記仮想像の一部(37)であり、各光ファイバ(42)の入射端部に取り付けられたコンピュータ制御式の空間光変調器(SLM)(24)に対して、前記光ファイバの変換マトリクス(36)による本来の像の変換から決定されるピクセルパターンをコンピュータによって計算し、前記空間光変調器(SLM)(24)によってホログラム投影として供給され、かつ振幅および相対的な位相シフト(39)を有する波面を、光学系(40)によって前記光ファイバ(42)に結合し(41)、前記光ファイバ(42)から出射される本来の像を前記眼鏡着用者の目に投影し、
第1の較正プロセス(87)において、設置されたすべてのマルチモード光ファイバ(92)に対して、ファイバの光混合特性(96)を、すべての色成分および考えられるすべての通過経路(102)に対して別個に測定し、そこから算術的に変換マトリクス(98)を統計的に算出するか、または測定を別のデータの形態で記憶して、さらに最適化された使用のために最適化し、通常の投影プロセスにおいては、SLMに必要とされる像または像パターンを、コンピュータによって、結像すべき像自体から、ならびに記憶されている変換マトリクスまたは他の記憶されている最適化された変換情報(84)から統合して算出し、SLMによって、そこから生じた波面(39)をそれぞれ、高速なシーケンスで時間的に連続して、また異なる色成分で、必要とされる投影点に対して生成して、各光ファイバに結合させ、眼鏡ガラスにおいて、必要に応じて別のスイッチ(10)またはミラー面(19)が相応の調整を行い、それによって光を所望の出射点まで誘導し、
前記光ファイバプロジェクタ(42)または前記光ファイバプロジェクタ(42)に接続されて延長された光チャネルまたは光学システムが、眼鏡ガラス内のクローキングチャネルを介して、インテグラルイメージングパターンにとって最適な位置まで直接的に設置され(64)、勾配光学系によって、前記眼鏡ガラスを通過する光は、前記クローキングチャネルを迂回し(66)、前記クローキングチャネルは、外側からは不可視となり、光学媒体の屈折率の勾配(69)を、内側の低い屈折率から、周囲のガラスの屈折率になるまで、外側に向かってより高い屈折率になるように、層内でまたはシームレスに構成し、
クローキングチャネルジャケット内の前記勾配光学系を通過する光を瞳の方向に変化させることによって(69)、前記クローキングチャネルジャケットを通過する光学経路を、前記光ファイバプロジェクタ(64、70)のために確保する
ことを特徴とする、仮想像を合成するための方法。 - 前記インテグラルイメージングの投影点を、少なくとも2つのパターン面(47、46)において並行して制御し(74、75)、眼鏡着用者によって焦点合わせされた領域を、アイカメラ(53)によって登録し、どれ程の高さの解像度の投影点およびどれ程の低さの解像度の投影点が要求されなければならないかを確定し、各面に対して異なる分解能および色深度をレンダリングすることができる、請求項1記載の仮想像を合成するための方法。
- 個々のインテグラルイメージング投影の重畳部を、適切に相互に切り取り(51)、前記切り取りを、瞳孔サイズおよび/または周囲光強度をアイカメラおよびセンサによって求めて、クリッピングフレームの計算に組み込むことによって行い、像レンダリングの間、張り出した像領域は厳格にレンダリングされるか、または円滑に移行しながら一切レンダリングされない、請求項1または2記載の仮想像を合成するための方法。
- 像の生成を、特に、ホログラム方式によって実現し、すなわち、SLM上に結像され、レーザ光または他の光によって照明され、それによって振幅も位相シフトも調整する波面を生成する、コンピュータにより計算された回折パターンによって実現し、複数の光源による前記SLMの照明および最適なSLM構造の利用によって、光ファイバ投影に関する前記ホログラムの品質およびグレースケール深度を向上させることができる、請求項1から3までのいずれか1項記載の仮想像を合成するための方法。
- 生成された像を、特に、単純なピクセルグラフィックによって実現し、すなわち算出された振幅パターンおよび位相パターンの直接的な伝送によって、しかしながら、同様に振幅および位相シフトが区別される投影を生成する、最適化されたSLM構造と照明とを使用して実現する、請求項1から4までのいずれか1項記載の仮想像を合成するための方法。
- 前記空間光変調器(SLM)(24)は、光ファイバプロジェクタ最適化DMD-SLMを有し、該DMD-SLMの利用時に、それぞれが専用の複数の光源と共に、算出されたSLMパターンが、所定の光源からの最適化された混合を生じさせ、結合点における最適な振幅パターンおよび位相シフトパターンを形成する、請求項1から5までのいずれか1項記載の仮想像を合成するための方法。
- 前記空間光変調器(SLM)(24)は高速SLMを有し、低い解像度の光ファイバ投影に関して、ホログラム、多数の光源、またはピクセル毎の伝送パターン(96)によってサイクル毎にグレー値が生成され、それによって、前記高速SLMが多数の周囲投影を達成することができるので、3つの色成分に対しては3つのSLM周期で充分である、
請求項1から6までのいずれか1項記載の仮想像を合成するための方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017003336.6 | 2017-04-06 | ||
DE102017003336 | 2017-04-06 | ||
PCT/EP2018/000140 WO2018184718A1 (de) | 2017-04-06 | 2018-03-29 | Augmented-reality(ar)-brille und verfahren zur einmischung virtueller bilder in ein durch mindestens ein brillenglas für einen träger der brille sichtbares bild |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020516959A JP2020516959A (ja) | 2020-06-11 |
JP7420707B2 true JP7420707B2 (ja) | 2024-01-23 |
Family
ID=61911507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504762A Active JP7420707B2 (ja) | 2017-04-06 | 2018-03-29 | 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US11106038B2 (ja) |
EP (1) | EP3607382A1 (ja) |
JP (1) | JP7420707B2 (ja) |
KR (1) | KR20190132507A (ja) |
CN (1) | CN110476104A (ja) |
BR (1) | BR112019020268A2 (ja) |
CA (1) | CA3056278A1 (ja) |
DE (1) | DE102018002772A1 (ja) |
RU (1) | RU2763922C2 (ja) |
WO (1) | WO2018184718A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017253712B8 (en) | 2016-04-21 | 2019-11-21 | Apple Inc. | Optical system for reference switching |
CA3075804A1 (en) * | 2017-09-27 | 2019-04-04 | Magic Leap, Inc. | Near eye 3d display with separate phase and amplitude modulators |
US11226459B2 (en) | 2018-02-13 | 2022-01-18 | Apple Inc. | Integrated photonics device having integrated edge outcouplers |
US10901229B2 (en) | 2018-05-22 | 2021-01-26 | Microsoft Technology Licensing, Llc | Systems and methods of providing visual information with one dimensional pupil expansion |
EP3857289A4 (en) * | 2018-09-26 | 2022-07-13 | Magic Leap, Inc. | GLASSES WITH PIN-HOLE AND SLOT CAMERAS |
WO2020069371A1 (en) * | 2018-09-28 | 2020-04-02 | Magic Leap, Inc. | Method and system for fiber scanning projector with angled eyepiece |
WO2020082002A1 (en) * | 2018-10-19 | 2020-04-23 | Magic Leap, Inc. | Method and system for reducing line separation artifacts in interlaced image projection |
NL2021837B1 (en) * | 2018-10-19 | 2020-05-13 | Stichting Vu | Multimode waveguide imaging |
CN110231712A (zh) * | 2019-04-29 | 2019-09-13 | 成都理想境界科技有限公司 | 一种增强现实ar眼镜 |
KR102339590B1 (ko) | 2020-01-22 | 2021-12-14 | 한국해양과학기술원 | 증강 현실 시스템 및 그 구현 방법 |
US11330091B2 (en) | 2020-07-02 | 2022-05-10 | Dylan Appel-Oudenaar | Apparatus with handheld form factor and transparent display with virtual content rendering |
US11852318B2 (en) | 2020-09-09 | 2023-12-26 | Apple Inc. | Optical system for noise mitigation |
DE102020215663A1 (de) | 2020-12-10 | 2022-06-15 | Peter Westphal | Vorrichtung zur ortsaufgelösten Distanz- und Geschwindigkeitsmessung |
KR102324066B1 (ko) | 2020-12-16 | 2021-11-09 | 한국해양과학기술원 | 컨테이너 검수 시스템, 장비 정보 원격 지원 시스템 및 장비 정보 원격 지원 방법 |
DE102021200231A1 (de) * | 2021-01-13 | 2022-07-14 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln einer Beugungscharakteristik eines Hologrammelements für eine Datenbrille |
CN117120912A (zh) * | 2021-04-06 | 2023-11-24 | 维耶尔公司 | 具有混合式显示器的ar*** |
CN113413265A (zh) * | 2021-06-24 | 2021-09-21 | 上海理湃光晶技术有限公司 | 视功能障碍者视觉辅助方法、***及智能ar眼镜 |
GB2610870A (en) * | 2021-09-21 | 2023-03-22 | Envisics Ltd | Holographic system and pupil expander therefor |
CN114924336B (zh) * | 2022-04-18 | 2024-07-12 | 江苏大学 | 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示***、增强现实***及方法 |
CN115032731A (zh) * | 2022-06-17 | 2022-09-09 | 中山吉联光电科技有限公司 | 一种ar/vr自适应渐变式投影镜的制备方法及ar/vr投影镜 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006276524A (ja) | 2005-03-29 | 2006-10-12 | Toshiba Corp | 投影撮像装置及びその方法 |
CN204256270U (zh) | 2014-12-02 | 2015-04-08 | 王傲立 | 伸缩式增强现实眼镜 |
US20150219899A1 (en) | 2014-01-31 | 2015-08-06 | Corey Mack | Augmented Reality Eyewear and Methods for Using Same |
WO2015192117A1 (en) | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5805267A (en) * | 1996-06-13 | 1998-09-08 | Goldman; Neil | Interactive light field for programmed non-visual stimulation and monitoring |
JPH10260374A (ja) * | 1997-03-19 | 1998-09-29 | Minolta Co Ltd | 映像観察装置 |
US8434909B2 (en) | 2007-10-09 | 2013-05-07 | Flex Lighting Ii, Llc | Light emitting display with light mixing within a film |
GB2462444A (en) * | 2008-08-06 | 2010-02-10 | Optyka Ltd | Image projection apparatus and method |
MX2011007770A (es) * | 2009-01-26 | 2011-11-04 | Flex Lighting Ii Llc | Iluminacion a traves de peliculas delgadas flexibles. |
US8444272B2 (en) * | 2010-01-25 | 2013-05-21 | Corning Incorporated | Multi-projector system using multiplexed illumination |
US9285589B2 (en) * | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
WO2012011893A1 (en) * | 2010-07-20 | 2012-01-26 | Empire Technology Development Llc | Augmented reality proximity sensing |
US9046697B2 (en) * | 2012-01-02 | 2015-06-02 | Jgm Associates, Inc. | Low-speckle light sources and displays employing multimode optical fiber |
WO2013144898A2 (en) * | 2012-03-29 | 2013-10-03 | Ecole Polytechnique Federale De Lausanne (Epfl) | Methods and apparatus for imaging with multimode optical fibers |
US9025086B2 (en) * | 2012-04-13 | 2015-05-05 | Red.Com, Inc. | Video projector system |
AU2013274359B2 (en) * | 2012-06-11 | 2017-05-25 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
AU2014354673B2 (en) * | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
WO2015174794A1 (ko) * | 2014-05-15 | 2015-11-19 | 이준희 | 헤드 마운트 디스플레이용 광학 시스템 |
US9891393B2 (en) * | 2014-07-24 | 2018-02-13 | Empire Technology Development Llc | Imaging through optical fibers for coupling optimization |
CN105929547A (zh) * | 2016-07-01 | 2016-09-07 | 成都理想境界科技有限公司 | 近眼显示***、虚拟现实设备及增强现实设备 |
KR102246836B1 (ko) * | 2016-08-22 | 2021-04-29 | 매직 립, 인코포레이티드 | 가상, 증강, 및 혼합 현실 시스템들 및 방법들 |
KR102222825B1 (ko) * | 2016-11-15 | 2021-03-05 | 크리얼 에스에이 | 보정한 단안의 깊이 단서를 갖는 접안 순차 라이트 필드 프로젝터 |
-
2018
- 2018-03-29 CA CA3056278A patent/CA3056278A1/en active Pending
- 2018-03-29 JP JP2020504762A patent/JP7420707B2/ja active Active
- 2018-03-29 CN CN201880022772.1A patent/CN110476104A/zh active Pending
- 2018-03-29 BR BR112019020268A patent/BR112019020268A2/pt active Search and Examination
- 2018-03-29 US US16/500,783 patent/US11106038B2/en active Active
- 2018-03-29 DE DE102018002772.5A patent/DE102018002772A1/de active Pending
- 2018-03-29 EP EP18716096.5A patent/EP3607382A1/de active Pending
- 2018-03-29 WO PCT/EP2018/000140 patent/WO2018184718A1/de unknown
- 2018-03-29 RU RU2019135236A patent/RU2763922C2/ru active
- 2018-03-29 KR KR1020197032813A patent/KR20190132507A/ko not_active Application Discontinuation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006276524A (ja) | 2005-03-29 | 2006-10-12 | Toshiba Corp | 投影撮像装置及びその方法 |
US20150219899A1 (en) | 2014-01-31 | 2015-08-06 | Corey Mack | Augmented Reality Eyewear and Methods for Using Same |
WO2015192117A1 (en) | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN204256270U (zh) | 2014-12-02 | 2015-04-08 | 王傲立 | 伸缩式增强现实眼镜 |
Also Published As
Publication number | Publication date |
---|---|
EP3607382A1 (de) | 2020-02-12 |
RU2763922C2 (ru) | 2022-01-11 |
RU2019135236A (ru) | 2021-05-06 |
CA3056278A1 (en) | 2018-10-11 |
JP2020516959A (ja) | 2020-06-11 |
US11106038B2 (en) | 2021-08-31 |
DE102018002772A1 (de) | 2018-10-11 |
RU2019135236A3 (ja) | 2021-07-27 |
KR20190132507A (ko) | 2019-11-27 |
BR112019020268A2 (pt) | 2020-04-22 |
WO2018184718A1 (de) | 2018-10-11 |
CN110476104A (zh) | 2019-11-19 |
US20200209627A1 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7420707B2 (ja) | 少なくとも1つの眼鏡ガラスを介して眼鏡着用者に可視である像に仮想像を合成するための拡張現実(ar)眼鏡および方法 | |
US9964768B2 (en) | Head mounted display using spatial light modulator to generate a holographic image | |
JP7311581B2 (ja) | 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ | |
JP6938623B2 (ja) | 厚い媒体を含む仮想現実、拡張現実、および複合現実システムならびに関連方法 | |
CN107438796B (zh) | 头戴式显示装置、近眼显示装置和方法 | |
JP6286781B2 (ja) | 眼鏡型画像表示装置 | |
TWI390368B (zh) | 具延伸的可見區域之全像重建系統及其方法 | |
US20040141217A1 (en) | Image display apparatus | |
US20210382307A1 (en) | Light-field mixed reality system with correct monocular depth cues to a viewer | |
EP3792681B1 (en) | Multi-image display apparatus using holographic projection | |
JP7437498B2 (ja) | 中心窩投影を備えるライトフィールド仮想及び複合現実システム | |
CN110121671A (zh) | 数据眼镜、用于数据眼镜的眼镜片和用于在视网膜上生成图像的方法 | |
CN114868070A (zh) | 具有能转向眼动范围的增强现实平视显示器 | |
JPH0396913A (ja) | 画像表示装置 | |
JP2023551206A (ja) | 高解像度ライトフィールド投影装置 | |
TW201928450A (zh) | 用於生成大視場之顯示裝置及方法 | |
US12032154B2 (en) | Display apparatus including vision correction lens | |
KR20220107753A (ko) | 시력 보정 렌즈를 포함하는 디스플레이 장치 | |
KR20220145668A (ko) | 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220131 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220427 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221026 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |