JP2023543345A - 光学装置及び物体の検査手順 - Google Patents

光学装置及び物体の検査手順 Download PDF

Info

Publication number
JP2023543345A
JP2023543345A JP2023541859A JP2023541859A JP2023543345A JP 2023543345 A JP2023543345 A JP 2023543345A JP 2023541859 A JP2023541859 A JP 2023541859A JP 2023541859 A JP2023541859 A JP 2023541859A JP 2023543345 A JP2023543345 A JP 2023543345A
Authority
JP
Japan
Prior art keywords
light
raster
housing
image
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023541859A
Other languages
English (en)
Inventor
クヌーテル,アレクサンダー
Original Assignee
アクミラ オプトロニクス ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクミラ オプトロニクス ゲーエムベーハー filed Critical アクミラ オプトロニクス ゲーエムベーハー
Publication of JP2023543345A publication Critical patent/JP2023543345A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/021Interferometers using holographic techniques
    • G01B9/027Interferometers using holographic techniques in real time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本発明は、物体(16)と、筐体(24)と、入射光用の筐体内に配置された光学ユニット(26)と、センサユニット(28)と、筐体(24)内に配置された少なくとも1つの撮像素子(30,32)と、センサユニット(28)に結合され、少なくとも1つの撮像素子(30)の画像信号を評価するデータ処理ユニット(34)と、物体(16)の方向にラスタ光を放射するための筐体(24)上又は筐体(24)内に少なくとも部分的に配置された照明ユニット(42)とを備え、物体(16)から反射されたラスタ光及び筐体内部の参照光によって、デジタル光ホログラフィによって、横方向情報及び深さ情報を示す次元ドットラスタ及び基準データセットが提供され、装置(10;100;120;140)と物体(16)との相対的な動きが、装置(10;100;120;140)を介して検出され、関連する横方向及び/又は深さ方向の移動情報が生成され、物体(16)から発せられる物体光が検出され、それぞれの画像データセット(35)が時間的に順次作成され、3D表面データセットを生成するための基準データセットに対して登録され、2つ以上の連続する画像データセット(35)の重複領域は、移動情報に基づいて識別され、重複領域は、特に詳細を失うことなく、それぞれの画像信号を統合することによって平滑化される。さらに、本発明は、方法に関する。【選択図】図1

Description

本発明は、物体の3D表面データセットを生成するための、特に可視物体光を用いて物体を検査するための光学装置及び方法に関し、データセットは、横方向情報及び深さ情報を含む。
この装置は、好ましくはハンドヘルド式及び/又はハンドガイド式のものであり、構造的にコンパクトである。例えば、当該装置は、内視鏡装置、携帯通信装置又はヘッドマウント装置であるか、又は、それらから構成される。
本発明は、センサユニットの1画素撮像素子に検査光を入射させるデジタル画像生成・処理の分野に関する。撮像素子からの画像信号は、装置のデータ処理ユニットに供給され、データ処理ユニットで処理されてデータセットが生成される。データセットの画像情報を表示するための表示ユニット及び/又はデータセットを格納するためのメモリユニットを設けてもよい。
従来の(デジタル)写真を使用して2次元画像を作成することはよく知られている。拡大は、屈折光学系又は反射光学系を使用して達成することができる。ここでの欠点は、装置の寸法の増加に伴うスペースの確保である。解像度は開口数によって決定される。
深さ情報を含む3D表面データセットを提供するには、立体視法を使用することができる。ここで、シーンの2つの画像が異なる角度で撮影される。欠点としては、撮像素子(ベースライン)間の距離が大きいと、高い深さ解像度を達成する必要がある。これに関わらず、アーチファクトは、例えばエッジ勾配で発生することがある。
深さ情報は、例えば、プレノプティックカメラシステムを使用して提供することができる。マルチレンズ光学系は、異なる局所位相を有する波面を生成するために使用されるが、これはシーンを再構築するためにかなりの計算作業を必要とする。特に、光入射率が低いと、エラーが発生する可能性がある。
デジタル画像データセットを生成するための装置及び方法は、例えば、US 10,536,684 B2(特許文献1)、US 8,456,517 B2(特許文献2)、US 6,664,529 B2(特許文献3)及びUS 7,295,324 B2(特許文献4)に記載されている。
米国特許第10536684号明細書 米国特許第8456517号明細書 米国特許第6664529号明細書 米国特許第7295324号明細書
本発明の課題は、撮像特性が向上された、物体を検査するための光学装置及び方法を提供することにある。
この課題は、物体を検査するための本発明による光学装置によって解決され、当該光学装置は、筺体と、前記筐体内に配置される入射光用の光学ユニットと、前記筐体内に配置される、少なくとも1つの撮像素子を有するセンサユニットと、前記センサユニットに結合され、前記少なくとも1つの撮像素子の画像信号を評価するデータ処理ユニットと、前記物体の方向にラスタ光を放射するために、前記筐体上、又は、前記筐体内に少なくとも部分的に配置される照明ユニットとを備え、前記物体から反射されるラスタ光及び前記筐体内部の参照光によって、デジタル光ホログラフィによって、横方向情報及び深さ情報を示す3次元ドットラスタ及び基準データセットが提供され、前記装置と前記物体との相対的な動きが、前記装置を介して検出され、関連する横方向及び/又は深さ方向の移動情報が生成され、前記物体から発せられる物体光が検出され、それぞれの画像データセットが時間的に順次作成され、3D表面データセットを生成するための前記基準データセットに対して登録され、2つ以上の連続する画像データセットの重複領域は、前記移動情報に基づいて識別され、前記重複領域は、特に詳細を失うことなく、それぞれの画像信号を統合することによって平滑化される。
本発明の装置において、デジタル光ホログラフィは、特に物体の表面を描写する横方向及び/又は深さ方向の情報を作成するために使用される。この目的のために、ドットラスタがラスタ光を介して物体上に放射され、光学ユニットを介して少なくとも1つの撮像素子に供給することができる。撮像素子上のラスタ光と一体化される参照光を使用して、光学格子をこの方法で物体に「取り付ける」ことができ、いわば、画像データセットの登録のためのサポートポイントを形成する。
画像データセットは、光学ユニットを介して少なくとも1つの撮像素子上に結像される検査光によって作成することができる。特に、画像データセットは、好ましくは、基準データセットよりも高い解像度であり、システムの光学解像度によってのみ制限される。画像データセットは、基準データセットの光学グリッド上に計算的に描画することができ、それによって3D表面データセットを作成することができる。この装置は、特に光学3Dスキャナであるか、又はそのようなスキャナを形成する。
本発明の装置によると、特に、装置自体によって装置と物体との相対的な動きを検出することができるという利点がある。横方向及び/又は深さ方向の関連する移動情報を提供することができる。
移動情報に基づいて、連続する画像データセットを空間的に一致させることができる。ここでは、装置によって観察可能なシーンが相対的な動きの間にも移動されることを考慮する。従って、2つ以上の画像データセットの重複領域を識別することが可能である。画像データセットに必然的に含まれるノイズは、画像データセットを統合し、それによって画像データセットの重複領域を平滑化することによって低減することができる。これは、物体の解像度、すなわち詳細を失うことなく可能であることが好ましい。その結果、信号対雑音比(S/N比)が向上する。このようにして、装置の画像品質は、物体の解像度、すなわち空間情報を失うことなく、できれば解像度の限界まで、比較的少ない労力で計算的に改善することができ、高解像度の3D表面データセットを作成することができる。例えば、高い空間周波数を失うことなく、高いエッジ忠実度を達成できることが好ましい。
有利には、3D表面データセットが、ノイズフリー又は本質的にノイズフリーである場合、「超解像」画像を生成するためにデコンボリューションアルゴリズムを使用してさらに処理することができる。代替的又は相補的に、例えば、「超解像」画像は、3D表面データセット内の補間によって可能である。
本発明は、特にハンドガイド及び/又はハンドガイドされる装置の場合、使用者のほとんどが回避できない振動のために、物体に対する相対的な動きが既に頻繁に生じているということを考慮に入れる。従って、振動自体を、移動情報を評価するための基礎として使用することが可能である。これに関連して、移動情報が、その構成要素が部分的に共通の筐体内に配置される装置自体によって得ることができることも特に有利である。これは、ハンドヘルド及び/又はハンドガイドを目的とした装置のコンパクトな設計に有利に働く。
相対的な動きについては、純粋な横方向の移動に限定することも、深さ方向(軸方向)の移動に限定することもできるが、これに限定されるものではない。特に、3Dの相対的な動きを認識して適用することができる。
本発明において、「平滑化」は、2つ以上の連続する画像データセットの重複領域からの信号寄与を時間的に統合することとして理解され得る。損失のない物体解像度を維持するために、エッジ忠実度の損失を伴う「ぼかし」が実行されない平均化が提供される場合がある。
少なくとも1つの撮像素子の画像信号の処理、画像データセットの作成及び/又は計算、並びに移動情報の計算は、データ処理ユニットによって実行され得ることが理解される。以下では、読み易さの点で詳しく言及しない。ただし、データ処理ユニットは、この点に関する操作を実行できるように設計され、プログラムされていることを強調する。
特に、2つ以上の画像データセットの重複領域が逆の動きによって数学的に重ね合わせることができる。相対的な動きがわかっている場合、後続の画像データセットを計算的に逆数だけシフトバックして、前の画像データセットに重畳することができる。相対的な動きが小さいほど、2つの領域間の重なりが大きくなる。
各画像データセットに対する単一の露光時間は、画像データセットが統合される検知期間よりも短いことが好ましい。
実際には、例えば、約250Hz以上のフレームレートが有利であり、好ましくは約1kHz以上までである。(In practice, for example, a frame rate of about 250 Hz or more is advantageous, preferably up to about 1 kHz and above.)
複数の3D表面データセットを組み合わせて物体の全体的なシーンを形成し、それによって3D表面データセット間の境界が移動情報に基づいて決定される場合に有利である。より長期間にわたって、異なる横方向のシーンをつなぎ合わせることができる(ステッチング)。対照的に、このような全体的なシーンは、従来の装置では、特に開口が制限されている個々の画像に対して作成することはできない。好ましくは、つなぎ合わされた個々のシーンは、互いにオフセットがないか、又はほとんどない。
相対的な動きを決定するために、物体上のラスタ光によって生成されるスペックルパターンを有するドットパターンの少なくとも1つの発光スポットが時間の関数として検知され、発光スポット内のスペックルパターンの変位が決定され、そこから、横方向の移動情報が導出されることが有利である。実際には、完全に滑らかではない物体の表面では、スペックルパターンが複数の干渉を介して発生する可能性がある。ラスタ光の発光スポットが物体に対して相対的に移動する場合、スペックルパターンは物体に対して静止しているため、発光スポットの連続した表現をスペックルパターンで相関させる(スペックル相関)ことにより、横方向の移動情報を高精度に決定することができる。
特に、複数の発光スポットを、好ましくは同期的に検知することができる。例えば、異なるスポットは、動いている(「呼吸する」)物体に対して異なる横方向の速度を提供できる。これにより、この装置の適用は、医療環境、体内及び/又は体外で特に興味深いものになる。
便利なことに、3D表面データセットに対してデコンボリューション操作を実行することができる。これはすでに上述している。
例えば、ラスタ光は、赤外光及び/又は可視スペクトル光であるか、又は、を含む。例えば、約700nm~1300nmの波長範囲がラスタ光に使用される。
ラスタ光のスペクトルは、700nm未満の波長の可視スペクトルにまで及ぶ可能性がある。
ラスタ光及び参照光は、特にコヒーレントである。この目的のために、照明ユニットは、好ましくは、筐体内に一体化されるレーザ光源を備える。ビームスプリッタ素子は、例えば導波路を介して、それぞれに設けられた光路に結合するために、ラスタ光及び参照光を分離することができる。
参照光は、ラスタ光と同じスペクトルを有することが望ましいと理解される。
ラスタ光及び参照光は、複数の離散波長を有するスペクトルを含むことが好ましい。少なくとも2つの波長、好ましくはいくつかの波長が提供される。例えば、約10nmの波長範囲内では、いくつかの波長が約数nm間隔で使用される。
深さ方向の移動情報及び/又は絶対的深さ情報は、好ましくは、複数の波長の位相差に基づいて決定することができる。複数の波長に起因して、装置からの物体の距離に関する絶対的深さ情報をドットグリッドのそれぞれの発光スポットで決定できるという利点が好ましい。また、深さ方向の移動情報を、ラスタ光及び参照光の複数の波長の位相差に基づいて決定することができる場合にも有利である。
物体光は、可視スペクトル、特に連続スペクトル範囲の光であるか、又は好ましくは、を含む。例えば、物体光は環境光である。あるいは、準単色光を、例えば赤、緑及び青の成分と共に使用することができる。
好ましくは、波長に応じて物体光とラスタ光との分離を可能にするため、ラスタ光と物体光は異なるスペクトルを有し、その結果、評価を簡略化する。
物体光は、例えば、特にシーンを観察するのに望ましくない干渉パターン(スペックル)を避けるために非コヒーレントであるか、又は、例えば準単色光の場合では部分的にコヒーレントである。
有利には、照明ユニットは、筐体内のラスタ光用の少なくとも1つの導光体と、筐体上に特に端部に配置される光結合解除素子とを備える。このようにして、例えば、装置の少なくとも端部(遠位部)でコンパクトな設計を達成することができる。対照的に、光源は、結合解除素子からの大きな空間距離を備えることができる。このような設計は、例えば内視鏡装置に適している。
導光体は、例えば、少なくとも1本のロッド又は光ファイバを含むことができ、従って剛性及び/又は可撓性とすることができる。例えば、GRIN(勾配指数)導光体を使用して空間コリメーションを実現することが考えられる。
少なくとも1つの導光体は、例えば、筐体の筐体壁に沿って、特に筐体壁の内側に導かれる。筐体壁は、例えば、外壁である。
結合解除素子は、ラスタ光をドットラスタとして物体上に扇状に広げるための、例えば平面ホログラムであるか、又は、を備える。
照明ユニットは、有利には、ラスタ光及び参照光を提供するための光源を備え、好ましくは筐体内に配置される。
本発明の好ましい実施形態において、照明ユニットは、異なる結合解除素子を介して時間オフセットを有するラスタ光を放射し、対応する参照光を提供するために使用することができる。例えば、ラスタ光は、様々なポイントラスタを生成し、物体のより広い領域を含めるために、それぞれ記録された異なる結合解除素子を介して放射できる。例えば、ラスタ光は、異なる導光体を通って装置の先端部に導出され、そこに結合され得る。
照明ユニットは、物体光を提供するための光源を備えることが好ましく、筐体内に配置されることが好ましい。このようにして、物体を特異的に照らすことができ、それによって信号対雑音比を改善することができる。
有利には、照明ユニットは、筐体内に物体光用の少なくとも1つの導光体と、特に筐体上の端部に配置される光結合解除素子とを備える。上述のように、例えば、少なくとも1つのロッド及び/又は1本のファイバが使用される。
本発明の好ましい実施形態において、物体光のスペクトル及びラスタ光のスペクトルに感応する共通の撮像素子が提供される。これにより、コンパクトな構造であると共に構造的にシンプルな装置の設計の可能性が提供される。特に、1つだけの撮像素子が提供され得る。
本発明の別の有利な実施形態において、装置は、2つの撮像素子を備え、物体光は、撮像素子のうちの1つに導出され、ラスタ光は、光学ユニットの光学素子を介して、他の撮像素子に導出され得る。
撮像素子は、それぞれの他の光に対してよりもそれぞれの検出光に対してより感度が高いことが好ましい。特に、それぞれの撮像素子の量子効率は可能な限り高く、好ましくは使用するそれぞれの光、物体光及び/又はラスタ光に対して最大である。
前述の光学素子は、少なくとも1つの波長感応性ビームスプリッタ素子、特にビームスプリッタキューブ、又は、ビームスプリッタプレートであるか、又は、好ましくは備える。
光学ユニットは、特にラスタ光及び/又は参照光のための少なくとも1つの偏光素子を備えることが好都合である。例えば、ビームスプリッタキューブ又はビームスプリッタプレートは、不要な信号寄与を低減し、信号対雑音比を改善するための偏光層を含む。
光学ユニットは、散乱光低減のためのフィルタ素子を少なくとも1つ備えることが好ましく、好ましくは入射側に配置される。
光学ユニットは、有利には、入射側に物体光用の屈折光学素子を備え得る。屈折光学素子は、例えばレンズ、また例えば収束レンズ又はマイクロレンズアレイである。マイクロレンズアレイは、例えば、凸状に湾曲していてもよい。
本発明の好ましい実施形態においては、特に共通平面内に並べて配置され、少なくとも1つの入射窓によって覆われる2つの撮像素子を設けることができる。例えば、撮像素子の上には共通の入射窓が使用される。撮像素子を横方向に隣り合わせに配置することにより、フラットな設計を好ましく達成することができる。
従って、装置は、好ましくはフラットな構造のものであり、入射窓は、装置の延長がそれに直交する方向よりも実質的に大きい筐体の表面に配置される。
本発明の好ましい実施形態においては、互いに斜めに整列した平面内に配置され、波長感応性ビームスプリッタ素子が物体光又はラスタ光の到来方向においてそれぞれの撮像素子の上流に配置される2つの撮像素子を提供することができる。これにより、好ましくは、3次元での装置のコンパクトな設計が可能になる。ビームスプリッタ素子は、例えば、ビームスプリッタキューブ又はビームスプリッタプレートであり、一方の光(例えば、ラスタ光)に対して透過性であり、他方の光(例えば、物体光)に対して反射性である。好ましくは、撮像素子は、ビームスプリッタ素子のすぐ隣又は近接して配置される。角度は、好ましくは90°又は本質的に90°であり得る。
光学ユニットは、有利には、物体光の入射方向の上流にある物体光に感応な撮像素子を、位相及び/又は振幅変調光学素子として備える。このようにして、例えば、撮像素子上に重畳された画像を生成することができる。例えば、マイクロレンズアレイは、多焦点画像化に使用することができる。または、光学素子は、例えば、位相マスク又は振幅マスクとすることができる(US 8,243,353 B1参照)。
少なくとも1つの撮像素子、特に撮像素子及び/又は光学ユニットは、コンパクトな設計を達成するために、装置の先端部又は端部分に配置されることが有利である。
参照光が、平面又は本質的に平面的な波面を有する少なくとも1つの撮像素子に入射する場合に有利である。
波面は、評価向上の点において、少なくとも1つの撮像素子の平面に対して傾斜することが好ましい。特に、その傾斜は参照光の波長に依存するものである。従って、異なる波長の波面は、平面に対して異なる傾斜を有することが好ましい。
光学ユニットは、筐体内部に参照光を結合解除(分離/分割)するための光学素子を備えることが好ましい。例えば、光源からの光は、ラスタ光と参照光とに分割され、これらは筐体内の少なくとも1つの導光体を介して結合解除される。外部からの参照光の放射とそれに続く装置への結合は省略できる。これは、装置のコンパクトな設計に有利である。
光学ユニットは、少なくとも1つの撮像素子の方向への参照光の回折のためのVPH(Volume Phase Hologram;体積位相ホログラム)を備えることが好ましい。例えば、参照光の異なる波長の平面波面は、VPHを介して回折することができる。
特に、VPHは、透過格子又は反射格子を備えていてもよい。ブラッグ条件が満たされると、参照光が格子で撮像素子に向かって回折され得る。
本発明の好ましい実施形態において、VPHは、装置の入射側に配置され、物体光及び/又はラスタ光に対して透過性である。例えば、参照光はVPHによって撮像素子に向かって回折され、そこでラスタ光と干渉する。
代替的に又は追加的に、VPHが撮像素子の平面に平行に整列され、ラスタ光の入射方向において撮像素子の直上流に配置されてもよい。
本発明の好ましい実施形態において、照明ユニットは、一列に並んで配置される複数のマイクロレンズを備え、少なくとも1つの撮像素子の平面の上方に参照光の本質的に平面的な波面を生成する。これは、例えば、装置のフラットな設計に役立つ。または、例えば、マルチボリュームホログラム又はGRINレンズアレイが提供されてもよい。
光学ユニットは、有利には、少なくとも1つの撮像素子の方向に平面又は本質的に平面的な波面を有する参照光を拡大するための光学素子を備え、光学素子は、例えば、凹面鏡である。特に、VPHの代わりに光学素子を用いることができる。
本発明の装置は、有利には、コンパクトな構造を備える。
エッジ長をaとして、表面の正方形断面積aを有する少なくとも1つの撮像素子を仮定すると、装置は有利には、入射側で、1.5a未満、好ましくは1.25a未満の断面積を有する。撮像素子の領域を超えて突出する装置の任意の構成要素(例えば、光学ユニット及び筐体)は、特にコンパクトになるように設計することができる。
ビームスプリッタキューブ等のビームスプリッタ素子を使用する場合、その寸法は撮像素子の寸法にほぼ対応することができる。光学ユニットの光学部品は、好ましくは、約aの体積で収容することができる。
エッジ長をaとして、表面の正方形断面積aを有する少なくとも1つの撮像素子を仮定すると、1つの撮像素子又は2つの撮像素子がフラットな設計である場合、装置は、入射側に約a/4以下の高さ及びa/2以下の体積を有することが好ましい。
画像データセットを記録するためのサンプリングレートは、好ましくは約250kHz以上、好ましくは約1kHz以上までである。(A sampling rate for recording the image data sets is preferably about 250 kHz or more, preferably up to about 1 kHz or more.)
物体上のラスタ光のそれぞれのスポットサイズは、好ましくは50μm~500μm程度であり、好ましくは100μm~250μm程度である。
物体からの装置の作動距離は変化する可能性があり、例えば数mmから数100mmであり得る。例えば、作動距離は約50mmから100mmである。
ラスタ光のラスタポイントは、物体上で互いに約1mmの距離間隔であることが好ましく、その間隔は、物体からの装置の作動距離に依存する。
上述したように、装置は、好ましくはハンドヘルド式(可搬式)及び/又はハンドガイド式のものである。
装置は、特に、少なくとも筐体の一部と一緒に検査対象物体に挿入することができる内視鏡装置であり得る。検査対象物体は、人体又は動物の身体若しくは物であり得る。歯科分野での応用が想定されることができ、装置を口腔内に完全に又は部分的に挿入することができる。
この装置は、産業用計測技術等に使用可能である。
装置は、好ましくは、携帯通信装置、又はそのような装置、特にスマートフォン又はタブレットコンピュータから構成される。
例示的な実施形態では、装置は、特にAR(拡張現実)アプリケーション用の例えばデータグラス等のヘッドマウント装置である。
従って、本発明はまた、内視鏡装置、スマートフォン又はタブレットコンピュータ及び/又はヘッドマウント装置に関し、上述のタイプの少なくとも1つの装置を含む。
上記課題は、独立請求項25の特徴を有する発明による方法により解決される。
本発明による装置の説明に関連して既に述べた利点もまた、この方法を用いて達成することができる。装置の特徴は、方法に従って実施することができる。方法の有利な実施形態は、装置の有利な実施形態から生じる。この点で、先行する説明を参照することができる。
本発明の好ましい実施形態は、特に3Dスキャナであり、本発明をより詳細に説明するために図面と共に以下説明する:
内視鏡装置として設計された本発明の装置の概略斜視図及び使用者である。 図1の装置の先端部の概略図及び検査対象物体である。 ラスタ光のドットグリッドを有する物体の概略図である。 スペックルパターンを有する物体上の参照光の発光スポットの概略図である。 連続した時間でのスペックルパターンを有する発光スポットであり、同一のスペックルパターンの重複領域が枠で模式的に強調され、矢印は、発光スポットの移動は矢印を示す。 連続した時点における3つの例示的な画像データセットと、その中に含まれる重複領域とであり、矢印は、最初の画像データセットに戻る移動情報に応じて2つの画像データセットがシフトすることを象徴的に示している。 本発明の装置のさらに好ましい実施形態の先端部分の概略図である。 本発明の装置のさらに好ましい実施形態の概略図である。 図8に示す装置を矢印「9」の方向に示した概略図である。 本発明の装置の好ましい実施形態の概略図である。 本発明の装置のさらに好ましい実施形態の概略図である。 本発明の装置のさらに好ましい実施形態の概略図である。
以下に説明する本発明の装置の有利な実施形態を用いて、本発明の方法の好ましい実施形態を実施することができる。
以下、まず、本発明について、図1~図5の例及び図1~図2の本発明の実施形態を用いて説明する。この文脈で言及された利点は、続いて説明される本発明の好ましい実施形態にも適用され、従って、この点に関して、以下に最初に与えられた説明を参照することができる。様々な実施形態間の本質的な相違点についてのみ説明する。
同一の符号は、同じ又は同じ効果を有する機能及び部分に対して使用される。
図1は、符号10を有する本発明の装置の好ましい実施形態を概略図で示す。装置10は、特に、患者12を診察するために本例で使用される内視鏡装置である。装置10は、ハンドヘルド及びハンドガイドされ、使用者14によって操作される。
装置10は、医療技術におけるアプリケーションにおける例としてのみ示されていることが理解される。本発明はまた、非生物を検査するために内視鏡的に使用され得る。さらに、装置10が医療環境で使用される場合であっても、診断目的ではなく情報提供目的でしか使用できないことを強調すべきである。
この場合、装置10は、物体16を光学的に検査するために、身体開口部を通って患者の身体12の内部に誘導される(図2)。この場合、物体16の3D表面データセットが生成されることになる。
装置10は、身体の内部に挿入される先端部分(遠位部分)18と、基部分(近位部分)20とを備える。例えば、使用者14のためのハンドル要素22は、基部分20に配置される。
本実施形態では、先端部分18は、装置10の構成要素を収容するための筐体24、特にシャンク状の筐体を備える。特に筐体24内に多数の構成要素が配置されたコンパクトな構造を実現するための高度な構造集積化の利点がある。特に、複数の構成要素は、先端部分18に配置されてもよい。
装置10は、筐体24内に配置された光学ユニット26と、筐体24内に配置されたセンサユニット28と、2つの撮像素子(撮像センサ)30,32と、さらに少なくとも1つのデータ処理ユニット34とを備える。本例では、データ処理ユニット34が筐体24内に配置されて示されている。
撮像素子30,32からの画像信号は、データ処理ユニット34に供給され、それによって処理され得る。この目的のために、データ処理ユニット34は、対応する計算を実行するように設計及びプログラムされる。この目的のために、アプリケーションプログラムは、データ処理ユニット34又はそれに接続されたメモリユニットに実行可能に記憶され得る。
データ処理ユニット34は、装置10の一部であっても、一部でなくてもよく、代替的に筐体24の外側に配置されてもよい(図1)。例えば、情報が筐体内部のデータ処理ユニット34内で部分的にのみ処理又は前処理され、筐体外部のさらなるデータ処理ユニット34に転送されることが想定され得、このデータ処理ユニット34は、さらなる評価又は詳細な評価を実施する。データ伝送のために回線36を設けてもよく、高速データ回線であることが好ましい。
例えば、表示ユニット38は、シーンを表示するために少なくとも1つのデータ処理ユニット34によって制御されてもよい。表示ユニット38は、装置の一部であってもよい。さらに、装置10のデータセットを格納するメモリユニット40を設けて、データ処理ユニット34とは別に形成したり、統合したりしてもよい。
装置10の構成要素間のデータ伝送、及び/又は外部要素、例えば表示ユニット38又は評価ユニットによるデータ伝送は、無線及び/又はケーブル接続されてもよい。
装置10は、特にラスタ光及び参照光で後述するように光を提供するための照明ユニット42をさらに備える。この目的のために、照明ユニット42は、光源44を備え、好ましくは筐体24内、より特に先端部分18内に配置され得る。あるいは、光源44は、基部分20に配置されてもよく、あるいは別個に配置されてもよく、その場合、光を供給するための導光体が設けられてもよい。
光源44はレーザ光源である。ビームスプリッタ素子を介して、ラスタ光と参照光とを分離し、それぞれの光路に結合することができる。
さらに、照明ユニット42は、物体光を供給するための光源46を備えていてもよい。光源46は、図2の装置10には実装されていないため、概略的に示されているに過ぎない。但し、以下に説明する実施形態のように存在させてもよい。
入射開口48及び出射開口は、筐体24の先端面に形成され、入射開口48は中央に配置され、本例では出射開口50は外壁52に配置されることが好ましい。
光学ユニット26は、外部から生じる光の入射方向に、フィルタ素子54、特にIRフィルタと、それに隣接する体積位相ホログラム(VPH)56とを備える。VPH56は、例えば、透過回折格子58として設計される。VPH56は、ブラッグ条件下で反射し、以下に説明するように参照光の凹面鏡として機能可能である。
入射光の方向では、VPH56に続いて、ビームスプリッタキューブ60として構成されたビームスプリッタ素子が続く。ビームスプリッタキューブ60は、ラスタ光を反射するための反射層62を含む。これに対し、可視スペクトル光は反射層62を透過する。
ビームスプリッタキューブ60の代わりに、異なるタイプの波長感応ビームスプリッタ素子、例えばビームスプリッタプレートが使用可能である。
可視光は、ビームスプリッタキューブ60を通過し、撮像素子30に到達することができる。入射光の方向における撮像素子30の上流において、光学ユニット26は、位相及び/又は振幅変調される光学素子64を含む。本例では、光学素子64はマイクロレンズアレイ66である。マイクロレンズアレイ66を介して、観察されたシーンが撮像素子30上に結像される。
撮像素子30は、信号線68を介してデータ処理ユニット34と動作接続される。
ビームスプリッタキューブ60から反射された近赤外光は、撮像素子32に到達する。撮像素子32は、信号線70を介してデータ処理ユニット34に動作接続される。
照明ユニット42は、光源44からラスタ光を供給するための導光体72を備える。導光体72は、例えば、ロッド及び/又はファイバを含んでもよく、剛性又は可撓性を有する構成であってもよい。
ラスタ光は、出射開口50において光結合解除素子(光分離素子)74に導出される。この結合解除素子74は、例えば、物体16の表面に発光スポット76(スポット)のパターンを作成するための平面ホログラムである。
結合解除素子74として平面ホログラムを使用する代わりに、例えば、空間光変調器(SLM)を設けてもよい。この変調器は、好ましくは、先端部分18又は基部分20に配置され得る。例えば、変調器は、装置10の深さ範囲が区切られ、発光スポット76当たりの光強度の増加が必要とされる場合に使用される。
この場合、参照光は、約700nm以下から1300nmまでの近赤外及び/又は可視波長範囲の光を含む。(In the present case, the reference light comprises light of the NIR and/or visible wavelength range from about 700 nm or less to 1300 nm.)好ましくは、スペクトルは、幅が約1nm~10nmの波長範囲の複数の離散波長を含む。例えば、波長間隔は約1nmである。
図3は、物体16の表面78にドットパターンの発光スポット76を模式的に描画する。それぞれの発光スポット76は、例えば、約100μmの大きさを備える。グリッドサイズは、例えば、約1mmであり、そして上述のように、作動距離に依存し得る。
表面78から反射されたラスタ光は、フィルタ素子54及びVPH56を通過し、反射層62で反射されて撮像素子32に向かう。反射層104が偏光であってもよく、及び/又は光学ユニット26が偏光光学素子を備えてもよい。
撮像素子32は、ラスタ光のスペクトル範囲の光に対する感度に関して最適化されている。反射層62を通過した撮像素子32の表面からの任意の後方反射は、撮像素子32とは反対側の吸収素子80によって吸収されてもよい。
ラスタ光に加えて、光源44からのパッケージ内(筐体内)の参照光が使用される。本例では、上述のビームスプリッタ素子(例えばファイバカプラ)の下流の参照光は、導光体82を介して筐体24の先端部に向かって導出される。導光体82は、剛性又は可撓性のロッド又はファイバの形態であり得る。最後に、導光体82は、この場合、反射体として、特にプリズム反射体として設計された光結合解除素子84を備える。
参照光は、結合解除素子84から、好ましくは球状の波面を有する、反射層62の方向に出射される。参照光は後方からVPH56に反射される。
この場合、VPH56における参照光についてそれぞれのブラッグ条件が成立する。参照光はVPH56から回折されて戻り、本質的に平面的な波面(略平面波面)86が形成される。ここで、評価上の理由から、システムは、波面が撮像素子32の表面によって画定される平面に対して傾斜するように設計されるのが有利である。
参照光における異なる波長の波面86(図示の例は1つ)は、それぞれのブラッグ条件に起因して互いに異なる傾斜を備える。
撮像素子32では、ラスタ光が参照光と干渉する。関連する画像信号は、データ処理ユニット34に送信される。
データ処理ユニット34は、デジタル光ホログラフィを使用して、上述の方法でラスタ光と参照光との干渉信号から3次元ドットグリッドを作成することができる。これに関する基準データセットは、横方向(左右方向)情報及び深さ(奥行き方向)情報を示し、データ処理ユニット34によって提供される。「横方向」は、本文脈において、特に横方向(左右方向)、好ましくは装置10によって画定される軸88に対して垂直を示すものとして理解されるべきである。
ドットグリッドは、以下で説明するように、表面78の画像データセットの再登録のためのサポートポイントを提供するために使用される。ある意味では、ドットグリッドは、物体16の包絡面としてのポイントで表面78をスキャンし得る。
VPH56の方向への球面波の伝播を容易にするために、導光体72,82が、ビームスプリッタキューブ60のほぼ中央に、図面平面に対して垂直な装置10の横方向に配置されるようにしてもよい。
基準データセットは、絶対的深さ情報と共に発光スポット76に関する横方向の情報を含む。深さ情報は、ラスタ光と参照光とに使用される複数の波長の位相差から得られる。
撮像素子30に到達した物体16の物体光は、画像信号に変換され、少なくとも1つのデータ処理ユニット34に供給される。少なくとも1つのデータ処理ユニット34は、画像データセット35を生成する(図3)。画像データセット35は、基準データセットに対してデータ処理ユニット34によって空間的に登録することができ、それによって表面78の3D表面データセットが提供される。
物体光を使用して得られた画像データセット35は、ノイズによるぼやけを受ける。このため、実際には、例えば、画像データセット35の可能な最大解像度は装置10では達成できない。典型的な最大解像度は、例えば約25μmの領域に位置し得る。
画像データセット35を改善し、特に高解像度の3D表面データセットを提供するために、装置10において、画質を改善するために以下で説明するように、基準データセットを画像データセット35に関連付けることができる。この目的のために、装置10と物体16との相対的な動きが使用され、この相対的な動きは、装置10自体を介して決定することができる。相対的な動きを決定するための別の装置は必要ない。
実際には必然的に生じるハンドヘルド及びハンドガイド装置10自体の振動が、相対的な動きを決定するために使用されることが有利であることが証明されている。
コヒーレントなラスタ光が表面78に衝突すると、発光スポット76が形成される。粗い表面テクスチャの結果として、発光スポット76はスペックルパターン90を含み、これは強度画像として図4に模式的断面図で示す。ここでは、たとえば、暗い部分は高強度を象徴し、明るい部分は低強度を象徴する。
装置10と物体16との相対的な動きの間に、発光スポット76は表面78上を移動する。スペックルパターン90は、表面78の性質上静止したままであるが、発光スポット76内で変位する。これは図5に示されており、白い枠が重なりを概略的に囲んでいる。
スペックルパターン90は、時間依存的に検知することができる。この連続するスペックルパターン90のスペックル相関を通じて、データ処理ユニット34は、相対的な動きを示す横方向の移動情報を高精度に生成することができる。
深さ方向の相対的な動きは、ラスタ光及び参照光における複数の波長の使用に基づく絶対的深さ情報の可能性によって決定され得る。
結果として、データ処理ユニット34は、横方向及び深さ方向の移動情報を生成することができる。
物体光によって得られる画像データセット35は、重複領域を互いに割り当てることができるような方法で、移動情報に基づいて評価され得る。これは図6に概略的に示され、3つの画像データセット35及び1つの重複領域を示す。
装置10と物体16との相対的な動きも画像データセット35内の画像情報をシフトさせるので、逆の動きを画像データセット35に適用して、空間的に前の画像データセット35と一致させることができる。このようにして、画像データセットの重複領域をシーン内に配置することができる。
2つ以上の連続する画像データセットを計算的に統合することによって、それぞれの画像データセット35に含まれるノイズが時間とともに変化するにつれて、画像データセット内の信号対雑音比を改善することができる。統合は、上述のように平均化していると考えることもできる。
高フレームレートが有利であることがわかる。例えば、250Hz以上のフレームレートが好ましく、好ましくは1kHz以上である。フレームレートは、連続する画像データセット内の重複領域をできるだけ大きく十分に識別できるように、選択可能である必要がある。
特に、2つ以上の画像データセットを共に平滑化できる場合に有利である。
結果として、データ処理ユニット34は、より高い空間周波数を維持しながら、詳細を失うことなく、物体16の3D表面データセットを提供することができる。3D表面データセットは高解像度であり、好ましくはシステムの解像度限界まで解像される。
ノイズフリー又は本質的にノイズフリーに計算された画像データセット35又は3D表面データセットでは、デコンボリューション演算を適用することによって計算的に解像度をさらに高めることが特に可能である。代替的に又は相補的に、「超解像」データセットは、例えば、補間によって作成することができる。
上述のように、深さ情報は絶対的な期間で取得できる。これは、例えば、個々の発光スポット76についてスポット依存的な移動情報を提供する可能性を提供する。例えば、異なる横方向の転位移動情報が、異なる発光スポット76に存在してもよく、これは、画像データセットを計算する際に考慮に入れることができる。例えば、「呼吸する」動いている物体16の表面78は、このようにして測定することができる。このため、本発明の装置10は、例えば体内の動いている物体16の検査への適用に特に適している。
3D表面データセットを組み合わせて、全体的なシーン(ステッチング)を形成することができる。ここで、個々のデータセット間に不一致がないか、又は最小限の不一致しかないことが好ましい。
撮像素子30,32が、それぞれのエッジ長aを有する本質的に正方形であると仮定すると、装置10の特にコンパクトな設計は、先端部分18において達成され得る。ビームスプリッタキューブ60を備えた光学ユニット26は、それらの寸法によって撮像素子30,32の領域において近似的に決定される。従って、開口の入射面積は約a2であり、体積は約a(下限)である。全体として、軸88に対する横方向の寸法は、断面において好ましくは約1.5a未満であり、さらに有利には約1.25a未満であり得る。
図7は、好ましい実施形態において参照符号100を割り当てた本発明の装置の先端部分18を示す。装置10と比較して、装置100は、特にVPH56が参照光に使用されないという相違点を備える。代わりに、ビームスプリッタキューブ60に加えて、ビームスプリッタキューブ102の形態の別の光学素子が使用される。
装置10と異なる点は、撮像素子30,32の位置が異なることである。装置10では、撮像素子30,32は、本質的に90°の角度で整列された平面を画定し、ビームスプリッタキューブ60及びマイクロレンズアレイ66を画定する。
これに対して、装置100における撮像素子30,32の平面は平行又は一致している。ビームスプリッタキューブ60,102は、撮像素子30,32に隣接して横方向に配置され、それぞれの撮像素子30,32に関連付けられる。
装置100では、物体光に対するビーム経路が装置10とは逆転している。物体光は反射層62で反射されるのに対し、ラスタ光は透過する。ビームスプリッタキューブ60の到来方向の下流にあるビームスプリッタキューブ102では、ラスタ光が撮像素子32の方向に反射層104で反射される。
参照光は、本質的に球状の波面を有する結合解除素子106を介して結合解除(分離)される。結合解除素子106は、反射層104の裏面側に向けられている。反射層104から、参照光は光学素子108に到達し、この場合は凹面鏡110の形態である。実質的に平面的な波面86は、VPH56による装置10の場合と同様に、凹面鏡110を介して提供される。
参照光は、上述のビームスプリッタ素子を形成又は備える光導波路を介して結合解除(分離)されてもよい。ラスタ光と参照光とが分離される。参照光は、並べて配置された複数の結合解除素子106にて波長に応じて結合解除される。光導波路は、例えば並列に並べて配置された結合解除素子106を備える最後に述べる導波路を設けてもよい。
反射層104が偏光であってもよく、及び/又は光学ユニット26が偏光光学素子を備えてもよい。反射層104が偏光する場合は、全てのラスタ光が撮像素子32に反射されてもよい。一般に、放射及び/又は受信されたラスタ光の偏光は、光学ユニット26からの不要な反射を実質的に抑制するように調整することができる。
参照光における複数の波長の使用に起因して、上述のように、並んで配置された複数の結合解除素子106が提供される(図7に示す)。これは、装置10の場合と同様に、波長依存性の異なる傾斜波面86をもたらす。
参照光及びラスタ光は、例えば、光源44が配置された一体型照明ユニット42によって提供される。
図7は、装置100において、出射開口50の領域内にその上に配置された結合解除素子114を備えたさらなる導光体112を示す。本例では、これらの構成要素は、導光体72及び結合解除素子74の構造及び配置に対応し、好ましくは筐体壁の近くに配置され、ここで、導光体72,112は、それらの間で光学ユニット26及び撮像素子32を受光することができる。
結合解除素子114は、例えば平面ホログラムであってもよい。2つの結合解除素子74,114を介して、物体16は、2パターンの発光スポット76で照明することができる。それぞれのパターンの寄与を分離できるようにするために、照明を、例えば時間差(時間遅延)で起動することができ、撮像素子32を介して記録をそれぞれ同期させることができる。
物体光は、任意選択で、装置100を介して提供及び結合解除される。この目的のために、導光体112は、例えば、結合解除素子114なしで適用される。
図7の装置100は、装置100のリフォーカシング及び広角化のための入射側に収束レンズ118の形態の光学素子116をさらに備える。
装置100では、収束レンズ118の代わりに、湾曲したマイクロレンズアレイを使用して、例えば球面シェルの形態で広角を増大させることもできる。
図8及び図9は、参考符号120によって示される、本発明の装置の有利な実施形態の概略図を示す。装置120は、特に一方向に延びるフラットな構造によって特徴付けられ、この場合は図面における高さ方向の延長が、それを横切る方向の延長よりも実質的に小さい。
このため、装置120は、携帯電子装置、例えばスマートフォン又はタブレットコンピュータへの搭載に特に適している。
それぞれのチャネル長aを有する正方形の撮像素子30,32を仮定すると、光入射面積は2aとなる。実装高さを最大a/4まで達成できるため、光学体積は最大約a/2(下限)まで達成できる。この推定は、撮像素子30,32のエッジ長が約8mm、ビルドアップ厚さが約1mm~2mmであると仮定して行われる。
装置120において、撮像素子30,32は、共通の平面に配置されている。到来方向の上流において、マイクロレンズアレイ66は、撮像素子30の前方に位置する。撮像素子32の前方に配置されているのはVPH56である。VPH56及びマイクロレンズアレイ66は、好ましくは、共通の平面内に位置する。
入射側には入射窓122が設けられており、VPH56及びマイクロレンズアレイ66を覆う。
照明ユニット42は、VPH56又はマイクロレンズアレイ66に隣接する横方向に同じ平面内に少なくとも部分的に配置されることが好ましい。データ処理ユニット34は、例えば、入射側とは反対側の撮像素子30,32の側に配置される。なお、撮像素子30、32は、例えばデータ処理ユニット34上で一体的に設計されていてもよい。
ラスタ光の放射は、照明ユニット42に直接的又は間接的に結合されてもよい結合解除素子74を介して行われてもよい。
装置120は、特にビームスプリッタキューブ60,102を省略してもよい。
例えば、照明ユニット42には、参照光とラスタ光とを互いに分離するための光導波路が配置されている。参照光は、例えば導光体126を介して結合のために供給される。結合解除素子128は、それぞれの導光体126上に配置され、そこから参照光は、好ましくは球面波面で放射する。導光体126及び結合解除素子128は、VPH56の平面内に並んで配置されることが好ましい。
参照光は、同じ平面内に配置され、それぞれ直列に配置され、それぞれ並んで配置されたマイクロレンズ130に入射し、VPH56を伝搬するそれぞれの平面波面を提供する。VPH56における異なる波長に対するそれぞれのブラッグ条件が成立すると、参照光は撮像素子32に向けて回折される。
上述の場合と同様に、個々の波長の波面86は、互いに相対的に傾斜しており、好ましくは撮像素子32の平面に対して傾斜する。
回折や散乱によりVPH56のブラッグ条件を満たさない光は、吸収素子80に吸収されてもよい。
マイクロレンズ130のアレイ又は機能的に等価な多焦点素子を介して参照波を使用する利点は、ほぼ一定の強度の参照光の平面波をVPH56の平面を横切って結合することができることである。このようにすれば、撮像素子32のエッジにおいても十分な信号歩留まりが得られる。
マイクロレンズ130のアレイの代わりに、複数のVPHが追加的に採用され得、それぞれがマイクロレンズ130のうちの1つの機能を実行する。これらのVPHは、例えば、照明ユニット42及びVPH56に物理的及び光学的に直接結合することができる光学素子に一体化することができる。このようにして、マイクロレンズ130内などの任意のギャップを回避することができ、それによって最適化された波動場を提供する。
あるいは、例えば、VPH56に横方向に衝突する細長い波動場を生成することができる。たとえば、ここではGRINレンズのアレイが使用される。このようにして、VPH56に沿って延びる位相フロントを連続的に設けて、VPH56への移行において位相ジャンプが生じないようにすることができる。
撮像素子30,32の横並び配置は、装置120内のラスタ光と物体光の深さ依存視差をもたらす。深さ情報が絶対的に決定され得るという事実のために、画像データセット35を基準データセットに登録することが可能である。
図10は、本発明の装置の好ましい実施形態を参照符号140と共に示す。装置140は高度に集積されており、2つの撮像素子30,32の代わりに1つの撮像素子142のみが使用されるように設計されている。この撮像素子142は、参照光及びラスタ光のNIR寄与と物体光の可視寄与の両方を記録するのに適している。
装置140は、フラットな構成、例えば、胃薬のような携帯通信装置又は体内装置にも適している。または、スリムなデザインが考えられる(アポストロフィ付きの参照符号)。
入射側には、入射窓122が設けられ、続いてマイクロレンズアレイ66が設けられている。参照光とラスタ光の両方がVPH56を通過する。装置120及び関連する変更点(図8及び図9)に関連して、既に記述した通りである。
光は撮像素子142に到達し、その画像信号はデータ処理ユニット34によって処理される。
高さ方向において可能な限りコンパクトな構造を実現するためには、光学素子64が必要である。ただし、これはラスタ光の伝播に問題を生じる場合がある。
これを改善するために、波長依存である構造を有する振幅マスクを光学素子64として使用することができる。物体光の場合、構造物は反射性になるが、ラスタ光では透過性になる。この場合、光学素子64は、ラスタ光に対して本質的に透過性である。
振幅マスクや位相マスクがラスタ光に完全に影響を与える場合でも、この「乱れ」はラスタ光の画像信号から取り除くことができる。この点でのデコンボリューションの方法は当業者に公知である。
図11は、スマートフォンとして設計された本発明による通信装置を、参照符号150で、上述タイプの装置、例えば装置120と共に示す。
図12は、例えば装置120又は140のような上述のタイプの装置を備えた、データグラスとして設計された、参照符号160で示される本発明によるヘッドマウント装置を示す。装置120又は140を介して、この情報を最適化するか、または「オーバーレイ」の背景として使用するために、即時の環境を高精度で記録することができる。あるいは、拡張現実(AR)オーバーレイの背景として使用することもできる。
最適化アプローチでは、3D地形を有する本を、文字がシャープに見えるように、かつ正確に同じ場所に表示されるように読むことが考えられる。そのためには、物体16としてのページの地形と高解像度の文字が必要である。これをデータメガネで視野に重ね合わせることができる。そうすると、文字がオフセットすることなく、シャープに読み取れるようになる。
「オーバーレイアプローチ」では、装置120又は140によって測定された外部情報は、実際の現実に合わせて調整されるであろう。歯科分野では、例えば、歯科インプラントを歯列内の正確な位置に表示し、3D ARデータメガネを介して歯科医に視覚化し、必要に応じて外部表示ユニット38を介して共有することができる。
10 装置
12 患者
14 使用者
16 物体
18 先端部分
20 基部分
22 ハンドル要素
24 筐体
26 光学ユニット
28 センサユニット
30,32 撮像素子
34 データ処理ユニット
35 画像データセット
36 回線
38 表示ユニット
40 メモリユニット
42 照明ユニット
44 光源
46 光源
48 入射開口
50 出射開口
52 外壁
54 フィルタ素子
56 体積位相ホログラム(VPH)
58 回折格子
60 ビームスプリッタキューブ
62 反射層
64 光学素子
66 マイクロレンズアレイ
68,70 信号線
72 導光体
74 結合解除素子
76 発光スポット
78 表面
80 吸収素子
82 導光体
84 結合解除素子
86 波面
88 軸
90 スペックルパターン
100 装置
102 ビームスプリッタキューブ
104 反射層
106 結合解除素子
108 光学素子
110 凹面鏡
112 導光体
114 結合解除素子
116 光学素子
118 収束レンズ
120 装置
122 入射窓
126 導光体
128 結合解除素子
130 マイクロレンズ
140 装置
142 撮像素子
150 通信装置
160 ヘッドマウント装置

Claims (25)

  1. 物体(16)を検査するための光学装置であって、
    筺体(24)と、
    前記筐体(24)内に配置される入射光用の光学ユニット(26)と、
    前記筐体(24)内に配置される、少なくとも1つの撮像素子(30,32)を有するセンサユニット(28)と、
    前記センサユニット(28)に結合され、前記少なくとも1つの撮像素子(30,32)からの画像信号を評価するデータ処理ユニット(34)と、
    前記物体(16)の方向にラスタ光を放射するために、前記筐体(24)上、又は、前記筐体(24)内に少なくとも部分的に配置される照明ユニット(42)とを備え、
    前記物体(16)から反射されるラスタ光及び前記筐体内部の参照光によって、デジタル光ホログラフィによって、横方向情報及び深さ情報を示す3次元ドットラスタ及び基準データセットが提供され、
    前記装置(10;100;120;140)と前記物体(16)との相対的な動きが、前記装置(10;100;120;140)を介して検出され、関連する横方向及び/又は深さ方向の移動情報が生成され、
    前記物体(16)から発せられる物体光が検出され、それぞれの画像データセット(35)が時間的に順次作成され、3D表面データセットを生成するための前記基準データセットに対して登録され、
    2つ以上の連続する画像データセット(35)の重複領域は、前記移動情報に基づいて識別され、前記重複領域は、特に詳細を失うことなく、それぞれの画像信号を統合することによって平滑化される、前記装置。
  2. 前記2つ以上の画像データセット(35)の重複領域が、逆の動きにより計算的に重畳される、請求項1に記載の装置。
  3. 複数の3D表面データセットが、前記物体(16)の全体的なシーンに組み立てられ、前記移動情報に基づいて、前記3D表面データセット間の境界が決定される、請求項1~2のいずれか1項に記載の装置。
  4. 前記相対的な動きを決定するために、前記物体(16)上の前記ラスタ光によって生成されるスペックルパターン(90)を有するドットパターンの少なくとも1つの発光スポット(76)が時間の関数として検知され、発光スポット(76)内の前記スペックルパターン(90)の変位が決定され、そこから横方向の移動情報が導出される、請求項1~3のいずれか1項に記載の装置。
  5. 前記ラスタ光及び前記参照光が、複数の離散波長を有するスペクトルを含み、深さ方向の移動情報及び/又は絶対的深さ情報が、前記複数の波長の位相差から決定可能である、請求項1~4のいずれか1項に記載の装置。
  6. 以下の少なくとも1つが適用される、請求項1~5のいずれか1項に記載の装置:
    -前記ラスタ光が、赤外光及び/又は可視スペクトル光であるか、又は、を含むこと;
    -前記物体光が、可視スペクトル光、特に連続スペクトル範囲の光であるか、又は、を含むこと。
  7. 前記照明ユニット(42)が、前記筐体(24)内のラスタ光用の少なくとも1つの導光体(72,82,112)と、前記筐体(24)上に特に端部に配置される光結合解除素子(74,84,114)とを備え、好ましくは前記結合解除素子(74,84,114)が、前記物体(16)上の前記ドットパターンに前記ラスタ光を散開するために平面ホログラムであるか、又は、を備える、請求項1~6のいずれか1項に記載の装置。
  8. 以下の少なくとも1つが適用される、請求項1~7のいずれか1項に記載の装置:
    -前記照明ユニット(42)が、前記筐体(24)内に配置される、前記ラスタ光及び前記参照光を提供するための光源(44)を備えること;
    -前記照明ユニット(42)が、前記筐体(24)内に配置される、前記物体光を提供するための光源(46)を備えること。
  9. 前記照明ユニット(42)が、前記筐体(24)内に物体光用の少なくとも1つの導光体(71,112)と、前記筐体(24)上に特に端部に配置される光結合解除素子(74,114)とを備える、請求項1~8のいずれか1項に記載の装置。
  10. 前記物体光のスペクトル及び前記ラスタ光のスペクトルに感応する共通の撮像素子(142)を備え、特に前記センサユニット(28)が1つの撮像素子(142)からなる、請求項1~9のいずれか1項に記載の装置。
  11. 前記センサユニット(28)が、2つの撮像素子(30,32)を備え、光学ユニット(26)の光学素子(60,102,116)を介して、前記物体光が、一方の撮像素子(30,32)上に導出され、ラスタ光が他方の撮像素子(30,32)上に導出され、好ましくは撮像素子(30,32)がそれぞれの検出光に対してそれぞれの他の光よりも高感度である、請求項1~9のいずれか1項に記載の装置。
  12. 前記光学素子(60,102,116)が、少なくとも1つの波長感受性ビームスプリッタ素子(64,102)であるか、又は、を備え、特にビームスプリッタキューブ(60,102)、又は、ビームスプリッタプレートを備える、請求項11に記載の装置。
  13. 前記光学ユニット(26)が、入射側に前記物体光用の屈折光学素子(118)を備える、請求項1~12のいずれか1項に記載の装置。
  14. 2つの撮像素子(30,32)が、互いに横方向に隣り合って配置され、特に共通の平面内に配置され、少なくとも1つの入射窓(122)によって覆われる、請求項1~13のいずれか1項に記載の装置。
  15. 前記装置(10;100;120;140)がフラットな構造であり、前記入射窓(112)が、装置(10;100)の延長がそれに直交する方向よりも実質的に大きい前記筐体(24)の表面(78)上に配置される、請求項1~14のいずれか1項に記載の装置。
  16. 2つの撮像素子(30,32)が、互いに斜めに整列した平面に配置され、波長感受性ビームスプリッタ素子(60,102)が、それぞれの撮像素子(30,32)の上流に物体光又はラスタ光の到来方向に配置される、請求項1~15のいずれか1項に記載の装置。
  17. 前記光学ユニット(26)が、物体光に感応な撮像素子(30,32)を備え、前記物体光の到来方向の上流に、位相変調光学素子及び/又は振幅変調光学素子(64)、特に、マイクロレンズアレイ(66)、位相マスク又は振幅マスクを備える、請求項1~16のいずれか1項に記載の装置。
  18. 前記参照光が、平面的又は実質的に平面的な波面(86)を有する前記少なくとも1つの撮像素子(30,32)に入射し、好ましくは前記波面(86)が、前記少なくとも1つの撮像素子(30,32)の平面に対して傾斜し、特に前記傾斜が前記参照光の波長に依存する、請求項1~17のいずれか1項に記載の装置。
  19. 前記光学ユニット(26)が、前記少なくとも1つの撮像素子(30,32,142)の方向への前記参照光の回折のためのVPH(Volume Phase Hologram;体積位相ホログラム)(56)を備え、好ましくは前記VPH(56)が前記装置(10;100;120;140)の入射側に配置され、前記物体光及び/又は前記ラスタ光に対して透過性であり、及び/又は前記VPH(56)が、撮像素子(30,32)の平面に平行に整列し、前記撮像素子(30,32)の直上流側に前記ラスタ光の到来方向に配置される、請求項1~18のいずれか1項に記載の装置。
  20. 前記少なくとも1つの撮像素子(30,32)の平面上方に前記参照光の本質的に平面的な波面(86)を生成するための前記照明ユニット(42)が、以下のいずれか1つを備える、請求項1~19のいずれか1項に記載の装置:
    -一列に並んで配置される複数のマイクロレンズ(130);
    -マルチボリュームホログラム;
    -GRINレンズアレイ。
  21. 前記光学ユニット(26)が、前記少なくとも1つの撮像素子(30,32)の方向に平面的又は実質的に平面的な波面(86)を有する参照光を拡大するための光学素子(108)を備える、特に前記光学素子(108)が凹面鏡(110)である、請求項1~20のいずれか1項に記載の装置。
  22. エッジ長をaとして、面積aの正方形の断面積を有する少なくとも1つの撮像素子(30,32)を仮定すると、以下の少なくとも1つが適用される、請求項1~21のいずれか1項に記載の装置:
    前記装置(10;100;120;140)が、1.5a未満、好ましくは1.25a未満の入射断面積を有すること;
    前記装置(10;100;120;140)が、高さが約a/4以下、入射体積がa/2以下の1つ又は2つの撮像素子(30,32)を有する薄型設計を備えること。
  23. 前記装置(10;100;120;140)が、ハンドヘルド式及び/又はハンドガイド式のものである、請求項1~22のいずれか1項に記載の装置。
  24. 以下の少なくとも1つが適用される、請求項1~23のいずれか1項に記載の装置:
    -前記装置(10;100;120;140)が、少なくとも部分的に、前記筐体(24)を検査中の物体に挿入可能な内視鏡装置であること;
    -前記装置(10;100;120;140)が、携帯通信装置(150)、特にスマートフォン又はタブレットコンピュータであるか、又は、を備えること;
    -前記装置(10;100;120;140)が、ヘッドマウント装置(160)であるか、又は、を備えること。
  25. 請求項1~24のいずれか1項に記載の装置を用いて物体を検査する方法であって、ラスタ光が物体の方向に放射され、前記物体から反射されるラスタ光によって3次元ドットラスタが提供され、前記筐体内部の参照光と組み合わせて、横方向情報及び深さ情報を示す基準データセットがデジタル光ホログラフィによって提供され、
    前記装置と前記物体との相対的な動きが、前記装置を介して検出され、関連する横方向及び/又は深さ方向の移動情報が生成され、
    検査中の物体から発せられる物体光が検出され、それぞれの画像データセットが時間的に順次作成され、3D表面データセットを作成するために基準データセットに対して登録され、2つ以上の連続する画像データセットの重複領域が、移動情報に基づいて識別され、前記重複領域は、特に詳細を失うことなく、それに関連する画像信号を統合することによって平滑化される、前記方法。

JP2023541859A 2020-09-21 2021-09-17 光学装置及び物体の検査手順 Pending JP2023543345A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020124521.1 2020-09-21
DE102020124521.1A DE102020124521B3 (de) 2020-09-21 2020-09-21 Optische Vorrichtung und Verfahren zur Untersuchung eines Gegenstandes
PCT/EP2021/075619 WO2022058498A1 (de) 2020-09-21 2021-09-17 Optische vorrichtung und verfahren zur untersuchung eines gegenstandes

Publications (1)

Publication Number Publication Date
JP2023543345A true JP2023543345A (ja) 2023-10-13

Family

ID=77659363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023541859A Pending JP2023543345A (ja) 2020-09-21 2021-09-17 光学装置及び物体の検査手順

Country Status (5)

Country Link
US (1) US20240111028A1 (ja)
EP (1) EP4214679A1 (ja)
JP (1) JP2023543345A (ja)
DE (1) DE102020124521B3 (ja)
WO (1) WO2022058498A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022129368B3 (de) 2022-11-07 2024-03-28 Akmira Optronics Gmbh Ultrakompaktes Optisches System zur 3D-Bildgebung

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6664529B2 (en) 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
ATE406850T1 (de) * 2004-06-17 2008-09-15 Cadent Ltd Verfahren und gerät zur farbbildformung einer dreidimensionalen struktur
US7295324B2 (en) 2004-07-13 2007-11-13 Mitutoyo Corporation System and method for improving accuracy in a speckle-based image correlation displacement sensor
US8068235B1 (en) 2007-07-24 2011-11-29 Lockheed Martin Corporation Systems and methods for multi-function coherent imaging
US8243353B1 (en) 2008-04-07 2012-08-14 Applied Science Innovations, Inc. Holography-based device, system and method for coded aperture imaging
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
EP2796938B1 (de) 2013-04-25 2015-06-10 VOCO GmbH Vorrichtung zum Erfassen einer 3D-Struktur eines Objekts
EP2947417B1 (de) 2014-05-23 2019-12-18 VOCO GmbH Vorrichtung und Verfahren zum Erfassen einer 3D-Struktur eines Objekts
EP3242107B1 (de) 2016-05-04 2020-04-08 VOCO GmbH Optische interferometrische vorrichtung zum erfassen einer 3d-struktur eines objekts
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US20180211373A1 (en) * 2017-01-20 2018-07-26 Aquifi, Inc. Systems and methods for defect detection
US11617492B2 (en) * 2017-11-27 2023-04-04 Optecks, Llc Medical three-dimensional (3D) scanning and mapping system
US20190310374A1 (en) 2018-04-05 2019-10-10 Wavefront Analysis, Inc. Machine vision method and system

Also Published As

Publication number Publication date
EP4214679A1 (de) 2023-07-26
WO2022058498A1 (de) 2022-03-24
DE102020124521B3 (de) 2021-09-30
US20240111028A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
US20230392920A1 (en) Multiple channel locating
JP7125423B2 (ja) スキューミラー補助画像化
JP5214883B2 (ja) 三次元分光的符号化撮像のための方法と装置
JP6909207B2 (ja) 高分解能3dスペクトル領域光学撮像装置及び方法
US9638511B2 (en) Smart phone attachment for 3-D optical coherence tomography imaging
US7859679B2 (en) System, method and arrangement which can use spectral encoding heterodyne interferometry techniques for imaging
DK3025122T3 (en) System, method and computer program for three-dimensional contour data provisioning and caries detection
EP2657792B1 (en) Device and method for holographic reflection imaging
JP2005514601A (ja) 干渉計からの信号を超音波コンソールによって処理するシステム及び方法
CN103733144B (zh) 散射样品的3d成像方法
KR101804441B1 (ko) 개선된 홀로그래픽 복원 장치 및 방법
US9256204B2 (en) Device and method for holographic reflection imaging
US20210240134A1 (en) Holographic reconstruction apparatus and method
KR20200042895A (ko) 컬러 텍스처를 갖는 구강 내 oct
US20100254586A1 (en) Method and device for locating function-supporting tissue areas in a tissue region
US20220214647A1 (en) Holographic reconstruction apparatus and method
JP2023543345A (ja) 光学装置及び物体の検査手順
US7092104B2 (en) Speckle interferometer apparatus
US20220061644A1 (en) Holographic endoscope
JP7038102B2 (ja) 全視野干渉撮像システム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240708