JP5583761B2 - 動的基準フレームを用いた3次元表面検出方法及び装置 - Google Patents

動的基準フレームを用いた3次元表面検出方法及び装置 Download PDF

Info

Publication number
JP5583761B2
JP5583761B2 JP2012513688A JP2012513688A JP5583761B2 JP 5583761 B2 JP5583761 B2 JP 5583761B2 JP 2012513688 A JP2012513688 A JP 2012513688A JP 2012513688 A JP2012513688 A JP 2012513688A JP 5583761 B2 JP5583761 B2 JP 5583761B2
Authority
JP
Japan
Prior art keywords
sensor
camera
pattern
data
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012513688A
Other languages
English (en)
Other versions
JP2012529031A (ja
Inventor
ホスラー ゲルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2012529031A publication Critical patent/JP2012529031A/ja
Application granted granted Critical
Publication of JP5583761B2 publication Critical patent/JP5583761B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4547Evaluating teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、3次元表面を走査及びデジタル化する方法及び装置に関する。本発明は、特に、3次元空間内の表面をデジタル的に取得及び加工することができる任意の実施態様に適用可能である。
既存の光学3Dセンサの大半は、3Dデータを得るために複数の2Dカメラ画像の取得を必要とする。最も一般的な技術は、いわゆる「縞投影(fringe projection)」技術(非特許文献1参照)であり、これは広く市販されており、例えば独国エアランゲン所在の3D-SHape GmbHによるフェーススキャン(Face Scan)センサである。プロジェクタが、縞パターンを対象物に投影する。1つ又は複数のカメラが、対象物表面を観測する。概して、少なくとも3つの縞パターンを順次投影して、少なくとも3つの2D原画像を得なければならない。精度を高めるために、大半の縞投影センサは、さらにより多くの原画像を撮影する。一連の原画像の撮影中、対象物及びセンサは静止していなければならず、これは、対象物とセンサとの相対移動を伴う場合にセンサをうまく適応させられない。
多くの用途で、対象物は複雑な形状を有するため、3Dトポグラフィの取得を単一の観測方向から得ることはできない。センサは、種々の方向からデータを取った後にそれらをずれのないよう位置合わせしなければならない。この手順には、センサの停止・発進繰り返し移動(stop and go movement)が必要であるが、これにより測定が極めて面倒なものとなり、時間をかけて種々のビューを位置合わせした後にしか対象物の紛失部分があるか否かがユーザーに分からないため、なおのこと面倒である。とはいえ、縞投影原理は、各視線方向内で最高100万個の高品質データポイントの取得を可能にするため、広く用いられている。
色等の付加的なモダリティを用いて、完全な3Dトポグラフィの取得に単一の原(カラー)画像しか必要としないセンサを作ることが主に可能である(非特許文献2参照)。しかしながら、達成可能なデータ品質及び技術費では、このセンサには未だ競争力がない。
「シングルショット3Dセンサ」を実現する他のオプションがある。しかしながら、これらのセンサは主に、完全な3Dデータセットを伝送することができない。最も単純なシングルショットセンサは、光切断三角測量(light sectioning triangulation)に基づく(非特許文献3)。フルフィールド縞パターンを投影する代わりに、ラインを1本だけ(又は数本のラインを)対象物表面に投影させる。したがって、単一の原画像から1つの3Dラインプロファイルを取得することができるか、又は複数のラインを投影する場合は複数の3Dラインプロファイルを取得することができる。ラインプロファイル(「3D断面」)間には、入手可能なデータがない。このような3Dデータを「疎(スパース)」と呼ぶ。
要約すると、完全な3Dデータを取得する動作感応型の(motion sensitive)縞投影システムと、疎3Dデータしか伝送しない動作にロバストな(motion robust)光切断センサとがある。本出願人らの目標は、シングルショット原理を用いてもなお対象物表面の完全且つ高品質の3Dデータを伝送する、新たなセンサである。
ある程度までは、既存の解決手段、例えば独国ノイボイアーン83115所在のSteinbichler Optotechnik GmbHによるT−Scan 3センサが用いられる。このセンサを対象物表面にわたって手動で案内して、ある程度完全な3D表面再構築を生成することができる。しかしながら、このセンサは、写真測量カメラシステムにより実現される付加的な追跡システムを必要とする。このセンサは、1ラインレーザ三角測量しか用いないため、完全且つ極めて正確なデータを得ることが困難である。センサを追跡する必要があることで、追跡視野がセンサを移動させる人物によって遮られてはならないため、完全に自由な動作が困難になる。
センサを移動させた後に3Dデータを位置合わせすることにより表面を取得するという概念は、いわゆる「3D from motion(カメラ動作からの3D形状復元)」原理によっても実現され、これは例えば非特許文献4に記載されている。カメラを移動させて種々の2D原画像を撮影し、種々のビューで抽出した対応点から3D再構築を達成することができる。Shape from motion(カメラ動作からの形状復元)は、受動的方法であり、投影マーカーを用いないため、完全な表面再構築を得ることが困難である。
3D取得技術を例えば口内センサの分野で用いることへの需要が高まりつつある。既存の口内センサの大半は、3Dデータを得るために複数の2Dカメラ画像の取得を必要とする。最も顕著なセンサは、Sironaによる「Cerec」センサである。これは、「縞投影」の原理に基づくものである。少なくとも3つの2D画像の取得後に、3Dビューを得ることができる。取得期間内(100msよりも長い)は、センサ及び対象物は静止していなければならない。センサの測定原理は、3Dデータを生成するために複数のカメラ画像を必要とするものであるが、これは、取得中のセンサと被検物との間の相対運動が許されないため煩わしく誤りが生じがち(spurious)である。
別の最新技術センサは、Hint-Elsによる「directScan」である。これは、縞投影を位相相関と組み合わせたものである。第1のステップにおいて、それぞれが少なくとも3つの画像から成る2組の直交縞パターンを、取得すべき表面に順に投影する。2組の取り込んだカメラ画像のそれぞれから、位相評価を行う。第2のステップにおいて、カメラピクセルごとにさらによりロバストで正確な単一位相値を求めるために、全部の得られた位相値対を相関させる。この情報から、3Dポイントのセットを計算する。したがって、3Dビューを生成するために複数の2D画像の取得が必要である。取得時間窓内(約200ms)では、センサ及び対象物の移動は許されないため、動作にロバストな測定は不可能となる。
様々な他のセンサが用いられている。こうしたセンサの1つは、Cadentによる「iTero」であり、これは「並列共焦点撮像」に基づくものである。300個の焦点深度で100,000個のレーザ照射(lightning)ポイントを用いて、50μmの方位分解能を得る。これら300個の焦点深度での取得中(1つの3Dビューを生成するのに異なるz位置での走査が必要であり、約300msかかる)、センサの移動は許されない。この場合も、複数の画像を取得する必要があることで、センサの使用時に煩わしさが生じる。特に不利なのは、センサを所定の位置に移動させなければならないことで、取得中のフリーハンドでの案内が不可能となることである。
3M Espe社による従来技術のシステム「Lava」は、いわゆる「アクティブ波面サンプリング(active wavefront sampling)」原理を用いる。軸外回転アパーチャが、対象物表面で回転して円形パターンを生成する。この回転の直径から、関心領域のデフォーカス及び距離を求めることができる。
従来技術のセンサの1つは、対象物の動作ロバストな測定を可能にする。これは、OraMetrix社による「SureSmile」センサである。このOraMetrixシステムは、1種類のパターンを投影する。これは、アクティブ三角測量及びシングルショット原理に基づく。1つの2Dカメラ画像から3Dデータがすでに生成されている(already delivers 3D data)(3Dビュー1つにつき約60×60の3Dポイント)。このシステムは、約6画像/秒を取得する。その用途は空間における表面の完全な取得ではなく、このシステムは最善の測定不確実性を提供することができない。
M. Halioua, H. Liu, V. Srinivasan, "Automated phase-measuring profilometry of 3-D diffuse objects," in Appl. Opt. 23 (1984) 3105-3108 G. Hausler and D. Ritter, "Parallel 3D-sensing by color-coded triangulation," in Appl. Opt. 32, No 35 (1993) 7164-7169 G. Hausler und W. Heckel, "Light sectioning with large depth and high resolution," in Appl. Opt. 27 (1988) 5165-5169 C. Tomasi and T. Kanade: "Shape and Motion from Image Streams under Orthography: a Factorization Method," in International Journal on Computer Vision, 9(2), 137-154, 1992
したがって、本発明の目的は、この一般的なタイプの既知の装置及び方法の上記欠点を克服し、動作にロバスト、自由に可動、低コスト、且つ拡張可能な3Dセンサを提供して「オンザフライ」での対象物表面の単純でロバストな取得を可能にする、3D取得方法及び装置を提供することである。
上記及び他の目的を視野に入れて、本発明によれば、3次元対象物の表面形状情報を取得する方法を提供する。この方法は、
投影装置及びカメラを有して、3次元データを単一回の露光から生成するよう構成した光センサを設けるステップと、
センサと3次元対象物とを相対移動させるステップと、
投影装置により3次元対象物にパターンを投影し、また投影されたパターンの少なくとも部分的にオーバーラップした一連の画像をカメラで記録するステップと、
一連の3Dデータセットを記録画像から求めるステップと、
連続して得た3Dデータセット間の位置合わせを行い、3次元対象物の表面形状を求めるステップと、
を有する。
本発明の実施態様は、歯の口内測定から、人体等のより大きな対象物の3D取得、犯罪現場取得、室内又は屋内、及び組立体製造時の品質試験に及ぶ。センサを対象物表面全体で移動させることができるため、センサを対象物の周りで自由に移動させることにより、複雑な対象物の3Dトポグラフィの取得が可能である。これに対して、上述のように、対象物をセンサに対して移動させること(又はセンサ及び対象物を移動させることさえ)も可能である。
さらに別の目的は、ユーザーが取得済みの3Dデータを対象物の取得済み部分の可視化としてリアルタイムで見ることを可能にすることである。したがって、ユーザーは、対象物の未取得部分を対話的に取得できるようセンサを移動させることができるようにすべきである。
センサの動作ロバスト性を同じく利用する別の用途は、ロボットによって又は取得すべき表面に沿った並進ステージの使用によってセンサを移動させるというオプションである。したがって、さらにより大きな対象物、例えば自動車又は室内を、小型フィールドセンサで測定することができる。動作ロバスト性は、対象物をセンサに当接して(against)移動させることも可能にする。これは、医療用途で多くの場合に不可避である。別の用途は、センサと相対的に移動する対象物、例えばコンベヤベルトにおける工作物の取得である。
本明細書に記載する新たなセンサは、ライン投影による三角測量を利用する。基本原理は既知であり、説明の1つは、例えばG. Hausler und W. Heckel: "Light sectioning with large depth and high resolution," in Appl. Opt. 27 (1988) 5165-5169に発表されている。一連の細い輝線(thin bright lines)を対象物表面に投影する。表面をカメラにより観測する。投影レンズの光軸及びカメラの光軸は、三角測量の角度を囲む。これら2つの光軸は、いわゆる三角測量面を成すよう広がる。観測した縞の変形から、表面のプロファイルz(x,y)を何らかの較正手順により評価することができる。N本のラインを投影した場合、1つのカメラ画像内でN個のプロファイルを取得することができる。ライン間の表面領域はアクセス不可能であるため、3Dデータは疎である。本発明は、この問題も克服するよう構成した。
本発明の別の特徴によれば、方法は、
記録するステップの直後にカメラが記録した第1の画像から第1の3Dデータセットを求めるステップと、
続いてさらに別のパターンを投影装置で投影し、第2の画像をカメラで記録し、第2の3Dデータセットをカメラが記録した第2の画像から即座に求めるステップと、
第1の3Dデータと第2の3Dデータとの間で位置合わせを行うステップと、
続いてさらに他の画像を記録し、さらに他の3Dデータを求め、さらに他の3Dデータセットと前回取得した3Dデータセット又は複数若しくは全部の以前に取得した3Dデータセットとの間で位置合わせを行うステップと、
センサ及び対象物を相対移動させながら、3次元対象物の表面形状をリアルタイムで求めるステップと、
をさらに含む。
本発明の別の特徴によれば、パターンは、所与の方向に延びる複数の第1のラインと、第1のラインを横断する、異なる方向に延びる複数の第2のラインとを有する。有利には、パターンの形成を、第1のラインで第1のパターンを投影してカメラで画像を記録し、続いて第2のラインで第2のパターンを投影してカメラで画像を記録し、第1のパターン及び第2のパターンの投影及び記録を交互に続行することにより行う。
第1のライン及び第2のラインは、格子パターンの形状で互いに直交する。パターンを交互に投影すると、当然ながら、「格子」は、時間オフセットを伴ってしか形成されない。格子パターンを単一投影で投影すると、交点又は交差点が直接投影される。
本発明の別の特徴によれば、方法は、投影するステップ、記録するステップ、及び位置合わせを行うステップをオンザフライで継続して行い、対象物の表面形状を表すポイントクラウドを形成し、また表面形状をほぼリアルタイムで表示する。有利には、システムは、投影及び露光期間をセンサと対象物との間の相対速度に適合させること、及び得られた3次元データの動きぼけを回避することを可能にする。
本発明によれば、方法は、曖昧性及び誤データを回避するために疎3次元データを用いるステップを含む。概して、いわゆるシングルショットセンサは、「疎」データを取得する。ライン数を増やし過ぎると、データがあまり疎でなくなり、ラインを大した支障なく固有に識別することができなくなる。
本発明のさらに別の特徴によれば、方法は、
センサを対象物の周りの適当な経路に沿って移動させて複数回の露光を取得することにより、運動速度及びフレームレートを調整して隣接するピクチャが大幅にオーバーラップするようにするステップと、
対象物に関する一連の疎3Dデータを露光から計算するステップと、
3Dデータセットのそれぞれを以前に取得した3Dデータセットと位置合わせし、対象物のほぼ完全な3Dデータセットを得るステップと、
ユーザーに対象物の表面における未カバー領域をカバーするよう促すために、3Dデータの表現をユーザーにリアルタイムで表示するステップと、
を含む。
位置合わせを行うステップを促すために、センサ経路の再構成、リセクション(resection)、及び平滑補間曲線からの再構成センサ経路の偏差による位置合わせ誤差の発見により、位置合わせ誤差を低減及び補正することも可能である。
新規な本発明によれば、センサの測定原理は、3Dデータを生成するために1つのカメラ画像を必要とする。データは疎だが、センサを表面に沿って移動させながら一連の画像を撮影することと組み合わせて、且つ一連の3Dデータの位置合わせにより、このセンサ原理は、本発明による有利なシステムを提供する。
データは疎だが、センサと被検物との間の相対運動が許される。最善の位置合わせを可能にする本発明に関する最適な実施形態では、新規センサは、間欠的に投影される2つの異なるパターンを用いる。これらのパターンは、交互に投影した直交パターンであり、それぞれが3Dデータを生成する。
上記及び他の目的を視野に入れて、本発明によれば、3次元対象物の表面を表すデータを取得するためのセンサであって、
光源及び光学パターンを3次元対象物の表面に投影するための光学系を有し、また光軸を有する投影装置と、
3次元対象物の表面に投影した光学パターンの画像を記録するデジタルカメラであり、所与の光軸を有するデジタルカメラと、
を備え、デジタルカメラの光軸及び投影装置の光軸は、所与の角度を囲んで三角測量面を画定するものとし、前記センサは、また
投影装置及びデジタルカメラに接続してこれらを同期させ、対象物の表面に順次投影した光学パターンの一連の互いにオーバーラップした画像をカメラに記録させる制御ユニットと、
を備えるセンサも提供する。
本発明のさらにまた別の特徴によれば、デジタルカメラはモノクロカメラとする。
本発明の別の特徴によれば、投影装置は2個のプロジェクタを備え、各プロジェクタはそれぞれが、光源、コンデンサ、パターンスライド、及び投影光学系を有し、またカメラの光軸に対して角度をなす光軸を画定し、前記光軸それぞれが三角測量面を画定する。有利には、2個のプロジェクタは互いに直交するパターンを投影し、カメラは2個のプロジェクタの投影パターンを交互に(in alteration)記録し、カメラ及び2個のプロジェクタそれぞれにより画定される三角測量面は互いに直交する。
本発明の代替的な実施形態では、投影装置は、互いに異なるパターンを投影するよう構成した単独のプロジェクタを備え、カメラは、異なるパターンの投影を交互に記録する。さらに別の代替的な実施形態は、単一の「格子」パターンを投影することである。結果として得られるプロジェクタ及びセンサは、電子的な投影パターン切り替えが不要であるため極めて安価且つ構成が簡単である。
有利には、センサは、複雑な表面の取得を可能にする6自由度で移動するハンドヘルドセンサである。取得結果をほぼリアルタイムで表示する表示装置への接続を可能にする出力接続部を提供することが好ましい。
本明細書に記載する発明は、対象物表面の自由に可動な、例えば手動案内式の動作ロバストな取得を可能にする、低費用で取り扱いが容易なセンサを提示する。いわゆる「フライング三角測量(Flying Triangulation)」センサは、単純なセンサ原理を高度なアルゴリズムと組み合わせる。これは、「アクティブ三角測量」に基づくものであり、システムがカメラからの信号を、パターンを交互に被検物に投影する2個の投影ユニット(P1及びP2)と、又は2つ以上の交互パターンを対象物に投影する単独のプロジェクタと、又は単一のパターン(例えば、格子)を対象物に投影する単独のプロジェクタと同期させ、一連の2Dカメラ画像を得るようにする。
以下の本文では、2個の投影ユニットに言及して説明するが、種々の投影パターン又は単独の交差パターンを用いる単独の投影ユニットも、精度は低下するが同等であると理解すべきであり、これを以下で説明する。
2個のプロジェクタは、互いに直交する2つの三角測量方向を成し、互いに直交するラインパターンを投影する。この特徴は、効果的で正確な位置合わせに重要である。各カメラ画像から、(疎)3Dビューが得られる。一連のこれら疎3Dビューを、フィルムとして取得する。3Dビューを相互に整列させる(位置合わせする)ことにより、完全な対象物表面を得る。整列は、一連のビューの取得中に行われる。したがって、センサのユーザーは、対象物表面の可視化を3D空間においてリアルタイムで見ることができる。ユーザーは、関心対象の表面積全体を完全に取得しカバーするように、紛失領域も観測することができ、取得プロセス中にそれらの領域を再巡回することが可能となる。
繰り返し要約するが、3次元対象物の表面形状を光学センサで取得する。センサは、投影装置及びカメラを有し、単一回露光から3次元データを生成するよう構成したものであり、センサを3次元対象物に対して移動させ、又はその逆を行う。パターンを3次元対象物に投影し、投影パターンの一連のオーバーラップ画像をカメラで記録する。一連の3Dデータセットを記録画像から求め、続いて得た3Dデータセット間で位置合わせを行う。これにより、相対位置を追跡せずにセンサを対象物の周りで自由に移動させること又はその逆を行うことができ、3次元対象物の表面形状をオンザフライで求めることができる。
本発明の特徴と見なされる他の特徴を添付の特許請求の範囲に記載する。
本発明は、完全に動的な基準フレームを用いた3次元表面検出の方法及び装置で具現するものとして本明細書において図示及び説明するが、本発明の要旨から逸脱せずに請求項の等価物の範囲内で種々の変更及び構造的変化を加えることができるため、本発明を図示の詳細に限定することは意図しない。
しかしながら、本発明の構成は、その他の付加的な目標及び利点と共に、具体的な実施形態に関する以下の説明を添付図面に関連して読めば最もよく理解されるであろう。
本発明によるフライング三角測量原理のワークフローを示すフローチャートである。 3Dビュー表示の解釈的計算(interpretive calculation)を示す画像シーケンスである。 対象物とカメラチップアレイとの間の基準を索引付けするシステムを示す。 本発明による小型化センサの略図である。 本発明による3Dセンサの例示的な実施形態の概略図である。 センサが投影した垂直ラインパターンの図である。 センサが投影した水平ラインパターンの図である。 カメラが生成した画像を示す。 スライドプロジェクタの概略側面図である。 取り込み、位置合わせ、及び可視化ソフトウェアのアーキテクチャの模式図である。 例示的なセンサ組立体のCAD図である。 歯科用途で用いるセンサの原型(プロトタイプ)の写真図である。
次に図面を詳細に参照し、最初に特に図1を参照して説明すると、図1は歯の情報取得に関連するフライング三角測量原理のワークフローシーケンスを含むフローチャートを示す。第1のステップにおいて、センサの幾何学的較正を行い、3Dデータをカメラ画像から得るのに必要なパラメータを決定する。第1の取得カメラ画像から始めて、アルゴリズムは、3Dビューを各2Dカメラ画像から計算する。その結果を図2に示す。
最初に、センサの適切な位置決めを可能にするために、位置合わせしていない(すなわち未整列の)3Dデータのプレビュー(例えば、2〜4個の3Dデータセットであり、カメラ画像ではない)をユーザーに対してライブ表示する。代替形態では、ユーザーがセンサの適切な位置決めを即座に見るために、カメラ画像(又はビデオ)を表示することも可能である。測定シーケンスの開始後、索引付けモジュールが、観測したラインパターンのラインピースの正確なラベルを、信号処理法を用いて決定する。不正確なラベル付けを回避するために、索引k,l,…を有するラインの画像がカメラ画像内でk,l,…でラベル付けした所定の領域(図3参照)内にのみ発生し得ることを確実にするようラインパターンを選択する。
対象物が測定体積外にある場合、索引付けは誤った結果につながる。この不正確な索引付けは、対象物のこのような外部配置を確実に認識できるようにすることにより回避することができる。これは、測定範囲を超えて対象物を検出するハードウェアソリューション、すなわち付加的な光センサ若しくは超音波センサにより、又は走査中の対象物の先験的知識を用いることにより行うことができる。このようなアルゴリズムソリューションを用いて、索引付けの誤りをアンラッピングにより検出することができる。
次に、サブピクセルモジュールが、ライン毎の各信号における最大強度のサブピクセル精度位置を求め、それに対応する極めて正確な3Dポイントを計算する。最終ステップにおいて、データを位置合わせ兼可視化ソフトウェアにロードしてデータを整列させ、かつこうして得た完全な対象物表面のポイントクラウドの結果を可視化する。
以下の本文で、どのようにしてセンサパラメータを構成するかの詳細を説明する。
アクティブ三角測量センサの主なノイズ源は、スペックルノイズである。対応する深さノイズδzは、式(1)により得る。
Figure 0005583761
式中、Cはスペックルコントラストであり、λは光源の平均波長であり、sin uobsは観測アパーチャを表し、θは三角測量角度である。大きな観測アパーチャsin uobsを選択することにより、又は大きな三角測量角度θを選択することにより、センサの測定不確実性を低減することができる。しかしながら、これらパラメータの大半は、用途により予め決定される。三角測量角度は、陰影作用を最小化するために小さくしなければならず、一般的に歯の測定ではθ〜7°を選択する。観測アパーチャは、式(2)により得た被写界深度を決定する。
Figure 0005583761
パラメータは上述の通りである。口内測定の場合、被写界深度は15mmが適正であり、これには0.01未満の小さな観測アパーチャが必要である。式(1)によれば、観測アパーチャが小さいということは、被写界深度が大きいことを意味するが、スペックルノイズが高いことも意味する。観測アパーチャ及び三角測量角度は、自由に選択できるのではなく用途に適合させなければならないため、スペックルコントラストCが、スペックルノイズを低減するよう最適化できる唯一のパラメータである。
スペックルノイズの低減は、本発明によれば、拡散体積散乱(diffuse volume scattering)を生ずる(歯における測定誤差も低減する)二酸化チタン等の材料を表面に噴霧することと組み合わせて、パターン投影用の光源として(明るい)白色光LEDを用いることにより行うことができる。LEDは、噴霧層の厚さよりも短い可干渉距離を示す。これは、スペックルコントラストCを低減するため、測定不確実性を最小にする。実験の結果、この方法により、スペックルノイズに起因した深度不確実性を低減して、単一の3Dビューにおける総測定体積内で約15mmの大きな被写界深度と同時に30μm未満の測定不確実性を達成できるようになることが分かった。
投影装置は、投影アパーチャsin uproj及び照明アパーチャsin uillを表示する。投影アパャーチャは、可能な限り大きく且つ必要な小さい値となるよう選択する。本発明によれば、パターンプロジェクタの投影アパーチャ及び照明アパーチャ並びに投影されたラインのライン幅は、
a)大きな被写界深度、
b)低い空間コヒーレンス、
c)最適な輝度、及び
d)最適な測定不確実性
が得られるように最適化する。
スライドにおけるライン幅と、被写界深度全体にわたり低いスペックルコントラスト及び高い画像照明で対象物上に適正なライン幅を達成する手段とを選択することは、本発明によれば以下のように行う。投影アパーチャは、投影の被写界深度が用途に対応するよう選択する(例えば、歯の測定では15mm、例えば人体の測定では300mm)。照明アパーチャは、投影レンズにおける光源の像及び投影距離により与える。投影距離を約140mmとして示す図4を参照されたい。
本発明によれば、照明アパーチャは可能な限り大きくし、このことは光源の像が投影レンズのアパーチャ絞り全体を満たすことを意味し、観測アパーチャよりも小さくすべきではない。この特徴は、小さな照明アパーチャと比較してスペックルコントラストを低減する。
この特徴はさらに、所与の光源で最大限に達成できる照明を可能にする。照明アパーチャは、投影されたラインの最適な幅を達成するよう選択する。投影されたラインの幅は、カメラの目標被写体におけるライン像の幅が約3〜5ピクセルになるとき最適である。このとき、カメララインプロファイルのサブピクセル補間で、可能な限り最低の深度誤差が得られる。同時に、対象物表面における方位分解能が最適になる。歯の測定の場合、方位分解能は30μm〜80μmの範囲内とすべきである。
センサは、モデル非依存の較正法を用いて較正する。2つの較正ステップが必要である。
第1に、z座標の較正
z=K(i,j,h)
であり、式中、i及びjは、カメラCCDチップのピクセル座標を指し、h=h(i,j)は、未較正の高さ値であり、Kは、求める必要がある較正関数である。この目的のため、平面状の背景に投影したラインパターンそれぞれのN個のカメラ画像は、測定体積の前方で1つの画像を撮影することにより取得し、次に平面を固定のΔzオフセットだけずらし、第2の画像等を撮影し、測定深度の終点位置における画像を取得するまで行う。ピクセル対(i,j)に対し、測定体積にわたるz較正関数(3次多項式)を求める。
第2に、z較正に基づくx/y座標の横方向較正:
x=K(i,j,z),
y=K(i,j,z)
であり、式中、K及びKは、x較正及びy較正それぞれの(非依存)較正関数を表す。この目的で、n×m個のマーカーから成る較正プレートのM個のカメラ画像を、再度測定体積にわたる固定のΔzオフセットだけ較正プレートを移動させることにより取得する。マーカーの位置を求め、観測した各マーカー位置をその対応の目標値にマッピングする較正関数(3次多項式)を計算する。
2D画像の「ムービー(動画)」を取得する。取得モジュールは、現カメラ画像を取り込んでそれをコンピュータに保存する。ムービーから一連の(疎)3Dビューを、索引付けモジュール及びサブピクセルモジュールと上述の較正法から得た較正関数とを用いて生成する。索引付けモジュール及びサブピクセルモジュールは、ともに合わせていわゆる3Dプロファイルモジュールをなす。
対象物表面の完全な密3Dポイントクラウドを得るために、特定の実施形態ではそれぞれが概ね7000個の3Dポイントから成る全部の3Dビューを相互に整列させる必要がある。これを「位置合わせ(レジストレーション)」と称する。
相互に比較的近接した疎3Dデータの位置合わせは、2つの露光間での相対移動が小さいため、以下のように行う。すなわち、2つのステップが必要であり、最初に粗位置合わせ、次に微位置合わせを行う。粗位置合わせの根底にある重要な概念は、2つの連続した3Dビューを互いに重ね合わせに投影し、それらの距離に基づく誤差関数が最小になるまでそれらを相対移動させるというものである。得られる変換パラメータを、後続の微位置合わせのための開始値として用いる。ここで、2つの連続した3Dビューの最善位置を繰り返し求める。
代替的な粗及び微位置合わせ手法は、独立して(並行して)呼びだすことができるモジュールに基づく。加算器モジュールにおいて、次の3Dビューを整列済みの3Dビューと連続して整列させる。
リアルタイムの粗位置合わせは、本発明の極めて有利なプロセスである。位置合わせ誤差を最小化する前でも、結果を視覚的に表示することが可能である。これにより可視化が可能となるため、ユーザーは、センサを未測定の場所に即座に案内することができる。プロセッサの容量に応じて、正確な表面を得るための微位置合わせを、粗位置合わせと並行して又は測定及び粗位置合わせに続いて行うことができる。本発明によるセンサは、ユーザーに測定中のものを即座にリアルタイムで見せることを可能にする。これが可能なのは、本発明が必要とする疎データが、例えば同時に100万個のポイントを測定及び計算する場合のように位置合わせプロセス中にプロセッサに必要以上の過負荷をかけることがないからこそである。
可視化は、交点における法線を計算することにより行う。交点外のラインに沿っては、断面内での法線成分しか分からない。断面に対して垂直な法線成分は未知である。しかしながら、この成分は、交点における法線から補間される。続いて、これらの成分を用いて表面を可視化することができる。これを標準レンダリング又はシェーディングと称し、所定の場所における仮想光源、対象物法線、及び視点(すなわち、視線方向)を計算して、対象物表面の写実的な画像をユーザーに提示できるようにする。さらに、測定中の密度の増加は、測定中のごく短い時間後に、可視化したポイントクラウドを閉じた曲面のように見せる。さらに、ポイントクラウドを対象物の固定の位置及び向きで表示することが容易に可能であるか、又は対象物をカメラから見たように表示することができる。
写実的表示は、最初は白黒で示されるものであり、これは交点における法線が分かっているため単純な方法で可能である。接続されていないポイントクラウドしか伝送しない他のセンサでは、表面を容易かつ欠陥なく可視化することは不可能である。さらに後述するように、一般的に大半のユーザーに好まれる演色(色レンダリング)及び色表示をすることも可能である。
先に整列させたビューから、その整列(位置合わせ)に関する変換パラメータを推定する。つまり、センサの新たな位置及び向きに関して、リセクションにより利用可能なセンサの運動パラメータを決定し、それら運動パラメータの外挿により推量を行う。この手順は、反復ステップである次のステップの収束をより速く行わせる。このステップは、いわゆる反復最接近ポイント(ICP:iterative closest point)アルゴリズムであり、P. Besl and N. McKay: "A method for Registration of 3-D Shapes," in IEEE PAMI, 14(2) (1992) 239-256に記載されている。ここで用いるICPアルゴリズムは、疎3Dデータに特に適合する。
多重位置合わせモジュールにより、大域誤差を減らすために複数のビューパッケージにおける3Dビューを再位置合わせする。
空間曲線モジュールにより、位置合わせ外れ値を検出して除外する。(既知の)センサ経路をこの目的のために再構成する。一般に、センサは滑らかな曲線に沿って移動する。位置合わせの外れ値がある場合、これは、再構成センサ経路における明確で急激な局部的変化を生ずる。本発明によれば、こうした露光をスキップして位置合わせに用いない。極めて多い回数の露光があるため、データは、誤差を除去する又はノイズを平滑化するために相当量の冗長性を含む。
このセンサ概念に基づく3Dデータセットの位置合わせは、センサが<30μmという高い深さ分解能を有するため、2Dデータの位置合わせよりも正確である。したがって、位置合わせを3Dデータセットで行い、正確で効率的な位置合わせ結果を得る。これは、一方を水平ラインパターンで生成し、他方を垂直ラインパターンで生成した順次隣接する3Dデータセットを用いることにより行う。位置合わせは、3Dデータセットの一方を他方に対して反復移動させることにより行い、これを、横切る垂直ラインパターンと水平ラインパターンと間におけるすべての交差点間の最小距離に達するまで行う。理想的には、異なるラインパターンは互いに直交するものとする。
最終モードは、位置合わせパラメータの大域最適化を行う。この目的のため、最適な位置合わせ結果を見出すために、互いにオーバーラップする3Dビューに対して重みを求める。
加算器モジュールで実行する位置合わせプロセスが失敗した場合、フォールバック法を行う。これは、起伏に富んだ地形上でのテーブル位置のモデルに基づく。基本概念は、凹凸表面上の4脚テーブルで説明することができ、4本の脚を有するテーブルは、凹凸表面(例えば、起伏に富んだ地形)上のどこでも安定して立たない。4本の脚全部が着地するテーブルの位置を探す。テーブルの足は、後続の露光からの(又は他の露光からの)明部(light sections)の交差点として表す。位置合わせ手順は、主に、第4番目の脚の地面に対する距離を求めながらテーブルを移動させることにより機能する。反復により、(所与の最小距離内で)4本の脚全部が地面に接する位置を見付ける。これは、2つのパターンの正確な整列に対応する。
セグメントモジュールが、ポイントクラウドの異なるセグメントを単一のセグメントに整列させる。この目的で、階層データ構造が、隣接した3Dポイントの高速サーチを可能にする。法線と組み合わせて、例えば対応する局所表面特徴を検出して相互にマッピングすることにより、粗位置合わせが可能である。
口内測定用のセンサの例示的な実施形態を、図5に概略的に示す。センサは、カメラ1と、相互に異なる2つのパターンM1及びM2を表面に投影する2個のプロジェクタ2及び3とを備える。例示的な2つのパターンを図6A及び図6Bにそれぞれ示す。図示のように、これらパターンは、相互に平行な細いラインにより画定される。本明細書で用いる用語「ライン」は、破線、点線、一点鎖線等を含む。このような符号化は、ラインの索引付けに有用であり得るため、誤ったライン索引付けに起因して曖昧性が生じる危険を伴わずにライン距離を狭めることができる。用語「ライン」は、ビデオ画像において最小測定不確定性に相当する最良の局在化を可能にするために、ラインの幅を慎重に設計することも意味する。この目的のため、ラインは、ビデオ目標被写体においてガウス断面を有するように見えるよう設計する。細すぎる線は、エイリアシング及び大量のノイズを生ずることになる。最適なライン形状は、カメラ目標被写体において3〜5ビデオピクセルの幅を有する。カメラは、対象物及び投影パターンを見取り、またカメラビューK(K1,K2,…KN)を生成する。例示的なこのようなカメラ画像Kを図7に示す。パターンは、交互に投影するのが有利である。パターンは、例示的な実施形態では概ね平行である複数のラインで形成する。ライン間の離間距離は、測定体積全体のカメラ画像Kにおけるラインの順序が画定され明確であるよう選択する。これに関して図3を参照されたい。パターンM1及びM2のラインは、相互に直交する。カメラの光軸4及びプロジェクタ2の光軸5は、三角測量面を成すよう広がる。カメラの光軸4及びプロジェクタ3の光軸6も、三角測量面を成すよう広がる。カメラ及びプロジェクタの軸は、各三角測量角度θを囲む。例示的な実施形態における角度は7°である。この角度は、口内歯測定センサに特に好ましい選択である。好適には、カメラ及び2個のプロジェクタを、互いに直交する三角測量面に整列するよう配置する。
プロジェクタは、極めて安価に、且つかなりの程度まで小型化して製造することができる。図8を参照すると、プロジェクタ2及び3は光源を備える。これは、例示的な実施形態で示すように1個又は複数個のLEDであることが好ましい。これに関して選択するLED又はLEDアレイは、大きな照明面積を有する。光源は、コンデンサにより投影レンズ(投影色消しレンズ)の瞳に結像させる。これは、瞳を完全に満たすよう行うことが好ましい。これにより、空間的コヒーレンスを低減させ、またしたがって得られるスペックルノイズを低減する。パターンM1及びM2はそれぞれ、スライドパターンとして形成し、これは、例えばフォトリソグラフィプロセスを用いてガラスにエッチングしたクロムにより作製することができる。
代替的な実施形態は、切り替え可能な透明性を有する単独プロジェクタのみ、例えば、LCDディスプレイ又はFLCOSディスプレイ、又はDMDディスプレイを含む。単独プロジェクタは、パターンM1及びM2を交互に投影することを可能にする。この場合、ライン方向は、三角測量面に対して45°未満又は−45°の角度を囲まなければならない。現時点では、2個のプロジェクタを有する実施形態の方が正確であり、2個のプロジェクタの方が単純で明るく安価であるため、この実施形態の方が技術的に優れた解決手段である。
結像アパーチャ、投影アパーチャ、ラインの幅、並びにカメラの観測アパーチャ及びカメラチップのピクセルサイズは、上記で説明したように最適化する。その目的は、(口内歯科測定センサに関して)測定体積全体における単一の3Dビューの測定不確実性が30μmよりも大きくならないことを確実にすることである。
センサの例示的な実施形態は、画像取得、記憶、及び処理のための制御ユニットをさらに含む。ここでは、制御ユニットはコンピュータである。
制御ユニットは、プロジェクタ2及び3の光源を短期間にわたり交互に切り替える。オン時間は、動きアーチファクトがプロセスを著しく妨害できないよう選択する。15msの投影時間がこの目的には極めて適している。投影時間が短く、後続のカメラ画像間の時間間隔Tよりも短いと、連続動作と比較して限られた動作に関してより高い電流が得られ、それに伴って高い輝度が得られる。制御ユニットは、プロジェクタ及びカメラを同期させる。説明したような口腔実施形態では、T=30msであるのに対してオン時間は15msである。センサをより高速で移動させる必要がある場合、より短いオン時間が好ましい。カメラフレームレートが速いほど有用であるが、これは必要条件ではない。
有利な実施態様は、距離又は間隔検出用のシステムの使用を含む。これは、対象物がセンサの所定の測定体積外にあるか否かを判定するのに役立つはずである。例えば、光学的三角測量センサ又は超音波センサがこの目的に供することができる。しかし、カメラ画像のアルゴリズム処理によりこの情報を導き出すこともできる。
繰り返し述べたように、上述の例示的な実施形態は、本発明の測定原理及び概念の多くの用途の1つに過ぎない。この概念は、極めて広い枠内でセンサを容易に拡張することを可能にする。センサを大型対象物、例えば顔若しくは他の身体部分の3D測定、又は人間の全身若しくは他の生物若しくは無生物の3D測定にさえも合わせて拡張することができる。センサのパラメータ要件は、具体的な用途(例えば、作動距離、測定フィールド、センサと対象物との間の相対運動速度等)により決定され、上記情報に従うことにより容易に適合させることができる。アパーチャ、三角測量角度、パターンM1,M2の設計、光源、画像レート等のパラメータは、上述のように決定する。
基本的なセンサ原理は、カラーテクスチャ取得のオプションにより容易に改善することができる。この目的で、一実施形態は以下のようになる。カラービデオカメラ又は高速スチルカメラを3Dセンサの固定位置に取り付ける。視野は3Dセンサの視野と同一である。カメラを標準的な手順により3Dセンサに合わせて較正するため、カラーカメラ標的の各ピクセルを測定3D表面と既知の点で交差する光線に接続する。
3Dセンサと同期させた白色光源は、対象物を特定の間隔で、例えば3Dセンサの20フレームに1回照明する。白色光照明中、ライン投影をオフに切り替えることができる。カラー画像を記憶して3D表面データにマッピングする。カラー画像は見え方が変わるため、カラー値の平滑化が必要である。これは、カラーテクスチャを有する他の光学3Dセンサですでに用いられている標準的なプロセスである。
センサの動作ロバスト性を用いることができるのは、ハンドヘルド案内だけではない。対象物の360°の3Dデータを得る単純な方法は以下の通りである。対象物をターンテーブルに載せ、対象物を回転させながらセンサが上述のようにデータを取る。大型の対象物、例えば自動車、さらには部屋であっても、並進ステージ上のセンサを対象物に沿って駆動することにより取得することができる。この場合、固有精度が並進ステージにより与えられるため、そのセンサ位置のデータを用いて、大域誤差を大幅に減らすことができる。これらの概念の締めくくりとして、当然ながら、コンベヤベルト上を移動する対象物、例えば製造中の自動車を測定することが可能である。
本発明は、多種多様な実施態様で産業上の利用可能性がある。新規センサシステムは、上述の口内センサよりも小さな装置であろうと、又は建物、人間、又は自動車用の、上記センサよりも大きな装置であろうと、様々な用途に合わせて拡張することができる。これらの間のいかなる拡張も容易に適合させることができる。

Claims (20)

  1. 3次元対象物の表面形状情報を取得する方法であって、
    投影装置及びカメラを有して、3次元データを単一回の露光から生成するよう構成した光センサを設けるステップと、
    前記センサと前記3次元対象物とを相対移動させるステップと、
    前記投影装置により前記3次元対象物にパターンを投影し、また該投影されたパターンの少なくとも部分的にオーバーラップした一連の画像を前記カメラで記録するステップと、
    一連の3Dデータセットを前記記録画像から求めるステップと、
    前記センサの経路の再構成、リセクション、及び平滑補間曲線からの前記再構成センサ経路の偏差による位置合わせ誤差の発見により、位置合わせ誤差を低減及び補正して連続して得た3Dデータセット間の位置合わせを行い、前記3次元対象物の表面形状を求めるステップと、
    を有する、方法。
  2. 請求項1に記載の方法において、
    前記記録するステップの直後に第1の3Dデータセットを前記カメラが記録した第1の画像から求めるステップと、
    続いてさらに別のパターンを前記投影装置で投影し、第2の画像を前記カメラで記録し、第2の3Dデータセットを前記カメラが記録した前記第2の画像から即座に求めるステップと、
    前記第1の3Dデータと前記第2の3Dデータとの間で位置合わせを行うステップと、
    続いてさらに他の画像を記録し、さらに他の3Dデータを求め、該さらに他の3Dデータセットと1つ又は複数の以前に取得した3Dデータセットとの間で位置合わせを行うステップと、
    前記センサ及び前記対象物を相対移動させながら、前記3次元対象物の前記表面形状をリアルタイムで求めるステップと、
    を含む、方法。
  3. 請求項1に記載の方法において、前記パターンは、所与の方向に延びる複数の第1のラインと、該第1のラインを横断する、異なる方向に延びる複数の第2のラインとを有する、方法。
  4. 請求項3に記載の方法において、前記パターンは、前記第1のラインで第1のパターンを投影して前記カメラで画像を記録し、続いて前記第2のラインで第2のパターンを投影して前記カメラで画像を記録し、前記第1のパターン及び前記第2のパターンの投影及び記録を交互に続行することにより形成するステップを含む、方法。
  5. 請求項4に記載の方法において、前記第1のライン及び前記第2のラインは、格子パターンの形状で互いに直交するものとした、方法。
  6. 請求項1に記載の方法において、前記投影するステップ、前記記録するステップ、及び前記位置合わせを行うステップをオンザフライで継続して行い、前記対象物の前記表面形状を表すポイントクラウドを形成し、また前記表面形状をほぼリアルタイムで表示する、方法。
  7. 請求項1に記載の方法において、曖昧性及び誤データを回避するために疎3次元データを用いるステップを含む、方法。
  8. 請求項1に記載の方法において、
    前記センサを前記対象物の周りの適当な経路に沿って移動させて複数回の露光を取得し、運動速度及びフレームレートを調整して隣接するピクチャが大幅にオーバーラップするようにするステップと、
    前記対象物に関する一連の疎3Dデータを前記露光から計算するステップと、
    前記3Dデータセットのそれぞれを以前に取得した3Dデータセットと位置合わせし、前記対象物のほぼ完全な3Dデータセットを得るステップと、
    ユーザーに前記対象物の表面における未カバー領域をカバーするよう促すために、前記3Dデータの表現を前記ユーザーにリアルタイムで表示するステップと、
    を含む、方法。
  9. 請求項1に記載の方法において、
    前記投影するステップは、所与の方向に延びる複数の第1のラインよりなる水平ラインパターン、及び前記第1のラインを横断する、異なる方向に延びる複数の第2のラインよりなる垂直ラインパターンを投影し、そして交差点を画定するステップを含み、
    前記位置合わせを行うステップは、一方を前記水平ラインパターンで生成し他方を前記垂直ラインパターンで生成した、互いに順次隣接する3Dデータセットを用いて、前記3Dデータセットの一方を該3Dデータセットの他方に対して、前記垂直ラインパターンと前記水平ラインパターンとの間の全交差点間の最小距離に達するまで反復して移動させるステップを含む、方法。
  10. 3次元対象物の表面形状情報を取得する方法であって、
    投影装置及びカメラを有して、3次元データを単一回の露光から生成するよう構成した光センサを設けるステップと、
    前記センサと前記3次元対象物とを相対移動させるステップと、
    前記投影装置により前記3次元対象物にパターンを投影し、また該投影されたパターンの少なくとも部分的にオーバーラップした一連の画像を前記カメラで記録するステップと、
    一連の3Dデータセットを前記記録画像から求めるステップと、
    連続して得た3Dデータセット間の位置合わせを行い、前記3次元対象物の表面形状を求めるステップと、
    を有し、更に、
    投影及び露光期間を前記センサと前記対象物との間の相対速度に適合させて、得られた3次元データの動きぼけを回避するステップを含む、方法。
  11. 3次元対象物の表面形状情報を取得する方法であって、
    投影装置及びカメラを有して、3次元データを単一回の露光から生成するよう構成した光センサを設けるステップと、
    前記センサと前記3次元対象物とを相対移動させるステップと、
    前記投影装置により前記3次元対象物にパターンを投影し、また該投影されたパターンの少なくとも部分的にオーバーラップした一連の画像を前記カメラで記録するステップと、
    一連の3Dデータセットを前記記録画像から求めるステップと、
    連続して得た3Dデータセット間の位置合わせを行い、前記3次元対象物の表面形状を求めるステップと、
    を有し、更に、
    対象物が前記センサの測定範囲を超えているか否かを、走査中の前記対象物の先験的知識を用いることにより判定して、誤3Dデータをアンラップにより補正するステップを含む、方法。
  12. 3次元対象物の表面を表すデータを取得するためのセンサであって、
    光源及び光学パターンを前記3次元対象物の前記表面に投影するための光学系を有し、また光軸を有する投影装置と、
    前記3次元対象物の前記表面に投影した前記光学パターンの画像を記録するデジタルカメラであり、所与の光軸を有するデジタルカメラと
    を備え、前記デジタルカメラの前記光軸及び前記投影装置の前記光軸は、所与の角度を囲んで三角測量面を画定するものとし、前記センサは、また
    前記投影装置及び前記デジタルカメラに接続してこれらを同期させ、前記対象物の前記表面に順次投影した前記光学パターンの一連の互いにオーバーラップした画像を前記カメラに記録させる制御ユニットと、
    を備え
    前記制御ユニットは、前記デジタルカメラの経路の再構成、リセクション、及び平滑補間曲線からの前記再構成センサ経路の偏差による位置合わせ誤差の発見により、一連の互いにオーバーラップした画像の位置合わせ誤差を低減及び補正する位置合わせステップを行う、センサ。
  13. 請求項12に記載のセンサにおいて、前記デジタルカメラはモノクロカメラとした、センサ。
  14. 請求項12に記載のセンサにおいて、前記投影装置は2個のプロジェクタを備え、各プロジェクタはそれぞれ、光源、コンデンサ、パターンスライド、及び投影光学系を有し、また前記カメラの前記光軸に対して角度をなす光軸を画定し、前記光軸それぞれが三角測量面を画定するものとした、センサ。
  15. 請求項14に記載のセンサにおいて、前記2個のプロジェクタは互いに直交するパターンを投影し、前記カメラは前記2個のプロジェクタの前記投影パターンを交互に記録し、前記カメラ及び前記2個のプロジェクタそれぞれにより画定される前記三角測量面は互いに直交するものとした、センサ。
  16. 請求項12に記載のセンサにおいて、前記投影装置は、互いに異なるパターンを投影するよう構成した単独のプロジェクタを備え、前記カメラは、前記異なるパターンの投影を交互に記録する、センサ。
  17. 請求項12に記載のセンサにおいて、前記投影装置は、複数の第1のラインと、複数の交差点で該第1のラインを横断する複数の第2のラインとよりなる単一格子パターンを投影するよう構成した単独のプロジェクタを備える、センサ。
  18. 請求項12に記載のセンサにおいて、6自由度で移動して、複雑な表面の取得を可能にするハンドヘルドセンサとして構成した、センサ。
  19. 請求項12に記載のセンサにおいて、取得結果をほぼリアルタイムで表示する表示装置との接続を可能にする出力接続部を備える、センサ。
  20. 請求項12に記載のセンサにおいて、さらに、対象物又は該対象物の一部が該センサの測定範囲外にあるか否かを判定するよう配置したセンサ装置を備える、センサ。
JP2012513688A 2009-06-01 2010-06-01 動的基準フレームを用いた3次元表面検出方法及び装置 Active JP5583761B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US18292709P 2009-06-01 2009-06-01
US61/182,927 2009-06-01
PCT/IB2010/001460 WO2010140059A2 (en) 2009-06-01 2010-06-01 Method and device for three-dimensional surface detection with a dynamic reference frame
US12/791,461 US9091536B2 (en) 2009-06-01 2010-06-01 Method and device for three-dimensional surface detection with a dynamic reference frame
US12/791,461 2010-06-01

Publications (2)

Publication Number Publication Date
JP2012529031A JP2012529031A (ja) 2012-11-15
JP5583761B2 true JP5583761B2 (ja) 2014-09-03

Family

ID=43220282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012513688A Active JP5583761B2 (ja) 2009-06-01 2010-06-01 動的基準フレームを用いた3次元表面検出方法及び装置

Country Status (7)

Country Link
US (1) US9091536B2 (ja)
EP (1) EP2438397B1 (ja)
JP (1) JP5583761B2 (ja)
CA (2) CA2957077C (ja)
DK (1) DK2438397T3 (ja)
PL (1) PL2438397T3 (ja)
WO (1) WO2010140059A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200018501A (ko) * 2017-06-26 2020-02-19 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5578844B2 (ja) * 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
EP2654606B1 (en) * 2010-12-21 2021-05-26 3Shape A/S Motion blur compensation
EP2677938B1 (en) 2011-02-22 2019-09-18 Midmark Corporation Space carving in 3d data acquisition
EP3712857A1 (en) * 2011-02-22 2020-09-23 Midmark Corporation Hybrid stitching for 3d reconstruction
EP2527784A1 (de) 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
JP5841353B2 (ja) 2011-05-24 2016-01-13 オリンパス株式会社 内視鏡装置および画像取得方法
FR2977469B1 (fr) 2011-07-08 2013-08-02 Francois Duret Dispositif de mesure tridimensionnelle utilise dans le domaine dentaire
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
DE102011080180B4 (de) 2011-08-01 2013-05-02 Sirona Dental Systems Gmbh Verfahren zur Registrierung mehrerer dreidimensionaler Aufnahmen eines dentalen Objektes
CA2854829C (en) 2011-11-15 2019-07-02 Manickam UMASUTHAN Method of real-time tracking of moving/flexible surfaces
AU2011265572A1 (en) * 2011-12-23 2013-07-11 Canon Kabushiki Kaisha Structured light system for robust geometry acquisition
US9448064B2 (en) * 2012-05-24 2016-09-20 Qualcomm Incorporated Reception of affine-invariant spatial mask for active depth sensing
US9217636B2 (en) * 2012-06-11 2015-12-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium
US8363930B1 (en) * 2012-07-23 2013-01-29 Google Inc. Use of materials and appearances to merge scanned images
EP2950745B1 (en) * 2013-02-04 2018-11-28 D4D Technologies, LLC Intra-oral scanning device with illumination frames interspersed with image frames
US20140329194A1 (en) * 2013-05-05 2014-11-06 Rohit Sachdeva Orthodontic treatment planning using biological constraints
DE102014104993A1 (de) * 2013-06-24 2014-12-24 Qioptiq Photonics Gmbh & Co. Kg Dentalmessvorrichtung zur dreidimensionalen Vermessung von Zähnen
US9772173B2 (en) * 2013-06-27 2017-09-26 Faro Technologies, Inc. Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera
US20150009290A1 (en) * 2013-07-05 2015-01-08 Peter MANKOWSKI Compact light module for structured-light 3d scanning
WO2015060070A1 (ja) * 2013-10-21 2015-04-30 コニカミノルタ株式会社 器官画像撮影装置
US9402070B2 (en) 2014-06-12 2016-07-26 Faro Technologies, Inc. Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality
US10021379B2 (en) 2014-06-12 2018-07-10 Faro Technologies, Inc. Six degree-of-freedom triangulation scanner and camera for augmented reality
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
JP2016096838A (ja) * 2014-11-18 2016-05-30 株式会社東芝 情報処理装置
US9506744B2 (en) 2014-12-16 2016-11-29 Faro Technologies, Inc. Triangulation scanner and camera for augmented reality
US9451873B1 (en) 2015-03-06 2016-09-27 Align Technology, Inc. Automatic selection and locking of intraoral images
CN106164979B (zh) * 2015-07-13 2019-05-17 深圳大学 一种三维人脸重建方法及***
WO2017062044A1 (en) * 2015-10-08 2017-04-13 Carestream Health, Inc. Adaptive tuning of 3d acquisition speed for dental surface imaging
DE102016002398B4 (de) 2016-02-26 2019-04-25 Gerd Häusler Optischer 3D-Sensor zur schnellen und dichten Formerfassung
US10019837B2 (en) 2016-05-31 2018-07-10 Microsoft Technology Licensing, Llc Visualization alignment for three-dimensional scanning
US10136972B2 (en) 2016-06-30 2018-11-27 Align Technology, Inc. Historical scan reference for intraoral scans
GB201612528D0 (en) 2016-07-19 2016-08-31 Machines With Vision Ltd Vehicle localisation using the ground or road surface
NL2017513B1 (en) * 2016-09-22 2018-03-29 Ccm Beheer Bv Scanning system for creating 3D model
CN106802138B (zh) * 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描***及其扫描方法
CN107068017A (zh) * 2017-03-10 2017-08-18 长春中国光学科学技术馆 自适应投影演示装置
US10365650B2 (en) * 2017-05-25 2019-07-30 GM Global Technology Operations LLC Methods and systems for moving object velocity determination
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
EP3658069B1 (en) * 2017-07-26 2024-06-26 Dentlytec G.P.L. Ltd. Intraoral scanner
US11199397B2 (en) * 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
KR20210008025A (ko) 2018-06-06 2021-01-20 매직 아이 인코포레이티드 고밀도 프로젝션 패턴들을 사용한 거리 측정 방법
WO2019243046A1 (en) 2018-06-18 2019-12-26 Lumileds Holding B.V. Lighting device comprising led and grating
DE102018211371A1 (de) * 2018-07-10 2020-01-16 Sirona Dental Systems Gmbh Optisches Messverfahren sowie optische Messvorrichtung
WO2020037582A1 (en) * 2018-08-23 2020-02-27 Carestream Dental Technology Shanghai Co., Ltd. Graph-based key frame selection for 3-d scanning
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
DE102019103519B4 (de) * 2019-02-12 2021-09-16 Carl Zeiss Industrielle Messtechnik Gmbh Vorrichtung zum Bestimmen von dimensionalen und/oder geometrischen Eigenschaften eines Messobjekts
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11150088B2 (en) * 2019-05-13 2021-10-19 Lumileds Llc Depth sensing using line pattern generators
US11726209B2 (en) * 2019-06-25 2023-08-15 Faro Technologies, Inc. Artifact filtering using artificial intelligence
JP2021022807A (ja) * 2019-07-26 2021-02-18 セイコーエプソン株式会社 プロジェクターの制御方法、及び、プロジェクター
MX2022004070A (es) 2019-10-03 2022-05-18 Univ Cornell Optimización de la talla de brasier de acuerdo con la forma 3d de los senos.
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
EP3910286B1 (en) * 2020-05-12 2022-10-26 Hexagon Technology Center GmbH Improving structured light projection through the minimization of visual artifacts by way of deliberately introduced optical aberrations
CN113377865B (zh) * 2021-05-25 2022-07-15 成都飞机工业(集团)有限责任公司 一种飞机大范围表面质量检测***的信号同步方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4825263A (en) * 1987-06-02 1989-04-25 University Of Medicine & Dentistry Of New Jersey Optical method and apparatus for determining three-dimensional changes in facial contours
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US5231678A (en) * 1989-11-15 1993-07-27 Ezel, Inc. Configuration recognition system calculating a three-dimensional distance to an object by detecting cross points projected on the object
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
GB2292605B (en) * 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
GB9515311D0 (en) * 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
US6373963B1 (en) * 1998-02-05 2002-04-16 Textile/Clothing Technology Corporation Systems, methods and computer program for measuring the surface contour of an object
US6549647B1 (en) * 2000-01-07 2003-04-15 Cyberoptics Corporation Inspection system with vibration resistant video capture
US7027642B2 (en) 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
JP4391137B2 (ja) * 2003-06-10 2009-12-24 Jfeテクノリサーチ株式会社 3次元曲面形状の測定装置及び測定方法
US7164789B2 (en) * 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
US7306341B2 (en) * 2005-02-28 2007-12-11 Hewlett-Packard Development Company, L.P. Multi-projector geometric calibration
US7672504B2 (en) * 2005-09-01 2010-03-02 Childers Edwin M C Method and system for obtaining high resolution 3-D images of moving objects by use of sensor fusion
WO2007105215A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
US7978892B2 (en) * 2006-10-25 2011-07-12 D4D Technologies, Llc 3D photogrammetry using projected patterns
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
US8311306B2 (en) * 2008-04-30 2012-11-13 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
EP2286368B1 (en) * 2008-05-06 2013-09-04 Flashscan3d, Llc System and method for structured light illumination with frame subwindows
JP5317169B2 (ja) * 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
WO2010021744A1 (en) * 2008-08-21 2010-02-25 California Institute Of Technology Microscope coupled tissue sectioning system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200018501A (ko) * 2017-06-26 2020-02-19 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기
KR102568462B1 (ko) 2017-06-26 2023-08-21 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기

Also Published As

Publication number Publication date
PL2438397T3 (pl) 2019-05-31
DK2438397T3 (en) 2019-01-28
CA2762038A1 (en) 2010-12-09
CA2957077A1 (en) 2010-12-09
CA2957077C (en) 2019-07-02
CA2762038C (en) 2017-04-25
US20100303341A1 (en) 2010-12-02
WO2010140059A2 (en) 2010-12-09
EP2438397A2 (en) 2012-04-11
WO2010140059A3 (en) 2011-01-27
JP2012529031A (ja) 2012-11-15
US9091536B2 (en) 2015-07-28
EP2438397B1 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
JP5583761B2 (ja) 動的基準フレームを用いた3次元表面検出方法及び装置
US10064553B2 (en) Detection of a movable object when 3D scanning a rigid object
JP5346033B2 (ja) 物体の三次元形状を光学的に測定する方法
WO2019015154A1 (zh) 基于单目三维扫描***的三维重构方法和装置
US8923603B2 (en) Non-contact measurement apparatus and method
Davis et al. A laser range scanner designed for minimum calibration complexity
JP5757950B2 (ja) 非接触物体測定
Bouguet et al. 3D photography using shadows in dual-space geometry
JP2019516983A (ja) 3次元走査システムおよびその走査方法
WO2004044522A1 (ja) 3次元形状計測方法およびその装置
CN110940295B (zh) 基于激光散斑极限约束投影的高反射物体测量方法及***
CN114998499A (zh) 一种基于线激光振镜扫描的双目三维重建方法及***
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
JP6293122B2 (ja) 歯の状況の測定方法
Ettl Introductory review on ‘Flying Triangulation’: a motion-robust optical 3D measurement principle
Arold et al. Hand-guided 3D surface acquisition by combining simple light sectioning with real-time algorithms
Berssenbrügge et al. Characterization of the 3D resolution of topometric sensors based on fringe and speckle pattern projection by a 3D transfer function
Kahn et al. Fusing real-time depth imaging with high precision pose estimation by a measurement arm
JP2004170277A (ja) 3次元計測方法、3次元計測システム、画像処理装置、及びコンピュータプログラム
DK2428162T3 (en) Method of recording data for three-dimensional imaging of intra-oral cavities
ES2782075T3 (es) Detección de un objeto móvil al escanear en 3D un objeto rígido

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140716

R150 Certificate of patent or registration of utility model

Ref document number: 5583761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250