JP2014524795A - 歯科分野で使用される三次元測定デバイス - Google Patents

歯科分野で使用される三次元測定デバイス Download PDF

Info

Publication number
JP2014524795A
JP2014524795A JP2014517983A JP2014517983A JP2014524795A JP 2014524795 A JP2014524795 A JP 2014524795A JP 2014517983 A JP2014517983 A JP 2014517983A JP 2014517983 A JP2014517983 A JP 2014517983A JP 2014524795 A JP2014524795 A JP 2014524795A
Authority
JP
Japan
Prior art keywords
image
field
measuring device
camera
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014517983A
Other languages
English (en)
Other versions
JP6223331B2 (ja
Inventor
デュレ,フランソワ
ケルブ,オリヴィエ
ケルブ−デュレ,ヴェロニク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2014524795A publication Critical patent/JP2014524795A/ja
Application granted granted Critical
Publication of JP6223331B2 publication Critical patent/JP6223331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00018Operational features of endoscopes characterised by signal transmission using electrical cables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • A61B1/0019Optical arrangements with focusing or zooming features characterised by variable lenses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】高精度のデジタル化を導く、高速で瞬間的な動的3D読取り、利用分野に応じた被写界深度での測定、そして3D/2Dのリアルカラー表示のほぼリアルタイムでの利用可能性、構造化された活性光の使用または歯を覆うコーティングの追加のない、データ記憶と転送を組合せた、口腔内読取り用のセキュアな立体視方法を提供する。
【解決手段】歯科分野で使用され、活性のまたは構造化された光の投影の不在下での測定を目的とした三次元測定デバイスが画像キャプチャ手段と画像のデータ処理手段とを含み、画像キャプチャ手段(38、39)が、少なくとも二つの画像を同時にまたはほぼ同時にキャプチャできるように設計された手段で構成され、該二つの画像のうちの一方は他方の画像の中に完全にまたは部分的に包含されており、前記包含された画像は、他方の画像の被写界よりも狭い被写界を描写し、かつ他方の画像の精度よりも高い精度を有する。
【選択図】図4

Description

本発明は、特に歯科向けの、構造化された活性光の投影が無い、高精密度かつ広被写界の非接触光学カラー印象を介した、新規のセキュアな三次元測定デバイスに関する。
本発明は、人体の構造的無欠性および1ミクロン範囲の精度を保証する。本発明は、例えば、口腔内写真記録および診断補助のため、医療および歯科分野において利用可能である。
本発明には、以下のものが含まれる。
1)物体の寸法を測定するために活性または構造化された光の投影を全く使用しない小型三次元読取りシステムであって、
a)一つ以上のCCDまたはCMOSタイプの電子センサーおよびそれに付随する光学系と、
b)最終的に、歯または歯肉の表面において最終的な病理診断を可能にする一つまたは複数の波長の一つのLEDまたはOLED照明と、
c)一つまたは複数のセンサーを補助、制限、さらには置換するための一つ以上の加速度計/ジャイロ/3D磁力計と、
で構成された小型3次元読取りシステム、
2)アナログ/デジタルデータおよび管理データを変換するための中央ユニット、
3)ほぼリアルタイムでの3D空間的分析、測定対象の物体の動き(movement)を分析するための時間的分析、3Dで測定された表面と直接相関でかつリアルタイムでこれらの物体の色を分析するための比色分析を可能にし、入念に選択されたLED/OLED光放射の反射、グローバルなまたは選択的なペネトレーション(penetration)を介した診断のための補助を提供する、付随のソフトウェア、
4)IHM communication「ハードウェア」および「ソフトウェア」セット(スクリーン、キーボード、モデムなど)。
本発明は、光学3D印象記録用システムが直面している根本的な問題を解決することを可能にする。本発明は、歯科向けのリアルカラーおよびリアルタイムの情報を提供する。それは、カメラのフロントレンズから10mm以内に位置設定された歯について、少なくとも20×30mmの表面積および少なくとも15mmの被写界深度で、少なくとも10〜15μmの精度で、いかなる構造化された活性光も投影することなく物体を測定する。
プロテーゼを作るためまたは診断を行うために口内またはモデル上の光学印象(optical impression)を記録するさまざまな方法が存在する。1973年にこのような技術の発明者であるFrancois Duretが「Optical impression」という題のその第二課程学位論文(DDS)第273号中で初めて導入した「光学印象」という用語は、ペーストまたはプロービングを用いた従来の印象方法に代る、非接触光学手段による口腔および医療環境の3D測定および診断分析を意味している。
歯科分野において、とりわけ数多くの論文および1980年5月9日付け特許(FR80.10967または米国特許第4,663,720号明細書および米国特許第4,742,464号明細書)、1982年4月14日付け特許(ベルギー特許第0,091,876号明細書、米国特許第4,611,288号明細書)、1982年11月30日付け特許(欧州特許第0110797号明細書、米国特許第5,092,022号明細書)、1984年3月27日付け特許(FR84.05173)、1987年2月13日付け特許(FR87.02339または米国特許第4,952,149号明細書)またさらには1992年6月26日付け特許(FR92.08128または国際公開第94/00074号)中に記載のDuret博士の研究については、さまざまな技術において見られる通り、1980年代初頭以降、数多くの著者が同調を表明しており、それらの技術は以下のように要約することができる。
1)活性のまたは構造化された光の投影を用いる技術。これらのシステムにより使用される最も単純な方法は、ドット、ライン、さらにはフル・グリッドであってよい構造化された光を物体上に投影することからなる。この光は、物体を走査し、光投影の軸に対して3°〜10°の範囲内の角度を成して位置づけされた一つまたは複数のCCDまたはCMOS2Dカメラにより追跡される。これらの技術は、過去数十年にわたり広く知られており、G Hauslerおよび共同研究者による論文「light sectioning with large depth and high resolution」Appl.Opt.27(1988)中に充分に記載されている。これらは、多くの開発の対象となっており、特に歯科技工所においてデスクトップスキャナーにより使用されている。
より進んだ方法は、可変ピッチグリッドの形で、構造化された活性光を歯に対し投影することからなる。この種のフリンジ投影のための最も一般的な技術は、M.Altschulerおよびその共同研究者によって初めて、SPIE、vol 283 3−D(1981) Machine perception中に「Numerical stereo camera」という題で記述され、この刊行物に対し、M Haliouaおよび共同研究者によるAppl.Opt.23(1984)中の「Automated phase measuring profilometry of 3D diffuse objects」などの他の著者が同調した。それは、一連の可変ピッチグリッドを投影することからなる。より広いピッチを有するグリッドは、全般的情報およびzでのラインのグローバルな位置を提供するのに役立ち、最も細いラインは読取り精度を精緻化するのに役立つ。
これらの研究および発明の全てが、多くの実施形態および二十を超える市販のシステムを導き出した(F.Duret、the dental floss No.63、May 2011、「the great adventure of CADCAM at IDS in Cologne」14〜26)。例えば、スポット走査システム(Cera system製Cera,GC and Nikon製GN1)、ライン走査システム(DCS製Titan,Straumann製Ekton)、可変ピッチフレーム走査システム(Degudent製のCercom、Hint−Els製のDigident、Kavo製のEverest、3M製のLavascan、Wielan製ZenoまたはWol−dent製のWol−ceram)を用いたシステムが挙げられる。
これらのシステムは、速度が遅すぎて(1秒〜1分)口内で使用できない。患者や作業者のわずかな動きでも、完全な読取りおよび2D断面表示を3D画像に変換するのに必要な写真相関を妨げる。さらに、ライン間には全く情報が無く、そのため異なる方向での一連の読取りが必要であり、このことがさらに読取り時間を著しく延長させる(完全な読取りには、歯一本につき最長4分間)。
最後に、より近年において、投影されたフリンジの空間的位置をより容易に決定するために、可変色の複数のフリンジを使用するクロマティック形状測定技術が提供された。それは、Cohen Sabban、BV F 2758076により形状測定法として記述されており、Pro50(Cynovad−カナダ)の名称で市販されている。
口腔内読取りの要件を満たすため、より高速のシステムが提供された。最初のシステムは1985年フランスにおいて、Duret system(Vienne−フランス)の名称で市販され、特許(FR82.06707または米国特許第4,611,288号明細書)、(FR82.20349または米国特許第5,092,022号明細書)および(FR87.02339または米国特許第4,952,149号明細書)中に記載の通り、コニカル投影における形状測定位相のシステムを使用していた。この技術は、MoermannおよびBrandestiniが、それらの特許、米国特許第4,575,805号明細書および米国特許第4,837,732号明細書中、または1989年の「Die Cerec Computer Reconstruction」、1996年の「CAD/CIM in Aesthetic Dentistry」、および2006年の「State of the art of CAD/CAM restoration」など、この問題を取扱ったそれらの著書の中で採用し、大成功を収めた。この方法は、Jones,T.N.の1999年の特許(米国特許第6,409,504号明細書)中に見られるように、徐々に改良されてきた。
これは、わずかな位相シフト(一般にπ/2)を伴って平行または円錐放射にしたがって歯の上に投影されるフレームの形をした活性の構造化された光の投影技術であり、一連の2D写真獲得(100ms単位で)を行い、連続写真を記録する間患者およびカメラが完全に静止していることを条件として、第三次元を見出すことができるが、この条件は、カメラの電気光学的機構が可動であるためになおさら、臨床行為中の達成は今なお困難である。
わずかに異なるが、口内での構造化された活性の投影を使用する他のシステムが提供されてきた。
最も単純なシステムは、FR84.05173中に記載の通り、歯の表面上に単一タイプのグリッドを投影することからなる「OralMetrix」である。したがって、これは、構造化された光の単一の投影と結びつけられた能動的なトライアンギュレーションである。単独のカメラがグリッドの変形を読取り、記憶されたグリッドとの比較によって、そこからの距離zを導き出すものであり、変形されたグリッドの2D像と結びつけられた毎秒六個の写真の獲得は、写真記録中のシステムの精度および安定性を低くする。
第二のシステムは、Hint−Els社(アメリカ)製の「directScan」である。それはフリンジ投影と位相相関を組み合わせている。この方法は、二つのステップ、すなわち、異なるピッチを有する二つの一連の直交グリッドを次々に投影するステップ、そして次にCCDの画素のレベルでドットの位置に応じて得られた写真を相関するステップで行われる。これは形状測定位相の改良であるが、処理時間は約200msであり、そのため、これを口内で使用することは非常に困難である。測定値は誤ったものであることが多い。
提供された第三のシステムは、多くの50μmのレーザードットが異なる被写界深度で投影される「平行共焦点画像」の原理に基づく、Cadent社製のiTeo system(米国特許第0109559号明細書)である。標的部域のこの走査には、単一の画像記録軸を有すること、および画像の再記録という利点があるが、約300msを要する。したがって、器具は、画像の記録中に動いてはならない。その上、この技術は複雑であるため、iTero systemは極めてかさが高く、こうして、口の深さ方向の画像の記録は限定される。
第四のシステムは、G.Hausler(米国特許出願公開第2010/0303341号明細書)によって提供されたものである。異なる配向の複数の構造化された光のグリッドが、歯列弓上に投影される。これにより、最初の変形グリッドと次のグリッドとの間の相関を介して、第三次元を直ちに見出すことができる。この方法は、たった一つだけの画像の記録を可能にするものの、物体自体の全てのドットではなく、変形グリッドのドットしか測定しない可能性があるというデメリットを有する。
活性の構造化された光の投影に基づくこれらの方法においては、分析対象の物体を3Dで再構成できるようにする複数の2D画像が得られる。これらの方法は、投影される光が精細でかつキャリブレーションされており、可動機構が経時的に安定していることから、より精度の高いものである。残念なことに、これらの方法のいずれも、物体自体を測定せず、投影された光の変形しか測定しないため、測定されるドットの数は制限され、分析対象の3D表面を正確に再構成するための重要な部域が隠される可能性がある。
さらに、コーティングと呼ばれる白色層で物体を被覆するか、またはモデルを測定する場合には特殊なプラスターを使用することが求められる場合が非常に多い。実際、歯の鏡面反射は非常に感応性が高く、それ自体の色に応じて、投影された構造化された光に対してさまざまな形で反応する。
これにも同様に、測定の精度に関する主要な欠点がある。構造化された活性光は、その出力のため、歯の表面層内にペネトレートし、外側表面の正確な決定に不正確さを与える。
これらのデバイスのキャリブレーションは複雑であり、マウンティングも常に非常に複雑かつ高コストである。
最後に、投影角度は、多くの場合、画像のリカバリ角度と異なることから、シャドウ効果によってコード化されないシャドウ部域が存在することになる可能性があり、これにより多くの操作が必要になる。同様に、ライン間に全く情報が無いという点も指摘しておくべきである。
一部のシステムは、構造化された光の投影を、それを除去すること無く限定することを試みた。この目的のために、これらのシステムは、非常に小さい投影された部分を従来の2D立体視映像と結びつけた。同一のカメラが二台使用され、物体上に可変的形状を有する標的またはラインが投影され、物体の表面を走査しながら全体が移動させられる。二台の2Dカメラは、従来の立体視ユニットを形成し、その両方の情報は、二つの写真内に見える投影された標的によって相関される。このシステムは、Steinbichler Opt.(Neubeuern−ドイツ)製のT−scan3センサーまたはUneo(Toulouse−フランス)によって市販されている。上述の方法と同じ欠点を有するこれらの方法は、さらに精度が欠如していることを理由として、また特に、これらの方法は、投影された標的が常に表示されていることを必要とし、歯の場合のようにきわめて鏡面反射が強いか、または均一な表面上ではそれは未だ困難であることを理由として、歯科で応用することは全く不可能である。
2)活性のまたは構造化された光の投影を使用しない技術
立体視口腔内システムを使用することを最初に提案したのは、D.Rekow(J.of Dent.Practice Administration;4(2)52−55(1984))であった。このシステムにおいては、歯の上に固定した基準を用いて複数の獲得を行い、次にKodak Eikonixデバイスを用いてこれらのフレームを読取ることが必要である。立体視という名称で周知であるこの古来の方法は、精度が低く、その実施に時間がかかるものであることが判明している。この方法は、近年、Denzen Caoの米国特許出願公開第2009/0227875号明細書(Sandy−アメリカ)およびSteinbichler Opt.欧州特許出願公開第2,166,303号明細書(Neubeuern−ドイツ)によって再び提案されたが、Rekowによるシステムに比べ何ら改良点が見られず、特に、近接立体視に対応する口腔内写真の記録中の極めて重要な問題である精度および基準ドットの決定、被写界深度の解像度に対処がされていなかった。このようなシステムは、フロントレンズから5mm以内のところに置かれた物体について20mmの被写界深度で20μmの精度を達成することが望まれる場合、口内で実施することが不可能である。
例えばC.Tomasi および共同研究者「Shape and motion from image streams under Orthography:a factorization Method」、Int.J.of Computer Vision 9(2)1992に記載された「3D from motion」(「カメラ動作からの3D形状復元」)と呼ばれる技術を用いたシステムについても、同様の指摘を行うことができる。このシステムは、もはや、先に見てきた活性光を使用せず、同じ解像度を有する二つのカメラを用いて従来の立体視映像により測定された部域の受動的照射のみを使用する。残念なことに、該著者らにより記述されている従来の状況下では、投影された標的の無い写真の相関関係およびコード化の無い部域が多数存在することによって、このシステムを歯に使用することは不可能になっている。これは、Rekowが想起させた問題を解決するものではない。
このような理由から、近年、3MがそのLavaCosカメラを介して市販しているBirisシステムに基づくActive Wavefront sempling(AWS)(活性波面サンプリング)によるシステムが、2008年に市場に導入された(Rohaly and Co.米国特許第7,372,642号明細書)。このシステムは、回転ディスクによる、物体の非常に小さな部分の単一ビュー走査を使用する。焦平面内のビューの位置の直径およびマウンティングの光学軸との関係における焦点距離の機械的変動により、小被写界深度で測定された小さな部域の空間的位置を知ることができる。残念なことに、このシステムは、実装コストが高く、複雑で、走査部域が非常に小さいために作業者は測定すべき部域全てにわたりゆっくりと移動する必要がある。
我々が開発したものを含め技工所用システムであるか口腔内カメラであるかに関わらず、これらのシステムは全て、プロテーゼを作製するかまたは診断を行うことを目的とした、良質の情報を得るために求められる品質を提供するものではない。さらに完全な分析を行うことによって、これらのカメラが、使用される方法のまさに原理において、非常に重大な欠点を有することがわかる。これらの欠点は、それら欠点がこれらの方法の選択に関連していることから、避けることのできないものである。
a)これらのシステムは全て、口内であれ、皮膚上であれ、または技工所内(モデル上)であれ、機械的手段、光学的手段または電気光学的手段による表面走査を使用している。このフリンジ走査またはフレーム走査は、非常に高速であるものの、それがカメラ自体における動きを必要とし、その動きは、ぼやけた部域または寄生的動きをひき起こす可能性があり、このことが写真の一部の除去を導く場合が多い。
b)この走査は、(数立方センチメートルの)マクロ写真内のすでに著しく低減されている被写界深度を有意に制限する。
c)物体の表面のドットは測定されず、この物体の表面上の光の投影の変形が測定される。この第一の特徴から、「コーティング」と呼ばれる白色層で歯を覆うことが開発者に求められ、これは、原理上、物体の実測を劣化させる。このことは、実際に多くの場合、口内のカメラの使用における不便さおよび不正確さの両方として表現される(Beuttell,J Int.J.Cumputerized Dent.1998 1:35−39)。
その上、充分な信号対雑音比が求められる、極めて優れた結晶質の器官である歯の表面の正確な位置を測定する上で、ペネトレーションひいては不正確さが一切望ましくない場合には、この層が義務的であることが多い。
d)このことから、一部のメーカーは、ブルーレイまたは紫外線などがそうであるように、歯を「不透明」にする放射線を使用するに至った。このような理由で、本発明者は、1985年にADFに対して、アルゴンレーザーの使用を提案した。これは、ユーザーにとって制限的であり、患者にとって危険でさえあり得る。
e)さらに、物体を測定せず、投影された光の変形、すなわちドット、ライン、変化する形状のフレームまたはこの光の位相を測定することは、物体の色、色合いおよびその測定値の間で、リアルタイムにおいて完全なマッチングを得る可能性は全て奪われる。リアルタイムに得ることのできる唯一の色は、投影された光の色だけである。
f)臨床処置中に極めて重大である構成要素の故障が発生した場合、臨床医がその外科的処置を続行できるようにする即効的解決法は全く存在しない。
g)リカバリされるのがフリンジの光を表すモノクロ画像のみであることから、3D読取りから2Dカラー読取りへの移行は、歯科において診断にそれを使用する場合は全く不可能である。
h)最後に、形状測定または走査による分析技術では、第三次元を抽出することができるように同じスポットの多数の写真を記録することが求められる。このことは、最初の写真と最後の写真との間のデータ歪曲の危険性を結果としてもたらし、相関関係および精度における大きな誤差を導く。「動き」は常に、このタイプの技術にとって脅威であった。
結局、一本の歯の測定が可能であるにせよ、大部分の場合において、物体自体の測定ではなく、投影された光の測定が行われる。投影光を使用しない場合には、複雑でコストの高い焦点ぼかしシステム(defocusing system)を使用しなければならない。提案されるコストが極めて高くなる理由はここにある。何十年にもわたり提供されてきた立体視システムだけに関しては、これらには革新的なところは全く無く、したがって、不正確で、扱いに時間がかかり、複雑で、実装コストが非常に高い。
歯/カメラの近接性、実施の高速性、所要精度、かなり広い表面上での実際の色および被写界深度の測定を満たすための、単純かつとりわけセキュアな解決法は全く発見されていない。
本発明の目的は、全て非常に精度の高いデジタル化に導くものである、非常に高速、さらには瞬間的な動的3D読取り、意図された利用分野に対応する被写界深度での測定、ならびに3Dまたは2Dのリアルカラー表示のほぼリアルタイムでの利用可能性、構造化された活性光の使用または歯を覆う「コーティング」を追加することのない、データの記憶および転送を組合せた、口腔内読取り用の新規でかつ非常にセキュアな立体視方法を提供することによって、上述の欠点を解決することにある。
歯科分野で使用される本発明に係る三次元測定デバイスは、活性のまたは構造化された光の投影のない測定を目的とし、画像キャプチャ手段と前記画像用のデータ処理手段とを含み、前記画像キャプチャ手段が、少なくとも二つの画像を同時にまたはほぼ同時にキャプチャできるように設計された手段で構成され、二つの画像のうちの一方は他方の画像の中に全体的にまたは部分的に包含されており、前記包含された画像が、他方の画像の被写界よりも狭いものである被写界を描写し、その精度が他方の画像の精度よりも大きいことを特徴としている。
本発明は、全ての歯科医院および診療所で使用可能であると同時に、歯科−プロテーゼ技工所において手持ち式器具としても使用可能である、適応性のある安価な解決法を、簡略化された、かつ患者に優しい形で提供することにより、明記された課題を解決する。
詳細には、本発明は、上述の多くの課題を以下のように解決する。
1)従来の歯科用立体視法の新規でかつ独創的な機構を介して、口内の歯が常にそうであるように、マウンティングのフロントレンズの近くにある物体にとって極めて重大である、光学軸間の差に対応する二つの画像記録間の盲点の問題が制限される。
2)オリジナルなソフトウェアの配置を使用することにより、臨床処置中にセンサーの一つが故障した場合に、一つの単一センサーを用いて立体視写真を得ることが可能であり、この解決法は、単純で、安価であり、かつ口内でのかさが低い。
3)最終的に、3D加速度計/ジャイロスコープ/磁力計を追加することにより、特にセンサーの一つが故障した場合に、写真の互いの相関を早め、容易にすることが可能である。
4)異なる焦線を選択することにより、口内の印象の臨床的光学記録の精度および速度の問題を解決することができる。このことは同様に、広い被写界上での全般的な比較的精度の低い記録と、より狭い被写界上での高速で精度の高い記録とを、臨床的ニーズに応じて、組合せるかまたは分離することもまた可能にする。
5)新しいレンズ、特に液体レンズを選択することにより、複雑な機械的調整機器を削除することができ、こうして、口腔内空間が非常に小さいために測定システムの非常に近くにある物体についての、歯科医学における有効被写界深度での測定が保証される。
6)構造化された活性光の変形の測定を使用しないことによって、身体画像の実表面にカラーで直接働きかけることになる。こうして、例えば、人体の一定部分を手作業でまたは自動的に選択すること、例えば歯および歯肉を別個に識別することが可能になる。
これにより、以下のことも同様に可能になる。
− 不正確で冗長である、測定対象物体の「コーティング」による被覆を強制されないこと。
− 活性の構造化された光の投影が放棄されることで、歯の内側に尺度ベクトル光を全くペネトレーションさせないこと。
− 相同ドットのマッチングを容易にするため、読取られた部域のカラーを使用すること。これは、表面が規則的かつ均一であり続ける口の中では非常に重要である。
− 有効性を高め、全体の表面(全口蓋弓)またはこれらの表面の動き(下部歯列弓との関係における上部歯列弓の動き)を測定するための読取り時間を削減すること。
− セルフキャリブレーションを可能にし、あらゆる経時的調整をことごとく無くすること。
− 写真記録中の「動き」に起因する、あらゆるぶれ効果を回避すること。
7)実装される手段にとって、デバイスは製造が単純であり、このため極めて耐久性が高くなっている。
これにより、同様に、以下のことをも可能になる。
− 特にCCD、CMOSまたはLEDなどの、使用される電子構成要素の普及に由来して、製造コスト、ひいては販売価格を著しく削減すること、
− 全てのタイプのコンピュータとのUSB互換性接続によってかまたは単にバッテリ電源によって提供することのできる、電力供給の削減を可能にすること、
− 製造中、CMOSまたはCCDセンサーを互いに対し既定の不変かつ固定した空間的位置に保つことにより、物体またはカメラの(互いとの関係における)動きを知る必要性を回避し、不一致の問題を、散布図における単なる密度相関の問題へと、問題を減らすこと、
− 3D画像の空間的分析から、ソフトウェア操作を使用することのない、歯科における一般的診断に有用な2D画像の平面的分析へと移行できること、
− 標準的3Dスクリーン上で3D表示を得ること。これは、本口腔内システムの複雑な処理が無い場合には不可能である。
本発明は、口の構造的無欠性を保証する、すなわち写真の口腔内記録のために歯科分野において利用可能であると同時に、歯科診断のための補助もこれらの部域内で行うことのできる、口内の光学カラー印象を用いた、新規の三次元かつ時間的測定デバイスに関する。
本「ハードウェア」のマウンティングにしたがって、歯科の専門家にとって必要な高速性および精度の要件を満たし、かつ立体視映像を一つまたは二つのセンサーに限定できるようにする「ソフトウェア」の方法が提供される。
それは、以下のもので構成されている。
少なくとも二つのセンサーからなる小型のオリジナルな立体視システム、なおそのうち、
1)一方のセンサーは、広い平均精密度の被写界を検分し、他方のセンサーは、前記被写界の中に全体的にまたは部分的に包含される、より高い精度を有するより狭い被写界を検分する。
広い被写界は、画像の充分に大きい全般的記録を可能にして、口内で施術者が長時間の冗長な走査を行うのを回避させる。
一部の部域が特に重要でより高い精密度を必要とすることから、広い被写界の中に狭い被写界が包含され、こうして、口全体を義務的に走査すること無く、必要な場合に特定の情報を検出することが可能になる。こうして、写真間の相関のために、いくつかの重要な相同スポットをより良好に定義づけることも可能になる。
同様に、こうして、大きい被写界内への小さい被写界のこの部分的なまたは全体的な包含により、より広い空間内の特定のかつ極めてローカライズされた部域の位置を非常に迅速に発見することができるので、「ソフトウェア」のほぼリアルタイムでの動作も可能となる。
大きい被写界のレベルおよび小さい被写界のレベルの両方において、より大きな臨床部域を測定したい場合には、これらのセンサーを増加できるということは明白である。
2)センサーに結びつけられた光学系は、二つの異なる精密度レベルを可能にするために、異なる焦点距離を有する。したがってカメラのヘッド内に包含された例えばCCDまたはCMOSなどのセンサーが受信する画像は、例えば20μmの範囲内の平均精度を有する全般的な画像、および、広い被写界内に全体的にまたは部分的に包含されたより高い精度(5〜10μm)とより多くの情報を有する相補的画像である。したがって、全部域の5%未満だけに必要とされる精度の高い情報を得るために、口全体を走査する必要はない。
3)このシステムの利点は、二つの被写界が非常に類似していることから、これらの被写界の相関を容易にすることだけで無く、クロックまたはパルス式読取りシステムを使用する必要無くセンサーの数を制限できるということにある。実際、二つの被写界の近似は、複雑ないかなる電子システムを用いること無く、単一の広被写界センサーまたは二つのセンサーを使用できることを示している。それはまた、常に脆弱で口内で非常にかさ高な、光反射ミラーまたは画像反射ミラーの使用を回避できるようにする。
4)被写界は、カラー3Dまたはグレースケール情報を計算するために必要な情報を生成する、カラーまたはモノクロのCMOSまたはCCDタイプのものであり得る一つまたは複数の電子センサーによって読取られる。したがって、これらのセンサーは、リアルタイムのカラーまたは白黒強度の測定を行う。こうして、測定された色は、歯および歯肉の実際の色である。
これは、とりわけ以下のことを可能にすることから、非常に重要である:
a.画像内で歯肉と歯を自動的に分離すること、
b.CADCAMソフトウェアのための一部の重要な色を識別すること、
c.三次元表面上で歯の色を測定すること。
5)この情報は、作業者およびそのアシスタントが口内のカメラの動きをリアルタイムで追跡できるようにするためのビデオによる処理、または、ほぼリアルタイムのカラー3D再構成を有することおよび歯科用CAD/CAMソフトウェア処理の利点を得ることを可能にする、アナログ−デジタル変換後のデジタル処理、またあるいは、全ての利用可能な情報を作業者に提供するビデオとデジタルのデュアル処理のいずれかによって処理される。
これによって、同様に、作業者は、「ソフトウェア」のところで記載される通り、リアルタイムで充分に測定されなかった部域を知り、そこに戻ることができる。
6)シーンを読取る光学系は二つの異なる焦点距離を有する。このデバイスの利点は、以下のものを有することができるという点にある。
a.高い精密度を必要としない焦点距離、そして調整システムを必要としない単一の固定焦点距離を有することができる。それは、実際、20〜25μの精度についてレンズから10mmのところで20×30×15mmの被写界を有することが光学的に可能である。
b.高精密度の焦点距離(5〜10μm)、ただしその被写界深度は、先行する被写界深度の中に包含される。zでの走査は、こうして常に単純であり先験的に知られることになる。したがって、z(被写界深度)での走査は、およそ5〜10の異なるレベルに限定される。
c.所望の精度の自由な選択および増加を可能にする、高精密度の焦点距離および可変ズーム。
7)施術者による口内の読取りを、施術者がスクリーンを監視する必要無く、容易にするために、包含された画像の被写界および/または他方の画像の被写界を取り囲む有色光の少なくとも一つの円を投影するための手段がデバイスに含まれることが予測されている。すなわち、
a.最終的におよび好ましくは、広被写界の読取りにおいて正確な読取りがある場所を示す写真内のシーン上に投影された、例えば赤色円などのマークの存在。
b.最終的におよび好ましくは、広被写界の縁部がある場所を示す写真内のシーン上に投影された、青色円などのマークの存在。
8)口内での臨床的読取りにおける不快でかつ危険な中断を回避するため、3D加速度計/ジャイロスコープ/磁力計が、最終的におよび有利に追加されて、写真の相関を容易にし、さらにはセンサーの一つの起こり得る故障を補償する。センサーの近傍に設置されたこのデバイスは、カメラの空間的位置についての全般的かつ連続的情報を提供する。
これは同様に、本発明の分離できない部分である、導入される「ソフトウェア」によって、臨床的ニーズに応じて広被写界または狭被写界の唯一の単一センサーで作業することをも可能し、これは、一部の行為が例えば歯列矯正術の場合のように全般的調査、または局所的ユニット復元の場合のように非常に精度の高い検出を必要とするからである。
9)石膏上での測定は一般に優れた照明による恩恵を享受するが、これは、口内での読取りについてはあてはまらない。最終的におよび有利には、口の表面にコーティングを被着させること無く、鏡面(specular)またはランバート平滑表面(Lambertian smooth surface)を測定することを可能にする一つまたは複数の波長のLEDによる受動的および構造化されていない照明の追加が提供される。
構造化された光を使用しないことによって、同様に、作業者は自らの作業用の照明を消灯することを回避でき、これによりその臨床作業は大幅に容易になる。
10)同時にまたは極度に短いシフトで検出される情報は、作業者または患者の動きに起因する致命的なぶれをひき起こすあらゆる動きを回避させる。
11)ぶれ現象を制限するために、ぶれ防止ハードウェアシステムまたは、構造化されていないLED照明の超高速パルスを伴う「フラッシュLED」システム、またあるいは写真用カメラ内の手ぶれ防止システムのタイプのものであり得るソフトウェアが最終的に追加される。
12)本発明には、センサーからのデータを処理し表示するために、以下のものが結びつけられる:
a.機械的、光学的または電子光学的な走査、構造化された光投影の必要性が全く無い、中央管理およびアナログ/デジタル変換ユニットであって、三つの空間的次元および最終的には測定対象の物体の動きの時間に対応する第四次元を計算することを可能にしている、中央管理およびアナログ/デジタル変換ユニット。
b.センサーうちの一つの起こり得る故障を補償するかまたはカメラの体積を制限するための、ほぼリアルタイムでの3D検出を可能にする単一センサーを使用できるようにする、オリジナルなソフトウェア。
c.ケーブル、電話回線または無線回線を介したデータ伝送。
d.相補的処理、作業者との対話/表示、データ伝送および記憶用ハードウェアシステム。
オリジナルなソフトウェアシステムには、以下のものが含まれる。
1)両方のカメラ由来の二つの2D画像ストリームから出発する、リアルタイム3D再構成ダイアグラム、
2)単一カメラ由来の2D画像ストリームと加速度計由来の加速データフローから出発する、リアルタイム3Dの再構成ダイアグラム、
3)画像を介して注目対象のドットを計算しマッチングすることによる、光学トレース(複数の異なるカメラ上の同じ3Dドットの投影)をサーチするための三つのアルゴリズム上で、注目対象のドットを発見するための一つのアルゴリズム、
4)画像ストリームを空間的にコヒーレントなサブシーケンスへと、リアルタイムで自動的にシーケンシングするためのアルゴリズム、
5)光学トレースにより、3Dドットの座標および空間内のカメラの位置を並行推定するためのアルゴリズム、
6)散布図を3D補間するためのアルゴリズム、
7)3D散布図をポリゴン化し、テクスチャを計算するためのアルゴリズム、
8)3D再構成をスケーリングするためのアルゴリズム、
9)空間的精度を増強するための二つのアルゴリズム。
アルゴリズムのグローバル機構
カメラ由来の画像ストリーム処理は、ユーザーが物体の近傍でシステムを動かすにつれて、ユーザーにより表示可能な第一の3D再構成を生成するために、リアルタイムで処理される。リアルタイム3Dグローバル再構成スキームおよびデータの機構は、二つのカメラの利用可能性に応じて変動する。
新たに獲得された各々の写真は、まず第一に、光学トレースをサーチするためのアルゴリズムによって処理される。対応から出発して、シーケンシングアルゴリズムは、次に、時間的性能をより良好にするためにビデオストリームのシーケンシングを更新する。このとき、並行推定アルゴリズムが、光学トレースによって、以下のことを可能にする。
a)獲得時点における空間内のカメラの位置を見出すこと、
b)光学トレース上に投影する3D散布図を生成すること。
生成された散布図は、次に、より高密度の図を得るために補間され、陰補間関数(implicit interpolation function)が計算される。この関数により、再構成される表面のテクスチャ化されたポリゴン化を得ることができる。このステップでは、最終散布図の品質指標を計算することも同様に可能である。こうして、それらの一部または一部の部域を無効として標識づけすることができる。
テクスチャ表面は、その後、最終的には未だ無効である部域を標示するための適応された注釈を伴って、スクリーン上に表示される。
リアルタイムで生成された表面は、再構成された部域の近くのスケールファクタ(scale factor)を表す、空間的次元の無い表現である。このスケールファクタは、獲得が完了した時点で一つのアルゴリズムによって計算される。
最後に、最終3Dモデルは、その精度がアルゴリズムによって増強されて、可能なかぎり高い精度の再構成を有することができる。このアルゴリズムは、獲得された全ての写真を考慮に入れて3D散布図を再度計算する。この図は、次にアルゴリズムによって補間される。最後に、「スペースカービング」アルゴリズムが、グローバル3Dモデルを再構成する。
こうして、歯科および医療における、コスト、精度および診断用画像形成に関する多くの要求を満たし、その利用分野に関して汎用性を有するデバイスが提供される。
このシステムは、例えば、あらゆる人体表面を含む、優れた精度が求められる任意の3D獲得、建築に関係し高い精密度を必要とするデータの獲得、または工業生産プロセスに対し進化する形態で応用可能である。こうして、単一または多数のセンサーを用いて測定される物体を走査すること、一つまたは複数のセンサーの前で物体を動かすこと、またはセンサーと物体の両方を動かすことが可能である。
ここで、この測定を可能にする要素がリアルタイムでかつ異なる精度で作製され、これにより、狭被写界カメラにより一部の部域の読取りを改善する一方で、広被写界カメラにより、他のキャプチャされた画像との高速相関を容易にすることが可能になるということを指摘しておく。
本発明の他の目的および利点は、指標的で非限定的な例として示されている方法の一実施形態を参照する、以下の記述から明確になるものである。この記述は、添付図面を参照することによって容易に理解できる。
カメラ、コネクタ、コンピュータ(ここではラップトップ型コンピュータ)、そして最終的には処理用カードを格納するケーシングを含む、作製されたプロトタイプの全体的表示を示す図である。 本発明の構成の詳細を示すダイアグラムを示す図である。 選択された技術を用いることにより、口内への導入を可能にする、カメラの非常に小さい寸法を強調した、作製されたプロトタイプの図を示す。 直視型の図(3aおよび3b)で、ヘッド内に位置設定された画像獲得システム(光学系およびCCDまたはCMOSセンサー)を含むカメラ(1)の長手方向の断面図を示す。 図 および2で見たばかりの構成に係るカメラ(1)のヘッドの、広読取り部域および狭読取り部域の網羅を示す前面断面図を示す。 広被写界カメラおよび小被写界カメラにより分析されるグローバルな体積を示す図である。 広被写界カメラおよび小被写界カメラにより分析される、液体レンズまたは可変焦点距離レンズの使用により提供される、異なるレベルの被写界深度を示す図である。 広被写界カメラおよび小被写界カメラによって得られた写真および得られた3Dモデリングの図を示す。 (8a、8b、8c)ソフトウェアによる相同ドットの自動的決定を示しており、プラスターモデル上(8a)、口内(8b)そして結果として得られた散布図(8c)を示す図である。 (9a、9b)施術者が高精密度カメラによって走査された部域を知ることができるようにする、受動照明内のLEDの配置(9a)および歯上に投影された標的(9b)を表す図である。 (10a、10b、10c)白色光(10a)、青色光(10b)および青色と白色の複合光(10c)を用いて得られたビューを表す図である。 唾液または血液を除去するための空気ジェットを可能にするカメラのヘッド内の開口部、および、口内での光学印象の記録中に湿気が存在するのを回避するための保護加熱ガラスを示す図である。 獲得した画像の統合からスケールするための最終3D再構成までの、ソフトウェア部分の全体的ダイアグラムを示す図である。 二つのカメラが同時に使用される場合の、獲得された画像をリアルタイムで使用するためのアルゴリズムを表す図である。 二つのカメラが同時に使用される場合の、獲得された画像をリアルタイムで使用するためのアルゴリズムを表す図である。 二つのカメラが同時に使用される場合の、獲得された画像をリアルタイムで使用するためのアルゴリズムを表す図である。 一つの単一カメラが使用される場合に可能な、再構成の二つのストラテジを示す図である。 注目対象のドットの「トラッキング」による光学トレースの例示的計算を示す図である。 リアルタイム3D再構成のためのアルゴリズムの簡略化されたステップを示す図である。 精度を増強するためのアルゴリズムの機構を示す図である。
図1に示されているように、後続する図面中で概略的デザイン写真の形でプロトタイプとして提示されている本発明は、歯科分野において特に利点を見出すことができる、測定および/または診断デバイスに関する。
写真1aに示されているように、このデバイスは、本発明で記載されている技術を用いた焦点距離を有するカメラ(1)と、カメラ(1)とデータを供給し転送するためのケーブル(3)との間の接続部(2)と、ケーブルとコンピュータ(5)との間のUSBタイプの接続部(4)と、カメラ内またはコンピュータ内に設置されていない場合にカメラのプロセッサ用の駆動カードを付加するために、および/または画像を処理するために、間に設置可能なケーシング(6)とを含む。
この同様のカメラは、画像および画像由来のデータを伝送するための無線WiFiタイプの接続、およびカメラに電力を供給するために充電式バッテリを充電するための充電器システムを使用することができる。
電子部品は、カメラ(9〜12)の本体内に全体が包まれるかまたはカメラ、ケーシング(6)およびコンピュータ(5)の間で共用され得る。それは、センサーのみならず印象記録部域を照射するLEDの管理も行う、センサーの後方または近くに位置設定された電子システムを含んでいる。この電子システムは、同様に、以下のものも含んでいる。
− 汎用PCが理解できる言語でセンサーのデータを収集、記憶および順序付けできる中央管理ユニット。それは最終的には、このファンクションが遠隔のPCに転送されない場合に、アナログ値を有するデータをデジタル値に変換することもできる。マスクまたはフリンジを投影するためにシステムを管理しなくてよいことから、中央ユニットはその最低限度まで、すなわち立体視カラー写真カメラの管理まで縮小される。
− PCの中央ユニットおよび/またはソフトウェアの制御下にあり、好ましくは実装されているプログラムに応じて特定のLEDを始動させることのできる、LED制御カード。実際、LEDは、実装されているプログラムに応じて変動する順序にしたがって、または交互にあるいは同時に制御される。ファンクションは、単純な命令の形をしているが、それを記載するのが良い。
− USBまたはバッテリ電力(例えばAC/DC)で作動できる標準的電源カード。フリーシステム(結線無し)または有線システムのいずれかに応じて、電源は、実装されている構成要素の電力消費量が低いことを考慮して、軽量性が維持される。したがって、我々のカメラは、無線接続を有し得る初めてのカメラである。
− 最終的には、USB接続または無線通信を必要とすること無く輸送可能な媒体を用いて写真を記憶しそれらをコンピュータに転送できるようにする、最終的にカメラの中に含まれる小型メモリーカード。
全てがカメラまたは/および中間ケーシング(6)内に含まれていない場合には、管理用およびプログラム用およびデータ処理用のソフトウェアを格納する、標準的なラップトップ型コンピュータ(5)、ネットブックまたはデスクトップPCをユニットに対して付加することができる。それは、スクリーン上で見ることのできる2Dまたは3D形態で情報を再生できるのみならず、言語翻訳ソフトウェアを用いて任意のCAD/CAMシステム(STLなど)に類似した標準形態または特定の形態で、多少の差こそあれ遠隔のセンターへと測定値を送る(インターネット、Wifi、イーサネットなど)こともできる。このコンピュータにおいては、小型計算ユニットを有する前に、3D復元およびカメラ制御ソフトウェアが設置される。
こうして、カメラとコンピュータの間の接続は、有線または無線であり得る。
本発明によると、有線接続(3)は、好ましくは、カメラ(1)の側面に特定的ポート(2)を伴う電源内蔵型USB接続部(4)を介したものである。この特定の接続部(2)は、あらゆるカメラ形状および設計に適応可能となるように設計されている。
同様に、また本発明によると、接続は、例えば、これは非限定的であるが、Wifiモードでの無線であり得る。この場合、アンテナはカメラ内に含まれるか、または特定の接続部(2)の代りに接続される。同様にして、コンピュータ(5)または中間ケーシング(6)上では、カメラ内、コンピュータ(5)内または中間ケーシング(6)内にあるプログラムが与えるコマンドに対応するデータを送受信するためのアンテナが、USB接続内に挿入される。この配置は、診療所、歯科医院または義歯技工所の構成の如何に関わらず、高速で使いやすく容易な通信を可能にする。
同様にして、かつ同じく本発明によると、中間ケーシング(6)内には処理用カード、CPUおよびディスプレーで構成されたユニットが設置され、本発明に係るユニットを業務用調度品、例えば歯科医のユニットまたは歯科技工師の作業台の中に統合することができようになっている。
本発明によると、コンピュータ(5)は、PCなど(Macなど)の、内蔵型または分離型のスクリーンを伴う標準タイプのものである。このコンピュータは、バス上に設置されるカメラまたは特定の制御カードを制御するように特定的にプログラミングされた標準的カードを使用する。
コンピュータを装備できない場合、またはそれが歯科医療用ユニットの中に予め存在する場合には、この欠落を補償するために、カメラとコンピュータの間に中間ケーシング(6)が位置づけされる。同様に、かつ同じ役目のために、このケーシングはコンピュータの下流側に位置づけされ、接続のUSB接続部(4)は、いかなる中間部品も無しでコンピュータのUSBポートに直接接続される。こうして、専門的職場の中で使用される各々のCADまたはCAMアプリケーションによって解釈可能な特定的言語が生成される。
図1bは、本発明の構成の詳細を示す。このダイアグラムは、二つの主要な実体、すなわちカメラ(1)とコンピュータ(5)で構成されており、これは特定のかつ専用のケーシング(6)に置き換えられてよい。
コンピュータのHIMインターフェース(48)上でメニューを選択し、独自のマン/マシンインターフェース(HIM)(18)によってカメラを起動した後、カメラの画像ソフトウェア(45)は、広被写界のセンサー(38)および小被写界のセンサー(39)の読取りプロセスの開始を制御する。それと同時に、このソフトウェアは、特定的であるか否かに関わらず、選択されたメニューに応じて、LED照明(15)を始動させる。このプロセスは、同様に、加速度計(52)を起動させ、加速度計は、その情報を連続または不連続ストリームとしてプロセス全体を通して写真ソフトウェア1(45)に送ることにより写真の相関を補助し、これは、臨床的行為の間に万一センサーの一つが故障した場合にいつでもそれに代って機能し得る。大被写界(20)の光学系(38)は、画像ソフトウェアシステムに被写界深度を認識させ、液体レンズを実装しない場合には、制御機構(42)自体を調整し、マイクロモーター(22)によって、口腔構造(21)上の小被写界(19)の光学系(41)の被写界深度を調整できるようにする。二つの画像の各々は、大被写界のCCD(38)および小被写界のCCD(39)よってキャプチャされる。これらの画像は、アナログ/デジタル変換器(43および/または44)によってデジタルデータへと変換され、および/または、ビデオ制御スクリーン(49)上にアナログ形態で到達する。
画像ソフトウェア1(45)を支援するハードウェアをカメラ(1)内に位置設定するために使う容積が過度に大きい場合には、この画像ソフトウェア(46)の第二の部分は、標準的コンピュータ(5)または専用のコンピュータ(6)内に移転される。
本詳細説明中の以下で記載する、この処理から発生する情報は、それらの処理を遂行することのできる今日公知の全てのチャネル(51)によって、診断目的であるかCAD/CAM用であるかに関わらず対処される。これは、有線チャネル(インターネットおよびイーサネット、Wifiまたは電話)により、双方向で、その情報を送信するモデム(50)を使用して行われる。
本発明の各部分の詳細については、歯科医院という選択肢を機能的側面で示す、図2を参照する。口腔内写真を容易に記録するためには、3D読取りカメラの体積は小さくなければならない。全ての公知のシステムとは異なり、本発明の構成によると、その寸法が20〜25cmであることから、非常に小型の3Dカラーカメラを得ることができ、この構成は、優れた把持を保証するのに充分大きい本体(例えば2〜4cm)と、例えば2cmを超えない厚みを有する。口の奥深くで印象を記録する場合に唇の段の通過を可能にする、5〜6cmのアームで延長される。読取りヘッドは、例えば、厚み1〜2cm、幅約2cm、長さ3cmの口内に傷をつけることのない卵形の中に、完全な光学系、LEDおよびCCD/CMOSセンサーを格納している。
図3中の断面図により、このカメラの構成要素をさらに詳しく説明することができる。この構成においてかつ非限定的に、カメラのヘッド(7)、口内へのその挿入を可能にするアーム(8)、および多くの場合口の外側にある本体(9)を示す断面図が表されている。ヘッドは、ここでは二つの光学系(10)で構成された光学アセンブリの断面を有し、これらの光学系は、伝送中の情報の質にとって有害である干渉を回避するために好ましくはシールドケーブル(11)を介して画像接続カード(12)に接続された三つのユニット(レンズ、最終的には焦点距離を調整するためのシステム(22)、および二つのCCDまたはCMOSセンサー)を含んでいる。このカードはそれ自体、カメラ(1)に従属する特定のコネクタ(13)を介してコンピュータ(5)または特定のケーシング(6)に接続される。この同じ長手方向断面図から、保護ガラス(17)により保護されたヘッドの内側および/または光学系の周囲でこの光学系の外側の、光学系(14)に向かって設置されたLED(15)を識別することができる。フットペダルを使用しない場合、ボタン(18)により写真記録を起動させることができる。オフセットが全く無い写真記録システムを使用することで、無意識の動作により生み出される可能性のある、ぶれの危険性が全くない状態で、ボタンを用いてこの3D画像を撮ることが可能になる。
図4は、本発明の適用の基本原理をより正確に示している。カメラのヘッド(7)および二つの異なる光学系(10)の概略的表示が見られる。これらの光学系は、底面から上面に向かって、集束レンズおよび画像伝送レンズそしてCCD/CMOSで構成されている。これらのレンズは、焦点調整システム無しで示されている。従来のレンズを使用する場合は、1〜5cmの被写界深度を有する被写界を「z」で走査できるようにする焦点距離調整用システム(22)を用いる必要がある。
有利には、レンズは液体タイプ(Varioptic−フランス)か、または入力面に瞳を有するガラスまたは成形ガラス/プラスチック製のものである。
焦点距離は、有利には、口腔環境を代表とする制限された環境内の大被写界および小被写界の要件を満たすために、0.5〜5mmである。
白色および青色LED(15)は、発熱の有無に関わらず、保護ガラス(17)のすぐ後ろで、光学系の周りに配置される。これらは、好ましくは、所望される照明色タイプに基づいて、特定的に選択される。
構造化された光投影は全く存在せずに、光学系およびCCDにより視覚化される二つの部域が存在するということを指摘しておくべきである。
有利には、光学印象により測定される歯の、狭く精度の高い部域(19)は、より精度の低い広い部域(20)内に完全に包含されている。ここでわかるように、この方法の利点の一つは、全般的部域の中に精度の高い部域を包含させ、これにより二つの立体視写真の相関が大幅に容易になるという点にある。こうして、一つのカメラが記録しないものを第二のカメラが読取ることから、コード化されていない部域も削減される。カメラのわずかな動きによって、最終的なコード化の欠如が補正される。
最終的におよび好ましくは、狭い部域は、同様に、工業的デザインおよびサイズを目的とした部域の中に部分的に包含され得る。この場合、狭く精度の高い測定部域は、より精度の低い最も広い部域と重複する。
最終的におよび有利には、精度が高く狭い部域の読取りを容易にするために、変位モーターを追加して、写真の記録中に広い部域全体を狭い部域が迅速に走査するようにすることができる。変位モーターは、レンズに関するあらゆる変位技術を使用してよい。
最終的におよび有利には、この狭い部域は、広い部域内の大きい読取り被写界の恩恵を享受しながら、この狭い部域内の1〜20μmの所望の精度を作業者が変化させることができるようにする、可変ズームの部域であってよい。
この立体視カメラは、フォトカメラまたはビデオカメラについて公知の通り、その再読み込みによって、読取り速度、ひいては静的および動的読取りを可能にする連続的な印象の記録速度を定義する、例えば2.2μmで2メガピクセル(毎秒25〜500画像)のCCDまたはCMOSであり得る、既定の位置にある一つまたは複数のユニット式のまたは多数のセンサー(図4中では2つ)で構成されている。こうして、分析部域全体上を移動することで動的ビューを得ることができ、起伏を抽出するために最低四つの写真を必要とする形状測定位相システムの場合とは異なり、本発明において使用されるシステムは、二つの精度レベルで、単一フレームまたは二重フレームしか必要とせず、測定におけるあらゆる動きが回避されるか、あるいは、センサー上の情報の統合が即時かつ同時に行われる。
それは、また、0.001〜0.1の開口数(NA)の範囲内にあり得、かつ二つまたは複数の作業被写界上で視覚化されたデータを歪み無くカメラの一つまたは複数のセンサーに伝送できるようにする、一つの焦点距離または少なくとも二つの異なる焦点距離を有する光学アセンブリで構成されている。例えば、図4に示されている実施例において、口腔内写真については、これらの被写界を以下のように記述することができる。
a.一方の被写界は、例えば、またこれに限定されないが、30×20mmの被写界上で20μm(NA:0.0125、すなわちF/8の焦点相当)の、より低い解像度で、大きい表面を網羅している。
b.他方の被写界は、例えば、またこれに限定されないが、15×10mmの被写界上で10μm(NA:0025、すなわちF/4の焦点相当)の解像度で、より小さい表面を網羅するが、精度はより高い。被写界深度は小さく、可変深度の一連の写真記録が予測される。
c.小さい被写界は、センタリングされているか否かに関わらず、全てのレベルで大きい被写界内に全体的に包含されていて、これにより、物体の三次元(x、yおよびz)の生成のためのデータを検出し、精度の高いビューと全般的なより大きい被写界ビューとの間のリアルタイム相関を容易にする。
d.オブジェクティブは、複数のガラスまたは成形ガラス/プラスチック素子で構成され得、調整はマイクロモーターによって実施される。
最終的におよび有利には、歯上の被写界深度のこの調整は、液体レンズを用いて実施され、こうして、口腔内表面の近接性に基づいて完璧な適応が保証され、マイクロモーターの使用が回避される。
最終的におよび有利には、それは、また、レンズ、例えば、一回の写真記録においてn個の異なる視野角にしたがった口腔環境の視覚化を保証する、n個の非対称ファセットにより取り囲まれた平坦な上面で構成された、「フリーフォーム(freeform)」と呼ばれる熱可塑性レンズで構成され得る。ファセット化された部分は、センサーに向かって配向され、平坦な側は口腔環境に向かって配向されている。センサーは、平坦な表面に対するファセットのカット角に応じて異なる角度からのビューを有する、わずかに異なるn個の画像を受信する。したがって、写真の単一回の記録において、異なる表面の瞬間的に相関されたn個の立体視ビューのキャプチャおよびデジタル化が可能であり、第二のセンサーおよび第二の光学系の追加は回避される。
最終的におよび有利には、単一のセンサーがある場合、もはや、先に見てきた通り、規定の位置にあるセンサーが全てのビューを画定するのではなく、連続キャプチャのシーケンスが画定する。一連の自動写真記録と相関された変位運動は、異なる写真記録面を画定する。例えば、最初の画像は時間T0で記録され、次に視覚の角度変化を導くわずかなシフトの後に、時間T0+1秒(例えば)における新しい記録が続き、以下同様に続く。
最終的におよび有利には、CCD/CMOSセンサーの近くに加速度計、ジャイロまたは3D磁力計(52)が設置され、こうして相関を補助し、かつセンサーの一つが最終的に故障した時にそれを補償する。本発明によると、臨床的行為における中断をことごとく回避し、被写界の一つ(場合に応じて大被写界または小被写界)を置換するために、それは例えば、50Hz以上の獲得周波数、+/−10gの間隔および3mg以下の精度を有する3D加速度計である。
最終的におよび有利には、被写界深度についての全般的情報は、センサーの一つ、例えば広被写界センサーによって標示され、こうして他方の小被写界センサーの焦点距離は、最初の例えば広被写界センサーによって分析された現実に近い部域の中に予め位置づけされることになる。
図5は、患者の口の中で測定される体積を示す。歯科医がカメラを内部で動かすことのできる小さい体積は、広被写界と高い精度の両方を有する可能性を著しく制限する。ここで紹介されている新しい構想を用いて、また光物理学の法則を忠実に守って、広被写界のレベルで、20μmの精度で20×30mmの体積と2mmの被写界深度を測定することが可能である。狭い被写界は、10μmの精度について、体積を10×15×0.5mmに制限する。これは、一実施例によってのみ提供され、使用されている光学系の品質に応じて著しく変動し得る。これらの値は、優れたプロテーゼを作製し優れた診断を行うための、口内の光学印象の要件に一致している。
被写界深度は不充分であるが、それは上の歯と下の歯との間の空間により提供される光学系に対する歯の近接性によって提供される。被写界深度の問題を解決するため、図6においては、精度の高い部域において10〜20回、より広い部域において5〜10回、変動させることによって、一連の写真記録が提供される。これにより、歯科においては充分である、10〜30mmの被写界深度で、10μm以内(小さく、精度の高い狭い被写界)および20μm以内(より精度の低い広い被写界)の精度が保証される。
最終的におよび有利には、狭い被写界内および広い被写界内での被写界深度におけるこれらの動きは、同期化され得るか、あるいは、光学印象の記録の必要性に依存しない可能性がある。ソフトウェア処理において見ていくように、CCD/CMOSは情報収集が不明確であるか否かを認識できることから、この調整は制限され得る。これにより、光学系との関係における歯の位置に関する情報が得られ、被写界深度の自動的調整が可能になる。同様に、これにより、深さ方向の走査を制限し、連続写真記録を制限するという利点も得られる。
図7には、広被写界によって(23)および精度の高い狭被写界の一続きの写真によって(24)走査された部域が表されている。提供された実施例を見ればわかるように、10μmの精度で被写界全体を網羅するためには、10個の写真で充分である。
実際、歯科医は、その高精度のビューを、口腔の最大精度を必要とする中央部域に位置づけする。この部域は、プレパレーションのフィニッシングラインであり得るが、図7を見ればわかるように、歯の溝および歯尖でもあり得る。以下の「ソフトウェア」の説明、特に図13(積層表面のストラテジ)において提示するように、この高精密度部域を賢明に使用することは、高い再現忠実性を有する再構成に大いに寄与する。両方のカメラに共通の部域は、再構成のために使用され、精度の高い被写界により提供される細部レベルに大きく寄与する。その一方で、ヘッドを無作為に移動させることによって、そして画像獲得頻度が高いために、両方のカメラに共通の部分により再構成される部域全体をユーザーが網羅する確率は高くなる。最後に、一つの部域が不充分な精度を示した場合、ユーザーに対して視覚的フィードバックが提供され、ユーザーはこのとき、高い精度の被写界をこの部域上に焦点合せし、こうして充分な精度を達成することができる。
図8a、8bおよび8cを見ればわかるように、同時にまたはわずかな時間的シフトを伴って記録された写真の各々の中に見られる相同ドットを相関することが可能である場合に、3D立体視ビューが可能である。図8aは、歯科用プラスター上の同じ歯の、咬合および舌の二つの写真中の相同ドットの自動的決定を示す(図8a−26)。この自動的決定は、我々の本発明の一部を成すソフトウェアを用いて可能である。
ここに見える複数のラインは、二つの写真の各々の中に識別される、同一かつ相同のドットを合体させている。ソフトウェアシステムによって、口腔内ビュー上で同じ表現を作成することができる(図8b−27)。
最終的におよび有利には、「ソフトウェア」は、被写界深度の部域内での焦点部域のこの自動的識別を可能にするが、被写界の外側の部域については、あたかもそれらが被写界の内側の部域との関係においてローパスフィルター(low−pass filter)に付されたかのように全てが起こり、したがってローカルパワースペクトルはより穏やかな勾配を有するということが指摘される。パワースペクトルは、こうして、画像の「パッチ」p(典型的には20*20ピクセル平方部域)内で計算され、その負勾配αpは減少指数モデル(decreasing exponential model)にしたがって近似される。次に、(αp−α0)/α0比が計算され、ここでα0は、画像全体についての負勾配である。この比が画像に適応された一定の閾値より低い場合には、パッチは焦点部域の外側とみなされる。
結果は、空間的に配置された散布図の表現(図8c−28)であり、その一部は非常に精度が高い(10μm未満)。
最終的におよび有利には、散布図としてのこの表現は、図xに描かれている3D再構成技術によっても同様に実施される。
最終的におよび有利には、この表現は、同様に、ベジエ表面における実際の視覚的表現に近い高密度でポリゴン化されテクスチャ化された表現によって、または動径基底関数(Radial Basis Function、RBF)によって、またはNURBによって、またはウェーブレットによっても作成することができる。
この場合、ソフトウェアは、このモデリングを実施するために図xに描写されている通りに推移する。概略的に言うと、3D再構成によって生成された疎な散布図(図x)は、図y中に描写された技術を用いて補間される。この技術には、散布図を高密度化し、柔らかな動径基底関数タイプの曲線を用いてそれをモデリングするという利点がある。(一般性が失われること無く、モデリングは、例えば、ただしこれに限定されないが、ベジエ曲線、動径基底関数、NURBまたはウェーブレットによって実施可能である)。表面モデルがひとたび適用されると、ポリゴン化が従来の技術(例えば、ただしこれに限定されないが、Bloomenthalの技術、ボールピボッティング(ball pivoting)、ポワソン再構成(Poisson reconstruction))を用いて行われ、その後、図zで描写されているテクスチャが計算され適用される。
リアルタイムまたはほぼリアルタイムでのこれらのモデリング方法の利点は、それらが、立体視ビューから出発して、施術者の表示スクリーン上での即時の3D表現を可能にするという点にある。施術者は、印象の全てまたは一部について配向およびズームをデジタル的に変動して、自らの臨床的作業の後続する部分について自らの作業を確認しおよび/または有効性を検査することができる。
図9は、優れた立体視記録のために充分な光を提供するLEDを示す。精度の高い完全な測定を達成するためには、シーン上に良好な照明を得る必要がある。問題は、構造化された光を投影することにあるのでは全く無く、比較的暗い口の中のシーンを照明することだけにある。
最終的におよび有利には、照明は、10,000〜500,000luxの白色光、および5,000〜300,000luxの青色光の変動し得る出力用のLED照明である。
このような理由から、わずかなLEDで充分である。図9aには、200,000luxの白色光を達成するのに必要である八個のうちの二つの白色LED(29)と、100,000luxの青色光を達成するのに必要である四個の青色LEDのうちの一つの青色LED(30)とが示されている。
最終的におよび有利には、純度(コンシステントか否か)、タイプ(色)および強度(出力)に関して正確な特性を有するが、構造化されていない光を有する他のLEDが追加される。図9aには、例えば、ただしこれに限定されないが、我々の3D表面上に転送された3D画像上の診断に対するいくつかの補助機能を発展させることのできる緑色LED(31)が示されている。
我々は構造化された光を使用していないため、粘膜レベルおよび歯またはプロテーゼ再構成材料の無機質構造体レベルの両方において、患者の口内のリアルタイムカラー分析を実施することが常に可能であることから、このことはなおさら有利である。
最終的におよび有利には、光は、それが歯の結晶質内の損傷または無機もしくは有機のう触破砕を強調できるように、選択される。このことは、表示が、現在公知であるように2D画像で出現せず、分析、診断または治療する部域を強調する3Dで表された構造上に出現することから、極めて有利である。これにより、施術者は、自らの作業の質を追跡調査し、強調された疾病を適切に処置したことを3D画像上で確認することもできる。
最終的におよび有利には、これにより、整復材料中の破砕(例えば、ジルコニアセラミクス内の亀裂など)を強調し、復元物に対する新たな介入が必要であるか否かを評価することが可能となる。
最終的におよび有利には、LED光を拡散させることに加えて、高精密度の読取りが位置設定されている場所(広被写界内の狭被写界)を施術者が認識するのを補助するために、この特定の部域を取り囲む標的(図9b−32a)の投影が最終的に予測される。
最終的におよび有利には、純度(コンシステントか否か)、タイプ(色)および強度(出力)に関して特定の特性を有するが、構造化されていない光を有する、他のLEDが追加される。図9aには、一例としてかつ非限定的に、我々の3D表面上に転送された3D画像上の診断に対するいくつかの補助機能を発展させることのできる、緑色LED(31)が示されている。
最終的におよび有利には、広被写界(32b)を取り囲むフレームの投影が提供され、これによって、施術者は口内での印象の記録中にスクリーン上で行っている走査を追跡する必要が無い。
これらの青色および/または白色LEDの使用には、相同な点をより容易にサーチでき、かつ結晶質でかつわずかにペネトレートしている構造(penetrating structure)を有する歯上でより多くのこれらの点を決定できるようにするという利点がある。最終的におよび有利には、拡散するLED光のペネトレーションは、歯の表面上に投影された構造化された光のペネトレーションには匹敵しないものの、歯がより白亜色状に見えるようにするために青色光が使用され、コーティングと呼ばれる被覆層の使用を回避している。
最終的におよび有利には、照明システムはさまざまな波長または色のLEDを有し、その混合は、例えば、歯の結晶質内または歯肉の一部もしくは病変内で蛍光またはリン光効果を作り出すように選択される。こうして、蛍光性の歯牙の組織は特に「くすんだ」外観を有することから、青色光または紫外線内での鉱質化組織(mineralized tissue)の表面の表示はさらに促進され、このためコーティングと呼ばれる表面または塗料被着は回避される。
この同じ応用によって、最終的に、歯溝内に存在するような、より微細な歯肉部域内へのペネトレーションが可能になる。こうして作業者は、歯肉を通る歯の出現についてのビューを得ることができる。同様にして、例えば赤の中から、慎重に選ばれた補色を選択することで、血液および唾液の有害な影響を削減することができ、光学印象の記録が容易になる。
有利には、これらのLEDは、低出力で測定対象の表面を照明するためか、または高出力で上皮組織の一部の小さい厚みを横断するために、可変出力および可変色を有する。
図10a、10bおよび10cが示す通り、この方法において提供されているマウンティングを介して、口内環境の正確な色を得るために白色光での読取りが提供され(33)、および最終的には、相補的光、一例としてかつ非限定的には青色光における写真記録の追加での読取り(34)、または、相補的光と白色光の組合せ(35での相補的青色)での写真記録の追加での読取りが提供される。
最終的におよび有利には、測定対象の口腔環境のリアルカラーを、スクリーン上にリアルタイムで配置し表現することを目的として、白色光に追加された複数の色成分のうち一つ以上の色成分が削除される。
最終的におよび有利には、LEDの色のこの選択は、既に定められていているかまたは自動的であることができる。白色光での読取り中、散布図が不充分である場合、システムは自動的に(または手動で)相補的LED、例えば青色LEDを起動させ、システムは同じ写真を再度記録する。青色および白色写真の追加により、表面についての情報の増加および相同ドットのサーチの確率は増大する。
最終的におよび有利には、これらのLEDは、同様に、自然の解剖学的要素(溝底あるいは腫瘍、歯肉もしくは歯の陰影を区別する有色部域)、または印象の記録前にかつ特定の所定のカラーマーカーを用いてつけられたマーキングを強調できるようにする既定の波長を有することもできる。
これらのマーキングは、有利には、写真の相関を容易にするためのみならずこれらの所定のマークの正確な空間的位置を知るために、例えば歯の上、歯の間の空間内もしくはインプラントヘッドの上に接着もしくは収容されている、測定対象部域内に設置された異なる形状の物体である。
インプラントまたは歯管の場合、これにより光学的読取りの間に一部のアクセス不能な部域を認識することができる。マークを識別し、先験的に担持形状を知ることで、隠れた部分の形状および空間的位置を導き出すことが可能になる。
光の組合せにより、「自然」光の下では出現しない弱いテクスチャを有する部域の細部を強調できる。最適の組合せはデフォルトでユーザーに提供される。ただし、(例えばマーキングを強調できる)いくつかの予め設定された組合せが提供される。
光の組合せによって、他方では、各々のスペクトル帯についての追加情報を得ることができる。こうして、図xで光学トレースをサーチするためのアルゴリズムを提示する場合、処理は、グローバル画像上で実施されるのではなく、三つのスペクトル帯上で並行して実施される。3D再構成のために使用される光学トレースは、三つのスペクトル帯について得られたトレースの組合せの結果として得られる。
図11には、口内で必要とされる二つの追加機能が示されている。光学印象の記録中、情報を劣化させる可能性のある三つの光学的要素を回避することが非常に多い。それらは、歯のプレパレーションに起因する血液、開いた口の中で自然に流れる唾液、そして口よりも低温の表面上に現われる曇りである。
このような理由で、また快適性および精度を理由として、読取りヘッド内で、空気または液体のスプレーをカメラと結びつけることが予測され、ここでは読取り部域に向けられたスプレーの開口部(37)が見えている。これにより、読取り中に唾液および血液を排出することが可能となる。
同様にして、カメラのヘッド内のLEDおよび光学系を保護するガラスは、保護ガラス上の曇りの被着を制限するため、季節に応じて例えば20〜35°の発熱ガラスとして設計される。
図12は、ソフトウェア部分の全体的ダイアグラムを示す。このダイアグラムは、獲得中のリアルタイム3D再構成を提供することと最終モデルの空間的な高い再現忠実性を保証することの両方を可能にする。
最初の再構成は、リアルタイムでシーケンシャルに実施される。画像が獲得された時点(53)で、領域的な3D再構成が(二台のカメラの場合にはこの唯一の対から、または単一カメラの場合にはいくつかの先行する対を用いて)計算され(54)、その後、この対の獲得前の状態の通り、グローバル再構成に追加される。再構成は、最終的には、二回目のパスが最終的に必要になると考えられる部域をユーザーが視覚的に識別できるようにする、そのローカル品質についての注釈を伴って、スクリーン上に瞬時に表示される(55)。シーケンシャルな再構成は、ユーザーが画像の獲得を完了させるまで続けられる。
ひとたび獲得が完了した時点で、再構成された3Dモデルの最終調整、すなわち、モデルの精度の増強およびスケールファクタの推定に着手する。最終調整の合計持続時間は、5分を超えない。
まず第一に、3D再構成には、画像を一台の単一カメラから獲得した場合、スケーリング(56)が必要となるかもしれない。再構成された3Dモデルに適用されるべきスケールファクタの推定は、フィルター、例えば、ただしこれに限定されないが、カルマンフィルター(Kalman filter)を用いて実施され、例えば、ただしこれに限定されないが、加速度計由来の測定値および画像由来の測定値(カメラ相互の相対的位置)の両方を使用する。
さらに、リアルタイム3D再構成は精度を増大させるために精緻化される(57)。精密度−利得技術は、図17で詳細に示されている。
図13a、13bおよび13cは、二台のカメラから獲得した写真をどのように使用できるかを概略的に示す。この目的のために、限定的ではないが、以下の三つの作業方法がある。
・ 図13:二台のカメラによって一対の画像が新たに獲得される場合、二つの画像の中から光学トレース(注目対象のドットおよび対応)を探す(図15に示されたアルゴリズム)。次に、対応するドットは、トライアンギュレーションによって、対応する3Dドットの計算を可能にする。トライアンギュレーションは、二台のカメラの場合は極めて単純であって、なぜなら、内部パラメータ(焦点距離および歪み)および外部パラメータ(カメラの構成による、残りのものと比べたカメラ相互の相対的位置)が既知のキャリブレーションされた構成にあるからである。
生成された3D散布図は、次に、補間され、ポリゴン化され、テクスチャ化される(図16に示されたアルゴリズム)。その後、有効性指標q(57)が、ポリゴン化された3D再構成の各々の要素(例えば、ただしこれに限定されないが、三角形または四面体)について計算される。
Figure 2014524795
が選択される(式中、Vは体積であり、a、b、c、dは例えば、ただしこれに限定されないが、四面体の辺の長さである)。1点において、この指標が一定の閾値より低い場合、再構成要素は無効として標識され、これによりユーザーに対するリアルタイムの視覚的フィードバックが表示段階中に可能となり、こうして、ユーザーはこの部域内の新しい写真を獲得でき、ひいては充分な品質を得ることができるようになる。画像対によって生成された再構成のグローバルな有効性指標は、また、再構成要素の合計数に比べた無効要素の百分率を計算することによっても導き出される。この百分率が一定の閾値よりも低い場合、生成された表面は再構成内に統合されない。
生成された表面は、それが有効である場合、例えば、ただしこれに限定されないが、非線形ICP(Iterative Closest Point)タイプのリセッティングと、それに続く単純化(冗長3Dドットまたは外れ値の除去)により、部分的な再構成内に統合される。最終的におよび有利には、部分的な再構成内への統合は、後続する図面中に示されたものに類似のアルゴリズムにより、カメラの相対的位置のトラッキングを実施することによって行うことができる。
最後に、再構成段階の後には表示段階が続く。
・ 図13b:代替的には、二台のカメラからの画像は、独立して使用可能である。図14に示されたアルゴリズムによって、広被写界カメラおよび小被写界カメラについて独立して、二つの領域的3D再構成を計算することができる。小被写界再構成は、大被写界画像内で固定位置に統合される画像に基づいて計算されることから、それを大被写界再構成内に直接統合することが可能である。このときアルゴリズムの終了は、図13aに示されている場合と類似している。
・ 図13c:代替的には、小被写界カメラの画像は、散発的にのみ使用可能である。獲得の間、したがってこれらの画像は記憶されるが、自動的に処理されない。再構成は、図14のアルゴリズムのうちの一つにより、広被写界カメラからのみ実施され、次にローカル品質指標が計算される。無効な要素については、大被写界2D画像のどの部分にそれらの要素が属するかが逆投影を介して調べられ、次に小被写界画像データベース内で、一部の画像(典型的には約10個の画像)がこの部域を網羅しているか否かが調べられる。その後、これらの小被写界画像に基づいて、ローカル再構成が計算され、その後有効性指標が再度計算される。有効性指標が閾値より大きい場合には、小被写界再構成が、図13bに類似した形で、大被写界再構成内に統合される。
図14は、一台の単一カメラ由来の3Dモデルを再構成するために使用可能な二つのストラテジを詳細に示している。この場合に使用されるアルゴリズムの複雑性は、いかなる制約も無くユーザーが自由にシステムを使用できることの直接的結果である。したがって、システムの動きを予見することはできない。換言すると、写真の記録が獲得されるときに、これらの写真がどこから記録されたかを先験的に知ることはできない。したがって、物体の忠実な再構成を保証することを目的として、写真の特定の空間的機構の発見は、アルゴリズムに依存する。
・ シーケンシャルな場合:我々は、幾何学的基準として役立つ画像対を選択することを獲得開始時点から求める射影幾何学の分野で作業する。これらの最初の二つの写真の選択は、後に極小値(local minima)の問題に陥るのを避けるために 非常に重要である。獲得された最初の画像のうち、初期化ペアは、以下のような形で選択される。
○ 最初の二つの写真間のマッチング数が少なくとも400である。
○ これら二つの写真間の距離が充分大きいものである。任意には、少なくとも5mmが網羅されたという加速度計からのデータを待つ。その他の場合は、(作業者が不動状態にとどまる場合)多くとも40個の画像が獲得されるのを待つ。
これらの最初の二つの写真から、幾何形状の最初の推定が実施される。
○ 光学トレースは、これら二つの画像の間で計算される。(図15のアルゴリズム)。
○ 投影マトリクスP1およびP2(カメラの空間的位置を表す)は、従来の5点アルゴリズムによりマッチングから計算される。
○ 対応するドットは、3Dドットの初期推定を得るために、トライアンギュレートされる。
○ 幾何は、セルフキャリブレーションにより更新され、それにより射影幾何から近計量幾何(a nearly−metric geometry)へと移行する(一つのスケールファクタ内で)。
○ 次に、生成された3D散布図は補間され、ポリゴン化され、テクスチャ化される(図16中のアルゴリズム)。生成された表面は、部分的3D再構成の最初の推定値である。
次に、再構成は、新たに獲得した写真iによってエンリッチされる:
・ 光学トレースは、この写真内の注目対象のドットを計算し、先行写真とそれをマッチングさせることによって、補間される(58)。
・ 画像i−1内の一定の注目対象のドットとの対応がわかっており、かつこれらの注目対象のドット上に投影される3D点の座標がわかっていれば、例えば、ただしこれに限定されないが、再セクショニングにより投影マトリクスPiを推定することができる(59)。
・ 今や投影マトリクスは画像iに至るまで全て分かっていることから、これらのマトリクスおよび光学トレースに基づいて、3Dドットが線形的に再推定される。実際には、リアルタイムの制約を維持するため、現行の写真およびn個の先行する写真(典型的にはn=3または4)についてのみ作業がおこなわれる。これらn個の写真についての全体的幾何(投影マトリクスおよび3Dドット)は、次に、例えば、ただしこれに限定されないが、疎バンドル調整(Sparse Bundle Adjustment)タイプの非線形アルゴリズムによって精緻化される。
・ 全3D散布図は、再びマルチスケールRBFによって補間され、次にポリゴン化され、テクスチャ化される。
・ ローカル有効性指標が計算され、次に視覚化段階が続く。
・ サブシーケンスによる場合:サブシーケンスストラテジは、空間的コヒーレンスをもつ画像群を隔離することによって形成され多数の対応するドットを有する画像サブシーケンスについて、部分的再構成を計算する。以下の通りに着手される。
○ シーケンシングアルゴリズム:ビデオストリームは、光学トレースを計算した後、獲得の進行とともに、領域と呼ばれるサブシーケンスに分割される。光学的サーチがトラッキングにより行われる場合、未だトラッキング段階にあるドットの百分率が70%未満に下降した時点で、領域が終了する(60)。他の光学的サーチ技術については、領域は、領域の最初の画像とのマッチング数が現行の画像の注目対象のドットの70%未満となった時点で、終了する。現行の領域が閉じられた時点で、獲得中の新しい画像を用いて新しい領域が作成され、初期化される。
○ 一つの部域が閉じられる(61)と直ちに、例えば、ただしこれに限定されないが、Tomasi Kanadeタイプの因数分解によりこの領域内に発見される光学トレースに対応する3Dドットおよびカメラの相対的位置は、並行して計算される。生成された3D散布図は補間され、その後、ポリゴン化され、テクスチャ化される(図16のアルゴリズム)。
○ このアルゴリズムがそのまま使用された場合、幾何は領域分だけ異なる。したがって生成された表面は、空間的コヒーレンスをもたない。全ての領域を同じ幾何にもってくるためには(62)、二つの隣接する領域間でいくつかの画像(典型的には3個)を人工的に共有させるように注意しなければならず、こうして、隣接する領域対間での変換ホモグラフィを導き出すことが可能になる。ホモグラフィは、生成された表面の各々の終端に適用されて、それをグローバルモデル内に統合する。
・ ローカル有効性指標は計算され、その後視覚化段階が続く。
図15は、注目対象のドットをトラッキングすることによる光学トレースの計算例を示す。現行の画像の注目対象のドットは、図中、正方形(63)で表されており、一方、ラインは、先行画像内のこれらの注目対象のドットの位置を表している。
目立つ3Dドットの光学トレースのサーチは、獲得した2D画像全ての中で注目対象のドットをサーチすること、次いで異なる画像の注目対象のドット間のマッチングをサーチすることによって行われる。以下のような複数のスキームが可能である。
・ 角度の光学的トラッキング:一般的な考え方は、画像中の目立つドット(角度)を計算し、次に後続する画像中のこれらのドットを、再度検出する必要無くトラッキングするというものである。トラッキング段階は、最初の画像の顕著なドットのうち一定の百分率のもの(典型的には70%)が未だ検出可能であるかぎり、続行する。この閾値を下回った場合、後続する画像について顕著なドットの新しい検出段階が行われる。
角度の検出は、任意のピクセル(x、y)について2*2マトリクス
Figure 2014524795
を計算することによって行われ、式中、Iは画像の(x、y)での強度を表し、Wは(x、y)の周囲を表す。λ1およびλ2は、このマトリクスの2つの固有値であると仮定しよう。これら2つの値が、一定の閾値(典型的には0.15)より大きい場合、ドットは顕著なドットとみなされる。
トラッキングのためには、2つの画像iおよびi+1の間で、および各々の顕著なドットについて、
Figure 2014524795
を最小化する変位d=(dx、dy)が調べられる。この変位は、d=c-1・bにより計算され、cは以上で想起された通り2*2マトリクスであり、bは、
Figure 2014524795
である。この光学的トラッキング技術は、小さい変位について信頼性の高いものであることから、大きい変位の偶発性(contingency)は、(画像の大幅にサブサンプリングされたバージョンからオリジナルの解像度に至るまでの)画像ピラミッド上の変位dを逐次計算することによって対処される。
上述の技術は、画像ストリームが一貫したもの、すなわち、2つの連続する画像間の変位が小さいものであり、かつ2つの連続する画像が、満足のいく量のマッチングするドット(少なくとも30)を見出すのに充分な品質のものであるという仮定に基づいている。
2つの画像間の変位に関しては、画像の獲得は、従来のビデオストリーム周波数で行われる。したがって、2つの画像間の非常に小さい変位を予期することができる。先行する画像と対応するドットを見出すことが不可能になる結果をもたらすと考えられる、より大きな変位については、新しい領域を生成することができる。
画像の不充分な品質(例えば最終的に画像がぶれた場合など)に関しては、マッチングするドットは非常にわずかしか見出されないことが明白であるため、マッチング段階はフィルターとして作用する。次に画像は処理されずに記憶され、充分な数のマッチングするドットを有する次の画像が待たれる。
・ 未変更ドット+最小二乗(least squares)におけるマッチング:すなわち、スケールおよび照射変更のなかで未変更のままにとどまっているドットを探す周知の技術により、2D画像内で注目対象のドットが探求される。これらの技術には、注目対象の各ドットについて形態学的記述子(morphological descriptors)を計算できるという利点がある。
所与の画像対についての注目対象のドット間のマッチングは、画像1内の任意の注目対象のドットxi1をサーチすることによって実施され、画像2中の注目対象のドットxi2は、記述子の観点から見た最小二乗におけるxi1の距離を最小化する。誤マッチングまたは外れ値を回避するため、比率xi1・F・xi2 t=0により注目対象のドット対を結びつける基本的マトリクスFを、最初に画像1および2の間で計算する。
最小二乗における潜在的にマッチングする注目対象のドット対xi1およびxi2について、積xi1・F・xi2 tが10-5より大きい場合、その対は拒絶される。
次に、新しい画像の獲得の間、遷移によって光学トレースのサーチが行われる。画像Ijを獲得する場合、光学トレースの計算が全ての先行する画像I1・・・Ij-1について実施されたと仮定される。注目対象のドットIjはその後で計算され、これは画像Ij-1と対応付けされる。光学トレースは、次に遷移により補完され、そのため、xijがxij-1と対応し、xij-1がxij-2と対応する場合には、xij-1がxij-2と対応するということを指摘しておかなければならない。
・ 強い勾配+相関によるマッチング:すなわち、強度の変動が大きい全てのドットが、一つの画像の注目対象のドットとみなされる。実際には、考慮対象の画像の各ドットについて、このドットのまわりを取り囲む20*20ピクセル内の強度の標準偏差が計算される。偏差が一定の閾値より大きい場合(典型的には、8ビット上でコード化される強度について10の範囲内)、ドットは注目対象のドットとみなされる。
その注目対象のドットレベルでの2つの画像間のマッチングのサーチは、例えば、ただしこれに限定されないが、Mediciタイプ(2005年3月29日出願の仏国特許、欧州特許第1756771号明細書(BO453)および欧州特許出願公開第0600128号明細書(BO471))の相関技術によって行われる。
図16は、リアルタイム3D再構成アルゴリズムの三つの簡略化されたステップを示す。複写物(65)は、再構成する2D獲得画像の一つである。複写物(66)は、3D散布図を計算するためにアルゴリズムの一つによって生成された散布図を表す。複写物(67)は、以下で詳述する、散布図の補間、ポリゴン化およびテクスチャ化のためのアルゴリズムによって複写物(66)に基づいて計算された部分的3D再構成を示す。
3Dモデリングは、三つのステップにしたがう。第一のステップでは、光学ラインを処理することによって得られた3D散布図は、補間陰関数fを計算することによって高密度化される。
この陰関数によって、点を補間する3D表面は、例えば、ただしこれに限定されないが、Bloomenthalなどの方法を用いてポリゴン化される。最後に、各々のポリゴンは、非常に単純な方法でテクスチャ化される。すなわち、ポリゴンを画定する3D点をこれらの点を生成した画像上に投影することによって、ポリゴン部域はこれらの画像上で画定される。次に、これらのポリゴン部域のテクスチャの平均値が決定され、それをそのポリゴンに割当てる。
主たる問題は、陰関数を補間し計算するために使用されるアルゴリズムにある。このアルゴリズムは、我々の用途に最適に適応させられるもので、その理由は、リアルタイム補間を可能にすること、そして他の補間技術とは異なり、歯のようなほとんどテクスチャの無い物体について作業する場合にあてはまることがとても多い、非常に散乱した初期の散布図からの高密度の補間を可能にするからである。以下では、このアルゴリズムの根本を成すジェネリック補間、そして次にマルチスケールスキームにおけるその実際的使用について説明する。
・ ジェネリック補間:Piが3Dダイアグラムのドットを表すものと仮定して(それらの点における法線(normal)
Figure 2014524795
の推定の後)、表面に属する点Xがf(X)=0である点となるように、動径基底関数(RBF)に基づいて、陰関数f:R2→Rをサーチする。
Figure 2014524795
となるようにfを選択し、ここで
Figure 2014524795
である。
したがって、fを説明するために決定すべき未知数は、giとλiである。
giの推定:点Piとその法線
Figure 2014524795
を考慮し、uとvが法線に対し垂直であり、wが法線の方向を指しているようにシステム(u、v、w)を選択しよう。hが、h(u,v)=Au2+Buv+Cv2の形のファンクションであると仮定して、以下の数
Figure 2014524795
を最小化するためにpi内で係数A、BおよびCを探す。その後、gi(x)=w−h(u,v)によって、gi(x)を計算する。
λiの推定:
Figure 2014524795
がわかっているため、単に線形システムを解くことでλiを推定することができる。
・ マルチスケール補間:ジェネリック補間は、実際、補間の精度を大幅に改善するために、点のサブセットについて行われる。まず第一に、セット{P0,・・・・,Pk}を以下のように構築する。すなわち、セットP0は、点Piのセットを含む平行六面体である。2つの連続するレベルk−1およびkの間で、8つの小さい平行六面体への平行六面体の再分割が行われる。
ファンクションfは、反復的手段によって計算される。f0=−1から出発し、そしてfを更新することによってセットPkについて反復する。
Figure 2014524795
Figure 2014524795
は、セットPkについて上述の通りに決定され、λiは、システム
Figure 2014524795
を解くことによって計算される。
σkは、
Figure 2014524795
となるように更新され、構築すべきレベルの数は、
Figure 2014524795
によって定義される。
図17は、精度の増強の2つのステップを示す。
・ 幾何のグローバル計算(68):以上で提示された全てのリアルタイム3D再構成技術とは対照的に、我々は、獲得の終りで、もはやいくつかの画像(シーケンシャルストラテジの場合には固定された画像数、サブシーケンシャルストラテジの場合には領域)では無く、その獲得の全ての画像に基づいた、3D点およびカメラの空間的位置の再評価を用いる。
したがって、初期推定値としての3D点の位置および獲得の終了時のカメラの投影マトリクスと共に、疎バンドル調整タイプのアルゴリズムを使用する。散布図は、最後に、以上で想起された補間アルゴリズムによって高密度化される。
・ スペースカービング(69):グローバル3D散布図がひとたび再計算された時点で、グローバル3D再構成は、図のドロネートライアンギュレーション(Delaunay triangulation)からなる。このトライアンギュレーションは、点の可視性を考慮に入れない極めて過度に高密度のポリゴンセットを提供する。このモデルをセグメント化し、可視的情報のみを抽出するために、エネルギーE=可視性+フォトコンシステンシー+表面を最小化することを目的とするグラフカットタイプのセグメント化を実施する。なおここで、
○ 可視性:モデルの四面体各々について、どのカメラからそれが再構成されたかは分かっている。したがって、それはこのカメラから可視で、カメラとそれとの間に他のいかなる四面体もあってはならない。したがって、各四面体について、可視性の項では、カメラとそれとの間の四面体の数が計数される。
○ フォトコンシステンシー:p(T)が、再構成の三角形Tについてのフォトコンシステンシーの尺度であると仮定しよう。(慣例として、この三角形のテクスチャと、その頂点が導き出される2D点のテクスチャとの間の差の平均値をとることができる)。最小化するフォトコンシステンシーエネルギーの項は、
Figure 2014524795
に等しい。グラフカットにより最小化しようとする場合、三角形Tを共有する各四面体対について、ウエイトエッジWpq=p(T)の二つのノードpとqをグラフに追加することによって最小化を行う。
○ 表面積:可能なかぎり小さい表面積の表面を得るよう試みる。三角形Tを共有する任意の四面体対について、ウエイトエッジWpq=aire(T)の二つのノードpとqをグラフに追加することによって最小化を行う。
このようなシステムの取扱いは、選択された照明のタイプ以外、その特性が固定されているとみなされ作業者により変更され得ないことから、きわめて単純であるが、ただしこの機能は、望まれる診断に導く一連の自動的動作によって制御可能である。この目的で、カメラが実施できる作業を作業者に示し、一つの機能と別の機能との間で作業者が選択を行うことができるようにするコンピュータを作業者(歯科医、歯科技工士または内科医)は有している。
処理の全てまたは一部分は、カメラの中に包含されたカードのレベルで行うことができ、したがって残りの処理は、最終的に、ジェネリックシステム(ラップトップコンピュータもしくは標準的なデスクトップコンピュータ)、または処理、伝送およびデータ表示のアプリケーションのために特定的に専用のカードを包含する特定システムによって実施することが可能となる。
こうして、「測定」機能においては、この動作モードを選択した後、作業者は、測定する部域上でカメラを位置づけした後、カメラ上に位置設定されたボタン、またはコンピュータ、カメラもしくは中間ケーシング上と通信状態にあるペダルを用いて測定を開始し、作業者が充分な情報を得たと感じた時点で、測定を停止する。そのためには、作業者は押圧を停止するか、または再度押圧する。
口内またはプラスターモデル上におけるこの写真記録の場合では、カメラは歯列弓全体にわたって動かされて、加速度計を伴うかまたは伴わないCCD/CMOSであり得る一つまたは複数のセンサーの各々上で、カラー2D情報、xおよびyを収集する。
ソフトウェア処理により、3D座標(x、yおよびz)、およびxとyで測定された各々の点のカラーを実質的にリアルタイムで計算することが可能になる。部分的または完全な歯列弓の3Dファイルがカラーで得られる。
測定する部域の実フィルムである画像の連続記録によって、前庭、舌および近位部域で測定される物体の全てまたは一部分のデジタル処理に必要な情報の完全な記録が可能になる。わずかな光パターンが、作業者に対する連続写真記録の標示を可能にする。
二つの測定された歯列弓の全表面の全ての点を知ることで、作業者は、一部の精度が不充分な部域を再度記録できる。これらの部域は、散布図における情報欠落の存在(広域的検出)またはその直近のドットに比較した異常なドットの存在(ローカル検出)などの異なるリアルタイムシステムを用いてソフトウェアにより自動的に識別される。
これと同じ検出は、モデリング曲線のレベルでも行われ得る(Nurbs、動径基底関数、ウェーブレットなど)。
これらの部域には、色または臨床医の注意を引くことのできる別の方法を用いてマーキングが施される。後者の方法は、再度カメラを用いるものであり、公知の点との関係において新しい点を識別することにより、精度の低い空間または部域を埋めることが可能となる。この作業は、再び読取るべき部域の付番、遵守すべき読取り順序、および/または3D加速度計の存在によって容易になる。
これらのデータは、一方では、アナログ−デジタル変換を受け、他方では、従来の表示スクリーンによりリアルタイムで直接使用可能であるビデオ信号の形で最終的に処理される。
カラー画像を有することで、作業者は、歯の(通常は白色の)部域そして歯肉の(通常は赤色の)部域の自動的分析を有することもでき、これは構造化された光の投影を用いる現行の方法では不可能である。同様にして、公知のカラーの指標を位置づけすることを介して、作業者は識別分析(discriminative analysis)を実施することができ、それにより画像の中の物体のみならずそれらの位置(インプラントまたはネジ頭、歯列矯正用ブラケットなど)を識別することも、また写真の相関を容易にすることもできる(カラーマーク、物体上のラインまたは溝底などの選択色など)。
この識別は、ソフトウェアレベルでの別の利点を有する。現行の方法には、カラー分析が無いことが多いが、構造化された光の投影のため、これらの方法はいわゆる「非関連」表面を有し、このため写真の自動相関は混乱を受け、妨害さえされる。これらの方法には、写真の手作業によるクリーニングが必要であり、これは時間と費用のかかる作業である。歯肉(赤色)と歯(白色)を区別できることにより、カラー情報に基づいて非関連部域を除去することが可能になる。したがって、歯のプレパレーションの分析対象表面内で、全ての赤色非関連部域は自動的に削除されることになる。
最後に、本発明の測定機能において、10μmという高い精度は常に必要であるわけでは無く、広被写界の精度で充分な場合もある(20μm)。歯科分野では、プロテーゼまたはインプラントを作製するために診断または印象の実施を望む施術者は、二つのタイプのアプローチ、すなわち、(測定対象の表面および提供される精度の観点から見て)必要な情報のみを提供する高速アプローチと、完全かつ精度の高い他方のアプローチとを必要とする。例えば、下顎大臼歯上の歯冠の作製は、反対側の歯の光学印象が少なくとも接点(歯尖、歯溝)および歯列弓形状の測定値を提供する場合(これには同じ注意は求められない)に、プレパレーション部域の光学印象が、正確、完全および整然としているとき、歯科用CFAOによって行うことができる。同様にして、歯を矯正するための装置(歯列矯正学)用の印象には、インプラントヘッド上のセラミクスブリッジの作製用の印象ほど精度を必要としない。
最終的におよび有利には、本発明は、画像処理において、実装されるソフトウェアによって、広被写界または狭被写界の精度を互いに独立して選択できるようにする(図1b)。センサーのいずれか一つだけ、好ましくは起動されていないセンサーに置き換わる機能を有する加速度計と結びつけられたセンサーを作動させることにより、広面積のカラー表面を迅速に構築すること、または反対に、高い精度で狭い部域を構築することが可能である。この置換は必ず必要なわけではないが、写真相関の精度を保証する補足要素である。
「診断」と呼ばれる機能においては、施術者が、例えば黒色腫などの所望の診断タイプをコンピュータ上で選択すると、カメラは、3D画像上に存在する予め選択された波長について、注目対象の部域の強調に対応する波長で走査を開始する。さらに、また、物体の3D分析を介して、経時的な測定値の経時的リカバリングにより、前記病変の推移をより良く追跡することが可能になる。実際、専門家達は、疑わしい画像の詳査は2Dでできるが、特にその体積およびその色の推移は、その危険性を経時的に監視するための基準として役立つと認識している。数学的中心(例えばマイクロバール(microbar)中心)を基準とする体積を利用することで、観察者ではなく物体に依存する中心上に画像を置くことにより、その体積の推移を客観的に評価することができ、カラー分析は3Dフォーム上へと移されるが、これは、今日の2D表面上で実施される方法または構造化された光または波動を用いる方法(OCT、スキャナまたはMRI)では不可能である。
同様にして、本発明の3Dカラー表示により、かつ「カラー分析」を選択することにより、歯の色の分析は、それらの測定された体積上に移送される。この測定は、3つまたは4つの基本的LED色(RGB)を用いて比色分析によって行われる。異なるLED色、ひいては複数の波長を有することができるため、構造化された活性光を混乱させる恐れ無く、連続的スペクトルを近似することができる。メタメリズムとは独立した分光比色分析が得られる。
有利には、本発明によると、LEDは、連続写真の相関において重要な役割を果たすことができる(図12)(85)。実際、測定対象の環境内に設置されたマークを用いること、または図自体の中に見られる同様のものを用いること、さらにまたは写真のファジーエッジに取り組むことによる、写真の相関に基づいた方法が存在することが既知である。これらのシステムは全て複雑であって、なぜなら、臨床レベルでの作業が複雑な、部域内に球形マークを設置することや、または多くの場合いかなる起伏もないもしくは表面状態があまりにも平坦な部域を識別することを必要とするからである。
カラー3D画像形成と共に公知の波長を有するLEDで走査することにより、このプロセスを簡略化し自動化することができる。実際、走査用LED(79)のうちの一つ(または複数)の波長と相補的、同一、加法的または減法的な色を用いたマーキングを使用するように注意を払った場合は、シンプルなカラーラインまたは付着されたマークを、自動的に検出し表示することが可能である。したがって、検出は、あらゆるマークを単に色で強調することを介して行われる。我々の光学印象の角度またはズームの如何に関わらず、常に物体上の同じ位置にあるこのマーキングは、相関基準として役立つ。
有利には、本発明中の同じ原理によると、上下顎の前庭部域に我々のカメラを設置することにより、下顎の動きをトラッキングすることが可能である。上顎骨および下顎骨の上に赤色のラインをひき(これは単なる非限定的例である)、その後、前庭ビュー内で、これら二つの顎骨の動きを最初から最後まで撮影する。カメラは、一方の散布図(下顎骨)が、他方の散布図(原則として不動と考えられる上顎骨)に対して動いている写真を撮る。我々のマーキングは各顎骨に独立して属していることから、我々のシステムは、赤色LEDが点灯した時点で強調されるカラーマーキングの動きをトラッキングするだけである(我々の実施例において、そしてこれは単なる一例にすぎない)。この同じマーキングは、上顎骨および下顎骨の光学印象が別々に作られた時点で存在することから、相関ソフトウェアは、上下顎骨の各々一つの画像を相関するためだけでなく、第四次元、すなわち時間に応じた動きを表示するためにも、このカラーマーキングを使用する。
この作業は、マーカーを使用せずに、上顎骨および下顎骨に共通の散布図の識別を介してのみ実施可能である。
一方の歯列弓の他方の歯列弓に対する変位および咬合状態での位置を測定することも同様に可能である。この目的で、カメラは、歯をきつく噛み締めた状態で横方向に位置づけされて、通常は歯の唇側面上にある両方の歯列弓上に見える点の座標を撮る。
前庭写真内で検出された点は、各歯列弓の個別の写真に共通であることから、個別にとり上げた両方の歯列弓の全ての点を相関し、そうして、歯をきつく噛み締めた状態で、前庭ビュー内のアクセス不能な部域を含めた咬合状態の全ての点を得ることが可能である。
このとき、三つのタイプの点ファイル、すなわち、上部歯列弓のファイル、下部歯列弓のファイル、そして静的咬合と呼ばれる咬合状態の二つの歯列弓のファイルが得られる。
歯をきつく噛み締めた状態で、前庭ビューのためにカメラを位置づけし、患者に歯を動かすように頼んだ場合、下部歯列弓との関係における上部歯列弓の時間的変位に対応する、第四のファイルを得る。前庭ビュー内に識別された点の動きを経時的に追跡するだけで充分である。これにより、咬口状態での動的動きについての情報が得られる。
この同じ作業は、技工所用パッチまたは咬合器を用いて実施可能である。カメラは、咬合器上に設置されたプラスターモデル上で検出された前庭点の変位を追跡する。
咬合のこの静的分析から出発して、1985年にChamberyで紹介された仮想咬合器内に我々の仮想モデルを位置づけし、顆状の傾斜、ベネット角、および顔弓により与えられる他の必須情報である必須データを調整することによって、動的動きを追跡することが可能である。
有利には、我々の発明の結果もたらされる3D分析の点を使用して、仮想咬合器上に仮想モデルを適切に位置づけすることができ、および/または、我々の特許、欧州特許第0373077号明細書または我々の特許出願、EP93.913173.6で定義されているマーキング点を使用することができる。
この静的および動的咬合測定に基づいて、我々の特許、欧州特許出願公開第0369908号明細書(米国特許第5,143,086号明細書)「device for measuring and analyzing the movements of the human body or part thereof」中に記載の方法を使用することができる。こうして我々は、患者の咬口を正しく分析するために必要な臨床的情報を全て得ることができる。
我々の発明においては同様に、および有利にも、動きを追跡する上での時間的介入という同じ原理が、口内で発見される可能性のある病変に対する圧力を測定するために応用される。実際、病変を、とりわけ圧力に対するその反応(その初期位置への復帰の緩急)によって識別できるということが既知である。異常生成物の光学印象の「物理的」反応を経時的に追跡することによって、診断を補助することができる。事実、図6a(69)を見ればわかるように、我々は、計器の通過によってこの行為を実施できるように考慮したが、当然のことながらそれが義務となることはない。
光は、シーンを照射して、信号対雑音比を促進するようにのみ意図されている。実際、測定中の表面を光が照射すること無く測定を実施することは可能と考えられるが、口の内部などのような暗い部域内での作業には、可能なかぎり昼光に近く選択された周辺光、または、公知のスペクトル特性を有する光を使用して、分析対象の組織の特徴的データを測定中の表面から抽出するためのカラーレンダリングの分析を可能にすることが求められる。
この構造化されていない光は、同様に、すでに言及した通り、歯科医の診察室または技工所の照明で作業することを可能にする。
同様にして、ここでわかるように、読取り用ウィンドウのまわりに存在するLEDによって発出された一部の波長を選択し、それらの周波数または/および強度を増大させることにより、3D画像上に、低い深度にある一部の解剖学的構造または病変を表示させることができる。体積を知ることで、この病変のリミットの位置が標示され、これによりその推移を予見し表示することが可能となる。これは同様に、青色またはUV放射線に対する一部組織の蛍光反応についても言えることである。蛍光発光は表面においてのみならず、病変の深部にも現われ、このことは、我々が、適用すべき療法(病的組織の切除)に対する補助を提供する上で一助となる。そのようなものまたは放射線の浸透がわかっていることで、分析中の実際の3D表面との関係における範囲および深度を評価することが可能である。
最後に、非限定的ではあるが、3D画像を構築するための二つの2D画像を有することで、我々は、カメラを一切修正せずに、歯科用の市場において今日入手可能な全てのカメラのような、2Dカラー表示へと、我々の映像をリアルタイムで切換えることができる。したがって、我々のカメラは、構造化された光投影を使用しないことから、ズーム効果のみならず、分析の中でエミュレートしたLEDに応じて、緑色、青色またはUV(500〜300nm)放射線内の蛍光による虫歯の検出または赤色および赤外線放射線(600〜900nm)内での視覚化などの、2D画像上でのカラー診断の利用分野をも含めた、現在公知の全ての機能を実施することができる。
有利には、そしてこれは我々の発明の非常に興味深い点であるが、3Dビューから出発して2Dカラーで作業を行うことが可能である。これは次の二つの異なる方法で行うことができる。
− フレームまたは他の構造化された光の投影無く、昼光(79)を使用することから、写真(78)を記録している間の我々の制御機構内の表示スクリーン(5)は、この光学印象カメラを単なる2Dカメラとして使用することを可能にし、これにより施術者の投資コストは著しく制限される。
− また、特定の波長のLEDで走査することによる病変部域のデジタル処理および強調の後、この2D表示を実施することもできる。この技術は、明らかに、3D画像から出発するだけで可能である。
カラー写真におけるこの同じズーム効果またはエミュレーションは、3D画像上で実施可能である。カラーからグレースケールへの遷移が、単に、カメラの作業の結果もたらされる画像の処理を制御しているソフトウェア内に存在する、オフセット機能であることは明白である。
以上の記述から、本発明が、製造段階の間に定めることのできる構想を理由に、極めて低コストで、皮膚の病変の病理学的分析および(経時的な)歯の3Dカラー動的読取りを最適化するための真の回答を提供するという点において、明記された課題を充分に解決するものであることは明白である。同様に、この記述から、特にいかなる代替案も提供されていないことを理由として、本発明が臨床処置の制御などの基本的課題を解決できるようにするということも明白である。本発明が、以上で一例として記されているこの方法の実施の一形態にも、この方法を実施するためのデバイスの実施形態にも限定されないことは明白である。反対に、本発明は、全ての変形実施形態を包含する。したがって、特に、硬組織または軟組織のいずれに関連するかにかかわらず、口腔病変を測定することが可能である。
1 カメラ
2 接続部
3 ケーブル
4 接続部
5 コンピュータ
6 ケーシング
7 ヘッド
8 アーム
13 コネクタ
14 光学系
15 LED
17 保護ガラス
18 ボタン
21 口腔構造
22 マイクロモーター
29 白色LED
30 青色LED
31 緑色LED
37 開口部
38、39 センサー
41 イメージオプティクス
42 制御機構
43、44 変換器
45 画像ソフトウェア
48 HIMインターフェース
49 ビデオ制御スクリーン
50 モデム
52 加速度計
米国特許第4663720号明細書 米国特許第4742464号明細書 米国特許第4611288号明細書 欧州特許第0110797号明細書 米国特許第5092022号明細書 米国特許第4952149号明細書 国際公開第94/00074号 米国特許第4575805号明細書 米国特許第4837732号明細書 米国特許出願公開第2010/0303341号明細書 米国特許出願公開第2009/0227875号明細書 米国特許第7372642号明細書 欧州特許第1756771号明細書 欧州特許第0373077号明細書 欧州特許第0369908号明細書 米国特許第5143086号明細書

Claims (16)

  1. 歯科分野で使用され、活性のまたは構造化された光の投影の不在下での測定を目的とした、三次元測定デバイスであって、画像をキャプチャするための手段と前記画像用のデータ処理手段とを含み、前記画像キャプチャ手段(38、39)が、少なくとも二つの画像を同時にまたはほぼ同時にキャプチャできるように設計された手段で構成され、該二つの画像のうちの一方は他方の画像の中に完全にまたは部分的に包含されており、前記包含された画像が、他方の画像の被写界よりも狭い被写界を描写し、かつ他方の画像の精度よりも高い精度を有している、三次元測定デバイス。
  2. 画像キャプチャ手段が少なくとも二つの電子画像センサーで構成されており、そのうち一方の電子画像センサー(38)が、広い被写界を平均的精度で検分し、他方の電子画像センサー(39)が、前記広い被写界の中に完全にまたは部分的に包含された、より狭い被写界をより高い精度で検分し、前記センサーには光学系が結びつけられている、請求項1に記載の三次元測定デバイス。
  3. センサーに結びつけられた複数の光学系が、異なる焦点距離を有し、それにより二つの異なる精度レベルが可能になっている、請求項2に記載の三次元測定デバイス。
  4. センサーがカラーまたはモノクロのCCDまたはCMOS電子センサーで構成されている、請求項3に記載の三次元測定デバイス。
  5. 画像キャプチャ手段の空間的位置に関する全般的および連続的な情報を提供することのできる加速度計/ジャイロ/3D磁力計(52)をさらに含む、請求項1〜4のいずれかに記載の三次元測定デバイス。
  6. 中央管理およびアナログ/デジタルデータ変換ユニットと、
    − ケーブル、電話回線または無線回線を介したデータ伝送と、
    − 追加の処理、作業者との対話/表示、データ伝送および記憶のためのハードウェアシステムと、
    − USBまたはバッテリ(例えばAC/DC)で作動できる電源カードと、
    を含む、請求項1〜5のいずれかに記載の三次元測定デバイス。
  7. 鏡面またはランバート正則曲面の測定を可能にする一つまたは複数の波長のLEDによる、ならびに、3D表面上に転送された3D画像上の診断機能のための純度(コンシステントがあるか否か)、タイプ(色)および強度(出力)に関する特定の特性を有する構造化されていない光を有するLEDによる、受動的な構造化されていない照明を含む、請求項1〜6のいずれかに記載の三次元測定デバイス。
  8. LEDが既定の波長を有する、請求項7に記載の三次元測定デバイス。
  9. センサーの一つが、被写界深度についての全般的情報を標示できるように設計され、こうして他方のセンサーの焦点距離が、第一のセンサーにより分析された現実に近い領域の中に予め位置づけされるようになっている、請求項2〜8のいずれかに記載の三次元測定デバイス。
  10. より高い精度で最も狭い被写界内で画像をキャプチャするための手段には、他方のキャプチャ手段が網羅する被写界全体を迅速に走査できるようにする変位手段が結びつけられている、請求項1〜9のいずれかに記載の三次元測定デバイス。
  11. より高い精度で最も狭い被写界内で画像をキャプチャするための手段には、可変的ズームが結びつけられている、請求項1〜10のいずれかに記載の三次元測定デバイス。
  12. 包含された画像の被写界および/または他方の画像の被写界を取り囲む、有色光の少なくとも一つの円を投影するための手段を含む、請求項1〜11のいずれかに記載の三次元測定デバイス。
  13. 超高速パルスLEDを伴うフラッシュシステムを含む、請求項1〜12のいずれかに記載の三次元測定デバイス。
  14. 光学系が液体タイプのレンズを含む、請求項1〜13のいずれかに記載の三次元測定デバイス。
  15. 光学系が、被写界深度を調整するためのマイクロモーターと結びつけられた、入力面上に瞳を有するガラスまたは成形ガラス/プラスチックレンズを含む、請求項1〜13のいずれかに記載の三次元測定デバイス。
  16. 光学系が、非対称ファセットにより取り囲まれた平坦な上面で構成された、いわゆる「フリーフォーム」の熱可塑性レンズを含む、請求項1〜13のいずれかに記載の三次元測定デバイス。
JP2014517983A 2011-07-08 2012-07-09 歯科分野で使用される三次元測定デバイス Active JP6223331B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1156201A FR2977469B1 (fr) 2011-07-08 2011-07-08 Dispositif de mesure tridimensionnelle utilise dans le domaine dentaire
FR1156201 2011-07-08
PCT/IB2012/001777 WO2013008097A1 (en) 2011-07-08 2012-07-09 Three-dimensional measuring device used in the dental field

Publications (2)

Publication Number Publication Date
JP2014524795A true JP2014524795A (ja) 2014-09-25
JP6223331B2 JP6223331B2 (ja) 2017-11-01

Family

ID=47172819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014517983A Active JP6223331B2 (ja) 2011-07-08 2012-07-09 歯科分野で使用される三次元測定デバイス

Country Status (7)

Country Link
US (1) US20140146142A1 (ja)
EP (1) EP2729048B1 (ja)
JP (1) JP6223331B2 (ja)
CN (1) CN104349710A (ja)
FR (1) FR2977469B1 (ja)
IL (1) IL230371A (ja)
WO (1) WO2013008097A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017020930A (ja) * 2015-07-13 2017-01-26 株式会社モリタ製作所 口腔内三次元計測装置、口腔内三次元計測方法及び口腔内三次元計測結果の表示方法
KR20170135857A (ko) * 2015-04-09 2017-12-08 시로나 덴탈 시스템스 게엠베하 대상물을 광학적으로 측정하기 위한 방법 및 측정 시스템
JP2018196733A (ja) * 2018-07-03 2018-12-13 株式会社モリタ製作所 口腔内三次元計測方法及び口腔内三次元計測装置
WO2020218560A1 (ja) * 2019-04-26 2020-10-29 株式会社カイ 歯の位置の分析装置、歯の領域抽出モデル生成方法、歯の位置の分析方法、プログラム、および記録媒体

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077564B4 (de) 2011-06-15 2016-08-25 Sirona Dental Systems Gmbh Verfahren zur optischen dreidimensionalen Vermessung eines dentalen Objekts
DE102012207499B3 (de) 2012-05-07 2013-09-05 Sirona Dental Systems Gmbh Verfahren zur Vermessung einer Zahnsituation
WO2014125037A1 (en) 2013-02-13 2014-08-21 3Shape A/S Focus scanning apparatus recording color
CN104814712A (zh) * 2013-11-07 2015-08-05 南京三维视嘉科技发展有限公司 三维内窥镜及三维成像方法
US9478043B2 (en) * 2014-01-29 2016-10-25 Abdullaibrahim Abdulwaheed Measuring teeth whiteness system and method
US10010387B2 (en) 2014-02-07 2018-07-03 3Shape A/S Detecting tooth shade
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
CN104104909A (zh) * 2014-06-10 2014-10-15 广西小草信息产业有限责任公司 一种监控装置
CH709747A1 (de) * 2014-06-11 2015-12-15 Quarz Partners Ag Verfahren und Vorrichtung zum dreidimensionalen Ausmessen von Zahnreihen.
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface
US9629698B2 (en) * 2014-11-04 2017-04-25 James R. Glidewell Dental Ceramics, Inc. Method and apparatus for generation of 3D models with applications in dental restoration design
US9844426B2 (en) * 2015-03-12 2017-12-19 Align Technology, Inc. Digital dental tray
CN104720915B (zh) * 2015-04-13 2017-03-08 吉林大学 一种检测滑杆作用于牙槽嵴黏膜处产生黏膜形变量方法
CN105125160B (zh) * 2015-08-27 2017-01-18 李翔 一种口腔内窥镜检测***及其检测方法
WO2017111116A1 (ja) * 2015-12-24 2017-06-29 株式会社モリタ製作所 三次元計測方法及び三次元計測装置
KR20180107139A (ko) * 2016-02-01 2018-10-01 마르코 마틴 치과용 이미저 및 포토그래픽 인상을 기록하는 방법
JP6378793B2 (ja) * 2016-05-10 2018-08-22 正樹 神原 歯肉診断支援装置および歯肉診断支援システム
US9629532B1 (en) 2016-05-26 2017-04-25 Dental Smartmirror, Inc. System for in-room use of an intraoral mirror with an integrated camera, and applications thereof
US10129448B2 (en) 2016-07-20 2018-11-13 Dental Imaging Technologies Corporation Optical coherence tomography imaging system
DE102016213399A1 (de) * 2016-07-21 2018-01-25 Sirona Dental Systems Gmbh Vermessungssystem und Verfahren zur Vermessung einer Implantat-Implantat-Situation
KR20230154476A (ko) * 2016-07-27 2023-11-08 얼라인 테크널러지, 인크. 치아 진단 기능이 있는 구강 내 스캐너
US10507087B2 (en) 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
US11690604B2 (en) 2016-09-10 2023-07-04 Ark Surgical Ltd. Laparoscopic workspace device
US10299742B2 (en) * 2016-09-14 2019-05-28 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with fault condition detection
US10213180B2 (en) 2016-09-14 2019-02-26 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with operation based on magnetic field detection
US10932733B2 (en) 2016-09-14 2021-03-02 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with operation based on movement detection
CN106618466A (zh) * 2016-11-25 2017-05-10 宁波蓝野医疗器械有限公司 口腔内环境光学三维扫描***
CN106725920B (zh) * 2016-12-07 2019-11-08 上海牙典医疗器械有限公司 一种正畸矫治器的设计制作方法
CN110621259B (zh) * 2017-03-09 2021-11-02 马辛宾科夫斯基N-实验室 口腔内扫描装置、这种装置的操作方法以及扫描器***
CN107295227A (zh) * 2017-05-27 2017-10-24 欧阳聪星 一种口腔内窥器
WO2018219157A1 (zh) * 2017-05-27 2018-12-06 欧阳聪星 一种口腔内窥器
US20210361387A1 (en) * 2017-06-09 2021-11-25 Dental Monitoring Method of evaluating an orthodontic appliance
US11813132B2 (en) 2017-07-04 2023-11-14 Dentlytec G.P.L. Ltd. Dental device with probe
WO2019021285A1 (en) * 2017-07-26 2019-01-31 Dentlytec G.P.L. Ltd INTRA-BUCCAL SCANNER
JP2020537550A (ja) * 2017-08-17 2020-12-24 トロフィー 口腔内表面走査用のステンシル
WO2019102480A1 (en) 2017-11-26 2019-05-31 Dentlytec G.P.L. Ltd Tracked toothbrush and toothbrush tracking system
KR20200115580A (ko) 2018-01-26 2020-10-07 얼라인 테크널러지, 인크. 구강 내 진단 스캔 및 추적
EP3629337A1 (en) * 2018-09-28 2020-04-01 Ivoclar Vivadent AG Rendering of dental models
US10835352B2 (en) * 2018-03-19 2020-11-17 3D Imaging and Simulation Corp. Americas Intraoral scanner and computing system for capturing images and generating three-dimensional models
WO2019215550A1 (en) 2018-05-10 2019-11-14 3M Innovative Properties Company Simulated orthodontic treatment via augmented visualization in real-time
US10547780B2 (en) 2018-05-14 2020-01-28 Abdul Abdulwaheed Body part color measurement detection and method
US10753734B2 (en) 2018-06-08 2020-08-25 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera
JP7028086B2 (ja) * 2018-07-06 2022-03-02 日本製鉄株式会社 形状測定装置および形状測定方法
US11357389B1 (en) * 2018-11-20 2022-06-14 Yingjie Sun Sub-millimeter tuning focus apparatus for a medical device
KR102056910B1 (ko) * 2018-12-21 2019-12-17 주식회사 디오에프연구소 3차원 구강 스캐너 및 이를 이용한 구강 스캔 방법
CN109613183A (zh) * 2019-01-03 2019-04-12 北京英视睿达科技有限公司 低精度监测设备数据的修定方法及***
CN109907854A (zh) * 2019-03-07 2019-06-21 白广亮 一种牙体预备倒凹检测装置
US11367192B2 (en) * 2019-03-08 2022-06-21 Align Technology, Inc. Foreign object filtering for intraoral scanning
IT201900003379A1 (it) * 2019-03-08 2020-09-08 De Goetzen S R L Apparecchio e metodo per la creazione di immagini dentali
US11382517B2 (en) * 2019-03-11 2022-07-12 D4D Technologies, Llc Intra-oral scanning device with integrated optical coherence tomography (OCT)
US11516395B2 (en) * 2019-07-11 2022-11-29 Mediatek Inc. Electronic apparatus with image stabilization
CN110763136B (zh) * 2019-07-31 2021-06-22 武汉理工大学 一种高精度三维工件尺寸检测***及方法
US20210137653A1 (en) * 2019-11-12 2021-05-13 Align Technology, Inc. Digital 3d models of dental arches with accurate arch width
JP7309628B2 (ja) * 2020-01-15 2023-07-18 株式会社モリタ製作所 キャップ、撮像装置、データ生成システム、およびデータ生成方法
CN111700698B (zh) * 2020-05-14 2022-07-08 先临三维科技股份有限公司 齿科扫描方法、装置、***和计算机可读存储介质
US11445165B1 (en) * 2021-02-19 2022-09-13 Dentsply Sirona Inc. Method, system and computer readable storage media for visualizing a magnified dental treatment site
WO2024062326A1 (en) * 2022-09-21 2024-03-28 Alcon Inc. Low profile optical systems for surgical procedures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置
JP2010154957A (ja) * 2008-12-26 2010-07-15 Fujifilm Corp 内視鏡
US20100189341A1 (en) * 2009-01-28 2010-07-29 Oota Sadafumi Intra-oral measurement device and intra-oral measurement system
WO2011009736A1 (de) * 2009-07-24 2011-01-27 Degudent Gmbh Generierung eines gesamtdatensatzes
WO2011009763A2 (de) * 2009-07-23 2011-01-27 Henkel Ag & Co. Kgaa Kosmetisches mittel enthaltend purin und/oder ein purinderivat und sclareol

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4575805A (en) 1980-12-24 1986-03-11 Moermann Werner H Method and apparatus for the fabrication of custom-shaped implants
FR2525103B1 (fr) 1982-04-14 1985-09-27 Duret Francois Dispositif de prise d'empreinte par des moyens optiques, notamment en vue de la realisation automatique de protheses
FR2536654B1 (fr) 1982-11-30 1987-01-09 Duret Francois Procede de realisation d'une prothese dentaire
US4663720A (en) 1984-02-21 1987-05-05 Francois Duret Method of and apparatus for making a prosthesis, especially a dental prosthesis
CH672722A5 (ja) 1986-06-24 1989-12-29 Marco Brandestini
FR2610821B1 (fr) 1987-02-13 1989-06-09 Hennson Int Procede de prise d'empreinte medicale et dispositif pour sa mise en oeuvre
FR2639212A1 (fr) 1988-11-18 1990-05-25 Hennson Int Dispositif de mesure et d'analyse de mouvements du corps humain ou de parties de celui-ci
FR2639211A1 (fr) 1988-11-18 1990-05-25 Hennson Int Procede de correlation des saisies tridimensionnelles d'organes humains et dispositif pour sa mise en oeuvre
FR2692773B3 (fr) 1992-06-26 1994-08-26 Diret Francois Dispositif de corrélation des saisies tridimensionnelles d'organes humains.
EP0600128A1 (en) 1992-11-30 1994-06-08 En-Tech Research Institute Inc. An immobilization agent for industrial waste
DE19636354A1 (de) * 1996-09-02 1998-03-05 Ruedger Dipl Ing Rubbert Verfahren und Vorrichtung zur Durchführung von optischen Aufnahmen
US5846185A (en) * 1996-09-17 1998-12-08 Carollo; Jerome T. High resolution, wide field of view endoscopic viewing system
US6409504B1 (en) 1997-06-20 2002-06-25 Align Technology, Inc. Manipulating a digital dentition model to form models of individual dentition components
IL125659A (en) 1998-08-05 2002-09-12 Cadent Ltd Method and device for three-dimensional simulation of a structure
FR2868168B1 (fr) 2004-03-26 2006-09-15 Cnes Epic Appariement fin d'images stereoscopiques et instrument dedie avec un faible coefficient stereoscopique
DE102004026004B4 (de) * 2004-05-27 2006-09-21 Stm Medizintechnik Starnberg Gmbh Endoskop mit visueller Einrichtung für Rundumblick
ES2632937T3 (es) * 2005-03-03 2017-09-18 Align Technology, Inc. Sistema y procedimiento para explorar una cavidad intraoral
US7372642B2 (en) 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
KR101340971B1 (ko) * 2006-10-27 2013-12-12 노벨 바이오케어 서비시스 아게 치아 구성요소 및 물리적 치아 모형에 대한 데이터를 획득하는 장치 및 방법
WO2009006273A2 (en) * 2007-06-29 2009-01-08 3M Innovative Properties Company Synchronized views of video data and three-dimensional model data
DE102007060263A1 (de) * 2007-08-16 2009-02-26 Steinbichler Optotechnik Gmbh Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
DE102008031054A1 (de) * 2008-01-14 2009-07-16 Kaltenbach & Voigt Gmbh Zahnärztliche Intraoralkamera
US20090227875A1 (en) * 2008-03-04 2009-09-10 Cao Group, Inc. Three-dimensional Imaging System
DE102008047816B4 (de) 2008-09-18 2011-08-25 Steinbichler Optotechnik GmbH, 83115 Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
US20100165080A1 (en) * 2008-12-26 2010-07-01 Fujifilm Corporation Image capturing apparatus and endoscope
DE102009001086B4 (de) * 2009-02-23 2014-03-27 Sirona Dental Systems Gmbh Handgehaltene dentale Kamera und Verfahren zur optischen 3D-Vermessung
US9091536B2 (en) 2009-06-01 2015-07-28 Dentsply International Inc. Method and device for three-dimensional surface detection with a dynamic reference frame
US8783260B2 (en) * 2009-06-05 2014-07-22 Zst Holdings Inc. Apparatuses and methods for mandibular protrusion
WO2011056574A1 (en) * 2009-10-26 2011-05-12 Olaf Andrew Hall-Holt Dental imaging system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置
JP2010154957A (ja) * 2008-12-26 2010-07-15 Fujifilm Corp 内視鏡
US20100189341A1 (en) * 2009-01-28 2010-07-29 Oota Sadafumi Intra-oral measurement device and intra-oral measurement system
JP2010194296A (ja) * 2009-01-28 2010-09-09 Panasonic Corp 口腔内測定装置及び口腔内測定システム
WO2011009763A2 (de) * 2009-07-23 2011-01-27 Henkel Ag & Co. Kgaa Kosmetisches mittel enthaltend purin und/oder ein purinderivat und sclareol
WO2011009736A1 (de) * 2009-07-24 2011-01-27 Degudent Gmbh Generierung eines gesamtdatensatzes

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170135857A (ko) * 2015-04-09 2017-12-08 시로나 덴탈 시스템스 게엠베하 대상물을 광학적으로 측정하기 위한 방법 및 측정 시스템
JP2018518209A (ja) * 2015-04-09 2018-07-12 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 物体を光学的に測定するための方法および測定システム
KR102244532B1 (ko) * 2015-04-09 2021-04-23 시로나 덴탈 시스템스 게엠베하 대상물을 광학적으로 측정하기 위한 방법 및 측정 시스템
JP2017020930A (ja) * 2015-07-13 2017-01-26 株式会社モリタ製作所 口腔内三次元計測装置、口腔内三次元計測方法及び口腔内三次元計測結果の表示方法
JP2018196733A (ja) * 2018-07-03 2018-12-13 株式会社モリタ製作所 口腔内三次元計測方法及び口腔内三次元計測装置
WO2020218560A1 (ja) * 2019-04-26 2020-10-29 株式会社カイ 歯の位置の分析装置、歯の領域抽出モデル生成方法、歯の位置の分析方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
WO2013008097A1 (en) 2013-01-17
CN104349710A (zh) 2015-02-11
JP6223331B2 (ja) 2017-11-01
IL230371A (en) 2017-04-30
EP2729048A1 (en) 2014-05-14
FR2977469B1 (fr) 2013-08-02
EP2729048B1 (en) 2023-09-20
FR2977469A1 (fr) 2013-01-11
US20140146142A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
JP6223331B2 (ja) 歯科分野で使用される三次元測定デバイス
US11612326B2 (en) Estimating a surface texture of a tooth
US11759091B2 (en) Device for visualizing an interior of a patient's mouth
US9877642B2 (en) Device for viewing an interior of a mouth
EP3713446B1 (en) Handheld dental tracking device
JP5856610B2 (ja) カラー光学印象による経時的三次元測定装置
US7912257B2 (en) Real time display of acquired 3D dental data
JP2016508754A (ja) 歯肉縁下部分を測定する装置および方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20140925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171003

R150 Certificate of patent or registration of utility model

Ref document number: 6223331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250