JP6302482B2 - スキャン装置及びスキャン装置を位置決めるための方法 - Google Patents

スキャン装置及びスキャン装置を位置決めるための方法 Download PDF

Info

Publication number
JP6302482B2
JP6302482B2 JP2015547240A JP2015547240A JP6302482B2 JP 6302482 B2 JP6302482 B2 JP 6302482B2 JP 2015547240 A JP2015547240 A JP 2015547240A JP 2015547240 A JP2015547240 A JP 2015547240A JP 6302482 B2 JP6302482 B2 JP 6302482B2
Authority
JP
Japan
Prior art keywords
scanning device
pattern
image
unit
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015547240A
Other languages
English (en)
Other versions
JP2016501380A (ja
JP2016501380A5 (ja
Inventor
ドミトリー ニコライエヴィチ ズナメンスキー
ドミトリー ニコライエヴィチ ズナメンスキー
ヘース フランシスクス ヘンドリクス ファン
ヘース フランシスクス ヘンドリクス ファン
ルード フルッテルス
ルード フルッテルス
ブレー カール カタリナ ファン
ブレー カール カタリナ ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016501380A publication Critical patent/JP2016501380A/ja
Publication of JP2016501380A5 publication Critical patent/JP2016501380A5/ja
Application granted granted Critical
Publication of JP6302482B2 publication Critical patent/JP6302482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Description

本発明は、対象(object)をスキャンするため、特に対象の3D表面をスキャンするためのスキャン装置に関する。
さらに、本発明は、スキャンされる対象に対して前記スキャン装置を位置決めるための方法にも関する。
スキャン装置は通常、対象の画像を生成するために、この対象から反射される光を集めるための画像センサを利用している。この画像センサは、光エネルギーを電荷に変換し、最終的にこの光の色及び強度を示す一連のビットにする。結果生じるデジタル画像は例えば、フラットベッドスキャナ上に置かれる紙のような比較的平坦な対象の2次元画像である。
3Dスキャンは、対象の幾何学形状又は形態を地点のデータセットに変換する技術である。各地点は、スキャンされた対象の表面の3次元空間における実際の地点を示している。集められたデータは、デジタルの3次元モデルを構成するのに使用されることができる。集められた3Dデータは、幅広い種類の応用に有用である。例えば、3Dスキャン技術は、娯楽産業により映画及びテレビゲームの製作において広く用いられる。この技術の他の一般的な応用は、工業デザイン、歯列矯正及び補綴学、リバースエンジニアリング及びプロトタイピング、品質管理/検査、並びに文化的遺物の文書化を含む。
特に、人間の顔の3Dデータが集められることができる。取り込まれる顔の輪郭及び形状はマスクを設計するのに使用され、これらマスクはCPAP(持続陽圧呼吸)を含む多くの医療分野において応用される。顔の輪郭の正確な3Dモデリングは、目への刺激を引き起こす空気漏れという問題を回避するぴったり合ったマスクの製造を楽にする。
3Dスキャン装置を形成するのに使用される多くの異なる技術が存在している。1つのよく知られる分類は、スキャン技術を2つの型式、つまり接触型及び非接触型の3Dスキャンに分かれる。
接触型の3Dスキャナは、対象が精密な平面プレートに接している又はその上に置かれている間、物理的な接触を介して前記対象を調べる。この型式のスキャン技術は主に製造時に用いられ、高精度にすることができる。接触型のスキャンの欠点は、スキャナがスキャンされる対象と接している必要があることである。従って、スキャン処理中、対象は変形される又は損傷を受けることがある。その上、このスキャン技術は通常、他のスキャン方法に比べ非常に遅い。さらに、人間の顔の輪郭をスキャンするために上記接触型の3Dスキャナを使用することは望ましくない。
3Dスキャン技術のもう1つの好評な分類は、アクティブな非接触型スキャンである。アクティブとは、夫々のスキャナが、ある種の符号化、構造又は非符号化されるエネルギー、例えば光を放射する、及び対象を調べ、対応する3D表示を取り込むために、スキャンされる対象における前記エネルギーの反射を検出することを意味している。
アクティブな非接触型の3Dスキャナは、三角測量の使用に最も頻繁に基づいている。この場合、スキャナは例えば、レーザー光を対象に向けて、このレーザーの点の位置を探すためにカメラを使用する。レーザーがどの位離れて対象の表面に当っているかに依存して、レーザーの点はカメラの視野内において異なる位置に現れる。基本的な技術は、レーザーの点、カメラ及びレーザーエミッタが三角形を形成するので、三角測量と呼ばれる。
1つのレーザーの点の代わりに、光のパターンが対象に投影されることができる。この型式のスキャナは、構造化照明(structured light)スキャナと呼ばれ、アクティブな非接触型のスキャナと見なされることができる。前記パターンは、線のような1次元のパターン、又は格子若しくは線の縞模様のような2次元のパターンである。この光のパターンが例えばLCDプロジェクターを用いて対象に投影される。パターンプロジェクターから僅かにオフセットしているカメラは、カメラから見たときの構造化照明を取り込む。さらに、取り込まれた画像は分析され、パターンの歪みが評価される。三角測量に基づくアルゴリズムを用いて、パターンの各地点までの距離が計算される。対象の表面にわたり前記光のパターンをスイープ(sweep)することにより、対象の3D表示が得られる。構造化照明3Dスキャナは、非常に速いスキャンを提供する。1回に1つの点又は線をスキャンする代わりに、構造化照明スキャナは、複数の点若しくは線を又は全視野を一度にスキャンすることができる。
しかしながら、適切なスキャンを得るために、スキャナは、対象から一定の距離及び/又は角度に置かれなければならない。スキャナを適切に位置合わせするために、例えば静的な主パターン(static main pattern)を使用することがよく知られ、このパターンは、手持ち式のスキャナを動かす及び回転させることにより顔の特徴と位置合わせされる必要があるマーカーを含んでいる。例として、患者の顔にある目が投影される円と位置合わせされる必要がある一方、十字は鼻の先に位置合わせされる必要がある。しかしならが、この位置合わせ手続きは、全く不正確な結果を提供するだけであり、上記スキャナを使用する睡眠の専門家にとって十分に直観的ではないことが分かっている。加えて、対象及びスキャナが自由に動く(例えば手持ち式のスキャナを用いて、あごを支持しないで人間の頭部をスキャンする)場合、ユーザは、適切なスキャン位置を評価するのが難しい。従って、スキャンされる対象に対してスキャン装置を正確に位置決めるための何らかの形式のフィードバック又は支援が必要とされる。
その結果、本発明の目的は、スキャンされる対象に対してスキャン装置の正しい位置及び/又は方位を見つけるユーザを支援するスキャン装置及び方法を提供することである。
本発明の第1の態様において、対象をスキャンするためのスキャン装置が示され、この装置は、前記対象に位置合わせ画像を投影するための投影ユニットであり、前記位置合わせ画像は主パターンを有する、投影ユニット、前記対象の生のカメラ画像を取り込むための画像取込ユニットであり、前記生のカメラ画像は前記主パターンの派生パターンを有する、前記派生パターンは前記画像取込ユニットから見たときの前記投影される位置合わせ画像を表している、画像取込ユニット、並びに前記取り込まれた生のカメラ画像に基づいて、スキャンされる対象に対して前記スキャン装置の正しい位置及び/又は方位の指示を供給するための位置合わせユニット、を有する。
本発明の他の態様において、スキャンされる対象に対してスキャン装置を位置決めるための方法が示され、ここで前記方法は、前記対象に位置合わせ画像を投影するステップであり、前記位置合わせ画像は主パターンを有する、前記投影するステップ、前記対象の生のカメラ画像を取り込むステップであり、前記生のカメラ画像は前記主パターンの派生パターンを有する、前記派生パターンは画像を取り込む視点から見たときの前記投影される位置合わせ画像を表している、前記取り込むステップ、前記取り込まれる生のカメラ画像に基づいて、前記スキャンされる対象に対して前記スキャン装置の正しい位置及び/又は方位の指示を供給するステップ、並びに先のステップを繰り返すとき、前記スキャン装置が前記正しい位置及び/又は方位を実質的に取るように、前記供給される指示に基づいて、前記スキャン装置の位置及び/又は方位を変更するステップ、を有する。
前記スキャン装置の投影ユニットは例えば、LCDプロジェクター又は対象に主パターンを有する位置合わせ画像を投影することが可能である如何なる他の適切な光源とすることができる。通例、電荷結合装置又はCMOSセンサが生のカメラ画像を取り込むための画像取込ユニットとして使用される。スキャン装置は構造化照明の原理に基づいているので、投影ユニットは、対象に光のパターンを投影し、スキャンされる対象の3D表示を得るために、対象上にある前記パターンの変形を評価する。正確なスキャンを得る及びスキャンされる対象がスキャナの動作範囲内にあることを確認するために、スキャン装置の位置及び/又は方位が前記対象に対して位置合わせされなければならない、すなわちスキャン装置が対象から一定の距離/角度範囲で位置決められなければならない。ユーザは、供給される指示に基づいて、前記対象に対してスキャン装置をただ動かすことにより、前記位置及び/又は方位を非常に簡単に位置合わせることができる。指示を供給するために、スキャン装置は、取り込まれた生のカメラ画像を評価し、この評価に基づいてスキャン装置の起こり得る位置合わせ不良(misalignment)を決定する。この場合、前記指示は、決定される位置合わせ不良に関する情報を有する。その代わりに、前記指示に基づいて、正しい位置及び/又は方位からのスキャン装置の偏差を評価することがスキャン装置のオペレータに委ねられ、ここでスキャン装置は、前記指示を供給する前にスキャン装置の位置合わせを評価しない。複雑さが低いので、提案されるスキャン装置の位置合わせは、非常に素早く実行されることができる。
本発明の好ましい実施例は従属請求項において規定される。
第1の実施例において、投影ユニットは、静的な主パターンを投影するために構成され、ここで、位置合わせユニットは、取り込まれた生のカメラ画像と前記静的な主パターンとを重ね合わせることにより、位置合わせ画像を更新するように構成される重畳ユニットであり、更新される位置合わせ画像は、この更新される位置合わせ画像において前記静的な主パターンと派生パターンとが実質的に一致する場合、スキャンされる対象に対するスキャン装置の正しい位置及び/又は方位を示している。言い換えると、スキャナのユーザは、更新される位置合わせ画像において静的な主パターンと派生パターンとが実質的に一致するとすぐに、スキャン装置が適切に位置合わせされることを直観的に理解する。本実施例において、スキャン装置の正しい位置合わせを評価するために、スキャン装置において複雑なアルゴリズムを実施する必要はない。ぼやけたカメラ画像を生じさせる顔の毛及びスキャナ又は対象の動きにより失敗する自動の位置合わせ手続きと比較して、ユーザの潜在意識による視覚的フィードバックを使用する、提案されるスキャン装置の手動の位置合わせは非常にロバスト性のある解決法となる。
他の実施例において、投影ユニットは、基本パターンを有する主パターンを投影するために構成され、ここで、正しい位置及び/又は方位は、スキャンされる対象に対するスキャン装置の正しい距離である。前記基本パターンは例えば、円及びこの円の中心で交差する2本の線を有する。投影ユニットから僅かにオフセットしている画像取込ユニットは、この画像取込ユニットの視点からの前記基本パターンを取り込む。更新される位置合わせ画像において静的な主パターンと派生パターンとが一致しない場合、対象への距離が正しく設定されていない。結果的に、ユーザはスキャン装置を対象に近づける又は対象から遠ざけるように動かさなければならない。重ね合されたパターンを用いて、スキャン装置のスキャンされる対象までの距離は非常に素早く、並びに簡単で、直観的で及びよりロバストな方法で位置合わせされることができる。
他の実施例において、投影ユニットは、基本パターン及び補足パターンを有する主パターンを投影するために構成され、ここで正しい位置及び/又は方位は、対象に対するスキャン装置の正しい角度である。基本パターンの他に、主パターンは、補足パターンも有することができ、この補足パターンは例えば基本パターンの円の外側において2つの異なる側に配される2つの追加の線により構成される。本実施例において規定される主パターンは、スキャンされる対象に対するスキャン装置の距離及び/又は角度の位置合わせを容易にする。よって、更新される位置合わせ画像において静的な主パターンと派生パターンとが一致しない場合、ユーザは前記対象に対して前記スキャン装置を回転しなければならないかもしれない。位置合わせ画像に含められる静的な主パターン及び派生パターンの視覚的フィードバックは、スキャン装置の角度位置の素早く、簡単な、直観的な及びよりロバスト性のある位置合わせにつながる。
もう1つの実施例において、スキャン装置はさらに、取り込まれた生のカメラ画像を処理するためであり、及びこの処理される生のカメラ画像を重畳ユニットに供給するために構成される処理ユニットを有する。この処理ユニットを用いて、生のカメラ画像は、主パターンにより重ね合される前に適応する。これは、更新された位置合わせ画像の品質を向上させることにつながり、結果的に前記対象に対して前記スキャン装置のより正確な位置合わせを容易にする。
他の実施例において、前記処理ユニットは、生のカメラ画像を拡大するために構成される。この拡大(ズーム)機能は、画像取込ユニット及び投影ユニットのアスペクト比を合致させるのに使用されることができる。処理ユニットは、投影ユニット及び画像取込ユニットの図形特性を同期させるに使用されてもよいので、この投影ユニットと画像取込ユニットとの非常に柔軟な組み合わせが達成される。その上、静的な主パターン及び生のカメラ画像の重畳の質が向上し、これにより、スキャン装置のより正確な位置合わせが容易になる。その代わりに、拡大比はさらに、視覚的フィードバックの感度を向上させるため及びテクスチャゴースト(texture ghosting)を減らすためにさらに増大することができる。
もう1つの実施例において、前記処理ユニットは、スキャン装置が較正対象に適切に位置合わせされているとき、更新される位置合わせ画像において主パターンと派生パターンとが実質的に一致するように生のカメラ画像を変形するために構成される。本実施例において、スキャン装置は、較正対象に対して前記スキャン装置を最初に位置合わせるためのオプションを提供する。この較正対象に対し、適切な距離及び角度がユーザにより知られる。これは、スキャン装置が既知の距離及び角度で位置決められている場合、更新された位置合わせ画像において静的な主パターンと派生パターンとは理論上は一致すべきであることを意味している。前記パターンが一致しない場合、このとき処理ユニットは、更新される位置合わせ画像において主パターンと派生パターンとが最終的に一致するように、生のカメラ画像を変形するようにプログラムされる。見つかった変形は記憶され、視覚的フィードバックのループに利用される。この方法は視覚的フィードバックを向上させる。
他の実施例において、重畳ユニットは、主パターンのとは異なる輝度及び/又は色を取り込まれた生のカメラ画像に適用するために構成される。異なる輝度及び/又は色は、主パターンと派生パターンとをより簡単に識別することを可能にする。結果として、ユーザはスキャン装置をより正確に位置合わせることができる。
もう1つの実施例において、重畳ユニットは、連続して取り込まれる生のカメラ画像と主パターンとを繰り返し重ね合わせることにより、位置合わせ画像を繰り返し更新するために構成される。本実施例において、ユーザは、スキャン装置の位置及び/又は方位を変更するとき、連続する視覚的フィードバックを得る。従って、この方法は、スキャン装置の位置合わせの速度を上げる。
他の実施例において、スキャン装置は、更新される位置合わせ画像においてゴーストパターンを抑制又は回避するために構成される。連続して取り込まれる生のカメラ画像と主パターンとを繰り返し重ね合わせることにより、位置合わせ画像を繰り返し更新するとき、この更新される位置合わせ画像は、投影ユニット、画像取込ユニット及び重畳ユニットから構成される閉ループから結果生じる多くのゴーストパターンを有する。これらゴーストパターンは、前記パターンの全てが同じ方向に外れるため、邪魔だとは気付かず、さらに位置合わせの微調整中にユーザを支援する一方、ゴーストパターンは、幾つかの実施例において効果的に抑制される又はさらに回避されることができる。
もう1つの実施例において、重畳ユニットは、生のカメラ画像の背景から派生パターンをセグメント化するために生のカメラ画像のコントラストを強調すること、及び輝度が主パターンの輝度よりも既定の割合だけ低いように、生のカメラ画像の輝度を正規化することによりゴーストパターンを抑制するように構成される。これらの方法により、位置合わせ画像が実質的に静的な主パターン及び派生パターンだけを有し、この位置合わせ画像は、本実施例において画像取込ユニットから見たときの主パターンによりまさに構成される。ゴーストパターン及び投影されるパターンに無関係な他の画像内容(二重のゴーストの鼻/目等)が抑制される。結果として、ユーザの着目点はまさにこれら2つのパターンに向けられる。
他の実施例において、画像取込ユニットは、派生パターン及び生のカメラ画像が画像取込ユニットから見たときの主パターンにより唯一構成されるように、画像取込ユニットと投影ユニットとを同期させることによりゴーストパターンを回避するように構成される。画像取込ユニットにより静的な主パターンが分かっている場合、この画像取込ユニットは、画像取込ユニットから見たときの主パターンを唯一含んでいる画像を取得することを可能にする。従って、ゴーストパターンはこの方法により効果的に回避されることができる。
他の実施例において、投影ユニットは、主パターンには第1のカラーチャンネルを用いて、及び派生パターンには第2のカラーチャンネルを用いて更新される構成画像を投影するために構成され、ここで、画像取得ユニットは、少なくとも第1のカラーチャンネルを用いて生のカメラ画像を取り込むために構成される。本実施例において、有利には、カラー投影ユニット及びカラー画像取得ユニットが使用される。異なるカラーチャンネルを用いて主パターン及び派生パターンを投影並びに取得することにより、混乱させる可能性を秘めるゴーストパターンの発生が回避されることができる。
もう1つの実施例において、スキャン装置は、少なくとも対象の一部の3D形状を表す3Dデータを決定するために構成される。3Dスキャナは、対象の形状及び可能であれば対象の外観(例えば色)に関するデータを集めるためにこの対象を分析する。集められた3Dデータは、デジタルの3次元モデルを構成するのに使用されることができる。この3Dデータは、多様な応用に有用である。例として、これらは、娯楽産業により映画及びテレビゲームの製作において広く用いられる。他の一般的な応用は、工業デザイン、歯列矯正及び補綴学、リバースエンジニアリング及びプロトタイピング、品質管理/検査、並びに文化的遺物の文書化を含む。
他の実施例において、スキャン装置は、前記3Dデータをデータ記憶ユニットに送るためのインタフェースを有する。ある実施例において、データ記憶ユニットは、前記スキャン装置のすぐ隣に置かれるか、又はスキャン装置に組み込まれることもできる。もう1つの実施例において、データ記憶ユニットは遠隔的に例えば3Dデータが製品を製造するのに使用される製造所に置かれる。
例えば、前記対象は人間の顔でもよい。人間の顔の3Dデータは例えば、例えば治療用の患者マスクのような人間に対し個別化されるマスク、又は映画の製作のような他の応用のための如何なる他の形式のマスクを製造するのに使用される。
本発明の方法の好ましい実施例において、静的な主パターンが対象に投影され、ここで指示を供給するステップ、並びに位置及び/又は方位を変更するステップは、取り込まれた生のカメラ画像と静的な主パターンとを重ね合わせることにより位置合わせ画像を更新するステップ、更新された位置合わせ画像を対象に投影するステップ、並びに更新された位置合わせ画像において静的な主パターンと派生パターンとが実質的に一致するように、スキャン装置の位置及び/又は方位を変更するステップ、を有する。本実施例は、対象に対してスキャン装置を位置合わせするための直観的な方法を提供し、故にスキャナを使用するスタッフに特別な訓練は必要ない。
もう1つの実施例において、前記方法はさらに、主パターンの中心が対象の中心を示すようにスキャン装置を位置合わせるステップを有する。主パターンの中心は例えば、基本パターンの円とすることができる。この円の中心は次いで、この中心が対象の中心を示すように位置合わせされる。この対象の中心は例としてスキャンされる人間の鼻である。これはスキャン装置の距離及びスキャン装置の角度の正確な位置合わせを支援する。
もう1つの実施例において、前記方法はさらに、主パターンの垂直な対称軸が対象の垂直な対称軸と一致するようにスキャン装置を位置合わせるステップを有する。対象の垂直な対称軸は例えば、鼻梁を含む人間の顔の垂直な中心線とすることができる。このパターンは、位置合わせ処理中にユーザを支援し、スキャン装置の正しい位置決めを楽にする。
本発明のさらに他の態様において、スキャン装置の投影ユニットは、マーカーのパターンを有する主パターンを投影するために構成され、ここで位置合わせユニットは、取り込まれる生のカメラ画像に基づいて投影されるマーカーのパターンの深度値を決定するため、及び決定される深度値に基づいてスキャン装置の位置合わせ誤差を計算するための計算ユニットを有し、前記深度値は、投影されるマーカーのパターンの位置とスキャン装置との間の距離を表し、前記位置合わせ誤差は、スキャン装置の正しい位置及び/又は方位からのスキャン装置の実際の位置決め偏差を表し、スキャン装置の正しい位置及び/又は方位の指示は、位置合わせ誤差に基づいている。本実施例において、スキャン装置は、位置合わせ誤差に関するフィードバックを連続して提供するために構成される。これは、対象に対するスキャン装置の非常に早く、正確な位置合わせを保証する。
スキャン装置の他の実施例において、位置合わせユニットは、投影されるマーカーのパターンの位置を決定するための検出ユニットを有する。この検出ユニットを用いて、マーカーのパターンは、非常に迅速に特定されることができる。結果として、位置合わせ誤差及び指示は夫々、如何なる実質的な遅延なしに供給されることができる。これは、スキャン装置の素早く、使いやすい位置合わせにつながる。
スキャン装置のもう1つの実施例において、位置合わせユニットは、スキャン装置のオペレータにスキャン装置の正しい位置及び/又は方位の指示を示すための提示ユニットを有する。スキャン装置から供給される直接のフィードバックを用いて、ユーザ、例えば睡眠の専門家は、スキャン装置の位置に関する位置合わせ誤差に直に反応することができる。これは、スキャナの正しい位置合わせを保証し、結果的に例えば患者の顔の正確なスキャンにつながる。
スキャン装置の他の実施例において、前記提示ユニットは、位置合わせ誤差の量及び/又は方向を有するスキャン装置の正しい位置及び/又は方位の指示を示すために構成される。本実施例において、スキャン装置のユーザは、位置合わせ誤差の方向及び量に関する正確な情報を受信する。スキャン装置のユーザは、スキャナが対象に対してどの位動かされる及び/又は回転しなければならないかを正確に知っているので、位置合わせ手続きは早められる。
スキャン装置のもう1つの実施例において、前記提示ユニットは、主パターンと、スキャン装置の正しい位置及び/又は方位の指示を有する画像とを重ね合わせることにより位置合わせ画像を更新するためのオーバーレイユニットを有する。映像化は、位置合わせ誤差を示すための非常に直観的な方法を提供する。よって、位置合わせ誤差が例えば、人間の顔の前額領域に投影される。これは、スキャン装置の正しい位置及び/又は方位に対するフィードバックがスキャン装置を操作しているユーザの視野内に直接示されることを意図している。これは、さらにユーザフレンドリーであり、簡単な位置合わせ手続きにつながる。その上、位置合わせ誤差を表示するための追加のハードウェアは必要ない。
スキャン装置の他の実施例において、前記提示ユニットは、スキャン装置の正しい位置及び/又は方位の指示を有する画像を表示するための視覚表示ユニットを有する。本実施例において、位置合わせ誤差に関する情報を示すための別個のユニットが使用される。この外部表示ユニットは、スキャン装置を操作しているユーザから如何なる距離にでも位置決めることができる。さらに、前記情報は、如何なるフォーマットで示されることができ、例えばオペレータの要求に応じて拡大されることもできる。さらに、スキャン装置が前記対象に対してどの位動かされる及び/又は回転しなければならないかをユーザに通知する追加のテキストが視覚表示ユニット上に供給されることができる。
スキャン装置のもう1つの実施例によれば、前記提示ユニットは、スキャン装置の正しい位置及び/又は方位の指示を有する情報を音響的に供給するための音響ユニットを有する。この音響ユニットは例えば、位置合わせ手続きにわたり、スキャン装置のオペレータを誘導するための情報を音響的に供給するスピーカーを有することができる。この音響的情報は、位置合わせ誤差の視覚表示の代わりに又はそれに加えて供給されることができる。
スキャン装置のもう1つの実施例において、投影ユニットは、空間的及び/又は時間的に符号化されたパターンを有するマーカーのパターンを投影するために構成される。このような符号化されたパターンは、投影されるマーカーのパターンの検出を楽にして、それにより、より早い位置合わせ手続きにつながる。
スキャン装置のもう1つの実施例によれば、投影ユニットは、静的な要素のパターンを有する主パターンを投影するために構成される。この静的な要素のパターンは例えば、位置合わせ手続きの最初に、人間の顔の目及び/又は鼻の先と位置合わせされる必要がある2つの円及び/又は1つの十字を有する。静的な要素のパターンの利用は、スキャン装置の最初の大まかな位置合わせを提供する。結果的に、スキャン装置の位置及び/又は方位の微調整に対する位置合わせ誤差の指示だけが必要とされる。結果として、位置合わせ手続きは早められることができる。
本発明の方法のさらに他の態様によれば、マーカーのパターンを有する主パターンが対象に投影され、ここで指示を供給するステップは、取り込まれる生のカメラ画像に基づいて、投影されるマーカーのパターンの深度値を決定するステップであり、前記深度値は投影されるマーカーのパターンの位置とスキャン装置との間の距離を表している、前記決定するステップ、前記決定した深度値に基づいてスキャン装置の位置合わせ誤差を計算するステップであり、前記位置合わせ誤差はスキャン装置の正しい位置及び/又は方位からのスキャン装置の実際の位置決め偏差を表している、前記計算するステップ、並びに前記位置合わせ誤差に基づいてスキャン装置の正しい位置及び/又は方位の指示を供給するステップ、を有する。提案される方法は、スキャン装置のオペレータに位置合わせ誤差に関する直接のフィードバックを連続して供給することにより位置合わせ手続きを向上させる。このフィードバックは、投影されるパターンに追加される、又は例えば別個のスクリーン又は音響ユニットのような他のモダリティを通じて与えられることができる。示される位置合わせ誤差を用いて、スキャン装置のオペレータは、位置合わせ手続きにわたり直観的に誘導される。結果として、スキャナは非常に迅速で正確に対象に位置合わせされることができる。
もう1つの実施例によれば、前記方法はさらに、深度値を決定する前に投影されるマーカーのパターンの位置を決定するステップを有する。最初に、投影されるマーカーのパターンは、取り込まれた生のカメラ画像において特定されなければならない。このマーカーの位置が決定されるとすぐに、このマーカーの深度値が3Dスキャナを用いて連続して推定される。深度値の推定に基づいて、スキャン装置の位置合わせ誤差が計算され、スキャナのオペレータに供給される。有利には、主パターンは、対象に投影される複数のマーカーのパターンを有する。これは、位置合わせ誤差の計算を楽にする。
請求される方法は、請求される装置のような及び従属請求項に規定されるような類似する及び/又は同一の好ましい実施例を持つ。
対象をスキャンするためのスキャン装置の好ましい実施例を示す。 スキャン装置により対象に投影される、位置合わせ画像に含められる静的な主パターンの実施例を示す。 スキャン装置により対象に投影される、位置合わせ画像に含められる静的な主パターンの実施例を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 スキャン装置の位置合わせ不良に対する位置合わせ画像を示す。 対象に対してスキャン装置を位置決めるための方法の好ましい実施例を説明する図を示す。 本発明の他の態様による対象をスキャンするためのスキャン装置のもう1つの好ましい実施例を示す。 本発明の他の態様によりスキャン装置の正しい位置及び/又は方位の指示を含む例示的な主パターンを示す。
本発明のこれら及び他の態様は、以下に開示される実施例から明らかであり、これら実施例を参照して説明される。
図1は、例として人間14の顔12をスキャンするためのスキャン装置10を示す。例示的な本実施例において、スキャン装置10は、顔12の3D表示を生成するために、顔12の顔面をスキャンするように構成される手持ち式の3Dスキャナである。3D表現は例えば、治療中に利用される顔面マスクを製造するために用いられる。この3D表現を達成するために、スキャナ10は、このスキャナ10と顔12の顔面との間の距離を測定しなければならない。これは一般的に、既知の三角測量法を利用することにより行われる。
スキャナ10は、投影ユニット16及び画像取込ユニット18を有する、並びに構造化照明の原理に基づいている。投影ユニット16は例えばLCD/DMDプロジェクター16である。画像取込ユニット18はカメラ18、通例は電荷結合又はCMOS装置である。構造化照明の手持ち式の3Dスキャナ10は、プロジェクター16を用いて顔12に光のパターンを投影する。顔12の3D表示を生成するために、スキャナ10は、カメラ18を用いて取り込まれる前記パターンの変形を評価する。図1に見られるように、カメラ18は、パターンプロジェクター16より僅かにオフセットしている。カメラ18は、プロジェクター16とは異なる角度からの投影されるパターンを見るので、前記パターンは、スキャナ10と顔12の表面の地点との間の距離によって、カメラ18の視野内の異なる場所に現れる。この技術は三角測量と呼ばれる。スキャナ10と顔12の各々の表面の地点との間の距離を計算することにより、顔12の3D表示が達成される。
この開示される手法から、顔12に対するスキャナ10の位置合わせが極めて重要な問題であることは明らかである。正確なスキャンを取得するために、スキャナ10は、顔12から一定の距離及び角度で位置決められなければならない。この位置合わせ処理を支援するために、スキャナ10は、パターン発生器20、重畳ユニット22及び処理ユニット24を有する。パターン発生器20は、静的な主パターン26を発生させ、このパターンは、重畳ユニット22を介してプロジェクター16に供給される。投影ユニット16は、前記静的な主パターン26を有する位置合わせ画像28を顔12に投影する。次いで、カメラ18が顔12の生のカメラ画像30を取り込む。ここで生のカメラ画像30は、カメラ18から見たときの投影される位置合わせ画像28を有する。結果として、この生のカメラ画像30は、前記静的な主パターン26から得られるパターンである、派生パターン32を有する。
取り込まれた生のカメラ画像30は次いで、処理ユニット24に供給され、この処理ユニットは例えば、この生のカメラ画像を拡大し、視覚的フィードバックの感度を向上させる。他のステップにおいて、処理される生のカメラ画像30は重畳ユニット22に供給される。重畳ユニット22は、この処理される生のカメラ画像30と静的な主パターン26とを重ね合わせることにより、更新される位置合わせ画像28を生成する。この更新される位置合わせ画像28は、プロジェクター16を用いて再び顔12に投影される。重畳ユニット22により実行される重畳の結果として、更新される位置合わせ画像28は、静的な主パターン26と派生パターン32とを有する。オプションとして、重畳ユニット22は、静的な主パターン26及び派生パターン32に異なる輝度レベル及び/又は色を適用してよい。従って、ユーザは投影される位置合わせ画像28において前記パターン26、32を非常に簡単に識別することができる。有利なことに、派生パターン32は更新される位置合わせ画像28において、ユーザが静的な主パターン26と派生パターン32とを直観的に認識するように、より低い輝度で見える。
スキャナ10の好ましい実施例において、位置合わせ画像28を投影する、生のカメラ画像20を取り込む、取り込まれた生のカメラ画像30と静的な主パターン26とを重ね合わせることにより更新される位置合わせ画像28を生成する、及び更新された位置合わせ画像28を再び投影することからなるシーケンスは連続して繰り返される。これは、顔12に対するスキャナ10の正確な位置合わせを確保する。
図2aは、基本パターン34を有する静的な主パターン26の例示的な実施例を示す。基本パターン34は、円34及び十字のパターン38により構成される。好ましくは、ユーザは、円36の中心が顔12の中心(例えばスキャンされる人間14の鼻)を示すようにスキャナ10を位置合わせする。その上、ユーザは、十字のパターン38の垂直な対称軸が顔12の垂直な対称軸(例えば人間14の鼻梁を有する顔12の中心線)と一致するように、スキャナ10を垂直方向に位置合わせる。以下の例から明らかとなるように、図2aの静的な主パターン26は、スキャナ10と顔12との間の距離に対して、スキャナ10の正しい位置合わせを容易にする。しかしながら、図2aの静的な主パターン26は、顔12に対してスキャナ10の方位を較正するのには適さない。
図2bは、基本パターン34及び補足パターン40を有する静的な主パターン26を説明し、これは顔12に対するスキャナ10の垂直方向の角度の位置合わせを可能にする。この例において、プロジェクター16及びカメラ18は互いに垂直方向に配列されると仮定される。スキャナ10の垂直方向の角度は、補足パターン40の上部及び下部の両方を視察することにより位置合わせされ得る。
図3から図6は、顔12に対してスキャナ10の異なる位置合わせ不良の様々な位置合わせ画像28を示す。連続する位置合わせ画像28の全てにとって、プロジェクター16は、カメラ18よりも上で垂直方向に配される。一般的に、スキャナ10は、顔12に投影される更新される位置合わせ画像28において静的な主パターン26と派生パターン32とが実質的に一致する場合、顔12に対して正確に位置決められる及び/又は配向される。前記2つのパターン26、32が位置合わせ画像28において一致しない場合、ユーザは、主パターン26及び派生パターン32が凡そ一致するまで、顔12に対してスキャナ10のスキャン距離及び/又は角度を調節しなければならない。図3から図6を用いて、位置合わせ画像28の観察されるパターン26、32を解釈するために、ユーザがする方法が説明される。
図3から図5において、静的な主パターン26は、実線で描かれている一方、派生パターン32は、破線で描かれている。
図3aは、位置合わせ画像28の一例を示し、ここでスキャナ10は、顔12に近すぎて位置決められる。結果として、ユーザは、スキャナ10の距離を正確に位置合わせるために、スキャナ10を遠ざけるように移動させなければならない。
図3bは、正反対の例を説明し、ここでスキャナ10は、顔12から離れすぎて位置決められる。結果として、スキャナ10は顔12に近づくように移動しなければならない。
図4及び5は、異なる位置合わせ画像28を示し、ここで静的な主パターン26は、基本パターン34及び補足パターン40を有し、これはさらにスキャナ10の正しい方位の追跡を容易にする。
図4aにおいて、スキャナ10は、顔12に近すぎて位置決められ、従ってスキャナ10は遠ざけるように移動しなければならない。図4bは図4aに示される例と正反対の例を説明している。従ってスキャナ10は、顔12から離れすぎて位置決められる。故に、スキャナ10は顔12に近づくように移動しなければならない。
図5は、スキャナ10と顔12との間の方位(角度)に関して、顔12に対し位置合わせされていないスキャナ装置10の2つの例である。図5aにおいて、カメラ18は、プロジェクター16よりも顔12に近い。これはスキャナ10が顔12に対して上に向いていることを意味している。故に、ユーザは、スキャナ10を下に向けなければならない。図5bに説明される例において、カメラ18はプロジェクター16よりも顔12から離れている。スキャナ10は基本的に下を向いているため、ユーザがスキャナ10を上に向けなければならない。
この位置合わせ手続きは、スキャンされる対象に対してスキャン装置10の正しい位置及び/又は方位が定められるとき、主パターン26と派生パターン32とは実質的に一致するという意味で、スキャナ10は正しく事前に位置合わせされると推測する。事前の位置合わせは例えば、較正対象12に対してスキャナ10を適切に位置合わせることにより行われることができ、ここで、スキャン装置10の正しい位置及び/又は方位は前もって既に知られている。静的な主パターン26及び派生パターン32が適切に位置合わされたスキャン装置10の位置合わせ画像28において一致しない場合、処理ユニット24は、主パターン26及び派生パターン32が位置合わせ画像28において一致するような画像の変形を検索するようにプログラムされる。特に、処理ユニット24は、主パターン26及び派生パターン32の正確な範囲が確保されるまで、取り込まれた生のカメラ画像30を(線形に)変形することができる。スキャナ10のこの事前の位置合わせを用いて、顔12に対するスキャナ10の正確な位置合わせが達成される。
プロジェクター16、カメラ18、処理ユニット24及び重畳ユニット34(図1も参照)からなるループの結果として、位置合わせ画像28は、多くのゴーストパターン42を有する。図6において、簡潔さのために1つのゴーストパターン42(図6の点線を参照)だけしか描かれていない。
ゴーストパターン42は、(ゴーストパターン42全てが主パターン26に対して同じ方向に外れるので)スキャナ10の微細な位置合わせ中に邪魔だと感じたことはなく、それどころかユーザを支援する一方、これらゴーストパターンは、位置合わせ画像28において効果的に抑制される若しくは回避されることができる。ゴーストパターン42を抑制若しくは回避する方法の幾つかのオプションがある。
ある実施例において、生のカメラ画像30は、(場合により幾つかのゴーストパターン42を有する)観察される派生パターン32を背景から分割し、テクスチャゴースト(texture ghosting)を減らすために、コントラスト強調される。さらに、生のカメラ画像30の輝度は、この輝度が主パターン26の輝度よりも低い何分かの1になるように正規化される。これらのステップは画像ゴーストも減らす。
代替実施例において、カメラ18は、このカメラ18が主パターン26だけを有する生のカメラ画像30のみを取得するようにプロジェクター16と同期する。結果として、プロジェクター16は、主パターン26及び派生パターン32だけを有する位置合わせ画像28を投影し、これはカメラ18から見たときの主パターン26だけを有する。プロジェクター16とカメラ18との間の同期手続き中、主パターン26の形状はカメラ18に供給される。これは、カメラ18が主パターン26だけを自動的に検出及び取り込むことを可能にする。
他の実施例において、カメラ18及びプロジェクター16にカラーカメラ及びカラープロジェクターが使用される。結果的に、主パターン26及び観察される派生パターン32は、異なるカラーチャンネルを用いて投影され、取得される。特に、プロジェクター16は、更新された形状の画像28を顔12に投影するとき、主パターン26に第1のカラーチャンネルを及び派生パターン32に第2のカラーチャンネルを使用することができる。カメラ18が例えば生のカメラ画像30を取り込むために第1のカラーチャンネルを使用する場合、この生のカメラ画像30はカメラから見たときの主パターン26だけを有する。結果として、ゴーストパターン42は効果的に回避されることができる。
図7は、対象12に対してスキャン装置10を位置決めるための方法44の好ましい実施例を説明するための図を示す。
第1のステップ46において、位置合わせ画像28が対象12に投影され、ここで位置合わせ画像28は静的な主パターン26を有する。
ステップ48において、スキャン装置10が対象12に対して位置合わせされる。位置合わせ手続きは、主パターン26の中心が対象12の中心を示すようにスキャン装置10を位置決めるステップを有する。さらに、スキャン装置10は、主パターン26の垂直な対称軸が対象12の垂直な対称軸と一致するように位置決められるべきである。
ステップ50において、対象12の生のカメラ画像30が取り込まれ、ここで生のカメラ画像30は、画像を取り込む視点から見たときの投影される位置合わせ画像28を有する。その上、生のカメラ画像30は、派生パターン32を有し、このパターンは、前記画像を取り込む視点から見たときの静的な主パターン26から構成される。
ステップ52において、生のカメラ画像30が処理される。ある例示的な実施例において、生のカメラ画像30は例えば、カメラ18及びプロジェクター16のアスペクト比を合致させるために拡大されることができる。もう1つの実施例において、拡大比は、視覚的フィードバックの感度を改善する、及びテクスチャゴーストを減らすためにさらに増大することができる。
ステップ54において、位置合わせ画像28は、取り込まれる生のカメラ画像30及び静的な主パターン26を重ね合わせることにより更新される。任意で、生のカメラ画像30及び静的な主パターン26に異なる輝度及び/又は色が適用されることができる。これは、位置合わせ画像28内における派生パターン32と静的な主パターン26との差別化を楽にする。
次のステップにおいて、更新される位置合わせ画像28が対象12に投影され、これにより再びステップ46に戻る。
更新される位置合わせ画像28において静的な主パターン26と派生パターン32とが一致しない場合、ユーザは再びステップ48の更なる繰り返しにおいて対象12に対してスキャナ10を位置合わせなければならない。故に、位置合わせステップ48は、スキャンした対象12に対してスキャン装置10の位置及び/又は方位を変更するステップも有する。
ステップ46から54は、更新される位置合わせ画像28において静的な主パターン26と派生パターン32とが実質的に一致するまで繰り返される。この状態が達成されると、スキャナ10は対象12に正しく位置合わせされる。結果として、対象12の正確なスキャンが獲得される。さらに、スキャンされる対象がスキャナの動作範囲内にあることが保証される。
要約すれば、図1から図7は、対象12をスキャンするためのスキャン装置10を開示し、ここでスキャン装置10は、位置合わせ画像28を対象12に投影するための投影ユニット16であり、前記位置合わせ画像は静的な主パターンを有する、投影ユニット、対象12の生のカメラ画像30を取り込むための画像取込ユニット18であり、前記生のカメラ画像30は前記静的な主パターン26の派生パターン32を有する、前記派生パターン32は画像取込ユニット18から見たときの前記投影される位置合わせ画像28を表している、画像取込ユニット18、取り込まれた生のカメラ画像30と静的な主パターン26とを重ね合わせることにより前記位置合わせ画像28を更新するための重畳ユニット22であり、前記更新される位置合わせ画像28は、前記更新される位置合わせ画像28において前記静的な主パターン26と派生パターン32とが実質的に一致する場合、スキャンされる対象12に対してスキャン装置10の正しい位置及び/又は方位を示している、重畳ユニットを有する。
さらに、図1から図7は、スキャンされる対象12に対してスキャン装置10を位置決めるための方法に関し、ここでこの方法は、位置合わせ画像28を対象12に投影するステップであり、前記位置合わせ画像は静的な主パターン26を有する、前記投影するステップ、対象12の生のカメラ画像30を取り込むステップであり、前記生のカメラ画像30は前記静的な主パターン26の派生パターン32を有する、前記派生パターン32は画像を取り込む視点から見たときの前記投影される位置合わせ画像28を示している、前記取り込むステップ、取り込まれた生のカメラ画像30と静的な主パターン26とを重ね合わせることにより位置合わせ画像28を更新するステップ、更新される位置合わせ画像28を対象12に投影するステップ、並びに先のステップを繰り返すとき、更新される位置合わせ画像28において静的な主パターン26と派生パターン32とが実質的に一致するように、スキャン装置10の位置及び/又は方位を変更するステップ、を有する。
本発明の他の態様によれば、図8は、対象12をスキャンするためのもう1つのスキャン装置10'の実施例を説明している。一般に、このスキャン装置10'は、図1に示されるスキャン装置10の実施例に対応している。従って、対応するユニット/要素は同じ参照番号によりタグ付けされている。以下において、違うところだけが説明される。
図8に示されるように、スキャン装置10'は、パターン発生器20、投影ユニット16及びカメラ18に結合される位置合わせユニット22'を有する。この位置合わせユニット22'は、検出ユニット60、計算ユニット62及び提示ユニット64を有する。スキャン装置10'の説明される例示的な実施例において、提示ユニット64は、オーバーレイユニット66及び音響ユニット68を有する。代替実施例において、提示ユニット64は、オーバーレイユニット66又は音響ユニット69の何れか一方を有することができる。スキャン装置10'のさらに他の代替実施例において、提示ユニット64は、スキャン装置10'の外側に配されることもでき、例えばワイヤレス通信を用いて計算ユニット62に接続されるタブレットPCのような外部の視覚表示ユニットを有することができる。
以下において、位置合わせユニット22'の機能は、図8と図9とを組み合わせて説明する。スキャン装置10'の本実施例において、パターン発生器20は、主パターン26を発生させ、この主パターンは静的な要素のパターン70と複数のマーカーのパターン72とを有する。主パターン26は、位置合わせユニット22'に供給され、このユニットは主パターン26を投影ユニット16に送る。図1に示される実施例にあるように、投影ユニット16は位置合わせ画像28を人間の顔12に投影し、ここで位置合わせ画像28は主パターン26を有する。静的な要素のパターン70は、人間14の目及び顔12夫々に位置合わせされる楕円形形状のパターン70aを有する。加えて、静的な要素のパターン70は、スキャン装置10'の位置合わせ手続き中、人間14の鼻の先に焦点を合わせる必要がある十字70bを有する。静的な要素のパターン70を人間14の様々な顔の特徴に当てることにより、スキャン装置10'の大まかな初期の位置合わせが行われる。結果として、スキャナ10'の位置合わせが早められる。
位置合わせ処理の以下のステップは、スキャン装置10'の位置及び/又は方位の微調整を供給する。図9に説明される主パターン26の例示的な実施例において、マーカーのパターン72は、空間的に符号化されたパターン、特に2Dのバイナリコードから構成されるARタグ(拡張実現タグ)を有する。代わりに、他の形式のコード、例えば時間的に符号化されたパターン(例えば時間的交互ブロック)が使用されることができる。主パターン26の他の代替実施例において、空間的及び時間的の両方で符号化されたパターンがマーカーのパターン72として使用される。これら空間的及び/又は時間的に符号化されたパターンは、位置合わせ処理の後のステップにおいてこれらマーカーのパターン72が簡単に検出され得ることを保証するために利用される。
スキャン装置10の実施例にあるように、カメラ18は、主パターン26からなる派生パターン32を有する生のカメラ画像30を取り込む。この派生パターン32は、カメラから見たときの投影される位置合わせ画像28を表すので、派生パターン32は、静的な要素のパターン70及びマーカーのパターン72から得られるパターンも有する。取り込まれた生のカメラ画像30は次いで、検出ユニット60に送られる。検出ユニット60は、マーカーのパターン72の正確な位置を決定するのに用いられる。マーカーのパターン72の検索は、マーカーのパターン72の凡その位置が先験的に分かっているという事実により楽になる。従って、マーカーのパターン72の正確な位置は、例えば空間的に符号化されたパターンをマーカーのパターン72として使用するとき、検索ウィンドウにあるスライドウィンドウを相互に関連付けることにより素早く見つけられる。類似として、時間的に符号化されたパターンをマーカーのパターン72として使用するとき、時間フィルタが利用されることができる。マーカーのパターン72の正確な位置が一度決定/推定されたら、この位置の情報が計算ユニット62に送られる。
マーカーのパターン72の決定される位置は、夫々の深度値に直接変換される。この変換は、例えばルックアップテーブルを利用することにより行われることができる。(マーカーのパターン72の位置に関連する)深度の推定から、スキャン装置10'に対する顔12の位置及び/又は方位に関する結果が描かれることを可能にするモデルが得られる。簡単なモデルは例えば、図9に説明されるマーカーのパターン72a、72c及び72bの深度値の傾向を決定することにより、顔12の垂直軸に沿った方位を推定する。同様に、顔12の水平軸に沿った方位は、マーカーのパターン72d、72c及び72eの深度値の傾向から得られる。スキャン装置10'と顔12との間の正しい距離は、真ん中のマーカーのパターン72cの深度値から又はマーカーのパターン72aから72eに関する全ての深度値の平均からの何れか一方により得られる。要約すると、顔12に対するスキャン装置10'の位置合わせ誤差は、マーカーのパターン72に関する深度の推定から計算されることができる。この位置合わせ誤差は、提示ユニット64に送られる。
提示ユニット64は、スキャン装置10'のオペレータにこのスキャン装置10'の正しい位置及び/又は方位の指示(indication)74を示すことを担当し、ここで指示74は、位置合わせ誤差から得られる。この指示74はオペレータに視覚的及び/又は音響的に供給されることができる。図8に説明される実施例において、位置合わせ誤差は、音響ユニット68と同じくオーバーレイユニット66にも送られる。オーバーレイユニット66は、主パターン26と指示74を有する画像とを重ね合わせることにより位置合わせ画像28を更新し、この画像は位置合わせ誤差の視覚化を示している。図9に説明される例を参照すると、指示74は、スキャン装置10'が顔12に対してどれだけ回転されなければならないかを示す2つの矢印(図9の表示74における右側及び左側の矢印を参照)を有する、並びにスキャン装置10'と人間の顔12との間の正しい距離に対してユーザを誘導する1つの追加の矢印(図9の表示74における真ん中にある矢印を参照)を有する。正しい位置合わせ誤差を視覚化するために、指示74が顔12に、好ましくは一般に顔12の前額領域は比較的に平坦であるため、この前額領域に投影される。
指示74に説明される3つの矢印の代わりに又はそれら矢印に加え、指示74は、位置合わせ誤差の量を視覚化する誤差のスケールを有してもよい。さらに、前記指示74の一部としてジンバル(gimbal)が視覚化されることもできる。
音響ユニット68は、音響の表現のために前記位置合わせ誤差を処理し、この処理された情報をスピーカーに送る。処理された情報は、例えば"左に向ける"、"右に向ける"、"近づける"及び/又は"遠ざける"のような音響的指示74を有してもよい。
スキャン装置10'は、マーカーのパターン72の深度値を連続して測定する、及び現在の位置合わせ誤差に関する連続的なフィードバックをスキャン装置10'のオペレータに供給することが可能である。位置合わせ誤差は、スキャナのオペレータに視覚的及び/又は音響的に示される。位置合わせ誤差に基づく指示74は、位置合わせ手続き中、スキャン装置10'の直観的な取扱いを保証する。さらに、与えられる指示74は、対象12に対するスキャナ10'の非常に素早く及び正確な位置合わせにつながる。現在の位置合わせ誤差を迅速に減らすために、位置合わせ誤差の量及び方向を示すことにより、スキャナ10'のオペレータは、スキャナ10'がどれだけ回転する及び/又は動く必要があるかについて誘導される。
スキャン装置10'は、このスキャン装置10'の簡単及び快適な較正も容易にする。ここでスキャナ内部の単位から"現実世界"の座標への(非線形の)変換が決定される。このような較正処理に必須のツールは、適切な較正テンプレートである。この較正テンプレートは例えば、既知の間隔を有するマーカーを備える完全に平坦なボードである較正チャートとすることができる。較正するために、スキャン装置10'は、前記較正ボードに対して多数の異なる距離及び/又は角度で位置決められ、ここでスキャン装置10'は、前記較正ボードにパターンを投影する。較正手続きは通常、スキャン装置10'の位置決めに対して一定の自由度を許しているので、凡その距離及び/又は角度でスキャン装置10'を位置決めるのに十分である。この位置決めは、前記較正ボードに対してスキャナ装置10'の正しい位置を示す指示74を供給することにより、このスキャン装置10'により支援される。従って、提案されるスキャン装置10'は、経験不足のユーザもスキャナの較正を行うことを可能にする。例えばラップトップのような追加の特別な機器は必要ない。
本発明の他の態様によれば、図8及び図9は、対象12をスキャンするためのスキャン装置10'を開示し、ここでスキャン装置10'は、位置合わせ画像28を対象12に投影するための投影ユニット16であり、位置合わせ画像は主パターン26を有する投影ユニット、対象12の生のカメラ画像32を取り込むための画像取込ユニット18であり、生のカメラ画像は主パターン26の派生パターン32を有する、前記派生パターン32は画像取込ユニット18から見たときの前記投影される位置合わせ画像28を示す画像取込ユニット18、並びに取り込まれた生のカメラ画像30に基づいて、スキャンされる対象12に対してスキャン装置10'の正しい位置及び/又は方位の指示を供給するための位置合わせユニット22'を有し、ここで投影ユニット16は、マーカーのパターン72を有する主パターン26を投影するように構成され、並びに位置合わせユニット22'は、取り込まれた生のカメラ画像30に基づいて、投影されるマーカーのパターンの位置とスキャン装置10'との間の距離を表す、この投影されるマーカーのパターン72の深度値を決定する、及び決定される深度値に基づいてスキャン装置10'の位置合わせ誤差を計算するための計算ユニット62を有し、位置合わせ誤差は、スキャン装置10'の正しい位置及び/又は方位からのこのスキャン装置10'の実際の位置決め偏差を表し、スキャナ装置10'の正しい位置及び/又は方位の指示74は、位置合わせ誤差に基づいている。
加えて、本発明のもう1つの態様によれば、図8及び図9は、スキャンされる対象12に対するスキャン装置10'を位置決めるための方法に関し、ここで前記方法は、位置合わせ画像28を対象12に投影するステップであり、前記位置合わせ画像28は主パターン26を有する、前記投影するステップ、前記対象12の生のカメラ画像を取り込むステップであり、前記生のカメラ画像は主パターン26の派生パターン32を有する、前記派生パターンは画像を取り込む視点から見たときの前記投影される位置合わせ画像28を示す、前記取り込むステップ、前記取り込まれた生のカメラ画像30に基づいて、前記スキャンされる対象12に対してスキャン装置10'の正しい位置及び/又は方位の指示を供給するステップ、並びに先のステップを繰り返すとき、前記スキャン装置10'が実質的に正しい位置及び/又は方位を取るように、供給された指示に基づいてスキャン装置10'の位置及び/又は方位を変更するステップを有し、ここでマーカーのパターン72を有する主パターン26が対象12に投影される、及び指示74を供給するステップは、取り込まれる生のカメラ画像30に基づいて投影されるマーカーのパターン72の深度値を決定するステップであり、前記深度値は、投影されるマーカーのパターン72の位置とスキャン装置10'との間の距離を表している、前記決定するステップ、前記決定される深度値に基づいてスキャン装置10'の位置合わせ誤差を計算するステップであり、前記位置合わせ誤差は前記スキャン装置10'の正しい位置及び/又は方位からのスキャン装置10'の実際の位置決め偏差を表している、前記計算するステップ、並びに前記位置合わせ誤差に基づいて前記スキャン装置10'の正しい位置及び/又は方位の指示74を供給するステップ、を有する。
本発明は、図面及び上述した説明において詳細に説明並びに開示されている一方、このような説明及び開示は、説明又は例示的であり、制限的ではない、つまり本発明は開示した実施例には限定されないと考えるべきである。開示した実施例に対する他の変形例は、図面、明細書及び特許請求の範囲を学ぶことにより請求する本発明を実施する当業者により理解及びもたらされ得る。特に、開示されるスキャン装置及び方法は、如何なる他のアプリケーション、例えば例として、映画及びテレビゲームの製作、品質管理、リバースエンジニアリング又はプロトタイピングに応用されることもできる。本明細書を通じて、"一致"という言葉は一般的に"実質的に一致"として読み取られるべきである。派生パターンは殆どの場合、例えば較正対象の3D形状から、スキャンされる対象の正確な3Dの頭部形状の偏差により、主パターンに対して固有の変形を有する。
請求項において、"有する"という言葉は、他の要素又はステップを排除するものではない。複数あることを述べなくても、それらが複数あることを排除するものではない。単独の要素又は他のユニットが請求項に挙げられた幾つかの要素の機能を果たしてもよい。ある方法が互いに異なる従属請求項に挙げられているという単なる事実は、これら方法の組み合わせが有利に使用されることができないことを示していない。
請求項における如何なる参照符号もその請求項の範囲を限定するとは考えるべきではない。

Claims (13)

  1. 対象をスキャンするためのスキャン装置であり
    前記対象に位置合わせ画像を投影するための投影ユニットであり、前記位置合わせ画像は主パターンを有する、投影ユニット、
    前記対象の生のカメラ画像を取り込むための画像取込ユニットであり、前記生のカメラ画像は前記主パターンの派生パターンを有し、前記派生パターンは前記主パターンから派生し、前記画像取込ユニットから見たときの前記投影される位置合わせ画像を表している、画像取込ユニット、並びに
    前記取り込まれる生のカメラ画像に基づいて、前記スキャンされる対象に対する前記スキャン装置の正しい位置及び/又は方位の指示を供給するための位置合わせユニット
    を有するスキャン装置において、
    前記投影ユニットは、静的な主パターンを投影するために構成される、並びに前記位置合わせユニットは、前記取り込まれる生のカメラ画像と前記静的な主パターンとを重ね合わせることにより前記位置合わせ画像を更新するために構成される重畳ユニットであり、前記更新される位置合わせ画像は、前記更新される位置合わせ画像において前記静的な主パターンと前記派生パターンとが実質的に一致する場合、前記スキャンされる対象に対する前記スキャン装置の正しい位置及び/又は方位を示している、スキャン装置
  2. 前記投影ユニットは、基本パターンを有する主パターンを投影するために構成される、並びに前記正しい位置及び/又は方位は、前記スキャンされる対象に対する前記スキャン装置の正しい距離である、請求項1に記載のスキャン装置。
  3. 前記取り込まれる生のカメラ画像を処理するためであり、前記処理される生のカメラ画像を前記重畳ユニットに供給するために構成される、処理ユニットをさらに有する、請求項に記載のスキャン装置。
  4. 前記処理ユニットは、前記生のカメラ画像を拡大するために構成される、請求項に記載のスキャン装置。
  5. 前記処理ユニットは、前記スキャン装置が較正対象に適切に位置合わせされるとき、前記更新される位置合わせ画像において、前記主パターンと前記派生パターンとが実質的に一致するように、前記生のカメラ画像を変形するために構成される、請求項に記載のスキャン装置。
  6. 前記重畳ユニットは、前記主パターンのとは異なる輝度及び/又は色を前記取り込まれる生のカメラ画像に適用するために構成される、請求項に記載のスキャン装置。
  7. 前記重畳ユニットは、連続して取り込まれる前記生のカメラ画像と前記主パターンとを繰り返し重ね合わせることにより、前記位置合わせ画像を繰り返し更新するために構成される、請求項に記載のスキャン装置。
  8. 前記投影ユニットは、マーカーのパターンを有する主パターンを投影するために構成される、並びに前記位置合わせユニットは、
    −前記取り込まれる生のカメラ画像に基づいて、前記投影されるマーカーのパターンの深度値を決定するステップであり、前記深度値は前記投影されるマーカーのパターンの位置と前記スキャン装置との間の距離を表している、前記決定するステップ、並びに
    −前記決定される深度値に基づいて、前記スキャン装置の位置合わせ誤差を計算するステップであり、前記位置合わせ誤差は前記スキャン装置の正しい位置及び/又は方位からの前記スキャン装置の実際の位置決め偏差を表し、前記スキャン装置の正しい位置及び/又は方位の指示は前記位置合わせ誤差に基づいている、前記計算するステップ
    を行うための計算ユニット
    を有する、請求項1に記載のスキャン装置。
  9. 前記位置合わせユニットは、前記スキャン装置のオペレータに、前記スキャン装置の正しい位置及び/又は方位の指示を示すための提示ユニットを有する、請求項に記載のスキャン装置。
  10. 前記提示ユニットは、前記位置合わせ誤差の量及び/又は方向を有する、前記スキャン装置の正しい位置及び/又は方位の指示を示すために構成される、請求項に記載のスキャン装置。
  11. 前記提示ユニットは、前記主パターンと、前記スキャン装置の正しい位置及び/又は方位の前記指示を有する画像とを重ね合わせることにより、前記位置合わせ画像を更新するためのオーバーレイユニットを有する、請求項に記載のスキャン装置。
  12. 前記提示ユニットは、前記スキャン装置の正しい位置及び/又は方位の前記指示を有する画像を表示するための視覚表示ユニット、及び/又は、前記スキャン装置の正しい位置及び/又は方位の前記指示を有する情報を音響的に供給するための音響ユニットを有する、請求項に記載のスキャン装置。
  13. 前記投影ユニットは、空間的及び/又は時間的に符号化されたパターンを有するマーカーのパターンを投影するために構成される、請求項に記載のスキャン装置。
JP2015547240A 2012-12-18 2013-12-12 スキャン装置及びスキャン装置を位置決めるための方法 Active JP6302482B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261738594P 2012-12-18 2012-12-18
US61/738,594 2012-12-18
US201361832289P 2013-06-07 2013-06-07
US61/832,289 2013-06-07
PCT/IB2013/060832 WO2014097060A2 (en) 2012-12-18 2013-12-12 Scanning device and method for positioning a scanning device

Publications (3)

Publication Number Publication Date
JP2016501380A JP2016501380A (ja) 2016-01-18
JP2016501380A5 JP2016501380A5 (ja) 2017-01-26
JP6302482B2 true JP6302482B2 (ja) 2018-03-28

Family

ID=50069256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015547240A Active JP6302482B2 (ja) 2012-12-18 2013-12-12 スキャン装置及びスキャン装置を位置決めるための方法

Country Status (7)

Country Link
US (1) US9947112B2 (ja)
EP (1) EP2936390A2 (ja)
JP (1) JP6302482B2 (ja)
CN (1) CN104871176B (ja)
BR (1) BR112015014054A2 (ja)
RU (1) RU2649958C2 (ja)
WO (1) WO2014097060A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489117B2 (ja) * 2014-02-18 2019-03-27 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
US20170200383A1 (en) * 2014-05-27 2017-07-13 Invenciones Tecnológicas Spa Automated review of forms through augmented reality
CN107735136B (zh) 2015-06-30 2021-11-02 瑞思迈私人有限公司 使用移动应用的面罩大小调整工具
CN107851320A (zh) * 2015-07-17 2018-03-27 皇家飞利浦有限公司 用于确定移动设备相对于主体的位置的设备和方法
DE102016115252A1 (de) * 2016-08-17 2018-02-22 Carl Zeiss Industrielle Messtechnik Gmbh Messvorrichtung und Verfahren zur Einrichtung der Messvorrichtung
US10600203B2 (en) * 2017-06-06 2020-03-24 CapSen Robotics, Inc. Three-dimensional scanner with detector pose identification
CN108345812B (zh) * 2017-12-25 2021-07-27 创新先进技术有限公司 一种扫描定位方法、装置、设备及***
TW202009868A (zh) * 2018-08-17 2020-03-01 聚晶半導體股份有限公司 三維感測裝置及三維感測方法
US20200137233A1 (en) * 2018-10-26 2020-04-30 Toshiba Tec Kabushiki Kaisha System and method for alignment of scan documents
CN113994396A (zh) 2019-04-01 2022-01-28 陈健 基于增强现实和/或姿势检测技术的用户引导***
CN114175629A (zh) 2019-07-26 2022-03-11 惠普发展公司, 有限责任合伙企业 基于捕捉的图像内的被识别的点来修改投射的结构光
EP3839418A1 (en) * 2019-12-18 2021-06-23 Hexagon Technology Center GmbH Optical sensor with overview camera
WO2022005337A1 (en) * 2020-06-29 2022-01-06 Autonomous Non-Profit Organization For Higher Education «Skolkovo Institute Of Science And Technology» Veins mask projection alignment

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6314311B1 (en) 1999-07-28 2001-11-06 Picker International, Inc. Movable mirror laser registration system
US6317616B1 (en) * 1999-09-15 2001-11-13 Neil David Glossop Method and system to facilitate image guided surgery
JP2002324239A (ja) 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
US6770893B2 (en) * 2002-05-13 2004-08-03 Visiongate, Inc. Method and apparatus for emission computed tomography using temporal signatures
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7711179B2 (en) 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
CA2566260C (en) 2005-10-31 2013-10-01 National Research Council Of Canada Marker and method for detecting said marker
US9084556B2 (en) * 2006-01-19 2015-07-21 Toshiba Medical Systems Corporation Apparatus for indicating locus of an ultrasonic probe, ultrasonic diagnostic apparatus
CN101394791A (zh) 2006-03-09 2009-03-25 画像诊断株式会社 医用图像的处理方法
US8730321B2 (en) * 2007-06-28 2014-05-20 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US20100079481A1 (en) 2007-01-25 2010-04-01 Li Zhang Method and system for marking scenes and images of scenes with optical tags
JP2008275392A (ja) 2007-04-26 2008-11-13 National Institute Of Advanced Industrial & Technology 3次元形状計測方法および装置
US7909253B2 (en) 2007-05-24 2011-03-22 Northrop Grumman Systems Corporation Image detection system and methods
WO2009120073A2 (en) 2008-03-24 2009-10-01 Bantwal Janardrian Mohandas Rao A dynamically calibrated self referenced three dimensional structured light scanner
US8306279B2 (en) * 2008-09-15 2012-11-06 Eyelock, Inc. Operator interface for face and iris recognition devices
MX2011009043A (es) 2009-02-27 2011-12-16 Body Surface Translations Inc Estimacion de parametros fisicos usando representaciones tridimensionales.
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
EP2575621B1 (en) 2010-05-27 2015-08-26 Koninklijke Philips N.V. Determining the specific orientation of an object
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
US8821015B2 (en) * 2011-03-08 2014-09-02 Carestream Health, Inc. Alignment apparatus for X-ray imaging system
DE102011015987A1 (de) * 2011-04-04 2012-10-04 EXTEND3D GmbH System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
BR112013029691B1 (pt) 2011-05-24 2020-10-06 Koninklijke Philips N.V Método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, e scanner de objetos 3d para determinação de informações de posições 3d
US9107613B2 (en) * 2011-09-06 2015-08-18 Provel, Inc. Handheld scanning device
CA2851659A1 (en) * 2011-10-09 2013-04-18 Clear Guide Medical, Llc Interventional in-situ image guidance by fusing ultrasound and video
WO2013074851A1 (en) * 2011-11-18 2013-05-23 Optovue, Inc. Fundus camera
WO2013076605A1 (en) * 2011-11-23 2013-05-30 Creaform Inc. Method and system for alignment of a pattern on a spatial coded slide image
US8662676B1 (en) * 2012-03-14 2014-03-04 Rawles Llc Automatic projector calibration
US8937657B2 (en) * 2012-07-15 2015-01-20 Erik Klass Portable three-dimensional metrology with data displayed on the measured surface
US8416236B1 (en) * 2012-07-19 2013-04-09 Google Inc. Calibration of devices used to generate images of a three-dimensional object data model
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques

Also Published As

Publication number Publication date
BR112015014054A2 (pt) 2017-07-11
EP2936390A2 (en) 2015-10-28
CN104871176A (zh) 2015-08-26
JP2016501380A (ja) 2016-01-18
CN104871176B (zh) 2019-03-08
WO2014097060A2 (en) 2014-06-26
RU2015129528A (ru) 2017-01-26
RU2649958C2 (ru) 2018-04-05
US20150332459A1 (en) 2015-11-19
WO2014097060A3 (en) 2014-12-31
US9947112B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
JP6302482B2 (ja) スキャン装置及びスキャン装置を位置決めるための方法
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和***
US11412993B2 (en) System and method for scanning anatomical structures and for displaying a scanning result
US11337763B2 (en) C-arm-based medical imaging system, and method for matching 2D image and 3D space
JP6889703B2 (ja) 患者の3d表面画像を手術中に観察するための方法及び装置
JP6363608B2 (ja) 患者の顔面データにアクセスするためのシステム
JP4434890B2 (ja) 画像合成方法及び装置
JP4401727B2 (ja) 画像表示装置及び方法
JP6159030B2 (ja) 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術
JP6932135B2 (ja) 腹腔鏡画像及び超音波画像を重畳するための計算装置
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11928834B2 (en) Systems and methods for generating three-dimensional measurements using endoscopic video data
CN111279390A (zh) 通过拼接不重叠图像构建用户面部图像
JP2017192040A (ja) 3次元的な投影対象のための投影方法及び装置
JP6773609B2 (ja) 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム
KR20100058031A (ko) 안면 영상 촬영장치
JP5308765B2 (ja) 照明装置
CN107764182A (zh) 测量***以及用于配置测量***的方法
US10182776B2 (en) System and method for correlating object information with X-ray images
US20220020166A1 (en) Method and System for Providing Real Time Surgical Site Measurements
EP4140411A1 (en) Oral image marker detection method, and oral image matching device and method using same
TWI549502B (zh) 影像相位補正方法
Lin Lightweight and Sufficient Two Viewpoint Connections for Augmented Reality
JP2020127629A (ja) 画像処理装置
JP2010078855A (ja) 照明装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180302

R150 Certificate of patent or registration of utility model

Ref document number: 6302482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250