JP2021524768A - リアルタイムでの拡張可視化によりシミュレートされる歯科矯正治療 - Google Patents

Abstract

拡張現実を用いて歯科矯正治療をシミュレートするためのシステム及び方法。ユーザの顔の電子画像がデジタルカメラから受信され、ユーザの歯を含む、画像中の関心領域が特定される。仮想的な歯科矯正装具が、画像中のユーザの歯に配置され、仮想的な歯科矯正装具を伴うユーザの画像が、電子ディスプレイデバイスに表示される。方法は、ユーザの画像が受信されたとき又はその直後に、治療をシミュレートする拡張画像をユーザに提供するように、リアルタイムで行われる。システム及び方法は、仮想的な装具によって拡張されたユーザの顔の３Ｄ表示を表示することができる。ユーザの拡張画像又は３Ｄ表示にはまた、Ｘ線画像又はコーンビームコンピュータ断層撮影画像などの、ユーザの顔の解剖学的構造の画像又はモデルを表示のために追加することもできる。

Description

ＳＮＡＰＣＨＡＴ又はＩＮＳＴＡＧＲＡＭ製品などの拡張現実フェイスフィルタの使用が、ますます普及しつつある。しかし、今日、これらのフィルタは主に、ビデオ拡張において対象となるヒトの顔又は頭に髪、メークアップ、眼鏡、髭、及び帽子の描写をリアルタイムで視覚的に適用するためなどの、娯楽のみを目的とする大衆文化として使用されている。この技術を医療用途又は歯科用途での使用に拡張するニーズがある。

本発明のある実施形態の歯科矯正治療をシミュレートするための方法が、ユーザの顔の電子画像を受信することと、ユーザの歯を含む、画像中の関心領域を特定することと、を含む。仮想的な歯科矯正装具が、画像中のユーザの歯に配置され又は検出された装具が除去され、仮想的な歯科矯正装具を伴う又は検出された装具を伴わないユーザの画像が、電子ディスプレイデバイスに表示される。方法は、ユーザの画像が受信されたとき又はその直後に、治療をシミュレートする拡張画像をユーザに提供するように、リアルタイムで行われる。

本発明のある実施形態の歯科矯正治療をシミュレートするためのシステムが、電子デジタル画像又はビデオを提供するカメラと、電子ディスプレイデバイスと、プロセッサと、を含む。プロセッサは、カメラからユーザの顔の電子画像を受信することと、ユーザの歯を含む、画像中の関心領域を特定することと、画像中のユーザの歯に仮想的な歯科矯正装具を配置する又は検出された装具を除去することと、仮想的な歯科矯正装具を伴う又は検出された装具を伴わないユーザの画像を電子ディスプレイデバイスに表示することと、を行うように構成されている。プロセッサは、ユーザの画像がカメラから受信されたとき又はその直後に、治療をシミュレートする拡張画像をユーザに提供するように、リアルタイムで動作する。

本発明のある実施形態の歯科矯正治療をシミュレートするための別の方法が、ユーザの顔の電子画像を受信することと、ユーザの顔の解剖学的構造の電子画像又はモデルを取得することと、を含む。方法はまた、ユーザの歯を含む、画像中の関心領域を特定することと、画像中のユーザの歯に仮想的な歯科矯正装具を配置することと、を含む。仮想的な歯科矯正装具及びユーザの顔の解剖学的構造の画像又はモデルを伴うユーザの画像が、電子ディスプレイデバイスに表示される。方法は、ユーザの画像が受信されたとき又はその直後に、治療をシミュレートする拡張画像をユーザに提供するように、リアルタイムで行われる。

本発明のある実施形態の歯科矯正治療をシミュレートするための別のシステムが、電子デジタル画像又はビデオを提供するカメラと、電子ディスプレイデバイスと、プロセッサと、を含む。プロセッサは、ユーザの顔の電子画像を受信することと、ユーザの顔の解剖学的構造の電子画像又はモデルを取得することと、ユーザの歯を含む、画像中の関心領域を特定することと、画像中のユーザの歯に仮想的な歯科矯正装具を配置することと、仮想的な歯科矯正装具及びユーザの顔の解剖学的構造の画像又はモデルを伴うユーザの画像を電子ディスプレイデバイスに表示することと、を行うように構成されている。プロセッサは、ユーザの画像がカメラから受信されたとき又はその直後に、治療をシミュレートする拡張画像をユーザに提供するように、リアルタイムで動作する。

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、説明と共に本発明の利点及び原理を説明する。図面は以下のとおりである。
歯科矯正治療をシミュレートするためのシステムの図である。 歯科矯正治療をシミュレートするための方法のフローチャートである。 検出された顔の例を示す画像の表示である。 顔のランドマーキングを示す画像の表示である。 顔ポーズの推定を示す画像の表示である。 トリミングされた関心領域を示す。 反転チャネルに適用された適応的閾値処理を示す。 反転チャネルに適用された適応的閾値処理を示す。 反転チャネルに適用された適応的閾値処理を示す。 輝度チャネルに適用された適応的閾値処理を示す。 輝度チャネルに適用された適応的閾値処理を示す。 輝度チャネルに適用された適応的閾値処理を示す。 関心領域のオープニング及びクロージングを示す。 関心領域のオープニング及びクロージングを示す。 検出されたエッジを示す。 検出されたエッジによる閉じた輪郭を示す。 治療の仮想レンダリングを示す。 治療の拡張を示す。 単一画像の表示内の治療拡張を示すユーザインターフェースである。 ３Ｄ装具によって拡張された３Ｄモデルを表すユーザインターフェースである。 装具及び解剖学的構造によって拡張された２Ｄ画像を表すユーザインターフェースである。 ３Ｄ装具及び解剖学的構造によって拡張された３Ｄモデルを表すユーザインターフェースである。

本発明の実施形態は、コンピュータビジョン及び拡張現実技術を使用して、コンピュータ生成画像を現実世界のユーザのビューに重ねて、以下のうちの１つ又は組み合わせのビューを提供することを含む。
１．舌側ブラケット、唇側ブラケット、アライナ、クラス矯正具、又は保持具などの歯科矯正装具の加減。
２．クラウン、ブリッジ、インレー、オンレー、ベニア、義歯、又は歯肉などの歯科修復物の加減又は改変。
３．歯漂白剤の使用、咬頭先端若しくは切縁の低減若しくは強化、又は子供における萌出（恐らくは異所萌出を含む）後の歯の外観の予測などによる、天然歯の解剖学的構造の加減又は改変。
４．歯槽手術、歯及び顎顔面インプラント、美容手術、及び下顎手術などの口腔又は顎顔面手術による、頭蓋顔面構造の改変。
５．顎顔面、眼、又は頭蓋顔面プロテーゼの加減又は改変。
６．歯科解剖学的構造、すなわち歯及び歯肉の計画された位置及び形状を含めるための、歯科矯正及び／又は修復治療の結果。
７．恐らくは、不正咬合、歯摩耗、歯肉退縮、歯周病、骨欠損、齲蝕、又は歯欠損などの有害な結果を示す、歯科矯正及び／又は修復治療を受けないことにより予測される結果。
８．ボツリヌス毒素注入による、又は例えば、造鼻術、顎強調、頬強調、しわ取り、まぶたの持ち上げ、首の持ち上げ、眉の持ち上げ、口蓋裂修復、火傷修復、及び傷跡修復などの、より侵襲的な美容及び整形手術などによる顔の軟組織の改変。
９．治療のスケジュールされた進捗と実際の進捗とを比較するための、段階的治療の不透明度可変オーバーレイ。

この技術は、医療／歯科専門家による治療計画のためのツール、及び患者に対する症例提示のためのツールの両方として使用することができる。他の意図される用途としては、治療中又は治療後の顔の外観を視覚化することを望む患者による治療オプションの探索、恐らくは、比較のために前後の外観を切り替えたり、移行したりすることが挙げられる。場合によっては、患者が、最初に医療又は歯科従事者を訪問せずに、表層的な画像データのみを用いて治療シナリオを考慮することが可能となり得る。他の場合では、拡張は、治療後の患者をより正確に描写する治療計画を生成するために、Ｘ線又はコーンビームコンピュータ断層撮影（cone beam computed tomography；ＣＢＣＴ）スキャンデータ、咬合位置合わせデータ、３次元（three-dimensional；３Ｄ）口腔スキャンデータ、仮想関節データ、又は較正された測定値などの追加データを必要とする場合がある。それゆえ、治療結果の確実な描写を患者に示すことができるようになる前に、データセットを整理及び統合し、治療オプションを探索し、測定及び解析を行い、かつ治療ステップを計画するために、追加の時間及び作業が必要となる場合がある。場合によっては、２つ以上の治療シナリオが生成され、患者に提示され、それによって治療結果の幾分現実的な見込みを患者に与え得る。このことは、一連の行為を決定する際に患者（又は医師）を助けるのに役立てることができる。場合によっては、治療のコストが、結果の品質に対して重み付けされ得る。例えば、患者は、より安価な治療に勝る外観のわずかな向上により、高価な治療を控える場合がある。時間をコストのように取り扱う場合には、同様のルールが治療の継続時間に当てはまり得る。

システム及び方法
図１は、歯科矯正治療をシミュレートするためのシステム１０の図である。システム１０は、カメラ１２、ディスプレイデバイス１４、出力デバイス１８、記憶デバイス１９、入力デバイス２０、及びそれらと電子的に接続されたプロセッサ１６を含む。カメラ１２は、例えば、電子デジタル画像又はビデオを提供するデジタル画像センサによって実現することができる。ディスプレイデバイス１４は、任意の電子ディスプレイによって、例えば、陰極管（Cathode Ray Tube；ＣＲＴ）、液晶ディスプレイ（liquid crystal display；ＬＣＤ）、発光ダイオード（light emitting diode；ＬＥＤ）ディスプレイ、又は有機発光ダイオード（organic light emitting diode；ＯＬＥＤ）ディスプレイによって実現することができる。出力デバイス１８は、情報を出力するための任意のデバイスによって、例えば、スピーカ、ＬＥＤインジケータ、又は補助ＬＣＤ表示モジュールによって実現することができる。入力デバイス２０は、情報又はコマンドを入力するための任意のデバイスによって、例えば、キーボード、マイクロフォン、カーソル制御デバイス、又はタッチスクリーンによって実現することができる。記憶デバイス１９は、ハードドライブ、ソリッドステートドライブ、又はフラッシュドライブなど、情報を記憶するための任意の電子デバイスによって実現することができる。記憶デバイス１９は任意選択的に、システム１０の外部に配置され、ネットワーク接続を介してアクセスされることができる。システム１０は、例えば、デスクトップコンピュータ、ノートブックコンピュータ、若しくはタブレットコンピュータ、又は携帯電話によって実現することができる。

図２は、歯科矯正治療をシミュレートするための方法２２のフローチャートである。この方法は、プロセッサ１６などのプロセッサによる実行のためにソフトウェア又はファームウェアで実現することができる。この方法は、拡張によって、すなわち、恐らくは、１つ以上のビデオフレームにキャプチャされた顔の推定３Ｄ表示をリアルタイムで操作することを伴う、キャプチャされた現実世界の画像への仮想オーバーレイによって、歯科矯正治療のシミュレーションを可視化するために使用される。

以下でより詳細に説明される方法２２の以下のステップ、すなわち、顔の検出（ステップ２４）、顔全体のランドマーキング（ステップ２６）、顔ポーズの推定（ステップ２８）、顔ランドマークを用いた関心領域のトリミング（ステップ３０）、顔又は関心領域の任意選択的な３Ｄ表示（ステップ３２）、シミュレーション（ステップ３４）、顔の画像又は３Ｄ表示の任意選択的な追加（ステップ３５）、及び視覚化（ステップ３６）が、単一のビデオフレーム（画像）から始まる、例示的な拡張歯科矯正装具シミュレーションを生成するために使用される。

顔の検出（２４）
このステップは、Ｖｉｏｌａ−Ｊｏｎｅｓモデル、ＬＢＰＨ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ Ｈｉｓｔｏｇｒａｍ）カスケード、又は深層学習によって訓練されたモデルなどの、事前訓練モデルを用いてカメラ１２からのビデオフレーム内で顔を見つける。顔が検出されると、この顔を複数のフレームにわたって追跡し続けるために、顔コンテキストが作成され得る。この顔コンテキストは、再投影に用いられた重要な特徴、又は以前の複数のフレームにわたって得られたポイントクラウドなどの、以前のフレームデータを含み得る。図３は、カメラ１２から受信され検出された顔の例を示す画像の表示であり、画像中のボックスが、検出エリアを示している。図３の画像は任意選択的に、装具を仮想的に追加するのではなく、装具を仮想的に除去するために、歯科矯正装具を伴うユーザの画像とすることができる。

顔全体のランドマーキング（２６）
ランドマークは、顔の重要な構造を記述する関心点であり、ＳＶＭ（サポートベクタマシン）、ＰＣＡ（主成分分析）、又は、深層学習、及びランダムフォレストのような他の機械学習アルゴリズムを使用し得る、形状予測モデルを用いて見つけることができる。これらのランドマークは、顔又は関心領域を背景からトリミングするために使用され、この例では、一般化された３Ｄランドマークモデルを用いて顔ポーズを大まかに推定するために使用されることになる。これらはまた、一般化された顔メッシュをモーフィングして、ビデオ中で検出された顔をより正確に表すために、以下のステップで使用することもできる。図４は、顔ランドマーキングを示す画像の表示であり、図３の画像の検出エリアが、ランドマーキングのためのドット又は他の印を含む。

顔ポーズの推定（２８）
検出された顔ランドマーク及び一般化された３Ｄランドマークモデルを使用して、一般的なＰＮＰ（Ｐｅｒｓｐｅｃｔｉｖｅ Ｎ−Ｐｏｉｎｔ）問題を解決することにより、カメラ外因性推定モデル（変換）を求めることができる。ＰＮＰ問題の解決は、検出されたランドマークが、カメラレンズの歪み（径方向／接線方向のレンズ歪み）の影響を受けていないこと、又は歪んでいないことを想定している。代わりに、より正確なカメラ外因性モデルを得るために、以下の特徴マッチングステップが複数の連続フレームについて完了した時点で、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術を顔の静的（動かない）部分に適用することができる。カメラ外因性を知ることで、ランドマークそれぞれの良好な３Ｄポイント表示がもたらされ、これを、ポーズを指摘するのに役立てるとともに、更により正確な拡張現実のために使用することができる。このことは、拡張現実を行うための関心領域のより正確なトリミングを可能にするが、必須のステップではない。図５は、図３の画像上の２つのボックスによって示されるような顔ポーズの推定を示す画像の表示である。

顔ランドマークを用いた関心領域のトリミング（３０）
この例は、口領域をトリミングすることになり、唇の内側エッジが、トリミングされた領域の境界を表している。これは、シミュレーションが、顎など、顔の大きなエリア又は異なるエリアを含む場合に、顔全体又は顔の別のエリアとすることができる。図６は、図３〜図５の画像からトリミングされた関心領域を示す。

顔又は関心領域の３Ｄ表示（３２）
これは、任意選択的なステップであり、構造的な操作又は拡張精度の向上など、顔又は顔領域の３Ｄモデルを必要とするシミュレーションのためにのみ必要とされる。２つの方法又は両方の組み合わせを使用することができる。

方法１．採用できる第１の方法は、再投影及びメッシュ再構成を用いて、複数のビデオフレームにわたって３Ｄメッシュを生成することである。再投影は、１つの画像の特徴の深さを求め、特徴を３Ｄポイントクラウドに変えるプロセスである。メッシュ再構成は、そのポイントクラウドから三角形メッシュを生成するために使用される技術である。これは、同じ顔の２つ以上の画像を想定しており、画像は、わずかに異なる角度及び位置から撮影されている。以下は、この方法１のステップである。
ｉ．特徴／キーポイントの検出．これらは、画像中の他の画素から際立つ画像上の点（コーナー）であり、同じシーンの異なる角度での別の画像中に存在する可能性が高い。
ｉｉ．特徴フィルタリング．これは、検出された特徴のリストが大きすぎる場合に、行う必要があり得る任意選択的なステップである。特徴のリストを簡潔にして、最も強い特徴（最も顕著な特徴）のより小さなリストを得るための様々な技術が存在する。
ｉｉｉ．特徴対応付け．各フレームは、上記のステップを経たはずであり、それら独自の特徴のリストを有していたはずである。これは、ある画像による特徴が他の画像中の特徴と一致する箇所である。全ての特徴が一致するわけではなく、一致しなかった特徴は棄却される。特徴が一致すると、第２の画像中の特徴のリストは、第１の画像による特徴と同じ順序でソートされるはずである。
ｉｖ．修正．各画像中の特徴を、同じ平面上で行整列されるように、カメラ外因性モデルを用いて調整する。このことは、ある画像による特徴が、他の画像中の同じ特徴と同じｘ軸行にあることを意味する。
ｖ．視差マップの計算．視差マップは、一致点間におけるｘ軸上の視差（距離）のリストである。距離は、画素単位で測定される。
ｖｉ．三角形分割．カメラの幾何学的関係を用いて、方法は、エピポーラ形状と、１つの画像中の各特徴の深さを計算するために必要とされる基本行列及び基礎行列と、を計算することができる。
ｖｉｉ．メッシュの再構築．３Ｄポイントクラウドをシミュレーションステップのための３Ｄメッシュに変える。これはまた、カメラパラメータ（例えば、カメラ位置）に基づくレイトレーシングによってテクスチャ座標を見つけることも含み得る。

方法２．この方法は、顔若しくは関心領域（例えば、ＮＵＲＢＳ表面若しくはＢｅａｚｉｅｒ表面）のパラメータ表示、又は汎用多角形メッシュ（すなわち、三角形若しくは四辺形）を含み、これは、モーフィング、拡大、又は伸張されて、顔のポイントクラウド（方法１を参照）又は先に得られた一連のランドマークのいずれかを最良に適合させることになる。顔又は関心領域の汎用メッシュを用いる場合、メッシュ内の頂点に、ランドマークに対する重みを割り当てることができる。ランドマークが画像中に見つかると、汎用メッシュの頂点は、頂点の所与の重み及び顔ポーズに基づいて、それらのランドマークに引き寄せられるであろう。あるいは、表面トポロジは、ランドマーク間の、又はランドマーク間の線によって輪郭を描かれた領域間のグラフ理論的関係などによって、アブストラクトにのみ予め定義することができる。特徴認識（ランドマーク特定）及び写真測量三角形分割によって３Ｄの点が得られると、ランドマークが表面パッチのコーナーと一致するように、ＮＵＲＢＳ表面又はメッシュを生成することができる。もちろん、ランドマーク間の領域において追加の点を必然的にキャプチャしてもよく、これらの点は、表面のパラメータを、すなわち、ＮＵＲＢＳの場合の制御点及び多項式係数、又はモザイク状メッシュ表面の場合の中間頂点を、より正確に定義する役割を果たすことができる。顔の区別できる特徴が、メッシュ又はパラメータモデルのランドマーク又は制御点として機能することができる。それゆえ、これらの微細な特徴が可視かつ認識可能となる程度までビデオ画像の解像度を高めることにより、モデルの精度を向上させることができる。

シミュレーション（３４）
上記のステップが完了すると、拡張又は３Ｄ形状操作のいずれかにより、仮想的な治療を適用することができる。これは、シミュレーションを適用する位置又はエリアを正確に特定することを含み得る。この例では、拡張が実施され、装具を設置すべき関心領域上の位置を推定した後に、レンダリングされた歯科矯正装具が関心領域にオーバーレイされ、又は検出された装具が関心領域から仮想的に除去される。３Ｄ形状操作を含む治療の場合、３Ｄ形状をモーフィングすることによって生じる画像中の穴を埋めるなど、追加のステップを行うことが必要となり得る。レンダリングされた歯科矯正装具は、２Ｄ画像又は３Ｄモデルによって表すことができる。

この例では、関心領域の拡大、ノイズ低減、平均シフトセグメンテーションなどのセグメンテーションアルゴリズムの適用、ヒストグラム等化、複数の色空間の特定チャネルに関する適応的閾値処理、収縮及び膨張（オープニング／クロージング）、エッジ検出、及び輪郭の探索を含む、歯をセグメント化及び特定する様々な画像処理技術が、関心領域上で使用される。

関心領域は、最初に拡大され、異なる色空間に変換され、歯が歯以外から最も区別される適応的閾値がチャネルに適用される。図７Ａ〜図７Ｃは、関心領域のｌａｂ色空間の反転された緑色−赤色チャネルに適用された適応的閾値処理、すなわち、ｌａｂ色空間の反転チャネル「ａ」（緑色−赤色）（図７Ａ）、適応的閾値処理が適用された後のマスク（図７Ｂ）、及びマスクが適用された関心領域の色画像（図７Ｃ）を示す。図８Ａ〜図８Ｃは、関心領域のＹＵＶ色空間の輝度チャネルに適用された適応的閾値処理、すなわち、ＹＵＶ色空間のチャネル「Ｙ」（輝度）（図８Ａ）、Ｌａｂ色空間の適応的閾値によるマスクと組み合わせた適応的閾値処理が適用された後のマスク（図８Ｂ）、及びマスクの組み合わせが適用された関心領域の最終色画像（図８Ｃ）を示す。

上記の色空間チャネルの適応的閾値処理によってマスクが作成されると、オープニング（収縮及び後の膨張）及びクロージング（膨張及び後の収縮）を使用して、歯を更にセグメント化し、ノイズを除去することができる。図９Ａ及び図９Ｂはそれぞれ、色空間閾値処理後の関心領域マスクのオープニング及びクロージングを示す。

Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎなどの技術を用いて、マスクからエッジが検出される。図１０は、ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎにより検出されたエッジを示す。

検出されたエッジから輪郭を生成することができ、個々の歯又は歯群を単独の物体として解析する又は取り扱うことができる。図１１は、検出されたエッジから求められ、色関心領域にオーバーレイされた閉じた輪郭を示す。

輪郭の解析及び大まかな顔ポーズから、治療は、正しい向き及びスケールでレンダリングされ、関心領域にそのままオーバーレイされる。元の画像を解析して、レンダリングされた治療に適用するための大まかな照明モデルを求めることができ、これにより、治療拡張がシーンにより自然に適合するであろう。図１２は、この例ではブラケット及びアーチワイヤである治療の仮想レンダリングを示す。任意選択的に、仮想レンダリングは、ブラケット及びアーチワイヤなどの検出された装具を除去することを含むことができる。

レンダリングされた治療は、関心領域に拡張される。拡張された治療を元の画像とブレンドし、拡張された治療が元の画像の一部であるかのように最終画像をより自然に見せるために、ガウスぼかしなどの後処理を行うことができる。図１３は、治療の拡張を示し、仮想的なブラケット及びアーチワイヤは、関心領域内の歯にオーバーレイされている。任意選択的に、拡張は、検出された装具を除去し、その結果を表示することを含むことができる。拡張は、個々の歯及び輪郭を明確にセグメント化することなしに、歯の端点と口の端点とを直接的に位置合わせすることにより、達成することができる。しかし、各歯の中心を近似的にでも特定することで、より正確な／現実的な結果がもたらされる。

画像又は３Ｄモデルの追加（３５）
装具、復元物、又は改変された解剖学的構造によって顔の画像を拡張する別のアプローチが、３Ｄモデリングの別の態様を含む。上記のアプローチは、３Ｄモデリングを使用して顔の位置、向き、及びスケールを決定するものであり、このモデリングは、仮想ユニバースにおける３Ｄアフィン変換によって数学的に記述され得る。次いで、ある程度現実的な位置及び向きで歯科装具の位置が患者の歯に合うように、対応する変換が歯科装具に適用されるが、ブラケットを配置することになる歯の顔軸（ＦＡ）点を見つけるために、２Ｄ画像解析を最終的に使用してもよい。

この他のアプローチでは、ビデオカメラは、ある種の３Ｄスキャナとして使用され、それにより、異なる観点（すなわち、視点及び視点ベクトル、これらは、画像平面と共に一連の別個の視錘台を形成する）から人の顔の複数の２Ｄ画像をキャプチャし得る。３Ｄ写真測量を用いて、人の顔（及び頭）の３Ｄモデルが、最初はポイントクラウドの形態で生成され、後に三角形メッシュの形態で生成され得る。これらの技術に付随するのが、２Ｄ画像中の画素の色値をメッシュ内の３Ｄ頂点又は三角形に適用するＵＶマッピング（又はテクスチャマッピング）である。それゆえ、現実的に見えかつ合理的に正確な人の顔の３Ｄモデルが、仮想ユニバースに生成され得る。続いて、３Ｄモデルの画像が、視錐台に従って仮想ユニバースのどこかに配置される２Ｄ平面にレンダリングされ得る。好適なレンダリング方法としては、多角形レンダリング又はレイトレーシングが挙げられる。ＵＶマップによる色値は、レンダリングにおいて適用されて、（視点及びシーン内の各光源の両方に対する三角形の向きのみによって影付けされる単色メッシュモデルとは対照的に）顔のより現実的な色描写を生成するであろう。

この時点で、顔の３Ｄモデルを、口腔内スキャナ、コーンビームＣＴ（ＣＢＣＴ又は３Ｄ Ｘ線）スキャナ、ＭＲＩスキャナ、３Ｄ立体カメラなどの異なるスキャンソースから任意選択的に得られた他の３Ｄモデル又は画像と組み合わせる又は統合する（又は単に位置合わせする）ことができる。そのようなデータは、以前に得られ、治療計画に使用されている可能性が高いであろう。そのような他のモデル又は画像は、例えば、データストレージ１９に記憶され、そこから取得することができる。

場合によっては、ビデオイメージは、表層３Ｄ画像の唯一のソースとして機能し、したがって、顔の軟組織をキャプチャし得、どのような歯科解剖学的構造も視認可能となり得る。他の場合では、軟組織データが、ＣＢＣＴスキャン（色情報なし）又は３Ｄ立体画像においてキャプチャされ得る。それにもかかわらず、軟組織データは、下顎手術、（前後方向の歯の移動による）咬合クラス矯正、歯の前突への有意な変化、並びに美容及び整形手術を含む治療計画などの、特定の治療計画のモデリングにおける重要な要素である。したがって、本発明の実施形態は、治療中若しくは治療後、又は治療中と治療後の両方に、治療により得られる予想される外観に関する視覚的フィードバックを患者に提供することができる。

患者の頭蓋顔面の解剖学的構造の複数の３Ｄデータソースをキャプチャすることにより、医師は、構造解剖学の現実の根拠によって１つ以上の治療計画を念入りに考案することが可能となり得る。これらの計画は、患者の存在なしに医師自身のスケジュールで、恐らくは他の医師、技術者、又はサービス提供者と連携して、考案され得る。装具又はプロテーゼを作成し、患者の生来の解剖学的構造に適用し得、患者の生来の解剖学的構造を治療計画の一部として拡張又は改変することができる。そのような装具及びプロテーゼの３Ｄ仮想モデルを、例えば、第三者のラボ又はサービス提供者によって作成し、医師によって提供されるデータセットと組み合わることができる。治療により得られる改変された解剖学的構造は、医師によって、第三者によって、又はリモートのソフトウェア協働ツールを用いた協働作業として、生成することができる。治療計画は、確認、可能な改変、及び承認のために、患者に提示することができる。いくつかのシナリオでは、医師は、確認者となり得、第三者のラボ又は製造者が、提案される治療計画の供給元となる。

治療計画を患者に提示する際に、計画を含む３Ｄモデルに自身の顔を位置合わせするのに十分な患者の顔の３Ｄモデルを生成するために、ビデオカメラを使用して十分なフレームがキャプチャされ、このことは、新たにキャプチャされたデータと共通する少なくともいくつかの解剖学的特徴を有する他のデータソースに基づいてもよい。詳細な治療計画の作成を容易にするために完全なスキャンが以前に既に行われているので、患者の顔の完全な再スキャンが必要とされないであろう。したがって、ビデオカメラに対する限られた動作のみで、患者の現在の解剖学的構造の部分的な３Ｄモデルを作成することができ、任意選択的に、計画によって改変された解剖学的構造の部分をトリミングして除去することができ、計画モデルに最良に適合することができる。各ビデオフレームの視錐台が３Ｄの写真測量によって既知であるため、同じ視錘台を使用して仮想カメラを表し得、３Ｄモデルの２Ｄレンダリングをこのカメラのビュー平面に作成し得る。次いで、この２Ｄレンダリングは、カメラに対して患者が動くときに、リアルタイムで患者（又は他の観察者）に提示することができる。事実上、物理世界と仮想世界が、互いに同期を保たれる。

何をレンダリングして患者に提示するかを決定するに際してのオプションがある。例えば、患者が存在する状態でリアルタイムでのみ計画を提示する場合、計画モデルにテクスチャマップを記憶する必要がない場合がある。このシナリオでは、個々のビデオフレームと計画モデルとの間の位置合わせを、テクスチャマップを使用せずに行うことができ、患者に提示されるビデオ画像中の各画素の色値は、ビデオカメラによってキャプチャされた値から単にスルーすることができる。装具が患者の歯（又は顔の他の部位）に取り付けられている場合、装具は仮想世界でレンダリングされるであろうし、それらの２Ｄ描写は、ビデオフレームの対応するエリアにオーバーレイし、下層の解剖学的構造を事実上隠すことになるであろう。解剖学的構造が改変された場合には、計画モデルのメッシュ上にＵＶマッピングされた以前にキャプチャされた値を用いて、これらの解剖学的構造の画素に着色する必要があり得る点を除いて、同じ方法を使用することができる。あるいは、色値は、現在のビデオフレームから得ることができるが、次いで、治療計画に従って３Ｄ解剖学的構造に対するモーフによって決定されるような異なる位置に変換することができる。例えば、下顎手術が、下顎骨を数ミリメートル前進させることを規定する場合がある。前進によって影響を受ける患者の軟組織（皮膚及び唇）をレンダリングするために使用される画素の色値は、結果として異なりにくいであろうし、仮想世界におけるそれらの位置のみが変化し、したがってレンダリングが変化する。それゆえ、２Ｄビデオ画像中の影響を受ける画素は、ビュー平面に投影される３Ｄアフィン変換に従って、画像平面において単純に平行移動される場合がある。更に他のシナリオでは、物理的なビデオカメラの仮想カメラとの位置合わせが確立されると、３Ｄ仮想シーン全体が、リアルタイムでレンダリングされ、頭の動きと同期して患者に提示され得る。

上記のシナリオのいくつかでは、治療計画を患者に提示する目的でビデオをキャプチャしている間に、計画モデルを連続的に拡張又は更新する技術を採用することができる。いくつかのシナリオでは、最小限のビデオカバレッジのみを使用して、患者の３Ｄモデルを生成している場合があるので、穴、島、又はノイズの多い領域が、モデルを構成するメッシュに存在する可能性が高い。キャプチャの主要な目的が、物理世界と仮想世界を位置合わせし、患者のための既存の計画モデルをレンダリングすることである場合でも、新しいビデオ画像が受信されると、新しい画像を使用して、穴を埋め、島を除去又は接合し、ノイズを低減することにより、既存のモデルを拡張又は更新することができる。そのようにすることで、計画モデルの品質が、リアルタイムで（又は短い処理遅延の末に）向上され得る。いくつかの例では、スキャンデータの大きな一体型パッチによって、累積誤差を伴ってまとめられたより小さなパッチの位置及び向きを調節することにより、モデルの寸法精度が向上され得る。この技術はまた、現在の皮膚及び照明条件に対してテクスチャマップを更新することにより、アバタースタイルのレンダリングの現実感を向上させるために使用することもできる。そうでなければ、アバターに使用されるテクスチャマップは、以前にキャプチャされた、恐らくは異なる設定の、以前のスキャンに由来するであろう。

画像又はモデルが追加される場合、ユーザの顔の画像又は３Ｄ表示は任意選択的に、例えば、ＰＣＡ又は他の技術を用いて、ユーザの顔の解剖学的構造の画像又はモデルと位置合わせすることができる。位置合わせされると、画像又はモデルは、１つの画像又は表示の操作が、他の画像又は表示の対応する操作を引き起こすように同期される。例えば、ユーザの顔画像が回転される場合、ユーザの顔の解剖学的構造の位置合わせされた画像又はモデルが対応して回転される。

可視化（３６）
このステップは、関心領域を元のフレーム（図３）にオーバーレイし、２Ｄ画像の最終画像をユーザに対して表示すること（３８）を含む。図１４Ａは、例えば、ディスプレイデバイス１４によってユーザインターフェース内でユーザに対して表示された単一画像の表示内の治療拡張の結果を示す。任意選択的に、図１４Ａの単一画像は、ユーザによって装着された検出された装具を仮想的に除去した結果を表示することができる。

任意選択的なステップ３２を用いて、ユーザの顔の３Ｄ表示が生成された場合、そのような３Ｄ表示を、図１４Ｂのユーザインターフェースによって表されるように、ディスプレイデバイス１４に表示するために仮想的な治療（４０）によって拡張して表示することができる。任意選択的なステップ３５を用いて、追加された２Ｄ画像又は３Ｄ表示が生成された場合、そのような追加された２Ｄ画像又は３Ｄ表示を、図１４Ｃ及び図１４Ｄのユーザインターフェースによって表されるように、ディスプレイデバイス１４に表示するために仮想的な治療（４２）によって拡張して表示することができる。

方法２２は、カメラ１２によってユーザの画像が検出されたとき又はその直後にリアルタイムで、拡張がディスプレイデバイス１４上でユーザに対して示されるように、プロセッサ１６によって実行することができる。「リアルタイム」という用語は、毎秒少なくとも１フレームの速度、より好ましくは毎秒１５〜６０フレームの速度を意味する。

Claims (28)

1. 歯科矯正治療をシミュレートするための方法であって、
   ユーザの顔の電子画像を受信するステップと、
   前記ユーザの歯を含む、前記画像中の関心領域を特定するステップと、
   前記画像中の前記ユーザの歯に仮想的な歯科矯正装具を配置するステップと、
   前記仮想的な歯科矯正装具を伴う前記ユーザの画像を電子ディスプレイデバイスに表示するステップと、を含み、
   前記受信するステップ、前記特定するステップ、前記配置するステップ、及び前記表示するステップは、リアルタイムで行われる、方法。
2. 前記ユーザの顔の前記電子画像をビデオフレーム内で検出することを更に含む、請求項１に記載の方法。
3. 前記ユーザの顔の前記電子画像にランドマークを適用することを更に含む、請求項１に記載の方法。
4. 前記ランドマークを使用して、前記電子画像中の前記ユーザの顔のポーズを推定することを更に含む、請求項３に記載の方法。
5. 特定された前記関心領域を前記ランドマークを用いてトリミングすることを更に含む、請求項３に記載の方法。
6. 前記配置するステップは、前記画像中の前記ユーザの歯に仮想的なブラケット及びアーチワイヤを配置することを含む、請求項１に記載の方法。
7. 前記ユーザの顔の３次元電子表示を生成することと、前記仮想的な歯科矯正装具を伴う前記ユーザの顔の前記３次元表示を電子ディスプレイデバイスに表示することと、を更に含む、請求項１に記載の方法。
8. 歯科矯正治療をシミュレートするためのシステムであって、
   電子デジタル画像又はビデオを提供するカメラと、
   電子ディスプレイデバイスと、
   前記カメラ及び前記電子ディスプレイデバイスに電子的に接続されたプロセッサであって、
   前記カメラからユーザの顔の電子画像を受信することと、
   前記ユーザの歯を含む、前記画像中の関心領域を特定することと、
   前記画像中の前記ユーザの歯に仮想的な歯科矯正装具を配置することと、
   前記仮想的な歯科矯正装具を伴う前記ユーザの画像を電子ディスプレイデバイスに表
   示することと、を行うように構成されており、
   前記受信すること、前記特定すること、前記配置すること、及び前記表示することは、リアルタイムで行われる、プロセッサと、を備えるシステム。
9. 前記プロセッサは、前記ユーザの顔の前記電子画像を前記カメラからのビデオフレーム内で検出するように更に構成されている、請求項８に記載のシステム。
10. 前記プロセッサは、前記ユーザの顔の前記電子画像にランドマークを適用するように更に構成されている、請求項８に記載のシステム。
11. 前記プロセッサは、前記ランドマークを使用して、前記電子画像中の前記ユーザの顔のポーズを推定するように更に構成されている、請求項１０に記載のシステム。
12. 前記プロセッサは、特定された前記関心領域を、前記ランドマークを用いてトリミングするように更に構成されている、請求項１０に記載のシステム。
13. 前記プロセッサは、前記画像中の前記ユーザの歯に仮想的なブラケット及びアーチワイヤを配置するように更に構成されている、請求項８に記載のシステム。
14. 前記プロセッサは、前記ユーザの顔の３次元電子表示を生成し、前記仮想的な歯科矯正装具を伴う前記ユーザの顔の前記３次元表示を電子ディスプレイデバイスに表示するように更に構成されている、請求項８に記載のシステム。
15. 歯科矯正治療をシミュレートするための方法であって、
    ユーザの顔の電子画像を受信するステップと、
    前記ユーザの歯を含む、前記画像中の関心領域を特定するステップと、
    検出された装具を除去するステップと、
    検出された前記装具を伴わない前記ユーザの画像を電子ディスプレイデバイスに表示するステップと、を含み、
    前記受信するステップ、前記特定するステップ、前記配置又は除去するステップ、及び前記表示するステップは、リアルタイムで行われる、方法。
16. 歯科矯正治療をシミュレートするためのシステムであって、
    電子デジタル画像又はビデオを提供するカメラと、
    電子ディスプレイデバイスと、
    前記カメラ及び前記電子ディスプレイデバイスに電子的に接続されたプロセッサであって、
    前記カメラからユーザの顔の電子画像を受信することと、
    前記ユーザの歯を含む、前記画像中の関心領域を特定することと、
    検出された装具を除去することと、
    検出された前記装具を伴わない前記ユーザの画像を電子ディスプレイデバイスに表示することと、を行うように構成されており、
    前記受信すること、前記特定すること、前記配置又は除去すること、及び前記表示することは、リアルタイムで行われる、プロセッサと、を備えるシステム。
17. 歯科矯正治療をシミュレートするための方法であって、
    ユーザの顔の電子画像を受信するステップと、
    ユーザの顔の解剖学的構造の電子画像又はモデルを取得するステップと、
    前記ユーザの歯を含む、前記画像中の関心領域を特定するステップと、
    前記画像中の前記ユーザの歯に仮想的な歯科矯正装具を配置するステップと、
    前記仮想的な歯科矯正装具及び前記ユーザの顔の解剖学的構造の前記画像又はモデルを伴う前記ユーザの画像を電子ディスプレイデバイスに表示するステップと、を含み、
    前記受信するステップ、前記特定するステップ、前記配置するステップ、及び前記表示するステップは、リアルタイムで行われる、方法。
18. 前記取得するステップは、Ｘ線画像を取得することを含む、請求項１７に記載の方法。
19. 前記取得するステップは、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を取得することを含む、請求項１７に記載の方法。
20. 前記ユーザの画像を前記ユーザの顔の解剖学的構造の画像又はモデルと位置合わせすることを更に含む、請求項１７に記載の方法。
21. 前記ユーザの顔の３次元電子表示を生成することと、前記仮想的な歯科矯正装具及び前記ユーザの顔の解剖学的構造の前記画像又はモデルを伴う前記ユーザの顔の前記３次元表示を電子ディスプレイデバイスに表示することと、を更に含む、請求項１７に記載の方法。
22. 前記３次元表現を前記ユーザの顔の解剖学的構造の画像又はモデルと位置合わせすることを更に含む、請求項２１に記載の方法。
23. 歯科矯正治療をシミュレートするためのシステムであって、
    電子デジタル画像又はビデオを提供するカメラと、
    電子ディスプレイデバイスと、
    前記カメラ及び前記電子ディスプレイデバイスに電子的に接続されたプロセッサであって、
    ユーザの顔の電子画像を受信することと、
    ユーザの顔の解剖学的構造の電子画像又はモデルを取得することと、
    前記ユーザの歯を含む、前記画像中の関心領域を特定することと、
    前記画像中の前記ユーザの歯に仮想的な歯科矯正装具を配置することと、
    前記仮想的な歯科矯正装具及び前記ユーザの顔の解剖学的構造の前記画像又はモデルを伴う前記ユーザの画像を電子ディスプレイデバイスに表示することと、を行うように構成されており、
    前記受信すること、前記特定すること、前記配置すること、及び前記表示することは、リアルタイムで行われる、プロセッサと、を備えるシステム。
24. 前記プロセッサは、前記ユーザの顔の解剖学的構造の画像についてＸ線画像を取得するように更に構成されている、請求項２３に記載のシステム。
25. 前記プロセッサは、前記ユーザの顔の解剖学的構造の画像について、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像を取得するように更に構成されている、請求項２３に記載のシステム。
26. 前記プロセッサは、前記ユーザの画像をユーザの顔の解剖学的構造の画像又はモデルと位置合わせするように更に構成されている、請求項２３に記載のシステム。
27. 前記プロセッサは、前記ユーザの顔の３次元電子表示を生成し、前記仮想的な歯科矯正装具及び前記ユーザの顔の解剖学的構造の前記画像又はモデルを伴う前記ユーザの顔の前記３次元表示を電子ディスプレイデバイスに表示するように更に構成されている、請求項２３に記載のシステム。
28. 前記プロセッサは、前記３次元表示を前記ユーザの顔の解剖学的構造の画像又はモデルと位置合わせするように更に構成されている、請求項２７に記載のシステム。

Images