JP7244113B2 - 歯牙仮想編集方法、システム、コンピュータ設備及び記憶媒体 - Google Patents

Description

本出願は、２０１８年１０月１０日に出願された中国特許出願２０１８１１１７８３００．３（発明の名称「歯牙仮想編集方法及びシステム」）の優先権を主張し、その内容は全て参照により本発明に組み込まれる。

本発明は、歯牙仮想編集方法、システム、コンピュータ設備及び記憶媒体に関する。

現在、全世界の口腔健康分野において、高罹患率と低受診率は問題となっている。

口腔における多くの部位（例えば、後臼歯、歯列軟口蓋側）は、自分にとっては見づらいため、通常、口腔内の病理学的前兆を見ることができず、痛み等がある場合のみ、医師に診査してもらう。しかし、口腔内の痛みが発生すると、虫歯、歯髄炎、根尖性歯周炎、象牙質知覚過敏症、歯肉の萎縮などの口腔疾患が既に発生した可能性があるため、治療の遅れの問題が引き起こされる恐れがある。

口腔の健康を大切にする人は、通常、６か月または１年ごとに定期的な口腔健康検査のために医療機関に行く。しかし、口腔疾患の発症は比較的迅速である場合がある。そのため、定期検診のために医療機関へ受診するまでに、口腔疾患が既に発生し、病状が悪化する問題が引き起こされる。

さらに、口腔治療計画の実施前は、現在、業界では、治療計画実施前と実施後の歯列外観の変化の比較を示すことは困難である。

患者が口腔検査のために医療機関に行くときに、医師は患者の歯列を見ることができる。現在、一部の医療機関は、患者に自分の３次元トゥルーカラーフル歯列モデルの外観を示すことができる。しかし、医師が患者に口腔治療を行った後、患者の３次元トゥルーカラー完全歯列モデルの外観を患者に示すことは困難である。治療計画の実施前後に、歯列の外観変化の具体的な値を定量化して患者に示すことは困難である。これにより２つの問題が発生することを発明者は認識した。

問題１：患者は口腔治療効果の直感的な経験がないため、一部の口腔治療は患者にとって魅力的ではない。これによって、不規則な歯列、歯の欠損、歯肉後退、歯垢、色素沈着などの口腔の問題はタイムリーな治療を受けることができない。

問題２：患者と歯科医が口腔治療計画について定量的な合意を達成することは困難であるため、医療紛争のリスクをもたらす。例えば、矯正治療の過程において、わずかなスライスカット操作を行う必要がある場合がある。スライスカットは、「隣接面エナメル質の削除」とも呼ばれ、歯の隣接面を少し削って歯をわずかに狭くしてスペースを確保し、歯列矯正に必要な隙間を提供する。ここでの「少し削る」は非常に複雑であり、スライスカットの時間、位置、スライスカットの量は、専門的な設計と正確な操作を必要とする。通常、１本の歯のスライスカットの量（０．２～０．５ｍｍ以内）は厳密に制御する必要がある。そうしないと、隣接面エナメル質の削除による歯の過敏性や、スライスカット後の隣接面に虫歯が容易に発生するなど多くの問題が引き起こされる。しかし、患者はスライスカット操作の位置と量について直感的な経験がなく、歯科医師は通常患者にスライスカット操作の位置と量を事前に知らせない。したがって、スライスカット操作は医師と患者のコミュニケーションの盲点になりやすい。いくつかの医療機関は、医師と患者のコミュニケーションのこの盲点を利用して、歯科矯正治療の後期のリテーナ段階で承認なしに患者に不可逆的で大幅なスライスカット操作を行う場合がある。その結果、患者の歯は敏感になり、機能が損なわれることさえある。医療機関はさらに患者にパッチまたは美容クラウン治療を受けるように誘導する。患者に過剰治療を誘導することにより、高い医療費を稼ぐという目標を達成する。

本発明の実施例によれば、歯牙仮想編集方法、システム、コンピュータ設備及び記憶媒体が提供される。

本発明の第１態様によれば、
ヒト口腔の三次元画像基本データベースを構築するステップＳ１と、
ユーザ口腔の三次元画像データを取得し、記憶された三次元画像基本データベースに基づいて、前記三次元画像データに対して画像パターン識別を行い、前記画像データが属する対象を識別し、ユーザ口腔の対象標識スシテムを構築するステップＳ２と、
構築された現在のユーザの対象標識スシテムに基づいて、前記対象に対して仮想編集を行い、ユーザの更新後の歯牙の三次元画像を示すステップＳ３と、
を含む歯牙仮想編集方法が提供される。

本発明の第２態様によれば、
ヒト口腔のビッグデータに基づいて構築される三次元画像基本データベースと、
ユーザ口腔の三次元画像データを採取して取得し、画像パターン識別モジュールに送信する画像データ採取モジュールと、
前記画像データ採取モジュールが送信した三次元画像データを受信し、システムの基本データベースを取り出し、前記三次元画像データが属する対象を識別するパターン識別モジュールと、
識別された対象に基づいて、前記対象に対して仮想編集を行う仮想編集モジュールと、
編集後のユーザ歯牙の三次元画像の外観を表示する表示モジュールと、
を含む歯牙仮想編集システムが提供される。

本発明の第３態様によれば、
メモリ及び１つ又は複数のプロセッサを含むコンピュータ設備であって、
前記メモリには、コンピュータ読み取り可能な命令が記憶されており、
前記コンピュータ読み取り可能な命令が前記１つ又は複数のプロセッサにより実行されるときに、前記１つ又は複数のプロセッサは以下のステップＳ１からＳ３を実行し、
ヒト口腔の三次元画像基本データベースを構築するステップＳ１、
ユーザ口腔の三次元画像データを取得し、記憶された三次元画像基本データベースに基づいて、前記三次元画像データに対して画像パターン識別を行い、前記画像データが属する対象を識別し、ユーザ口腔の対象標識スシテムを構築するステップＳ２、及び
構築された現在のユーザの対象標識スシテムに基づいて、前記対象に対して仮想編集を行い、ユーザの更新後の歯牙の三次元画像を示すステップＳ３、
を実行するコンピュータ設備が提供される。

本発明の第４態様によれば、
コンピュータ読み取り可能な命令が記憶されている１つ又は複数の不揮発性コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行されるときに、前記１つ又は複数のプロセッサは、
ヒト口腔の三次元画像基本データベースを構築するステップＳ１、
ユーザ口腔の三次元画像データを取得し、記憶された三次元画像基本データベースに基づいて、前記三次元画像データに対して画像パターン識別を行い、前記画像データが属する対象を識別し、ユーザ口腔の対象標識スシテムを構築するステップＳ２、及び
構築された現在のユーザの対象標識スシテムに基づいて、前記対象に対して仮想編集を行い、ユーザの更新後の歯牙の三次元画像を示すステップＳ３、
を実行することを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体が提供される。

本発明の１つ又は複数の実施例の詳細は、以下の図面及び説明に示される。本発明の他の特徴及び利点は、明細書、図面及び特許請求の範囲により明らかになる。

本発明の実施例の技術的解決策をより明確に説明するために、以下、実施例に必要な図面を簡単に説明する。以下に説明する図面は、本発明の実施例の一部だけであり、当業者は創造的な作業なしでこれらの図面に基づいて他の図面を得ることができる。

１つ又は複数の実施例における歯牙仮想編集方法の使用シーンの図である。 １つ又は複数の実施例における歯牙仮想編集方法のフローチャートである。 １つ又は複数の実施例における選択及び標識された一部のブロックの模式図である。 １つ又は複数の実施例における操作により得られた病理学的問題が存在するユーザ歯列の写真効果図である。 １つ又は複数の実施例における仮想編集後の写真効果図である。 １つ又は複数の実施例における歯牙仮想編集システムの構造原理図である。 １つ又は複数の実施例におけるコンピュータ設備のブロック図である。

本発明の技術的解決策及び利点をより明確にするために、以下、図面及び実施例により本発明をさらに詳しく説明する。ここで説明する実施例は、本発明を解釈するものに過ぎず、本発明を限定するものではない。

本発明は、ユーザが歯牙関連部位に対して自主的に仮想編集操作を行い、操作が実施された後の外観効果を示すことできる可視化の歯牙仮想編集方法をユーザに提供することを主目的とする。歯科医師又は歯科手術ロボットは、システムに事前に設定された編集項目リスト情報に従って、患者の歯牙に対して人工操作又はプログラムによる自動操作を行い、仮想編集内容を現実な手術操作に変換する。

本発明の歯牙仮想編集方法は、図１に示される使用環境に適用できる。歯科手術ロボット１１は、ロボットコントローラ１２にケーブルにより接続され、ロボットコントローラ１２は、歯科手術ロボット１１に制御信号及び動力を提供することができる。歯科手術ロボット１１には口腔内視鏡１３が取り付けられてもよい。口腔内視鏡１３は、内視鏡本体を含んでもよい。内視鏡本体に撮影レンズ、フィルライト及び温度センサなどのデバイスが設けられる。ロボットコントローラ１２は、有線又は無線の方式により端末１０８に接続され得る。端末１４は、様々なパソコン、ラップトップ、スマートフォン、タブレット及びポータブルウェアラブルデバイスであってもよいが、これらに限定されない。なお、本発明の歯牙仮想編集方法の使用環境は、図１に示される使用環境に限定されず、例えば、口腔内視鏡及び端末を含むシステム、又は口腔内視鏡、端末及びサーバを含むシステムに適用されてもよい。このサーバは、独立したサーバ又は複数のサーバからなるサーバ集群により実現され、クラウサーバであってもよい。また、図１の歯科手術ロボット１１、ロボットコントローラ１２及び端末１３は、一体化設備であってもよく、歯科手術ロボットと総称される。

一実施例において、図２に示すように、歯牙仮想編集方法が提供される。この方法は、図１の端末への適用を例として説明すると、以下のステップＳ１－Ｓ３を含む。
ステップＳ１：ヒト口腔の三次元画像基本データベースを構築する。
ステップＳ２：ユーザ口腔の三次元画像データを取得し、記憶された三次元画像基本データベースに基づいて、この三次元画像データに対して画像パターン識別を行い、この画像データが属する対象を識別し、ユーザ口腔の対象標識スシテムを構築する。前記対象は、ブロック及び／又はエンティティを含む。前記ブロックは、口腔の異なる部位の曲面画像に基づいて区画されてなる。前記エンティティは、歯牙部位に関連する複数のブロックにより取り囲まれてなる三次元体状の各歯牙エンティティ、及び複数の歯牙エンティティと各歯牙エンティティ間の隙間とからなる歯列エンティティを含む。

ステップＳ３：構築された現在のユーザの口腔標識スシテムに基づいて、前記対象に対して仮想編集を行い、ユーザの更新後の歯牙の三次元画像を示す。

本発明の実施例において、前記対象に対する編集は、ブロックに対する編集、エンティティのみに対する編集、及びブロックとエンティティに対する同時編集を含む。ブロックに対して編集を行う際に、直接取得する画像データはこのユーザ口腔の曲面画像であり、エンティティに対して編集を行う際に、直接取得する画像データはこのユーザ口腔の歯牙又は歯列の三次元エンティティ画像である。

一実施例において、前記ステップＳ２は、ステップＳ２１、Ｓ２２をさらに含む。
ステップＳ２１：まず、この三次元画像データに対して画像パターン識別を行い、この画像データが属するブロックを識別し、識別結果を出力し、ユーザ口腔のブロック標識スシテムを構築する。
ステップＳ２２：次いで、前記ブロック標識スシテムにおける各ブロックの画像情報、及びブロック間の空間関係に基づいて、ユーザ歯牙が含まれるエンティティ標識スシテムを構築する。

つまり、まず、曲面画像に基づいてブロック区画を行い、ブロック及びこのブロックの標識スシテムを形成し、次に、区画されたブロック、各ブロックの画像情報及び互いの空間関係に基づいてエンティティ及びこのエンティティのエンティティ標識スシテムを形成する。このエンティティは、単独した各歯牙、及び各歯牙が配列されて形成される歯列を含む。

以下、本発明の実施例の前記ステップを詳しく説明する。

ステップＳ１において、ヒト口腔の三次元画像基本データベースは、ヒト口腔の様々な状況に応じて構築される。この三次元画像基本データベースには、異なるシーンでのヒト口腔の三次元画像モデルの汎用フレームワークデータが記憶されている。これらのシーンは、成人の健康口腔正常シーン、口腔汚れシーン、口腔病理シーン、口腔奇形シーン、口腔外傷シーン、乳歯から永久歯までの交換期シーン；及び児童の健康口腔正常シーン、口腔汚れシーン、口腔病理シーン、口腔奇形シーン、口腔外傷シーン、乳歯萌出期シーンを含む。

ここで、成人及び児童には、異なる年齢段階が含まれる。例えば、成人を１８～２８歳、２８歳以上などに分け、未成年を２歳前、２歳以上などに分けることができるが、これに限定されない。

ステップＳ２において、ユーザ口腔表面（至少包含全部歯列部位）に対して三次元トゥルーカラー走査を行い、ユーザの口腔表面全体を含む空間配列及びデジタル三次元トゥルーカラー曲面画像データを取得する。走査は、口腔内視鏡により行うことができるが、特定の部位に対しては、局所走査を行うこともできる。つまり、編集を必要とする部位の三次元曲面画像を取得すればよい。本実施例において、ユーザの歯牙全体の空間配列には、各歯牙の互いの空間位置関係に加え、上下歯列の咬合関係も含まれる。歯列の咬合関係を含むブロック標識スシテムにおいて、上歯列のいくつかのブロックの標識情報には、このブロックと上歯列における隣接するブロックとの空間位置関係情報に加え、このブロックと下歯列における隣接するブロックとの空間位置関係情報も含まれる。下歯列のいくつかのブロックの標識情報には、このブロックと下歯列における隣接するブロックとの空間位置関係情報に加え、このブロックと上歯列における隣接するブロックとの空間位置関係情報も含まれる。咬合関係を取得する過程には、咬合状態と開き状態の２つの状況が含まれる。ユーザの上下歯列が咬合状態にある場合、即ち、上下歯列が互いに当接する場合、ユーザの口腔を走査し、少なくとも口腔前庭の一方側からユーザ歯列の唇頬側に対して完全走査を行い、上下歯列の咬合時の画像を取得する。咬合時の画像に基づいて、上下歯列間の空間位置を判断することができ、ひいては上下歯列が位置合わせするか否かを判断することができる。ユーザの上下歯列が開き状態にある場合、即ち、上下歯列が離れた場合にも、ユーザの口腔を走査し、ユーザ歯牙の接平面、咬合面、舌側及び顎側の三次元トゥルーカラー画像を取得し、これによって、各歯列が整うか否かを判断する。ここで、走査は、口腔内及び口腔外からそれぞれ走査することを含む。

口腔表面のデジタル三次元トゥルーカラー画像を取得した後、画像パターン識別モジュール及びシステムに記憶された三次元画像基本データベースに基づいて、ユーザ歯列のデジタル三次元トゥルーカラーモデルに対して画像パターン識別を行うことにより、モデル中の歯牙の各部位が属するブロックを識別することができ、識別結果を画像のブロック標識情報として出力する。トゥルーカラー走査により特に良好に識別することができる。識別結果に基づいて、システムは、ユーザ歯牙全体の各ブロックに所定規則に従ってブロック名称及び対応するブロック番号を付与し、各ブロックの対応する空間配列データ（このブロックが位置する空間位置及び他のブロックとの接続境界）、ブロック形状データ（このブロックの三次元曲面形状データ）を取得し、これによって、ユーザ歯牙全体のブロック標識スシテムが形成される。本発明のブロックは、口腔の異なる部位の曲面画像に基づいて区画されてなる。ブロックの区画原理及び過程の詳細は、後述する。

一実施例において、ユーザが唇を閉じた状態及び開いた状態での唇近傍面部及び口裂（ｏｒａｌ ｆｉｓｓｕｒｅ）領域に対しても走査し、ユーザの口裂領域における外部から見える口腔表面画像を取得し、記憶された三次元画像基本データベースに基づいて、ユーザの口裂領域における見える口腔画像に対して画像パターン識別を行い、口裂領域における見える口腔表面が属するブロックを識別し、識別結果を出力し、ユーザ面部及び口裂領域のブロック標識スシテムを構築する。

本実施例において、面部の唇及び口裂領域に対する走査は、唇を閉じた穏やかな状態と口を開けて歯を見せる状態との２つの状況を含む。口を開けて歯を見せる状態は、微笑状態と口を大きく開けて笑う状態とに分けられる。唇を閉じた状態では、歯列が見えず、微笑状態では、小部分の歯牙（例えば、主に上歯列の門歯唇側の表面）が露出し、口を大きく開けて笑う状態では、大部分の歯牙の表面が露出する。

口腔内の歯牙のみに対して走査識別を行うことにより、各歯牙に問題（例えば、歯牙咬合面に窩洞があること、歯肉溝が赤く腫れること、歯垢、歯牙欠損などの一般的な歯牙問題）があるか否かしか識別できず、出っ歯、反顎、過蓋咬合などの歯牙空間位置関係などの問題を識別できない。これらの問題は、咬合状態での上下歯列の相対位置関係又は口腔外部の面部領域に対する走査により判断する必要がある。そのため、本発明では、ユーザの上下歯列が咬合状態にあるときの走査、並びに面部における唇領域及び口裂領域に対する走査を設けることにより、前記出っ歯、反顎、過蓋咬合などの歯牙空間位置関係の問題に該当するか否かを判断することができ、さらにユーザの異なる状況での歯牙問題を正確に識別することができる。

ステップＳ２２において、ユーザの口腔表面のデジタル三次元トゥルーカラー画像及び構築された複数の互いに繋がっているブロックにより形成されるブロックスシテムに基づいて、ユーザの各歯牙が含まれる歯牙エンティティ標識スシテムを構築する。歯牙エンティティは、歯牙部位に関連する複数のブロックにより取り囲まれてなり、三次元体状である。システムは、各歯牙エンティティのそれぞれに対応する歯牙エンティティ標識情報を付与する。この歯牙エンティティ標識情報は、各歯牙に関連する互いに繋がっている複数のブロック及びブロック標識情報により構築される。歯牙エンティティ標識情報は、事前に確定された規則に従って付与される歯牙エンティティの名称、対応する歯牙エンティティの番号、対応する空間配列データ（この歯牙エンティティが位置する空間位置及び他の歯牙エンティティとの接続境界）、歯牙エンティティ形状データ（この歯牙エンティティを取り囲んでなる三次元曲面形状データ）を含み、これによって、ユーザの歯牙全体が含まれる歯牙エンティティ標識スシテムが形成される。

ステップＳ２２において、取得されたユーザのデジタル三次元トゥルーカラー画像、ブロックスシテム、ユーザ歯牙全体が含まれる歯牙エンティティ標識スシテムに基づいて、ユーザの上下歯列の歯列エンティティ標識スシテムを構築する。

ユーザの上歯列の三次元歯列エンティティは、ユーザの上歯列の各歯牙エンティティ、歯牙エンティティ間の隙間、及びユーザの上顎歯槽堤の各歯肉ブロックにより取り囲まれてなる。ユーザの下歯列の三次元歯列エンティティは、ユーザの下歯列の各歯牙エンティティ、歯牙エンティティ間の隙間、及びユーザの下顎歯槽堤の各歯肉ブロックにより取り囲まれてなる。

システムは、上歯列エンティティ及び下歯列エンティティに対応する歯列エンティティ標識情報を付与する。歯列エンティティ標識情報は、事前に確定された規則に従って付与された歯列エンティティの名称（例えば、上歯列又は下歯列）、対応する歯列エンティティの番号（例えば、１が上、２が下を示す）、対応する空間配列データ、即ち、ユーザの上下歯列が咬合しているときの相対位置関係、歯列エンティティ画像データ、即ち、この歯列を取り囲んでなる三次元曲面画像データを含む。これによって、ユーザの上歯列及び下歯列が含まれる歯列エンティティ標識スシテムが形成される。

ステップＳ３において、現在構築されたブロック標識スシテム及びエンティティ標識スシテムに基づいて、操作対象に対して編集を行い、更新後の歯牙の三次元画像を示す。

ユーザの口腔三次元曲面が複数のブロック及びエンティティに区画されることにより、ユーザは、自分の好みに応じて自分の歯牙に対して仮想編集を行うことができる一方、システムが三次元画像基本データベースに基づいて画像パターン識別により得られた問題対象、即ち、病理学的問題があるブロック又は歯牙エンティティ、歯列エンティティに標識を付与し、問題対象を編集し、更新後の歯牙の三次元画像を示す。ここで、編集は、システムに記憶された基本データベースに記憶された編集項目リスト情報に基づいて行われる。前記編集項目リスト情報は、操作対象の番号、編集内容及び編集後の外観画像を含む。操作対象の番号に基づいてどの領域におけるどの部位を編集したかを判断することができる。編集内容とは、この操作対象に行われる編集動作及び編集パラメータをいう。本実施例において、前記編集動作は、ブロック上の歯垢の除去、ブロック上の歯石の除去、ブロック上の色素の除去、ブロックの曲面形状の修復、歯牙エンティティの回転、歯牙エンティティの移動、歯牙エンティティのスライスカット、歯牙エンティティへのパッチ又はクラウンの貼り付け、歯牙エンティティの詰め物の修復などを含む。前記パラメータの設定は、編集動作の具体的な定量化数値パラメータ及び値の範囲、例えば、平行移動の距離、回転角度、スライスカットの深さ、除去する面積などを含む。

本発明では、構築されたヒト口腔三次元画像基本データベースに基づいて、走査により取得されたユーザ口腔の三次元画像データに対して画像パターン識別を行うことにより、病理学的問題がある三次元曲面画像データ又は三次元エンティティ画像データを特定のブロック又はエンティティに分類して標識することにより、歯牙病理学的問題の発見過程が完成する。

本実施例において、前記ヒト口腔の三次元画像基本データベースには３種類のデータが記憶されている。第１種類のデータはヒト口腔表面の各領域の三次元曲面画像データ、第２種類のデータはヒト口腔の三次元エンティティ画像データ、第３種類のデータは操作対象（ブロック及びエンティティ）に対する編集の編集項目リスト情報である。

第１種類のデータ（ヒト口腔表面の各領域の三次元曲面画像データ）は、ブロック標識スシテムに関連するデータである。この三次元曲面画像データは、事前に区画された三次元画像及びこの画像が属するブロックの標識情報を含む。前記三次元曲面画像は、複数の互いに繋がっているブロックに区画される。各ブロックについてはそれぞれの標識情報が構築される。前記標識情報は、このブロックの画像情報、隣接するブロックの空間位置関係、及び咬合状態での上歯列のあるブロックとその隣接する下歯列における対応ブロックとの空間位置関係、下歯列のあるブロックとその隣接する上歯列における対応ブロックとの空間位置関係を含む。

一実施例において、ブロックを区画する際に、口腔表面の三次元画像を各ブロックに直接区画してもよい。もちろん、まず領域に区画し、さらに各領域を各ブロックに区画してもよい。つまり、口腔表面を一連の互いに繋がっている領域に区画し、さらに領域の曲面画像を互いに繋がっている１つ又は複数のブロックに区画する。このような区画は、効率がより高い。なお、本発明の実施例では、これに限定されない。

以下、領域区画について詳しく説明する。

ａ、領域
一実施例において、領域の区画は、口腔における各部分の機能に応じて区画することができる。また、各領域には少なくとも１つの番号情報がある。

例えば、ユーザの歯牙全体の表面を左咬合隙間領域、右咬合隙間領域、上歯列領域、下歯列領域、上顎歯槽堤底面領域、及び下顎歯槽堤頂面領域の６つの領域に区画することができる。ここで、各領域は１つの番号情報に対応し、例えば、それぞれ順に１、２、３、４、５、６である。

具体的には、口腔表面領域の区画については、本発明の実施例において制限せず、口腔表面を、区別可能で、互いに接続して完全な口腔表面を形成できる各領域に区画することを目的とする。

ｂ、ブロック。
一実施例において、ブロックを区画する際に従うべき原則は、同一のブロックの内部において模様ができるだけ単一で、色ができるだけ単一で、できるだけ平面に近いことである。ここで、ブロックの面積、具体的な形状は、本発明の実施例において制限されず、三次元画像の精度要求及び計算量の要求を総合的に考慮して確定することができる。

一実施例において、各ブロックと他のブロックとの間の表面接続関係及び相対空間位置関係について系統的な整理及び説明を行い、各ブロックはそれぞれの唯一のラベル（例えば、名称及びその番号）及び関連画像特徴情報などを有し、完全なブロック標識スシテムを構築することにより、各ブロックを素早く見つけることができ、各ブロックの画像特徴情報を取得することができる。

ここで、各ブロックには、それぞれの標識情報が構築される。この標識情報は、このブロックの画像情報、同一歯列における隣接するブロック間の空間位置関係、咬合状態での上歯列のブロックと隣接する下歯列に対応するブロックとの空間位置関係、下歯列のブロックと隣接する上歯列に対応するブロックとの空間位置関係を含み、ブロック名称情報、ファイル属性記述情報などをさらに含んでもよい。ブロックの画像情報は、ブロックの画像番号及び画像特徴情報を含み、ブロックの三次元曲面画像のサンプル実例情報をさらに含んでもよい。画像特徴情報は、各ブロックの形状特徴、色彩特徴、模様特徴、境界特徴などの情報を含む。

例えば、番号が３の上歯列領域を複数のブロックに区画することができる。例えば、ブロック（３．１．１）は左上１歯牙近心面ブロックを示し、ブロック（３．１．２）は左上１歯牙唇側面ブロックを示す。

同様に、本発明の実施例において、領域におけるブロックの区画にも制限しない。実際の状況に応じて区画することができる。各ブロックが完全な対応領域を構成できればよい。

つまり、本発明の実施例において、構築された三次元画像フレームワークデータベースには、口腔に対して領域及びブロック区画を行うだけではなく、ブロックの標識スシテムを構築するため、口腔中の各位置を正確に標識することができ、三次元画像のマッチング及び再構成を容易にする。また、本発明の画像処理装置が受信した画像データを処理する過程において、内視鏡から受信した画像データの語義情報を取得することができ、人工知能技術により口腔内視鏡画像検査を行うために条件を作る。

ブロックの標識については、図３を参照されたい。図３には、走査により得られた画像に標識された複数のブロックが示される。これらのブロックは、左上１歯牙唇側ブロックＡ、左上３歯牙唇側歯肉溝ブロックＢ、左上５近心隣接面ブロックＣ、右下２歯牙近心隣接面ブロックＤ、右下６歯牙咬合面ブロックＥを含む。

第２種類のデータ（ヒト口腔の三次元エンティティ画像データ）は、エンティティ標識スシテムに関連するデータである。この三次元エンティティ画像データは、対応するエンティティの標識情報を含む。前記標識情報は、このエンティティの三次元画像データ、隣接するエンティティ間の空間位置関係、及び咬合状態での上歯列のあるエンティティとその隣接する下歯列における対応エンティティとの空間位置関係、下歯列のあるエンティティとその隣接する上歯列における対応エンティティとの空間位置関係を含む。エンティティは、歯牙部位に関連する複数のブロックにより取り囲まれてなる三次元体状の各歯牙エンティティ、及び複数の歯牙エンティティと各歯牙エンティティ間の隙間とからなる歯列エンティティ（上歯列エンティティ及び下歯列エンティティを含む）を含む。

例えば、各上前歯の三次元歯牙エンティティは、この歯牙の関連唇側面ブロック、唇側歯肉溝ブロック、顎側面ブロック、顎側歯肉溝ブロック、近心隣接面ブロック、近心隣接面歯肉溝ブロック、遠心隣接面ブロック、遠心隣接面歯肉溝ブロック、接平面ブロックが属する三次元曲面画像により取り囲まれてなる。各下臼歯の三次元歯牙エンティティは、この歯牙の関連頬側面ブロック、頬側歯肉溝ブロック、舌側面ブロック、舌側歯肉溝ブロック、近心隣接面ブロック、近心隣接面歯肉溝ブロック、遠心隣接面ブロック、遠心隣接面歯肉溝ブロック、咬合面ブロックが属する三次元曲面画像により取り囲まれてなる。

本発明方法及びシステムの普及及び使用に伴い、本発明のヒト口腔の三次元画像基本データベースは継続的に更新及び拡張することができる。例えば、新しい口腔病理シーンでの対象及びその標識情報、又は新しい口腔外傷シーンでの対象及びその標識情報を増加することができる。この標識情報は、このブロックの三次元画像データ、隣接するブロック間の空間位置関係などのデータを含む。これによって、マッチングの正確性をさらに向上できる。具体的には、システムが現在の基本データベースに基づいて走査により得られた画像データを識別できない場合、システムは、前記画像をクラウドサーバにウップロードし、人工により識別し、標識情報を記入し、識別結果及び標識情報に基づいて前記基本データベースを更新し、ビッグデータに基づくＡＩトレーニングアルゴリズムにより画像パターン識別モジュールに対して反復トレーニングを行うことにより、データマッチングがより正確になる。

第３種類のデータは、操作対象（ブロック及びエンティティ）に対する編集の編集項目リスト情報である。前記編集項目リスト情報は、操作対象の番号、編集内容及び編集後の外観画像を含む。前記編集内容は、操作対象に対する編集動作及びこの編集動作のパラメータ設定を含む。前記編集動作は、ブロック上の歯垢の除去、ブロック上の歯石の除去、ブロック上の色素の除去、ブロックの曲面形状の修復、歯牙エンティティの回転、歯牙エンティティの移動、歯牙エンティティのスライスカット、歯牙エンティティのパッチ又はクラウンの貼り付け、歯牙エンティティの詰め物の修復などを含む。前記パラメータは、この編集動作の具体的な定量化数値パラメータ及び数値の範囲、例えば、平行移動の距離、回転の角度、スライスカットの深さ、除去面積などを含む。システムは、それぞれの対象（ブロック及びエンティティ）にこの対象の実行可能で定量化された項目リスト情報を与え、ユーザは所定のパラメータ範囲内で編集操作を行い、編集操作後の新しい外観効果を示す。対象に対する仮想編集操作により、ユーザ（消費者、医師）は操作部位及び操作の定量化数値を自主的に確定し、ユーザに操作実施後の外観効果を示し、ヒューマンコンピュータインタラクション機能を実現することができる。仮想編集の対象は、全てのブロック及びエンティティを含む。エンティティは、歯牙エンティティ及び歯列エンティティを含む。口腔中の対象に対して仮想編集操作を行うことにより、ユーザは、口腔に対して仮想修復、仮想歯列矯正、仮想美化などの仮想治療操作を行うことできる。仮想編集操作は、具体的な操作部位、具体的な操作方向及び対応する定量化数値、及び操作実施後の対象外観（対象外観の歯列三次元トゥルーカラーモデルを含む）を出力することができる。

例えば、三次元トゥルーカラー走査により、システムはあるユーザの歯牙画像における右下５歯牙歯体を検出した結果、図４に示すように、歯肉溝に歯垢Ｍがあり、咬合面に１つの窩洞Ｎがあり、右下５歯牙歯体が右下４歯牙歯体に近過ぎた。システムは照合した後、示される項目リスト情報に基づいて前記３つの問題に対して編集を行う。具体的には、歯牙の右への移動、窩洞の修復、歯垢除去などの操作を含み、歯牙に対する美白などの操作を含んでもよく、修復後の外観を得る（図５）。歯科医師又は歯科手術ロボットは、システムに事前に設定された編集内容に基づいてユーザの歯牙に対して現実な手術操作を行う。

人工識別後に基本データベースに対象及びその其標識情報を追加する場合において、人工操作により基本データベースにこの対象の編集項目リスト情報を追加する。人工識別後に対象を追加せず、基本データベースにおいて既存対象の標識情報を修正する場合において、人工操作により基本データベースにおいてこの既存対象の元の編集項目リスト情報の整合的修正を行うか否かを確定する。具体的には、追加される識別対象（ブロック又はエンティティ）に対しては、基本データベースにこの対象の編集項目リスト情報を追加する必要がある。既存対象の標識情報（例えば、画像サンプルデータ、画像特徴情報）のみを追加する場合、人工分析により基本データベースにおいてこの対象の元の編集項目リストの内容に対して整合的修正を行う必要性があるか否かを決定することができる。修正する必要がある場合、項目リスト情報に対して整合的修正する。基本データベースにおける編集項目リスト情報を更新することにより、編集内容はより豊富になり、編集機能はより強くなる。

理解できるように、図２のフローチャートにおける各ステップは矢印に従って順に示されているが、これらのステップは、必ず矢印に示される順序に従って順に実行されるわけではない。明確に述べられていない限り、これらのステップの実行は厳密な実行順序に限定されず、これらのステップは他の順序で実行されてもよい。また、図２における少なくとも一部分のステップは複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップ又は段階は、必ずしも同一の時刻で実行されるわけではなく、異なる時刻で実行されてもよい。これらのサブステップ又は段階の実行順序も必ずしも順に実行されるわけではなく、他のステップ、又は他のステップのサブステップもしくは段階の少なくとも一部と交互又は交代して実行されてもよい。

図６に示すように、本発明の別の実施例は、歯牙仮想編集システムを開示する。このシステムは、三次元画像基本データベース、画像データ採取モジュール、パターン識別モジュール、仮想編集モジュール及び表示モジュールを含む。

三次元画像基本データベースは、ヒト口腔のビッグデータに基づいて構築される。このヒト口腔三次元画像基本データベースには様々なシーンでのヒト歯牙の三次元画像データ、及び関連対象に対する編集の項目リスト情報が記憶されている。

画像データ採取モジュールは、ユーザ口腔の三次元画像データを採取して取得し、画像パターン識別モジュールに送信するためのものである。

パターン識別モジュールは、前記画像データ採取モジュールが送信した三次元画像データを受信し、システムの基本データベースを取り出し、この三次元画像データが属する対象を識別する。この対象は、ブロック及びエンティティを含む。ブロックは、口腔の異なる部位の曲面画像に基づいて区画されてなる。エンティティは、歯牙部位に関連する複数のブロックにより取り囲まれてなる三次元体状の各歯牙エンティティと、複数の歯牙エンティティ及び各歯牙エンティティ間の隙間からなる歯列エンティティとを含む。

仮想編集モジュールは、識別された対象に基づいてこの対象に対して仮想編集を行う。編集は、ブロック及びエンティティのいずれに対しても行うことができる。ここでのブロックは、口腔の異なる部位の曲面画像に基づいて区画されてなる。前記エンティティは、歯牙部位に関連する複数のブロックにより取り囲まれてなる三次元体状の各歯牙エンティティと、複数の歯牙エンティティ及び各歯牙エンティティ間の隙間からなる歯列エンティティとを含む。

表示モジュールは、編集完成後のユーザ歯牙の三次元画像の外観を表示し、これにより、ユーザは自分の歯牙の変化を直感的に感じることができる。

パターン識別モジュールは、基本データベースにおけるブロック及びエンティティの標識情報に基づいてユーザ口腔の三次元画像データに対してパターン識別を行い、この画像データが属するブロック番号又はエンティティ番号を確定することができる。仮想編集モジュールは、ブロック又はエンティティの番号情報に基づいてあるブロック又はエンティティを見出すことにより、このブロック又はエンティティの画像情報などの情報を素早く取得し、基本データベースにおけるこのブロック又はエンティティの編集項目リスト情報を取り出し、歯牙に対する編集操作を実現することができる。

本システムは、前記パターン識別モジュール及び三次元画像基本データベースに接続されるクラウドサーバをさらに含む。パターン識別モジュールが画像データ採取モジュールが送信した画像データを識別できない場合、この画像データをクラウドサーバに送信し、人工により識別し、標識情報を記入し、編集項目リスト情報を修正した後、人工識別結果、標識情報、編集項目リスト情報に基づいて前記基本データベースを更新する。具体的には、対象（ブロック又はエンティティ）を追加する場合において、この対象の編集項目リスト情報を追加する必要がある。既存対象の画像サンプルのみを追加する場合において、人工により分析し、この対象の元の編集項目リストの内容に対して整合的修正を行う必要があるか否かを決定し、実際の状況に応じて修正することもしないこともできる。三次元画像基本データベースを更新した後、クラウドサーバは、更新後の基本データベースに基づいてパターン識別モジュールに対して反復トレーニングを行う。その後、クラウドサーバは、システムに配置されている各パターン識別モジュールをパターン識別モジュールのトレーニング後のバージョンに更新することにより、データマッチングはより正確になる。基本データベースにおける編集項目リスト情報を更新することにより、仮想編集モジュールがデータベースから取り出し可能な編集内容はより豊富となり、編集機能はより強くなる。

前記システムは、本発明の実施例に記載の方法を実行するためのものである。本実施例のシステムについて詳しく説明していない内容は、上記実施例の方法の説明を参照されない。

本発明は、ユーザ口腔の画像データ及びユーザ歯牙全体の形状及び配列に基づいて、日常の口腔健康人工知能検査機能を提供することにより、健康上のリスクをタイムリーに発見することができる。歯牙モデルに対して仮想治療操作を行う仮想編集機能を提供することにより、定量化数値を確定し、外観効果を表示することができる。歯列モデルに対して仮想治療操作を行うヒューマンコンピュータインタラクション機能を提供することにより、定量化数値を確定し、外観効果を表示することができる。また、患者の歯牙に対して人工操作又はプログラムによる自動操作を行うことにより、仮想編集内容を現実な手術操作に変換することができる。

本実施例の１つ又は複数の実施スキームでは、日常の口腔内部光学映像データを取得し、ヒト口腔三次元画像基本データベース及びパターン識別アルゴリズムに基づいて、様々な病理学的兆候に対して自動化知能診断を行うことにより、口腔歯列に存在する健康上のリスクをタイムリーに発見し、治療を遅らせることを回避することができる。

本実施例の１つ又は複数の実施スキームでは、ユーザに歯列モデルに対して仮想治療操作を行う機能（例えば、仮想修復、仮想歯列矯正、仮想美化）を提供するとともに、ユーザに治療操作の操作部位及び対応する定量化数値を提供し、ユーザに操作実施後の外観効果を表示することができる。これによって、歯科患者と歯科医師とのコミュニケーションはよりオープン、透明、正確、スムーズ、便利になる。

本実施例の１つ又は複数の実施スキームは、歯科臨床と歯科手術ロボットとの繋がりに有利である。本発明によれば、歯科手術ロボットはシステムに事前に設定された編集内容（操作対象に対する編集動作及びこの編集動作のパラメータ設定）に従って患者の歯牙に対してプログラムによる自動操作を行い、仮想編集内容を現実な手術操作に変換することができる。

一実施例では、コンピュータ設備を提供する。このコンピュータ設備は、端末であってもよく、その内部構造は図７に示される。このコンピュータ設備は、システムバスにより接続されるプロセッサ、メモリ、ネットワークインターフェース、ディスプレイ及び入力装置を含む。このコンピュータ設備のプロセッサは、計算及び制御能力を提供する。このコンピュータ設備のメモリは、不揮発性記憶媒体及び内部メモリを含む。この不揮発性記憶媒体には操作システム及びコンピュータ読み取り可能な命令が記憶されている。この内部メモリは不揮発性記憶媒体における操作システム及びコンピュータ読み取り可能な命令の実行に環境を提供する。このコンピュータ設備のネットワークインターフェースは、ネットワークにより外部の端末に接続して通信するためのものである。このコンピュータ読み取り可能な命令は、プロセッサにより実行されるときに、歯牙仮想編集方法を実現する。このコンピュータ設備のディスプレイは、液晶ディスプレイ又は電子インクディスプレイであってもよい。このコンピュータ設備の入力装置は、ディスプレイに被覆されるタッチ層、コンピュータ設備のハウジングに設けられるボタン、トラックボール又はタッチパッド、或いは外付けのキーボード、タッチパッド又はマウスなど出会ってもよい。

当業者に理解できるように、図７に示される構造は、本発明のスキームに関連する一部構造のブロック図に過ぎず、本発明のスキームが適用されるコンピュータ設備を限定するものではない。具体的なコンピュータ設備は、図に示される部品より多いか又は少ない部品、他の部品との組み合わせ、或いは異なる部品の配置を含むことができる。

コンピュータ設備は、メモリと、１つ又は複数のプロセッサとを含む。メモリにはコンピュータ読み取り可能な命令が記憶されている。コンピュータ読み取り可能な命令は、プロセッサにより実行されるときに、本発明の任意の実施例に提供されるＸＸ方法のステップが実現される。

コンピュータ読み取り可能な命令が記憶されている１つ又は複数の不揮発性記憶媒体において、コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行されるときに、１つ又は複数のプロセッサは本発明の任意の一実施例に提供されるＸＸ方法のステップを実現する。

以上の説明では、本発明の好ましい実施例が挙げられたが、上記のように、本発明は本明細書に開示された内容に制限されず、他の実施例を排除することを意図せず、様々な他の組み合わせ、修正及び環境に適用でき、本発明の思想範囲内で上記教示又は当該技術分野での技術もしくは知識に基づいて変更することができる。本発明の思想及び範囲から逸脱しない限り、当業者によって行われる変更及び変化は、本発明の添付する特許請求の範囲内に含まれるべきである。

Claims (13)

1. 医療システムが行う歯牙仮想編集方法であって、
   前記医療システムが、ヒト口腔の三次元画像基本データベースを構築するステップＳ１と、
   前記医療システムが、ユーザ口腔の三次元画像データを取得し、記憶された三次元画像基本データベースに基づいて、前記三次元画像データに対して画像パターン識別を行い、前記三次元画像データが属する対象を識別し、ユーザ口腔の対象標識システムを構築するステップＳ２と、
   前記医療システムが、構築された現在のユーザの対象標識システムに基づいて、前記対象に対して仮想編集を行い、ユーザの更新後の歯牙の三次元画像を示すステップＳ３と、
   を含み、
   前記三次元画像基本データベースには、事前に様々なシーンでのヒト歯牙の三次元曲面画像のデータが記憶されており、
   前記三次元曲面画像は、事前に互いに繋がっている複数のブロックが区画され、各ブロックについてはそれぞれの標識情報が構築されており、
   前記標識情報は、前記ブロックの画像情報、隣接するブロック間の空間位置関係、咬合状態での上歯列のあるブロックとその隣接する下歯列における対応ブロックとの空間位置関係、及び下歯列のあるブロックとその隣接する上歯列における対応ブロックとの空間位置関係を含み、
   前記三次元画像基本データベースには、事前に様々なシーンでのヒト歯牙の三次元エンティティ画像データが事前に記憶されており、
   前記三次元エンティティ画像データは、対応エンティティの標識情報を含み、
   前記標識情報は、前記対応エンティティの三次元画像データ、隣接する対応エンティティ間の空間位置関係、咬合状態での上歯列のある対応エンティティとその隣接する下歯列における対応エンティティとの空間位置関係、及び下歯列のある対応エンティティとその隣接する上歯列における対応エンティティとの空間位置関係を含む、歯牙仮想編集方法。
2. 前記対象は、ブロック及び／又はエンティティを含み、
   前記ブロックは、口腔の異なる部位の曲面画像に基づいて区画されてなり、
   前記エンティティは、歯牙部位に関連する複数のブロックにより取り囲まれてなる三次元体状の各歯牙エンティティと、複数の歯牙エンティティ及び各歯牙エンティティ間の隙間からなる歯列エンティティとを含む、請求項１に記載の歯牙仮想編集方法。
3. 前記ステップＳ２は、
   前記医療システムが、前記三次元画像データに対して画像パターン識別を行い、前記三次元画像データが属するブロックを識別し、識別結果を出力し、ユーザ口腔のブロック標識システムを構築するステップＳ２１と、
   前記医療システムが、前記ブロック標識システムにおける各ブロックの画像情報及びブロック間の空間関係に基づいて、ユーザ歯牙が含まれるエンティティ標識システムを構築するステップＳ２２と、
   をさらに含む、請求項１に記載の歯牙仮想編集方法。
4. 前記ヒト口腔の三次元画像基本データベースには、ヒト口腔表面の各領域が含まれる三次元曲面画像データ及び三次元エンティティ画像データ、並びに前記対象に対する編集の編集項目リスト情報が記憶されている、請求項１に記載の歯牙仮想編集方法。
5. 前記編集項目リスト情報は、編集対象の番号、編集内容及び編集後の外観画像を含み、
   前記編集内容は、操作対象に対する編集動作及び前記編集動作に対するパラメータ設定を含む、請求項４に記載の歯牙仮想編集方法。
6. 前記編集動作は、ブロック上の歯垢の除去、ブロック上の歯石の除去、ブロック上の色素の除去、ブロックの曲面形状の修復、歯牙エンティティの回転、歯牙エンティティの移動、歯牙エンティティのスライスカット、歯牙エンティティのパッチ又はクラウンの貼り付け、歯牙エンティティの詰め物の修復を含み、
   前記パラメータ設定は、前記編集動作の定量化数値パラメータ及び数値の範囲の設定を含む、請求項５に記載の歯牙仮想編集方法。
7. ユーザ口腔歯牙の三次元画像データを取得するステップは、
   ユーザ口腔に対して三次元トゥルーカラー走査を行い、ユーザ歯牙の空間配列及びその表面の三次元トゥルーカラー曲面画像を取得することを含み、
   前記空間配列は、各歯牙の互いの関係、及び上下歯列が咬合している状態での咬合関係を含む、請求項４に記載の歯牙仮想編集方法。
8. 前記医療システムが、ユーザが唇を閉じた状態及び開いた状態での唇近傍面部及び口裂領域に対しても走査し、ユーザの口裂領域における外部から見える口腔表面画像を取得し、記憶された三次元画像基本データベースに基づいて、ユーザの口裂領域における見える口腔画像に対して画像パターン識別を行い、口裂領域における見える口腔表面が属するブロックを識別し、識別結果を出力し、ユーザ面部及び口裂領域のブロック標識システムを構築する、請求項７に記載の歯牙仮想編集方法。
9. 前記三次元曲面画像を事前に互いに繋がっている複数のブロックに区画することは、まず、口腔表面を互いに繋がっている一連の領域に区画し、さらに、領域の曲面画像を互いに繋がっている１つ又は複数のブロックに区画することを含む、請求項１に記載の歯牙仮想編集方法。
10. 前記医療システムが、前記三次元画像基本データベースに基づいて、事前に設定された画像パターン識別アルゴリズムにより、取得された画像データと前記三次元画像基本データベースに記憶された対応する対象の画像データとをマッチングし、両者のマッピング関係を取得し、マッピング関係に基づいてユーザ歯牙の三次元画像における問題対象を確定し、前記問題対象に対して編集を行う、請求項４に記載の歯牙仮想編集方法。
11. 歯牙仮想編集システムであって、
    ヒト口腔のビッグデータに基づいて構築される三次元画像基本データベースと、
    ユーザ口腔の三次元画像データを採取して取得し、画像パターン識別モジュールに送信する画像データ採取モジュールと、
    前記画像データ採取モジュールが送信した三次元画像データを受信し、前記三次元画像基本データベースを呼び出し、前記三次元画像データが属する対象を識別する画像パターン識別モジュールと、
    前記識別された対象に基づいて、前記対象に対して仮想編集を行う仮想編集モジュールと、
    前記仮想編集後の前記対象の三次元画像の外観を表示する表示モジュールと、
    を含み、
    前記画像パターン識別モジュールは、前記三次元画像基本データベースに記憶されている画像情報に基づいてユーザ口腔の三次元画像データに対してパターン識別を行い、前記三次元画像データが属する対象の番号を確定し、
    前記仮想編集モジュールは、前記対象の番号に基づいて具体的な対象を見出すことにより、前記対象の画像情報を取得し、基本データベースにおける前記対象の編集項目リスト情報を取り出し、
    及び／又は、
    前記歯牙仮想編集システムは、クラウドサーバをさらに含み、
    前記クラウドサーバは、前記画像パターン識別モジュール及び前記三次元画像基本データベースに接続され、
    前記画像パターン識別モジュールが前記画像データ採取モジュールの送信した画像データを識別できない場合、前記歯牙仮想編集システムが、前記画像データを前記クラウドサーバに送信し、人工により識別し、標識情報を記入し、編集項目リスト情報を修正し、識別結果、標識情報、編集項目リスト情報に基づいて前記基本データベースを更新し、
    前記クラウドサーバは、更新後の基本データベースに基づいて前記画像パターン識別モジュールに対して反復トレーニングを行う、歯牙仮想編集システム。
12. メモリ及び１つ又は複数のプロセッサを含むコンピュータ設備であって、
    前記メモリには、コンピュータ読み取り可能な命令が記憶されており、
    前記コンピュータ読み取り可能な命令が前記１つ又は複数のプロセッサにより実行されるときに、前記１つ又は複数のプロセッサは、請求項１から１０のいずれ１項に記載の歯牙仮想編集方法の各ステップを実行する、コンピュータ設備。
13. コンピュータ読み取り可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行されるときに、前記１つ又は複数のプロセッサは、請求項１から１０のいずれ１項に記載の歯牙仮想編集方法の各ステップを実行する、コンピュータ読み取り可能な記憶媒体。

Images