JP7477456B2 - 制御されていない環境において歯のシェードを評価する方法及びシステム - Google Patents

Description

本開示は、一般に、ユーザの歯に関する色情報を特徴付けるための方法及びシステムを対象としている。

歯の変色は、多くの個人にとっての関心事項である。歯の変色の治療に関する消費者の美的要求は、主に歯の自然な色の回復に焦点が置かれている。実際、デンタルシェードは、成人の間でデンタルケアの最も重要な美的要素の１つであり、ホワイトニングの手技又は治療によって対処されることが多くある。歯の色又はシェードの評価は、最も一般的には、専用ツールを使用して歯科専門家によって行われる。しかし、非常に多くの異なるスマートデバイス及び接続デバイスの出現で、消費者はますます、歯の色又はシェードの評価を含む、典型的には専門家によって行われるタスクを行うよう消費者が所有する装置に求めている。

いかなる色測定とも同じように、歯の色又はシェードの決定は、環境に大きく影響される。多くの要因が、対象の色の知覚に影響を及ぼし、照明条件及び／又は対象の反射率を含むが、これらに限定されない。歯の色の決定の課題を克服するための１つの一般的な技術は、１つ又は複数の既知の色を含むか又は表示する専用の物である、いわゆる較正パターンを利用することである。較正パターンは、均質の照明の下では効果的であるけれども、照明勾配を有するもの（例えば、陰影及び／又は複数の光源）等、挑戦的な照明環境の下では比較的無効である。加えて、消費者が歯の色又はシェードを決定するのに寄与する方法があるけれども、これらの方法は、最初にシステムを較正し、次に、別の又は専用の撮像装置を利用して歯の色又はシェードをキャプチャ及び／又は評価しなければならないため、消費者に大きな負担をかける。これは、消費者にとって時間もかかり、高価でもあり得るため、家庭での歯の色の特徴付けによって得られるいかなる利益も最小限にする。
一部の背景技術情報が、国際公開第２０１５／０８２３００号及び米国特許出願公開第２０１３／２４４１９７号の文献において提供されている。

従って、ユーザが自分の歯の色又はシェードを正確に特徴付けるのを可能にするシンプルで効果的な方法及びシステムが当技術分野において継続して必要とされる。

本開示は、ユーザの歯に関する色情報を特徴付けるための本発明の方法及びシステムを対象としている。本明細書における様々な実施形態及び実装形態は、ユーザの口の画像を得る及び分析するように構成されたシステムを対象としている。当該システムは、スクリーン上に所定の色パターンを投影し、所定の色パターンもユーザの口の一部も有する１つ又は複数の画像を得る。当該システムは、画像を使用して、画像化されたユーザの口の一部における１つ又は複数の歯を自動的に同定する。次に、当該システムは、画像化された色パターンを、投影された所定の色パターンと比較し、比較の結果に基づき、１つ又は複数の同定された歯に関する色情報を抽出する。当該システムは、任意的に、歯科専門家にその色情報を送信することができる。

一般的に、一態様では、歯に関する色情報を特徴付ける方法が提供される。当該方法は：（ｉ）少なくとも１つの所定の色パターンを投影するステップ；（ｉｉ）イメージャを使用して、１つ又は複数の画像を得るステップであり、各画像は、投影された所定の色パターンも、ユーザの口の少なくとも一部も有する、ステップ；（ｉｉｉ）得られた１つ又は複数の画像から、ユーザの口の少なくとも一部における１つ又は複数の歯をコントローラによって自動的に同定するステップ；及び（ｉｖ）画像化された色パターンを、対応する投影された所定の色パターンと比較するステップ；及び（ｖ）比較の結果に基づき、１つ又は複数の同定された歯に関する色情報をコントローラによって抽出するステップ；を含む。

一実施形態によると、所定の色パターンは、単一の色を含む。

一実施形態によると、当該方法は、得られた１つ又は複数の画像をリモートサーバに送信するステップをさらに含む。

一実施形態によると、当該方法は、抽出された色情報を歯科専門家に送信するステップをさらに含む。

一実施形態によると、当該方法は、比較の結果及び／又は抽出された色情報に基づき、投影すべき第２の所定の色パターンを選択するステップをさらに含む。

一実施形態によると、イメージャは、スマートフォンのコンポーネントである。

一実施形態によると、所定の色パターンを投影するステップは、スクリーン上に色パターンを表示することを含む。一実施形態によると、所定の色パターンを投影するステップは、表面上に色パターンを投影することを含む。

別の態様によると、歯に関する色情報を特徴付けるための装置が提供される。当該装置は：少なくとも１つの所定の色パターンを表示又は投影するように構成されたディスプレイ又はプロジェクタ；１つ又は複数の画像を得るように構成されたイメージャであり、各画像は、投影された所定の色パターンも、ユーザの口の少なくとも一部も有する、イメージャ；及び（ｉ）得られた１つ又は複数の画像から、ユーザの口の少なくとも一部における１つ又は複数の歯を同定し、（ｉｉ）画像化された所定の色パターンを、対応する投影された所定の色パターンと比較し、さらに（ｉｉｉ）比較の結果に基づき、１つ又は複数の同定された歯に関する色情報を抽出するように構成されたコントローラ；を含む。

一実施形態によると、当該装置は、１つ又は複数の画像、及び／又は、１つ又は複数の同定された歯に関する抽出された色情報を送信するように構成された通信モジュールをさらに含む。

別の態様によると、歯に関する色情報を特徴付けるためのシステムが提供される。当該システムは：（ｉ）少なくとも１つの所定の色パターンを表示又は投影するように構成されたディスプレイ又はプロジェクタ；及び（ｉｉ）１つ又は複数の画像を得るように構成されたイメージャであり、各画像は、投影された所定の色パターンも、ユーザの口の少なくとも一部も有する、イメージャ；を含む撮像装置を含み、さらに：（ｉ）得られた１つ又は複数の画像から、ユーザの口の少なくとも一部における１つ又は複数の歯を同定し；（ｉｉ）画像化された所定の色パターンを、対応する投影された所定の色パターンと比較し；さらに（ｉｉｉ）比較の結果に基づき、１つ又は複数の同定された歯に関する色情報を抽出する；ように構成されたコントローラを含む。

本開示のために本明細書において使用される場合、「コントローラ」という用語は、一般的に、撮像装置、システム、又は方法の動作に関する様々な装置を記述するために使用される。コントローラは、本明細書において議論される様々な機能を行うために、多数の方法（例えば、専用のハードウェアを用いて等）で実施することができる。「プロセッサ」は、本明細書において議論される様々な機能を行うために、ソフトウェア（例えば、マイクロコード）を使用してプログラムされてもよい１つ又は複数のマイクロプロセッサを利用するコントローラの一例である。コントローラは、プロセッサを利用して又は利用せずに実施されてもよく、また、一部の機能を行うための専用のハードウェアと、他の機能を行うためのプロセッサ（例えば、１つ又は複数のプログラムされたマイクロプロセッサ及び関連する回路等）との組み合わせとして実施されてもよい。本開示の様々な実施形態において利用され得るコントローラの構成要素の例としては、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）が挙げられるが、これらに限定されない。

本明細書において使用される場合、「ユーザインターフェース」という用語は、ヒトユーザ又はオペレータと、１つ又は複数の装置との間のインターフェースを指し、ユーザと１つ又は複数の装置との間の通信を可能にする。本開示の様々な実装形態において利用され得るユーザインターフェースの例として、スイッチ、ポテンショメータ、ボタン、ダイヤル、スライダ、トラックボール、ディスプレイスクリーン、様々なタイプのグラフィカルユーザインターフェース（ＧＵＩｓ）、タッチスクリーン、マイクロフォン、及び何らかの形のヒトが生成する刺激を受け、それに応答して信号を生成し得る他のタイプのセンサが挙げられるが、これらに限定されない。

上述の概念及び以下においてより詳細に議論されるさらなる概念の全ての組み合わせが（そのような概念が相互に矛盾しないとすれば）、本明細書において開示される本発明の特定事項の一部であるとして熟考されるということが正しく理解されるべきである。特に、本開示に付随する特許請求の範囲における特定事項の全ての組み合わせが、本明細書において開示される本発明の特定事項の一部であるとして熟考される。

本発明の上記及び他の態様が、以下に記載される１つ又は複数の実施形態から明らかになり、以下に記載される１つ又は複数の実施形態を参照して解明されることになる。

図面において、同様の参照符号は、異なる図を通じて同じ部分を概ね指している。また、図面は、必ずしも正確な縮尺ではなく、代わりに、本発明の原理を例示することに概ね重点が置かれている。
一実施形態による撮像装置の概略図である。 一実施形態による撮像装置の概略図である。 一実施形態による、ユーザの歯に関する色情報を特徴付ける方法の流れ図である。 一実施形態による、表示又は投影のための色パターンを表す図である。 一実施形態による、ユーザの歯の画像を表す図である。

本開示は、歯の画像化のための方法及び装置の様々な実施形態を記載する。より一般的には、出願人は、得られた画像から歯に関する色情報を特徴付けるための使用しやすい自動化システムを提供することが有益であるということを認識し且つ正しく理解した。従って、本明細書において記載されているか又は別の方法で想像される方法は、スマートフォン、スマートミラー、及び／又は個人の歯科領域の１つ又は複数の画像を得るように構成された他の撮像装置等の撮像装置又はシステムを提供する。撮像装置又はシステムは、スクリーン上に所定の色パターンを同時に表示し、所定の色パターンも、個人の歯科領域の一部も有する１つ又は複数の画像を得る。システムは、画像を使用して、ユーザの口の画像化された部分における１つ又は複数の歯を自動的に同定する。次に、システムは、画像化された色パターンを、投影された所定の色パターンと比較し、比較の結果に基づき、１つ又は複数の同定された歯に関する色情報を抽出する。このシステムは、任意的に、その色情報を歯科専門家に送信することができ、そこで、専門家による分析のために利用され得る。

図１を参照すると、一実施形態において、個人の歯科領域の１つ又は複数の画像を得るように構成された撮像装置１００が提供される。撮像装置１００は、デジタル形式で個人の歯科領域の画像を得る能力を有するイメージャを有する任意の装置であってもよい。例えば、撮像装置１００は、スマートフォン、スマートミラー、ウェアラブルコンピューティングデバイス、デジタルカメラ、ラップトップ、及び／又は画像をキャプチャする能力を有する任意の他のコンピューティングデバイス又はキャプチャデバイスであってもよい。撮像装置１００は、任意的に、本明細書において記載されているか又は別の方法で想像される撮像システム又は方法の１つ又は複数の態様を容易にするアプリケーション等のソフトウェアを含んでもよい。

撮像装置１００は、個人の歯科領域の画像を得るように構成されたイメージャ１０を含む。イメージャ１０は、数ある中でも、ＣＣＤ又はＣＭＯＳセンサ等のイメージセンサである。例えば、イメージャ１０は、スタンドアローンのデジタルカメラであってもよく、又は、オーラルケア装置、スマートフォン、スマートミラー、ウェアラブルデバイス、及び／又は任意の他のコンピューティングデバイス若しくはイメージキャプチャデバイスに統合されるカメラであってもよい。撮像装置１００又はイメージャ１０は、口の１つ又は複数の領域を照射するように構成された光源２０を含んでもよく、さもなければ、光源２０と通信していてもよい。例えば、光源２０は、装置又はシステムに関連するフラッシュ又は他の光源であってもよい。光源２０は、高品質の口腔画像化を容易にする能力を有する光を放つ、ＬＥＤ光源等、任意の光源であってもよく又は任意の光源を含み得る。一実施形態によると、光源は、２つ以上の光源からの光を含む。イメージャ１０及び／又は光源２０は、周期的に、連続的に、及び／又は刺激に応答して動作するように構成されてもよい。例えば、イメージャ１０及び光源２０は、ユーザが撮像することに応答して、又は、イメージャによってリアルタイムで検出されるように、ユーザが口腔の一部の上にイメージャを置くことに応答して画像を得ることができる。

撮像装置１００は、イメージャ１０から得られた１つ又は複数の画像を受信するように構成されたコントローラ３０をさらに含む。コントローラ３０は、１つ又は複数のモジュールの形をなしてもよく、ユーザインターフェースを介して得られた入力等の入力に応答してイメージャ１０を動作させるように構成することができる。コントローラ３０は、例えば、少なくともプロセッサ３２を含み得る。プロセッサ３２は、１つのマイクロコントローラ、複数のマイクロコントローラ、回路、単一のプロセッサ、又は複数のプロセッサを含むが、これらに限定されない任意の適した形態をとることができる。コントローラ３０及び／又は撮像装置１００は、メモリ４０も含んでよい。メモリ４０は、不揮発性メモリ及び／又はＲＡＭを含む任意の適した形態をとることができる。不揮発性メモリは、リードオンリーメモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、又はソリッドステートドライブ（ＳＳＤ）を含んでもよい。メモリは、数ある中でも、オペレーティングシステムを記憶することができる。ＲＡＭは、データの一時記憶のためにプロセッサによって使用される。一実施形態によると、オペレーティングシステムは、コントローラ３０によって実行される場合に撮像装置１００のハードウェアコンポーネントの動作を制御するコードを有してもよい。

撮像装置１００は、有線及び／又は無線の通信ネットワークを介して情報を受信及び／又は送信するように構成された通信モジュール５０をさらに含む。通信モジュール５０は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、及び／又はセルラーモジュールを含むが、これらに限定されない、有線又は無線の信号を送信する能力を有する任意のモジュール、装置、又は手段であり得る。通信モジュール５０は、例えば、イメージャによって得られた１つ又は複数の画像及び／又はユーザの歯の１つ以上に関する色情報を送信することができる。

一実施形態によると、撮像装置１００は、ユーザに情報を提供する及び／又はユーザから情報を受けるように構成されたユーザインターフェース６０を含む。ユーザインターフェース６０は、多くの異なる形態をとることができるが、ユーザに情報を提供する及び／又はユーザから情報を受けるように構成される。例えば、情報は、読む、見る、聞く、感じる、及び／又は別の方法で解釈することができる。従って、ユーザインターフェースは、ユーザに情報を提供するディスプレイ、ユーザに触覚フィードバックを提供する触覚機構、ユーザに音又は単語を提供するスピーカ、シンプルなＬＥＤライト若しくはＬＥＤのアレイ、又は種々の他のユーザインターフェース機構のいずれかであってもよい。一実施形態によると、ユーザインターフェース６０は、画像が得られるとき又は画像が得られた後に、ユーザにフィードバックを提供する。ユーザインターフェース６０は、多くの他のタイプの情報及びガイダンスの中でも、得るべき画像に関して又は画像を改善することに関して、ユーザに指示又はガイダンスを提供することもできる。

撮像装置１００は、ディスプレイ又はプロジェクタ７０をさらに含む。ディスプレイ７０は、本明細書において記載されているか又は別の方法で想像されるように、１つ又は複数の色パターンを表示するように構成されたスクリーン又は他のディスプレイであってもよい。プロジェクタ７０は、本明細書において記載されているか又は別の方法で想像されるように、表面上に色パターンを投影するように構成されたプロジェクタ又は他の画像ディスプレイであってもよい。

図２を参照すると、一実施形態では、個人の歯科領域の画像を得るように構成された撮像システム２００が提供される。この実施形態によると、撮像システム２００は、撮像装置１００と、処理装置１２０とを含む。撮像装置１００は、ユーザの口の１つ又は複数の画像を得る、及び、それらの画像を、局所的又は遠隔的に配置され得るか又は撮像装置１００の一部でさえあり得る処理装置１２０に送信するように構成される。例えば、撮像装置１００は、ユーザと同じ場所に配置されてもよく、処理装置１２０は、歯科専門家又はクラウドベースの実装形態と共に配置される等、ユーザから離れた場所に配置されてもよい。多くの他の構成が可能である。処理装置１２０は、撮像装置から受信される１つ又は複数の画像を受信し且つ分析して、ユーザの歯に関する色情報を抽出するように構成される。

撮像装置１００は、個人の歯科領域の画像を、好ましくはデジタル形式で得る能力を有するイメージャを有する任意の装置であり得る。例えば、撮像装置１００は、スマートフォン、スマートミラー、ウェアラブルコンピューティングデバイス、デジタルカメラ、ラップトップ、及び／又は画像をキャプチャする能力を有する任意の他のコンピューティングデバイス又はキャプチャデバイスであってもよい。撮像装置１００は、任意的に、本明細書において記載されているか又は別の方法で想像される撮像システム又は方法の１つ又は複数の態様を容易にするアプリケーション等のソフトウェアを含んでもよい。撮像装置１００は、数ある中でも、ユーザの口から画像を得るように構成されたＣＣＤ又はＣＭＯＳセンサ等のイメージャ１０を含む。撮像装置１００は、スタンドアローンのデジタルカメラであってもよく、又は、オーラルケア装置、スマートフォン、スマートミラー、ウェアラブルデバイス、及び／又は任意の他のコンピューティングデバイスに統合されるカメラであってもよい。撮像装置１００は、口の１つ又は複数の領域を照射するように構成された光源２０を含んでもよい。

撮像装置１００は、有線及び／又は無線の通信ネットワークを介して情報を受信及び／又は送信するように構成された通信モジュール５０ａも含む。通信モジュール５０ａは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、及び／又はセルラーモジュールを含むがこれらに限定されない、有線又は無線の信号を送信する能力を有する任意のモジュール、装置、又は手段であり得る。通信モジュール５０ａは、例えば、イメージャによって得られた１つ又は複数の画像を処理装置１２０に送信することができる。

一実施形態によると、撮像装置１００は、ユーザに情報を提供する及び／又はユーザから情報を受信するように構成された、本明細書において先に記載したユーザインターフェース６０等のユーザインターフェース６０ａも含む。ユーザインターフェース６０ａは、多くの異なる形態をとることができ、ユーザに情報を提供する及び／又はユーザから情報を受信するように構成される。一実施形態によると、ユーザインターフェース６０ａは、画像が得られるとき又は画像が得られた後に、ユーザにフィードバックを提供する。ユーザインターフェース６０ａは、多くの他のタイプの情報及びガイダンスの中でも、得るべき画像に関して又は画像化を改善することに関して、ユーザに指示又はガイダンスを提供することもできる。

処理装置１２０は、撮像装置１００から画像を受信するように構成された任意の装置であり得る。例えば、処理装置１２０は、スマートフォン、スマートミラー、コンピュータ、ラップトップ、サーバ、及び／又は任意の他のコンピューティングデバイスであってもよい。処理装置１２０は、任意的に、本明細書において記載されているか又は別の方法で想像される撮像システム又は方法の１つ又は複数の態様を容易にするアプリケーション等のソフトウェアを含んでもよい。

処理装置１２０は、イメージャから得られる１つ又は複数の画像を受信するように構成されたコントローラ３０を含む。コントローラ３０は、１つ又は複数のモジュールの形をなしてもよく、例えば、プロセッサ３２を含み得る。プロセッサ３２は、１つのマイクロコントローラ、複数のマイクロコントローラ、回路、単一のプロセッサ、又は複数のプロセッサを含むがこれらに限定されない任意の適した形態をとってもよい。処理装置１２０は、不揮発性メモリ及び／又はＲＡＭを含む、任意の適した形態をとることができるメモリ４０を含んでもよい。メモリ４０は、１つ又は複数の受信した画像又は任意の他の情報若しくは指示を記憶するように構成することができる。

処理装置は、撮像装置１００の通信モジュール５０ａから送信される情報を含む情報を、有線及び／又は無線の通信ネットワークを介して受信及び／又は送信するように構成された通信モジュール５０ｂをさらに含む。通信モジュール５０ｂは、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、及び／又はセルラーモジュールを含むがこれらに限定されない、有線又は無線の信号を送信する能力を有する任意のモジュール、装置、又は手段であり得る。

一実施形態によると、処理装置１２０は、ユーザに情報を提供する及び／又はユーザから情報を受信するように構成されたユーザインターフェース６０ｂを含む。ユーザインターフェース６０ｂは、多くの異なる形態をとることができ、ユーザに情報を提供する及び／又はユーザから情報を受信するように構成される。一実施形態によると、ユーザインターフェース６０ｂは、画像が得られるとき又は画像が得られた後に、ユーザにフィードバックを提供する。ユーザインターフェース６０ｂは、多くの他のタイプの情報及びガイダンスの中でも、得るべき画像に関して又は画像化を改善することに関して、ユーザに指示又はガイダンスを提供することもできる。

図３を参照すると、一実施形態において、歯に関する色情報を特徴付ける方法３００の流れ図が提供される。ステップ３１０では、歯の色の特徴付け装置又はシステムが提供される。歯の色の特徴付け装置又はシステムは、本明細書において記載されているか又は別の方法で想像される装置又はシステムのいずれであってもよい。例えば、歯の色の特徴付け装置又はシステムは、多くの他の装置又はシステムの中でも、装置１００又はシステム２００であってもよい。一般的に、歯の色の特徴付け装置又はシステムは、ユーザの口の１つ又は複数の画像を得るように構成されたイメージャ１０と、得られた１つ又は複数の画像を受信し且つ分析するように構成されたコントローラ３０と、有線及び／又は無線の通信システムを介して情報を送信及び／又は受信するように構成された通信モジュール５０と、ユーザから情報を受信する及び／又はユーザに情報を提供するためのユーザインターフェース６０とを含むことになる。方法３００は、装置１００及びシステム２００のフレームワークにおいて記載されているけれども、本明細書において記載されているか又は別の方法で想像される任意の他の適切に構成された歯の色の特徴付け装置又はシステムを使用して、当該方法を実施することができる。

当該方法のステップ３２０では、装置又はシステムが、１つ又は複数の所定の色パターン４００を投影する。色パターンは、投影又は表示のための任意の機構を使用して投影又は表示することができる。一実施形態によると、ユーザは、ミラーの前に位置し、所定の色パターンは、ミラー内に見えるように持ち上げられた装置のスクリーン上に表示され、及び／又は、ミラー自体が、所定の色パターンを表示する。別の実施形態によると、装置１００又はシステム２００は、プロジェクタを含み、表面上に１つ又は複数の色パターン４００を投影する。投影される色パターン４００は、達成可能な歯のシェードを描くことが期待される一組の所定の色を含む。追加的又は代替的に、所定の色パターン４００の複数のバージョンが、異なる照明勾配の特性及び角度を含むように生成される。

一実施形態によると、装置１００又はシステム２００は、図５において示されているもの等、人間の歯の少なくとも一部の画像９０が取得されると同時に１つ又は複数の色パターンが投影されることを確実にする、及び、シャッタ時間、アパーチャ、露光、ホワイト／バランス、並びに他の設定、特性、及びパラメータを含むがこれらに限定されないイメージャの特性を考慮して、投影される１つ又は複数のパターン４００も、ユーザの口の少なくとも一部の画像９０もキャプチャするのに十分な時間をイメージャ１０が有することを確実にするドライバを含む。

図４を参照すると、一実施形態において、所定の色パターン４００の表示が提供される。所定の色パターンの一例が図４において示されているけれども、これは一例に過ぎず、従って、多くの他のパターン及び形式が可能である。色の四角（ｃｏｌｏｒ ｓｑｕａｒｅｓ）４１０の各々が、各々の四角の特定の色がシステムによって知られている限り、隣接する四角から特定の又は可変の差であり得る異なる色を含む。図４において示されている色の四角に加えて、所定の色パターンは、円、１つの波長から別の波長に及ぶスペクトル、及び／又は多くの他の形状、サイズ、パターン、及び構成を含んでもよい。

当該方法のステップ３３０では、装置１００又はシステム２００のイメージャ１０が、図５において示されているようなユーザの口５００の少なくとも一部の１つ又は複数の画像９０、及び、投影又は表示される１つ又は複数の所定の色パターン４００を得る。一実施形態において、ユーザの口５００は、画像において１つ又は複数の所定の色パターンの近くにある。一実施形態によると、イメージャは、スマートフォン、ラップトップ、又は、スペクトルの可視部分における波長のキャプチャを可能にする他のコネクテッドカメラ等、スマートコネクテッドメディアに統合される２Ｄイメージングセンサである。

一実施形態によると、イメージキャプチャは、１つ又は複数の画像をキャプチャすることを含む。例えば、システムは、準じてユーザが最良の画像を自動的に選択するのを可能にするために、及び／又は、システム又は歯科専門家が分析のために一連の画像から最も適切な１枚の画像又は複数の画像を選択するのを可能にするために、一連の画像を得ることができる。

当該装置又はシステムは、画像キャプチャに関する指示又は指導をユーザに提供することができる。当該装置又はシステムは、最高の画像を得るために、得られる画像９０に関するフィードバックをユーザに提供することができる。例えば、ユーザは、多くの他のあり得る促しの中でも、特定の角度で画像を得るように、又は、視野に特定の歯を含めるように促されてもよい。

イメージャを介してユーザによって得られる画像は、歯肉、歯、舌、又は口腔の任意の他の部分を含むがこれらに限定されない、ユーザの口の任意の一部のものであってもよい。画像は、すぐに分析されてもよく、又は、バッチ処理のためにリアルタイム又はほぼリアルタイムで記憶されてもよい。本明細書において記載されているか又は別の方法で想像されるように、画像は、分析のために装置によって保持されてもよく、又は、下流での分析のために別の装置に送信されてもよい。一実施形態によると、画像は、特徴の抽出及び分析のために、コントローラ３０に送信される及び／又はコントローラ３０によって受信される。

当該方法の任意的なステップ３３２では、装置１００又はシステム２００が、異なる所定の色パターン４００を投影又は表示し、ステップ３３０では、装置又はシステムが、ユーザの口５００のさらなる１つ又は複数の画像９０、及び、投影又は表示される異なる所定の色パターンをキャプチャする。これによって、各々が種々の色を有する種々の色パターンが表示され且つキャプチャされるのが可能になる。複数の色パターンを得ることは、ユーザの選択若しくは刺激に応じて生じてもよく、又は、自動的に発生してもよい。例えば、装置又はシステムは、種々の色パターンのための画像を得るようにプログラム又は構成されてもよく、立て続けに及び／又は各色パターンの間で所定の時間を有して行うことができる。

当該方法の任意的なステップ３３４では、装置又はシステムが、得られた画像９０を送信する。画像は、局所的又は遠隔的に配置された別の装置に送信されてもよい。例えば、画像は、多くの他の撮像装置の中でも、スマートフォン又はスマートミラーによって得られてもよく、分析のためにラップトップ、コンピュータ、又は他の装置に送信することができる。画像は、追加的又は代替的に、本明細書において記載されているか又は別の方法で想像される方法に従って、クラウドベースのサーバ若しくはサービスに、及び／又は、歯科専門家若しくは分析に送信されてもよい。

当該方法のステップ３４０では、装置又はシステムが、得られた画像９０においてユーザの口から１つ又は複数の歯５００を自動的に同定する。これは、これらの同定される歯に関する色情報の抽出を容易にする。一実施形態によると、撮像装置又はシステムは、ユーザの口５００から歯５１０を同定するために１つ又は複数の画像９０を分析するように構成された同定モジュール３４を含む。当該システムは、顔検出のアルゴリズム若しくは分類器、及び／又は、顔特徴検出のアルゴリズム若しくは分類器を利用してもよい。当該システムは、ユーザの口から歯を同定するために、三次元情報及び形状マッチング、及び／又は、テンプレートマッチングを利用してもよい。一実施形態によると、当該システムは、多くの他の選択肢の中でも、カメラ画像上に重ね合わされたオーバーレイの上にユーザの顔を適合させるために、装置１００を手動で整列させてもよい。

一実施形態によると、同定モジュール３４は、得られた１つ又は複数の画像９０から１つ又は複数の特徴を抽出する。抽出されると、１つ又は複数の特徴は、リアルタイム又はほぼリアルタイムで分析され得るか、又は後の分析のために記憶され得る。例えば、抽出された１つ又は複数の特徴をメモリ４０に記憶することができ、さらに、抽出された特徴を、それらが得られた１つ又は複数の画像とメモリにおいて関連付けることができる。

一実施形態によると、当該システムは、どのハードウェアが色パターンを表示するため及び／又は画像を得るために利用されているかを決定するように構成される。例えば、システムは、多くの他の方法の中でも、装置のスクリーン上に所定の形状を投影し、訓練された分類器等の機械学習アルゴリズムによってそれを検出してもよく、特定の順序の光色及び／又は強度を投影してもよく、又は訓練された分類器若しくはハフ変換等のｌｏｗ ｌｅｖｅｌ特徴量によって装置の形状を検出するように構成されたアルゴリズムを含んでもよい。一実施形態によると、システムは、装置の寸法特性及び装置の向きを使用してスクリーンを検出するように構成されてもよい。当該システムは、決定されたハードウェア情報を追跡又は別の方法で記録し、このプロセスにおける各々の後続のループ上にそれを適用して、これらの対象の探索空間を制限するように構成することができ、それによってシステムに対する計算負荷を減らすことができる。

当該方法のステップ３５０では、装置又はシステムが、画像９０の色パターンを、投影された所定の色パターン４００と比較する。これによって、装置又はシステムが、環境及び／又は撮像装置若しくはソフトウェアによる投影された所定の色パターン４００への影響を検出するのが可能になり、さらに、装置又はシステムが、同定された歯５１０の色を計算する際に、それらの影響を考慮するのが可能になる。一実施形態によると、当該装置又はシステムは、画像を分析して、投影された所定の色パターンと、装置又はシステムによって得られたその同じ投影された所定の色パターンの画像との色差を同定するようにプログラム又は構成された比較モジュール３５を含む。比較モジュール３５は、画像化された色パターン及び投影された色パターンの一部を比較してもよく、又は、画像化された色パターン及び投影された色パターンの全体を比較してもよい。比較モジュール３５は、限定されることなく、画素ごとに、平均を使用して、又は任意の他の方法を使用して、画像化された色パターン及び投影された色パターンの少なくとも一部間の差を計算することができる。この差は、数字、色差、調整係数、又は、装置若しくはシステムによって利用されるのに十分な任意の他の表現によって表されてもよい。

当該方法のステップ３６０では、装置又はシステムが、当該方法のステップ３５０からの比較の結果を使用して、１つ又は複数の同定された歯５１０に関する色情報を抽出する。一実施形態によると、装置又はシステムは、画像化された色パターンと投影された色パターンとの比較の結果を利用して、画像を分析し、さらに、１つ又は複数の同定された歯に関する色情報を特徴付けるようにプログラム又は構成された抽出モジュール３６を含む。例えば、抽出モジュール３６は、画像化された色パターンと投影された色パターンとの比較の結果を比較モジュール３５から受けてもよい。これは、調整係数又は比較の任意の他の表現であってもよく、本明細書において記載されるように、環境及び／又はイメージャの歯５１０の色への影響を表す。抽出モジュールは、この表現を利用して、１つ又は複数の画像における検出された関心領域、すなわち、ユーザの口又は歯から色の特徴を抽出し且つ適切に調整する。好ましい実施形態では、色の抽出は、ＲＧＢ（赤、緑、青）色チャネルで色情報を提供する元の画像上で行われる。他の実施形態では、色の抽出は、ＹＵＶ、ＬＡＢ、又はＨＳＶの色空間のいずれかで行うことができる。１つ又は複数の画像においてキャプチャされた１つ又は複数の所定の色パターンを使用して、１つ又は複数の同定された歯に関する色情報を抽出するために、多くの他のシステム及び方法が利用されてもよい。一実施形態によると、当該装置又はシステムは、関心のある各領域の抽出された色の特徴をメモリに記憶する。

一実施形態によると、当該装置又はシステムは、関心のある領域、すなわち、ユーザの口又は歯から抽出された色の特徴と、１つ又は複数の所定の色パターンを含む装置のスクリーンとの距離を計算する。例えば、距離は、ユークリッド距離を使用して、使用される色空間の各次元に沿って計算されてもよい。

一実施形態によると、当該方法の任意的なステップ３５２では、装置又はシステムが、この決定された色距離に基づき、投影される色パターン４００の順序、選択、及び／又は数を修正する。実際の実施形態では、システムにおいて利用可能な次のパターンを投影するのではなく、システムは、色空間の少なくとも１つの次元に沿って以前に計算された距離を最小化するパターンを好むことになる。この最小化は、力まかせ探索によって又は最小化の方程式を解くことによって行われてもよい。一実施形態によると、当該装置又はシステムは、画像化された色パターンを、投影された所定の色パターンと比較した後、及び／又は上記の比較に基づき１つ又は複数の同定された歯に関する色情報を抽出した後に、投影される所定の色パターンの順序、選択、及び／又は数を修正するか又は別の方法で適応させる。例えば、当該システム又は装置は、決定された色差に基づき、投影されることになる次の所定の色パターンを調整又は選択してもよく、これは、色の画像化に影響を及ぼす環境に関してシステム又は装置に知らせる。別の例として、当該システム又は装置は、装置又はシステムによって抽出されたユーザの歯の色に基づき、投影されることになる次の所定の色パターンを調整又は選択してもよい。当該システムは、ユーザの歯から抽出された色に基づき、歯の真の色を、特定の所定の色パターンを使用してより良く特徴付けることができるということを決定した後に、投影されることになる次の所定の色パターンを選択する。

一実施形態によると、当該システムが全ての利用可能な色パターンをループスルーすると、又は、距離最小化基準が満たされる場合、スクリーンの全ての抽出された色の特徴が、現実の色空間、すなわち、投影されたパターンの真の値に対応する色の特徴と、知覚された色空間との間のマッピングを定めるために使用される。好ましい実施形態では、マッピングは、実空間と知覚空間の両方の間の線形変換又は非線形変換のいずれかを仮定することによって行われる。当該システムは、例えば、全ての測定にわたる投影誤差を最小化する変換マトリクスを定めることができる。

一実施形態によると、マッピング／変換がコンピュータ処理されると、それぞれの投影されたパターンで最小距離を示す口の色が、現実の色空間において投影され、ユーザの歯５１０の真の色がコンピュータ処理される。この情報は、デジタルメディアを介して等、ユーザと共有することができ：（１）直接的なメトリックフィードバックのために；（２）縦方向のフィードバックを提供するための以前に測定されたシェードに対する比較のために；（３）将来の又は進行中の歯科治療をサポートするための第三者システムに送信するために；使用することができる。

当該方法の任意的なステップ３７０では、システム又は装置が、１つ又は複数の画像及び／又は抽出された色情報を歯科専門家に送信する。画像は、撮像装置又はシステムの通信モジュール５０を使用して、有線及び／又は無線の通信を介して、歯科専門家又は他の第三者のシステム又はサービスに送信することができる。システムは、１つ又は複数の所定の基準が満たされる場合及び／又は色情報が首尾よくキャプチャされる場合、歯科専門家又は他の第三者のシステム若しくはサービスに画像９０のみを送信するように構成又は設計されてもよい。システムは、ユーザからのコマンドに応答して、及び／又は、歯科専門家又は他の第三者のシステム若しくはサービスからの要求に応答して、歯科専門家又は他の第三者のシステム若しくはサービスに画像９０を送信するように構成又は設計されてもよい。

全ての定義は、本明細書において定義及び使用される場合、辞書的定義、参照により援用する文献における定義、及び／又は定義された用語の通常の意味を支配すると理解されるべきである。

不定冠詞「ａ」及び「ａｎ」は、本明細書及び特許請求の範囲において使用される場合、反対のことが明確に示されていない限り、「少なくとも１つ」を意味すると理解されるべきである。

本明細書及び特許請求の範囲において使用される場合、「及び／又は」という語句は、そのように結合された要素、すなわち、ある場合には結合して存在し、他の場合には分離して存在する要素のうち「いずれか又は両方」を意味すると理解されるべきである。「及び／又は」と共に列挙された複数の要素は、同じ様式で、すなわち、そのように結合された要素のうち「１つ又は複数」と解釈されるべきである。他の要素が、任意的に、「及び／又は」という句によって具体的に同定される要素以外に、具体的に同定されるそれらの要素に関連するか否かを問わず、存在してもよい。

本明細書及び特許請求の範囲において使用される場合、「又は」は、上記の「及び／又は」と同じ意味を有すると理解されるべきである。例えば、リスト内のアイテムを分ける場合、「又は」又は「及び／又は」は、包括的である、すなわち、多くの要素又は要素のリストのうち、並びに、任意的にさらなる列挙されていないアイテムのうち少なくとも１つを包含するが、そのうち２つ以上も含むと解釈されるはずである。「のうち１つのみ」若しくは「のうちちょうど１つ」、又は、特許請求の範囲において使用される場合に「から成る」等、反対のことが明確に示されている用語のみが、多くの要素又は要素のリストのうちちょうど１つの要素を包含することを指すことになる。一般に、「又は」という用語は、本明細書において使用される場合、「いずれか」、「のうち１つ」、「のうち１つのみ」、又は「のうちちょうど１つ」等の排他性の用語が先行する場合、排他的な代替案（すなわち、１つ又は他のものであるが両方ではない）を示すとしてのみ解釈されるはずである。

本明細書及び特許請求の範囲において使用される場合、「少なくとも１つ」という語句は、１つ又は複数の要素のリストに関連して、要素のリスト内の任意の１つ又は複数の要素から選択された少なくとも１つの要素を意味すると理解されるべきであるが、必ずしも要素のリスト内に具体的に列挙された各要素及び全ての要素のうち少なくとも１つを含むというわけではなく、要素のリスト内の任意の要素の組み合わせを排除しない。この定義は、「少なくとも１つ」という語句が言及する要素のリスト内で具体的に同定された要素以外の要素が、具体的に同定されたそれらの要素に関連するか否かを問わず、任意的に存在し得るということも可能にする。

反対のことが明確に示されていない限り、２つ以上のステップ又は行為を含む本明細書において請求されるいかなる方法においても、その方法のステップ又は行為の順は、必ずしもその方法のステップ又は行為が記載される順に限定されるわけではないということも理解されるべきである。

特許請求の範囲において、並びに、上記の本明細書において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「保有する」、「有する（ｈａｖｉｎｇ）」、「有する（ｃｏｎｔａｉｎｉｎｇ）」、「含む（ｉｎｖｏｌｖｉｎｇ）」、「保持する」、及び「構成される」等の全ての移行句は、オープンエンドである、すなわち、それらを含むがそれらに限定されないということを意味すると理解されることになる。「～から成る」及び「本質的に～から成る」という移行句のみが、それぞれ、クローズド又はセミクローズドの移行句であるはずである。

いくつかの本発明の実施形態が本明細書において記載及び例示されてきたけれども、当業者は、本明細書において記載される機能を行うため、及び／又は、結果及び／又は利点のうち１以上を得るための種々の他の手段及び／又は構造を容易に想像し、そのような変更及び／又は修正の各々が、本明細書において記載される本発明の実施形態の範囲内にあるとみなされる。より一般的には、当業者は、本明細書において記載される全てのパラメータ、寸法、材料、及び構成が例証的であるはずということ、及び、実際のパラメータ、寸法、材料、及び／又は構成は、本発明の教示が使用される特定の１つ又は複数の用途に依存することになるということを容易に正しく理解することになる。当業者は、ルーチン的な実験のみを使用して、本明細書において記載される特定の本発明の実施形態に対する多くの同等物を認識することになる又はそれを確認することができるようになる。従って、上述の実施形態は単に例として提示されるということ、及び、添付の特許請求の範囲及びその同等物内で、具体的に記載され且つ特許請求される以外の方法で本発明の実施形態は実行されてもよいということが理解されることになる。本開示の本発明の実施形態は、本明細書において記載される各々個々の特徴、システム、製品、材料、キット、及び／又は方法を対象としている。加えて、２つ以上のそのような特徴、システム、製品、材料、キット、及び／又は方法のいずれの組合せも、そのような特徴、システム、製品、材料、キット、及び／又は方法が相互に矛盾しない場合、本開示の発明の範囲内に含まれる。

Claims (15)

1. 歯に関する色情報を特徴付けるコントローラの作動方法であって、
   少なくとも１つの所定の色パターンが表示されるよう制御するステップと、
   １つ又は複数の画像が得られるようカメラを制御するステップであり、各画像は、表示された所定の色パターンも、ユーザの口の少なくとも一部も有する、ステップと、
   得られた前記１つ又は複数の画像から、前記コントローラの特徴検出アルゴリズム又は分類器が、前記ユーザの口の少なくとも一部における１つ又は複数の歯を前記ユーザの口から自動的に識別するステップと、
   画像化された所定の色パターンを、対応する表示された所定の色パターンと比較するステップと、
   前記比較の結果に基づき、１つ又は複数の自動的に識別された歯に関する色情報を抽出するステップと、
   を含む方法。
2. 前記所定の色パターンは、単一の色を含む、請求項１に記載の方法。
3. 前記得られた１つ又は複数の画像が前記コントローラから遠隔のサーバに送信されるよう制御するステップをさらに含む、請求項１に記載の方法。
4. 抽出された前記色情報が前記コントローラから遠隔のサーバに送信されるよう制御するステップをさらに含む、請求項１に記載の方法。
5. 前記比較の結果及び／又は抽出された前記色情報に基づき、表示すべき第２の所定の色パターンを選択するステップをさらに含む、請求項１に記載の方法。
6. 前記カメラは、スマートフォンのコンポーネントである、請求項１に記載の方法。
7. 前記所定の色パターンが表示されるよう制御するステップは、スクリーン上又は表面上に前記色パターンが表示されるようプロジェクタを制御することを含む、請求項１に記載の方法。
8. 前記所定の色パターンは、前記画像において前記ユーザの口の隣に表示される、請求項１に記載の方法。
9. 歯に関する色情報を特徴付けるためのシステムであって、
   （ｉ）ディスプレイ、及び（ｉｉ）カメラを含む撮像装置と、
   （ｉ）少なくとも１つの所定の色パターンが表示されるよう前記ディスプレイを制御し、（ｉｉ）１つ又は複数の画像が得られるようカメラを制御し、各画像は、前記所定の色パターン及びユーザの口の少なくとも一部を含み、（ｉｉｉ）得られた前記１つ又は複数の画像から、特徴検出アルゴリズム又は分類器が、前記ユーザの口の少なくとも一部における１つ又は複数の歯を前記ユーザの口から自動的に識別し、（ｉｖ）画像化された所定の色パターンを、対応する表示された所定の色パターンと比較し、さらに（ｖ）前記比較の結果に基づき、１つ又は複数の自動的に識別された歯に関する色情報を抽出するように構成されたコントローラと、
   を含むシステム。
10. 前記撮像装置は、スマートフォンである、請求項９に記載のシステム。
11. １つ又は複数の画像及び／又は前記１つ又は複数の自動的に識別された歯に関する抽出された色情報を送信するように構成された通信モジュールをさらに含む、請求項９に記載のシステム。
12. 前記コントローラは、前記比較の結果及び／又は抽出された前記色情報に基づき、表示すべき第２の所定の色パターンを選択するようにさらに構成されている、請求項９に記載のシステム。
13. 前記コントローラは、前記撮像装置の一部である、請求項９、１１、又は１２に記載のシステム。
14. スマートフォンである、請求項１３に記載のシステム。
15. 前記コントローラが更に、スクリーン上又は表面上に前記色パターンが表示されるようプロジェクタを制御する、請求項９、１１、１２、及び１３のいずれか一項に記載のシステム。

Images