JP7058035B2 - 歯垢表示システム - Google Patents

Description

本発明は、撮像画像情報処理に際して、歯垢が存在する部位を視覚的に強調して可視化させる技術に係り、特に、効率良く汎用の装置を用いて実現することができ、且つより確実に歯垢の存在部位を強調表示させることが可能な歯垢表示システムに関する。

従来、歯垢顕示剤を歯面に塗布し、歯垢の付着部分を赤く着色させることで、歯垢を強調・可視化し、磨き残しの部分をチェックしたり歯磨きの癖を把握することが行われている。しかし、このような方法は、作業に手間がかかり負担が大きく、歯垢顕示剤が衣服に付かないように注意する必要もあり、日常的に用いる方法としては、気軽に利用しにくい方法であった。

これに対し、口腔内を撮像する撮像部と、撮像部により撮像された元画像データから、色情報に基づいて歯垢部位を抽出する抽出部と、抽出された歯垢部位を強調した強調画像データを生成する強調画像生成部と、強調画像データを元画像データに合成して合成画像データを生成し、表示部に表示する合成部とを含む歯垢検知システムが提案されている（特許文献１参照）。しかし、これは専用の装置が必要なうえ、歯垢部位を認識して面積率で付着量を判断し、その付着量に応じた色で強調表示するものであり、多くの演算を必要とし、処理能力が必要であり、コストも上昇し、照明等の環境による誤差も生じやすく、安定した白色照明が必要になるといった課題がある。

特開２０１１－１８２９９３号公報

そこで、本発明が前述の状況に鑑み、解決しようとするところは、簡易な処理で効率よく歯垢を強調・可視化した画像を提供でき、汎用の装置を用いて実現でき、且つ確実に歯垢を強調表示させることが可能な歯垢表示システムを提供する点にある。

本発明者は、かかる現況に鑑み、鋭意検討した結果、歯垢部位を抽出することなく、撮像された口腔内の撮像画像の色相値および彩度値を変更することにより、歯垢部位が強調された画像を得ることが可能であり、これにより歯垢部位の認識やその面積率の演算などをするまでもなく、歯垢が強調された画像を簡易な処理で得ることができることを見出し、本発明を完成するに至った。

すなわち本発明は、以下の発明を包含する。
（１） 口腔内を撮像する撮像手段と、前記撮像手段により撮像された撮像画像データの少なくとも色相値および彩度値を変更し、歯垢が強調された画像とする画像調整手段と、前記画像調整手段で調整された画像を表示する画像表示手段と、を備えた歯垢表示システム。

（２） 前記撮像画像データをＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換する色空間変換手段を備え、前記画像調整手段が、変換された色相と彩度を含む成分からなる色空間における前記色相値および彩度値を変更する、（１）記載の歯垢表示システム。

（３） 前記画像調整手段による前記色相値および彩度値の変更量が、前記撮像画像データの特定の領域の色相値または彩度値の大きさに応じて、あらかじめ複数組設定されている、（１）又は（２）記載の歯垢表示システム。

（４） 前記撮像画像データから歯の領域を検出する領域検出手段を備え、前記画像調整手段が、前記撮像画像データのうち、前記検出された歯の領域に限定して、前記少なくとも色相値および彩度値を変更し、歯垢が強調された調整画像とする、（１）～（３）の何れかに記載の歯垢表示システム。

（５） 前記領域検出手段が、撮像画像データの色相値に基づき、赤系の色相からなる領域に囲まれた白系の色相からなる領域を、前記歯の領域として検出する、（４）記載の歯垢表示システム。

（６） 前記画像調整手段で調整された調整画像データを記憶する画像記憶手段と、前記画像記憶手段に記憶されている当該ユーザの複数の前記調整画像データに基づき、当該ユーザの歯磨き動作の問題点を解析する解析手段と、前記解析された歯磨きの問題点に基づき、当該ユーザへの歯磨き指導情報を生成する指導情報生成手段とを備え、前記画像表示手段が、前記調整画像の表示に合わせて、前記生成された歯磨き指導情報を表示する、（１）～（５）の何れかに記載の歯垢表示システム。

（７） 当該ユーザの歯磨きの動作データを蓄積した歯磨き動作記憶手段を備え、前記解析手段は、前記歯磨き動作記憶手段に蓄積された当該ユーザの歯磨きの動作データと前記複数の調整画像データに基づき、前記問題点を解析する、（６）記載の歯垢表示システム。

（８） 前記複数の調整画像データが、歯磨き前後の調整画像データである、（６）又は（７）記載の歯垢表示システム。

（９） 前記画像表示手段が、前記指導情報の内容に応じて歯垢の強調度合いの異なる画像を表示する、（６）～（８）の何れかに記載の歯垢表示システム。

以上にしてなる本願発明によれば、撮像手段により撮像された撮像画像データの少なくとも色相値および彩度値を変更し、歯垢が強調された画像とする画像調整手段と、前記画像調整手段で調整された画像を表示する画像表示手段とを備えたので、歯垢部位の認識や付着量の演算が不要であり、簡易な処理で効率よく歯垢を強調・可視化した画像を提供でき、コストも抑えることができ、周囲の明るさ等の環境に影響を受けにくく、汎用の装置を用いつつ、より確実に歯垢を視覚的に強調表示させることができる。

特に、撮像画像データをＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換する色空間変換手段を備え、前記画像調整手段が、変換された色相と彩度を含む成分からなる色空間における前記色相値および彩度値を変更するものでは、より確実に歯垢が強調された調整画像を得ることができる。

また、画像調整手段による色相値および彩度値の変更量が、撮像画像データの特定の領域における色相値または彩度値の大きさに応じて、あらかじめ複数組設定されている画像調整条件より選択し、決定されるものでは、周囲の明るさ等の環境が違って元の撮像画像の明るさ等が大きく異なっても、同じように歯垢が強調された調整画像を得ることができる。

また、撮像画像データから歯の領域を検出する領域検出手段を備え、画像調整手段が、前記撮像画像データのうち、前記検出された歯の領域に限定して、少なくとも色相値および彩度値を変更し、歯垢が強調された調整画像とするものでは、歯以外の歯茎や唇まで強調された画像になってしまうことを回避できるため、実際に歯垢顕示剤を使用した場合に近い印象を与え得る、より見やすい画像を提供できる。

また、領域検出手段が、撮像画像データの色相値に基づき、赤系の色相からなる領域に囲まれた白系の色相からなる領域を、前記歯の領域として検出すると規定した場合では、調整画像を得るのに必要な色相値を用いて、歯のみの領域を効率よく検出することができる。

また、画像調整手段で調整された調整画像データを記憶する画像記憶手段と、前記画像記憶手段に記憶されている当該ユーザの複数の前記調整画像データに基づき、当該ユーザの歯磨き動作の問題点を解析する解析手段と、前記解析された歯磨きの問題点に基づき、当該ユーザへの歯磨き指導情報を生成する指導情報生成手段とを備え、前記画像表示手段が、前記調整画像の表示に合わせて、前記生成された歯磨き指導情報を表示するものでは、単に画像を提供してユーザに歯垢の存在やその位置を気付かせて自発的な行動（歯磨きの改善）を期待するだけでなく、指導情報として、過去の調整画像データに基づいた解析結果から、当該ユーザに適した歯磨きの改善方法を助言することができるとともに、より積極的に改善を促すことができ、その指導内容もユーザの主観に影響されず客観的な内容で提供できる。

また、当該ユーザの歯磨きの動作データを蓄積した歯磨き動作記憶手段を備え、前記解析手段は、前記歯磨き動作記憶手段に蓄積された当該ユーザの歯磨きの動作データと前記複数の調整画像データに基づき、前記問題点を解析するものでは、個々のユーザの歯磨き動作を把握したうえで、その問題点をより正確に解析することができ、生成される歯磨き指導情報の内容も、より当該ユーザに適した指導内容とすることができる。たとえば、歯垢の残存が、歯ブラシの毛束を当てる位置や角度が悪いのか、押圧力が足りないのか、歯ブラシの動作スピードや移動距離が適切でないのか、動作時間が足りないのか等、複数の要因から適した問題点を抽出し、当該ユーザの普段の歯磨き動作の癖を適切に反映した指導内容とすることができる。

また、前記複数の調整画像データが、歯磨き前後の調整画像データであるものでは、歯垢顕示剤を使用した場合と同様な当該歯磨きの問題点をより正確に解析することができ、ユーザにとっても歯磨きの効果をより簡便にかつ直接的に認識することができる。

また、前記画像表示手段が、前記指導情報の内容に応じて歯垢の強調度合いを強めたり、病的な印象を与える色調に変化させる画像を表示するものでは、ユーザ、特に子供に対して、歯磨きの動機づけをより強く与えることが可能である。

また、本発明を既存の歯磨き指導システムに組み込むことで、定型との比較による評価ではなく、実際の歯垢の残存状況に基づき、より適切な指導を行うことが可能となる。

本発明の第１実施形態に係る歯垢表示システムの構成を示す説明図。 同じく歯垢表示システムを構成する携帯端末の構成を示すブロック図。 同じく歯垢表示システムにおける処理手順を示すフロー図。 撮像画像から歯垢が強調された調整画像に変更される様子を示す説明図。 同じく撮像画像から調整画像に変更される様子を示す説明図。 本発明の第２実施形態に係る歯垢表示システムの携帯端末の構成を示すブロック図。 同じく歯垢表示システムにおける処理手順を示すフロー図。 （ａ）は撮像画像から歯の領域に限定された調整画像に変更される様子を示す説明図、（ｂ）は合成画像として表示する例を示す説明図。 同じく（ａ）は撮像画像から歯の領域に限定された調整画像に変更される様子を示す説明図、（ｂ）は合成画像として表示する例を示す説明図。 本発明の第３実施形態に係る歯垢表示システムの構成を示す説明図。 同じく歯垢表示システムを構成する携帯端末の構成を示すブロック図。 同じく歯垢表示システムを構成するサーバコンピュータの構成を示すブロック図。 同じく歯垢表示システムにおける処理手順を示すフロー図。 本発明の第４実施形態に係る歯垢表示システムを構成するサーバコンピュータの構成を示すブロック図。 同じく歯垢表示システムにおける処理手順を示すフロー図。 本発明の第５実施形態に係る歯垢表示システムの構成を示す説明図。 同じく歯垢表示システムを構成する携帯端末の構成を示すブロック図。 同じく歯垢表示システムを構成するサーバコンピュータの構成を示すブロック図。

次に、本発明の実施形態を添付図面に基づき詳細に説明する。まず、図１～図５に基づき、第１実施形態を説明する。

本実施形態の歯垢表示システムＳは、図１に示すように、ユーザの携帯端末１０が備える機能のみでシステム構成したものである。携帯端末１０は、図２に示すように、口腔内を撮像する撮像手段１１と、内蔵の処理装置１２で実現され、撮像手段１１により撮像された撮像画像データの少なくとも色相値および彩度値を変更し、歯垢が強調された画像とする画像調整手段（後述の画像調整処理部１２ｃ）と、画像調整手段で調整された画像を表示する画像表示手段１３とを少なくとも備えている。このような携帯端末１０としては、専用の端末以外に、たとえばＣＣＤカメラおよび液晶等ディスプレイを備えるスマートフォン端末やタブレット端末などの汎用の携帯端末を用いることができる。撮像位置を照明する照明手段を備えたものが好ましい。

携帯端末１０の処理装置１２は、マイクロプロセッサなどのＣＰＵを主体に構成され、入出力部、バスラインを通じて撮像手段１１、画像表示手段１３および記憶手段１４との間で、それぞれ各種情報を送受信する。記憶手段１４は、処理装置１２内外のＲＡＭ、ＲＯＭなどの記憶メモリやハードディスク等より構成され、処理装置１２における各種処理動作の手順を規定するプログラムや処理データが記憶される。

処理装置１２は、機能的には、図２に示すように、撮像手段１１で撮像された口腔内の撮像画像データを撮像手段１１より取得し、記憶手段１４の撮像画像データ記憶部１４ａに記憶する撮像画像記憶処理部１２ａと、撮像画像データをＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換する色空間変換手段としての色空間変換処理部１２ｂと、変換された色相と彩度を含む成分からなる色空間における前記色相値および彩度値を変更し、変更した調整画像データを記憶手段１４の調整画像データ記憶部１４ｂに記憶する画像調整処理部１２ｃと、前記調整画像データ記憶部１４ｂに記憶された調整画像データを取出し、画像表示手段１３により表示させる調整画像表示処理部１２ｄとを少なくとも備えており、これら機能は上記プログラムにより実現される。

色空間変換処理部１２ｂが色空間を変換する撮像画像データは、撮像手段１１で撮像された直後のデータでもよいし、記憶手段１４に記憶管理された過去の画像データでもよい。また、色空間変換処理部１２ｂがＲＧＢ色空間から変換する、色相と彩度を含む成分からなる色空間としては、たとえばＨＬＳ色空間やＨＳＶ色空間などが該当する。たとえば、Android Support V4 graphics パッケージなどを用いることができる。

画像調整処理部１２ｃによる前記色相値および彩度値の変更は、１ピクセルずつ変更処理がなされ、その変更量としては、たとえば、元の色相値の－４０±５、および元の彩度値の＋３０±５、など所定の変更量が設定されているものでもよいし、特定の領域毎に複数の変更量の組があらかじめ設定され、ユーザの選択操作で選択決定された変更量を用いて変更するものも好ましい。元の色相値の－４０±５、および元の彩度値の＋３０±５の変更量は、従来の歯垢顕示剤を用いて染めた場合の色に近い色となる点で好ましい。

また、このような変更量として、撮像画像データの特定の領域の色相値または彩度値の大きさとその領域の基準値との対比情報に応じて、あらかじめ複数組設定された画像調整条件から選択した、当該特定領域の色相値または彩度値で決定される組の変更量を用いることも好ましい実施例である。具体的には、たとえば歯の領域の色相値を閾値として、複数の変更量の組のテーブルがあらかじめ用意され、歯の領域の色相値から決定される変更量を用いて色相および彩度を変更するようなことが該当する。

すなわち、撮影の状況（明るいところ、暗いところ）によっては、撮像画像から一定量の変更により得た調整画像では歯垢が十分に強調できる場合と十分に強調できない場合が生じ得る。そこで、特定の領域の調整前の色相または彩度の閾値を決め、その値に対応する最適な変更量を割り振ることにより、どのような明るさの画像でも、十分に歯垢を強調させることができるのである。

画像調整処理部１２ｃは、前記色相値および彩度値のみ変更するものに限定されず、その他の変換された色空間のパラメータ、たとえば明度や輝度なども、変更することもできる。

本実施形態の歯垢表示システムＳの処理動作手順は、図３に示すように、まず、ユーザにより撮像手段１１で口腔内が撮像されると（Ｓ１０１）、撮像画像記憶処理部１２ａが取得した撮像画像データを記憶手段１４の撮像画像データ記憶部１４ａに記憶する（Ｓ１０２）。そして、自動的に、またはユーザの操作により、色空間変換処理部１２ｂが撮像画像データを撮像画像データ記憶部１４ａから取出し、ＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換するとともに、当該色空間データを記憶手段１４の変換画像データ記憶部１４ｃに記憶する（Ｓ１０３）。

次に、画像調整処理部１２ｃが、自動的に、またはユーザの操作により、変換された色相と彩度を含む成分からなる色空間における前記色相値および彩度値を変更し、変更した調整画像データを記憶手段１４の調整画像データ記憶部１４ｂに記憶する（Ｓ１０４）。そして、調整画像表示処理部１２ｄが、調整画像データ記憶部１４ｂに記憶された調整画像データを取出し、画像表示手段１３により表示させる（Ｓ１０５）。図４および図５は、元の撮像画像１００と、該撮像画像１００のデータから画像調整処理部１２ｃで色相値および彩度値が変更され、画像表示手段１３により表示される調整画像１０１を示している。

次に、図６～図９に基づき、第２実施形態を説明する。

本実施形態の歯垢表示システムＳ１は、第１実施形態に加えて、撮像画像データから歯の領域を検出する領域検出手段を備え、画像調整手段（画像調整処理部１２ｃ）が、撮像画像データのうち、前記検出された歯の領域に限定して、前記少なくとも色相値および彩度値を変更し、歯垢が強調された調整画像とするものである。これによれば、図８および図９に示すように、歯の領域のみ歯垢が強調された画像に調整されるため、その他の部位、唇や歯茎も変更されて不自然な画像になることを防止できる。

領域検出手段は、撮像画像データの色相値に基づき、赤系の色相からなる領域に囲まれた白系の色相からなる領域を歯の領域として検出する方法を用いたものが、歯の領域の誤認が生じにくく、好ましい実施例である。その他、公知の画像認識処理技術により形状や形状と色相値等の検出に基づいて歯の領域を認識して検出するものでもよい。

本例では、図６に示すように、携帯端末１０の処理装置１２に、領域検出処理部１２ｅとして設けられ、該領域検出処理部１２ｅは、記憶手段１４の変換画像データ記憶部１４ｃを抽出し、該データの色相値に基づき、上述のとおり、赤系の色相の領域で囲まれた白系の色相の領域を特定し、該領域を歯の領域として検出する。具体的には、たとえば、唇や歯茎の色に近い赤系の色相値３２０～３６０の領域に囲まれた、歯垢や歯に近い白系の色相値０～６０の領域を検出する。この０～６０の画素のみに強調処理をすることにより処理後の画像が見やすくなる。これにより、たとえば０～６０の色相値を有する口腔外の肌部位が画像内に存在していたとしても歯と誤検出することなく、より確実に歯だけを検出することが可能となる。

本実施形態の歯垢表示システムＳ１の処理動作手順は、図７に示すように、まず、ユーザにより撮像手段１１で口腔内が撮像されると（Ｓ２０１）、撮像画像記憶処理部１２ａが取得した撮像画像データを記憶手段１４の撮像画像データ記憶部１４ａに記憶する（Ｓ２０２）。そして、自動的に、またはユーザの操作により、色空間変換処理部１２ｂが撮像画像データを撮像画像データ記憶部１４ａから取出し、ＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換するとともに、当該色空間データを記憶手段１４の変換画像データ記憶部１４ｃに記憶する（Ｓ２０３）。ここまでは、上述の第１実施形態と同じである。

次に、領域検出処理部１２ｅが、自動的に、またはユーザの操作により、変換画像データ記憶部１４ｃに記憶された色空間データに基づき、赤系の色相の領域で囲まれた白系の色相の領域を特定し、該領域を歯の領域として検出する（Ｓ２０４）。次に、画像調整処理部１２ｃが、前記検出された歯の領域の色相値および彩度値を変更し、変更した調整画像データを記憶手段１４の調整画像データ記憶部１４ｂに記憶する（Ｓ２０５）。そして、調整画像表示処理部１２ｄが、調整画像データ記憶部１４ｂに記憶された調整画像データを取出し、画像表示手段１３により表示させる（Ｓ２０６）。

本例では、調整画像データは歯の領域のみの画像データとされ、図８（ａ）、図９（ａ）に示すように、画像表示手段１３により表示される調整画像１０１は歯の領域のみの画像であるが、図８（ｂ）及び図９（ｂ）に示すように、元の撮像画像１００の歯の領域の画像を当該歯の領域の調整画像１０１に置き換えた画像、すなわち歯の領域の調整画像１０１を元の撮像画像１００に合成した合成画像１０２として表示することも好ましい実施例である。

その他の構成および変形例については、上述した第１実施形態と同じであり、同一構成には同一符号を付し、それらの説明は省略する。

次に、図１０～図１３に基づき、第３実施形態を説明する。

本実施形態の歯垢表示システムＳ２は、図１０に示すように、ユーザの携帯端末１０と、インターネット等の通信ネットワークＮを介して携帯端末１０と通信接続するサーバコンピュータ２０とより構成したものである。そして、上述の第１実施形態、第２実施形態では、撮像画像の色空間の変換や画像の調整を携帯端末１０内で処理していたが、本実施形態では、これらの処理をサーバコンピュータ２０が行い、該サーバコンピュータ２０側で複数のユーザの携帯端末１０を管理するように構成されている。

携帯端末１０は、図１１に示すように、通信制御部１５を備え、処理装置１２は、第１実施形態、第２実施形態で備えていた色空間変換処理部１２ｂおよび画像調整処理部１２ｃは省略され、代わりに、サーバコンピュータ２０に撮像画像データを送信する撮像画像送信処理部１２ｆと、サーバコンピュータ２０から調整画像データを受信する調整画像受信処理部１２ｇが設けられている。記憶手段１４は、変換画像データ記憶部１４ｃが省略されている。その他の構成、変形例等については、第１実施形態や第２実施形態と同じである。

サーバコンピュータ２０は、図１２に示すように、処理装置２１、記憶手段２２、通信制御部２３を備えた汎用のサーバコンピュータより構成されている。処理装置２１は、マイクロプロセッサなどのＣＰＵを主体に構成され、入出力部、バスラインを通じて記憶手段２２、通信制御部２３との間で、それぞれ各種情報を送受信する。記憶手段２２は、処理装置２１内外のＲＡＭ、ＲＯＭなどの記憶メモリやハードディスク等より構成され、処理装置２１における各種処理動作の手順を規定するプログラムや処理データが記憶される。

処理装置２１は、機能的に、携帯端末１０から通信ネットワークＮを通じて撮像画像データを受信し、記憶手段２２の撮像画像データ記憶部２２ａに記憶する撮像画像受信処理部２１ａと、撮像画像データをＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換する色空間変換手段としての色空間変換処理部２１ｂと、変換された色相と彩度を含む成分からなる色空間における前記色相値および彩度値を変更し、変更した調整画像データを記憶手段２２の調整画像データ記憶部２２ｂに記憶する画像調整処理部２１ｃと、調整画像データを携帯端末１０に送信する調整画像送信処理部２１ｄとを少なくとも備えており、これら機能は上記プログラムにより実現される。

本実施形態において、サーバコンピュータ２０の処理装置２１が備える、色空間変換処理部２１ｂ、画像調整処理部２１ｃの内容は、上述の第１実施形態や第２実施形態で携帯端末１０の処理装置１２が備える色空間変換処理部１２ｂや画像調整処理部１２ｃと同じであるため、説明を省略する。第２実施形態と同様、処理装置２１が領域検出処理部を備え、第２実施形態と同様の処理を行うことも好ましい実施例である。

本実施形態の歯垢表示システムＳ２の処理動作手順は、図１３に示すように、まず、ユーザにより携帯端末１０の撮像手段１１で口腔内が撮像されると（Ｓ３０１）、撮像画像記憶処理部１２ａが取得した撮像画像データを記憶手段１４の撮像画像データ記憶部１４ａに記憶するとともに撮像画像送信処理部１２ｆが撮像画像データをサーバコンピュータ２０に送信する（Ｓ３０２）。

サーバコンピュータ２０の撮像画像受信処理部２１ａは、前記撮像画像データを受信し、記憶手段２２の撮像画像データ記憶部２２ａに記憶する（Ｓ３０３）。そして、色空間変換処理部２１ｂが撮像画像データを撮像画像データ記憶部２２ａから取出し、ＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換するとともに、当該色空間データを記憶手段２２の変換画像データ記憶部２２ｃに記憶する（Ｓ３０４）。

次に、画像調整処理部２１ｃが、前記変換画像データの色相値および彩度値を変更し、変更した調整画像データを記憶手段２２の調整画像データ記憶部２２ｂに記憶する（Ｓ３０５）。そして、調整画像送信処理部２１ｄが、調整画像データを携帯端末１０に送信する（Ｓ３０６）。

携帯端末１０の調整画像受信処理部１２ｇは、受信した調整画像データを調整画像データ記憶部１４ｂに記憶する（Ｓ３０７）。そして、調整画像表示処理部１２ｄが、調整画像データ記憶部１４ｂに記憶された調整画像データを取出し、画像表示手段１３により表示させる（Ｓ３０８）。

次に、図１４および図１５に基づき、第４実施形態を説明する。

本実施形態の歯垢表示システムＳ３は、第３実施形態に加えて、サーバコンピュータ２０が、図１４に示すように、記憶手段２２の調整画像データ記憶部２２ｂに記憶されている当該ユーザの複数の調整画像データに基づき、当該ユーザの歯磨き動作の問題点を解析する解析手段としての解析処理部２１ｅと、前記解析処理部２１ｅで解析された歯磨きの問題点に基づき、当該ユーザへの歯磨き指導情報を生成する指導情報生成手段としての指導情報生成処理部２１ｆとを備え、調整画像送信処理部２１ｄが、調整画像データとともに前記生成された指導情報を携帯端末１０に送信し、携帯端末１０の調整画像表示処理部１２ｄは、画像表示手段により、前記調整画像の表示に合わせて、前記生成された歯磨き指導情報を表示するものである。

調整画像データ記憶部２２ｂでは、ユーザごとに、各ユーザの複数の調整画像データが蓄積されている。図示しないが、ユーザの管理は、ユーザごとにＩＤが振られ、記憶手段２２でユーザ情報として属性情報とともに管理するとともに、記憶手段２２内の撮像画像データ、調整画像データ、変換画像データなどの各情報はユーザごとに記憶管理されている。

本実施形態の歯垢表示システムＳ３の処理動作手順は、図１５に示すように、まず、ユーザにより携帯端末１０の撮像手段１１で口腔内が撮像されると（Ｓ４０１）、撮像画像記憶処理部１２ａが取得した撮像画像データを記憶手段１４の撮像画像データ記憶部１４ａに記憶するとともに撮像画像送信処理部１２ｆが撮像画像データをサーバコンピュータ２０に送信する（Ｓ４０２）。この際、ユーザを識別するＩＤ情報も合わせて送信される。

サーバコンピュータ２０の撮像画像受信処理部２１ａは、前記撮像画像データを受信し、記憶手段２２の撮像画像データ記憶部２２ａに記憶する（Ｓ４０３）。そして、色空間変換処理部２１ｂが撮像画像データを撮像画像データ記憶部２２ａから取出し、ＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換するとともに、当該色空間データを記憶手段２２の変換画像データ記憶部２２ｃに記憶する（Ｓ４０４）。

次に、画像調整処理部２１ｃが、前記変換画像データの色相値および彩度値を変更し、変更した調整画像データを記憶手段２２の調整画像データ記憶部２２ｂに記憶する（Ｓ４０５）。次に、解析処理部２１ｅが、調整画像データ記憶部２２ｂに記憶されている当該ユーザの複数の調整画像データに基づき、当該ユーザの歯磨き動作の問題点を解析する（Ｓ４０６）。

解析処理部２１ｅによる解析は、たとえば蓄積した過去の当該ユーザの調整画像データから、歯磨きの癖を判断し、歯磨き指導機能に展開させてもよい。具体的には、歯のある一定の部分が連日の赤い（歯垢有り）色相値であることを検出すれば、それはその特定部位にいつも磨き残しがある（癖）ということであり、これを問題点として出力する。検出は、ある期間で統計処理を行うことで検出できる。また、解析に用いる複数の調整画像データは、ユーザが歯磨き前後の口腔内を撮像した歯磨き前後の撮像画像データから得られた歯磨き前後の調整画像データとすることも好ましい。これにより、解析処理部２１が調整画像データを比較することで、当該歯磨き動作の問題点をより正確に解析できる。

そして、指導情報生成処理部２１ｆが、解析された歯磨きの問題点に基づき、当該ユーザへの歯磨き指導情報を生成する（Ｓ４０７）。指導情報は、たとえば「ここが磨けていない」、「ここを磨いた方がよい」など、部位を表示して指導するものなどが挙げられる。過去の問題点や過去に提供された指導情報を、機械学習により分析し、推測のうえ、より適した指導情報を生成することも好ましい。この機械学習には、ニューラルネットワークによるディープラーニングなどの任意の手法を用いることができる。

次に、調整画像送信処理部２１ｄが、調整画像データと指導情報を携帯端末１０に送信する（Ｓ４０８）。携帯端末１０の調整画像受信処理部１２ｇは、受信した調整画像データ及び歯磨き指導情報を調整画像データ記憶部１４ｂに記憶する（Ｓ４０９）。そして、調整画像表示処理部１２ｄは、調整画像データ記憶部１４ｂに記憶された調整画像データおよび歯磨き指導情報を取出し、画像表示手段１３により表示させる（Ｓ４１０）。

この際、上記解析処理部２１による問題点や指導情報の内容に応じて、表示する調整画像として、歯垢の視覚的な強調度合いの異なる画像を表示するようにすることも好ましい。具体的には、解析処理部２１で解析された問題点が大きいほど、より歯垢が強調される色相や彩度に再調整した調整画像を表示することが好ましく、これによりユーザに対して歯磨きの良し悪しを強く印象付けることができる。

その他の構成および変形例については、上述した第３実施形態と同じであり、同一構成には同一符号を付し、それらの説明は省略する。

次に、図１６～図１８に基づき、第５実施形態を説明する。

本実施形態の歯垢表示システムＳ４は、第４実施形態に加えて、図１８に示すように、サーバコンピュータ２０が、ユーザの歯磨きの動作データを蓄積した歯磨き動作記憶手段として、記憶手段２２に歯磨き動作データ記憶部２２ｄを備え、解析処理部２１ｅが、歯磨き動作データ記憶部２２ｄに蓄積された当該ユーザの歯磨きの動作データと複数の調整画像データに基づき、前記問題点を解析するものである。

歯磨きの動作データの蓄積は、種々考えられるが、本実施形態では、図１６に示すように、ユーザの使用する歯ブラシ３に取り付けられ、歯磨き動作データを取得する動作取得センサ端末３０から、携帯端末１０に歯磨き動作データが送信され、携帯端末１０がこれを受信し、サーバコンピュータ２０に送信するように構成されている。したがって、携帯端末１０には、図１７に示すように、動作取得センサ端末３０から歯磨き動作データを受信して記憶手段１４の歯磨き動作データ記憶部１４ｄに記憶する歯磨き動作受信処理部１２ｈと、当該歯磨き動作データをサーバコンピュータ２０に送信する歯磨き動作データ送信処理部１２ｉが更に備えられている。

このような動作取得センサ端末３０は、本出願人がすでに出願している国際公開２０１６／１０４４４３号公報、特開２０１７－６０６６１号公報、および特開２０１７－６０６６２号公報に記載の歯ブラシ用アタッチメントを用いることができ、得られる歯磨き動作データとしては、同じく公報に記載されているように、歯ブラシの動きで変動する３軸加速度センサで検出される加速度データや、歯ブラシの姿勢変化で変動する相対的な重力加速度の方向データ等が該当し、その他、歯ブラシの回転角や角速度を検出するジャイロセンサのデータ、地磁気を検出する磁気コンパスのデータ、位置情報を取得するＧＰＳデータ、毛束の歯への押圧力を検出する圧力センサのデータ、距離を計測する距離センサのデータなどでもよい。

本実施形態では、上述の第４実施形態に比べ、解析処理部２１ｅが、歯磨き動作データ記憶部２２ｄに蓄積された当該ユーザの歯磨きの動作データと複数の調整画像データに基づき、前記問題点をより正確に解析することができ、指導情報生成処理部２１ｆにより生成される歯磨き指導情報の内容も、より当該ユーザに適した指導内容とすることができる。

具体的には、歯ブラシの毛束を当てる位置が正しいのに歯垢が残存している場合、解析処理部２１ｅは当該ユーザの歯磨き動作データに基づいて他の要因、たとえば押圧力や動作スピード、動作時間などを適正値として予め設定された閾値と比較し、足りないパラメータを抽出して問題点として出力することができ、指導情報生成処理部２１ｆは、このような問題点を歯垢残存要因として指導情報に反映させる等、当該ユーザの普段の歯磨き動作の癖を適切に反映した指導内容とすることができる。

また、携帯端末１０において歯磨き動作に連動した音楽演奏やゲームなどが実行される場合、サーバコンピュータ２０は前記解析処理部２１が解析した問題点に基づいて、予め記憶手段に記憶されている複数の音楽データやゲームの結果から問題点の内容に応じたものを選択し、これを携帯端末１０に送信し、携帯端末１０の処理装置１２が備えるこれら音楽演奏処理部やゲーム実行処理部が、受信した音楽データやゲームの結果を出力するように構成することができる。これにより、歯垢の残存状況に応じた音楽やゲームの結果を出力でき、当該ユーザに対して、歯垢残存状況の表示とともに、出力される音楽やゲームの結果により歯磨きの結果（良否）をより強く印象付けることが可能となる。

このように音楽やゲームを行う場合には、特に、ユーザが歯磨き前後の口腔内を撮像し、撮像画像データおよび調整画像データは歯磨き前後の調整画像データとすることが好ましい。これにより、解析処理部２１が調整画像データを比較することで、当該歯磨き動作の問題点をより正確に解析できる。また、上記解析処理部２１による問題点や指導情報の内容に応じて、画像表示手段が表示する調整画像として、歯垢の強調度合いの異なる画像を表示するようにすることも好ましい実施例である。

その他の構成および変形例については、上述した第４実施形態と同じであり、同一構成には同一符号を付し、それらの説明は省略する。

以上、本発明の実施形態について説明したが、本発明はこれら各実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々なる形態で実施し得ることは勿論である。

３ 歯ブラシ
１０ 携帯端末
１１ 撮像手段
１２ 処理装置
１２ａ 撮像画像記憶処理部
１２ｂ 色空間変換処理部
１２ｃ 画像調整処理部
１２ｄ 調整画像表示処理部
１２ｅ 領域検出処理部
１２ｆ 撮像画像送信処理部
１２ｇ 調整画像受信処理部
１２ｈ 歯磨き動作受信処理部
１２ｉ 歯磨き動作データ送信処理部
１３ 画像表示手段
１４ 記憶手段
１４ａ 撮像画像データ記憶部
１４ｂ 調整画像データ記憶部
１４ｃ 変換画像データ記憶部
１４ｄ 歯磨き動作データ記憶部
１５ 通信制御部
２０ サーバコンピュータ
２１ 処理装置
２１ａ 撮像画像受信処理部
２１ｂ 色空間変換処理部
２１ｃ 画像調整処理部
２１ｄ 調整画像送信処理部
２１ｅ 解析処理部
２１ｆ 指導情報生成処理部
２２ 記憶手段
２２ａ 撮像画像データ記憶部
２２ｂ 調整画像データ記憶部
２２ｃ 変換画像データ記憶部
２２ｄ 歯磨き動作データ記憶部
２３ 通信制御部
３０ 動作取得センサ端末
１００ 撮像画像
１０１ 調整画像
１０２ 合成画像
Ｎ 通信ネットワーク
Ｓ、Ｓ１～Ｓ４ 歯垢表示システム

Claims (7)

1. 口腔内を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像データについて、歯垢部位を抽出することなく、少なくとも色相値および彩度値を、前記撮像画像データの特定の領域の色相値または彩度値の大きさに応じてあらかじめ複数組設定された変更量だけ変更し、歯垢が強調された画像とする画像調整手段と、
   前記画像調整手段で調整された画像を表示する画像表示手段と、
   を備えた歯垢表示システム。
2. 前記撮像画像データをＲＧＢ色空間から色相と彩度を含む成分からなる色空間に変換する色空間変換手段を備え、
   前記画像調整手段が、変換された色相と彩度を含む成分からなる色空間における前記色相値および彩度値を変更する、請求項１記載の歯垢表示システム。
3. 前記撮像画像データから歯の領域を検出する領域検出手段を備え、
   前記画像調整手段が、前記撮像画像データのうち、前記検出された歯の領域に限定して、前記少なくとも色相値および彩度値を変更し、歯垢が強調された調整画像とする、請求項１又は２記載の歯垢表示システム。
4. 前記領域検出手段が、撮像画像データの色相値に基づき、赤系の色相からなる領域に囲まれた白系の色相からなる領域を、前記歯の領域として検出する、請求項３記載の歯垢表示システム。
5. 前記画像調整手段で調整された調整画像データを記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている当該ユーザの複数の前記調整画像データに基づき、当該ユーザの歯磨き動作の問題点を解析する解析手段と、
   前記解析された歯磨きの問題点に基づき、当該ユーザへの歯磨き指導情報を生成する指導情報生成手段とを備え、
   前記画像表示手段が、前記調整画像の表示に合わせて、前記生成された歯磨き指導情報を表示する、請求項１～４の何れか１項に記載の歯垢表示システム。
6. 当該ユーザの歯磨きの動作データを蓄積した歯磨き動作記憶手段を備え、
   前記解析手段は、前記歯磨き動作記憶手段に蓄積された当該ユーザの歯磨きの動作データと前記複数の調整画像データに基づき、前記問題点を解析する、請求項５記載の歯垢表示システム。
7. 前記複数の調整画像データが、歯磨き前後の調整画像データである、請求項５又は６記載の歯垢表示システム。
   

Images