JP2014133029A - 歯垢検知システム及び歯垢検知方法 - Google Patents

Abstract

【課題】歯列、歯面のどの部分に歯垢が付着しているのかを使用者に速やかに認識させる。
【解決手段】カメラ１１は、口腔内を撮像する。抽出部１３２は、カメラ１１により撮像された元画像データから、色情報に基づいて歯垢部位及び歯面部位を抽出する。強調画像生成部４０１は、抽出部１３２により抽出された歯垢部位を強調した強調画像データを生成する。合成部４０２は、強調画像データを元画像データに合成して合成画像データを生成し、表示部４０３に表示する。
【選択図】図７

Description

本発明は、歯の画像を撮像し、表示部に表示する技術に関するものである。

歯垢を形成する細菌が生成する蛍光物質を利用して歯垢を検知する歯垢検知装置が知られている。例えば、特許文献１では、蛍光物質を発光させる励起波長の光をＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）に照射させ、蛍光物質が発する光を光ダイオードセンサで検知することで、歯垢を検知する歯垢検知装置が開示されている。

歯垢中の蛍光物質が発する光の強度である蛍光発光強度は微弱であるため、歯垢の検知精度を高めるためには、高感度の光ダイオードセンサが求められる。

しかしながら、高感度の光ダイオードセンサを用いた場合、口腔外の光である外光や口腔内での反射光等の歯垢中の蛍光物質に起因しない光によって、歯垢が誤検知される可能性が高くなる。

そこで、特許文献２では、ＬＥＤで照射された口腔内の画像をカメラで撮像し、得られた画像から色の差異に基づいて歯面部位及び歯垢部位を抽出し、歯面部位に対する歯垢部位の面積比率が所定の判定値より大きい場合、歯垢が付着している旨をスピーカを用いて使用者に報知する歯垢検知装置が開示されている。

特表２００２−５１５２７６号公報 特開２０１１−１８２９９３号公報

しかしながら、特許文献２の歯垢検知装置では、撮像部により撮像された元画像及び元画像から抽出された歯垢部位の画像を個別に表示することしか行われていなかった。そのため、使用者は、歯垢が歯列、歯面のどの部分に付着しているのか速やかに認識することができないという課題があった。

本発明の目的は、歯列、歯面のどの部分に歯垢が付着しているのかを使用者が速やかに認識することができる技術を提供することである。

（１）本発明の一態様による歯垢検知システムは、口腔内を撮像する撮像部と、前記撮像部により撮像された元画像データから、色情報に基づいて歯垢部位を抽出する抽出部と、前記抽出部により抽出された歯垢部位を強調した強調画像データを生成する強調画像生成部と、前記強調画像データを前記元画像データに合成して合成画像データを生成し、表示部に表示する合成部とを含む。

この構成によれば、カメラにより撮像された元画像データから歯垢部位が抽出され、歯垢部位が強調表示された強調画像データが生成され、強調画像データが元画像データに合成して表示される。そのため、使用者は歯列、歯面のどの部位に歯垢が付着しているかを速やかに認識することができる。

（２）前記歯垢検知システムは、前記抽出部は、色情報を閾値と比較することで前記歯垢部位を抽出し、使用者からの操作指示に基づいて、前記閾値を調整する操作部を更に含むことが好ましい。

この構成によれば、使用者は自身の歯垢の色に適した閾値を設定することができる。そのため、歯垢部位の検出精度を高めることができる。

（３）前記歯垢検知システムにおいて、前記強調画像生成部は、前記歯垢部位の明度に基づいて歯垢量を求め、歯垢量に応じた色を前記歯垢部位に設定することが好ましい。

この構成によれば、歯垢量に応じた強調度合いで歯垢部位が強調表示されるため、使用者は歯垢量を速やかに認識することができる。

（４）前記歯垢検知システムにおいて、前記強調画像生成部は、前記歯垢部位を照射する光の照射光量と前記歯垢部位の明度とに基づいて、前記歯垢部位の反射光量を求め、求めた反射光量に基づいて前記歯垢量を算出することが好ましい。

この構成によれば、歯垢部位の反射光量に基づいて歯垢量が求められているため、歯垢量をより正確に求めることができる。

（５）前記歯垢検知システムにおいて、前記抽出部は、前記色情報に基づいて歯面部位を更に抽出し、前記歯面部位及び前記歯垢部位の面積に基づいて歯垢の付着度を算出する付着度算出部を更に備え、前記合成画像データ及び付着度を測定履歴として保持し、使用者からの操作指示に基づいて、測定履歴を前記表示部に表示する履歴管理部を更に含むことが好ましい。

この構成によれば、使用者は、測定履歴を表示部に表示させ、歯垢量の推移を確認することができる。

（６）前記歯垢検知システムにおいて、歯垢検知装置及び映像表示装置を含み、前記歯垢検知装置は、前記撮像部及び抽出部を含み、前記映像表示装置は、前記強調画像生成部及び合成部を含み、前記歯垢検知装置は、前記元画像データ及び歯垢部位の画像データを含む測定データを前記映像表示装置に送信する第１通信部を更に含み、前記映像表示装置は、前記歯垢検知装置から送信された測定データを受信する第２通信部を更に含むことが好ましい。

この構成によれば、歯垢検知装置により口腔内を撮像させ、合成画像データを外部の映像表示装置に表示させることができる。そのため、映像表示装置として、使用者が携帯するスマートフォンを採用した場合、使用者は自身のスマートフォンに合成画像データを表示させ、歯垢の付着している部位を確認することができる。

本発明によれば、使用者は歯列、歯面のどの部位に歯垢が付着しているかを速やかに認識することができる。

本発明の実施の形態１による歯垢検知システムの全体構成図である。 歯垢検知装置の内部構成図である。 歯垢検知装置の動作の一例を示すフローチャートである。 映像表示装置の処理の一例を示すフローチャートである。 被験者の口腔内を示した図である。 部位抽出処理の一例を示すフローチャートである。 合成画像データが選択された場合の映像表示装置の表示画面の一例を示す図である。 付着度算出処理の一例を示すフローチャートである。 実施の形態２による歯垢検知装置の処理の一例を示すフローチャートである。 実施の形態２による映像表示装置４の処理の一例を示すフローチャートである。 歯面部位の画像データが選択された場合の映像表示装置の表示画面の一例を示す図である。 歯垢部位の画像データが選択された場合の映像表示装置の表示画面の一例を示す図である。 測定履歴の表示画面の一例を示す図である。 本発明の実施の形態４における歯垢量の算出手法の一例を示す図である。 本発明の実施の形態１による歯垢検知システムのブロック図である。

（実施の形態１）
図１は、本発明の実施の形態１による歯垢検知システムの全体構成図である。図１に示すように、歯垢検知システムは、歯垢検知装置１及び映像表示装置４を含む。歯垢検知装置１は、外部機器である映像表示装置４と短距離無線通信を介して通信可能に接続されている。なお、歯垢検知装置１の使用者は、歯垢が検知される被験者自身であってもよいし、被験者とは別の第三者であってもよい。第三者としては、例えば、医師や看護師が採用される。短距離無線通信としては、例えば、無線ＬＡＮ（ＩＥＥＥ８０２．１１）やＢｌｕｅｔｏｏｔｈ（登録商標）が採用される。

映像表示装置４は、例えば、スマートフォンにより構成され、歯垢検知装置１から送信された種々のデータを表示する。なお、映像表示装置４としては、短距離無線通信の通信機能を備える装置であればどのような装置を採用してもよく、ボタン式の携帯電話や、パソコンを採用してもよい。また、歯垢検知装置１と映像表示装置４との接続態様としては、短距離無線通信に限定されず、有線のＬＡＮを採用してもよいし、ＵＳＢケーブル等のケーブルで直接接続する態様を採用してもよい。

歯垢検知装置１は、ヘッド部２及び本体部３を含む。本体部３は、使用者によって把持される。ヘッド部２は、本体部３から延設され、本体部３よりも断面積が小さな細長い形状を持つ。ヘッド部２は、口腔内に挿入される口腔挿入部として機能する。

図２は、歯垢検知装置１の内部構成図である。歯垢検知装置１は、カメラ１１（撮像部の一例）、ＬＥＤ１２、情報処理部１３、報知スピーカー１４、報知ＬＥＤ１５、バッテリ１６、及び通信端子１７を含む。

カメラ１１は、ヘッド部２に内蔵され、撮像素子を含む。具体的には、ヘッド部２内には、配線回路が形成された基板２ａが設けられ、カメラ１１は、この基板２ａに設けられた小型カメラモジュールにより構成されている。カメラ１１は、透明な樹脂から構成される窓２ｂを介して口腔内の光を撮像素子で受光し、口腔内を撮像する。このようにしてカメラ１１により撮影された口腔内の画像のデータは、元画像データとして情報処理部１３に入力される。なお、カメラ１１の画角は例えば６本程度の歯が含まれるようなサイズに設定されている。

ＬＥＤ１２は、ヘッド部２に内蔵され、且つ、カメラ１１の周囲に設けられ、窓２ｂを介して口腔内を照射する光源である。ＬＥＤ１２は、カメラ１１と同様、基板２ａに設けられた発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により構成されている。ＬＥＤ１２は、歯垢に含まれる細菌が生成する蛍光物質を発光させる波長帯域の光を発光する。ＬＥＤ１２が発光する光の波長帯域としては、例えば、４０５ｎｍの波長を含む所定幅の波長帯域が採用される。

情報処理部１３は、本体部３に内蔵された電子回路により構成され、カメラ１１から入力される元画像データに基づいて各種の信号処理や情報処理等を行って、歯の表面に付着している歯垢を検知する。

情報処理部１３は、元画像データから歯垢の付着度合いを示す付着度を求め、付着度が規定値以上である場合、報知スピーカー１４及び報知ＬＥＤ１５を駆動させ、歯垢の付着度合いが高いことを使用者に報知する。

報知スピーカー１４は、例えば、小型スピーカーにより構成され、本体部３に内蔵されている。報知スピーカー１４は、情報処理部１３により付着度が規定値以上であると判定された場合、所定の音を発する。

報知ＬＥＤ１５は、例えば、発光ダイオードにより構成され、情報処理部１３により付着度が規定値以上であると判定された場合、点灯する。

バッテリ１６は、例えば、二次電池により構成され、本体部３に内蔵され、歯垢検知装置に電力を供給する。通信端子１７は、カメラ１１により撮像された元画像データや情報処理部１３により処理された種々のデータを無線信号として映像表示装置４に出力する。

図１５は、本発明の実施の形態１による歯垢検知システムのブロック図である。歯垢検知装置１は、カメラ１１、変換部１３１、抽出部１３２、付着度算出部１３３、及び通信部１３４（第１通信部の一例）を含む。

変換部１３１は、カメラ１１により撮像された元画像データをＲＧＢ色空間からＨＳＶ色空間に変換する。

抽出部１３２は、変換部１３１により変換された変換画像データから、色情報に基づいて歯垢部位及び歯面部位を抽出する。付着度算出部１３３は、歯垢部位に対する歯面部位の面積に基づいて付着度を算出する。なお、変換部１３１、抽出部１３２、及び付着度算出部１３３は、情報処理部１３により構成される。

通信部１３４は、短距離無線通信の通信モジュールにより構成され、送信対象のデータを短距離無線通信の通信プロトコルに準拠した通信信号に変換し、映像表示装置４に送信する。また、通信部１３４は、映像表示装置４から送信された通信信号を受信する。なお、通信端子１７は通信部１３４に含まれる。

映像表示装置４は、強調画像生成部４０１、合成部４０２、表示部４０３、履歴管理部４０４、操作部４０５、及び通信部４０６（第２通信部の一例）を含む。強調画像生成部４０１は、抽出部１３２により抽出された歯垢部位を強調した強調画像データを生成する。合成部４０２は、強調画像データを元画像データに合成して合成画像データを生成し、表示部４０３に表示する。

表示部４０３は、液晶パネルにより構成され、合成画像データ等を表示する。履歴管理部４０４は、測定データを測定履歴として図略の内部メモリに保存し、使用者からの操作指示に基づいて、測定履歴を表示部４０３に表示する。

操作部４０５は、例えば、タッチパネルにより構成され、使用者からの操作指示を受け付ける。通信部４０６は、例えば、通信部１３４と同じ通信プロトコルを持つ短距離無線通信の通信モジュールにより構成され、歯垢検知装置１から送信される通信信号を受信すると共に、歯垢検知装置１に通信信号を送信する。

なお、強調画像生成部４０１、合成部４０２、及び履歴管理部４０４は、例えば、ＣＰＵが映像検知システムのアプリを実行することで実現される。

図３は、歯垢検知装置１の動作の一例を示すフローチャートである。なお、図３に示すフローチャートは、情報処理部１３に設けられた電源スイッチ１３ａがオンされることでスタートする。

まず、情報処理部１３は、カメラ１１及び情報処理部１３に設けられた内部メモリ（図示略）を初期化する（Ｓ１）。これにより、カメラ１１が口腔内の撮像を開始する。カメラ１１は動画カメラであるため、ヘッド部２を口腔内において移動させながら口腔内が撮影されることにより、連続的に撮影された元画像データが得られる。カメラ１１により撮影された元画像データは、通信部１３４を介して映像表示装置４に送信され、表示部４０３に動画表示される。

次に、情報処理部１３は、カメラ１１により撮像された１フレームの元画像データを内部メモリに記憶し、１フレームの元画像データをキャプチャする（Ｓ２）。なお、元画像データをキャプチャした回数は、カウンタ（図示略）を用いてカウントされる。

次に、情報処理部１３は、キャプチャした元画像データの枚数が所定回数に到達したか否かを判定する（Ｓ３）。

一方、ステップＳ３において、元画像データが所定回数キャプチャされていないと判定された場合（Ｓ３でＮＯ）、処理がＳ２に戻され、Ｓ２の処理が繰り返される。すなわち、元画像データが所定回数キャプチャされて、口腔内の複数の元画像データが情報処理部１３の内部メモリに記憶される。

Ｓ３において、元画像データが所定回数キャプチャされていると判定された場合（Ｓ３でＹＥＳ）、処理がＳ４に進められる。なお、情報処理部１３は、例えば、１枚の元画像データを２５ミリ秒の間隔でキャプチャすることができ、図３の例では、元画像データが例えば２０回キャプチャされたと判定された場合に、Ｓ３でＹＥＳと判定される。

次に、変換部１３１は、各元画像データ画像に対して画像変換処理を実行する（Ｓ４）。具体的には、変換部１３１は、キャプチャされた元画像データを、ＲＧＢ形式のデータから、ＨＳＶ形式のデータに変換する。ＨＳＶ形式のデータは、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の３つの成分からなる色空間であるＨＳＶ色空間に準じたデータ形式である。変換部１３１は、色相、彩度、及び明度の各成分を例えば０〜２５５の範囲の数値で取り扱う。

ＨＳＶ色空間は、ＲＧＢ色空間とは異なり、明るさのパラメータである明度の成分と、明るさと関連性の低い色相及び彩度の成分とが独立しているため、口腔内の各部位を抽出するのに適している。なお、変換部１３１は、ＲＧＢ色空間からＨＳＶ色空間に変換したが、これは一例であり、明るさのパラメータが独立している色空間であれば、どのような色空間に変換してもよく、例えば、Ｌａｂ色空間や、ＣＭＹＫ色空間に変換してもよい。

次に、抽出部１３２は、図５に示すように、色空間が変換された元画像データ（以下、変換画像データと呼ぶ）から口腔内の各部位を抽出する部位抽出処理を行う（Ｓ５）。

次に、Ｓ５における部位抽出処理を、図６を参照して説明する。図６は、部位抽出処理の一例を示すフローチャートである。まず、抽出部１３２は、色情報の閾値を設定する（Ｓ３０）。ここで、抽出部位としては、図５に示すように、歯面部位Ａ１、歯垢部位Ｂ、及びハイライト部位Ａ２が含まれるため、閾値としては、これら３つの部位のそれぞれの閾値がある。以下、歯面部位Ａ１の閾値を歯面閾値と表し、歯垢部位Ｂの閾値を歯垢閾値と表し、ハイライト部位の閾値をハイライト閾値と表す。また、色情報としては、明度、色相、及び彩度が含まれるため、これら３つの閾値は、明度、色相、及び彩度の３つの成分を持つ。

図５は、被験者の口腔内を示した図である。本実施の形態では口腔内の元画像から歯面部位Ａ１、ハイライト部位Ａ２、及び歯垢部位Ｂを抽出する。歯面部位Ａ１は、歯面部位Ｘからハイライト部位Ａ２を除いた領域である。歯面部位Ｘは歯面部位Ａ１及びハイライト部位Ａ２を含む領域である。歯垢部位Ｂは歯に付着する歯垢の領域である。ハイライト部位Ａ２は、光が強く反射されている領域である。

ここで、抽出部１３２は、図７に示す表示画面を見ながら使用者に閾値を変更させてもよい。この閾値の変更については後述する。次に、抽出部１３２は、変換画像データの各画素データを歯垢閾値と比較して歯垢部位Ｂを抽出する（Ｓ３１）。歯垢閾値としては、例えば、色相は下限値として１５、上限値として２０が採用され、彩度及び明度は下限値として１２８が採用される。したがって、抽出部１３２は、変換画像データにおいて、色相が１５以上、２０以下、且つ、彩度及び明度の双方が１２８以上の領域を歯垢部位Ｂとして抽出する。

次に、抽出部１３２は、変換画像データの各画素データを歯面閾値と比較して、歯面部位Ａ１を抽出する（ステップＳ３２）。歯面閾値としては、例えば、色相は下限値として１０、上限値として６０が採用され、彩度及び明度は下限値として８０が採用される。したがって、抽出部１３２は、変換画像データにおいて、色相が１０以上、６０以下、且つ、彩度及び明度の双方が８０以上の領域を歯面部位Ａ１として抽出する。なお、Ｓ３２では、抽出部１３２は、Ｓ３１で抽出した歯垢部位Ｂを変換画像データから除外して、歯面部位Ａ１を抽出する。

次に、抽出部１３２は、変換画像データの各画素データをハイライト閾値と比較して、ハイライト部位Ａ２を抽出する（Ｓ３３）。ハイライト部位Ａ２は、歯面部位Ａ１と同時に抽出することは困難であるため、図６の例では、ハイライト部位Ａ２を歯面部位Ａ１とは別に抽出している。

ハイライト閾値としては、例えば、色相は規定されておらず、彩度は上限値として８０、明度は下限値として２００が採用されている。したがって、抽出部１３２は、変換画像データにおいて、色相は無視し、彩度が８０以下、且つ、明度が２００以上の領域をハイライト部位Ａ２として抽出する。なお、Ｓ３３では、抽出部１３２は、Ｓ３１で抽出された歯垢部位Ｂ及びＳ３２で抽出された歯面部位Ａ１を変換画像データから除外して、ハイライト部位Ａ２を抽出する。

そして、歯面部位Ａ１及びハイライト部位Ａ２が歯面部位Ｘとして抽出される。すなわち、ハイライト部位Ａ２も歯面部位Ｘの一部として抽出される。このように、抽出部１３２は、色変換画像データの明度、彩度、及び色相を、歯面閾値、歯垢閾値、及びハイライト閾値とそれぞれ比較して歯垢部位Ｂ及び歯面部位Ｘを抽出する。

抽出部１３２は、Ｓ２でキャプチャされた全ての元画像データのそれぞれに対して、図６の処理を実行すると、図３のＳ５の処理を終了し、処理をＳ６に進める。

なお、抽出部１３２は、元画像データの被写界深度の範囲内において、歯面部位Ｘと歯垢部位Ｂとを抽出する。よって、元画像データにおいて、ピントが合っていない領域からは歯垢部位Ｂや歯面部位Ｘを抽出することが困難である。そのため、抽出部１３２は、元画像データにおいて、ピントが合っていない領域は、処理対象から除外してもよい。なお、ピントが合っていない領域はピントが合っている領域に比べて空間周波数が低いため、抽出部１３２は、元画像データに対してフーリエ変換を行い、所定周波数以下の領域をピントが合っていない領域として抽出すればよい。

Ｓ６において、付着度算出部１３３は、付着度算出処理を実行する。図８は、付着度算出処理の一例を示すフローチャートである。

まず、付着度算出部１３３は、歯面部位Ｘの面積を算出する（ステップＳ４１）。次に、付着度算出部１３３は、歯垢部位Ｂの面積を算出する（ステップＳ４２）。歯面部位Ｘの面積は、その歯面部位Ｘが抽出された変換画像データにおいて歯面部位Ｘを構成する画素数がカウントされることによって算出される。同様に、歯垢部位Ｂの面積は、その歯垢部位Ｂが抽出された変換画像データにおいて歯垢部位Ｂを構成する画素数がカウントされることによって算出される。

付着度算出部１３３は、Ｓ２でキャプチャされた複数の元画像データのそれぞれに対して、Ｓ４１、Ｓ４２の処理を実行し、歯面部位Ｘ、歯垢部位Ｂの面積を算出する。

次に、付着度算出部１３３は、歯面部位Ｘに対する歯垢部位Ｂの面積比率Ｒを付着度として算出する（Ｓ４３）。具体的には、付着度算出部１３３は、Ｓ４１で算出した各元画像データの歯面部位Ｘの面積の総和と、Ｓ４２で算出した各元画像データの歯垢部位Ｂの面積の総和を求め、歯面部位Ｘの面積の総和に対する歯垢部位Ｂの面積の総和を算出し、歯面部位Ｘに対する歯垢部位Ｂの面積比率Ｒを算出すればよい。

図３に戻り、通信部１３４は、映像表示装置４と短距離無線通信の接続を行う（Ｓ７）。次に、通信部１３４は、映像表示装置４において、歯垢検知システムのアプリが起動しているか否かを確認し（Ｓ８）、アプリが起動していなければ（Ｓ８でＮＯ）、再度、短距離無線通信の接続を行う（Ｓ７）。一方、通信部１３４は、映像表示装置４においてアプリが起動されている場合（Ｓ８でＹＥＳ）、映像表示装置４に測定データを送信する。測定データとしては、元画像データ、歯面部位Ｘの画像データ、歯垢部位Ｂの画像データ、及び付着度が含まれる。Ｓ９の処理が終了すると、処理がＳ２に戻され、一連の処理が繰り返される。

図４は、映像表示装置４の処理の一例を示すフローチャートである。まず、映像表示装置４は、内部メモリ（図示略）の初期化の有無を確認する（Ｓ１１）。初期化が行われる場合、過去に蓄積された測定データが消去され、初期化が行われない場合、過去に蓄積され測定データが消去されない。なお、映像表示装置４は、例えば、使用者により初期化の指示が操作部４０５を用いて行われた場合、内部メモリを初期化すればよい。次に、通信部４０６は、歯垢検知装置１から送信される通信信号の受信の待ち受け状態になる（Ｓ１２）。次に、通信部４０６は、歯垢検知装置１から測定データを受信する（Ｓ１３）。

次に、強調画像生成部４０１は、図７に示す生画像ボタン７０２又は歯垢画像ボタン７０４が押されると、Ｓ１３で受信された測定データの中から歯垢部位Ｂの画像データを選択する（Ｓ１４）。

次に、強調画像生成部４０１は、Ｓ１３で受信された各歯垢部位Ｂの画像データに対し、歯垢部位Ｂが強調表示された強調画像データを生成する（ステップＳ１５）。具体的には、強調画像生成部４０１は、歯垢部位Ｂが歯面部位Ｘ及び歯茎と明確に区別されるように歯面部位Ｘ及び歯茎とは異なる色（例えば赤色）を設定し、歯垢部位Ｂが強調された強調画像データを生成する。

ここで、強調画像生成部４０１は、歯垢部位Ｂの画像データの明度から歯垢量を求め、明度が低ければ歯垢量が高いと判定し、赤色で強調表示し、明度が高ければ歯垢量が低いと判定し、オレンジで強調表示すればよい。具体的には、強調画像生成部４０１は、ある１枚の歯垢部位Ｂの画像データにおいて歯垢部位Ｂの画素数をカウントし、各画素の明度の総和をカウントした画素数で割って当該画像データの明度平均値を求める。そして、強調画像生成部４０１は、明度平均値が低くなるにつれて赤の度合いを強くし、明度平均値が高くなるにつれてオレンジの度合いが強くなるように、当該画像データの歯垢部位Ｂに付する色を設定すればよい。

次に、強調画像生成部４０１は、各強調画像データに対して、歯垢部位Ｂ以外の領域を透明に設定し、歯垢部位Ｂの背景を透明化する（Ｓ１６）。

これにより、歯垢部位Ｂのみが歯垢量に応じて強調表示された強調画像データが生成される。次に、合成部４０２は、強調画像データを、その強調画像データに対応する元画像データに合成して合成画像データを生成し、合成画像データを時系列で表示部４０３に表示する（Ｓ１７）。これにより、合成画像データが表示部４０３に動画表示される。

この場合、表示部４０３には、図７に示すように、元画像データに歯垢部位Ｂが重畳して表示された合成画像データが表示される。そのため、使用者は歯のどの位置に歯垢が付着しているかを速やかに認識することができる。

次に、通信部４０６により通信信号が受信されていなければ（Ｓ１８でＮＯ）、合成部４０２は、合成画像データの動画表示を停止させる（ステップＳ１９）。一方、通信部４０６により通信信号が受信されていれば（Ｓ１８でＹＥＳ）、処理をＳ２０に進める。

次に、操作部４０５が使用者からアプリの終了指示を受け付けると（Ｓ２０でＹＥＳ）、映像表示装置４は、アプリを終了させる。一方、操作部４０５が終了指示を受け付けなければ（Ｓ２０でＮＯ）、映像表示装置４は、処理をＳ１２に戻し、動画表示を継続させる。

なお、Ｓ１４において、使用者により図７に示す歯画像ボタン７０３が押されると、強調画像生成部４０１は、Ｓ１３で受信された測定データの中から歯面部位Ｘの画像データを選択する。そして、強調画像生成部４０１は、全ての歯面部位Ｘの画像データに対して歯面部位Ｘに予め定められた白色を設定する。そして、合成部４０２は、歯面部位Ｘの画像データを時系列で表示部４０３に表示する。これにより、表示部４０３には、歯面部位Ｘの画像データが動画表示される。

次に、図７、図１１、図１２を用いて映像表示装置４に表示される画像について説明する。図７は、合成画像データが選択された場合の映像表示装置４の表示画面の一例である。図１１は、歯面部位Ｘの画像データが選択された場合の映像表示装置４の表示画面の一例を示す図である。図１２は、歯垢部位Ｂの画像データが選択された場合の映像表示装置４の表示画面の一例を示す図である。

図７に示すように表示画面には、画像表示部７０１が含まれている。画像表示部７０１は合成画像データ等を表示する。画像表示部７０１の下側には、生画像ボタン７０２、歯画像ボタン７０３、及び歯垢画像ボタン７０４が表示されている。これらのボタンは操作部４０５を構成する。

生画像ボタン７０２は、合成画像データを表示させるためのボタンである。歯画像ボタン７０３は、歯面部位Ｘの画像データを表示させるためのボタンである。歯垢画像ボタン７０４は、歯垢部位Ｂの画像データを表示させるためのボタンである。

これにより、使用者は、合成画像データ、歯面部位Ｘの画像データ、及び歯垢部位Ｂの画像データの中から見たい画像データを選択することができる。

図７に示すように、元画像データにおいて歯垢部位Ｂが、歯及び歯茎等の他の部位とは異なる色で強調表示されている。歯画像ボタン７０３が使用者により押されると、図１１に示すように歯面部位Ｘのみが白一色で表示された歯面部位Ｘの画像データが画像表示部７０１に表示される。

歯垢画像ボタン７０４が使用者により押されると、図１２に示すように歯垢部位Ｂが強調表示された画像データが画像表示部７０１に表示される。

映像表示装置４の表示画像には、更に、色相設定部７０５、彩度設定部７０６、明度設定部７０７、及び上下ボタン７０８が表示されている。色相設定部７０５〜明度設定部７０７はそれぞれ下限値表示部７０９及び上限値表示部７１０を含む。なお、色相設定部７０５〜上限値表示部７１０は操作部４０５を構成する。

使用者は、歯垢部位Ｂ、歯面部位Ｘの閾値を任意に設定することができる。歯垢部位Ｂの閾値を設定する場合、使用者は、まず、生画像ボタン７０２又は歯垢画像ボタン７０４を押し、合成画像データ又は歯垢部位Ｂの画像データを表示させる。

次に、使用者は、色相設定部７０５、彩度設定部７０６、及び明度設定部７０７のうち、設定を希望する項目の下限値表示部７０９又は上限値表示部７１０をタッチしてアクティブ状態にする。なお、下限値表示部７０９又は上限値表示部７１０がアクティブ状態にされると、画像表示部７０１に表示されていた動画像が停止される。そして、上限値表示部７１０の右側に表示された上下ボタン７０８を押すことにより、希望する項目の上限値又は下限値を設定することができる。

例えば、色相の上限値を変更する場合、使用者は色相設定部７０５の上限値表示部７１０にタッチして、上限値表示部７１０をアクティブ状態にする。アクティブ状態になると、数値の背景の色が他の上限値表示部７１０及び下限値表示部７０９と異なる色に表示され、使用者はタッチした上限値表示部７１０がアクティブ状態になっていることを認識することができる。

次に、使用者により上下ボタン７０８のアップボタン７０８１が押されると、その都度、上限値表示部７１０の数値が所定値（例えば１）増大する。一方、使用者によりダウンボタン７０８２が押されると、その都度、上限値表示部７１０の数値が所定値（例えば１）減少する。

閾値が変更される都度、画像表示部７０１には変更後の閾値を用いて抽出された歯垢部位Ｂが表示される。そのため、画像表示部７０１に表示された画像を見ながら、使用者は適切な閾値を設定することができる。

具体的には、強調画像生成部４０１は、閾値が変更されると、画像表示部７０１に静止表示されている元画像データをＨＳＶ色空間に変換し、変換画像データに対して、変更後の閾値を用いて歯垢部位Ｂを抽出する。歯垢部位Ｂの抽出手法は、上述の抽出部１３２の手法と同じ手法である。そして、強調画像生成部４０１は、抽出した歯垢部位Ｂに明度に応じた色を設定し、強調画像データを生成する。そして、合成部４０２は、強調画像データを対応する元画像データに合成し、表示部４０３に表示させる。

なお、彩度及び明度についても色相と同様にして、使用者は閾値の上限値及び下限値を設定する。

また、歯面部位Ｘの閾値を設定する場合、使用者は歯画像ボタン７０３を押し、図１１に示す歯面部位Ｘの画像データを画像表示部７０１に表示させる。以後、上述した歯垢部位Ｂの閾値を設定した場合と同じ操作を行って、使用者は歯面部位Ｘの閾値を設定することができる。

歯垢や歯面の色は個人差がある。そのため、使用者に閾値をカスタマイズさせ、使用者に適した閾値を設定し、歯垢部位Ｂ及び歯面部位Ｘを抽出精度を高めることができる。

（実施の形態２）
実施の形態１では、図４のステップＳ１７において、元画像データと強調画像データとを合成したが、実施の形態２では、合成部４０２は、元画像データと強調画像データとを高速に切り替えて表示することで、あたかも元画像データと強調画像データとが合成されたように表示させる。

また、実施の形態１では、図３のＳ５の部位抽出処理及びＳ６の付着度算出処理が歯垢検知装置１により実行されていたが、実施の形態２では映像表示装置４が実行する。なお、実施の形態２において実施の形態１と同じものは説明を省く。また、実施の形態２では、抽出部１３２及び付着度算出部１３３は、映像表示装置４に設けられている。

図９は、実施の形態２による歯垢検知装置１の処理の一例を示すフローチャートである。Ｓ９１〜Ｓ９４の処理は図３のＳ１〜Ｓ４と同じである。Ｓ９４の画像変換処理が終了すると、実施の形態１のように部位抽出処理（Ｓ５）及び付着度算出処理（Ｓ６）がスルーされ、処理がＳ９５に進められる。

Ｓ９５、Ｓ９６は図３のＳ７、Ｓ８と同じである。図９の例では、歯垢部位Ｂ及び歯面部位Ｘの抽出処理及び付着度算出処理は映像表示装置４で行われるため、Ｓ９７では、測定データとして元画像データ、元画像データをＨＳＢ色空間に変換した変換画像データ、及び付着度が送信されている。

図１０は、実施の形態２による映像表示装置４の処理の一例を示すフローチャートである。Ｓ１０１、Ｓ１０２は図４のＳ１１、Ｓ１２と同じである。Ｓ１０３では、測定データとして元画像データ、変換画像データ、及び付着度が受信されている。

次に、映像表示装置４に設けられた抽出部が、図３のＳ５と同様、変換画像データに対して部位抽出処理を行う（Ｓ１０４）。次に、映像表示装置４に設けられた付着度算出部が、図３のＳ６と同様、付着度算出処理を行う（Ｓ１０５）。

Ｓ１０６〜Ｓ１０８の処理は、図４のＳ１４〜Ｓ１７と同じである。次に、合成部４０２は、強調画像データを表示部４０３に表示する（Ｓ１０９）。次に、合成部４０２は、元画像データを表示部４０３に表示する（Ｓ１１０）。次に、合成部４０２は、Ｓ１０３で受信された全ての測定データに対して、強調画像データと元画像データとを繰り返して表示する処理が終了していない場合（Ｓ１１１でＮＯ）、処理をＳ１０９に戻す。一方、合成部４０２は、Ｓ１０３で受信された全ての測定データに対して、強調画像データと元画像データとを繰り返して表示する処理が終了した場合（Ｓ１１１でＹＥＳ）、処理をＳ１１２に進める。Ｓ１０９、Ｓ１１０で強調画像データ及び元画像データを繰り返し表示することで、元画像データに強調画像データがあたかも合成されたように表示される。Ｓ１１２、Ｓ１１３、Ｓ１１４の処理は図４のＳ１８、Ｓ１９、Ｓ２０と同じである。

実施の形態２では、抽出部及び付着度算出部が映像表示装置４に設けられているため、歯垢検知装置１の処理負担を削減することができる。

（実施の形態３）
実施の形態３では、図４のＳ１１で内部メモリの初期化を行わず、歯垢検知装置１が過去に測定した測定データ等を測定履歴として映像表示装置４に保存させておくことを特徴とする。なお、実施の形態３において、実施の形態１、２と同じものは説明を省く。

図１５において、履歴管理部４０４は、歯垢検知装置１から送信された測定データ、強調画像生成部４０１により生成された強調画像データ、及び合成部４０２により生成された合成画像データを測定日時と対応付け、測定履歴として内部メモリ（図略）に保存する。そして、履歴管理部４０４は、使用者からの操作指示に基づいて、測定履歴を表示部４０３に表示させる。

図１３は、測定履歴の表示画面の一例を示す図である。図１３の例では、付着度の推移を示すグラフ１３０１が表示されている。グラフ１３０１において、縦軸は付着度を示し、横軸は測定日時を示す。グラフ１３０１にプロットされた測定点１３０４は、測定日時に対応する付着度を示す。

使用者はグラフ１３０１を参照することで、現在の付着度と過去の付着度とを比較し、歯垢の付着度の推移を容易に確認することができる。

グラフ１３０１の下側には、１週間ボタン１３０２及び一ヶ月ボタン１３０３が表示させている。使用者により１週間ボタン１３０２がタッチされると、履歴管理部４０４は、過去１週間分の付着度の推移を示すグラフ１３０１を表示する。使用者により一ヶ月ボタン１３０３がタッチされると、履歴管理部４０４は、過去一ヶ月分のグラフ１３０１を表示する。１週間ボタン１３０２及び一ヶ月ボタン１３０３を設けることで、使用者は過去にさかのぼって表示させる付着度を自由に選ぶことができる。

使用者により測定点１３０４がタッチされると、履歴管理部４０４は、測定点１３０４における合成画像データを表示部４０３に表示させる。この場合、履歴管理部４０４は、測定点１３０４における合成画像データの全フレームを内部メモリに保存させているのであれば、測定点１３０４における合成画像データを動画表示すればよい。一方、履歴管理部４０４は測定点１３０４における代表的な１又は複数枚の合成画像データを内部メモリに保存させているのであれば、代表的な合成画像データの静止画像を表示部４０３に表示すればよい。

また、合成画像データの表示画面には図７に示すように、生画像ボタン７０２、歯画像ボタン７０３、及び歯垢画像ボタン７０４が設けられている。使用者により歯画像ボタン７０３がタッチされると、履歴管理部４０４は、測定点１３０４における歯面部位Ｘの画像データを表示部４０３に表示させる。また、使用者により歯垢画像ボタン７０４がタッチされると、履歴管理部４０４は、測定点１３０４における強調画像データを表示部４０３に表示させる。なお、履歴管理部４０４は、歯垢部位Ｂの画像データ及び強調画像データも合成画像データと同様、動画表示してもよし、代表的な画像データの静止画像を表示してもよい。

このように、測定点１３０４における合成画像データ、歯面部位Ｘの画像データ、及び歯垢部位Ｂの画像データを表示部４０３に表示することで、使用者は測定点１３０４においてどの部位に歯垢が多く付着していたのかを速やかに確認することができる。

（実施の形態４）
実施の形態１では、歯垢部位Ｂの明度に基づいて歯垢量を求めたが、実施の形態４では、歯垢部位Ｂの明度から歯垢部位Ｂの反射光量を求め、反射光量に基づいて歯垢量を求める。

図１４は、実施の形態４における歯垢量の算出手法の一例を示す図であり、（ａ）は歯垢部位の面積がＳ１の場合を示し、（ｂ）は歯垢部位の面積がＳ２の場合を示し、（ｃ）は歯垢部位の面積がＳ３の場合を示す。

まず、強調画像生成部４０１は、基準となる歯垢部位Ｂ０（図略）の面積Ｓ０（図略）と、歯垢部位Ｂ０を予め定められた照射光量Ｌ０で照射したときの明度Ｍ０とを基準データとして設定する。照射光量Ｌ０としては、例えば、ＬＥＤ１２の照射光量に応じた値が採用される。明度Ｍ０としては、例えば、歯垢部位Ｂ０を構成する画素の明度の平均値が採用される。

強調画像生成部４０１は、面積Ｓ０及び明度Ｍ０を予め記憶しておいてもよい。また、歯垢検知装置１から送信された１枚の歯垢部位Ｂの画像データに複数の歯垢部位Ｂが含まれている場合は、いずれか１つ（例えば面積が最小）の歯垢部位ＢＸを基準として設定し、その歯垢部位ＢＸの面積ＳＸ、明度ＭＸを基準データとして設定すればよい。

なお、強調画像生成部４０１は、１枚の歯垢部位Ｂの画像データにおいて、歯垢部位Ｂを示す画素が連続して存在している領域を１つの歯垢部位ＢＸとして特定すればよい。また、明度ＭＸとしては、歯垢部位ＢＸを構成する画素の明度の平均値を採用すればよい。これにより、歯垢部位ＢＸ毎に歯垢量に応じて強調表示された歯垢部位Ｂの画像データが得られる。

図１４（ａ）の例では、歯垢部位ＢＸの面積Ｓ１は面積Ｓ０とほぼ等しく、歯垢部位ＢＸの明度がＭ１である。そのため、強調画像生成部４０１は、Ｌ１＝Ｌ０×Ｍ０／Ｍ１により反射光量Ｌ１を求める。

図１４（ｂ）の例では、歯垢部位ＢＸの面積Ｓ２は面積Ｓ０とほぼ等しいが、歯垢部位ＢＸの明度がＭ２であった。そのため、強調画像生成部４０１は、Ｌ２＝Ｌ０×Ｍ０／Ｍ２により反射光量Ｌ１を求める。

図１４（ｃ）の例では、歯垢部位ＢＸの面積Ｓ３は面積Ｓ０よりも大きい。そのため、強調画像生成部４０１は、Ｌ３＝Ｌ０×Ｓ３／Ｓ１により反射光量Ｌ３を求める。

そして、強調画像生成部４０１は、反射光量Ｌ１、Ｌ２、Ｌ３に基づいて歯垢量を算出し、歯垢量が高いほど赤の度合いが高く、歯垢量が低いほどオレンジの度合いが高くなるように歯垢部位ＢＸを強調表示すればよい。なお、歯垢量は、反射光量Ｌ１、Ｌ２、Ｌ３が増大するにつれて小さく設定される。

本発明は、歯垢を強調した画像が口腔内の画像に重畳して表示されるため、歯をケアする機器にとって有用である。

１ 歯垢検知装置
４ 映像表示装置
１１ カメラ
１３１ 変換部
１３２ 抽出部
１３３ 付着度算出部
１３４ 通信部
４０１ 強調画像生成部
４０２ 合成部
４０３ 表示部
４０４ 履歴管理部
４０５ 操作部
４０６ 通信部

Claims (7)

1. 口腔内を撮像する撮像部と、
   前記撮像部により撮像された元画像データから、色情報に基づいて歯垢部位を抽出する抽出部と、
   前記抽出部により抽出された歯垢部位を強調した強調画像データを生成する強調画像生成部と、
   前記強調画像データを前記元画像データに合成して合成画像データを生成し、表示部に表示する合成部とを含む歯垢検知システム。
2. 前記抽出部は、色情報を閾値と比較することで前記歯垢部位を抽出し、
   使用者からの操作指示に基づいて、前記閾値を調整する操作部を更に含む請求項１記載の歯垢検知システム。
3. 前記強調画像生成部は、前記歯垢部位の明度に基づいて歯垢量を求め、歯垢量に応じた色を前記歯垢部位に設定する請求項１又は２記載の歯垢検知システム。
4. 前記強調画像生成部は、前記歯垢部位を照射する光の照射光量と前記歯垢部位の明度とに基づいて、前記歯垢部位の反射光量を求め、求めた反射光量に基づいて前記歯垢量を算出する請求項３記載の歯垢検知システム。
5. 前記抽出部は、前記色情報に基づいて歯面部位を更に抽出し、
   前記歯面部位及び前記歯垢部位の面積に基づいて歯垢の付着度を算出する付着度算出部を更に備え、
   前記合成画像データ及び付着度を測定履歴として保持し、使用者からの操作指示に基づいて、測定履歴を前記表示部に表示する履歴管理部を更に含む請求項１〜４のいずれかに記載の歯垢検知システム。
6. 前記歯垢検知システムは、歯垢検知装置及び映像表示装置を含み、
   前記歯垢検知装置は、前記撮像部及び抽出部を含み、
   前記映像表示装置は、前記強調画像生成部及び合成部を含み、
   前記歯垢検知装置は、前記元画像データ及び歯垢部位の画像データを含む測定データを前記映像表示装置に送信する第１通信部を更に含み、
   前記映像表示装置は、前記歯垢検知装置から送信された測定データを受信する第２通信部を更に含む請求項１〜５のいずれかに記載の歯垢検知システム。
7. 歯を含む元画像を撮像する撮像ステップと、
   前記元画像から、色情報に基づいて歯垢部位を抽出する抽出ステップと、
   前記抽出部により抽出された歯垢部位を強調した強調画像を生成する強調画像生成ステップと、
   前記強調画像を表示部に表示させる表示ステップとを含む歯垢検知方法。

Images