JP6741688B2 - ユーザにフィードバックを供給するためにホール効果センサを用いてユーザの動作特性を抽出するための方法及びシステム - Google Patents

Description

本発明は、概して、口腔衛生装置、特に、抽出された特性に基づいてフィードバックがユーザに提供され得るように、ユーザのブラッシング動作特性を抽出することができる少なくとも１つのセンサを含む口腔衛生装置に関する。また、本発明は、カメラベースのシステムを使用してユーザのブラッシング動作特性を分析して、取得された画像からブラッシング動作特性を抽出し、抽出された特性に基づいてユーザにフィードバックを提供するシステム及び方法に関する。

正しい口腔衛生は重要であるが、口腔衛生技術を修正することはしばしば困難である。この問題に対する１つの解決法は、歯科医などの口腔衛生専門家の存在下で個人が口腔衛生技術を実証し、口腔衛生専門家がその個人によって行なわれた誤りを訂正することである。しかしながら、口腔衛生専門家の存在下で実際の口腔衛生技術を行なえないという事実だけでなく、修正された全ての側面を個人が覚えていない可能性があるため、これには固有の欠陥がある。さらに、時間が経つにつれて、個人の口腔衛生技術は以前の不正確なやり方及び／又は新しい誤ったスタイルに回帰することがある、あるいは、個人は新しい不正確な技術を開発する可能性がある。

そのような問題に対する１つの提案された解決策は、正しい口腔衛生技術を行なうことが、ゲームに勝利する個人によって報われる一方、誤った口腔衛生技術はゲームを失うことにつながる「ゲーム」を作り出すことである。この概念は子供用に向いているかもしれないが、大人にとってはしばしば非実用的であり効果的ではない。さらに、ゲームをすることは、ゲームが行なわれている間に口腔衛生技術を矯正するのに役立つだけであり、口腔衛生技術全体がどのように改善しているか、正しい技術から離れすぎているかを見ることはできない。さらに、このような口腔衛生ゲームは、一般に運搬可能ではなく、従って、口腔衛生ケアの有効性に関するリアルタイムのフィードバックを個人に提供することができない。

従って、本発明の目的は、口腔衛生装置を操作するユーザの動作特性を抽出し、その技術の有効性に関してユーザにフィードバックを供給することができる電子式歯ブラシなどの口腔衛生装置を提供することである。この目的は、口腔衛生装置内に含まれる少なくとも１つのセンサ又は少なくとも１つの画像キャプチャコンポーネントから取得されるデータに基づいて、口腔衛生装置の動作特性を分析し、口腔衛生装置の動作の有効性をユーザに知らせるためのフィードバックを供給することによって、本発明に従って達成される。さらに、本発明の他の目的は、口腔衛生装置を操作するユーザの動作特性を検出することができるユーザ装置を提供することである。ユーザ装置は、さらに、口腔衛生装置を操作するユーザの動作特性を抽出し、ユーザにフィードバックを提供するように動作可能である。

第１の例示的な実施形態では、少なくとも１つのセンサを含む口腔衛生装置を操作するユーザにフィードバックを供給する方法が提供される。一実施形態では、口腔衛生装置の少なくとも１つのセンサによって取得されたデータが受信される。次いで、取得されたデータは、ユーザによって操作される口腔衛生装置の動作の質を決定するために分析される。決定された動作の質に基づいてフィードバックがユーザに供給される。

第２の例示的な実施形態では、口腔衛生装置が提供される。一実施形態では、口腔衛生装置は、動力駆動システムと、アタッチメントアセンブリと、アタッチメントアセンブリに結合された駆動トレインアセンブリと、磁場を生成するように動作可能な磁石と、磁石によって生成される磁場内に取り付けられた少なくとも１つのセンサと、少なくとも１つのプロセッサと、を含んだハンドルを有する。少なくとも１つのプロセッサは、少なくとも１つのセンサからデータを取得するように動作可能である。データは、少なくとも１つのセンサに対する磁場の変形に対応し、当該変形は、口腔衛生装置を操作しているユーザの関心領域と相互作用しながら外力が加えられるアタッチメントアセンブリに応じて生じる。

第３の例示的な実施形態では、口腔衛生装置を操作しながらユーザの有効性を高める方法が提供される。一実施形態では、少なくとも１つの画像が画像キャプチャコンポーネントから取り込まれる。次いで、口腔衛生装置を操作するための関心領域が、少なくとも１つのキャプチャされた画像に基づいて決定される。決定された関心領域に基づいて、ユーザによって操作される口腔衛生装置の動作に対応する特性が抽出される。次いで、ユーザによって操作される口腔衛生装置の動作に対応する抽出された特性が、口腔衛生装置の動作の質を決定するために分析される。口腔衛生装置の動作の決定された質に関するフィードバックがユーザに供給される。

第４の例示的な実施形態では、口腔衛生装置を操作するための有効性を高める際にユーザを助けるためのユーザ装置が提供される。ユーザ装置は、少なくとも１つの画像キャプチャコンポーネント、ディスプレイスクリーン、通信回路、メモリ、及び、少なくとも１つのプロセッサを含む。少なくとも１つのプロセッサは、少なくとも１つの画像キャプチャコンポーネントを使用して口腔衛生装置を操作するユーザの少なくとも２つの画像をキャプチャするように動作可能である。ユーザが関心領域内の口腔衛生装置を操作していることの検出に応答して、口腔衛生装置の動作情報が少なくとも２つのキャプチャされた画像から抽出される。次いで、抽出された動作情報を、ユーザ装置上のメモリに格納された口腔衛生装置の所定の目標動作と比較することによって、ユーザによって操作された口腔衛生装置の抽出された動作情報が分析される。この比較は、口腔衛生装置の抽出された動作の質を決定する。次いで、口腔衛生装置を操作するユーザにフィードバックが供給され、ここで供給されるフィードバックには、抽出された動作情報の質が含まれる。

本発明の上記特徴及び他の特徴、その性質及び様々な利点が、添付図面と併せて以下の詳細な説明を検討することにより、より明らかになるであろう。
図１Ａは、様々な実施形態に係る少なくとも１つのセンサを含んだ口腔衛生装置１０の例示的な図である。 図１Ｂは、様々な実施形態に係る口腔衛生装置１０の例示的な図である。 図１Ｃは、様々な実施形態に係る口腔衛生装置１０及びユーザ装置１５０の説明図である。 図２は、様々な実施形態に係るユーザインタフェース２００の説明図である。 図３Ａは、様々な実施形態に係るユーザインタフェース３００の説明図である。 図３Ｂは、様々な実施形態に係るユーザインタフェース３００´の説明図である。 図４は、様々な実施形態に係るユーザインタフェース４００の説明図である。 図５は、様々な実施形態に係るプロセス５００を説明するフローチャートである。 図６は、様々な実施形態に係るユーザ装置１５０及び口腔衛生装置１０を含んだシステム２の説明図である。 図７は、様々な実施形態に係るユーザ装置１５０を説明するブロック図である。 図８は、様々な実施形態に係るユーザのイメージ８００の説明図である。 図９Ａは、様々な実施形態に係る装置１０の位置変化を説明する説明図である。 図９Ｂは、様々な実施形態に係る装置１０の位置変化を説明する説明図である。 図１０は、様々な実施形態に係るピクセル位置及びフレームにおける変化に基づいて装置１０の位置変化について説明する図である。 図１１は、様々な実施形態に係る装置１０と基準オブジェクトとの間の位置ベクトルにおける変化に基づいて装置１０の位置変化を説明する図である。 図１２は、様々な実施形態に係るキャプチャイメージの重心における変化に基づいて装置１０の位置変化を説明する図である。 図１３は、様々な実施形態に係る様々なユーザインタフェースの説明図である。 図１４は、様々な実施形態に係るプロセス１１００を説明するフローチャートである。

本発明は、様々な構成要素、構成要素の配置、様々な技術、方法又は手順、並びに、ステップの構成の形態をとることができる。参照される図面は、例示される実施形態の目的のためのみであり、本発明を限定するものとして解釈されるべきではない。以下に、互いに独立して、又は、他の特徴と組み合わせて使用することができる様々な発明的特徴を説明する。さらに、本明細書で使用されるように、単数形の「ａ」、「ａｎ」、及び、「ｔｈｅ」は、文脈上他に明確に指示されない限り、複数の参照を含む。

図１Ａは、様々な実施形態に係る少なくとも１つのセンサを含む口腔衛生装置１０の説明図である。口腔衛生装置１０は、バッテリ及び電子機器キャリア（例えば、プリント回路基板又はＰＣＢ）を含む電力システム１４によって共鳴駆動される駆動トレインアセンブリ１２を収容する筐体１８を含む。口腔衛生装置１０は、さらに、電力システム１４のための駆動信号を生成するマイクロプロセッサ制御装置１５を有するプリント回路基板を含む。駆動トレインアセンブリ１２から駆動ステム２３に取り外し可能に固定されているのは、アタッチメントアセンブリ２０であり、その先端部にはブラシ部材２１がある。駆動トレインアセンブリ１２の後端には磁石３０があり、口腔衛生装置１０内には少なくとも１つのセンサ３２も取り付けられている。例示的な一実施形態では、少なくとも１つのセンサ３２は、ホール効果センサである。少なくとも１つのホール効果センサを含む口腔衛生装置のより詳細な説明は、共通の譲受人に譲渡された国際公開第２０１４／０３７８５６号に見ることができ、その全体が参照により本明細書に組み込まれる。

一実施形態では、センサ３２は、筐体１８内の磁場の強度を測定することができるホール効果センサである。磁場は、磁石３０によって生成されることができる。例示的な実施形態におけるホール効果センサの適用は、ホール効果センサに対する磁界強度を測定する。外部荷重又は外力がアタッチメントアセンブリ２０に加えられると、筐体１８内の磁場の変形が生じる。この変形は、センサ３２を介して測定され、アタッチメントアセンブリ２０に加えられる力の量に関する情報を提供することができる。

一実施形態では、少なくとも１つのセンサ３２は、力センサである。力センサは、ホール効果センサの代わりに、及び／又は、ホール効果センサと組み合わせて含まれてもよい。力センサは、アタッチメントアセンブリ２０に加えられる力の量に対応する情報を口腔衛生装置１０から抽出することを可能にする。しかしながら、一実施形態では、アタッチメントアセンブリ２０に加えられる力の量は、ホール効果センサから抽出されてもよい。例えば、アタッチメントアセンブリ２０に加えられる力は、一実施形態では、ローレンツ力の法則を用いて得ることができる。

図１Ｂは、様々な実施形態に係る口腔衛生装置１０の説明図である。例示された実施形態では、口腔衛生装置１０は、筐体１８内に配置された追加の構成要素を含む。

例示された非限定的な実施形態では、口腔衛生装置１０は、１又は複数のプロセッサ１０２、メモリ１０６、通信回路１０８、及び、入出力インタフェース１１０を含む。これらの構成要素は、マイクロプロセッサ制御装置１５上に配置されてもよく、筐体１８内の他の場所に配置されてもよい。プロセッサ１０２は、口腔衛生装置１０の動作及び機能を制御することができる１又は複数のプロセッサなどの任意の処理回路を含むことができる。一実施形態では、プロセッサ１０２は、装置１０内の様々なコンポーネント（例えば、センサ３２と通信回路１０８との）間の通信を容易にする。

メモリ１０６は、一実施形態では、１又は複数の記憶媒体を含む。様々なタイプの記憶媒体には、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、永久メモリ（例えばＲＯＭ）、又は、他の記憶タイプ、あるいは、それらの任意の組み合わせが含まれるが、これらに限定されない。写真、音楽ファイル、ビデオ、連絡先情報、アプリケーション、文書、又は、その他のファイル、あるいは、それらの任意の組み合わせなど、任意の形式のデータ又はコンテンツがメモリ１０６内に格納されてもよい。メモリ１０６は、また、一実施形態では、キャッシュメモリ、半永久的メモリ（例えば、ＲＡＭ）、又は、任意の他のメモリタイプ、あるいは、それらの任意の組み合わせを含む。一実施形態では、口腔衛生装置１０にデータを格納するための外部記憶装置の代わりに、及び／又は、外部記憶装置に加えて、メモリ１０６を使用することができる。

一実施形態では、通信回路１０８は、通信ネットワークに接続し、及び／又は、１又は複数の追加のユーザ装置及び／又はサーバに通信（音声及び／又はデータ）を送信することができる任意の回路を含む。通信回路１０８は、Wi-Fi（登録商標）（例えば、802.11プロトコル）、Bluetooth（登録商標）、無線周波数システム（例えば、９００ＭＨｚ、１．４ＧＨｚ、及び、５．６ＧＨｚ）、赤外線、ＧＳＭ、GSM + EDGE、CDMA、クワッドバンド、VOIP、又は、任意の他のプロトコル、あるいは、それらの任意の組合せを含むが、これらに限定されない任意の適切な通信プロトコルを使用して、通信ネットワークと接続することができる。

一実施形態では、入出力インタフェース１１０は、口腔衛生装置１０を操作するユーザからの入力を受信する、及び／又は、口腔衛生装置１０を操作するユーザからの出力を生成するための任意の適切な機構又は構成要素を含む。入出力インタフェース１１０は、外部キーボード、マウス、ジョイスティック、又は、任意の他の適切な入力機構、あるいは、それらの任意の組み合わせを含むことができるが、これらに限定されない。一実施形態では、入出力インタフェース１１０は、その上にユーザインタフェースを表示することができるディスプレイを含む。

口腔衛生装置１０は、センサ３２又はそこに常駐する他のセンサからデータを取得し、データを分析して、口腔衛生装置１０を操作するユーザのブラッシング動作の品質を決定するように動作可能である。例えば、センサ３２は、ホール効果センサ又は力センサ、あるいは、その両方であってもよい。１つの特定の例では、ホール効果センサを用いて力情報を抽出することができる。別の例として、センサ３２は、１又は複数の加速度計を含むことができる。一実施形態では、解析されたデータは、入出力インタフェース１１０を介してユーザにフィードバックを提供するために使用される。例えば、入出力インタフェース１１０は、ユーザのブラッシングの質の分析を含むユーザインタフェースを表示するように動作可能なディスプレイ画面を含むことができる。別の例として、入出力インタフェース１１０は、少なくとも１つのセンサ３２によって取得された分析されたデータに基づいて、ユーザに音声フィードバック、視覚フィードバック、又は、触覚フィードバックを提供することができる。当業者であれば、少なくとも１つのセンサ３２がデータを取得するために使用されるが、１又は複数の追加のセンサが使用されてもよいことも認識するであろう。

図１Ｃは、様々な実施形態に係る口腔衛生装置１０及びユーザ装置１５０の説明図である。図示の例示的な実施形態では、ユーザ装置１５０は、１又は複数のプロセッサ１０２、ストレージ１０４、メモリ１０６、通信回路１０８、及び、入出力インタフェース１１０を含む。口腔衛生装置１０は、図示の例示的な実施形態では、ユーザ装置１５０の通信回路１０８と実質的に同様の通信回路１０８´を含むことを除いて、図１Ａの口腔衛生装置１０と実質的に同様である。

通信回路１０８´は、一実施形態では、センサ３２によって取得されたデータが口腔衛生装置１０から通信回路１０８を介してユーザ装置１５０に送信されることを可能にする。例えば、口腔衛生装置１０のセンサ（例えば、ホール効果センサ）３２からのデータは、Wi Fi接続、Bluetooth接続、及び／又は、ハードワイヤ接続を介してユーザ装置１５０に送信され得る。

口腔衛生装置１０のセンサ３２によって取得されるデータは、口腔衛生装置１０を操作するユーザに基づいて口腔衛生装置１０の筐体１８内に形成される磁場の検出された変形に対応する。例えば、外力又は外的負荷がアタッチメントアセンブリ２０に加えられると、１又は複数のセンサ３２によって測定可能な筐体１８内の磁場に変形が生じ得る。データは、口腔衛生装置１０を操作しているユーザに、処理、分析、及び／又は、フィードバックを提供するために口腔衛生装置１０からユーザ装置１５０に送信されることができる。例えば、ホール効果センサなどのセンサ３２によって取得されたデータは、メモリ１０６内に記憶された１又は複数のアルゴリズムを使用して解析され、ユーザのブラッシングの品質が決定される。フィードバックは、ブラッシング動作の決定された品質に関してユーザに提供されることが可能である。一実施形態では、フィードバックは、ユーザインタフェースを提示するディスプレイ画面上に表示される。

当業者であれば、口腔衛生装置１０が、これらに限定するものではないが、電動歯ブラシ、非電動歯ブラシ、フロッシング装置、ウォータージェット、舌クリーナーを含む個人の口腔衛生に関わることができる任意の製品、又は、任意の他の口腔衛生装置、あるいは、それらの任意の組み合わせを指すことができることを認識するであろう。さらに、少なくとも１つの実施形態において、口腔衛生装置１０は、電子シェーバ、ヘアトリマ、パーソナルグルーマーなどの個人衛生装置を指してもよく、前述の図は口腔衛生シナリオに限定されない。

図２は、様々な実施形態に係るユーザインタフェース２００の説明図である。一実施形態では、ユーザインタフェース２００は、表示画面（例えば、ユーザ装置１５０の入出力インタフェース１１０）を含むユーザ装置上に表示される。例えば、ユーザインタフェース２００は、スマートフォン又はタブレットなどのハンドヘルドデバイス上にあるタッチセンシティブディスプレイ画面上に表示されてもよい。別の例として、ユーザインタフェース２００は、電動歯ブラシ（例えば、図１Ｂに示される口腔衛生装置１０の入出力インタフェース１１０）の表示画面上に表示されてもよい。

図示した実施形態では、ユーザインタフェース２００は、１又は複数のセンサ３２を含む口腔衛生装置１０を操作するユーザの活動に対応する情報を含む。

図示された実施形態では、ユーザインタフェース２００は、グラフセクション２０２と、コメントセクション２０４と、を含む。グラフセクション２０２は、口腔衛生装置１０のセンサ３２から得られたデータのグラフ表示２０６、特に口腔衛生装置１０が動作中である期間に亘って口腔衛生装置１０のブラッシング動作の振幅を表示する。グラフセクション２０２は、口腔衛生装置１０を操作しているユーザが、ブラッシング技法が時間の経過とともに歯に圧力を加える方法を視覚的に見ることを可能にし、また、ユーザがその技法において生じる可能性がある様々な不一致を訂正することを可能にする。例えば、グラフ表現２０６が連続的に高い、低い、又は、ほぼ不一致の振幅を有する場合、ユーザはグラフ表現２０６を介してグラフセクション２０２内に表された情報を視覚的に見ることができる。さらに、グラフ表現２０６は、ユーザがそれらのブラッシング動作の頻度を視覚化し、それらのブラッシング技法が速すぎるか遅すぎるかを決定することを可能にする。

コメントセクション２０４は、例示的な実施形態では、ユーザのブラッシング技術に対応するユーザインタフェース１５０上に表示するユーザ装置１５０によって生成されたコメントを含む。例えば、ユーザが正しい量の圧力を歯に適用している場合、ユーザインタフェース２００には「圧力は良好！」と表示されるメッセージが表示され、ユーザが十分な圧力をかけていない場合には、「圧力が低すぎる」とのメッセージがユーザインタフェース２００に表示される。以前のブラッシングセッションと比較して、ユーザのブラッシングの頻度及び／又はユーザのブラッシングの品質に関する他のコメントも、コメントセクション２０４内に表示することができる。

一実施形態では、ユーザ装置１５０及び／又は口腔衛生装置１０に常駐する１又は複数のアルゴリズムが、センサ３２（例えば、ホール効果センサ）からデータを取得し、そのデータを数値表現に変換する。次いで、数値表現は、１又は複数の異なるメッセージをコメントセクション２０４に表示させるように動作可能な、ブラッシング圧力、頻度、及び／又は、品質に関する所定の値と比較することができる。例えば、ルックアップテーブルが、ユーザ装置１５０及び／又は口腔衛生装置１０上のメモリ１０６に含まれ、センサ３２から取得されたデータが、正しい量の圧力が口腔衛生装置１０を操作しているユーザによって加えられていることを示すとき、ユーザ装置１５０及び／又は口腔衛生装置１０に、ユーザインタフェース２００のコメントセクション２０４において「圧力は良好！」とのメッセージを表示してもよい。

また、図３Ａ及び図３Ｂは、それぞれ、様々な実施形態に係る他のユーザインタフェース３００及び３００´の説明図である。例示的な実施形態では、ユーザインタフェース３００は、ユーザにブラッシング動作が目標のブラッシング動作よりも低いときに通知するグラフィックスを表示し、ユーザインタフェース３００´は、ブラッシング動作が目標のブラッシング動作よりも大きいときにユーザに通知するグラフィックを表示する。ユーザインタフェース３００，３００´は、口腔衛生装置１０のセンサ３２によって取得されるデータを受信するユーザ装置のディスプレイスクリーン、及び／又は、口腔衛生装置１０及び／又はユーザ装置１５０上に配置されるディスプレイスクリーンに表示されることができる。

一実施形態では、目標とするブラッシング動作は、ユーザインタフェース３００を表示するユーザ装置１５０及び／又は口腔衛生装置１０上のメモリー１０６に記憶される。目標のブラッシング動作は、ブラッシング活動が起こる前に定義されてもよい。例えば、目標とするブラッシング動作は、ユーザ、ユーザの両親、及び／又は、ユーザの口腔衛生専門家によって定義されてもよい。ユーザが歯を磨くと、口腔衛生装置１０のセンサ３２は、口腔衛生装置１０に加えられる外力に関するデータを取得する。例えば、センサ３２がホール効果センサである場合、印加される外力は、口腔衛生装置１０の筐体１８内の磁場の内部変形を引き起こし、内部変形は、口腔衛生装置１０のセンサ（例えば、ホール効果センサ）３２に対して測定される。一実施形態では、ホール効果センサは、期待される最大動作周波数の少なくとも２倍のデータ取得速度を有するように設定されているが、当業者は、任意の適切な取得速度を使用することができ、前述の例は単なる例示であることを認識する。

ユーザインタフェース３００は、口腔衛生装置１０を操作するユーザの目標とするブラッシング動作の範囲を示す目標ブラッシング動作ウィンドウ３１０を含む。ユーザの現在のブラッシング動作は、一実施形態では、マーカ３０４によって示される。時間の経過とともにブラッシング動作が変化すると、ブラッシング中のマーカ３０４の様々な位置を示す経路３０２が表示される。一実施形態では、マーカ３０４及び経路３０２は、ユーザのブラッシング動作が目標ブラッシング動作ウィンドウ３１０によって規定される目標ブラッシング動作よりも低いことを示す。ユーザは、表示画面（例えば、入出力インタフェース１１０）上に提示されたユーザインタフェース３００を視覚的に見て、それらのブラッシング技法を適切に修正することができる。例えば、ユーザインタフェース３００のマーカ３０４及び経路３０２は、ユーザのブラッシング動作が目標のブラッシング動作よりも低いことを示し、従って、ユーザは、ブラッシング動作（例えば、周波数及び／又は振幅）を増加させることができる。

ユーザインタフェース３００´では、ユーザのブラッシング動作は目標ブラッシング動作よりも大きい。図３Ｂに示されるように、経路３０２は、点３５６において、ユーザが目標ブラッシング動作ウィンドウ３１０によって規定される目標ブラッシング動作を超えたことを示している。この特定のシナリオでは、ユーザは、ユーザインタフェース３００´を見て、ブラッシングの頻度及び／又は振幅を減少させて目標ブラッシング動作に戻ることによってブラッシングを修正することができる。

図４は、様々な実施形態に係る他のユーザインタフェース４００の説明図である。ユーザインタフェース４００は、一実施形態では、ディスプレイスクリーン（例えば、入出力インタフェース１１０）上に表示される。一実施形態では、ユーザインタフェース４００は、ユーザが自分の歯をブラッシングするたびにユーザのブラッシングスコアを詳述するスコアリング情報チャート４０２を含む。例えば、各ブラッシングセッションにスコアを与えることができ、スコアが高いほど、ブラッシングセッションが良く、スコアが低いほど、ブラッシングセッションが悪い。

或る例示的な実施形態では、スコアリング情報チャート４０２は、１週間の日毎の朝のスコア及び夜のスコアを含む。当業者は、７日間及び１日あたり２セッションしか表示されないが、任意の日数及び任意の数のセッションがスコアリング情報チャート４０２内に含まれ得ることを認識するであろう。一実施形態では、ユーザのブラッシングスコアをグラフィカルに追跡し、ブラッシング技法が日々改善しているかどうかをユーザが視覚化するように、ユーザインタフェース４００内にスコアリング情報グラフ４０４が表示される。これは、自分の歯を連続的に磨いていること、正しい口腔衛生ケアを学んでいること、同じ不適切なブラッシング技法を繰り返さないことを確実にするために、両親が子供と一緒に使うのに特に役立つ。

また、ユーザインタフェース４００は、例示的な実施形態において、スコアレポート共有ボタン４０６及びスコアレポート保存ボタン４０８を含む。スコアレポート共有ボタン４０６は、スコアリング情報チャート４０２及び／又はスコアリング情報グラフ４０４内に含まれるデータが、１又は複数の連絡先、ソーシャルメディアウェブサイト、及び／又は、ユーザ装置と共有されることを可能にする。例えば、特定の週のスコアを特に誇るユーザは、そのスコア情報を家族や友人と共有してもよい。他の例として、ユーザは自分の歯科専門家とスコア情報を共有し、一生懸命にケアしていることを知らせることができる。

一実施形態において、スコアレポート保存ボタン４０８は、ユーザが自分のユーザ装置１５０にスコアを保存することを可能にする。例えば、ユーザは、ユーザ装置上に毎週の各スコアを記憶することができ、次のアポイントメントで歯科専門家と見直すためにロバストなデータセットを生成することができる。保存されたスコア情報は、ユーザ装置１５０上のメモリ及び／又はユーザがアカウントを有するか、又は、他の個人（例えば、親、歯科専門家など）によってアクセスされ得るクラウドストレージシステム上に記憶されてもよい。

図５Ａは、様々な実施形態に係る口腔衛生装置１０を操作しているユーザにフィードバックを供給するプロセス５００を説明するフローチャートである。プロセス５００は、ステップ５０２において開始する。ステップ５０２において、一実施形態では、口腔衛生装置１０のセンサ３２からデータが取得される。例えば、データは、口腔衛生装置１０に配置されたホール効果センサから取得されてもよい。他の実施形態では、データは、口腔衛生装置に配置された、力センサ、及び／又は、力センサとホール効果センサとの組み合わせ、及び／又は、加速度計などの１又は複数の追加的なセンサから取得される。幾つかの実施形態では、データは、通信回路１０８，１０８´を介してユーザ装置１５０に送信されてもよい。口腔衛生装置１０からユーザ装置１５０にデータを送信可能な様々な方法は、Bluetooth、Wi-Fi、セルラーデータ、及び／又は、有線接続を含むが、これらに限定されない。

或る実施形態では、センサ３２は、予期される最大動作周波数の少なくとも２倍の取得速度を持つように設定される。動作周波数は、典型的には、０．１Ｈｚと８Ｈｚとの間の範囲にある。動作周波数が０．１Ｈｚの場合、取得速度は少なくとも０．２Ｈｚでなければならないが、動作周波数が８Ｈｚの場合、取得速度は少なくとも１６Ｈｚにする必要がある。或る特定の実施形態では、取得速度は約３０Ｈｚに設定される。しかし、当業者であれば、任意の最大動作周波数に対して任意の取得速度を設定することができ、前述は単なる例示であることを認識するであろう。

ステップ５０４において、取得されたデータの前処理が、口腔衛生装置１０及び／又はユーザ装置１５０の１又は複数のプロセッサ１０２によって、メモリ１０６に格納された１又は複数のアルゴリズムにより実行される。取得されたデータを前処理することにより、一実施形態では、データをより容易に分析できるようにデータを修正することが可能になる。一実施形態では、取得されたデータの前処理は、取得されたデータを縮小又はサブサンプリングすることに対応する。他の実施形態では、ブラッシング動作情報を強調するために、取得されたデータに対してデータ縮小が実行される。例えば、取得されたデータに対して経験的モード分解（ＥＭＤ：Empirical Mode Decomposition）が実行され、生ブラッシング動作信号を回転させて固有モード関数（ＩＭＦ：Intrinsic Mode Function）データの集合を作成することができ、これは、ブラッシング力情報の極値及び／又はゼロクロスを強調する。さらに他の実施形態では、取得されたデータの前処理は、雑音／無関係な周波数情報を除去するためのバンドパスフィルタの適用に対応する。例えば、４Ｈｚを超える全ての周波数情報を除去する４Ｈｚローパスフィルタを適用することができる。当業者であれば、一実施形態では、最初に取得されたデータが既に適切なフォーマットである可能性があるため、取得されたデータの前処理が必要でないことがあることを認識するであろう。

ステップ５０６において、口腔衛生装置１０のブラッシング動作が、前処理された取得データに基づいて分析される。一実施形態では、分析は、口腔衛生装置１０のプロセッサ１０２によって実行され、口腔衛生装置１０のメモリ１０６に格納された１又は複数のアルゴリズムに基づいている。他の実施形態では、分析は、ユーザ装置１５０のプロセッサ１０２によって実行され、ユーザ装置１５０のメモリ１０６に格納された１又は複数のアルゴリズムに基づいている。例えば、ユーザ装置１５０は、スマートフォン又はタブレットに対応していてもよく、従って、口腔衛生装置１０よりも大きな処理能力を含むことができる。１又は複数のアルゴリズムは、例えば、ブラッシング動作周波数及び／又はブラッシング動作振幅など、取得されたデータの分析可能な特徴を分解するように動作可能である。

ブラッシング動作周波数は、一実施形態では、フーリエ解析を使用して抽出され、最大振幅検出を使用して支配的な動作周波数を検出する。例えば、動き成分は、ハニング窓を使用してウインドウ化され、その後、最大周波数振幅の指標によって支配的な周波数を抽出するために高速フーリエ変換（FFT）に送られる。別の例として、実質的に瞬間的な周波数推定のためにヒルベルト変換を使用することができる。

他の例示的な実施形態では、ブラッシング動作周波数は、運動成分の極値又はゼロ交差の数を抽出することによって決定される。得られた信号の支配的な周波数キャリアが実際に関心の周波数であると仮定して、周波数推定と同様に、極値及び／又はゼロ交差の抽出は、システム全体が専門家の評価と相関することを可能にする。

さらに他の例示的な実施形態では、三帯域通過フィルタが使用される。三帯域通過フィルタは、例えば、口腔衛生装置１０又はユーザ装置１５０に常駐するソフトウェアに実装することができる。三帯域通過フィルタは、支配的なブラッシング周波数を示すために、中間帯域のエネルギー量に対する３つの帯域の上下の帯域におけるＲＭＳ（Root Mean Square）値としてエネルギー量を計算するように動作する。例えば、信号が得られ、周波数領域に変換された後、３つの帯域の各帯域におけるエネルギー量が決定される。第１、第２及び第３の帯域がそれぞれ０．５Ｈｚ乃至１．５Ｈｚ、１．５Ｈｚ乃至２．５Ｈｚ、２．５Ｈｚ以上になると、各帯域のエネルギー値が抽出され、支配的なエネルギー量を含む帯域が決定される。どの帯域がエネルギーの支配的な量を含むかは、支配的な周波数を含む領域を明らかにする。

ブラッシング動作振幅は、一実施形態では、運動信号の連続極値間の距離を求めることによって得られる。例えば、２つの連続した極値の間の距離は、２つの最大又は最小の運動信号間の時間の量に対応することができる。運動信号は、時間とともに振幅が変化することがあり、従って、連続極値間の距離は、時間的距離又はは連続極値の間の時間と呼ばれ得る。他の実施形態では、得られた信号のフーリエ表現における主要周波数の振幅に基づいて、ブラッシング動作振幅が抽出される。さらに他の実施形態として、ブラッシング動作振幅は、運動成分について包囲することによって得られる。

例示的な一実施形態では、抽出されたブラッシング動作周波数及びブラッシング動作振幅に基づいて、ブラッシング動作の追加の特徴が分析される。信号の微分係数を使用して、ユーザのブラッシングパターンの様々な特性を得ることができる。例えば、ブラッシング信号の一次導関数は、ユーザの動きに対応する速度読み取り値をもたらす。このデータは、例えば、ユーザが口腔衛生装置１０を歯から歯に動かす速度を決定するために使用することができる。別の例として、ブラッシング信号の二次導関数は、ユーザのブラッシング動作に対応する加速度読み取り値をもたらす。

ステップ５０８において、口腔衛生装置１０を操作するユーザにフィードバックが提供される。ここで、フィードバックは、一実施形態では、ユーザのブラッシング動作の分析に基づいている。一実施形態では、提供されたフィードバックは、口腔衛生装置１０及び／又はユーザ装置１５０上のユーザインタフェース２００，３００，３５０，及び／又は，４００などのユーザインタフェースによって表示される情報に対応する。その中に表示される情報は、ユーザにそれらのブラッシング動作の質を知らせることができる。例えば、ディスプレイスクリーン３００，３５０は、ユーザが目標のブラッシング動作より下、又は、目標のブラッシング動作を超えてブラッシングしているときにユーザに知らせることによって、ユーザが所定のブラッシング動作をどれほどうまく遵守しているかを示す。別の例として、ユーザインタフェース２００は、ユーザのブラッシング動作振幅及び／又は周波数、並びに、それらの現在のブラッシング動作が所定の目標ブラッシング動作にどのように関連するかをユーザに知らせる情報メッセージを示す。

一実施形態では、ユーザのブラッシング動作の分析に基づいて、聴覚、視覚、及び／又は、触覚フィードバックがユーザに提供される。例えば、口腔衛生装置１０及び／又はユーザ装置１５０は、ブラッシング動作が間違っていることをユーザに知らせる、振動、音声信号（例えば、ビープ音）、及び／又は、視覚信号（例えば、光の点滅）を提供することができる。

一実施形態では、口腔衛生装置１０のサイズは、どのタイプのフィードバックがユーザに提供されるかに影響する。例えば、ユーザ装置１５０が使用されず、口腔衛生装置１０が小さすぎて表示画面を含むことができないか、又は、ブラッシング中にユーザが表示画面を見ることができないように構成される場合、視覚フィードバックは困難又は効果なしである。この特定のシナリオでは、可聴信号又は触覚応答がより適切であり得る。しかしながら、当業者であれば、任意のタイプのフィードバックを任意の適切な方法でユーザに提供することができ、前述は単なる例示であることを認識するであろう。例えば、ユーザ装置１５０上のディスプレイスクリーンは、ブラッシング動作が低すぎるか高すぎることを口腔衛生装置１０を操作しているユーザに示し得るユーザインタフェース３００又は３５０を表示することができ、その一方で、同時に、可聴信号が、ユーザの誤ったブラッシング技術を知らせるため、口腔衛生装置１０によって生成されてもよい。

図６は、様々な実施形態に係るユーザ装置１５０及び口腔衛生装置１０を含むシステム２の説明図である。或る例示的且つ非限定的な実施形態では、システム２のユーザ装置１５０は、カメラ６０２及びディスプレイスクリーン６０４を含む。例えば、ユーザ装置１５０は、ユーザが口腔衛生装置１０を操作している間にユーザのブラッシング動作を分析するためのソフトウェアを含むことができるユーザのスマートフォン又はタブレットに対応することができる。一実施形態では、口腔衛生装置１０を操作しているユーザの動作は、分析のためのユーザ装置１５０のカメラ６０２によって閲覧／監視されることができ、また、口腔衛生装置１０を操作しているユーザにフィードバックを提供することができる。これについては、以下において詳述される。一実施形態では、ユーザ装置１５０及び口腔衛生装置１０は、接続手段６１０を介して互いに結合するように動作可能である。接続手段６１０は、Bluetooth、Wi-Fi、セルラ（例えば、LTE）、及び／又は、ハードワイヤ接続を含む、任意の無線接続又は有線接続を含む。一実施形態では、接続手段６１０は、ユーザ装置１５０から口腔衛生装置１０へ、またはその逆にフィードバックを提供することを可能にする。別の実施形態では、ユーザ装置１５０は、処理回路、フィードバック回路、及び／又は、充電回路などの１又は複数の追加のコンポーネントをさらに含む。一実施形態では、ユーザ装置１５０は、口腔衛生装置１０の電力システム１４を充電することができる充電回路６５６を含む。例えば、ユーザ装置１５０は、口腔衛生装置１０に適合するベースステーションであってもよい。

図７は、様々な実施形態に係るユーザ装置１５０を説明するブロック図である。ユーザ装置１５０は、スマートフォン又はタブレットであってもよく、あるいは、口腔衛生装置１０のためのベースステーションであってもよい。更に他の例示的な実施形態では、ユーザ装置１５０は、画像及び／又は映像をキャプチャするための１又は複数のカメラ６０２も含む。

説明のための例示的な実施形態では、ユーザ装置１５０は、１又は複数のプロセッサ１０２、ストレージ１０４、メモリ１０６、通信回路１０８、及び、入出力インタフェース１１０を含む。或る例示的な実施形態では、カメラ６０２は、画像及び／又は映像をキャプチャすることが可能な任意のイメージキャプチャコンポーネントに対応する。例えば、カメラ６０２は、写真、一連の写真、高速ショット、映像、３Ｄ画像／映像、又は、任意の他の画像タイプ、あるいは、それらの任意の組み合わせをキャプチャしてもよい。

例示的な実施形態では、入出力インタフェース１１０は、ディスプレイ６０４及びスピーカ７１８、あるいは、出力を生成するための任意の他の適切な機構又は構成要素を含むこともできる。ディスプレイ６０４は、一実施形態では、コンテンツをユーザ及び／又はユーザ装置１５０に提示することができる任意のタイプのディスプレイに対応する。ディスプレイ６０４は、任意のサイズであり、ユーザ装置１５０の１又は複数の領域／側に位置することができる。例えば、ディスプレイ６０４は、ユーザ装置１５０の第１の側を完全に占めていてもよく、又は、第１の側の一部のみを占めていてもよい。液晶ディスプレイ（LCD）、モノクロームディスプレイ、カラーグラフィックアダプタ（CGA）ディスプレイ、エンハンスドグラフィックスアダプタ（EGA）ディスプレイ、可変グラフィックスアレイ（VGA）ディスプレイ、又は、任意の他のディスプレイタイプ、あるいは、それらの任意の組み合わせを含むが、これらに限定されない様々なディスプレイタイプがある。一実施形態では、ディスプレイ６０４は、タッチスクリーン及び／又は対話型ディスプレイである。別の実施形態では、タッチスクリーンは、ユーザ装置１５０のプロセッサ１０２に結合されたマルチタッチパネルを含む。さらに別の実施形態では、ディスプレイ６０４は、容量性感知パネルを含むタッチスクリーンである。

一実施形態では、スピーカ７１８は、オーディオ信号を出力するための任意の適切な機構に対応する。例えば、スピーカ７１８は、ユーザ装置１５０とインタフェースするユーザにオーディオ信号及びオーディオコンテンツをブロードキャストすることができる１又は複数のスピーカユニット、トランスデューサ、あるいは、スピーカ及び／又はトランスデューサのアレイを含むことができる。一実施形態では、スピーカ７１８は、ユーザ装置１５０を操作しているユーザにオーディオを直接ブロードキャストすることができるヘッドフォン又はイヤホンに対応する。

或る例示的な実施形態では、ユーザ装置１５０は、図１Ａの口腔衛生装置１０の１又は複数のコンポーネントを含む。例えば、ユーザ装置１５０は、１又は複数のセンサ３２、１又は複数の磁石３０、駆動トレインアセンブリ１２、電力システム１４、マイクロプロセッサ制御装置１５、及び、アタッチメントアセンブリ２０を含んでいてもよい。当業者は、ユーザ装置１５０は、口腔衛生装置１０の１又は複数の特徴を含むが、任意の数の追加的なコンポーネントが追加されてもよく、又は、任意の数のコンポーネントが省略されてもよく、前述の説明が単なる例示であることを認識するであろう。さらに、或る実施形態では、ユーザ装置１５０は、カメラ６０２、ディスプレイ６０４、及び／又は、スピーカ７１８の１又は複数を含むという点を除いて図１Ｂの口腔衛生装置１０と実質的に同様である。

或る例示的な実施形態では、ユーザ装置１５０は、組み込まれたカメラ６０２を含む点を除いて、口腔衛生装置１０に対応する。或る実施形態では、カメラ６０２は、ユーザの歯と相互作用している間、アタッチメントアセンブリ２０（例えば、ブラシ部材２１）の画像をキャプチャするため、口腔衛生装置１０の筐体１８から突き出るように、外部にあってもよい。他の実施形態では、カメラ６０２は、アタッチメントアセンブリ２０に埋め込まれている。この特定のシナリオでは、カメラ６０２は、相互作用するユーザの口の部分を照らすために、１又は複数の光（例えば、LED、赤外線）を含むことができる。次いで、ユーザの口内の様々な目印が基準点として用いられ、ブラッシング活動の動き及び／又は質を決定することができる。例えば、ユーザの口のどこに口腔衛生装置１０が位置しているかを決定するため、ユーザの舌、口蓋、及び／又は、口蓋垂が「目印」として使用され得る。一実施形態では、動きは、物理的な目印に対する歯の位置の違いなど、２つの画像間の差異に基づいて、或る画像と次の画像との間のキャプチャ画像における変化に基づき決定されることができる。

図８は、様々な実施形態に係るユーザの画像８００の説明図である。画像８００は、ユーザの顔８０２、首８０４、及び、胴８０６を含む。頭部８０２は、目８０８、鼻８１０、及び、口８１２を含む。一実施形態では、ユーザを特徴付けるために、耳、眉毛、顎、頬、髪、及び／又は、鼻孔を含むがこれらに限定されない１又は複数の追加の特徴を含めることができる。

一実施形態では、関心領域８２０は、ユーザの画像８００内に含まれる。一実施形態では、関心領域８２０は、図９に示されるように、口腔衛生装置１０を操作するユーザに対応する動きが生じる、ユーザの関連部分に対応している。例えば、関心領域８２０は、ユーザが歯を磨くときに口８１２を取り囲む領域に対応することができる。別の例として、ユーザがシェービングしている場合、関心領域８２０は、剃ることができるユーザの顔８０２の一部が含まれるように、わずかに大きくてもよい。

或る実施形態では、関心領域８２０は、ユーザによって予め規定されてもよい。例えば、ユーザは、ユーザ装置１５０のディスプレイスクリーン６０４上に表示されるユーザインタフェース上で関心領域８２０の外縁を手動で描くことができる。他の例として、ユーザは、ユーザ装置１５０によって近似された関心領域８２０を提示されてもよく、ユーザは、ユーザの顔構造により適切に合うように関心領域８２０の境界を手動で調整してもよい。

或る実施形態では、関心領域８２０は、ユーザ装置１５０によるユーザの１又は複数の顔の特徴又は身体的特徴の検出に基づいて決定される。或る例示的な実施形態では、ユーザの顔８０２及び胴８０６の検出は、任意の適切な顔検出器を用いて実行される。例えば、Viola-Jonesオブジェクト検出フレームワークが、画像８００内の関心領域８２０を検出するために使用され得る。或る実施形態では、ユーザ装置１５０のカメラ６０２によって取得された連続画像は、ユーザの画像８００内の様々な顔特徴の位置を判定するために使用されるViola-Jones顔検出器を有する。様々な顔面特徴（例えば、鼻８１０、口８１２など）が決定された後、関心領域８２０を規定するために式１が使用され得る。
ROI = ROI_previous + Face_Area - [Face_Coordinates - 1.5 x Height] 式１

式１において、ROIは、関心領域であり、ROI_previousは、完全な前の画像、又は、前の画像から手動で入力された関心領域を含んでいてもよく、Face_Areaは、ユーザの画像８００内の顔８０２の領域であり、Face_Coordinatesは、顔８０２が画像８００内にあることを規定する座標であり、Heightは、ユーザの高さである。当業者は、ユーザのHeightの１．５倍の因子が、単にユーザの口がある場所の近似に過ぎず、これらの変数のいずれか１つを適宜変更又は増強してもよいことを認識するであろう。

他の例示的な実施形態では、画像８００内のユーザの顔の特徴が検出される。例えば、ＳＤＭ（Supervised Descent Method）が、ユーザの顔の特徴を検出するために使用されてもよい。一般に、ＳＤＭは、トレーニングにおける全ての非線形最小二乗（NLS）関数の平均を徐々に最小化する一連のパラメータ更新を学習する。ＳＤＭは、ニュートンの画像位置合わせ方法が機能しないシナリオ（例えば、画像のヘッセ行列が極小で正定値であるが、他の場所にはない可能性があり、その関数は２倍に微分可能である）において特に有用である。

或る実施形態では、ユーザ装置１５０のカメラ６０２によってキャプチャされた連続画像は、式２を使用して、検出された顔特徴の下の領域として関心領域を定義する。
ROI = ROI_previous + FF_Area - [Face_Coodinates - 1.5 x Height] 式２

式２において、FF_Areaは、カメラ６０２によってキャプチャされた画像に関して、[Min(X),Min(Y),Max(X),Max(Y)]として規定される。或る実施形態では、ROI_previousは、全体画像８００、又は、手動で入力された関心領域からなる。

さらに他の例示的な実施形態では、画像８００の関心領域８２０が、バックグラウンド減算技術に基づいて検出される。例えば、ユーザ装置１５０のカメラ６０２は、ユーザの映像などのユーザの一連の連続画像を取得し、ユーザの前景画像／マスクを抽出することができる。顔領域（例えば、顔８０２）は、一実施形態では、スケルトンマッチングを使用して抽出され、関心領域８２０は、式１によって規定される。バックグラウンド減算は、一般に、２つ以上の画像を比較し、特定の部分を強調するために画像の特定の静的部分が除去されるようにする。例えば、静的バックグラウンドにオーバレイされた動画は、静的バックグラウンドが画像毎に一貫しているので、バックグラウンド減算を使用して静的バックグラウンドを除去することができる。

更に他の例示的な実施形態では、画像８００の関心領域８２０が、３Ｄモデリングに基づいて検出される。様々なタイプの３次元モデリングには、形状分布を伴う３次元モデルのマッチング、形状コンテキストを用いた物体認識による形状マッチング、３次元形状マッチングのための対称記述子、又は、他の任意のタイプの３次元モデリング技術、あるいは、これらの任意の組み合わせが含まれるが、これらの限定されない。例えば、関心領域８２０を決定すべく、画像８００の顔８０２を検出するために１又は複数の３次元モデリング技術が使用され得る。他の例として、関心領域は、ユーザの特定の身体部分（例えば、ユーザの手）を含む画像８００の領域を選択することによって検出されてもよい。更に他の例では、３次元形状マッチングが、口腔衛生装置１０が画像８００内のどこにあるかを分析することによって、関心領域８２０を決定すべく、口腔衛生装置１０を口腔衛生装置の予め計算されたモデルに適合させるために使用され得る。

更に他の例示的な実施形態では、関心領域８２０の検出は、ユーザ及び／又は口腔衛生装置１０上の物理的な目印の抽出によって実行される。一実施形態では、関心領域８２０がどこにあるべきかを特定するために、特定の色、エッジ、テクスチャ、又は、他の目印を使用することができる。例えば、口腔衛生装置１０は、赤く塗られた筐体１８を有することができる。この特定のシナリオでは、ユーザ装置１５０は、カメラ６０２によってキャプチャされた画像を分析し、赤色である任意の対象物の動きを強調し、それによって口腔衛生装置１０を追跡することができる。別の実施形態では、関心領域８２０を指定するために、ＬＥＤなどの光ベースのマーカが使用される。例えば、口腔衛生装置１０は、関心領域８２０を決定するためにユーザ装置１５０によって認識され得る１又は複数の赤外線ＬＥＤを含み得る。

当業者は、ユーザの画像８００内の関心領域８２０を決定する前述の技術のいずれかが使用されてもよく、あるいは、任意の追加の技術又は方法が使用されてもよく、例示的な実施形態は、限定するものとして解釈されるべきではないことを認識するであろう。さらに、前述の技術の１又は複数を使用して、関心領域８２０が決定された後、あるいは、関心領域８２０が決定されるのと実質的に同時に、ユーザのブラッシング動作を決定することもできる。前述の技術の１又は複数のより詳細な説明については、以下の説明及び前の図においても説明される。

また、図９Ａ及び図９Ｂは、様々な実施形態に係る口腔衛生装置１０などのユーザ装置の位置の変化を説明する図である。一実施形態では、ユーザなどのユーザの第１の画像９００は、ユーザの顔８０２、目８０８、鼻８１０、及び、口８１２を含む。さらに、第１の画像９００は、１つの例示的な実施形態では、口腔衛生装置１０に対応するユーザ装置を含む。ユーザが歯を磨くと、カメラ６０２などのカメラは、第２の画像９５０において口腔衛生装置１０の新しい位置を捕捉する。第２の画像９５０における口腔衛生装置１０は、ユーザに対して第１の画像９００と異なる位置にある。一実施形態では、第１の画像９００及び第２の画像９５０は、カメラ６０２によってキャプチャされた２つの個別画像であるが、第１の画像９００及び第２の画像９５０は、カメラ６０２によってキャプチャされた映像を介して得られた連続画像であってもよい。

図１０は、様々な実施形態に係るピクセル位置及びフレームにおける変化に基づいて口腔衛生装置１０の位置における変化を説明する例示的な図である。例示的な実施形態では、図９Ａの第１の画像９００からの口腔衛生装置１０は、初期ピクセル位置Ｐ１を有する。これは、２次元の第１ピクセルアレイ位置（X1, Y1）を持ち、第１の画像９００がキャプチャされた第１の時点をT1としている。第２の画像９５０において、口腔衛生装置１０は、２次元の第２ピクセルアレイ位置（X2, Y2）と第２の画像９５０がキャプチャされた第２の時点T2とを有する第２のピクセル位置P2を有する。

第１の画像９００及び第２の画像９５０における口腔衛生装置１０の座標（例えば、ピクセル及び時間）に基づいて、鉛直変位における変化（例えば、ΔY）及び水平変位における変化（例えば、ΔX）が決定され得る。時間変化（例えば、ΔT）を組み込むことにより、装置１０の動きに関する近似が得られる。当業者であれば、上記は単なる近似であり、スケーリング、遅延、及び、分解能などの様々な付加的要因も、口腔衛生装置１０の動作特性に影響を与え得ることを認識するであろう。

図１１は、様々な実施形態に係る口腔衛生装置１０と基準オブジェクトとの間の位置ベクトルにおける変化に基づいて口腔衛生装置１０の位置における変化を説明する図である。例示的な実施形態では、口腔衛生装置１０とユーザの鼻８１０などの基準オブジェクトとの間の距離及び／又は角度を表す第１の位置ベクトル９０４Ａが、ユーザ装置１５０のプロセッサ１０２によって決定される。当業者であれば、目８０８、口８１２、首８０４、胴８０６、又は、ユーザ又は背景の任意の他の特徴、あるいは、これらの任意の組み合わせを含むが、これらに限定されない任意の他の基準オブジェクトが使用され得ることを認識するであろう。

一実施形態では、第１の位置ベクトル９０４Ａは、第１の画像９００におけるユーザの鼻８１０に対する口腔衛生装置１０の位置に関する情報を含む。第２の画像９５０では、口腔衛生装置１０の位置が変更され、ユーザの鼻８１０に対する口腔衛生装置１０の新しい位置に関する情報が第２の位置ベクトル９０４Ｂに含まれる。位置ベクトル９０４Ａ及び９０４Ｂの各々は、ユーザ装置１５０によって分析され、口腔衛生装置１０の相対運動は、位置ベクトル９０４Ａ及び９０４Ｂの位置変化及び変化タイミングに基づいて決定される。位置ベクトル９０４Ａ及び９０４Ｂなどの位置ベクトルを用いて連続する画像９００と画像９５０との間の動きを推定するために様々な技術が使用され得る。当該技術には、3DRS及びOptical Flowが含まれるが、これらに限定されない。しかしながら、当業者であれば、任意の動き抽出技術を使用することができ、前述は単なる例示であることを認識するであろう。

図１２は、様々な実施形態に係るキャプチャされた画像の重心における変化に基づいて口腔衛生装置１０の位置変化を説明する例示的な図である。或る例示的な実施形態では、動き抽出が、絶対フレーム差分技術（absolute frame differencing techniques）を用いて実行される。例えば、二値差分画像ImDiffが式３を用いて計算される。
ImDiff = abs(ImCurrent - ImPrevious) > Threshold 式３

式３において、ImCurrentは、現在の画像に対応し、ImPreviousは、前の画像に対応する。例えば、ImCurrentは、ユーザ装置１５０のカメラ６０２によってキャプチャされた図９Ｂの画像９５０に対応し、ImPreviousは、図９Ａの画像９００に対応する。ImCurrentとImPreviousとの間の差分は、絶対値とされる。さらに、式３において、Thresholdは、ユーザ装置１５０を操作しているユーザによって設定され得る、又は、ユーザ装置１５０によって予め規定され得る変数に対応する。例えば、Thresholdは、カメラ６０２と関連付けられるノイズ量、及び／又は、背景環境におけるノイズ量に対応していてもよい。

一実施形態では、式３からのImCurrentとImPreviousとの間の差が、画像平面のｘ軸とｙ軸とに沿って投影され、２つの信号ProjXとProjYとが形成される。一実施形態では、ProjXは全ての値に対するｙ画像軸に沿ったImDiffの合計であるとして定義されるが、ProjYは全ての値に対するｘ画像軸に沿ったImDiffの合計として定義される。次に、ProjX及びProjYの両方の最大値が抽出され、一実施形態では、動きの「重心」として使用される。例えば、第１の重心９０６Ａは、画像９００内の口腔衛生装置１０と鼻８１０との間の重心を表すことができ、第２の重心９０６Ｂは、画像９５０内の口腔衛生装置１０と鼻８１０との間の重心を表すことができる。一実施形態では、重心９０６Ａ及び９０６Ｂの各々は、特定の画像とその前の画像との間のImDiffに基づいて計算される。従って、重心９０６Ｂは、例えば、画像９００及び画像９５０のProjX及びProjYの両方の最大値に基づいて計算されてもよい。一実施形態では、連続的な重心間の差異が、口腔衛生装置１０の動きを決定するために使用される。例えば、重心９０６Ａと重心９０６Ｂとの間の差が、口腔衛生装置１０の動きを決定するために使用されてもよい。

動き特性を抽出することに応答して、或る例示的な実施形態では、ユーザの動きの分析が実行される。ユーザの動きを分析して特徴付けることによって、生の動き信号（例えば、カメラ６０２及び／又はセンサ３２のうちの１又は複数を介して取得されたデータ）を、動き周波数、動き振幅、及び／又は、動き軌道などの様々な動きの特徴に変換することができる。

一実施形態では、分析は、取得されたデータの前処理によって実行される。例えば、ユーザ装置（例えば、口腔衛生装置１０）の動きに対応する取得されたデータ内の情報を強調するために、様々なデータ削減技術が採用されてもよく、この情報は、単一の新しい運動成分に結合されてもよい。様々なデータ削減技術には、主成分分析（PCA：Principle Component Analysis）、独立成分分析（ICA：Independent Component Analysis）、低／高帯域通過フィルタの適用、又は、任意の他のデータ削減技術、あるいは、これらの任意の組み合わせが含まれるが、これらに限定されない。例えば、４Ｈｚのカットオフを有する低帯域通過フィルタを用いて、望ましくない高周波データを除去することができる。

別の実施形態では、分析は、周波数特性化を実行することを含む。一実施形態では、フーリエ解析を使用して、最大振幅検出を介して支配的な動き周波数を見つけることによって、動き周波数が抽出される。例えば、動き成分は、ハニング窓を使用してウインドウ化され、次いで、ＦＦＴに送られて、最大周波数振幅の指標によって支配的な周波数が抽出されてもよい。一実施形態では、周波数特性化は、運動成分から極値（例えば、極小及び／又は極大値）又はゼロ交差の数を抽出することによって、取得されたデータから運動周波数を得ることを含む。さらに、前述したように、一実施形態では、振幅の特徴付けは、任意の適切な技術を使用して実行される。

或る例示的な実施形態では、データ削減技術は必要とされない。ここで、動き特性（例えば、振幅特性及び／又は周波数特性）は、１又は複数の追加的な技術を使用して得られる。例えば、動きのｘ方向及び／又はｙ方向特性を組み合わせることができる。別の例として、動きのｘ方向及び／又はｙ方向特性の線形結合を使用することができる。さらに別の例では、振幅成分に関して最も強い周波数成分に対応する特性を使用することができる。さらに別の例では、目標とされる周波数成分に最も近い、又は、最も遠い周波数成分に対応する特性を使用することができる。当業者であれば、「ｘ方向」及び「ｙ方向」の使用は単なる例示であり、任意の２つの方向（例えば、ｘ及びｙ方向、ｘ及びｚ方向、y及びｚ方向）を代わりに使用することができることを認識するであろう。さらに、当業者は、目標周波数及び／又は最も強い周波数成分が、システムの周波数スペクトル内の任意の周波数成分に対応してもよく、実施前に選択されてもよく、及び／又は、データ分析の実行しながら変更されてもよいことを認識するであろう。

図１３は、口腔衛生装置１０又はユーザ装置１５０を操作しているユーザに供給されるフィードバックを含む様々なグラフィックを表示する様々な実施形態に係る様々なユーザインタフェースの説明図である。例えば、ユーザが歯をすばやく磨くと判定された場合、ユーザ装置１５０のディスプレイ６０４は、ユーザフィードバックメッセージ１００２を提示することができる。別の例として、ユーザが歯を磨くのが遅すぎると判断された場合、ユーザ装置１５０のディスプレイ６０４は、ユーザにスピードアップを促すユーザメッセージ１００４を提示することができる。さらに別の例として、ユーザが歯を正しくブラッシングしていると判定された場合、ユーザ装置１５０のディスプレイ６０４は、フィードバックメッセージ１００６を提示することができる。さらに別の例として、ユーザが既にブラッシングされた歯の一部をブラッシングしていると判断された場合、又は、特定の領域についてブラッシングの時間が長すぎる場合、ユーザ装置１５０のディスプレイ６０４は、ユーザにブラッシングの位置を変更するように助言するフィードバックメッセージ１００８を提示することができる。

図１４は、様々な実施形態に係るプロセス１１００の例示的なフローチャートである。プロセス１１００は、ステップ１１０２から始まる。ステップ１１０２において、データは、ユーザ装置上に位置する１又は複数のカメラから取得される。例えば、ユーザ装置１５０のカメラ６０２は、口腔衛生装置１０で歯を磨くユーザの１又は複数の画像及び／又は映像を取り込むことができる。別の例として、データは、３Ｄカメラシステムと同様に、又は、３Ｄカメラシステムに加えて、CMOS又はCDD画像センサを使用して取得することができる。さらに、一実施形態では、取得されたデータは、１又は複数のキャプチャ画像／映像、並びに、口腔衛生装置１０の１又は複数のセンサ（例えば、ホール効果センサ、力センサ、及び／又は、加速度計）３２などの１又は複数のセンサから得られるデータを含む。例えば、ユーザ装置１５０は、口腔衛生装置１０を使用してユーザの映像をキャプチャする一方で、センサ３２からデータを取得することもできる。

一実施形態では、カメラ６０２の取得レートは、関連する動き情報を抽出することを可能にする。例えば、動き周波数及び／又は動き振幅は、カメラ６０２によって取り込まれた画像から抽出可能である。一実施形態では、カメラ６０２の取得レートは、予期される最大動作周波数の少なくとも２倍になるように設定される。例えば、予期される動作周波数が１０Ｈｚの場合、取得レートは２０Ｈｚとなる。

或る例示的な一実施形態では、取得されたデータを前処理する追加のステップ（図示省略）が行なわれる。この任意のステップは、プロセス５００のステップ５０４と実質的に同様であってもよい。例えば、取得されたデータの前処理は、カメラ６０２によって取り込まれた比較的大きな画像を縮小するために、画像を１／４倍に縮小することができる。

他の例示的な実施形態では、ユーザ装置１５０のカメラ６０２によってキャプチャされたビデオ画像に対してビデオチャネルの縮小が行なわれてもよい。例えば、キャプチャされたビデオの赤色、緑色、及び、青色のチャネルが、式４を使用して単一の輝度チャネルに変換されてもよい。
Y = 0.299R + 0.587G + 0.114B 式４

式４において、Yは、単一輝度チャネルであり、Rは、赤色チャネルであり、Gは、緑色チャネルであり、Bは、青色チャネルである。当業者であれば、赤色、緑色及び青色チャネルの各々の係数は、所望の設定に応じて適宜変更してもよく、式４の係数の使用は単なる例示であることを認識するであろう。

別の例として、カメラ６０２によって取り込まれた映像の任意の入力チャネルは、入力チャネルの任意の線形又は非線形の組み合わせを用いて結合されてもよい。さらに別の他の例として、緑色映像チャネルなどの１つの映像チャネルのみが使用されてもよい。この特定のシナリオでは、一般に映像信号のエネルギーの大部分を含むので、緑色の映像チャネルが使用され得る。

ステップ１１０４において、関心領域が決定される。関心領域は、適切な動き分析が対象とするユーザの画像の領域又は部分である。例えば、歯をブラッシングしているユーザは、彼らの口を囲み、含む領域に対応している関心領域８２０を有する。シェービング、髪のメンテナンス、フロッシングなどのような異なる活動のために、関心領域８２０は、動作が起こる意図された領域を含むユーザの画像の一部を含むように然るべく変化してもよい。

関心領域を決定するために、様々な技術が使用され得る。例えば、関心領域は、ユーザ及び／又はユーザ装置によって予め定義されてもよく、又は、関心領域は、ユーザによって選択されてもよい。一実施形態では、関心領域は、特徴検出に基づいて自動的に決定される。例えば、ユーザの顔及び胸部は、式２と併せてViola-Jones顔検出器又はSMDを用いて検出され得る。別の例として、３次元モデリング及び／又は物理的なマーカ抽出だけでなく、関心領域を決定するためにバックグラウンド減算技術を使用することができる。

ステップ１１０６において、装置の動きが、ステップ１１０４において決定されるような関心領域を用いて抽出される。装置の動きの抽出は、様々な技術を用いて実行され得る。一実施形態では、動きを抽出するために、動き推定技術が使用される。例えば、（3DRS及び／又はOptical Flow技術を使用して）連続画像間の動き推定を使用して動きベクトルが抽出される。一実施形態では、オブジェクト追跡が動きを抽出するために使用される。例えば、実際又は仮想の物体（例えば、口腔衛生器具１０）、あるいは、物体とランドマークとの間の相対距離（例えば、口腔衛生器具１０とユーザの鼻８１０との間のベクトル）を追跡することによって、動きが抽出される。さらに別の実施形態では、動きを抽出するために絶対フレーム差分が使用される。ここで、第１の画像と第２の画像との間の２値差分画像が計算され、次に、画像の各軸に沿った最大値が求められ、動きの重心として使用される。動きを決定するために、様々な重心が連続した画像で使用される。

ステップ１１０８において、抽出された動きが解析され、動き周波数、動き振幅、及び／又は、動き軌跡などの様々な成分に分解される。一実施形態では、データを低減するために前処理が使用される。例えば、PCA、ICA、又は、帯域通過フィルタをデータに適用して、無関係又は不要な情報を除去することができる。一実施形態では、動作周波数を抽出するために周波数特性化が実行される。例えば、動き周波数は、フーリエ解析を使用して支配的な動き周波数を検出すること、及び／又は、運動成分の極値又はゼロ交差を抽出することによって抽出され得る。一実施形態では、動きの振幅を抽出するために振幅の特徴付けが実行される。例えば、連続した極値間の距離、フーリエ表現の支配的な周波数、及び／又は、運動成分の包絡線を用いて運動振幅を抽出することができる。

ステップ１１１０では、ステップ１１０８で実行された分析に基づいてフィードバックがユーザに提供される。一実施形態では、動き特性は、ユーザ装置に記憶された目標とされる動きと比較される。例えば、歯を磨くユーザの所定の目標運動は、ユーザ装置１５０上の記憶装置（ストレージ）１０４４又はメモリ１０６に記憶されてもよい。ユーザ装置（例えば、口腔衛生装置１０）の動きが抽出された後、それを所定の目標運動と比較することによって分析され得る。この分析の結果は、ユーザ装置１５０のディスプレイ６０４上でユーザに提示することができるので、ユーザは、予め定義された目標動作に適合するようにそれらの動作を修正することができる。例えば、ディスプレイ６０４は、図１１のユーザインタフェース１００２，１００４，１００６又は１００８、あるいは、ユーザインタフェース２００，３００，３００´及び／又は４００を提示することができる。

一実施形態では、動作特性は、リアルタイムで、又は、動作が実行された後で、ユーザに提示されるスコアを計算するために使用される。例えば、図４に示されるように、ユーザインタフェース４００は、ブラッシングセッションのためのユーザの様々なスコアを含む。スコアは計算され、ユーザに提示することができるので、ブラッシングが良好であったか悪いかを日又は時間で見ることができる。別の例として、ユーザは、ユーザが目標ブラッシングウィンドウ３１０にどの程度良好に遵守しているかをリアルタイムで見ることを可能にするユーザインタフェース３００又は３００´を提示されることができる。ユーザのブラッシングが低すぎる場合（例えば、ユーザインタフェース３００）、ユーザは、ブラッシングを修正して圧力及び／又は頻度を増加させることができる一方、ブラッシングが大きすぎる場合（例えば、ユーザインタフェース３００´）、ユーザは、圧力又は頻度を減少させることができる。

請求項中の括弧内の任意の参照符号は、請求項を限定するものとして解釈されるべきではない。「有する」又は「含む」なる用語は、請求項に挙げられた要素又はステップ以外の要素又はステップの存在を除外しない。幾つかの手段を規定している装置クレームにおいて、これらの手段の幾つかは、全く同一のハードウェアによって実現されてもよい。単数形の要素は、かかる要素が複数存在することを除外しない。幾つかの手段を規定している任意の装置クレームにおいて、これらの手段の幾つかは、全く同一のハードウェア部品によって実現されてもよい。特定の要素が相互に異なる従属項において言及されているという単なる事実は、これらの要素が組み合わせられないということを示すものではない。

現時点で最も実用的且つ好適と考えられる実施態様に基づき例示の目的のために本発明を詳細に記載したが、そのような詳細は専らその目的のためであること、並びに、本発明は開示の実施態様に限定されず、逆に、付属の請求項の精神及び範囲内にある変更及び均等構成を包含することが意図されていることが理解されるべきである。例えば、本発明は、可能な限り、任意の実施態様の１つ又はそれよりも多くの機能を任意の他の実施態様の１つ又はそれよりも多くのの機能と組み合わせ得ることが理解されるべきである。

Claims (15)

1. 口腔衛生装置を操作している間のユーザの効率を向上させるための方法であって、前記方法は、
   画像キャプチャコンポーネントから少なくとも２つの画像をキャプチャするステップと、
   前記キャプチャされた少なくとも１つの画像に基づいて前記口腔衛生装置を動作させるための関心領域を決定するステップであって、前記関心領域は、ユーザ装置のメモリに予め規定され、ユーザにより手動で選択され、前記ユーザは、前記関心領域を特定するために、画像の一部の領域を手動で選択するステップと、
   前記決定された関心領域に基づいて、前記ユーザによって操作される前記口腔衛生装置の動作に対応する特性を抽出するステップと、
   前記口腔衛生装置の動作の質を決定するため、前記ユーザによって操作される前記口腔衛生装置の動作に対応する前記抽出された特性を分析するステップと、
   前記決定された前記口腔衛生装置の動作の質について前記ユーザにフィードバックを供給するステップと、
   を有する、方法。
2. 前記口腔衛生装置が、筐体部分と、アタッチメントアセンブリ部分と、を有し、
   前記筐体部分が、前記口腔衛生装置の第１の端部に配置され、前記アタッチメントアセンブリ部分が、前記口腔衛生装置の第２の端部に配置され、
   前記画像キャプチャコンポーネントが、前記第１の端部及び前記第２の端部のうちの１つにおいて前記口腔衛生装置に配置される、請求項１記載の方法。
3. 前記画像キャプチャコンポーネントが、前記ユーザによって操作されている間に前記口腔衛生装置の画像をキャプチャ可能なユーザ装置に配置される、請求項１記載の方法。
4. 前記関心領域は決定される前に、前記少なくとも２つのキャプチャされた画像にデータ削減を実行するステップを更に有する、請求項１記載の方法。
5. 前記決定するステップが、前記ユーザの少なくとも１つの物理的な目印を検出するステップを更に有する、請求項１記載の方法。
6. 前記抽出するステップが、前記検出されたユーザの少なくとも１つの物理的な目印を用いて前記口腔衛生装置の動作を追跡するステップを更に有する、請求項５記載の方法。
7. 前記少なくとも１つの物理的な目印が、前記ユーザの鼻、前記ユーザの耳、前記ユーザの目、前記ユーザの口蓋、前記ユーザの胴、及び、前記ユーザの舌のうちの少なくとも１つを有する、請求項５記載の方法。
8. 前記口腔衛生装置が、少なくとも１つの加速度計を更に有する、請求項１記載の方法。
9. 前記供給されるフィードバックが、可聴音、視覚信号、及び、触覚応答のうちの少なくとも１つを有する、請求項１記載の方法。
10. 口腔衛生装置を操作する際の有効性を向上させるためにユーザを補助するためのユーザ装置であって、前記ユーザ装置は、
    少なくとも１つの画像キャプチャコンポーネントと、
    前記ユーザが関心領域を特定するために画像の一部の領域を手動で選択するユーザインタフェースを持つディスプレイスクリーンと、
    通信回路と、
    メモリと、
    少なくとも１つのプロセッサと、
    を有し、
    前記少なくとも１つのプロセッサは、
    前記少なくとも１つの画像キャプチャコンポーネントを用いて、前記口腔衛生装置を操作している前記ユーザの少なくとも２つの画像をキャプチャし、
    前記ユーザが関心領域において前記口腔衛生装置を操作していることの検出に応じて、前記キャプチャされた少なくとも２つの画像から前記口腔衛生装置の動作情報を抽出し、
    前記口腔衛生装置の前記抽出された動作情報の質を決定するために、前記抽出された動作情報を前記ユーザ装置の前記メモリに格納された前記口腔衛生装置のための所定の目標動作と比較することによって、前記ユーザにより操作される前記口腔衛生装置の前記抽出された動作情報を分析し、
    前記口腔衛生装置を操作している前記ユーザにフィードバックを供給する、ように動作可能であり、
    前記関心領域は、前記ユーザによる手動の選択に基づいて、前記ユーザ装置を用いて識別され、
    前記供給されるフィードバックが、前記抽出された動作情報の前記決定された質を有する、ユーザ装置。
11. 前記供給されるフィードバックが、前記ユーザ装置の前記ディスプレイスクリーン上に表示されるユーザインタフェース内に提供される視覚フィードバックを有する、請求項１０記載のユーザ装置。
12. 前記関心領域が、
    前記ユーザ装置の前記メモリに予め規定される、
    前記ユーザによって手動で選択される、
    前記ユーザ装置を用いて、前記口腔衛生装置を操作しているユーザの少なくとも１つの物理的な目印に基づいて識別される、
    前記少なくとも２つの画像で実行されるバックグラウンド減算に基づいて決定される、
    のうちの少なくとも１つである、請求項１０記載のユーザ装置。
13. 前記少なくとも１つのプロセッサが、前記分析の前に、前記抽出された動作情報に対してローパスフィルタを適用するように更に動作可能であり、
    前記ローパスフィルタが、４Ｈｚのカットオフ周波数を持つ、請求項１０記載のユーザ装置。
14. 前記少なくとも２つのキャプチャされた画像が、映像を有し、
    前記少なくとも１つのプロセッサが、
    前記分析のための赤色映像チャネル、緑色映像チャネル、及び、青色映像チャネルの組み合わせを用いて前記映像を単一輝度チャネルに変換する、
    赤色映像チャネル、緑色映像チャネル、及び、青色映像チャネルのうちの１つを選択し、前記分析のため前記映像を単一の輝度チャネルに変換する、
    のうちの少なくとも１つで更に動作可能である、請求項１０記載のユーザ装置。
15. 前記少なくとも２つのキャプチャされた画像が、複数のキャプチャされた画像を有し、
    前記少なくとも１つのプロセッサが、前記複数のキャプチャされた画像において絶対フレーム差分分析を実行するように更に動作可能である、請求項１０記載のユーザ装置。

Images