JP6464082B2 - 患者インタフェース識別システム - Google Patents

Description

本発明は、ユーザの顔に適した患者インタフェースを識別する患者インタフェース識別システムに関する。更なる側面において、本発明は、ユーザの顔に適した患者インタフェースを識別する対応する方法に関する。なお更なる側面において、本発明は、上記患者インタフェース識別システムを制御する対応する方法に関する。また更に、本発明は、コンピュータで実行されるとき、コンピュータに上記方法のステップを実行させるプログラムコード手段を有する対応するコンピュータプログラムに関する。

例えば圧力支援システムにおけるマスクといった患者インタフェースは、ユーザにガスを供給するために使用される。空気、清浄な空気、酸素又はこれらのいかなる変形例といった斯かるガスは、加圧又は非加圧態様において、患者インタフェースを介して、ユーザ（患者とも呼ばれる）に与えられる。

複数の慢性障害及び疾患に対して、斯かる患者インタフェースの使用は、必要である、又は少なくとも望ましい。

斯かる疾患の１つの非限定的な例は、閉塞性睡眠無呼吸又は閉塞性睡眠時無呼吸症候群（ＯＳＡ）である。ＯＳＡは通常、上気道の妨害によりもたらされる。それは、睡眠の間の呼吸の反復休止により特徴づけられ、通常血中酸素飽和における減少に関連付けられる。仮死と呼ばれる呼吸におけるこれらの休止は概して、２０〜４０秒持続する。上気道の妨害は通常、睡眠の間に発生する体の減少した筋緊張によりもたらされる。人間の気道は、軟部組織の壁から成る。これは、睡眠の間、圧壊する可能性があり、これにより呼吸が妨げられる。舌組織は、睡眠の間、喉の後ろの方へ動き、これにより気道がブロックされる。ＯＳＡは従って、一般にいびきを伴う。ＯＳＡに関する異なる侵襲的及び非侵襲的処理が知られている。最も強力で非侵襲的な処理の１つは、持続気道陽圧（ＣＰＡＰ）又は二相式気道陽圧（ＢｉＰＡＰ）の使用である。そこでは、例えば顔マスクといった患者インタフェースが、ホース及び機械に付けられる。この機械は、患者インタフェースに好ましくは空気といった加圧されたガスを送り、このガスは患者の気道を開けておくために、患者の気道を通る。こうして、陽空気圧力が、患者により着用される例えば顔マスクといった患者インタフェース又は呼吸インタフェースに接続されるホースを通り患者に提供される。結果として、患者インタフェースが長期に使用される。なぜなら、患者インタフェースの着用は通常、患者の就眠時間の間起こるからである。

患者インタフェースに関する例は、
鼻にわたり適合して、鼻腔を通りガスを供給する鼻マスク、
口にわたり適合して、口を通りガスを供給する口のマスク、
鼻及び口の両方に適合して、両方にガスを供給するフルフェイスマスク、
鼻、口及び目を囲いフルフェイス又は実質的にフルフェイスを覆い、口及び鼻にガスを供給するトータルフェイスマスク、及び
本発明の範囲内に含まれるマスクとみなされ、鼻腔にガスを直接供給する小さい鼻挿入部から成る鼻枕（代替的なマスクとも呼ばれる）である。

デバイスの信頼性が高い動作を保証するため、患者インタフェース（マスク）は、マスク対フェイスインタフェースでの気密封止を提供するよう患者の顔に密接にフィットする必要がある。通常、患者インタフェースは、患者の頭部の後ろを回るストラップを備えるヘッドギアを用いて着用される。患者インタフェース又はマスクは通常、マスク対患者インタフェースとして使用される、即ちマスクが着用されるとき、患者の顔に接触する柔らかいクッションを有する。これは通常、クッションを適所に保ち、患者インタフェース（マスク）に対して機械的な安定性を供給する堅い又は半硬式の保持構造を構築するいわゆるマスクシェルを有する。

クッションは通常、患者の快適さを増加させ、患者の顔上の柔らかい感覚を保証するため、ゲル又はシリコーン又は他の任意の柔らかい物質でできている１つ又は複数のパッドを有する。後者のマスクシェルは通常、空気を供給するホースをマスクに接続するよう適合されるホースインタフェースも有する。マスクのタイプに基づき、ヒトの顔の気道入力機能の周りでマスクにより課される力のバランスをとるため、額上に付加的なクッション支持部を持つ機構を有することもできる。

患者インタフェースの密接して正確なフィットが、デバイスの信頼性が高い動作に関して最も重要であることは、明白である。患者インタフェースの誤ったフィットは、マスク対顔インタフェースでの不必要な空気漏れをもたらす場合があるだけでなく、患者の顔の皮膚上に過剰な圧点をもたらす場合もある。これは、患者の顔において不快で痛みを伴う赤いマークを引き起こすことがある。患者インタフェースは、従って、患者の個別の顔輪郭に正確に合うことを必要とする。様々なタイプの患者インタフェースが、存在する。即ち、患者インタフェースの異なるサイズ及び形状だけでなく異なるタイプのものが存在する。顔の生体構造特徴は患者ごとに異なるので、最も適合する患者インタフェースも患者ごとに異なる。言い換えると、個別的フィッティングが必要とされる。

簡略化されたフィッティング技術を利用するマスクフィッティングシステムが、ＵＳ２００６／０２３５８７７Ａ１号から知られている。そこに表されるマスクフィッティングシステム及び方法は、テンプレート又は定規を用いて患者の頭部の寸法を決定する。代替的に、患者の１つ又は複数の画像が、キャプチャされ、患者により記入されるアンケートを用いて、患者の頭部の寸法がシステムに手動で入力される（tipped）。いずれにせよ、絶対的な顔の寸法は、手動で測定されるか、又は患者がアンケートを埋めることにより、システムに入力されることを必要とする。これは、もちろん、ユーザにとってわずらわしく、及び時間がかかる。多くの実用的な機器において、顔の寸法は手動で測定されることができない（なぜなら時間がない）、又はユーザの顔の絶対の寸法が前もって分かることはない。その結果、ＵＳ２００６／０２３５８７７Ａ１号において提案されるデバイス及び方法は、不利であるだけでなく、多くの実際的な状況において適用されることができない。

本発明の目的は、彼／彼女にとって最適である患者インタフェースに関して患者にアドバイスすることができる代替的な改良されたシステムを提供することである。特に、本発明の目的は、ユーザの顔に適しており、上述の不利な点を克服する患者インタフェースを識別する患者インタフェース識別システムを提供することである。この新規なシステム及び方法は、ユーザへの適用が容易で、より時間がかからず、多くの日常生活状況において実際的に適用できるべきである。

本発明のある側面によれば、この課題は、ユーザの顔に適した患者インタフェースを識別する患者インタフェース識別システムにより解決される。このシステムは、
上記ユーザの顔を含む試験画像を受信する受信ユニットと、
他のユーザの顔を含む基準画像を格納するデータベースであって、各基準画像が、患者インタフェースアドバイスに対して参照される、データベースと、
上記データベースに格納される基準画像の少なくとも一部と上記受信した試験画像とを比較する処理ユニットであって、上記基準画像の一部と上記試験画像との比較が、上記ユーザの顔及び上記他のユーザの顔の顔立ちを画像に基づいて比較することを含む、処理ユニットと、
上記ユーザの顔に適した患者インタフェースに関連付けられる情報を含む患者インタフェースアドバイスを伝達するユーザインタフェースであって、上記患者インタフェースアドバイスが、上記データベースに格納される基準画像の一部と上記試験画像との比較に基づかれる、ユーザインタフェースとを有する。

本発明の別の側面によれば、上述の課題はユーザの顔に適した患者インタフェースを識別する方法により解決される。この方法は、
上記ユーザの顔を含む試験画像を受信するステップと、
データベースに他のユーザの顔を含む基準画像を格納するステップであって、各基準画像が、患者インタフェースアドバイスに対して参照される、ステップと、
上記データベースに格納される基準画像の少なくとも一部と上記受信した試験画像とを比較するステップであって、上記基準画像の一部と上記試験画像との比較が、上記ユーザの顔及び上記他のユーザの顔の顔立ちを画像に基づいて比較することを含む、ステップと、
上記ユーザの顔に適した患者インタフェースに関連付けられる情報を含む患者インタフェースアドバイスを伝達するステップであって、上記患者インタフェースアドバイスが、上記データベースに格納される基準画像の一部と上記試験画像との比較に基づかれる、ステップとを有する。

なお更なる本発明の側面によれば、上述された課題は、上述のデバイスを制御する方法により解決される。この方法は、
上記ユーザの顔を含む試験画像を受信するステップと、
データベースに他のユーザの顔を含む基準画像を格納するステップであって、各基準画像が、患者インタフェースアドバイスに対して参照される、ステップと、
上記データベースに格納される基準画像の少なくとも一部と上記受信した試験画像とを比較するステップであって、上記基準画像の一部と上記試験画像との比較が、上記ユーザの顔及び上記他のユーザの顔の顔立ちを画像に基づいて比較することを含む、ステップと、
上記ユーザの顔に適した患者インタフェースに関連付けられる情報を含む患者インタフェースアドバイスを伝達するステップであって、上記患者インタフェースアドバイスが、上記データベースに格納される基準画像の一部と上記試験画像との比較に基づかれる、ステップとを有する。

本発明の更に別の側面において、コンピュータ上で実行されるとき、コンピュータに上述した方法のステップを実行させるプログラムコード手段を有するコンピュータプログラムが提供される。

本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法及びコンピュータプログラムが、請求項に記載のシステム及び従属項に記載されるシステムと類似する及び／又は同一の好ましい実施形態を持つ点を理解されたい。

本発明は、上記患者インタフェースの適当なサイズ、形状及び／又はタイプに関して上記ユーザにとって適切な患者インタフェースを識別する技術を提供する。このインタフェースは例えば、ＣＰＡＰシステム又は換気の他のモードのような圧力支援換気システムに関するマスクである。提案されたデバイスは、既知の人又は人のグループの画像に基づいた顔立ちと、基準ユーザの同じ画像に基づいた顔立ちとの比較を用いる。この基準ユーザからの基準画像が、データベースに格納される。それに加えて、例えば顔認識ソフトウェアの支援により、顔認識技術が適用される。基準画像は、プロプライエタリ・データベースに格納される、又はウェブサイト若しくは例えばスマートフォンといった任意の携帯端末装置からアップロードされる画像からサードパーティを通して利用可能とされることができる。

本発明によるソリューションは、他の基準ユーザからの顔とユーザの顔とを比較する。この基準ユーザに関しては、彼らが使用している患者インタフェースのサイズ、形状及び／又はタイプに関するユーザベースの情報がすでに知られている。例えば、使用されるデータベースは、データベースに格納される基準画像において画像化される顔に対して、最適な患者インタフェースに関する情報を含むことができる。試験ユーザの試験画像を分析し、試験画像から試験ユーザの顔の画像に基づいた顔立ちを得て、これらの画像に基づいた顔立ちをデータベースに格納される基準画像（基準ユーザの顔を含む）と比較することにより、試験画像とデータベースに格納される基準画像の少なくとも１つとの間のベストマッチ（例えば、類似性スコアを含む）が発見されることができる。このベストマッチに基づき、患者は、患者インタフェースアドバイスを具備する。即ちどの患者インタフェースが彼／彼女に最も適しているかに関するアドバイスを具備する。しかしながら、患者インタフェースアドバイスは、ユーザがどのマスクを必要とするかを伝えるだけでなく、患者インタフェースに関する拡張された情報も含むことができる。例えば、この特定の顔にこのマスクをより好適につける方法を含む。即ち、任意の調節可能なストラップ接合がある場合、それらをこの顔にどのようにセットするかに関する情報を含む。他方、患者インタフェースアドバイスが、患者インタフェースへの特異的なポインタを必ずしも含む必要があるわけではない。それは、画像比較において発見された他のユーザが、特定のタイプのマスクを好まないといった情報、又は他のユーザが、特定のマスクの特定の種類の設定を好むといった情報、又は他のユーザが、マスクＡ、マスクＢ及びマスクＣをテストしたといった情報を含むこともできる。データベースにおいて画像化される人々は、例えばこれらの人がそれぞれどの患者インタフェースを使用するかが分かっているという意味で、「ユーザ」である必要があることは明らかであろう。その結果、この画像が真に、基準画像における１人又は複数の人に関して既知である特性に試験画像における人を関連付けるのに使用されることができる基準画像となる。データベースにおける人画像は、睡眠治療を実際に受ける患者である必要はない（しかし、これがしばしば起こるケースであるだろう）。理想的には、例えば基準画像の１つにおける人が、新規又は別の患者インタフェースへと変える場合、データベースも更新される。

本発明によれば、試験画像は、データベースに格納される基準画像の少なくとも一部と比較されることができる。これは、いくつか又は複数の試験画像が、前もってソートされることができることを意味する。その結果、それらは比較には使用されない。例えば、試験画像が女性の顔を含むとシステムが認識する場合、女性の顔を含む基準画像だけが比較に使用される。しかしながら、試験画像がデータベースに格納されるすべての基準画像と比較されることもできる。「一部」という用語は従って、すべての基準画像も含む。

更に、比較は、受信した試験画像及び基準画像の分析を含むことができる点に留意されたい。したがって、この分析は、ユーザの顔及び他のユーザの顔の画像に基づいた顔立ちの検出を有することができる。最終的に伝達される患者インタフェースは、上記分析及び上記検出に基づかれることができる。

例えば２次元ランドマーク識別を使用することにより患者インタフェース・マスクを識別するための画像又は写真といった顔の画像を使用する既知のデバイスが存在する。しかしながら、すべての既知のシステム及びデバイスでは、顔の輪郭の絶対の寸法が、既知であるか又は手動で測定される必要がある。即ち、ユーザの顔の顔立ちの絶対の寸法及び距離が利用可能である必要がある。斯かる写真又は画像をキャプチャするための例えばスマートフォンといった携帯用端末装置を使用する既知のシステムも存在する。これは、線形測定と結合して斯かるランドマーク識別を実行するためのアプリケーションを使用する。しかしながら、すべてのこれらの既知のシステム及び方法の制限は、２次元画像から抽出される情報の量が制限されること、及び物理寸法において一般的なデータ及び良好な基準ポイントが欠如していることである。更に顔の輪郭の絶対の寸法が利用できない場合、意味がある測定のために画像を較正することができない。こうして冒頭に記載のＵＳ２００６／０２３５８７７Ａ１号から知られるシステムは、例えば定規又はテンプレートを用いて、患者自身の上で顔の距離を手動で測定する必要があるか、又はこれらの寸法が、既知であり、患者／ユーザ自身により入力される必要がある。

本発明は、その代わりに、データベースからとられる既知の患者又はユーザの顔と比較される試験ユーザの顔の最も近い近似を識別するため、顔認識技術を使用する。こうして、システムにより提供される適切な患者インタフェース（マスク）に関する推奨が、識別された基準人に関する既知の事実に純粋に基づかれる。この事実は、データベースに格納される。例えば、個人Ａの画像が、顔認識ソフトウェアによりデータベースからの個人Ｂに最も緊密な類似であるとわかる。Ｂが特定のタイプの患者インタフェース（マスク）のユーザである場合、同じ患者インタフェースが、個人Ａの顔にも適合する可能性が高い。斯かるユーザベースのデータベースは、サービスプロバイダにより匿名で管理されることができる、又はそれは、特定のソーシャルネットワーク若しくは他のユーザグループを通してスポンサーサイトにより管理されることができる。ユーザの顔の画像に基づいた顔立ちの顔認識及び比較は例えば、小さい顔が大きい顔とは異なるように見えるという事実を利用することができる。こうして、画像に基づいた顔立ちとも呼ばれる特徴的な顔の顔立ちを分析及び比較することにより、試験画像はデータベースに含まれる前述の基準画像に対して比較されることができる。ユーザインタフェースは、適切な患者インタフェースを識別するため、患者インタフェースアドバイスをユーザに伝達することができる。言い換えると、患者インタフェースは、どのタイプ、形状及び／又はサイズが彼／彼女に最も適合するかについてユーザに対応するマスクアドバイスを与える。ユーザインタフェースは例えば、（視覚的な伝達に関して）ＰＣのモニタのような、モニタとすることができる。しかしながら、アドバイスは、（音声アドバイスとして）任意のタイプのラウドスピーカを通してユーザに伝達されることもできる。

患者インタフェースアドバイスという用語は、ユーザに推奨される患者インタフェースのサイズ、形状及び／又はタイプに関する情報に関連付けられる、含む又は有する任意のアドバイスを含むことができる点に留意されたい。しかしながら、患者インタフェースアドバイスは必ずしも、特定のタイプのユーザマスクに対して特定の及び特徴的な推奨を直接与える情報を含む必要はない。患者インタフェースアドバイスは、例えば、特定のタイプの患者インタフェース（マスク）を使用しないための情報又は推奨を含むこともできる、又は試験ユーザ（試験ユーザの顔）に最も強く似ているとわかった基準ユーザが、あるタイプのマスクで問題を起こした若しくは異なるタイプのマスクを好んだという情報を含むこともできる。いずれにせよ、患者インタフェースアドバイスを通して供給される情報の特定のタイプに基づき、患者インタフェースアドバイスは、ユーザが彼／彼女に最も合う適当な患者インタフェースを選択するのを助ける。

本発明のある実施形態によれば、上記ユーザの顔及び上記他のユーザの顔の上記画像に基づいた顔立ちの比較が、上記試験画像及び上記基準画像に含まれる生体構造ランドマークの間の角度比率又は距離比率の決定と、上記試験画像における上記角度比率又は距離比率と上記基準画像の一部の各々における対応する角度比率又は距離比率との比較とを含む。

１つ又は複数の角度比率及び距離比率の組合せが、試験画像及びデータベースに格納される基準画像の比較に使用されることができる点に留意されたい。生体構造ランドマークは、目、鼻又は口又はこれらの一部の位置に関連付けられることができる。したがって、試験画像において、そして、基準画像において識別される生体構造ランドマークは、目、鼻又は口又はこれらの一部の位置を示すことができる。

通常絶対の寸法は、既知ではない又は画像（基準画像及び試験画像）から利用可能でないので、斯かる絶対の寸法は、例えば寸法／角度の比率を算出することにより、画像を測定することなしに平面２Ｄ画像から間接的に推論される。これらの比率を算出するために、絶対の寸法は、既知である、又は利用可能である必要はない。にもかかわらず、これらの比率は、特定の顔の形に関するインジケータであり、１つの顔のサイズに対するヒントを与えることもできる。既に述べたように、これらの比率、例えば目の間の距離と鼻からの口まで距離とのアスペクト比が、大及び小の顔に関して異なってもよい。提案される患者インタフェース識別システムは、ユーザの顔輪郭に関する有益な手掛かりを提供するサイズ及び形状インジケータをインテリジェントに与える。上記インジケータは、容易に比較されることができる。即ち、試験画像から推論されるインジケータが、データベースにおける各々の基準画像から推論されるインジケータと比較される。１つの例示的なインジケータは、口幅に対する口の高さのアスペクト比とすることができる。

試験画像における上記角度比率又は距離比率と基準画像の一部の各々において対応する角度比率又は距離比率とを比較する代わりに、試験画像における上記角度比率又は距離比率は、データベースに格納されるすべての基準画像における対応する角度比率又は距離比率と比較されてもよい。

本発明の更なる実施形態によれば、上記処理ユニットが、上記試験画像における上記角度比率又は距離比率と上記基準画像の１つにおいて対応する角度比率又は距離比率との間のベストマッチに基づき、上記患者インタフェースアドバイスを決定するよう構成される。

このベストマッチは、例えば、最小二乗法を適用することにより見つけられることができる。言い換えると、本発明の実施形態によれば、上記ベストマッチが、上記試験画像における上記少なくとも１つの角度比率又は距離比率と上記基準画像の一部の各々において対応する少なくとも１つの角度比率又は距離比率との間の最小二乗を算出することにより決定される。斯かる算出は、試験画像及びデータベースからの各画像の間の類似性スコアを計算するのを助けることができる。こうして、試験画像に最も緊密な類似を持つ基準画像が、容易に発見されることができる。

角度及び距離比率を分析する代わりに、画像における強度勾配及び相対的な強度勾配が、比較に関するインジケータとして使用されることもできる。本発明の更なる実施形態によれば、上記ユーザの顔及び上記他のユーザの顔の上記画像に基づいた顔立ちの比較が、上記試験画像及び上記基準画像に含まれる生体構造ランドマークに対する所定の位置での強度勾配の決定と、上記試験画像における上記強度勾配と上記基準画像の一部の各々における対応する強度勾配との比較とを含む。前述の強度勾配だけでなく前述の角度及び距離比率に基づき、画像を分析することも可能であり、複数のケースではその方が望ましい点に留意されたい。即ち、上述の技術は、組み合わせられることができる。この場合、処理ユニットは、試験画像における上記角度比率、上記距離比率及び／又は上記強度勾配と基準画像の１つにおいて対応する角度比率、距離比率及び／又は強度勾配との間のベストマッチに基づき、患者インタフェースアドバイスを決定するよう構成される。

本発明の更なる実施形態によれば、上記処理ユニットが更に、上記試験画像及び上記基準画像を分析及び比較する前に、上記試験画像及び上記基準画像の一部の各々において関心領域を検出し、上記試験画像及び上記基準画像を上記関心領域へと切り取り（クロップし）、上記試験画像及び上記基準画像の大きさを一般的な所定のサイズへと変更する（リサイズする）よう構成される。

斯かるクロッピング及びリサイジングは、分析に関する一般的な基礎を形成するのを助ける。試験画像及びデータベースに格納される基準画像が異なる距離から撮られる、もしくは異なるサイズを持つ、又はその中の顔が異なるサイズを含む場合であっても、こうして、画像は一般的なフォーマットにされる。これは特に、上記したように画像を分析し、画像に基づいた顔立ち、即ち画像に含まれる生体構造の顔立ちの前述の角度及び距離比率を識別するのを助ける。これにより、関心領域がそれぞれ、試験画像に含まれるユーザの顔又は基準画像に含まれる他のユーザの顔を含むことが好ましい。

上述の態様において画像の大きさを変更して、切り取った後、すべての関心顔／領域は、同じサイズを持ち、こうして互いに比較するのがより容易である。画像が最初にどのように撮られたかに関係なく、すべての画像は、通行証写真のように見える。これは、画像比較を大幅に向上させて、試験画像に対して最も緊密な類似を持つ基準画像を識別する、即ち適切な患者インタフェース（マスク）を検索するユーザの顔に最も類似するデータベースに含まれる既知の基準顔を識別することを容易にする。

本発明の更なる実施形態によれば、上記処理ユニットが更に、上記試験画像及び上記基準画像を分析及び比較する前に、上記試験画像及び上記基準画像をグレースケール画像へと変換するよう構成される。

好ましくは、グレースケールへのこの変換は、画像の大きさを変更して、切り取った後になされる。しかしながら、それは、前もってされることもできる。もちろん、カラー画像／写真だけがグレースケールに変換される必要があり、一方グレースケール画像としてすでに受信された画像はもう変換される必要はない点に留意されたい。グレースケール画像は関心領域内部における顔の顔立ちをより容易に検出することを可能にする。しかしながら、このシステムは、画像をグレースケール画像に変換することなしに機能する、即ち、画像に含まれる色が分析及び比較を妨げる可能性がある場合であっても、単にカラー画像を比較することにより機能する点に留意されたい。こうして、グレースケール画像が通常、好まれる。

本発明の更なる実施形態によれば、上記ユーザインタフェースが、ベストマッチ患者インタフェースからワーストマッチ患者インタフェースへの階層的な順において、上記ユーザの顔に適した患者インタフェースを識別する患者インタフェースアドバイスを伝達するよう構成される。

言い換えると、結果はリストの形でユーザに対して与えられる。このリストは、試験画像及びデータベースからの基準画像の比較に関して計算された類似性スコアに基づき階層的に順序付けられる。さらに言い換えると、データベースエントリは、計算された類似性スコアに基づきランクを付けられる。類似性メトリックの最小の値を持つ最初の数エントリが、データベースから識別され、抽出されることができる。これらのエントリは、ユーザ（例えば患者）に対して、又は、ユーザの顔に対してベストフィットする適当なマスクを見つけるためにユーザを支援する医師又は技術者に対して示されることができる。これらのエントリは例えば、最も類似するものから最も類似しないものの順に類似性スコアとともに示されることができる。類似性スコアはパーセントにおいて示され、及び／又は合計すると１００％になるよう正規化されることができる。

本発明の更なる実施形態によれば、システムは、上記ユーザの顔の上記試験画像をキャプチャする画像キャプチャユニットを更に有することができる。この画像キャプチャユニットは例えば、標準的な２Ｄ画像を撮像することができる単純な写真又はビデオカメラにより実現されることができる。画像キャプチャユニットにより撮られる試験画像は、例えば処理ユニットといった提案されたシステムの残りの要素に、有線又は無線接続を介して接続されることができる。

上記の患者インタフェース識別システムは例えば、写真カメラを具備するスマートフォンに一体化されることもできる。必要なソフトウェアは、例えば、iPhone（登録商標）アプリ又は他の任意のスマートフォン又はコンピュータに関するアプリとして実現されることができる。しかしながら、これは例示にすぎない。患者インタフェース識別システムは、例えばＰＣ又は他の任意の計算デバイスといったコンピュータに一体化されることもできる点に留意されたい。

本発明による患者インタフェース識別システムの第１の実施形態を概略的に示す図である。 本発明による患者インタフェース識別システムのある実施形態により適用される論理を視覚化するための処理ダイアグラムを示す図である。 本発明による患者インタフェースを識別する方法の実施形態を概略的に説明する処理ダイアグラムを示す図である。 ユーザの例示的な試験画像を示す図である。 切り取られて、大きさを変更された後のユーザの試験画像を示す図である。 画像に含まれる識別された顔のランドマークを含む図５の試験画像を示す図である。 抽出された画像に基づいた顔立ちを持つ図５の試験画像を示す図である。

本発明のこれらの及び他の側面が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。

図１はユーザの顔に適した患者インタフェースを識別する患者インタフェース識別システムの実施形態を示す。このシステムは、マスクフィッティングシステムとも呼ばれる。提案されるシステムの全体が、参照番号１０で表される。図示される実施形態によれば、患者インタフェース識別システム１０は、試験画像１４（例えば図４を参照）を受信する受信ユニット１２を有する。この試験画像１４は、ユーザ１８の顔１６を含む。受信ユニット１２は例えば、システム１０に対する画像を受信する又はダウンロードするのに適した接続インタフェースとして実現されることができる。例は、ＵＳＢインタフェース、firewireインタフェース、Bluetooth（登録商標）インタフェース、無線ＬＡＮインタフェース又は赤外線インタフェースとすることができる。しかしながら、受信ユニットは、任意の外部データベースから試験画像１４をダウンロードするインターネットに接続される単純なインタフェースとすることもできる。更に、受信ユニット１２は、内部又は外部接続とすることができる。例えば、ユーザ１８の顔１６の試験画像１４をキャプチャするキャプチャユニット２０に接続される集積回路接続又は有線とすることができる。

キャプチャユニット２０は、２次元画像を撮るのに適した２Ｄカメラ又はビデオカメラ又は他の任意のデバイスとして実現されることができる。キャプチャユニット２０が、システム１０に必ずしも必要とされるわけではない点を理解されたい。なぜなら、試験画像１４は、外部デバイスを用いて撮られ、受信ユニット１２を介してシステム１０に転送されることもできるからである。

患者インタフェース識別システム１０は、他のユーザの顔を含む基準画像を格納するデータベース２２を更に有する。更に、患者インタフェース識別システム１０は、受信した試験画像１４及びデータベース２２に格納される基準画像を分析し、この試験画像１４をデータベース２２に格納される基準画像と比較する処理ユニット２４を含む。処理ユニット２４は、試験画像１４及びデータベースに格納される基準画像のそれぞれにおいて、ユーザの顔１６及び他のユーザの顔の顔立ちを画像に基づいて分析し、及び比較する。処理ユニット２４は、ユーザの顔及び他のユーザの顔の画像に基づいた顔立ちの分析及び比較に基づき、患者インタフェースアドバイスを決定するよう更に構成される。処理ユニット２４は、データベース２２に格納される基準画像において画像化される既知の人の顔と試験画像１４に含まれる顔１６とを比較する顔認識ソフトウェアを利用することができる。これらの基準画像は例えば、ウェブサイト又は他の任意の携帯端末装置、例えばスマートフォンからアップロードされる画像から、サードパーティを通して利用可能とすることができる。こうして、データベース２２そのものは、デバイスに局所的に一体化される内部データベースを必ずしも持つ必要がなく、インターネット又は他の任意のネットワークを解して利用可能な外部データベース２２であってもよい。

処理ユニット２４は、試験画像１４及びデータベース２２に格納される基準画像を分析及び比較することにより、ユーザ１８の試験画像１４に含まれる顔１６と基準画像における他のユーザの顔との最も近い近似を特定する。言い換えると、処理ユニット２４は、試験画像１４に示されるユーザ１８の顔１６に生体構造の観点から類似する顔をデータベース２２において見つけるため、試験画像１４に最も密接に似ている、即ち、最も類似度の高い、データベース２２に格納される基準画像を識別するよう構成される。この画像分析及び画像比較に基づき、患者インタフェースアドバイスは、決定される。例えば、ユーザ１８の顔１６にベストフィットするマスクの特定のタイプ、サイズ及び形状に関する推奨が、決定／計算される。このマスク使用推奨は純粋に、基準画像において画像化される他のユーザに関する既知の事実に基づきなされる。例えば、顔の認識ソフトウェアを用いて処理ユニット２４により、個人Ａの画像が、データベース２２からの個人Ｂに最も緊密な類似であるとわかる。Ｂが特定のタイプのマスクのユーザである場合、Ａがこのマスクを同様につけることができる可能性が高い。

マスクアドバイス又はマスク使用アドバイスとも呼ばれる患者インタフェースアドバイスが、ユーザインタフェース２６を介してユーザに伝達されることができる。ユーザインタフェース２６は例えば、スクリーン又はディスプレイとして実現されることができる。この上に、決定されたマスクアドバイスが視覚的に示される。しかしながら、ユーザインタフェース２６は、マスクアドバイスを音声形式で出力するラウドスピーカ又は他の任意のタイプの音生成デバイスとして実現されることもできる。

図２は、本発明による患者インタフェース識別システム１０及び提案された方法の原理を再び示す図である。

この処理ダイアグラムは、以下の原理を示す。まず、患者の顔１６の試験画像１４（例えば図４を参照）が、例えばウェブカメラ、スマートフォンカメラ又は他の任意のタイプの標準的な２Ｄカメラといったカメラを用いてキャプチャされる。ループにあるとき、試験画像１４は、データベース２２におけるすべての基準画像と比較される。各比較において、試験画像１４及びデータベース２２からの基準画像の間の類似性スコアが計算される。その後、データベースエントリは、計算された類似性スコアに基づきランク付けされる。類似性メトリックの最小の値を持つ最初の数エントリが、データベース２２から識別され、抽出される。エントリは、最も類似するものから最も類似しないものの順において類似性スコアと共にユーザに示される。類似性スコアはパーセントにおいて示され、合計が１００％になるよう、正規化されることができる。この態様において、マスクのどのタイプ、サイズ又は形状がユーザに適したかに関する情報を含むリストが生成されることができる。システムにより提供される適切な患者インタフェース（マスク）に関する推奨は、識別された基準人に関する既知の事実に純粋に基づかれる。即ち、ユーザの顔における絶対的な寸法を手動又は自動で測定する必要はない。

以下に、本発明の方法及び原理が、例示的な実施形態に基づき、及び図３〜図７を参照して表される。

図３は、本発明の実施形態による方法のフローチャートを示す図である。ユーザの顔に適した患者インタフェースを識別する提案された方法は、５つの方法ステップ１０１〜１０５を基本的に有する。試験画像を受信するステップはここでも、明確に図示されない。

第１のステップは、プリプロセスステップ１０１として表されることができる。このプリプロセスステップ１０１は、３つのサブステップを含む。それは、顔検出ステップ１０１ａ、クロッピング及びリサイジングステップ１０１ｂ及びカラー変換ステップ１０１ｃである。プリプロセスステップ１０１は、データベース２２に格納される基準画像だけでなく試験画像１４にも適用される。

顔検出ステップ１０１ａにおいて、画像に基づいた顔立ち検出アルゴリズムが適用される。例えば、Viola及びJonesによる「Rapid Object Detection Using a Boosted Cascade of Simple Features」、Computer Vision and Pattern Recognition、2001から知られるViola-Jonesアルゴリズムが適用される。これは本書において参照により組み込まれる。また、顔検出ステップ１０１ａにおいて他の又はアナログアルゴリズムが適用されることができる点に留意されたい。

いくつかの携帯デバイス／スマートフォンは、写真取得の間、能動的なカメラ画像において関心領域をタップすることを可能にする。その後、携帯デバイス／スマートフォンは、関心領域において画像品質を最大にするよう焦点／露出を調整する。いくつかの実施形態において、顔に関するサーチ領域を示された関心領域に制限するために、この特徴が呼び出されて用いられることができる。

図４において概略的に示されるように、顔検出アルゴリズムは、異なるスケール比率で検出される見込みがある顔の周りの長方形のセット２７を戻す。言い換えると、試験画像１４及びデータベース２２から基準画像の各々において、関心領域が検出される。その後、長方形位置２７は、画像１４における試験ユーザ１８の顔１６の堅牢な位置を決定するために平均化される。

クロッピング及びリサイジングステップ１０１ｂにおいて、平均化された矩形領域２７は、画像１４から切り取られて（例えば長方形２７周りで０％〜５０％マージンで）、特定の所定のサイズへとスケール化される。このクロップされリサイズされた画像１４'の結果が、図５に示される。斯かるクロッピング及びリサイジングは、分析に関する一般的な基礎を形成するのを助ける。試験画像及びデータベースに格納される基準画像が異なる距離から撮られる、若しくは異なるサイズを含む又はその中の顔が異なるサイズを持つ場合であっても、こうして、画像は一般的なフォーマットへとされる。

カラー変換ステップ１０１ｃにおいて、試験写真／画像１４が、グレースケール画像へと変換される。もちろん、このカラー変換ステップ１０１ｃは、最初に供給された／キャプチャされた試験画像１４がカラー画像である場合にのみ発生することを理解されたい。そうでなければ、この色変換ステップは必要でない。

ランドマーク検出ステップ１０２とも呼ばれる次のステップ１０２は、関心領域内部での顔の顔立ちの検出を有する。このステップに関して、画像に基づいた顔立ち検出アルゴリズムが適用されることができる。図６は、Haar同様の特徴に基づかれる、促進されたカスケード検出に関する典型的な結果を示す。これは、目、鼻及び口角の検出に関して別々に訓練される。顔検出アルゴリズムは、異なるスケール比率で検出される見込みの顔ランドマークの周りの長方形のセット２８を戻す（図６を参照）。クロップされ、リサイズされた試験画像１４'における顔のランドマークの堅牢な位置を決定するため、これらの長方形位置はその後平均化される。

顔立ち抽出ステップ１０３とも呼ばれる次の方法ステップ１０３の間、好ましくは、クロップされ、リサイズされた試験画像１４'から２つのタイプの顔立ちが抽出される。１つは、すべての可能性がある組合せにおけるランドマーク角度及び距離比率であり、２つめは、鼻及び口領域（図７を参照）の周りで抽出される画像の局所的顔立ちである。

図７において、大きいドット３０は、以前のステップにおいて位置決めされるランドマークを示し、小さいドット３０'は、画像の局所的顔立ち抽出に関する（ランドマークに対する）相対的な位置である。局所的顔立ちは、試験画像１４'において識別される局所的画像勾配でありえる。こうして、このランドマーク識別は、画像に基づく顔立ち、例えば目の間の距離と口又は鼻の幅とのアスペクト比を計算することを可能にする。もちろん、顔の形及び特徴的な顔の顔立ちのサイズに対する有益な手掛かりを示し、及び提供する多くの異なる他の比率が計算されることができる。正確な絶対の寸法がわかっていない場合であっても、それは試験画像１４'から直接に顔の寸法を間接的に計算することを可能にする。

得られた画像の顔立ちは、１つ又は複数の特徴ベクトルを生じさせることができる。これらの特徴ベクトルは、試験画像１４'とデータベース２２に格納されるすべての基準画像との両方のグレースケール画像から抽出される。

ステップ１０３において抽出される特徴ベクトルは、通常高い次元で、多くの冗長な無関係な情報を含む可能性がある。従って、特徴ベクトル減少ステップ１０４が適用される。この特徴ベクトル減少ステップ１０４において、特徴ベクトルの次元は、適当な次元の行列との乗算により減らされ、

となる。ここで、ｒｖ_ｔは、テスト画像に関する減少された特徴ベクトルであり、ｒｖ_ｄは、データベース画像に関する減少された特徴ベクトルであり、行列Ｍは、次元ｋ×ｎ（ｋ＞＞ｎ）を持ち、及び行列Ｍは、最善のアドバイスに関してデータベースのｌｅａｖｅ―ｏｎｅ―ｏｕｔ最小二乗平均訓練により得られる。

最後に、いわゆる比較ステップ１０５において、試験画像１４'及びデータベース／基準画像の間の誤差は、減少された特徴ベクトルの間のＩ２ノルムとして規定されることができる。即ち

となる。

類似性スコアは、２つの画像の間の誤差に比例する逆関数として規定されることができ、

となる。ここで、ｃ（＞０）は何らかの較正定数である。

最終的に、ユーザは、こうして、試験画像１４の顔／顔輪郭／顔寸法／顔立ちに最も密接に似ているとわかったデータベース２２に格納される基準画像にマッピングされるマスクアドバイスのリストを具備する。後者に言及された式は、スコアの合計が１００％になることを意味するものではない。従って、いくつかの実施形態において、オプションの正規化／スケーリングステップが設けられることができる。このステップの後、スコアの合計は１００％になる。これは、簡単で高速な態様において適切な患者インタフェースをユーザが見つけることを支援する。

要約すると、本発明は、患者の標準的な２Ｄ画像を単純に撮り、顔の顔立ち検出を適用し、これらの画像に基づく顔立ちをデータベースにおける既知のユーザの画像と比較することにより、ベストマッチする患者インタフェース（マスク）を識別することを可能にする技術を提案する。それに加えて、患者上において、即ち患者の顔において広範囲な測定が直接なされる必要がなく、コストのかかる３Ｄスキャンは、必要でない。

本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。

請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体に格納／配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。

請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (15)

1. ユーザの顔に適した患者インタフェースを識別する患者インタフェース識別システムであって、
   前記ユーザの顔を含む試験画像を受信する受信ユニットと、
   他のユーザの顔を含む基準画像を格納するデータベースであって、各基準画像は、患者インタフェースアドバイスに対して参照されるべき画像であり、当該各基準画像に含まれる顔に適した患者インタフェースに関する情報を含むデータベースと、
   前記データベースに格納される基準画像の少なくとも一部と前記受信した試験画像とを比較する処理ユニットであって、前記基準画像の一部と前記試験画像との比較が、前記ユーザの顔及び前記他のユーザの顔の顔立ちを画像に基づいて比較することを含む、処理ユニットと、
   前記ユーザの顔に適した患者インタフェースに関連付けられる情報を含む患者インタフェースアドバイスを伝達するユーザインタフェースであって、前記患者インタフェースアドバイスが、前記データベースに格納される前記基準画像の一部と前記試験画像との比較に基づかれる、ユーザインタフェースとを有する、患者インタフェース識別システム。
2. 前記ユーザの顔及び前記他のユーザの顔の顔立ちを画像に基づいて比較することは、前記試験画像及び前記基準画像に含まれる生体構造ランドマークの間の角度比率又は距離比率の決定と、前記試験画像における前記角度比率又は距離比率と前記基準画像の一部の各々において対応する角度比率又は距離比率との比較とを含む、請求項１に記載の患者インタフェース識別システム。
3. 前記処理ユニットが、前記試験画像における前記角度比率又は距離比率と前記基準画像の１つにおいて対応する角度比率又は距離比率との間のベストマッチに基づき、前記患者インタフェースアドバイスを決定するよう構成される、請求項２に記載の患者インタフェース識別システム。
4. 前記ベストマッチが、前記試験画像における前記角度比率又は距離比率と前記基準画像の一部の各々において対応する角度比率又は距離比率との間の最小二乗を算出することにより決定される、請求項２に記載の患者インタフェース識別システム。
5. 前記ユーザの顔及び前記他のユーザの顔の顔立ちを画像に基づいて比較することは、前記試験画像及び前記基準画像に含まれる生体構造ランドマークに対する所定の位置での強度勾配の決定と、前記試験画像における前記強度勾配と前記基準画像の一部の各々において対応する強度勾配との比較とを含む、請求項１に記載の患者インタフェース識別システム。
6. 前記生体構造ランドマークが、目、鼻若しくは口又はこれらの一部の位置に関連付けられる、請求項２又は５に記載の患者インタフェース識別システム。
7. 前記処理ユニットが更に、前記試験画像及び前記基準画像を分析及び比較する前に、前記試験画像及び前記基準画像の一部の各々において関心領域を検出し、前記試験画像及び前記基準画像を前記関心領域へと切り取り、前記試験画像及び前記基準画像の大きさを一般的な所定のサイズへと変更するよう構成される、請求項１に記載の患者インタフェース識別システム。
8. 前記関心領域が、前記試験画像に含まれる前記ユーザの顔又は前記基準画像に含まれる前記他のユーザの顔を含む、請求項７に記載の患者インタフェース識別システム。
9. 前記処理ユニットが更に、前記試験画像及び前記基準画像を分析及び比較する前に、前記試験画像及び前記基準画像をグレースケール画像へと変換するよう構成される、請求項１に記載の患者インタフェース識別システム。
10. 前記患者インタフェースアドバイスが、前記ユーザに対して推奨される前記患者インタフェースのサイズ、形状及び／又はタイプに関する情報を含む、請求項１に記載の患者インタフェース識別システム。
11. 前記ユーザインタフェースが、ベストマッチ患者インタフェースからワーストマッチ患者インタフェースへの階層的な順において、前記ユーザの顔に適した患者インタフェースを識別する患者インタフェースアドバイスを伝達するよう構成される、請求項１に記載の患者インタフェース識別システム。
12. 前記ユーザの顔の前記試験画像をキャプチャする画像キャプチャユニットを更に有する、請求項１に記載の患者インタフェース識別システム。
13. ユーザの顔に適した患者インタフェースを識別する方法において、
    前記ユーザの顔を含む試験画像を受信するステップと、
    データベースに他のユーザの顔を含む基準画像を格納するステップであって、各基準画像は、患者インタフェースアドバイスに対して参照され、前記データベースは、当該各基準画像に含まれる顔に適した患者インタフェースに関する情報を含む、ステップと、
    前記データベースに格納される基準画像の少なくとも一部と前記受信した試験画像とを比較するステップであって、前記基準画像の一部と前記試験画像との比較が、前記ユーザの顔及び前記他のユーザの顔の顔立ちを画像に基づいて比較することを含む、ステップと、
    前記ユーザの顔に適した患者インタフェースに関連付けられる情報を含む患者インタフェースアドバイスを伝達するステップであって、前記患者インタフェースアドバイスが、前記データベースに格納される前記基準画像の一部と前記試験画像との比較に基づかれる、ステップとを有する、方法。
14. 請求項１乃至１２のいずれかに記載のシステムを制御する方法において、
    前記ユーザの顔を含む試験画像を受信するステップと、
    データベースに他のユーザの顔を含む基準画像を格納するステップであって、各基準画像は、患者インタフェースアドバイスに対して参照され、前記データベースは、当該各基準画像に含まれる顔に適した患者インタフェースに関する情報を含む、ステップと、
    前記データベースに格納される基準画像の少なくとも一部と前記受信した試験画像とを比較するステップであって、前記基準画像の一部と前記試験画像との比較が、前記ユーザの顔及び前記他のユーザの顔の顔立ちを画像に基づいて比較することを含む、ステップと、
    前記ユーザの顔に適した患者インタフェースに関連付けられる情報を含む患者インタフェースアドバイスを伝達するステップであって、前記患者インタフェースアドバイスが、前記データベースに格納される前記基準画像の一部と前記試験画像との比較に基づかれる、ステップとを有する、方法。
15. コンピュータ上で実行されるとき、コンピュータに請求項１３に記載の方法のステップを実行させるためのプログラムコード手段を有するコンピュータプログラム。

Images