JP6363608B2 - 患者の顔面データにアクセスするためのシステム - Google Patents

患者の顔面データにアクセスするためのシステム Download PDF

Info

Publication number
JP6363608B2
JP6363608B2 JP2015536250A JP2015536250A JP6363608B2 JP 6363608 B2 JP6363608 B2 JP 6363608B2 JP 2015536250 A JP2015536250 A JP 2015536250A JP 2015536250 A JP2015536250 A JP 2015536250A JP 6363608 B2 JP6363608 B2 JP 6363608B2
Authority
JP
Japan
Prior art keywords
patient
face
computer
template
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015536250A
Other languages
English (en)
Other versions
JP2016505280A (ja
Inventor
ニコラエヴィチ ズナメンスキー,ドミトリー
ニコラエヴィチ ズナメンスキー,ドミトリー
ブレー,カルル カタリーナ ファン
ブレー,カルル カタリーナ ファン
ソルデア,オクタヴィアン
リウ,ホン
ヘース,フランシスキュス ヘンドリキュス ファン
ヘース,フランシスキュス ヘンドリキュス ファン
フリュッテルス,リュート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016505280A publication Critical patent/JP2016505280A/ja
Application granted granted Critical
Publication of JP6363608B2 publication Critical patent/JP6363608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826Detecting or evaluating apnoea events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/06Respiratory or anaesthetic masks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/06Respiratory or anaesthetic masks
    • A61M2016/0661Respiratory or anaesthetic masks with customised shape
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3306Optical measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/60General characteristics of the apparatus with identification means
    • A61M2205/6063Optical identification systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/60General characteristics of the apparatus with identification means
    • A61M2205/6063Optical identification systems
    • A61M2205/6072Bar codes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20088Trinocular vision calculations; trifocal tensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、患者の顔面データを収集するためのテンプレートおよびシステムに関する。対応するデータ収集のための方法および患者の顔面の3次元データを収集するための方法も同様である。
患者インターフェイス、口及び/又は鼻をカバーするためのマスクといったものが、患者に対してガスを配送するために使用される。そうしたガス、空気のようなもの、清浄空気、酸素、または、それらの組合せが、加圧または減圧された方法において患者インターフェイスを介して、患者に対して提供される。
慢性的な障害および疾病に対しては、そうした患者インターフェイスを患者に対して長期に取り付ける必要があり、もしくは、少なくとも賢明である。
そうした疾病に対する限定することのない一つの例は、閉塞性睡眠時無呼吸または閉塞性睡眠時無呼吸症候群(OSA)である。OSAは、たいてい上気道の閉塞によって引き起こされる。OSAは、睡眠の最中の呼吸における反復性のある停止によって特徴付けられ、かつ、たいてい血液の酸素飽和度の低下に関連している。こうした呼吸における停止は、無呼吸(apnoea)と呼ばれるが、典型的には20秒から40秒間続くものである。上気道の閉塞は、たいてい睡眠の最中に生じる体の筋緊張の低下によって引き起こされる。人間の気道は、柔らかな組織の壁で構成されており、崩れることがり、それによって睡眠の最中の呼吸を妨害し得る。舌組織は、催眠の最中に喉の背面に向かって移動し、それによって、気道を塞いでしまう。OSAは、従って、一般的にいびきを伴うものである。
OSAのための侵襲的および非侵襲的な異なる治療が知られている。最も強力な非侵襲的治療の一つは、持続式陽圧呼吸療法(CPAP)またはバイレベル気道陽圧(BiPAP)である。そこでは、患者インターフェイス、例えば顔面マスクが、チューブとマシンに取り付けられており、マシンが、患者インターフェイスの中および気道を通じて加圧されたガス、望ましくは空気を吹きこみ、気道が開いているように維持する。正空気圧は、このように、患者によって着用された、顔面マスクといった、患者インターフェイスまたは呼吸インターフェイスに接続されたホースを通じて、患者に対して提供される。上述の患者インターフェイスの長期使用が結果として生じる。患者インターフェイスの着用は、患者の睡眠時間の最中に起こるものだからである。
患者インターフェイスの例は、以下のとおりである。
−鼻マスク、鼻の上からフィットして、鼻腔を通じてガスを配送するもの
−口マスク、口の上からフィットして、口を通じてガスを配送するもの
−フルフェイスマスク、鼻と口の両方の上からフィットして、両者に対してガスを配送するもの
−全体顔面マスク、顔面全体にわたりフィットするもの
−鼻ピロー、本発明の範囲内において同様にマスクとしてみなされるが、ガスを直接的に鼻腔に配送する小さな鼻インサートで構成されるもの。
患者インターフェイスは、たいてい、ある種のヘッドギアを使用して患者の頭上に位置決めされる。患者インターフェイスの着用は、不快なことがある。患者インターフェイスと患者の顔面との間の気密シールを提供するために、患者インターフェイスが顔面上にしっかりと着用される必要があるからである。
患者インターフェイスが患者の顔面上に良好にフィットしない場合、患者インターフェイスの着用は、より不快なものになり得る。さらに、それぞれ患者に対するそうした「間違いの」患者インターフェイスは、患者インターフェイスを外した際に、圧力痕と赤斑点を結果として生じ易い。さらに、患者に適用されたそうした患者インターフェイスは、患者の顔面に対するコンタクトゾーンにおいていくつかのガス漏れを起こすことがあり、治療全体を非効率的または無効果にしてしまう。
赤斑点の形成を結果として生じ、かつ、非効率な治療に導く、これらの不利な点、つまり着用が不快であることを、低減するために、患者インターフェイスは、異なるサイズおよび形状において提供される。望ましくは、全ての患者に対して、適切な患者インターフェイスが存在するようにである。個々の患者に対してフィットする患者インターフェイスを見つけるために、異なる患者インターフェイスの集合の中で、トライアンドエラーに基づいて、または、患者の顔面を計測することによって、探査が行われ得る。
両方の方法、つまり、トライアンドエラー同様に既知の方法に従った顔面プロポーションの正確な計測は、非常に時間がかかり、かつ、多くの誤差の元も提供する。トライアンドエラー方式での選択は、彼自身/彼女自身によるマスクのフィットの評価に基本的に基づくものであり、フィット品質という目的から逸脱し得るし、一方、いくつかの距離およびプロポーションを決定するために患者の顔面を詳細に計測することは誤差を含み得るし、累積誤差の対象にもなり得る。さらに、計測のために画像記録装置を使用する場合には、スケールを引き出すための追加的手段が背景に配置される必要がある。
著者不明”Fotowand Mona Lisa 94×64cm gunsting kaufen bei PartyDeko.de”、23June2012、(URL:https://web.archive.org/web/20120623112814/http://www.partydeko.de/forowand.mona−lisa−94−x−64−cm.html)は、モナリザの映像を用いたフォトウォールであって、人が自分の顔面を置き入れることができる穴が開いているフォトウォールを開示している。
K.Mishimaら共著”Production of a range image for facial motion analysis:A method for analyzing lip motion”、Computerized Medical Imaging and Graphics、Pergamon Press、New York、US、vol.30、no.1、1January2006、pages53−59は、***裂および詳細には口蓋をもった患者の唇の動きを解析する方法を開示している。そこでは、ビデオベースのモーションキャプチャシステムから距離画像が生成される。
米国特許第7127081B1号明細書は、同一または別の人物の3次元顔面モデルをアニメーションする目的で人物の顔面の動きをトラックするための方法を開示している。3次元顔面モデルは、人物の顔の幾何学的(形状)とテクスチャ(色)特性の両方を有する。顔面モデルの形状は、3次元の三角メッシュ(幾何学的メッシュ)を介して表現され、一方、顔面モデルのテクスチャは、2次元複合画像(テクスチャ画像)を介して表現される。人物の顔面のグローバルモーションとローカルモーションの両方がトラックされる。顔面のグローバルモーションは、3次元における顔面の回転と移動を含んでいる。顔面のローカルモーションは、話すこと及び顔の表情によって生じる、唇、眉毛、等の3次元モーションを含んでいる。人物の顔面の顕著な特徴、及び/又は、人物の顔面上に置かれたマーカーの2次元位置が、顔面の2次元画像のタイムシーケンスの中で自動的にトラックされる。顔面のグローバルおよびローカルモーションは、顕著な特徴またはマーカーのトラックされた2次元位置を使用して別個に算出される。グローバルモーションは、回転および位置ベクトルによって2次元画像において表現されるが、一方で、ローカルモーションは、笑っている口、吊り上った眉毛、等といった、顔面動作の量を特定するアクションベクトルによって表現される。
独国特許出願公開第2449855A号明細書は、メガネがユーザの顔面におおよそフィットできるように、ユーザの瞳孔の距離を取得するための方法を開示している。
米国特許第7127081B1号明細書 独国特許出願公開第2449855A号明細書
本発明の目的は、患者インターフェイスが患者の顔面に快適にフィットするように、個々の患者に対する患者インターフェイスを選択することを補助し、かつ、最適な選択を可能にすることである。
本発明の第1の態様に従って、請求項1に応じたコンピューティングデバイスが提供される。本コンピューティングデバイスは、カメラによって撮影された少なくとも2つの2次元画像に基づいて、患者の患者顔面寸法を提供するように構成されている。前記2次元画像それぞれは、前記患者の顔面と少なくとも一つのコンピュータで検出可能なエレメントを示しており、かつ、前記2次元画像は、異なる視角からの前記患者および前記少なくとも一つのコンピュータで検出可能なエレメントを示しており、前記コンピューティングデバイスは、
−前記患者顔面寸法を提供するための、少なくとも一つの出力インターフェイスと、
−複数の前記2次元画像を受信するための、少なくとも一つの入力インターフェイスと、
−プロセッサとメモリを含む処理装置であり、前記メモリは前記プロセッサによって実行可能な一つまたはそれ以上のルーチンを保管している、プロセッサと、を含み、
前記一つまたはそれ以上のルーチンは、
−前記2次元画像を処理し、
−前記少なくとも一つのコンピュータで検出可能なエレメントの既知の寸法及び/又は2つの前記少なくとも一つのコンピュータで検出可能なエレメント間の既知の距離に基づいて、前記2次元画像のそれぞれにおいて、前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きを決定し、
−前記2次元画像および前記決定された前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きに基づいて、3次元データを構築し、かつ、
−前記3次元データに基づいて、前記患者の顔面の患者寸法データを提供する、ように適合されている。
本発明の別の態様に従って、請求項5に応じた患者の顔面データを収集するためのシステムが提供される。本システムは、
−患者の顔面データを収集するためのテンプレートであり、表面、前記表面における前記患者の顔面のための開口部、および、寸法基準情報を提供するための少なくとも一つのコンピュータで検出可能なエレメント、を有するテンプレートと、
−前記テンプレートおよび前記テンプレートに係る前記開口部の中の前記患者の顔面に係る前記複数の2次元データを記録するためのカメラと、
−請求項1に記載のコンピューティングデバイスと、を含む。
本発明に係るクレームされない一つの態様に従って、患者の顔面データを収集するためのテンプレートが提供される。本テンプレートは、
−表面と、
−前記表面における、前記患者の顔面のための開口部と、
−前記表面上の少なくとも一つのマーキングであり、寸法基準情報を提供するために、コンピュータによって検出され得るマーキングと、を含む。望ましくは、患者の顔面データの収集は、患者の顔面に係る人体測定データの収集である。
用語「寸法(”dimension”)」は、本発明のコンテクストの中で使用されるように、これらに限定されるわけではないが、長さ、幅、及び、角度といったものを包含する寸法として理解されるべきである。
用語「コンピュータで検出可能なエレメント(”computer−detectable element”)」は、本発明のコンテクストの中で使用されるように、それぞれのテンプレート上のあらゆる構成上のエレメントとして理解されるべきであり、テンプレートの画像における寸法基準情報を提供し得るものである。情報は、コンピュータ、コンピュータで検出可能なエレメント自身の既知の寸法、または、少なくとも2つのコンピュータで検出可能なエレメント間の距離に基づく既知の寸法のいずれかによって引き出され得る。そうしたコンピュータで検出可能なエレメントは、従って、テンプレート自身のあらゆる基本的な構成上のエレメントであってよい。これに限定されるわけではないが、テンプレートの角のような、定義された位置を有するものである。テンプレート上で提供されるあらゆる好適なエレメント、表面上のマーキングのようなものも、また、使用され得る。ここにおける表面は、テンプレートの内部及び/又は外部境界を含んでいる。コンピュータで検出可能なエレメントの望ましい実施例は、本発明に従ったマーキングである。
用語「マーキング(”marking”)」は、本発明のコンテクストの中で使用されるように、テンプレート上、つまり表面上で、提供されるエレメントとして理解されるべきである。マーキングは、好適なコントラストのおかげでコンピュータが検出可能であり、さらに、定義された位置及び/又は定義された寸法を有している。これらに基づいて、コンピュータは、画像における寸法基準情報を引き出すことができる。マーキングの既知の寸法、または、少なくとも2つのマーキング間の既知の距離に基づく既知の寸法のいずれかによるものである。マーキングは、表面における構成上の変形によって具現化され得るもので、切欠きのような、テンプレートの内部及び/又は外部境界を含んでいる。望ましくは、マーキングは、刻印によって具現化される。表面上に直接的に、または、例えば粘着ラベルといったラベルを介して、いずれかでプリントされる。
用語「人体測定(”anthropometric”)」は、本発明のコンテクストの中で使用されるように、個々の顔面特徴と顔面特徴間の絶対的および相対的なサイズと距離、および、患者の顔面の中の顔面ランドマークを特に包含しているものとして理解されるべきである。これらに限定されるわけではないが、鼻の長さと幅、顎から鼻上部までの距離、両頬間の距離、口の幅、等のようなものである。さらに、これらのデータは、また、顔面特徴および顔面ランドマーク自身それぞれの位置を含んでおり、上記の距離およびサイズを算出するために使用され得る。
用語「コンピュータで検出可能(”detectable by a computer”)」は、本発明のコンテクストの中で使用されるように、コンピュータ自体の仕様に限定されるものではなく、コンピュータおよびコンピュータ類似デバイスの機能を指すものとして理解されるべきである。これらに限定されるわけではないが、スマートフォン、タブレットPC、デジタルカメラ、等であり、画像データにおけるそれぞれのマーキングを検出して認識するものである。
用語「カメラ(”camera”)」は、本発明のコンテクストの中で使用されるように、患者の画像データを生成することができるあらゆる好適なカメラとして理解されるべきである。この画像データは、2次元データまたは3次元データのいずれであってもよい。本発明のコンテクストの中で典型的なカメラは、例えば、デジタルカメラ、ウェブカメラ、コンピュータの中に統合されたカメラ、タブレットPCまたはスマートフォンの中のカメラ、である。
そうしたテンプレートは、データの収集をアシストするオブジェクトを非常に容易に使用する。データは、望ましくは、デジタルカメラのような、画像を記録するためのデバイスを使用した患者の顔面の人体測定データである。そこには、望ましくは開口部が備えられており、患者の顔面がこの開口部の中にフィットするようなサイズと形状をしている。鼻、口、顎、頬、または、眼のような適切な顔面特徴が観察され、検出される一方で、頭の残りの部分は、開口部の周りの周辺表面によってカバーされるようにである。このことは、特に、例えば、白、青、赤、緑、等のような、定義された色が表面に使用されている場合に、明瞭な背景を提供する。これにより、集約的で時間のかかるアルゴリズムを計算する必要なしに、表面と背景との間に区切りを定めることができる。従って、顔面は、画像上で容易にローカライズされ得る。さらに、少なくとも一つのマーキングによって、画像の中に基準が提供される。従って、この少なくとも一つのマーキングは、望ましくは、既知の特性を含んでいる。例えば、長さ、幅、パターン、等のようなものである。さらに、患者の顔面にフィットする上述の開口部のおかげで、上述の顔面特徴の最も重要な顔面寸法、これらに限定されるわけではないが、鼻の幅と高さ、口の幅、および、顔面高さといったものが、テンプレートとしてのおおよそ同一平面内に位置している。従って、患者の顔面寸法は、患者の顔面の望ましいデータを意味しているが、望ましくは、顔面とテンプレートの2次元表現、例えば画像、におけるそれぞれの位置と距離を、いくつかのマーキング間における幅、高さ、または距離のような、少なくとも一つのマーキングの既知のデータと比較することから引き出され得る。
テンプレートは、数個のマーキングを含んでよい。数個のマーキングは、テンプレートの中にさらなる参照データを含んでいる可能性を提供する。さらに、複数のマーキングは、それぞれのマーキングが異なるデザイン、形状、または、パターンを有するようにデザインされ得る。そうした異なる特性は、起こり得る誤差を低減するために使用され得る。それぞれのマーキングがコンピュータまたはコンピュータ類似デバイスによって検出され、かつ、参照データ、従って顔面の患者寸法を決定するために使用されるものが、ただ一つのマーキングから引き出される場合に起こり得る誤差である。数個のマーキングを使用することによって、この誤差は、上記全ての決定された参照データを平均化することで基本的に取り除かれる。カメラまたは類似品の部分的に不正確な光学系のせいで生じる誤差のリスクを低減するためにも、望ましい実施例においては、数個のマーキングが、テンプレートの全てにわたり均等に配置されている。
テンプレートは、シートのような材料で製造されてよい望ましくは、テンプレートは、紙のシートでできている。シートのような材料によってテンプレートを提供することで、軽量で容易に移動され得るテンプレートを結果として容易に取り扱うことができる。特に紙を使用することによって、容易に利用可能であり、比較的に安価で、薄くて軽量でもある材料が使用されることになる。
本発明に係るクレームされない別の態様に従って、本発明に従ったテンプレートを提供する方法が提供される。本方法は、
−印刷可能なシート上に少なくとも一つのマーキングと少なくとも一つのカットマーキングを印刷するステップと、
−少なくとも一つのカットマーキングに基づいて開口部を切り出すステップと、を含む。このようにして、テンプレートを容易に製造することができ、かつ、ユーザに対して容易に配布することもできるテンプレートが提供される。ユーザがテンプレートの製造を完遂できるような方法においてさえもである。このことは、ユーザに対してそれぞれのテンプレートをすぐに使える形式において送付することによって具現化され得る。または、例えば、切欠き部を完全に切り出す最後のステップを除いて、出荷の最中にシート材料の構造統合性が低減されないようにする。ユーザは、次に、彼/彼女自身によって、この最後のステップを実行することができる。さらに、紙のシートがテンプレートに使用されている場合は特に、テンプレートは、電子的方法でユーザに対して提供され得る。例えば、電子メールを介して、または、インターネットからのダウンロードを介する、ようなものである。ユーザは、次に、ファイル形式でテンプレートをダウンロードすることができる。望ましくは、テンプレート寸法が絶対値を維持するように、絶対的な寸法を保持する好適なグラフィカルファイル形式である。そうした形式の一つの実施例は、一般的に知られているPDFフォーマットである。ユーザは、次に、このテンプレートを印刷して、開口部を切り出す最後のステップによって製造プロセスを完了する。それによって、テンプレートを容易に配布することができ、ユーザは、本発明に従って、テンプレートを容易に使用することができる。
用語「ユーザ(”user”)」は、本発明のコンテクストの中で使用されるように、本発明に従ったデバイスおよび方法に係るあらゆるユーザを示すものとして理解されるべきである。ユーザは、例えば、患者インターフェイスの製造者または提供者であってよい。代替的に「ユーザ」は、また、(医療)専門家または患者を指してもよい。これら2つは、特に、上述のように、テンプレートを提供する容易な方法から利益を受けるであろう。患者は、例えば、上述のテンプレートを家で印刷出力して、彼/彼女自身の画像を医療専門家または患者インターフェイスの提供者/製造者に送付することによって、テンプレートを利用することができる。
用語「患者寸法データ(”subject dimensional data”)」は、本発明のコンテクストの中で使用されるように、寸法データを示すものとして理解されるべきである。実際のオブジェクトである、例えば患者の顔面またはテンプレート上の、例えば寸法、位置、サイズ等である。あらゆる基準または処理なしに、画像から直接的に引き出され得る対応するデータとは対照的である。それらは、画像寸法データとしてみなされ得る。
コンピューティングデバイスは、有利にも、処理装置を介して、上述の患者顔面に係る患者寸法データを提供するためのステップを実行することができる。それによって、処理装置は、最終的にデータを提供することができる。望ましくは、例えば、カメラによって記録された画像データに基づく患者の顔面に係る人体計測データである。このために、コンピューティングデバイスは、例えば、テンプレートの表面上の少なくとも一つのコンピュータで検出可能なエレメントを認識して、望ましくはテンプレートのマーキングである少なくとも一つのコンピュータで検出可能なエレメントの参照データを引き出すことができる。さらに、コンピューティングデバイスは、望ましくは、上述の顔面寸法を決定するために、患者の顔面の顔面特徴または顔面ランドマークを認識することができる。そして、次に、少なくとも一つのコンピュータで検出可能なエレメントに基づいて決定された参照データを使用して、こうして達成されたデータを変換することができる。代替的または追加的に、コンピューティングデバイスは、画像データにおける顔面特徴及び/又は顔面ランドマークの位置に関するユーザ入力を受け入れてよい。例えば、処理装置による自動的な検出が失敗し、または、不正確な場合である。結果として、顔面の患者寸法と特徴が提供され得る。
用語「コンピューティングデバイス(”computing device”)」は、本発明のコンテクストの中で使用されるように、上述のオペレーションを実行することができるあらゆる好適なデバイスであるとして理解されるべきである。そうしたコンピューティングデバイスの望ましい実施例は、パーソナルコンピュータまたはポータブル電子デバイスであり、これらに限定されるわけではないが、携帯電話、スマートフォンのような、タブレットPC、デジタルカメラ、等といったものである。そうした実施例において、「少なくとも一つの出力インターフェイス」は、これらに限定されるわけではないが、ディスプレイのような、ユーザとコミュニケーションするために好適なあらゆるデバイスであり得る。従って、「少なくとも一つの入力インターフェイス」は、カメラまたは類似のもの、のような画像記録装置に対するあらゆる接続、または、画像記録装置自身、例えばカメラ、のいずれとしてもみなされ得る。
遠方の又はクラウドコンピューティングを用いた実施例を考慮すれば、「コンピューティングデバイス」は、また、本発明に従った機能を示す、あらゆる遠方のコンピュータまたはサーバーであってよい。そこにおいて、「少なくとも一つの出力インターフェイス」および「少なくとも一つの入力インターフェイス」は、例えば、サーバー等のポートのような、仮想インターフェイスによって具現化される。さらに、それらのインターフェイスは、また、例えばインターネットを介して、遠方のコンピューティングデバイスと接続している又は接続し得るものであり、従って、この遠方のコンピューティングデバイスとユーザとの間のインターフェイスとして動作するローカルデバイスとしてもみなされ得る。
本発明のコンピューティングデバイスに係る一つまたはそれ以上のルーチンは、
−少なくとも一つのコンピュータで検出可能なエレメントを画像における共通リファレンスとして使用することによって、数個の2次元画像から3次元データを生成する、ように適合されている。コンピューティングデバイスのそうしたデザインによって、さらに、患者に対して最適にフィットする、顔面マスクのような、患者インターフェイスを見つけ又はデザインするために、患者の顔面に係る患者寸法を決定することができる。それだけでなく、また、顔面の3次元モデルを生成する可能性を提供することもできる。それによって、患者インターフェイスの正確なモデルを具現化することができ、もしくは、コンピュータシステムを介して少なくともテストすることができる。テンプレートにおけるコンピュータで検出可能なエレメントの助けを借りて数個の2次元画像からこの3次元データを生成することによって、例えば、デジタルカメラまたはスマートフォンを用いてユーザが適切な2次元画像を取得することが可能である。そして、例えば、患者のために最も適切なマスクを見つけるために、それぞれのデバイスに3次元データを生成させ、もしくは、患者インターフェイス設備の提供者に対して2次元データを送付するか、のいずれかである。患者がユーザである場合は、例えば、彼/彼女が、彼/彼女の所有するデジタルカメラまたはスマートフォンを使用すれば、それぞれの3次元データを容易に作成して提供する方法が、再び、達成され得る。
本発明のコンピューティングデバイスに係る3次元データを生成するための一つまたはそれ以上のルーチンは、さらに、
−患者の顔面および異なる位置からの少なくとも一つのマーキングに係る数個の2次元画像を受信し、
−前記少なくとも一つのコンピュータで検出可能なエレメントの前記画像データに基づいて、それぞれの画像における前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きを決定し、かつ、
−前記2次元画像およびそれぞれの画像に対して決定された前記距離と向きに基づいて、3次元データを構築する、ように構成されている。この実施例は、数個の2次元画像による3次元データの生成がどのように具現化され得るかの典型的な方法を説明している。そこにおいて、および、以降の類似の態様および実施例においては、異なる位置は、望ましくは、向きが異なるものである。
本コンピューティングデバイスの別の実施例に従って、3次元データを生成するための一つまたはそれ以上のルーチンは、さらに、
−画像データにおける前記少なくとも一つのコンピュータで検出可能なエレメントに基づいて、少なくとも一つの基準距離を決定し、
−画像データにおける顔面ランドマークに基づいて、顔面寸法を決定し、
−画像データにおける前記少なくとも一つの基準距離の、前記少なくとも一つのコンピュータで検出可能なエレメントそれぞれに基づいた対応する既知の患者基準距離に対する比率に基づいて、前記画像データにおける前記画像寸法を患者寸法に対してスケールし、かつ、
−前記患者顔面寸法を提供する、ように構成されおり、望ましくは、前記ルーチンは、さらに、
−患者の顔面に係る画像データにおいて前記顔面ランドマークを検出する、ように適合されている。
用語「顔面ランドマーク(”facial landmark”)」は、本発明のコンテクストの中で使用されるように、患者の顔面における特徴またはオブジェクトとして理解されるべきである。患者に対して最適にフィットする患者インターフェイスを提供するために、それらの寸法と位置に関して知るのに適切なものである。そうした顔面ランドマークは、例えば、鼻、鼻翼、眼、口、口角、頬、顎、等である。それらは、従って、上述の顔面特徴に対応するか、または、同一のものであってよい。
用語「患者(顔面)寸法(”subject(facial)dimesion”)」は、本発明のコンテクストの中で使用されるように、実際のオブジェクトである、例えば患者の顔面またはテンプレート上の、例えば寸法、位置、サイズ等の寸法を示すものとして理解されるべきである。あらゆる基準または処理なしに画像から直接的に決定される画像の中にあるそれぞれの寸法とは対照的である。それらは、画像寸法データとしてみなされ得る。従って、「患者(顔面)寸法」は、実際のオブジェクトのこの特別な寸法を示している。
コンピューティングデバイスは、本発明に従った方法を実行することができる。従って、入力インターフェイスを介して、カメラから画像データを受信することができる。カメラは、望ましい実施例において本発明に従ったコンピューティングデバイスまたはシステムの一部であり得る。コンピューティングデバイスは、また、ディスプレイ、プリンタ等のような、出力インターフェイスを介して、患者顔面寸法をユーザに対して直接的に提供し得る。つまり、生の患者寸法データとしてのものである。代替的に、コンピューティングデバイスは、また、例えば、患者のためにどの患者インターフェイスが適切であるかのアドバイスの形式で処理された情報も提供し得る。
望ましい実施例において、コンピューティングデバイスは、別のデバイスから送信されるか、または、ユーザによって入力される顔面ランドマークのデータなしに、顔面データ自身を決定することもできる。上述のようなさらに望ましい実施例において、コンピューティングデバイスは、次に、完全に自動的な方法で動作し得る。患者顔面寸法を提供するためには画像データだけが必要であるように、もしくは、患者のための適切な患者インターフェイスについて既にアドバイスをするようにである。
コンピューティングデバイスの代替的な実施例においては、顔面ランドマークが、ユーザによってコンピューティングデバイスに対して提供される。このことは、例えば、別の入力インターフェイスを介して具現化され得る。そうしたインターフェイスは、キーボード、コンピュータマウス、タッチスクリーン、等であってよい。
これらの実施例においては、以降の本発明に従った方法と同様に、例えば、顔面ランドマークが、ユーザ入力または別のシステムのいずれかによって提供され得る。一つの実施例は、インターフェイスを介したユーザによるそれぞれの顔面ランドマークの特定であろう。望ましくは、これらの顔面ランドマークは、コンピューティングデバイス自身によって検出される。
本コンピューティングデバイスの別の実施例に従って、画像データにおける画像寸法のスケーリングは、遠近補正を含む。これにより、歪んだデータを導くであろう角度から撮影された画像を考慮することができる。
本コンピューティングデバイスの別の実施例に従って、コンピューティングデバイスは、さらに、カメラを含む。そうしたコンピューティングデバイスは、容易に取り扱うことができるコンパクトなデバイスとしてデザインされ得る。この実施例において、カメラは、少なくとも一つの入力インターフェイスに対して画像データを直接的に提出することができる。
本システムの一つの実施例に従って、本システムは、さらに、
−本発明に従って画像データを処理するための処理装置を伴うコンピューティングデバイスと、を含み、
前記カメラは、前記画像データを前記コンピューティングデバイスに送付するようにデザインされており、かつ、
前記コンピューティングデバイスは、少なくとも一つの入力インターフェイスを介して前記カメラから前記画像データを受信するようにデザインされている。このシステムのセットアップは、異なる有利なやり方であってよい。テンプレートとカメラをユーザ側に備えておき、一方で、コンピューティングデバイスを遠方のサイトに置くようなことである。例えば、患者インターフェイスの製造者または提供者の居場所、または、例えば、一般的にインターネットを介して及び/又はホストされたアクセス可能な場所である。
本システムの一つの実施例に従って、カメラとコンピューティングデバイスは、一つのデバイスの中に結合されている。このようにして、テンプレート、および、カメラとコンピューティングデバイスが結合されたデバイスとを有することによって、システム全体のコンパクトなデザインが達成され得る。そうした結合デバイスの典型的な実施例は、例えば、ウェブカムを伴うコンピュータ、必要な処理能力を有するカメラまたはデジタルカメラを伴うタブレットPCまたはスマートフォン、であり得る。
本システムの別の態様に従って、請求項10に応じた患者の顔面の3次元データを収集するための方法が提供される。本方法は、
−カメラによって撮影された少なくとも2つの2次元画像を提供するステップであり、前記2次元画像のそれぞれは、前記患者の顔面と少なくとも一つのコンピュータで検出可能なエレメントを示しており、かつ、前記2次元画像は、異なる視角からの前記患者および前記少なくとも一つのコンピュータで検出可能なエレメントを示している、ステップと、
−前記少なくとも一つのコンピュータで検出可能なエレメントの既知の寸法及び/又は2つの前記少なくとも一つのコンピュータで検出可能なエレメント間の既知の距離に基づいて、前記2次元画像のそれぞれにおいて、前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きを決定するステップと、
−前記2次元画像および前記決定された前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きに基づいて、3次元データを構築するステップと、を含む。
患者の顔面データを収集するための一つの実施例に従って、
−患者の顔面および少なくとも一つのマーキングに係る画像は、コンピューティングデバイスによって提供され、かつ、受信され、
−コンピューティングデバイスは、前記患者顔面寸法を提供する。このようにして、本方法が可能であり、望ましくは、コンピューティングデバイスを介して実行され得る。より望ましい実施例において、コンピューティングデバイスは、また、本方法の残りのステップを実行し得る。画像寸法のスケーリングと同様に、画像における基準距離と顔面寸法を決定するステップのようなものである。そうした望ましい実施例においては、顔面ランドマークが、コンピューティングデバイスに対して提供されるか、または、つまりコンピューティングデバイス自身によって決定されるか、いずれでもよい。
患者の顔面データを収集するための別の実施例に従って、本方法は、さらに、方法の開始において、
−本発明に従ったテンプレートを提供するためのステップと、
−開口部の中で前記患者の顔面を位置決めするステップと、を含む。
本発明の方法によって、本発明に従ったテンプレートが望ましくは使用される場合に、患者の顔面の3次元データの非常に容易な収集が達成され得る。それぞれ少なくとも一つのマーキングの既知の寸法とパターンのおかげで、画像における顔面の距離と向き、または別の言葉で言えば、顔面の画像を撮影したカメラの距離と向きの決定が具現化され得る。数個の2次元画像に基づいて、より容易に3次元データの再構築が可能となるようにである。
3次元データを収集するための方法の別の実施例において、本方法は、さらに、
−顔面の前記画像データにおける顔面ランドマークを提供するステップと、
−前記画像データにおける前記少なくとも一つのマーキングに基づいて、少なくとも一つの基準距離を決定するステップと、
−前記画像データにおける前記顔面ランドマークに基づいて、顔面寸法を決定するステップと、
−前記画像データにおける前記少なくとも一つの基準距離の、前記少なくとも一つのマーキングそれぞれに基づいた対応する既知の患者基準距離に対する比率に基づいて、前記画像データにおける前記画像寸法を患者寸法に対してスケールするステップと、を含む。ここにおいて、「画像データ」は、望ましくは、3次元データとして理解されるべきものである。
さらに本発明のさらなる態様に従って、コンピュータ上で実行されると、コンピュータに上述の方法のうちあらゆる一つの方法に係るステップを実行させるプログラムコードを含む請求項10に応じたコンピュータプログラムが提供される。そうしたコンピュータプログラムまたはコンピュータプログラム製品は、あらゆる好適な方法で提供され得る。このことは、例えば、ストレージ媒体上、コンピューティングデバイス上、また、データ転送を介して行われ得る。インターネット、または、以降にも説明されるように他のあらゆる好適な方法を介するようなものである。
本発明のさらに別のクレームされない態様は、患者のための患者インターフェイスを提供する方法に関する。本方法は、
−本発明に従ったテンプレート、本発明に従ったコンピューティングデバイス、または、本発明に従った方法によって取得された前記患者の顔面の3次元データを受信するステップと、
−前記患者のための患者インターフェイスを製造するために前記受信された前記患者の顔面の3次元データを使用して、前記患者のための前記患者インターフェイスの形状を決定、及び/又は、既定の患者インターフェイスのセットから前記患者のために適切な患者インターフェイスを選択する、ステップと、を含む。
望ましくは、本方法は、さらに、本発明に従ったテンプレート、本発明に従ったコンピューティングデバイス、または、本発明に従った方法、もしくは、患者の顔面データを獲得するための本発明に従った方法によって取得されたデータ、を使用するステップを含んでいる。
本発明に係るこれら及び他の態様は、以降に説明される実施例から明らかになり、かつ、実施例に関連して理解されるだろう。
図1は、本発明の一つの実施例に従った、第1のテンプレートの模式的ビューを示している。 図2は、本発明の一つの実施例に従った、第2のテンプレートの模式的ビューを示している。 図3は、本発明の一つの実施例に従った、第3のテンプレートの模式的ビューを示している。 図4は、本発明の一つの実施例に従った、第4のテンプレートの模式的ビューを示している。 図5は、本発明の一つの実施例に従った、システムの模式的ビューを示している。 図6は、患者によって使用されている図1のテンプレートの模式的ビューを示している。 図7は、患者の顔の顔面ランドマークに係る追加的な長方形マーキングを伴う図6の模式的ビューを示している。 図8は、患者の顔の顔面ランドマークに係る追加的な円形マーキングを伴う図6の模式的ビューを示している。 図9は、図6に係る表現の模式的な斜視図を示している。 図10は、異なる角度から図6の表現の模式的な斜視図を示している。
本発明に従ったテンプレートの実施例が、至るところに示され、図1から図10の助けを借りて説明される。参照番号10、11、12および13によって、それぞれに実施例の全体が示されている。さらに、テンプレート10を含む本発明に従ったシステムが、至るところに示され、図5から図10の助けを借りて説明される。参照番号50によって、実施例の全体が示されている。
図1に示されるテンプレート10は、シート14により製造され、従ってシートを含んでいる。シートは、本実施例において紙のシートである。テンプレート10は、従って、また、表面16を含んでいる。表面は、シート14の一方の側である。表面16において、開口部18が配置されている。この開口部18は、本実施例において、シート14のほぼ中央に配置されている。テンプレート10の本表現においては、開口部18の周囲のカットマーキング20が見られる。このカットマーキング20は、以降に説明されるテンプレート10の製造において使用される。
シート14上に、マーキング22、24、26および28が備えられている。これら4つのマーキング22、24、26および28は、テンプレート10の本実施例において、開口部18の周囲に均等に配置されている。それらは、説明されるように、画像データにおけるリファレンスを形成するので、基準マーカーとしてみなされ得る。基準マーカーは、画像システムの視野において使用されるオブジェクトであり、作成された画像の中に現れる。参照ポイントまたは計測ポイントとして使用するためである。テンプレート10におけるように4つのマーキングを用いて、それぞれのマーキングは長方形のシート14の一つの角に配置されている。テンプレート10においてマーキング22、24、26および28は、この所定の実施例において、マトリクスコード(matrix−code)のような基準マーカーによって実現されている。それらのマトリクスコード基準マーカーは、シート14上に信頼できるマーキングを形成する。コンピュータまたはコンピュータ類似デバイスが、それらのマーキング22、24、26および28を検出できるようにである。そして、一方では、さらに、画像を記録しているカメラに対するシート14の向きが判断でき、かつ、他方では、カメラによって撮影された画像における距離と、画像における距離に対応する現実の又は実質的な距離との間の比率を決定することができるようにである。別の言葉で言えば、マーキングによって、基本的に、画像と現実との間のスケール(scale)を決定することができる。従って、マーキング22、24、26及び/又は28の間の距離は、それぞれに既知である。このことは、水平方向および垂直方向のいずれの距離も既知であることを意味しており、かつ、マーキング24とマーキング26との間の距離のような対角線の距離もまた、知り得ることを意味している。基本的に、マーキング22、24、26及び/又は28の間のあらゆる適切な距離または距離の組合せは、本発明に従ってテンプレートを使用するために、知られるべきである。そうした距離または寸法は、また、本発明において、リファレンス対象距離/寸法としても参照される。別の可能性は、それぞれのマーキング22、24、26及び/又は28の寸法が代替的または追加的に知られることであろう。このことは、一つまたはそれぞれのマーキングの幅と高さによって、上述のスケールが決定され得ることを意味している。マーキング22、24、26および28から派生する情報/データは、さらに、それらのデザインによって拡張される。マトリクスのようなパターンのおかげでそれぞれのマーキング22、24、26および28はお互いに異なるので、それぞれのマーキングを特定することができ、派生した情報はテンプレート10、つまり表面16の上のそれぞれの位置に対して割り当てられる。
シート14は容易に曲げることができるので、シート14の追加的な固定が役に立つ。シート14の表面16の平面形状を結果として変化させ得る、シート14に係るあらゆる望まれない曲げ又は変形を回避するためである。そうした変形は望ましいものではない。なぜなら、テンプレート10の画像の撮影から結果として生じる、シート14または表面16の2次元プロジェクション(projection)は、患者の顔面のあらゆる患者寸法を決定するための基礎であり、その2次元プロジェクションが、おそらく、マーキング22、24、26及び/又は28の異なる形状を示し、または、平坦な表面16上での現実の距離に対応しない、それらのマーキング間の距離を示し、そして、従がって、リファレンスとしてマーキングを使用するときに間違った患者寸法を導くだろうからである。従って、これらの実施例においては、シート14上に折り曲げ線30、32、34および36が示されている。これらの折り曲げ線30、32、34および36に沿って、外側リム38を後ろ向き又は外向きに折り曲げることができる。図1の表現に関して、このリム38が図面の観察者から後ろに離れるように移動し、一方で、シート14の表面16が表現の平面内に維持されるようにである。このことは、シート14上のインストラクション39によって示されており、例えば「外向き折り曲げ(”Fold outwards”)」と述べている。これらの折り曲げ線30、32、34及び/又は36の少なくともいくつかに沿って、望ましくは、これら全ての折り曲げ線に沿って折り曲げることにより、テンプレート10は安定する。ここで、シート14の表面16は、開口部18と同様にマーキング22、24、26および28を含んでいるが、平面表面16を伴う形状をいまだに維持している。別の言葉で言えば、表面16の平面形状が安定化され、そのようにして、望まれない変形が回避される。
図2は、上述の図1に係るテンプレート10に基本的に対応するテンプレート11を示している。テンプレート10とテンプレート11との間の主要な相違は、使用されるマーキングにある。以降の説明、および、図2の説明に対して一般的に、テンプレート10と比較して同一のテンプレート11の部分は、同一の参照番号によって示されている。
テンプレート11の表面16を含んでいる図示されたシート14上にも、患者の顔面のための開口部18が備えられている。開口部18の周囲には、カットマーキング20が同様に備えられている。さらに、表面16上の開口部18の周りには、いくつかのマーキング40、42および44が配置されている。テンプレート11の本実施例において、マーキング40、42および44は、黒丸としてデザインされている。テンプレート11においては、マーキング40、42および44に対して3つの異なる種類の丸が備えられている。図2の表現に関して左上の角において、マーキング40として比較的に大きな丸が見い出される。これとは対照的に、テンプレート11に係る残りの3つの角に対しては、より小さな丸が使用されている。つまり、マーキング42、42’、42’’である。それぞれの角におけるそれらのマーキング間においては、例えば、マーキング40とマーキング42との間またはマーキング42とマーキング42’との間を意味しているが、いくつかのより小さな丸がマーキング44として配置されている。このテンプレート11におけるマーキング44は、基本的に、一つの角から他の角へ、それぞれのマーキング40、42、42’および42’’間の水平方向および垂直方向の接続線上に整列されている(本表現に関して)。これらのマーキング40、42、44は、別の種類を基準マーキングを表している。
テンプレート11の残りの部分、例えば、折り曲げ線30、32、34および36、または、インストラクション39は、テンプレート10と同一であり、より詳細な再度の説明はされない。
図3は、別のテンプレート12を示している。ここにおいて、テンプレート10と11とを比較して同一のテンプレート12に係る部分は、同一の参照番号によって示されている。このテンプレート12も、また、表面16を伴うシート14を含んでいる。表面16において、開口部18も、カットマーキング20に囲まれて、備えられている。この点で、テンプレート12は、テンプレート10および11と同一である。しかしながら、テンプレート12は、長い方の側において切欠き45を有している。長方形状および図3の表現に関してである。これらの切欠き45は、それぞれのエッジ46を導く三角形状を有している。それぞれのエッジ46は、表面16上で定められた位置を有しており、従って、正確な寸法情報、つまりエッジ46関連付けの距離が、そうしたエッジ46から引き出され得る。
エッジ46は、従って、基準マーカーとしてもみなされ得る。テンプレート12の画像においてエッジ46が容易に検出できるように、表面16と画像における背景との間の高コントラストが有益である。
図4は、テンプレートの第4の実施例、つまりテンプレート13、を示している。ここにおいて、テンプレート10、11および12と比較して同一のテンプレート13に係る部分は、同一の参照番号によって示されている。表面16と開口部18を伴うシート14を有しており、テンプレート13は、また、テンプレート10、11および12と同様である。テンプレート10と11に類似して、テンプレート13も、また、インストラクション36と同様に、折り曲げ線30、32、34および36を含んでいる。
テンプレート10、11および12と対照的に、テンプレート13は、カットマーキング47を開口部18の周囲に有している。このカットマーキング47は、他のテンプレートの実施例に係るカットマーキング20とは異なっている。切欠き48が、マーキング20の楕円形のような形状において備えられているところである。これらの切欠き48は、三角形状であり結果としてエッジ49を生じている。これらのエッジ49は、テンプレート13の下記後部18から離れる方向を指すように向けられている。エッジ46と同様に、エッジ49は、基準マーカーであるともみなされ得る。従って、開口部18における表面16の背景との間の高コントラストは、この実施例において、例えばコンピュータによる、テンプレート13の画像におけるエッジ49に係る信頼性のある正確な方向のために有益である。背景は、典型的には、開口部18における患者の顔面によって提供されるので、そうしたコントラストは、有利なことに、一般的に、この実施例の中で与えられる。
テンプレート10、11、12および13に係るコンテクストにおいて、3つのタイプのマーキングが上述されてきたが、あらゆる好適な種類のマーキングが、コンピュータまたはコンピュータ類似デバイスによって表面16上に検出され得る望ましいテンプレートのシート14に係る表面16上に使用され得ることは、言うまでもない。患者の距離及び/又は位置に対する画像における距離及び/又は位置間の比率を最後には提供する、マーキングからのさらなる情報が、引き出され得るようにである。さらに、それぞれのマーキングは、それぞれのテンプレート上のそれぞれのカメラの視野角に関する情報を得るのに適切であるべきである。それによって、視差および測定間違いが回避され、もしくは、以降に説明されるように、顔面寸法を決定する場合のコンピュータまたはコンピュータ類似デバイスに係る以降の計算において、少なくとも認識され、かつ、考慮され得るようにである。
さらに、テンプレート10、11、12および13から既に明らかなように、使用されるマーキングの数量は様々であってよい。基本的に、使用されるマーキングの数量は、それらのマーキングによって貢献される利点および特徴から、利益を得ることができるように適切なものであるべきである。さらに、テンプレート10、11、12及び/又は13に係る異なるマーキングにあらゆる好適な組合せが使用され得ることは、言うまでもない。
テンプレート10、11、12または13の製造は、異なる方法であってよい。上述のように、シートのような材料であるシート14が、本発明の中で、それぞれのテンプレート10、11、12、13の基礎として望ましい。このシートのような材料は、一般的に、薄い金属、紙、ボール紙、または、望ましくは軽量で生産容易な他の好適な材料であってよい。この材料の上に、それぞれのマーキング及び/又は折り曲げ線(必要であれば)が、配置され得る。別に、例えば粘着ラベルを貼る、印刷する、または、類似のもの、のような好適な方法を介して行われるものである。さらに、ゲージ(gauge)のような背面の使用(図示なし)、望ましくは、ボール紙、プラスチック、金属のような、より安定で、かつ、より変形を生じにくい材料で構成されたものが使用され得る。その上に、フォイルまたは紙のような、別の薄いシートが、例えば接着材を使用して取付けされ得る。ここにおいて、この追加のシートは、テンプレート10、11、12または13の目的のために望ましいマーキングを含んでいる。そのような安定した材料が、最後に説明した実施例のように、安定した背面を伴って使用される場合、または、シート14のためにより安定した材料が使用される他のあらゆる実施例においては、折り曲げと、従って、上記の折り曲げ線30、32、34および36は、不要である。このゲージのような平面は、また、患者もしくは患者の顔面上でテンプレート10、11、12、13をフィットして支えるさらなるエレメントを含んでよい。
テンプレート10、11、12および13に係る望ましい実施例において、シート14は、紙のシートによって具現化される。この紙と、従って一般的にシート14は、あらゆる好適なサイズであってよい。開口部18が、患者の顔面を収容でき、かつ、追加の周囲の表面16が、シート上に配置されるべきマーキングのために十分な場所があるようにである。本発明の望ましい実施例において、シート14は、USリーガル又はUSレター、DIN A4サイズのような、標準印刷用紙からなる紙のシートである。こうした上述の例は別として、テンプレート10、11、12、13のサイズにフィットする限りは、より小さい、等しい、または、より大きいあらゆるサイズが使用され得る。
このように、テンプレート10、11、12または13が、PDFのような、デジタルフォーマットにおいてユーザに配布されることも可能である。ユーザが、次に、標準サイズの紙を使用して標準プリンタでテンプレート10、11、12または13を印刷出力できるようにである。これによって、それぞれのテンプレート10、11、12または13のための印刷可能データを含んでいる一般的な標準ファイルがそれぞれの患者に対して使用されるか、もしくは、患者特定のファイルが、ユーザ又はそれぞれの患者個人のための患者インターフェイスに係る製造者または提供者によって提供されるか、いずれでもよい。そうしたファイルにおいては、個別化され得るいずれのマーキングも含むことができ、上述のマトリクスコードのようなマーカーのように、撮影された画像によってだけ患者を特定することができる。または、バーコードまたはマトリクスコードのような、追加の指標もそうである。患者がユーザである場合は、このように、患者が、自宅で写真/画像を撮影して、次に、撮影された画像を患者インターフェイスの製造者または提供者に対して送付することができ、本発明に従って、画像における情報だけに基づいて、患者を特定して、患者インターフェイスのために必要な寸法を引き出すことができる。
別の実施例において、ユーザは、コンピュータ上のプログラム、もしくは、スマートフォンまたはタブレットPC上のアプリケーションと呼ばれるものを使用してよく、本発明に従って患者の寸法を決定することができる。この処理された患者の寸法は、次に、患者インターフェイスの製造者または提供者に対して、プログラムまたはアプリケーションによって直接的に送信、または、ユーザによって手動で送信されるか、いずれかであってよい。
ユーザがテンプレート10、11または12を印刷出力した場合、彼/彼女は、次に、カットマーキング20に沿って開口部18を切り出し得る。このために、テンプレート10、11および12の図1と図2における表現も、また、切り出し段階以前のそれぞれのテンプレート10、11および12を示しているものとみなされ得る。テンプレート12と13の切欠き45と28、および、テンプレート13のカットマーキング47に対しても、同様である。その後、ユーザは、(テンプレート10、11および13における)シート14のリム38を後ろに折り曲げるために、折り曲げ線30、32、34および36を使用してよい。それによって、テンプレート10、11または13は、紙シート14の薄いシート材料のせいで通常起こり得る変形が結果として生じにくい。
図5のコンテクストにおいて、本発明に従ったシステム50が示され、かつ、説明される。このシステム50は、この実施例において、テンプレート10を含んでおり、図5に模式的に図示されている。しかしながら、テンプレート11、12または13のような、本発明の目的のために好適なあらゆるテンプレートも、また、本発明に従って使用され得ることは、言うまでもない。
さらに、システム50は、カメラ52を含んでいる。このカメラは、画像データを望ましくは記録することができ、かつ、直接接続、またはストレージ媒体のいずれかを介して、別のデバイスに対して、それらのデータを電子的に提出することができる、あらゆるカメラであってよい。カメラ52は、従って、あらゆるカメラ、ウェブカム、コンピュータに統合されたウェブカム、タブレットPCまたはスマートフォンの中のカメラ、または類似のもの、であってよい。
システム50に係る本実施例において、カメラ52は、処理装置54に接続されている。この接続を介して、カメラ52は、さらなる処理のために、処理装置54に対して記録された画像データを提出することができる。この接続は、矢印56によって示されている。処理装置54は、次に、カメラ52によって提供された画像データの中にテンプレートを検出することができ、テンプレート10の開口部8の中で患者の顔面を特定し、かつ、患者の顔面において適切な顔面ランドマークを認識する。患者の顔面の適切な寸法を決定するためである。従って、処理装置54は、また、テンプレート10上のマーキング22、24、26および28のような、本発明に従ったあらゆるマーキングも認識することができる。患者の顔面のデータを収集するための全ての方法は、例えば処理装置54を用いて行われ得るものであるが、以降に、さらに詳しく説明される。処理装置54は、プロセッサと少なくとも一つのメモリ(図示なし)を含んでよい。メモリは、プロセッサ上で実行可能であり、かつ、望ましくは処理装置54によって実行されるステップのための基礎であるルーチンを保管するためのものである。
処理装置54は、さらに、患者の顔面の収集されたデータ、望ましくは人体測定データを、別のデバイスまたは処理装置54のユーザに提供し得る。このことは、矢印58によって示されている。また、処理装置54は、カメラ52から受信したデータ、処理されたデータ、または、あらゆる他の関連するデータを、データベース60に保管することができる。さらに、処理装置54は、また、カメラ52から受信したデータと同様に処理装置54によって処理されたデータ、例えば患者の顔面データを、データベース60の中の比較可能なデータと比較してもよい。処理装置54とデータベース60との間におけるこれらの言及されたデータ交換は、2重矢印62によって示されている。
カメラ52と処理装置54を含んでいるシステム50は、カメラ52と処理装置54が一つのデバイスの中に含まれるように具現化され得る。統合されたカメラを伴うコンピュータ、カメラを伴うタブレットPCまたはスマートフォン、のようなものである。また、カメラ52と処理装置54が別個のデバイスとしてデザインされたシステムも、本発明に従って可能である。ここにおいて、カメラ52と処理装置54は、有線、無線、または、ストレージ媒体を介してデータを交換する。例えば、矢印56に対応するものである。これは、例えば、カメラが、処理装置54に対応する、コンピュータに接続された別個のウェブカメラである場合、または、カメラ52が、ユーザのところに置かれたウェブカメラ、デジタルカメラ、または、あらゆる他のカメラ装置であり、かつ、処理装置54が、患者インターフェイスの製造者または提供者のような、別の場所に置かれている場合であり得る。この典型的なセットアップにおいて、ユーザは、患者とテンプレート10、11、12、13の画像を撮影して、ストレージ媒体またはインターネットを介して、これらのデータを、例えば、製造者または提供者に対して送付するだけである。製造者または提供者は、次に、本発明に従って、処理装置54に応じて、データを処理する。患者がユーザである場合、彼/彼女は、彼自身/彼女自身の画像を撮影し、それに応じて進行することができる。
処理装置54は、また、コンピューティングデバイス64の一部分であってもよい。このコンピューティングデバイス64は、さらに、データベース60及び/又はカメラ52を含んでよく、または、矢印56、58および62によって示されるように、それらのうち少なくとも一つに対して少なくとも接続されている。コンピューティングデバイス64が、これらのデバイスに接続されている場合、このことは、入力および出力インターフェイスによって行われ得る(矢印56、58および62によって示されている)。
以降で、および、図6と図7のコンテクストの中において、テンプレート10の使用と、従って、患者の顔面のデータを収集するための方法が、より詳細に説明される。テンプレート10が以降の説明のために使用されても、それに応じて、テンプレート11、12、13、または、あらゆる他の好適なテンプレートが使用され得ることは、言うまでもない。
図6は、シート14の表面16において開口部18を伴うテンプレート10を示している。この開口部18の中で、患者70、特に彼の顔面72が位置決めされる。この顔面72の適切な患者の寸法が決定されるべきである。患者に対して快適で、かつ、例えばフルフェイスマスクのような、適切な患者インターフェイスを提供するためである。従って、鼻74の幅と高さ、口76の幅、および、顎78から鼻74の上端への距離といった、最も重要な顔面の寸法が決定される。上述の寸法は、例示として述べられただけのものであり、適切な寸法をこれら3つの寸法/距離に限定することを意図するものではないことは、言うまでもない。実際に、患者インターフェイスを患者70の顔面に対してフィッティングするために使用され得る、あらゆる好適な寸法または距離は、本発明に従った、方法によって、および、システム50とテンプレート10、11、12、13を用いて決定され得る。
テンプレート10、11、12、13を使用する場合、患者70は、彼/彼女の顔面がそれぞれのテンプレート10、11、12、13の開口部80の中にあるように、彼/彼女の手で容易にテンプレート10、11、12、13を保持することができる。それにより、全ての適切な顔面ランドマークは、おおよそテンプレート10、11、12、13と同一平面に置かれる。表面16と同一平面を意味するものである。上述のような患者70である彼/彼女によるテンプレート10、11、12、13を配置する方法は別として、患者の顔面上にテンプレートを配置する他のあらゆる好適な方法が可能である。例えば、ユーザが、患者70の顔面72上にテンプレートを保持してもよいし、もしくは、スタンド(図示なし)又は類似のものが使用されてよい。
適切な顔面ランドマークを検出した後、以降に図7のコンテクストの中で説明されるが、患者70を伴うテンプレート10の画像の中の寸法が決定され得る。画像におけるそうした寸法を現実に存在する患者の寸法に変換するために、上述のように、マーキング22、24、26及び/又は28の寸法と距離が使用され得る。従って、かつ、例示として、マーキング22とマーキング24との間の距離、矢印80によって示されているものが、知られている。対応して、マーキング24と26、26と28、および、28と22との間の距離も同様に知ることができる。これらは、それぞれに、矢印82、84および86によって示されている。患者の基準距離(reference distance)80、82、84及び/又は86が知られている場合、例えば患者70であるユーザによって、例として、印刷出力された実際のテンプレート10を意味しているが、例えばカメラ52によって撮影された、画像の中のマーキング22、24、26及び/又は28の間の対応する距離80、82、84及び/又は86は、上述のように、患者の基準距離に関連して決定され、設定され得る。これにより、テンプレート10と患者70の画像の中の寸法と患者寸法との間の相関またはスケールが提供され得る。従って、上述の患者70の顔面72の中の画像寸法が、患者70の顔面72の患者寸法に変換され得る。
図7においては、最も適切な顔面ランドマークの決定が説明される。これは、例として、処理装置54によって行われ得る。例えば、コンピューティングデバイス64の一部分としてのものである。そこにおいて、処理装置54は、患者70の眼88、鼻74、または、口76のような顔面ランドマークを認識することができる。従って、第1の顔面検出ステップが、テンプレート10と患者70の顔面72の画像に対して適用される。そうした顔面検出ステップは、画像ベースの特徴検出アルゴリズムによって実現され得る。例えば、Viloa−Jonesアルゴリズムによるものである。ViloaとJones共著、”Rapid Object Detection using a Boosted Cascade of Simple Features”、Computer Vision and Pattern Recognition、2001、から知られるものであり、ここにおいては全てが参照として包含されている。この顔面検出ステップにおいて、あらゆる他の又は類似のアルゴリズムも適用され得ることは、言うまでもない。
顔面検出の後に、望ましくは、ランドマーク検出ステップが続く。このランドマーク検出ステップは、興味領域の内側での顔面特徴の検出を含んでいる。このステップのために、画像顔面特徴検出アルゴリズムが適用され得る。図7は、ブーストされたカスケード(cascade)検出に対する典型的な結果を示している。Haar−like特徴に基づいており、眼、鼻、および、口角の検出のために個々に訓練されたものである。顔面検出アルゴリズムは、異なるスケール比率において検出された、可能性のある顔面ランドマークの周りに一式の長方形90を返す。これらの長方形位置は、次に、テンプレート10と顔面72の画像上に顔面ランドマークの堅牢な位置を決定するために平均化される。このことは、図8によって説明されており、大きなドット92が、そうして置かれた顔面ランドマークを示している。大きなドット92によって示されたこれらの典型的な位置に基づいて、上述の顔面寸法が、画像において決定され得る。これらの画像ベースの寸法は、次に、上述のように、画像および現実におけるマーキングの寸法から引き出される比率またはスケールを使用して、患者寸法へと変換され得る。処理装置54が、顔面検出、および、顔面特徴または顔面ランドマークの検出と位置確認に係るステップを処理するようにデザインされている、本実施例とは別に、ユーザによって、この情報がシステムに対して提供されることも可能である。このことは、例えば、処理装置54がそれぞれの特徴を特定することができない場合に、代替的または追加的のいずれで行われてもよい。このことは、典型的なセットアップにおいて、インターフェイスを介して画像の中のそれぞれの顔面ランドマークの位置に入ってくるユーザによって実現され得る。それぞれのランドマークに対して、撮影された画像が示されているスマートフォンまたはタブレットPCのタッチスクリーン上のそれぞれの位置をタッチするようなことである。
結果として、患者70、医療専門家、もしくは、患者インターフェイスの製造者または提供者のような、ユーザは、これらの患者顔面寸法を取得し、次に、どの患者インターフェイスが患者70のために適切であるかを決定することができる。例えば、装着するのに快適、及び/又は、しっかりとフィットし、かつ、従って、患者70の顔面72上で空気漏れが生じないものである。これらの顔面寸法は、患者インターフェイスの集積から患者インターフェイスを選択するためだけでなく、患者70の実際の顔面寸法に従って患者インターフェイスを製造または適用するように正確なデータと寸法を取得するためにも使用され得る。このようにして、それぞれの患者70のために、個別に最適なフィットを達成することができる。さらに、ユーザに対して顔面寸法を提供することの他に、コンピューティングデバイス64、例えばシステム50の一部は、どの患者インターフェイスが患者70に対しておそらく最適にフィットするかのアドバイスを提供し得る。従って、処理装置54は、上述のように、取得され決定された顔面寸法をデータベース60の中に保管されたデータと比較することができる。それにより、患者インターフェイスの寸法の比較、または、他の比較可能な患者との経験に基づくデータの比較をすることができ、例えば、アドバイスが提供され得る。このことは、例えば、2つの異なる方法で具現化され得る。ランドマーク間の寸法が使用され、それらの寸法のためにデザインされた最も密接にフィットする患者インターフェイスを見つけるか、または、ランドマークの位置が使用され、ランドマーク間の最小距離を決定して、最適値からの偏差を検査するために患者の顔面と接触する患者インターフェイス部分の輪郭を判断し、望ましくは、最小偏差を示す患者インターフェイスを選択するか、のいずれかである。コンピューティングデバイス64が、例えばシステム50の一部分として、決定されたデータに基づいて、つまり、患者の患者顔面寸法を使用して、患者インターフェイスを制作または適用する他のデバイスをコントロールするようにさせることも可能である。これらの制作または適用は、既知の方法によって行われ得る。例えば、コンピュータ支援製造(CAM)を介するものである。
以降には、本発明に従って、3次元データを収集するための方法が、図9と図10のコンテクストの中で簡潔に説明される。
そこにおいては、図6の表現に対応するテンプレート10の開口部18の中に患者の顔面72を見ることができる。しかしながら、図9においては、図6でて示された患者70の正面方向から離れて、患者70の視点からわずかに右の角度から、画像が撮影されている。図10では、さらなる画像が撮影されるが、患者70の視点から左に離れている。
既知のマーキング22、24、26および28のおかげで、既知の距離または寸法だけでなくそれらのマーキングの既知の正常な形状を意味するものであるが、コンピュータまたはコンピュータ類似デバイス、例として、処理装置54のようなもの、例えばコンピューティングデバイス64の一部分が、カメラに関して患者70とテンプレート10の距離と向きを決定することができる。このことは、例えば、オリジナルの長方形状から非長方形状の平行四辺形への変化、または、円から楕円への変化に基づいてよい。テンプレート10、11、12、13に関して垂直でない角度から撮影された画像の結果としての2次元投影におけるものである。それにより、これらの長方形状または円形状は、テンプレート10と11自身におけるマーキング22、24、26、28、40、42または44から生じるか、または、テンプレート12と13におけるエッジ46または49によって示される長方形状から生じるか、いずれかであり、例えば、それぞれのエッジ46または49が長方形の一つのエッジを形成している。カメラに関して示された距離は、上述のように決定された画像における寸法、および、例えば、カメラの既知の仕様を介して決定され得る。
このことが、少なくとも2つの方向、望ましくはそれ以上、かつ、より望ましくは3つの方向から行われる場合、例えば図9と図10に示されているように、それぞれの画像における患者70の顔面72の2次元投影は、それぞれに異なる方向を用いているが、3次元データを生成するために使用され得る。別の言葉で言えば、患者70の顔面72の3次元形状が、この2次元情報から再構築され得る。このことは、テンプレート10、11、12または13を使用する本発明に係る方法に従って、例えばカメラ52を用いて、いくつか単独の2次元映像/画像を撮影することによって、動作するものである。このことは、カメラに関して、オブジェクト、つまり患者70の距離と向きを決定するために、信頼性のあるリファレンスとして役に立つテンプレート10、11、12、13によって可能である。3つの方向を使用することは、顔の表面を塞がないようにすることと、できる限り少ない画像を使用することとの良好な譲歩を提供する。そうした3次元データの生成は、この目的のための既知のあらゆる方法によって具現化され得る。例えば、Peter−Andre Redert著、”Multi−viewpoint systems for 3−D visual communication”、博士論文、デルフト(Delft)大学、2000、ISBN90−901−3985−0、において説明される方法によるものであり、ここにおいては全てが参照として包含されている。
これによって、患者70の顔面72に係る構築された3次元データは、次に、図6から図8のコンテクストの中での以前の説明に沿ったステップにおいても、同様に使用され得る。それによって、適切な顔面ランドマークが、患者70の顔面72に係る3次元モデルにおいて決定され得る。患者寸法に対する全ての3次元モデルのスケーリングも、また、リファレンスとしてのマーキングに基づいて可能である。マスクを仮想的にフィッティングすることは、コンピュータまたはコンピュータ類似デバイス上で行われることを意味しているが、このように具現化され得る。これによって、患者70のためにどの患者インターフェイスが適切であるか正確なアドバイス、もしくは、患者70に対するそうした患者インターフェイスの製造または適用でさえ、いずれかが可能であり、そして、高度に自動化され得る。
処理装置54によって実行され得る上述の全てのステップは、コンピュータプログラムによって具現化され得る。コンピュータプログラムは、処理装置54を伴うコンピューティングデバイス上で、または、一般的に処理装置54と同様なコンピュータ上で、実行され実施される。
本発明は、図面または前出の記載において、その詳細が説明され記述されてきたが、そうした説明および記載は、説明的または例示的なものであり、制限的なものではないと考えられるべきである。つまり、本発明は、開示された実施例に限定されるものではない。図面、明細書、および添付の特許請求の範囲を研究すれば、クレームされた本発明の実施において、当業者によって、開示された実施例に対する他の変形が理解され、もたらされ得る。
請求項において、用語「含む(“comprising“」は、他のエレメントまたはステップの存在を排除するものではなく、不定冠詞「一つの(”a“または”an“)」は、複数を排除するものではない。単一のユニットまたは他のユニットは、請求項で述べられる数個のアイテムに係る機能を満たし得る。特定の手段が、お互いに異なる従属請求項の中で引用されているという事実だけでは、これらの手段の組合せが有利に使用され得ないことを示すものではない。
コンピュータープログラムは、光記録媒体もしくはハードウェアと供に、またはハードウェアの一部として提供される半導体媒体といった、好適な媒体上に記録され/配布され得る。しかし、インターネット、または他の有線もしくは無線の電子通信システムを介するといった、他の形式においても配布され得る。
請求項におけるいかなる参照番号も、発明の範囲を限定するものと解釈されるべきではない。

Claims (13)

  1. カメラによって撮影された少なくとも2つの2次元画像に基づいて、患者の患者顔面寸法を提供するように構成されたコンピューティングデバイスであって、
    前記2次元画像それぞれは、前記患者の顔面と少なくとも一つのコンピュータで検出可能なエレメントを示しており、かつ、
    前記2次元画像は、前記少なくとも一つのコンピュータで検出可能なエレメントに関して垂直ではない異なる視角からの前記患者および前記少なくとも一つのコンピュータで検出可能なエレメントを示しており、
    前記コンピューティングデバイスは、
    前記患者顔面寸法を提供するための、少なくとも一つの出力インターフェイスと、
    複数の前記2次元画像を受信するための、少なくとも一つの入力インターフェイスと、
    プロセッサとメモリを含む処理装置であり、前記メモリは前記プロセッサによって実行可能な一つまたはそれ以上のルーチンを保管している、プロセッサと、
    を含み、
    前記一つまたはそれ以上のルーチンは、
    前記2次元画像を処理し、
    前記少なくとも一つのコンピュータで検出可能なエレメントの既知の寸法及び/又は2つの前記少なくとも一つのコンピュータで検出可能なエレメント間の既知の距離に基づいて、前記2次元画像のそれぞれにおいて、前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きを決定し、
    前記2次元画像および前記決定された前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きに基づいて、3次元データを構築し、かつ、
    前記3次元データに基づいて、前記患者の顔面の患者寸法データを提供する、
    ように適合されている、コンピューティングデバイス。
  2. 前記一つまたはそれ以上のルーチンは、さらに、
    前記顔面の前記3次元データの中の顔面ランドマークを決定し、
    前記3次元データにおける前記少なくとも一つのコンピュータで検出可能なエレメントに基づいて、少なくとも一つの基準距離を決定し、
    前記3次元データにおける前記顔面ランドマークに基づいて、顔面寸法を決定し、かつ、
    前記3次元データにおける前記少なくとも一つの基準距離の、前記少なくとも一つのコンピュータで検出可能なエレメントに基づいた対応する既知の患者基準距離に対する比率に基づいて、前記3次元データにおける画像寸法を患者寸法に対してスケールする、
    ように構成されている、
    請求項1に記載のコンピューティングデバイス。
  3. 前記一つまたはそれ以上のルーチンは、さらに、
    前記決定された顔面寸法に基づいて、前記患者のためのアドバイスを生成するように構成されており、
    前記アドバイスは、前記患者のために適切な患者インターフェイスを含んでいる、
    請求項2に記載のコンピューティングデバイス。
  4. 前記コンピューティングデバイスは、さらに、
    前記カメラを含む、
    請求項1に記載のコンピューティングデバイス。
  5. 患者の顔面データを収集するためのシステムであって、
    患者の顔面データを収集するためのテンプレートであり、表面、前記表面における前記患者の顔面のための開口部、および、寸法基準情報を提供するための少なくとも一つのコンピュータで検出可能なエレメント、を有するテンプレートと、
    前記テンプレートおよび前記テンプレートに係る前記開口部の中の前記患者の顔面に係る前記複数の前記2次元画像を記録するためのカメラと、
    請求項1に記載のコンピューティングデバイスと、
    を含む、システム。
  6. 前記テンプレートは、シートのような材料で製造されている、
    請求項5に記載のシステム。
  7. 前記テンプレートは、一枚の紙シートから作られる、
    請求項5に記載のシステム。
  8. 前記カメラは、画像データを前記コンピューティングデバイスに送付するようにデザインされており、かつ、
    前記コンピューティングデバイスは、少なくとも一つの入力インターフェイスを介して前記カメラから前記画像データを受信するようにデザインされている、
    請求項5に記載のシステム。
  9. 前記カメラと前記コンピューティングデバイスは、一つのデバイスの中に結合されている、
    請求項5に記載のシステム。
  10. 患者の顔面の3次元データを収集するための方法であって、
    カメラによって撮影された少なくとも2つの2次元画像を提供するステップであり、前記2次元画像のそれぞれは、前記患者の顔面と少なくとも一つのコンピュータで検出可能なエレメントを示しており、かつ、前記2次元画像は、前記少なくとも一つのコンピュータで検出可能なエレメントに関して垂直ではない異なる視角からの前記患者および前記少なくとも一つのコンピュータで検出可能なエレメントを示している、ステップと、
    前記少なくとも一つのコンピュータで検出可能なエレメントの既知の寸法及び/又は2つの前記少なくとも一つのコンピュータで検出可能なエレメント間の既知の距離に基づいて、前記2次元画像のそれぞれにおいて、前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きを決定するステップと、
    前記2次元画像および前記決定された前記カメラに関する前記顔面および前記少なくとも一つのコンピュータで検出可能なエレメントに係る距離と向きに基づいて、3次元データを構築するステップと、
    を含む、方法。
  11. 前記方法は、さらに、
    前記顔面の前記3次元データにおける顔面ランドマークを提供するステップと、
    前記3次元データにおける前記少なくとも一つのコンピュータで検出可能なエレメントに基づいて、少なくとも一つの基準距離を決定するステップと、
    前記3次元データにおける前記顔面ランドマークに基づいて、顔面寸法を決定するステップと、
    前記3次元データにおける前記少なくとも一つの基準距離の、前記少なくとも一つのコンピュータで検出可能なエレメントに基づいた対応する既知の患者基準距離に対する比率に基づいて、前記3次元データにおける画像寸法を患者寸法に対してスケールするステップと、
    を含む、請求項10に記載の方法。
  12. 患者のための患者インターフェイスを提供する方法であって、
    請求項1に記載のコンピューティングデバイス、または、請求項10に記載の方法によって取得された前記患者の顔面の3次元データを受信するステップと、
    前記患者のための患者インターフェイスを製造するために前記受信された前記患者の顔面の3次元データを使用して、前記患者のための前記患者インターフェイスの形状を決定、及び/又は、既定の患者インターフェイスのセットから前記患者のために適切な患者インターフェイスを選択する、ステップと、
    を含む、方法。
  13. コンピュータ上で実行されると、
    前記コンピュータに、請求項10に記載の方法に係るステップを実行させる、
    コンピュータプログラム。
JP2015536250A 2012-10-12 2013-10-01 患者の顔面データにアクセスするためのシステム Active JP6363608B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261712897P 2012-10-12 2012-10-12
US61/712,897 2012-10-12
PCT/IB2013/059039 WO2014057392A1 (en) 2012-10-12 2013-10-01 System for accessing data of a face of a subject

Publications (2)

Publication Number Publication Date
JP2016505280A JP2016505280A (ja) 2016-02-25
JP6363608B2 true JP6363608B2 (ja) 2018-07-25

Family

ID=49474651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015536250A Active JP6363608B2 (ja) 2012-10-12 2013-10-01 患者の顔面データにアクセスするためのシステム

Country Status (6)

Country Link
US (1) US9396587B2 (ja)
EP (1) EP2907106B1 (ja)
JP (1) JP6363608B2 (ja)
CN (1) CN104704531B (ja)
BR (1) BR112015007836A2 (ja)
WO (1) WO2014057392A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294475B2 (en) * 2013-05-13 2016-03-22 Hoyos Labs Ip, Ltd. System and method for generating a biometric identifier
US10799662B2 (en) 2014-07-02 2020-10-13 ResMed Pty Ltd Custom patient interface and methods for making same
US9754399B2 (en) * 2014-07-17 2017-09-05 Crayola, Llc Customized augmented reality animation generator
US10980957B2 (en) 2015-06-30 2021-04-20 ResMed Pty Ltd Mask sizing tool using a mobile application
WO2017085075A1 (en) * 2015-11-18 2017-05-26 Koninklijke Philips N.V. Method and device for estimating absolute size dimensions of a test object
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
US10319119B2 (en) * 2016-03-08 2019-06-11 Siemens Healthcare Gmbh Methods and systems for accelerated reading of a 3D medical volume
US20200305784A1 (en) * 2016-06-27 2020-10-01 Koninklijke Philips N.V Device and method for skin gloss detection
WO2018031946A1 (en) * 2016-08-11 2018-02-15 MetaMason, Inc. Customized cpap masks and related modeling algorithms
US10303757B2 (en) 2016-08-19 2019-05-28 Cognex Corporation Apparatuses, systems, and methods for providing a visual program for machine vision systems
WO2019045144A1 (ko) 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
JP2020533702A (ja) * 2017-09-13 2020-11-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 対象者識別システム及び方法
US10452263B2 (en) * 2017-09-13 2019-10-22 Biosense Webster (Israel) Ltd. Patient face as touchpad user interface
US11033463B2 (en) * 2017-10-20 2021-06-15 David A. Tesini Pacifier fitting system and method
WO2019121126A1 (en) * 2017-12-19 2019-06-27 Koninklijke Philips N.V. Determining facial metrics of a patient and identifying a custom mask for the patient therefrom
SG10201902889VA (en) * 2019-03-29 2020-10-29 Nec Corp System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image
CN114762053A (zh) * 2019-11-13 2022-07-15 瑞思迈公司 收集与选定面罩相关的拟合数据的***和方法
WO2021106189A1 (ja) * 2019-11-29 2021-06-03 株式会社Rist クラック測定装置、クラック測定システム、クラック測定方法及びクラック測定プログラム
FR3119693A1 (fr) * 2021-02-10 2022-08-12 L'air Liquide Société Anonyme Pour L’Étude Et L'exploitation Des Procédés Georges Claude Méthode et système de sélection à distance d’un masque respiratoire, notamment pour le traitement de l’apnée obstructive du sommeil
US20230103129A1 (en) * 2021-09-27 2023-03-30 ResMed Pty Ltd Machine learning to determine facial measurements via captured images

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1163943A (ja) * 1997-08-19 1999-03-05 Teijin Ltd 顔面形状計測方法及び装置
JP3052289U (ja) * 1998-03-16 1998-09-14 帝人株式会社 鼻形状測定用テンプレート
GB0023681D0 (en) * 2000-09-27 2000-11-08 Canon Kk Image processing apparatus
US7127081B1 (en) * 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
JP4877891B2 (ja) * 2001-08-03 2012-02-15 株式会社トプコン 校正用被写体
US7159589B2 (en) * 2001-08-23 2007-01-09 Indian Ocean Medical Inc. Disposable laryngeal mask airway device
US7369687B2 (en) 2002-11-21 2008-05-06 Advanced Telecommunications Research Institute International Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position
CN1219275C (zh) * 2003-06-13 2005-09-14 南京大学 数字灰度图像中人脸眼睛中心的精确自动定位方法
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
JP2005211581A (ja) * 2004-02-02 2005-08-11 Inforward Inc 顔撮影装置
US20060023228A1 (en) * 2004-06-10 2006-02-02 Geng Zheng J Custom fit facial, nasal, and nostril masks
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
CN100420274C (zh) * 2006-05-19 2008-09-17 北京中星微电子有限公司 一种摄像头和数据处理装置
WO2008006090A2 (en) * 2006-07-06 2008-01-10 Quiescence Medical, Inc. Apparatus and methods for treating sleep apnea
US8254637B2 (en) * 2006-07-27 2012-08-28 Resmed Limited Mask fitting system and method
US7904193B2 (en) * 2006-09-29 2011-03-08 Nellcor Puritan Bennett Llc Systems and methods for providing custom masks for use in a breathing assistance system
CN100430690C (zh) 2006-12-19 2008-11-05 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
US20080298643A1 (en) 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
GB2449855A (en) * 2007-06-05 2008-12-10 Steven Harbutt System and method for measuring pupillary distance
JP2010131091A (ja) * 2008-12-03 2010-06-17 Niigata Univ マスク形状決定支援システム,マスク形状決定支援方法およびマスク形状決定支援プログラム
CN102245250A (zh) * 2008-12-10 2011-11-16 雷斯梅德有限公司 用于面罩的头带
JP5687532B2 (ja) * 2011-03-17 2015-03-18 花王株式会社 情報処理方法、フランクフルト平面の算出方法および情報処理装置
EP2702533A1 (en) 2011-04-28 2014-03-05 Koninklijke Philips N.V. Face location detection

Also Published As

Publication number Publication date
CN104704531A (zh) 2015-06-10
EP2907106B1 (en) 2019-04-17
US20150262422A1 (en) 2015-09-17
BR112015007836A2 (pt) 2017-07-04
EP2907106A1 (en) 2015-08-19
US9396587B2 (en) 2016-07-19
JP2016505280A (ja) 2016-02-25
CN104704531B (zh) 2017-09-12
WO2014057392A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
JP6363608B2 (ja) 患者の顔面データにアクセスするためのシステム
JP6464082B2 (ja) 患者インタフェース識別システム
US20230072188A1 (en) Calibration for Augmented Reality
JP2015533519A5 (ja)
US20180160777A1 (en) Foot measuring and sizing application
WO2017000031A1 (en) Mask sizing tool using a mobile application
JP6302482B2 (ja) スキャン装置及びスキャン装置を位置決めるための方法
JP2018538593A (ja) 表情検出機能を備えたヘッドマウントディスプレイ
US9715759B2 (en) Reference object for three-dimensional modeling
US20100319100A1 (en) Simple techniques for three-dimensional modeling
AU2016354889B2 (en) Method and device for estimating absolute size dimensions of a test object
US20170118357A1 (en) Methods and systems for automatic customization of printed surfaces with digital images
JP2017194301A (ja) 顔形状測定装置及び方法
JP2020534917A (ja) 複数の顔スキャンから生成される時間モデルに基づいた患者のためのマスクの提供
US20230098579A1 (en) Mask sizing tool using a mobile application
WO2023124878A1 (zh) 面罩的虚拟佩戴方法、装置、终端设备及可读存储介质
WO2022156810A1 (zh) 一种人脸尺寸确定方法和装置
TWI629662B (zh) Method for realizing acupoint visualization by AR technology
JP7526893B2 (ja) 顔サイズ決定方法及び装置
US11980513B2 (en) Determining spatial relationship between upper teeth and facial skeleton
TWI828541B (zh) 足部特徵量測分析方法及客製化鞋墊設計方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180628

R150 Certificate of patent or registration of utility model

Ref document number: 6363608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250