JP6697378B2 - 対象のバイタルサインを得るデバイス - Google Patents

対象のバイタルサインを得るデバイス Download PDF

Info

Publication number
JP6697378B2
JP6697378B2 JP2016512270A JP2016512270A JP6697378B2 JP 6697378 B2 JP6697378 B2 JP 6697378B2 JP 2016512270 A JP2016512270 A JP 2016512270A JP 2016512270 A JP2016512270 A JP 2016512270A JP 6697378 B2 JP6697378 B2 JP 6697378B2
Authority
JP
Japan
Prior art keywords
interest
image frames
subset
projection
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016512270A
Other languages
English (en)
Other versions
JP2016522027A (ja
JP2016522027A5 (ja
Inventor
ヒェリット マリア ケルステン
ヒェリット マリア ケルステン
イホール オレホヴィッヒ キレンコ
イホール オレホヴィッヒ キレンコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016522027A publication Critical patent/JP2016522027A/ja
Publication of JP2016522027A5 publication Critical patent/JP2016522027A5/ja
Application granted granted Critical
Publication of JP6697378B2 publication Critical patent/JP6697378B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)

Description

本発明は、対象のバイタルサイン、特に呼吸情報を得るデバイス、方法及びシステムに関する。特に、本発明は、例えば人又は動物といった観察される対象におけるバイタルサインを検出するのに使用されることができる目立たない光学的測定アプローチに関する。
人のバイタルサイン、例えば心拍(HR)、呼吸レート(RR)又は血中酸素飽和は、人の現在の状態の指標として、及び重大な医学イベントの強力な予測器として機能する。このため、バイタルサインは、入院患者及び外来患者看護環境において、在宅で、又は、更なる健康、余暇及びフィットネス環境において広くモニタされる。
WO2012/140531A1号は、人の呼吸運動を検出する呼吸運動検出装置を開示する。この検出装置は、人により放出及び/又は反射される電磁放射を検出する。この場合、この電磁放射は、人の呼吸レートに関連付けられる連続的又は離散的な特徴的な運動信号、及び人の運動又は環境条件に関連付けられる他の運動アーチファクトを有する。この装置は、異なる信号を区別するために、所定の周波数帯域、一般的な所定の方向若しくは予想される振幅帯域及び/又は振幅プロファイルを考慮して、全体の妨害からの呼吸レート信号を分離するよう構成されるデータ処理手段を考慮することで、呼吸レート測定の信頼性を増加させる。
非侵襲性呼吸レート測定は、静止したビデオカメラを用いて光学的に実現されることができる。ビデオカメラは、画像のストリームにおいて、患者の胸部の呼吸運動をキャプチャする。呼吸運動は、特定の画像特徴の時間的変調をもたらす。この場合、変調の周波数は、監視される患者の呼吸レートに対応する。斯かる画像特徴の例は、患者の胸部の周りに位置する関心空間領域における平均振幅であるか、又は後続の画像における関心領域の空間相互相関の最大の位置である。得られたバイタルサイン情報の品質及び信頼性は、画像コントラストの適切な選択及び選択された関心領域により影響される入力画像データの品質により大きく影響される。
カメラベースの呼吸モニタリングは、胸部/腹部領域での選択された関心領域(ROI)において微妙な呼吸運動を検出することに基づかれる。現実の使用シナリオにおいて、(ROIを含む)画像に存在する静的ノイズは、呼吸信号として位置合わせされ、増幅され、及び(誤って)認識される可能性がある。これは、全体の画像が、別々に分析される空間ブロックに分割されるときだけでなく、ROIだけが分析されるときも起こりうる。確実に、最終的な再構成された信号が、その有効性を評価するために用いられる場合、ノイズは、呼吸信号として位置合わせされる。なぜなら、この場合、呼吸からのノイズの分化は、最終的な1D信号の振幅及び/又は周波数に基づき行われるからである。
US2010/130873A1号は、レーダーベースの生理的モーションセンサを開示する。ドップラーシフトされた信号は、センサにより受信される信号から抽出されることができる。ドップラーシフトされた信号は、デジタル化され、1つ又は複数の対象における心肺運動に関連付けられる情報を抽出するために、その後処理されることができる。この情報は、呼吸レート、心拍、呼吸及び心臓活動が原因による波形、到着の方向、異常である又は逆説的な呼吸などを含むことができる。さまざまな実施形態において、抽出された情報は、ディスプレイ上に表示されることができる。
本発明の目的は、簡単及び低コストな態様で対象の呼吸情報を得る、特に投影ベースのバイタルサイン位置合わせにおいて呼吸信号をノイズと区別することを可能にする、デバイス方法及びシステムを提供することである。
本発明の第1の側面において、対象のバイタルサインを得るデバイスが与えられ、このデバイスは、
対象の画像フレームのセットを受信するインタフェースと、
上記セットの複数の画像フレームを含む画像フレームのサブセットにおける関心領域において方向変化の量及び/又は方向変化の間の時間距離を決定する分析ユニットであって、方向変化が、上記関心領域において現れる運動の方向の変化を示す、分析ユニットと、
上記画像フレームのサブセットにおける上記関心領域が、上記画像フレームのサブセットに関する上記決定された方向変化の量及び/又は上記時間距離を用いて、バイタルサイン情報及び/又はノイズを有するかどうかを決定する評価ユニットと、
上記画像フレームのサブセットにおける上記関心領域がバイタルサイン情報を有すると決定される場合、上記画像フレームのサブセットにおける上記関心領域から上記対象の所望のバイタルサインを決定するプロセッサとを有する。
本発明の第2の側面において、対象のバイタルサインを得る方法が与えられ、この方法は、
対象の画像フレームのセットを受信するステップと、
上記セットの複数の画像フレームを含む画像フレームのサブセットにおける関心領域において方向変化量及び/又は方向変化の間の時間距離を決定するステップであって、方向変化が、上記関心領域に現れる運動の方向の変化を示す、ステップと、
上記画像フレームのサブセットにおける上記関心領域が、上記画像フレームのサブセットに関する上記決定された方向変化の量及び/又は上記時間距離を用いて、バイタルサイン情報及び/又はノイズを含むかどうか決定するステップと、
上記画像フレームのサブセットにおける上記関心領域がバイタルサイン情報を含むと決定される場合、上記画像フレームのサブセットにおける上記関心領域から上記対象の所望のバイタルサインを決定するステップとを有する。
本発明の更なる側面において、対象のバイタルサインを得るシステムが与えられ、このシステムは、対象の画像フレームのセットを得る撮像ユニットと、対象の画像フレームの上記セットを用いて、対象のバイタルサインを得る本書に開示されるデバイスとを有する。
本発明の更に追加的な側面において、コンピュータ上で実行されるとき、上記処理方法をコンピュータに実行させるプログラムコードを有するコンピュータプログラムと、プロセッサにより実行されるとき、本書に開示される方法が実行されることをもたらすコンピュータプログラムを格納する非一時的コンピュータ可読の記録媒体とが与えられる。
本発明の好ましい実施形態は、従属項において規定される。請求項に記載の方法、システム、コンピュータプログラム及び媒体が、請求項に記載のデバイス及び従属項に記載されるものと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
上記の課題は、関心領域のピクセルの各ブロック当たりの運動ベクトルを分析することにより解決されることができる。例えば、隣接する空間ブロックにより生成される一貫した運動フィールドは、検出された信号が呼吸運動を表すことを示す。しかしながら、このアプローチは、非常に高価で(正確な運動推定を必要とし)、運動ベクトルを分析するためのパラメータの慎重なチューニングを必要とし、すべての場合に関して課題を解決するわけではない(例えば、浅い呼吸は、運動推定によっては認識可能ではない場合がある)。他の可能なソリューションは、非周期的ノイズ信号を呼吸と区別するため、周波数分析に依存する可能性がある。しかしながら、呼吸信号はしばしば非周期的でもある。更に、呼吸信号に関する低いレートが原因で、周波数分析は、非常に大きな時間的ウインドウを必要とするかもしれない。
本発明は、例えばカメラから得られる画像フレームのセットを用いてバイタルサイン位置合わせにおけるノイズから、バイタルサイン、特に浅い呼吸信号を堅牢に区別する簡単で低コストなデバイス及び方法を提供する。本発明は、再構成された信号にフォーカスするのではなく、再構成された信号(即ち、バイタルサイン情報信号から得られるバイタルサイン情報信号又はバイタルサイン)を構築するために用いられる生の入力値(即ち画像フレーム)にフォーカスし、バイタルサイン情報及びノイズの間を識別するため、単位時間当たりに(即ち、所定の又は変化する数の後続の画像フレームを有する画像フレームのサブセットにおいて)測定される関心領域における方向変化の量及び/又は方向変化の間の時間距離を観測するというアイデアに基づかれる。サブセットの画像フレームから、バイタルサインが取得されることができるかどうかが特に決められる。好ましくは、所望の精度及び信頼性でバイタルサインを得るのに十分に大きい信号対ノイズ比があるか、又は使用される画像フレームが、主にノイズを有するかが決定される。本発明は、これらの生の入力値の観察に基づかれる。これは、場面が呼吸運動を含むときより、(雑音が多い)静的な場面における方向変化(又はサイン変化)の数が非常に高く、及び/又は方向変化の間の時間距離が短いことを明らかにした。
ある実施形態によれば、上記評価ユニットが、上記決定された方向変化の量が、所定の方向変化閾値より低いかを決定するよう構成され、上記低いことが、上記画像フレームのサブセットにおける上記関心領域がバイタルサイン情報を含むことを示す。上記方向変化閾値は、所定又は変化可能とすることができ、例えばサブセットに含まれるフレームレートに基づき適合可能である、又はユーザによりセット可能とすることができる。方向変化は一般に、2つの後続の画像フレームの間の相関ピークの方向(における変化)にあてはまる。方向変化は、後述するように、投影に含まれるゼロ交差を検出することにより検出されることもできる。方向の変化後、投影はゼロ軸を横切る。その結果、ゼロ交差が、方向変化に関するインジケータとして使用されることができる。
別の実施形態によれば、投影ベースの方法が提供される。この方法によれば、上記分析ユニットが、上記画像フレームのサブセットから所定の方向における投影プロファイルを決定し、上記投影プロファイルから方向変化の量を決定するよう構成される。投影ベースの呼吸モニタリングは、上述したWO2012/140531A1号に記載される。WO2012/140531A1号に記載されるように、投影及び投影プロファイルを生成する概念(投影プロファイルの集合は、本書において運動プロファイルと呼ばれる;最終的な1D信号が、運動プロファイルから再構成されることができる)が、本書において評価される。最終的な1D信号は、運動プロファイルから再構成されることができる。WO2012/140531A1号の関連する説明はこうして、本書において参照により含まれる。
一般に、プロファイルは、投影状の変換を通り得られる画像フレームの1次元表現である。より広い意味において、プロファイルは、画像フレームに存在するテクスチャ、エッジ又は他の任意の詳細に関する情報をキャプチャする任意の機能でありえる。最も簡単な形態では、プロファイルは、投影(一方向における画素値の累積)と同じとすることができる。より広い意味において、プロファイルは、投影の積及びピクセルの他の関数(例えば標準偏差)とすることができる。従って、投影は、プロファイルの一部である。好ましくは、プロファイルは、各フレームに関して構築される。
投影の例は、画像フレームを持つ画素値のラインごと(又は列ごと)の凝集(例えば合計)である。
別の実施形態では、上記分析ユニットは、上記画像フレームのサブセットからの2つの所定の直交する方向において2つの投影プロファイルを決定し、上記投影プロファイルから方向変化の量を決定するよう構成される。これは、バイタルサイン情報及びノイズの間の区別の堅牢性及び精度を増加させる。
これは、ある実施形態で更に改良されることができる。それによれば、方向変化が両方の投影プロファイルにおいて時間において実質的に同じ瞬間に現れる場合、上記画像フレームのサブセットの上記関心領域がバイタルサイン情報を有すると、上記評価ユニットが決定するよう構成される。
好ましくは、制御ユニットは、上記画像フレームに含おける、方向変化の量、所定の方向変化閾値、及び/又は関心領域を決定するのに使用される上記画像フレームのサブセットの画像フレームの数を制御するために提供される。従って、画像フレームの数は、変化されることができ、画像フレームの後続のサブセットは、重複することもでき、複数の同じ画像フレームを有することができる。即ち(画像フレームのサブセットに対応する)摺動「ウインドウ」アプローチが、実施形態において使用されることができる。
ある実施形態によれば、上記評価ユニットが、方向変化の間の複数の決定された連続的な時間距離が、所定の時間距離閾値以上かどうかを決定するよう構成され、以上であることは、上記画像フレームのサブセットにおける上記関心領域が、バイタルサイン情報を含むことを示す。上記時間距離閾値は、所定又は変化可能とすることができ、例えばサブセットに含まれる画像フレームの数に基づき適合可能である、又はユーザによりセット可能とすることができる。
初期ステップにおいて、関心領域が選択される。この目的のため、デバイスは好ましくは、
上記画像フレームのサブセットから2つの所定の直交する方向において2つの投影プロファイルを決定し、
上記投影プロファイルを投影領域に分割し、
上記投影領域における方向変化の量及び/又は方向変化の間の時間距離を決定し、
最小数の方向変化及び/又は方向変化の間の最大の時間距離を持つ上記2つ又はこれ以上の隣接する投影領域を選択することで、上記画像フレームのサブセットにおける上記関心領域を選択するROI選択ユニットを有し、
上記選択された投影領域が、上記関心領域を表す。
上記ROI選択ユニットが好ましくは、
第1の投影領域閾値未満の方向変化の量及び/又は第2の投影領域閾値以上の時間距離を持つ投影領域を選択し、
上記投影領域において、実質的に等しい方向変化の量及び/又は実質的に等しい時間距離を持つ両方の投影プロファイルにおける投影領域のペアを選択するよう構成され、投影領域の上記ペアが、別々の関心領域を規定する。こうして、1つ又は複数の最適な関心領域が自動的に検出されることができる。
本発明は、いろいろな種類のバイタルサインを得るのに使用されることができるが、それは好ましくは、対象の呼吸情報、特に呼吸レートを得るよう構成される。従って、上記プロセッサは好ましくは、上記画像フレームのサブセットにおける上記関心領域から上記対象の呼吸情報を決定するよう構成される。
好ましい実施形態において、提案されたデバイスは、上記対象から放出又は反射される電磁放射をリモートで検出する撮像ユニット、特にカメラを更に有する。撮像ユニットは、遠隔監視アプリケーションに特に適している。撮像ユニットは、1つ又は複数の撮像要素を有することができる。例えば、撮像ユニットは、フォトダイオードのアレイ又は電荷結合素子を有することができる。一実施形態によれば、撮像ユニットは、撮像要素の少なくとも2つのグループを有する。各グループは、データ信号要素の単一の1つを検出するよう構成される。別の実施形態によれば、撮像ユニットは、データ信号要素の検出を可能にする応答特性を持つ撮像要素の単一のグループを利用することができる。撮像ユニットは更に、データ信号要素を交互に表す一連の画像フレームをキャプチャするよう構成されることができる。
別の好ましい実施形態において、提案されたデバイスは、上記対象に電磁放射を向ける放射線源、特に光源を更に有する。放射線源は、ブロードバンド照明源により実現されることができ、及び/又は放射線要素の単一のグループ若しくは2つ若しくは更に多くのグループを利用することができる。しかしながら、提案されたデバイスは、放射線源を必ずしも含む必要があるわけではなく、デバイスに接続されない環境光源を利用することもできる。
例示的なバイタル信号を示す対象の運動の概略的な説明を示す図である。 既知のデバイスの一般的なレイアウトの概略的な説明を示す図である。 監視される対象の構成の概略的な説明を示す図である。 特徴的なインデックス要素が得られることができる例示的なデータストリームフレームの概略的な説明を示す図である。 複数の特徴的なインデックス要素が得られることができる概略的な例示的なデータストリームフレームシーケンスを示す図である。 追加的な概略的な例示的なデータストリームフレーム及びそこから得られる次元を減らされた特徴的なインデックス要素を示す図である。 図6の特徴的なインデックス要素の例示的な微分を示す図である。 特徴的なインデックス要素の簡略化された概略的なシーケンスを示す図である。 図8の特徴的なインデックス要素の簡略化された概略的なシーケンスの拡大された詳細を示す図である。 積分変換が適用される特徴的なインデックス要素の概略的なシーケンス及び結果として生じる大きさ範囲シーケンスの例示的な説明を示す図である。 導関数信号形態の概略的な説明を示す図である。 妨害信号要素に関する例示的な補償が適用される導関数信号形態の追加的な概略的な説明を示す図である。 本発明によるデバイスの概略的なダイアグラムを示す図である。 2つの投影プロファイルからの値の決定を示すダイアグラムを示す図である。
本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。
図1は、関心信号を示す運動を経験する対象10の概略的な図を示す。対象10は、呼吸が原因で直説的な部分12の特徴的な運動を経験する。呼吸するとき、肺の拡張及び収縮が、生体の特徴的な部分のわずかな運動、例えば胸部の上昇及び下降をもたらす。腹式呼吸が、対象の体の個別の部分の特徴的な運動をもたらす可能性もある。生理的処理によりもたらされる少なくとも部分的に周期的な運動パターンは、多くの生体において、特に人間又は動物において発生する可能性がある。
時間にわたり、矢印16により示されるように、直説的な部分12は、参照番号12a、12cにより示される収縮した位置と参照番号12bにより示される拡張された位置との間で移動される。基本的に、この運動パターンに基づき、例えば呼吸レート又は呼吸レート変動が評価されることができる。直説的な部分12が時間にわたり脈動しているが、非直説的な部分14は実質的に静止したままである。確実に、非直説的な部分14も、時間にわたり多様な運動を経験する。しかしながら、これらの運動は、直説的な部分12の周期的な脈動に対応しない。
この文脈において、図2を参照すると、WO2012/140531A1号にて説明したように、情報を抽出するデバイスが示され、参照番号18により表される。デバイス18は、対象10を表す画像フレームを記録するために利用されることができる。画像フレームは、対象10により放出又は反射される電磁放射20から得られることができる。記録されたデータ、例えば画像フレームのシーケンスから情報を抽出するため、対象10の規定されたパート又は部分がセンサ手段22により観察されることができる。例えば、少なくとも電磁放射20のスペクトル要素に属する情報をキャプチャするよう構成されるカメラにより、センサ手段22は実現されることができる。デバイス18は、前もって記録された、間に、格納又はバッファリングされた入力信号、即ち入力データストリームを処理するよう構成されることもできる。上記のように、電磁放射20は、少なくとも1つの少なくとも部分的に周期的バイタル信号を示すことができる、連続的又は離散的な特徴信号を含むことができる。
斯かるバイタル信号を得る既知の方法は、触知的呼吸レートモニタリング又は関心対象に適用されるマーカーに依存する遠隔呼吸レートモニタリングを有する。上記のように、交互的なアプローチは、画像処理方法を用いる目立たない遠隔測定に関する。
連続的又は離散的な特徴信号を有するデータストリーム26は、センサ手段22からインタフェース24に供給されることができる。言うまでもなく、バッファ手段が、センサ手段22及びインタフェース24の間に配置されることもできる。インタフェース24の下流に、インタフェース24により受信されるデータストリーム26'から所望の生理的情報(即ち、そこから得られる特徴的なインデックス要素に埋められる情報)を抽出するよう構成される抽出器手段28が提供される。妨害信号要素を有するにもかかわらず、生理的情報30が、抽出により得られることができる。更に、抽出器手段28により得られる生理的情報30を処理するよう構成されるコンバータ手段32が続くことができる。抽出器手段28により抽出される前処理された信号はそれでも、大きいノイズを示す要素を有することができる。この関連において、コンバータ手段32は、それに供給される全体の信号から関心バイタル信号を示す所望の信号要素を分離及び強調するのに適用されることができる。
変換された信号要素34を抽出した後、データの追加的なポスト処理が、分析手段36により行われることができる。このため、ポスト処理は、クリッピング、帯域幅フィルタリング及び/又はフーリエ解析を有することができる。追加的なポスト処理手段は、所望の関心信号の、例えば連続的又は離散的な特徴信号における支配的な呼吸レートを示す周波数ピークのさらに追加的に改良された検出に貢献するものと予想されることができる。
抽出器手段28、コンバータ手段32及び分析手段36は、一般的な処理ユニット38、例えばシングルプロセッサ又は複数のプロセッサを有する中央処理ユニットにより、実現されることができる。インタフェース24は、個別のサブ要素を収容する一般的な処理デバイスにおいて、これに接続されることもできる。例えば、処理デバイス38は、個別の論理命令により駆動されるパーソナルコンピュータにより実現されることができる。センサ手段22が、ハードウェアを用いてインタフェース24に接続される場合、キャプチャユニットは個別のサブ要素を収容することができる。例えば、カメラを有し、カメラに接続可能な例えばスマートフォンといった携帯デバイス又は携帯型の健康監視デバイスが、本発明の実施形態を実施するのに利用されることができる。
しかしながら、代替的に、処理デバイス38と別々のセンサ手段22とを組み合わせることも想定されることができる。この接続は、ケーブルリンクを用いて、又は、無線リンクを用いて確立されることができる。センサ手段22の代わりに、予め記録されたデータを有する記憶手段が、処理デバイス28に接続されることもできる。
図3を参照すると、目立たないバイタル信号検出及びモニタリングが大きなチャレンジに直面する一般的な状況が与えられる。対象10、例えばベッドにとどまる患者が、支持部39上で休息している。非直説的な部分14を有する対象頭部は露出され、載せられる。一方、直説的な部分12は毛布45により覆われる。従って、直説的な部分12の運動によりもたらされる信号は減衰される。従って、目立たない信号検出はかなり困難である。センサ手段22は、直説的な部分12を観察するために配置される。このために、例示的な座標系は、呼吸直説的な運動が想定されることができる方向を表す。この方向は、妨害を減らしたインデックス要素40により示される。更に、直交するインデックス要素42(即ち、投影プロファイルが構築されることができる方向)が、少数の呼吸直説的な運動が想定される又は全く想定されることができない方向を表す。
所望の脈動が単一の基準方向に向けられると仮定すると、直交するインデックス要素42は、妨害を減らされたインデックス要素40に直交する全体の平面を覆うことができる点を理解されたい。
基本的に、妨害を減らされたインデックス要素40に沿った対象運動が、十分にキャプチャされることができる場合、センサ手段22は任意の方向に配置されることができる。この関連において、センサ手段22が、妨害を減らされたインデックス要素40に実質的に直交して向けられる場合、それは好ましい。しかしながら、所望の信号の検出がまだ可能にされる間、かなりの偏差が発生することもある。この態様で、例えばベッドで揺れる及び向きを変えるときなどの相当な対象運動も説明されることができる。実際、妨害を減らされたインデックス要素40に実質的に平行にセンサ手段22を配置することは、信号検出に主要な悪い影響をもたらす。図3において提供される一般的な構成を再度参照すると、例えばセンサ手段を支持部39の長辺に横方向に配置するとき、いくつかの可能性センサ手段方向に関して、これらの悪い条件が発生することが予想される点を理解されたい。こうして、ベッドで向きを変えるとき、減らされたインデックス要素40も回転し、これにより、センサ手段方向及び減らされたインデックス要素40の間の有効な角度が減らされ、減らされた信号レベルがもたらされる。
この文脈において、妨害を減らされたインデックス要素40のすべての可能な方向を追跡することができるいわゆるステレオメトリックなモニタリングを可能にするため、対象10に対する異なった位置において2つ又はこれ以上のセンサ手段を構成することが想定されることができる。
図4は、全体のフレームの直説的な部分48における対象10の表現を示す例示的なキャプチャされた画像フレーム44を表す。直説的な部分48は、撮像野の削減を可能にする前処理ステップの間の初期段階で検出されることができる。これにより、データストリームボリュームが減らされる。後続の処理を単純化するため、処理された画像フレーム44'に対して座標変換が適用されることができる。こうして、最初にキャプチャされた画像フレーム44の基礎となる座標系52と妨害を減らされたインデックス要素40及び直交するインデックス要素42を示す座標系54との間の偏差が、補償されることができる。
更に、図4は、画像フレーム44の基準部分50を示す。基準部分は、運動補償に関する標準パターンとして描画されることができる安定した画像対象を表すことができる。画像フレーム44の残りの部分46は、データの後続の分析に関してマスク及び無視されることができる。
図5は、図1によりすでに示される対象10の呼吸運動を表す一連の画像フレーム44a、44b、44cを示す。所望の関心バイタル信号は、矢印30により示される生理的情報、即ち、胸部の上昇及び下降により表される。抽出される生理的情報30は、妨害を減らされたインデックス要素40と整列配置される。妨害を減らされたインデックス要素40に直交して向けられる直交するインデックス要素42と整列配置される運動は、関心信号を表さないものと考えられる。完全性のために、基準運動方向41及び直交する基準方向43も、図5に示される。上記のように、例えば各画像フレームに関して別々に行われる、妨害を減らされたインデックス要素40の即時の決定は、大きなチャレンジを課す場合がある。この文脈において、妨害を減らされたインデックス要素40及び基準運動方向41の間の相当な偏差があっても、重大な信号損失をもたらさない点に留意されたい。結果的に、すべてのイベントで妨害を減らされたインデックス要素40を正確に高い精度で決定する必要はない。
従って、妨害を減らされたインデックス要素40及び基準運動方向41の間の少ない偏差が受け入れられることができる。これは、コンピュータ処理要件のかなりの削減を可能にする。更に、検出されるバイタル信号の予想される周波数及び画像処理に関して利用される一般的なフレームレートの間の比率を考慮すると、妨害を減らされたインデックス要素40の決定に関して、複数の画像フレームがスキップされる点を理解されたい。例えば、単に5又は更には10の画像フレームから1つだけを考慮すれば済むことになる。例えば、コントロール回路が確立されることができる。そこでは、受け入れられた偏差を表す閾値がセットされる。閾値以上である場合、妨害を減らされたインデックス要素40は調整される。最終的に、新しい閾値が決定されることができる。
図6及び図7を参照すると、方向運動情報を表す特徴的なインデックス要素60の例示的な微分が説明される。図6は、画像フレームの直説的な部分48を示す。例えば一つのピクセルといった画像エンティティの位置を表す座標が、参照番号56、58により示される。この場合、軸56はx座標を示し、軸58はy座標を示す。図4及び図5を参照した座標変換により、妨害を減らされたインデックス要素40は、軸58と整列配置される。次元低減を適用するとき、ゴールは、関心バイタル信号を示す所望の生理的情報30に関して重要な信号損失なしに、画像フレームのプロパティを単一の特徴的なインデックス要素60に合併することである。
この文脈において、図7は、妨害を減らされたインデックス要素40へのサブエンティティ62、64の凝集及び投影を表す。サブエンティティ62a、62b、…、62n及び64a、64b...64nは、画像フレームにおける個別のピクセル位置を表す。生理的情報30が軸58に沿った運動により公平に表される場合、個別の画素値のライン毎の凝集が、特徴的なインデックス要素60上の単一のエンティティにおける各ラインの関連する情報を要約する。変換は、矢印66により示される。例えば、ライン62a及び62bは、所望の信号をかなり示すと思われる。なぜなら、呼吸運動を経験する直説的な部分12である胸部の形状が、かなりのエッジを形成するからである。他方、対象10の背面側を表示するライン62nがあまり直説的でないと公平に仮定されることができる。上述したように、単なる画素値に加えて、追加的な画像特性が、凝集に関して引き出されることができる。
図8及び図9は、時間にわたり(一連の画像フレームを表す)複数の特徴的なインデックス要素60a、60b、...60nをシーケンス化することにより得られることができる例示的な運動プロファイルを示す。離散的な要素の積分は、擬似連続的又は連続的な波形を生じさせる。視覚化のため、運動プロファイルは、かなり単純化されて表されるものとして理解されたい。異なるハッチは、異なるライン毎の凝集結果を示す。更に、運動プロファイルにおいて提供されるエッジは、(それらが妨害を減らされたインデックス要素40に実質的に直交する限り)オリジナル画像フレームにおけるコントラストが豊富なエッジを表す。エッジの時間的脈動は、所望のバイタル信号をかなり示すと理解されたい。
図8の一般的な運動プロファイルは、次元低減を通して画像シーケンスから導き出せる全体の連続的又は離散的な特徴信号68を表すプロファイルを有する。更に、そのサブセットである運動直説的な要素70が、更なる分析のために選択されることができる。このために、基礎をなすバイタル信号に関する基本的な仮定が適用されることができる。例えば、運動直説的な要素70は、胸部の呼吸運動が原因で、わずかな周期運動を経験すると考えられることができる。この脈動の周波数は、特定の周波数帯域に含まれると予想されることができる。こうして、非直説的なエッジ74が検出され、更なる分析の間、無視されることができる。他方、直説的なエッジ76が、更なる処理のために引き出されることができるか、又は強調されることさえできる。
軸72は運動情報の方向を示す。一方矢印16は時間を示す。軸72は、定性的又は更には定量的な運動情報を有することができる点に留意されたい。一般に、例えば長手方向の運動を表すスケールが失われているとき、名目的な位置依存的な情報は、定性的な情報から引き出されることができない。しかしながらそれでも、周波数情報は、定性的な信号から抽出されることができる。この関連において、定量的な運動検出を目的とするとき、実際の対象、例えば基準スケールが、少なくとも最初のセットアップの間監視される場合、それは好ましい。これは、運動の定量的な決定を可能にする。
一般に、運動プロファイルは、列毎及びライン毎の両方において、さまざまな変動及び複数の変動を示し、かなり複雑であると予想されることができる。例えば、運動プロファイルは、時間的変化を経験するスペクトルプロファイルに似ている可能性がある。しかしながら、周波数帯域は本実施形態では示されない。代わりに、周波数情報が、図8及び図9において提供される表現から得られることができる。
図9は、運動プロファイルの運動直説的な要素70の拡大された表現を示す。直説的なエッジ76がこれに従って強調される。複数の直説的なエッジが運動プロファイルに存在すると思われる場合、信号品質を改善するのに、更なる相関手段が適用されることができる。例えば対象を覆う毛布における複数のしわ及び折り目といった実際の画像における複数のエッジが、呼吸による運動を経験する場合、これはあてはまる。
直説的なエッジ76は、エッジ検出手段を通り選択され、更に強調されることができる。最終的に、所望の信号をかなり示す単一の波形が得られることができる。これとの関連で図11及び図12の導関数信号波形86も参照されたい。
変形例において、図10を参照して、シーケンス化され、運動プロファイルに移される前に、各一つの特徴的なインデックス要素60が処理されることができる。図10において、それぞれデータストリーム特性78a、...、78nを有する複数の連続的な特徴的なインデックス要素60a、60b、60cが図示される。図6及び図7を参照し、各特性は、単一の画像フレームの凝集及び投影されたラインを表す。複数の凝集されたデータストリーム特性78にわたる積分を介して、連続的又は擬似連続的な波形を持つ特徴的なインデックス要素60nが得られることができる。
更に、積分変換、特にフーリエ変換が、各特徴的なインデックス要素60a、60b、60cに適用されることができる。変換は、80a、80b、80cにより表される。こうして、各特徴的なインデックス要素60が、その大きさ範囲により交換又は更には補充されることができる。こうして、運動ベースの表現ではなく周波数領域ベースの表現が可能にされる。関心大きさ範囲84を得るため、特徴的なインデックス要素から生じる処理信号が時間にわたりシーケンス化されることができる。大きさ軸82は、表現の基礎をなす周波数を示す。基本的に、このアプローチは、定量的な運動情報を示さない定性的な波形に基づく、所望のバイタル信号の検出を目的とする。
積分変換80を適用することにより、(同じ時間点でのキャプチャにもかかわらず)画像特性が、顕著な相関又は周波数に関してスキャンされる。変換された特徴的なインデックス要素60がシーケンス化されるとき、これらの顕著なエンティティが、時間にわたり脈動を経験することも理解されたい。ここでも、エッジ検出手段を適用して、所望のバイタル信号をかなり示す導関数信号形態86が得られることができる。それが特徴的なインデックス要素60に積分変換を適用することにより得られる導関数信号形態86から定量的な運動情報を抽出することを目的としないという点で、図10のスケール88は、定性的であると考えられる。最終的に、特徴的なインデックス要素60が更に処理されるかに関係なく、非常に直説的な導関数信号形態86が得られることができる。
図11は、更なる例示的な導関数信号形態86の図を示す。脈動信号が振幅においていくらか不安定であるが、基礎になる周波数は、主要な負担なしに既知の方法により得られることができる。従って、所望のバイタル信号、例えば監視される患者の呼吸レートが、貧弱な環境条件の下でさえ目立たない態様において最初のデータストリームから抽出されることができる。
運動関連信号を周波数帯域関連の信号に変換することなく、特徴的なインデックス要素60をシーケンス化することにより図11の導関数信号形態86が得られる場合、スケール88は、絶対若しくは相対的な位置情報、又は一般に運動情報を示す定量的なスケールと考えられることができる。こうして、例えば胸部運動の量を表す振幅さえ検出されることができる。
図12は、データモニタリング及び処理を通り得られる例示的な導関数信号形態86aを表す。図11とは対照的に、導関数信号形態86aは、まだ巨大な残留する妨害要素を含む。これは特に、所望の対象運動が、かなりの妨害運動、例えばベッドで回転する対象又はカメラのグローバルな運動によって覆われるとき発生する。その場合、基準運動パターンに基づかれる信号分解が想定されることができる。このため、メインの関心対象に加えて、基準対象が監視されることができる。図4における基準部分50も参照されたい。基準部分画像フレームを処理することは、基準信号を生じさせる。これは、残留妨害信号要素87とも呼ばれる。これらの要素は、いわゆる真性の運動要素90に到達する導関数信号形態86aから減算されることができる。図12において、残留妨害信号要素87aを示すグローバルな運動及び残留妨害信号要素87bを示す妨害対象運動が、個別の基準部分50a、50bにより考慮及び説明される。最終的に、参照番号92により示されるように、例えばその極値を検出することにより、真性の運動要素90の脈動の基礎をなす周波数が検出されることができる。
上述したように、呼吸情報の検出は、呼吸により生じる運動を示す対象(一般に人だが、動物でもよい)の体部分、特に胸部及び/又は腹部領域の微妙な呼吸運動を検出することに基づかれる。最善の位置は概して、(信頼性が高い運動推定に関する)エッジ情報を含み、呼吸が原因で移動する。これは、概してそれらが胸部又は腹部領域に接続されることを意味する(しかし、これは、新生児又は肩を覆う毛布かもしれず、又は成人のセーターの明確な詳細かもしれない)。呼吸レートと独立して移動する傾向がない領域は、四肢、又は胸部若しくは腹部領域と機械的に接触しない寝台の部分である。しかしながら、既知の方法及びデバイスは、所望の呼吸信号をノイズから十分に区別することができない。
本発明は、カメラベースのバイタルサインモニタリングに関して雑音が多い信号を浅い呼吸信号と堅牢に区別する簡単で低コストなデバイス及び方法を提案する。本書で提案されるデバイス及び方法は、再構成された信号ではなく、再構成された信号を構築するのに用いられる生の入力値にフォーカスし、信号及び信号の欠如の間を識別するために単位時間当たりに測定される方向変化の量を観察する。本発明は、これらの生の入力値(即ち図8及び図9に示されるように投影又は信号74、76)の観察に基づかれる。これは、(雑音が多い)静的な場面における方向(サイン)変化の数が、場面が呼吸運動を含むときよりかなり多いことを明らかにした。
図13は、本発明による対象10のバイタルサインを得るデバイス118の例示的な実施形態の概略図を示す。この実施形態は、対象10から放出又は反射される電磁放射20をリモートで検出する撮像ユニット122、特にカメラを有する。撮像ユニット122により提供される対象10の画像フレームのセット126を受信するインタフェース124が提供される。画像フレームの上記セット126の複数の画像フレームを有する画像フレームのサブセットにおける関心領域において、方向変化の量及び/又は方向変化の間の時間距離を決定する分析ユニット128が提供される。この方向変化は、上記関心領域に現れる運動の方向の変化を示す。上記分析ユニット128からの出力情報130として提供される上記画像フレームのサブセットに関する決定された方向変化の量及び/又は時間距離を用いて、上記画像フレームのサブセットにおける上記関心領域が、バイタルサイン情報及び/又はノイズを有するかどうか決定する評価ユニット132が提供される。上記決定の結果134は、上記評価ユニット132からの出力として提供される。最終的に、上記画像フレームのサブセットにおける上記関心領域が、バイタルサイン情報を有すると決定される場合、上記画像フレームのサブセットにおける上記関心領域から対象の所望のバイタルサインを決定するプロセッサ136が提供される。
撮像ユニット122が、デバイスの部分ではない外部ユニットであり、画像フレームのセット126が、事前に得られ、記憶ユニットに格納されることもできる点に留意されたい。更に、要素124、128、132及び136は、1つ又は複数の処理ユニット、例えば一般的なコンピュータにより実現されることができる。
従って、提案されたカメラベースの呼吸監視デバイスにおいて、カメラは、測定される対象を見るために用いられる。特に、胸部/腹部領域が、撮像野にあるべきである。測定を開始する前に、関心領域(ROI)は好ましくは、胸部/腹部領域において手動で又は自動的に選択される。この目的のため、例えば上記画像フレームのサブセットにおける関心領域を選択する任意のROI選択ユニット140が提供される。所望のバイタルサイン、特に呼吸信号を得るため、ROIにおける微妙な呼吸運動が、その後連続して測定及び分析される。
こうして、方向変化は、各投影(=垂直インデックス要素60a..60n)に関する直説的なエッジ76の運動方向72の変化を表し、方向変化の間の時間距離は、運動ベクトル72が各投影60a...60nで各直説的なエッジ76に関してその方向を変化させるときのモーメントの間の時間距離である。
図14は、2つの格納された投影プロファイルからの1つの値の算出を説明する図を示す。投影のサインは、生の信号の方向を示す。ある実施形態において、提案されたデバイスは、生の入力ストリームにおける観察された方向変化の量を測定し、呼吸信号及びノイズの間を分化するため、それを閾値と比較し、呼吸信号が存在するかどうかを決定する。2つの(垂直な)曲線K1、K2は、時間T及び時間T−Δ(典型的には例えば0.2秒)でのビデオフレームの投影を表す。これらの2つの投影K1、K2のピークの(垂直方向における)差は、(積分を介して)呼吸信号を構築するために使用される。本発明によれば、ピークが移動する垂直方向の(単位時間当たりの)変化の数(及び/又は変化の間の時間差)が観察される。規則的な呼吸(及び圧縮アーチファクトを誘導しない適切なカメラ)に関しては、方向変化の数は限定的である。呼吸活動が存在しないとき、画像におけるノイズは、投影プロファイルを作成する。しかし、それらは、より頻繁に方向を変え、これは、本発明に基づき特定され、規則的な呼吸と区別される。
提案されたデバイスの好ましい実施形態において、2つのパラメータが、使用される。1つは、単位時間あたりの許容される方向変化の数(ノイズからの浅い呼吸の分化)であり、もう1つは、呼吸信号の存在に関する決定をする前の時間ウインドウ(意思決定に関するレイテンシ)である。
提案されたデバイスの別の実施形態において、生の信号の「ゼロ交差」(方向の変化に対応する)の間の時間距離が、連続して測定される。斯かる変化の間の距離が複数の連続的なゼロ交差に関してあまりに短い場合、呼吸信号が不在である(例えば、患者は、息を止めている)及び測定された信号がノイズだけを含む、又はノイズ信号が、抽出された呼吸信号を支配しており、従って、呼吸の信頼性が高い測定が可能でないことが決定される。この実施形態の利点は、「呼吸信号がない」瞬間の検出におけるレイテンシが非常に低いことにある。従って、本実施形態において、評価ユニット132は好ましくは、決定された方向変化の量が、所定の方向変化閾値より低いかどうか決定するよう構成される。低いことは、上記画像フレームのサブセットに含まれる上記関心領域がバイタルサイン情報を有することを示す。
提案されたデバイスの更に別の実施形態は、胸部又は腹部の呼吸運動は、時間の同じ瞬間に水平及び垂直両方の投影における方向の変化をもたらすが、ノイズは、そのランダム性により、水平及び垂直投影における整列されていない方向の変化を生じさせるという事実を利用する。従って、本実施形態において、上記分析ユニット128は好ましくは、上記画像フレームのサブセットから2つの所定の直交する方向において2つの投影プロファイルを決定し、上記投影プロファイルから方向変化の量を決定するよう構成される。好ましくは、上記評価ユニット132は、両方の投影プロファイルにおいて実質的に同じ時間に方向変化が現れる場合、上記画像フレームのサブセットの上記関心領域がバイタルサイン情報を有すると決定するよう構成される。
上記の実施形態は、関心領域に含まれる呼吸信号の欠如の検出を目的とする。これは、人の胸部又は腹部の周りのROIが、すでに(事前に)規定されていることを仮定する。2つのROIの例を考える。胸部領域の1つのROI(ROI1)は、呼吸信号を提供し、人の任意の部分を含まない別のROI(ROI2)は、ノイズだけを提供する。「ゼロ交差」の数又はROI2における方向の変化の数は、ROI1よりかなり多い(投影の振幅が類似するにもかかわらず)。実際、胸部及び/又は腹部周りの1つのROIだけを画像が含む場合、水平及び垂直投影における小さい部分(それは、ROIに対応する)だけが、少ない数の方向変化を含む。一方、投影の残りの部分すべて(ノイズに対応する)は、複数の方向変化を持つ。
更なる実施形態において、この観察は、胸部/腹部周りの2D ROIの微調整に関して、又は、完全に自動的なROI検出に関してさえ使用される。例えば、ある実施形態において、以下のステップが(例えばROI選択ユニット140により)実施される。
水平及び垂直1D投影が、小さい部分に分割される。それらの部分の長さは、ROIサイズの必要な精度に依存する。
両方の投影の各部において、方向変化の数が算出される。
最も少ない数の方向変化を持つ隣接部分が選択される。
水平及び垂直投影のそれらの選択された部分の横断面が、呼吸運動を持つROIを表す。
上述の2つのROIの例(ROI1及びROI2)において、ROI2に対応する垂直投影の部分は、ROI1に対応する部分より多い方向変化の数を持つ。
複数の対象(監視される患者)が画像に存在するシナリオをカバーするため、上記実施形態は更に拡張されることができ、バイタルサインは、存在する対象の各々に関して別々に検出及び測定されるべきである。この場合、上記実施形態は、以下のステップで拡張される。
特定の閾値未満の方向変化の数を持つ水平及び垂直投影におけるすべての部分を検出する。
等しい数の方向変化を持つ水平及び垂直投影における部分のペアを規定する。
水平及び垂直投影における部分のペアの各々の横断面が、その場面における異なる対象の周りの別々のROIを表す。
ある実施形態において、評価ユニット132は、両方の投影プロファイルにおいて実質的に同じ時間に方向変化が現れる場合、上記画像フレームのサブセットの上記関心領域がバイタルサイン情報を有すると決定するよう構成される。別の実施形態では、評価ユニット132は、方向変化の間の決定された連続的な時間距離が、所定の時間距離閾値以上かを決定するよう構成される。以上であることは、上記画像フレームのサブセットに含まれる上記関心領域が、バイタルサイン情報を有することを示す。
更に別の実施形態において、デバイスはオプションで、上記画像フレームにおける方向変化の量、所定の方向変化閾値及び/又は関心領域を決定するのに使用される上記画像フレームのサブセットの画像フレームの数を制御する制御ユニット142を有する。
一般に、本発明は、異なる種類のバイタルサインを得るのに使用されることができる。好ましくは、上記プロセッサ136は、上記画像フレームのサブセットにおける上記関心領域から対象の呼吸情報を決定するよう構成される。
更に、ある実施形態において、照射条件を改良して、得られるバイタルサインの品質を改善するため、このデバイスは、対象に電磁放射を向ける放射源、特に光源を有する。
例えば、本発明は、健康管理の分野に適用される。例えば、目立たない遠隔患者モニタリング、新生児モニタリング、一般的な監視、安全性モニタリング及びフィットネス装置といったいわゆるライフスタイル環境等において適用されることができる。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な非一時的媒体において格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (11)

  1. 対象のバイタルサインを得るデバイスであって、
    対象の画像フレームのセットを受信するインタフェースと、
    前記セットの複数の画像フレームを含む画像フレームのサブセットにおいて呼吸運動を経験する直説的な部分である胸部又は腹部を示す関心領域から所定の方向における投影プロファイルを決定し、前記投影プロファイルから方向変化の数及び/又は方向変化の間の時間距離を決定する分析ユニットであって、方向変化が、前記関心領域において現れる運動の方向の変化を示す、分析ユニットと、
    前記方向変化の数が所定の方向変化閾値より低い、及び/又は前記時間距離が所定の時間距離閾値以上であるとき、前記画像フレームのサブセットにおける前記関心領域が、バイタルサイン情報を有すると決定する評価ユニットと、
    前記画像フレームのサブセットにおける前記関心領域がバイタルサイン情報を有すると決定される場合、前記画像フレームのサブセットにおける前記関心領域から前記対象の所望のバイタルサインを決定するプロセッサとを有する、デバイス。
  2. 前記分析ユニットが更に、前記画像フレームのサブセットから2つの所定の直交する方向において2つの投影プロファイルを決定し、前記投影プロファイルから前記方向変化の数を決定するよう構成される、請求項1に記載のデバイス。
  3. 両方の投影プロファイルにおいて実質的に同じ時間に方向変化が現れる場合、前記画像フレームのサブセットの前記関心領域がバイタルサイン情報を含むと、前記評価ユニットが決定するよう構成される、請求項2に記載のデバイス。
  4. 前記画像フレームにおける前記方向変化の数を決定するのに使用される前記画像フレームのサブセットの画像フレームの数を制御する制御ユニットを更に有する、請求項1に記載のデバイス。
  5. 前記画像フレームのサブセットから2つの所定の直交する方向において2つの投影プロファイルを決定し、
    前記投影プロファイルを投影領域に分割し、
    前記投影領域における方向変化の数及び/又は方向変化の間の時間距離を決定し、
    最小数の方向変化及び/又は方向変化の間の最大の時間距離を持つ前記2つ又はこれ以上の隣接する投影領域を選択することで、前記画像フレームのサブセットにおける前記関心領域を選択するROI選択ユニットを更に有し、
    前記選択された投影領域が、前記関心領域を表す、請求項1に記載のデバイス。
  6. 前記ROI選択ユニットが更に、
    第1の投影領域閾値未満の方向変化の数及び/又は第2の投影領域閾値以上の時間距離を持つ投影領域を選択し、
    前記投影領域のうち、両方の投影プロファイルにおいて実質的に等しい方向変化の数及び/又は方向変化の間の実質的に等しい時間距離を持つ投影領域をペアとして選択するよう構成され、
    前記投影領域のペアが、別々の関心領域を規定する、請求項に記載のデバイス。
  7. 前記バイタルサインが、前記対象の呼吸情報である、請求項1に記載のデバイス。
  8. 前記対象から放出又は反射される電磁放射をリモートで検出する撮像ユニットを更に有する、請求項1に記載のデバイス。
  9. 前記対象に電磁放射を向ける放射線源を更に有する、請求項1に記載のデバイス。
  10. 対象のバイタルサインを得る方法において、
    対象の画像フレームのセットを受信するステップと、
    前記セットの複数の画像フレームを含む画像フレームのサブセットにおいて呼吸運動を経験する直説的な部分である胸部又は腹部を示す関心領域から所定の方向における投影プロファイルを決定し、前記投影プロファイルから方向変化の数及び/又は方向変化の間の時間距離を決定するステップであって、方向変化が、前記関心領域に現れる運動の方向の変化を示す、ステップと、
    前記方向変化の数が所定の方向変化閾値より低い、及び/又は前記時間距離が所定の時間距離閾値以上であるとき、前記画像フレームのサブセットにおける前記関心領域が、バイタルサイン情報を含むと決定するステップと、
    前記画像フレームのサブセットにおける前記関心領域がバイタルサイン情報を含むと決定される場合、前記画像フレームのサブセットにおける前記関心領域から前記対象の所望のバイタルサインを決定するステップとを有する、方法。
  11. コンピュータ上で実行されるとき、
    対象の画像フレームのセットを受信するステップと、
    前記セットの複数の画像フレームを含む画像フレームのサブセットにおいて呼吸運動を経験する直説的な部分である胸部又は腹部を示す関心領域から所定の方向における投影プロファイルを決定し、前記投影プロファイルから方向変化の数及び/又は方向変化の間の時間距離を決定するステップであって、方向変化が、前記関心領域に現れる運動の方向の変化を示す、ステップと、
    前記方向変化の数が所定の方向変化閾値より低い、及び/又は前記時間距離が所定の時間距離閾値以上であるとき、前記画像フレームのサブセットにおける前記関心領域が、バイタルサイン情報を含むと決定するステップと、
    前記画像フレームのサブセットにおける前記関心領域がバイタルサイン情報を含むと決定される場合、前記画像フレームのサブセットにおける前記関心領域から前記対象の所望のバイタルサインを決定するステップとをコンピュータに実行させるプログラムコードを有するコンピュータプログラム。
JP2016512270A 2013-05-08 2014-04-24 対象のバイタルサインを得るデバイス Active JP6697378B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361820755P 2013-05-08 2013-05-08
US61/820,755 2013-05-08
EP13167047.3 2013-05-08
EP13167047 2013-05-08
PCT/EP2014/058288 WO2014180660A1 (en) 2013-05-08 2014-04-24 Device for obtaining a vital sign of a subject

Publications (3)

Publication Number Publication Date
JP2016522027A JP2016522027A (ja) 2016-07-28
JP2016522027A5 JP2016522027A5 (ja) 2017-06-08
JP6697378B2 true JP6697378B2 (ja) 2020-05-20

Family

ID=48463728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016512270A Active JP6697378B2 (ja) 2013-05-08 2014-04-24 対象のバイタルサインを得るデバイス

Country Status (7)

Country Link
US (1) US9339210B2 (ja)
EP (1) EP2994880B1 (ja)
JP (1) JP6697378B2 (ja)
CN (1) CN105190691B (ja)
BR (1) BR112015027802A2 (ja)
RU (1) RU2668066C2 (ja)
WO (1) WO2014180660A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3151728A1 (en) * 2014-06-06 2017-04-12 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject
KR101663239B1 (ko) 2014-11-18 2016-10-06 상명대학교서울산학협력단 인체 미동에 의한 hrc 기반 사회 관계성 측정 방법 및 시스템
US9704266B2 (en) * 2014-12-11 2017-07-11 Rdi, Llc Non-contacting monitor for bridges and civil structures
JP2017055949A (ja) * 2015-09-16 2017-03-23 シャープ株式会社 計測装置、計測システム、計測方法およびコンピュータプログラム
JP6854284B2 (ja) * 2015-10-06 2021-04-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生体のバイタルサイン関連情報を取得するデバイス、システム及び方法
EP3378384A4 (en) * 2015-11-20 2018-10-24 Fujitsu Limited Information processing device, information processing method, and information processing program
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601143D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
CA2958003C (en) 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
JP6924817B2 (ja) * 2016-08-23 2021-08-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 病院ビデオ監視システム、カメラ、データ伝送システムコントローラ、病院ビデオ監視方法及び病院ビデオ監視コンピュータプログラム
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
WO2018069419A1 (en) * 2016-10-11 2018-04-19 Koninklijke Philips N.V. Detection and measurement of breathing using an optical camera and projected shadows
WO2018087528A1 (en) 2016-11-08 2018-05-17 Oxehealth Limited Method and apparatus for image processing
US10470720B2 (en) 2016-12-28 2019-11-12 Industrial Technology Research Institute Heart rate activity detecting system based on dynamic images and method thereof
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
EP3440996A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Device, system and method for determining a physiological parameter of a subject
WO2019034743A1 (en) * 2017-08-16 2019-02-21 Koninklijke Philips N.V. ULTRASONIC DETERMINATION OF A DYNAMIC AERONIC BRONCHOGRAM AND ASSOCIATED DEVICES, SYSTEMS AND ASSOCIATED METHODS
EP3681394A1 (en) 2017-11-13 2020-07-22 Covidien LP Systems and methods for video-based monitoring of a patient
US11786202B2 (en) 2018-01-08 2023-10-17 Shenzhen Keya Medical Technology Corporation Method, system, and medium for analyzing image sequence of periodic physiological activity
US10499867B2 (en) * 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
WO2019240991A1 (en) 2018-06-15 2019-12-19 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
EP3643235A1 (en) * 2018-10-22 2020-04-29 Koninklijke Philips N.V. Device, system and method for monitoring a subject
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
TWI765185B (zh) * 2019-10-23 2022-05-21 國立中山大學 非接觸式生命特徵檢測方法
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system
CN112580612B (zh) 2021-02-22 2021-06-08 中国科学院自动化研究所 一种生理信号预测方法
US11882366B2 (en) 2021-02-26 2024-01-23 Hill-Rom Services, Inc. Patient monitoring system
US11596315B1 (en) * 2021-09-21 2023-03-07 Google Llc Measurement of vital signs based on images recorded by an egocentric camera
WO2024121066A1 (en) 2022-12-05 2024-06-13 Koninklijke Philips N.V. System for respiratory rate determination based on multiple contactless sensing modalities and related methods
CN116702015B (zh) * 2023-08-09 2023-11-28 中国科学技术大学 信号处理方法、装置、无人机及计算机可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734739A (en) * 1994-05-31 1998-03-31 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
JP3263035B2 (ja) 1997-11-21 2002-03-04 東芝エンジニアリング株式会社 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム
JP3477166B2 (ja) 2000-12-07 2003-12-10 学校法人慶應義塾 監視装置
JP4588423B2 (ja) * 2004-11-30 2010-12-01 住友大阪セメント株式会社 状態解析装置及びソフトウエアプログラム
WO2008027520A2 (en) * 2006-08-30 2008-03-06 The Trustees Of Columbia University In The City Of New York Systems and methods for composite elastography and wave imaging
EP2265169A4 (en) 2008-04-03 2013-01-09 Kai Medical Inc NON-CONTACT PHYSIOLOGICAL MOTION SENSORS AND METHODS OF USE
CN102046076A (zh) * 2008-04-03 2011-05-04 Kai医药公司 非接触式生理运动传感器及其使用方法
US20100152600A1 (en) 2008-04-03 2010-06-17 Kai Sensors, Inc. Non-contact physiologic motion sensors and methods for use
JP5483899B2 (ja) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
RU91838U1 (ru) * 2009-08-10 2010-03-10 Федеральное агентство по науке и инновациям (Роснаука) Носимый телекоммуникационный комплекс мониторинга функционального состояния человека
EP2417908A1 (en) * 2010-08-12 2012-02-15 Philips Intellectual Property & Standards GmbH Device, system and method for measuring vital signs
EP2661219B1 (en) 2011-01-05 2019-05-15 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals
EP2683296A1 (en) 2011-03-11 2014-01-15 Koninklijke Philips N.V. Monitoring apparatus for monitoring a physiological signal.
US9224202B2 (en) 2011-04-14 2015-12-29 Koninklijke Philips N.V. Device and method for extracting information from characteristic signals
US9320491B2 (en) * 2011-04-18 2016-04-26 The Trustees Of Columbia University In The City Of New York Ultrasound devices methods and systems
CN102499664B (zh) * 2011-10-24 2013-01-02 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测***
CN102488508B (zh) * 2011-12-29 2014-10-15 哈尔滨工业大学 一种基于图像捕获的心率测量方法
US9516079B2 (en) * 2012-07-16 2016-12-06 Ricoh Company, Ltd. Media stream modification based on channel limitations
WO2014024104A1 (en) * 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
US20150250425A1 (en) 2012-09-21 2015-09-10 Koninklijke Philips N.V. Motion robust vital signal monitoring
CN103054569B (zh) * 2012-12-20 2015-04-22 Tcl集团股份有限公司 基于可见光图像测量人体心率的方法、装置及手持设备

Also Published As

Publication number Publication date
JP2016522027A (ja) 2016-07-28
CN105190691B (zh) 2019-06-25
EP2994880A1 (en) 2016-03-16
CN105190691A (zh) 2015-12-23
BR112015027802A2 (pt) 2017-07-25
WO2014180660A1 (en) 2014-11-13
US20140334697A1 (en) 2014-11-13
RU2015152242A (ru) 2017-06-14
US9339210B2 (en) 2016-05-17
EP2994880B1 (en) 2017-06-14
RU2668066C2 (ru) 2018-09-25

Similar Documents

Publication Publication Date Title
JP6697378B2 (ja) 対象のバイタルサインを得るデバイス
Bartula et al. Camera-based system for contactless monitoring of respiration
JP6371837B2 (ja) 被験者のバイタルサインを取得するデバイスと方法
EP2697771B1 (en) Device and method for extracting information from characteristic signals
JP6559780B2 (ja) 被験者のバイタルサイン情報を検出するデバイス及び方法
JP6472086B2 (ja) 対象の呼吸情報を取得する装置
JP6389834B2 (ja) 被験者からバイタルサインを決定する装置及び方法
JP6737261B2 (ja) バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JP6466912B2 (ja) 画像データから胸郭及び腹部呼吸信号を決定する装置及び方法
JPWO2006043506A1 (ja) 呼吸モニタリング装置、呼吸モニタリングシステム、医療的処理システム、呼吸モニタリング方法、呼吸モニタリングプログラム
WO2014024104A1 (en) Device and method for extracting physiological information
Gwak et al. Motion-based respiratory rate estimation with motion artifact removal using video of face and upper body
US20140241588A1 (en) Apparatus and method for detecting subjects on the basis of vital signs
US10292623B2 (en) Apparatus and method for determining a respiration volume signal from image data
EP3422931A1 (en) Device, system and method for determining a vital sign of a subject
Nijholt Contactless respiration monitoring using a 3D camera system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190515

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200424

R150 Certificate of patent or registration of utility model

Ref document number: 6697378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250