JP2015500083A - 心エコー検査のための自動的な画像化平面選択 - Google Patents

心エコー検査のための自動的な画像化平面選択 Download PDF

Info

Publication number
JP2015500083A
JP2015500083A JP2014545446A JP2014545446A JP2015500083A JP 2015500083 A JP2015500083 A JP 2015500083A JP 2014545446 A JP2014545446 A JP 2014545446A JP 2014545446 A JP2014545446 A JP 2014545446A JP 2015500083 A JP2015500083 A JP 2015500083A
Authority
JP
Japan
Prior art keywords
imaging
volume
anatomical
partial
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014545446A
Other languages
English (en)
Inventor
ゲオルゲ ラドゥレスク,エミル
ゲオルゲ ラドゥレスク,エミル
ヴェーゼ,ユルゲン
サルゴ,イヴァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2015500083A publication Critical patent/JP2015500083A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58Testing, adjusting or calibrating the diagnostic device
    • A61B8/585Automatic set-up of the device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085Details related to the ultrasound signal acquisition, e.g. scan sequences
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • A61B8/145Echo-tomography characterised by scanning multiple planes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

ボリュームの3次元のライブでの画像化からの解剖学的構造認識に基づいて、上記ボリュームのうち1又は複数の部分(204、208)がリアルタイムで選択される。さらなるリアルタイム応答において、ライブでの画像化又は部分(群)が、ボリューム画像化において使用されたものよりも高いビーム密度(156)を用いて行われる。上記1又は複数の部分は、解剖学的測定(424)又は表示を行うことにおいて最適な向きとして選択された1又は複数の画像化平面とすることができる。認識は、心臓のメッシュモデルなどの解剖学的モデルに基づくことができる。上記モデルは、画像配置に関連付けることができる情報を用いて予め符号化されて、部分選択のための、及びライブでの部分画像化により提供される画像の内部の測定を開始するための表示可能なしるし(416、420、432、436)の配置のための、基準を提供することができる。単一のTEE又はTTEの画像化プローブ(112)を、全体にわたって使用することができる。必要に応じて、周期的に、又は解剖学的構造に対するプローブの検出された動きに基づいて、処理全体は、再実行されることができ、戻ってボリューム取得から開始することができる(S508)。

Description

本発明は、解剖学的構造の画像化に関し、より詳細には、画像化の中の解剖学的構造に基づいて、画像化を変更することに関する。
正確な解剖学的測定が、治療前、多数の心臓疾患の診断のために必要とされる。大動脈狭窄に対する優れた標準的な治療が、大動脈弁の外科的置換である。心臓切開手術が必要とされるが、一部の年配の患者にとっては選択できるものではない。近年開発された、侵襲が非常に少なくなる代替手段が、経カテーテル大動脈弁植え込み術(TAVI)である。カテーテルを介して、置換バルブが静脈内で進められ、現在の欠陥のある弁の場所に設置される。準備において、大動脈弁輪の直径を決定する。別の例として、上行大動脈の直径を算出して動脈瘤の潜在性を評価する。
医用画像化は、解剖学的測定を行うための非侵襲的方法である。医用画像処理応用において、通常は、種々の処理タスクが画像に対して行われる。多くの画像処理応用において基礎的なタスクである、1つの具体的な処理タスクが、特定の器官の区分けである。多くの器官について、区分けは、形状制約された変形可能なモデルを用いて成功裏に行うことができる。上記モデルは、区分けされる画像への適合中に変更されないままとなるトポロジを有するメッシュ構造に基づく。モデルベースの区分けは、さまざまな単純な器官から複雑な器官まで(例えば、骨、肝臓、及び入れ子構造を有する心臓)に対して、非常に効率的であると考えられてきた。実際、この手法は心臓などの複雑な解剖学的構造の完全に自動的な区分けを可能にすることを、最近の実績が示している。
Petersらに共通して割り当てられた米国特許出願公開第2008/0304744号(以降、「第744号出願」)は、その開示全体が本明細書において参照により援用されるものであり、解剖学的モデルを3次元(3D)超音波画像に適合させ、対象の解剖学的構造の局所化及び追跡などの特定の画像処理タスクの自動的な後続の実行のために上記の適合されたモデルを符号化する。
心エコー検査についての、非電離の、高分解能及び高組織コントラストの利点は、迅速な診断と介入の適用のための信頼できる案内とを可能にする。
迅速な診断は、標準ビューの取得が迅速に処理されることを必要とする。これは、ユーザが標準ビュー(例えば、2D画像、画像の頂点(軸方向に最も近接するポイント)をわたる2つのビューであるX平面、又は選択されたボリューム測定取得)を最適に捕捉するために超音波トランスデューサプローブを正しい方向に置く必要があるため、困難である。
加えて、3D心エコー検査におけるビーム密度、ボリュームサイズ及びフレームレートの間のトレードオフが、大動脈基部又は大動脈瘤などの複雑な構造を見ているとき、正確な定量化を困難にする。
正確な測定は、高いビーム密度を必要とし、上記高いビーム密度は、高いフレームレートで大きなボリュームを画像化している場合に到達することが難しい。一般に、その緩和策は、正しい向きを有する2D画像又は一式の2D画像(例えば、X平面)だけを収集し、上記画像における測定を行うことである。ひいては、上記平面の向きは、注意深く選択されなければならない。
例えば、上行大動脈の動脈瘤の場合、正しい画像化平面の選択が重要である。しかしながら、この選択は、プローブの向き、上行大動脈の解剖学的構造、及びオペレータのスキルに大きく依存する。例えば、特定の対象とされる心臓の解剖学的構造に対する経食道(TEE)超音波プローブの位置は、患者ごとに変化する。
3D超音波における心臓全体の心臓の画像の区分けは、本明細書において上記で述べたとおり、ビーム密度及び/又はフレームレートに逆に影響を与える。詳細には、方位角方向及び上昇方向における2次元のTEE又はTTEのトランスデューサアレイを用いるスキャンが、あるレートで行われ、上記レートは、次の、隣接するビームを放射する前に、ビームの戻りエコーを受信する必要性によって制限される。超音波は、他の画像化モダリティと比べて遅く、ほんの1540メートル毎秒で身体組織を進む。したがって、約25Hzという典型的な表示リフレッシュレートにおいて、ビーム密度、すなわちあるセクタを通るビームの数は、比較的少なくなる。例えば、20乃至30Hzにおいて、ほんの数百の送信ビームしか利用することができない。結果として、空間分解能が影響を受ける。
特定の医学的応用において解剖学的測定のための空間分解能を向上させるために、本明細書の以下において、3Dの解剖学的モデルを適用することと、後続のステップによって、解剖学的構造認識に基づいて、関心のあるボリュームを縮小しながらビーム密度を上げることとが提案される。その結果、分解能における増大が、より良好なモデル適合に活用され、結果として、より優れた定量化精度に活用される。上記の手続きは、リアルタイムで行われる。本特許出願において、「リアルタイム」は、システムの処理限度とデータを正確に処理するために必要とされる時間とを前提として、意図的な遅延の無いことを意味する。
本発明の態様において、装置が、ボリュームのうち1又は複数の部分を、上記ボリュームの3次元のライブでの画像化からの解剖学的構造認識に基づいて選択するように構成される。上記ボリュームの3次元のライブでの画像化には、関心のある組織の完全なビューか又は部分的なビューだけかのいずれかを含むことができる。上記選択は、自動的に、かつユーザ介入の必要なく、上記画像化に応答して行われる。上記選択は、標準ビューの最適な迅速な取得のため、又は正確な測定及び定量化のために必要とされる特定のビューのために行われる。上記装置はさらに、自動的に、かつユーザ介入の必要なく、上記選択に応答して、ボリューム画像化において使用されたビーム密度よりも高いビーム密度を用いて、上記の1又は複数の選択された部分をライブで画像化するように構成される。
1つの他の態様において、1又は複数の画像化平面は、上記1又は複数の部分をそれぞれ含む。
別の態様において、上記部分画像化は、上記ボリューム画像化を再実行するために選択的に中断される。
さらなる態様において、上記中断は周期的に生じる。
別の態様において、上記装置は、画像化プローブと身体組織との各部分に関して相対的な動きを検出するように構成される。上記中断は、上記検出された動きに基づいて引き起こされる。
別の態様において、上記装置は、自動的に、かつユーザ介入の必要なく、一連の動作を実行するように構成される。上記一連には、ボリューム画像化、認識、選択、部分画像化、中断、ボリューム画像化の再実行、並びに再実行されたボリューム画像化に基づいた認識、選択、及び部分画像化を含む。
補足的な態様において、上記装置は、ディスプレイを含み、上記ディスプレイに、上記1又は複数の選択された部分のうち少なくとも1つを表示するように構成される。
副次的な態様において、上記装置は、上記少なくとも1つの部分を表示することと同時に、それぞれの表示されている部分に隣接する身体組織を含む全体像ビューを表示するように構成される。
付加的な態様において、上記装置は、上記単一の画像化プローブを介した、ボリューム画像化及び部分画像化の双方のために構成される。
別の態様において、上記プローブは、体内用である。
さらに別の態様において、上記ボリューム画像化は、超音波画像化を含む。
1つのさらなる態様において、上記選択は、最適ビュー基準に基づく。
副次的な態様において、上記基準は、部分画像化によって生成されるべき画像から、対象とされる解剖学的測定を行うことに基づく。
別の副次的な態様において、上記選択は、上記基準に従い、最適な向きを選ぶ。
関連する態様において、上記ボリューム画像化は、心臓の画像化を含む。
いくつかの実施形態において、上記装置は、上記ボリューム画像化において取得されたデータに適合された解剖学的モデルに基づいて、画像化平面を定義するためのユーザインタフェースを含む。
補完的な態様において、上記装置はさらに、自動的に、かつユーザ介入の必要なく、部分画像化及び/又はボリューム画像化に解剖学的モデルを適用することに基づいてドップラー角を算出するように構成される。
さらなる付加的な態様において、上記選択は、上記ボリューム画像化において取得されたデータによって表される身体組織の内部の、所定の解剖学的ポイント間の、距離の測定を最適化することなどである。
さらなる関連する態様において、上記装置は、解剖学的構造認識に基づいて、測定初期化しるしを導出するように構成される。上記装置はさらに、上記導出されたしるしを表示して上記部分画像化により生成された画像内の画像に基づく測定を初期化するように構成される。
副次的な態様において、上記導出には、上記選択された部分のうち少なくとも1つに解剖学的モデルを適用することを含む。
さらなる1つの付加的な態様において、上記選択は、胸骨傍の長軸ビュー、胸骨傍の短軸ビュー、肋骨下のビュー又は心尖部のビュー(例えば、四腔ビュー)のいずれかを達成するように実行される。画像化された解剖学的構造に関連する任意のビュー、又はマルチモダリティに整合されたビューを同様に、選択のために考えることができる。
1つのまたさらなる態様において、上記装置は、ボリューム部分が上記ボリューム画像化において取得されたデータにより表される身体組織の内部の所定の解剖学的目印に及ぶような、上記選択をなすように、構成される。
別の見方において、装置が、ビーム形成パラメータを用いて解剖学的構造の画像化を取得するように構成される。上記装置はさらに、自動的に、かつユーザ介入の必要なく、上記取得された画像化の中の解剖学的構造に基づいて上記パラメータを調整して1又は複数の対象とされるビューの中の画像化を向上させるように構成される。
新しい画像化‐ボリューム‐部分選択装置の詳細が、添付図面を用いてさらに以下に説明される。添付図面は、縮尺通りに描かれてはいない。
図1A及び図1Bは、それぞれ、ボリューム画像化と平面画像化との概念図である。 図2A及び図2Bは、それぞれ、ボリューム画像化と部分画像化との概念図である。 部分画像化の動きに基づいた中断とボリューム画像化の応答性の再実行との概念図である。 表示ビューと測定初期化しるしとの図示である。 画像化‐ボリューム‐部分選択装置についての動作フローチャートである。
図1A及び図1Bは、例解の非限定的な例として、人間又は動物の心臓全体104などのボリューム100のライブでの画像化(live imaging)を示し、上記画像化は、後に、単一の画像化平面108の内部のライブでの画像化に縮小される。画像化は、双方の場合において、プローブ112により行われる。心臓の応用に関して、プローブ112は、体内の利用のためのTEEプローブ、又はTTEプローブとすることができる。TEEプローブは、食道を、画像化のための位置へと下方に進む。TTEの場合、プローブ112の画像化端部は、典型的には、音波検査者、心臓病専門医又は放射線科医によって手持ちされ、制御されることになる。TEEの場合、プローブ112は、典型的には、舵取りのための1又は複数の引手ケーブルによって制御可能となるものであり、複数平面(multiplane)プローブが、手動で、又はモータによって食道の内部で回転可能となるものである。この誘導は、超音波画像化が行われるプローブ112の中の画像化ウィンドウによって提供される画像案内の下で行うことができる。いったんプローブ112が正しく位置付けられると、ボリューム画像化を進めることができる。TEE又はTTEプローブ112は、2次元トランスデューサアレイを有するものとする。例解の簡素化のため、1つの次元に沿ったスキャンを、図1Aに示す。したがって、第1のビーム120からの戻りエコーが、取得時間ゲートの垂下中に待ち受けられ、次いで、スキャンにおける第2のビーム124が放射される。TEEの場合にプローブ112は画像化ボリューム100により近接して内部に設置されるため、超音波の飛行の時間は削減される。それに応じて、ビーム密度と、したがって空間解像度とが、外側から、典型的には手動で使用される経胸的(TTE)プローブを用いるよりも、TEEプローブ112を用いる方がより高くなる。加えて、画像化の鮮明さの増加は、より小さな減衰に、すなわち、より短い距離にもまた起因し得る。しかしながら、本明細書において論じられる原理は、TTEプローブにも当てはまる。同様にして、胎児などの、心臓以外の身体組織が、本明細書において提示されるものの意図された範囲内にある。
プローブ112は、ケーブル128によって、画像取得モジュール132に接続される。後者のものは、コンピュータ読取可能媒体を有するプロセッサ136に通信可能に接続される。プロセッサ136はさらに、ディスプレイ装置140とユーザインタフェースユニット144とに通信可能に接続される。これらが、現在の例における画像化‐ボリューム‐部分(imaging-volume-portion)選択装置146の全構成要素である。
第744号出願にあるとおり、心臓のメッシュモデルが、取得された3Dボリューム画像に適合される。上記適合は、拍動する心臓の特定の段階について実行することができる。別法として、上記適合は、複数の段階について別個に実行することができ、この意味において、周期的かつ連続的に繰り返すことができる。上記時点で、及び/又はその後で、モデルに予め符号化されている解剖学的目印情報を、3D画像の中のそれぞれの配置に関連付けることができる。付加的な応用として、メッシュのうちの対象とされる血管148は、画像化内に位置する場合、プローブ112に関して決定された血管の向きがドップラー角152の自動的な算出において使用されることを可能にする。
リアルタイムにおいて、ボリューム100のうち1又は複数の部分が、より大きなビーム密度156での後続のライブでの画像化のために、ここで自動的に選択される。例えば、ボリューム100を通る画像化平面108、又はX平面が、選択されたボリューム部分を含むことができる。1より多くの部分が選択される場合、これらは、それぞれの画像化平面108、160の内部に含まれることができる。
上記選択は、ライブでの部分画像化について、ボリューム画像化のために直前に導出されたビーム形成パラメータを調整することを含む。上記調整は、取得されたボリューム画像化の中の解剖学的構造に基づいて、標準的な診断ビュー、又は解剖学的目印若しくはポイント間で正確なキャリパ測定を容易にするビューなどの、1又は複数の対象とされるビューを向上させる。
選択は、応用に依存する最適ビュー基準に基づく。一般的な画像化診断について、上記選択は、解剖学的構造に関して標準ビューを達成するように行われる。心臓の標準ビューの例には、四腔(又は「心尖部の」)ビュー、胸骨傍の長軸ビュー、胸骨傍の短軸ビュー及び肋骨下のビューがある。付加的な例には、画像化された解剖学的構造に関連する任意のビュー、又はマルチモダリティに整合されたビューを含む。大動脈瘤測定について、大動脈は、モデルを適用することにより識別される。画像化平面108は、大動脈の中心線に沿って表示平面を移動させるとき、上記中心線に対して直角に、最大直径に対応して選択される。第2の例として、TAVIプランニングには、モデルを用いて大動脈弁を識別することを含む。第744号出願にあるとおり、大動脈弁輪の周りのリングなどの、上記モデルの中に符号化される情報が、3D画像に関連付けられる。次いで、画像化平面108、160のペアを選択して、結果として生じる2D画像が適切な大動脈弁輪直径測定を可能にするように、上記リングを最適に切り取る。上記の平面選択は、向きを選択することを本質的に含む。2D画像の表示とともに、画像に重ねられたしるしが、どこの測定を行うべきかを臨床医に示す。自動的な選択は、プローブの向き、患者固有の解剖学的構造、及びオペレータのスキルに大きく依存する手動選択についての上記で言及した典型的な問題を軽減する。臨床医は、別法として、ユーザインタフェースユニット144を介して画像化平面を定義及び保存することができる。これは、ディスプレイ装置140上の画像化されたボリュームの表示を用いて対話的に行うことができる。
選択された平面108、160は、最適なビーム密度156と結果として生じる改良された画像化とを用いて取得され、測定初期化しるし(measurement-initializing indicia)を重ねられたライブでの画像化として表示される。
図2A及び図2Bにおいて、画像化平面を越えて延びる、ボリューム100のうち選択された部分204、208が、3Dでライブで画像化される。図2A及び図2Bの例示的な実施形態において明示されるとおり、部分画像化は、平面画像化が部分画像化の特別な場合であるが、同様に、より高いビーム密度にある。例解として、しるし212、216が、ここでは解剖学的ポイントであるが、選択された部分208に関連付けられる。しるし212、216を表示して、ディスプレイ装置140を見ている臨床医によって上記しるし間で測定を初期化することができる。
時間とともに、相対的な動きが、画像化プローブ112と画像化される身体組織とのそれぞれの位置に関して生じる可能性がある。さらに、TTEの場合、自身の呼吸を止めるように求められるであろう患者、又は臨床医が、気付かずに動いてしまうおそれがある。
相対的な動きは、ライブでの画像化を、整合の範囲外に、すなわち部分選択に応じて予め算出されているビーム形成パラメータとの一致の範囲外に移動させる可能性がある。
破線で表されるとおり、図3は、拍動する心臓の所与の段階における、ボリューム100に対する画像化プローブ112の動き304を示す。これは、所与の段階について、現在の画像を以前の保存されている画像と比較することによって検出可能である。上記比較は、部分画像化中に行われ、平面画像化は、部分画像化の特別な場合である。上記比較を周期的又は連続的に行って動きを検出することができる。動きが検出された場合、部分画像化は中断され308、ボリューム取得が再実行される。したがって、モデルを3D画像化に適合させる解剖学的構造認識が、再実行されたボリューム取得に基づいて、1又は複数の部分を選択することと選択された部分(群)を画像化することとにつながる。ボリュームと次いで部分との画像化の再実行は、別法として、周期的に、いかなる相対的な動きにも関わりなく、しかしながら動きに備えて予防として生じるように、設計することができる。
図4は、上行大動脈408の2次元ライブ画像404の一例を示し、画像化平面412に存在する画像が選択されている。潜在的な動脈瘤に起因して、正確な測定が必要とされる。画像404に重ねられているものは、矢印の形式の測定初期化しるし416、420である。上行大動脈の、その最大幅における直径424のキャリパ測定が、示される。しるし416、420の配置は、モデル適合が上行大動脈を識別した後に導出される。メッシュ上の、大動脈に対応する配置に符号化された情報が、大動脈の中心線に沿った最大直径についての検索につながる。
全体像画像428が、2次元画像404と一緒にディスプレイ画面に現れる。「切り取り」又は画像化平面412は、ボリューム100の隣接する身体組織430と同様に、視認可能である。しるし432、436は、2次元画像404の中のしるし416、420に対応する。
画像化‐ボリューム‐部分選択装置146を動作させる準備において、図5の例示的なフローチャートに示されるとおり、2つのステップ(ステップS502、S504)は、いずれかの順序で、又は同時に実行することができる。標準ビュー、画像化された解剖学的構造に関連する任意のビュー、マルチモダリティに整合されたビュー、大動脈弁測定、又は上行大動脈測定を選択することなどの、臨床的な応用が選択される(ステップS502)。心臓のメッシュモデルなどの解剖学的モデルが、測定初期化のための情報を用いて符号化される(ステップS504)。次いで、3DのTEE/TTEプローブ112が、ボリューム画像化のための位置に誘導される(ステップS506)。これは、2D又は3Dの画像化フィードバックによって補助することができる。
上記時点で、処置は、自動的に、ユーザ介入の必要なく、開始する準備ができている。別法として、上記時点で、オペレータは、さらなる処理を開始するための制御を作動させることができる。これは、オペレータが3D表示の画面上に見たものへの応答であってよい。ボリューム100のボリューム測定データが、ライブでの画像化中に取得される(ステップS508)。解剖学的モデルが、ボリューム画像化において取得されるデータ、すなわち、取得された画像に適合される(ステップS510)。上記適合は、例えば、1拍又は2拍の心拍の後ごとに漸進的に発生させることができ、あるいは、いくつかの心拍から成るビューをもたらす十分な取得まで遅延させることができる。ドップラーパラメータが算出されるべきである場合(ステップS512)、ドップラーパラメータが算出される(ステップS514)。いずれにしても、1又は複数の部分204、208がオペレータによって選択されることになる場合(ステップS516)、画像化平面などの上記部分はユーザインタフェースユニット144によって、定義及び保存される(ステップS518)。保存された部分は、自動的に選択された部分が使用される方法と同じ方法で使用され、上記保存された部分は、いったん保存されると、予め定義された選択へナビゲートすることによって再選択されることができる。リアルタイムの経路において、1又は複数の部分204、208は、適合されたメッシュと上記適合されたメッシュに符号化されている情報とに基づいて自動的に導出される(ステップS520)。いったん、自動的な又は手動の選択が完了すると、部分画像化のためのビーム形成パラメータと他の画像設定とが計算される(ステップS522)。符号化された情報は、それぞれの1又は複数の画像化配置に関連付けられる(ステップS524)。
上記時点で、1又は複数の選択された部分108、160、204、208は、高いビーム密度及びフレームレートを用いてライブで集合的に画像化され、3Dボリューム画像化が許容するであろうよりも正確な測定を提供する(ステップS526)。
画像化の表示は、リアルタイムで開始することができる(ステップS528)。上記モデルが、現在の部分画像化において取得されたデータに適用される(ステップS530)。符号化された情報と、しるしとが、画像配置に関連付けられる(ステップS532)。上記しるしが表示される(ステップS534)。この段階で、オペレータは、ユーザ制御によって、画像を調整することができ、例えば、ステップS516への戻りにおいて、平面傾斜を調整することができる。
部分画像化がなお継続しており(ステップS536)、しかしながらプローブ112に対して解剖学的構造の動きが検出される場合(ステップS538)、処理はステップS508へと戻ってボリューム100のボリューム測定データを再取得する。部分画像化がなお継続しており(ステップS536)、動きがまったく検出されず(ステップS538)、かつボリューム画像化取得の再実行が周期的である場合(ステップS540)、処理は、現在の周期が満了した場合はステップS508に、そうでない場合はライブでの部分画像化を続けるようにステップS524の直後に、同様に戻ることになる。
ステップS528及びS534における画像の表示は、キャリパ測定のために、自動的に又はオペレータによって、凍結させることができる。画像は、さらに、シネループ(cineloop)の一部をなすことができる。上記部分が平面である場合(ステップS542)、平面によって切り取られた解剖学的構造の全体像ビュー428は、ライブの又は凍結された部分画像化表示と同時に示される(ステップS544)。
ステップ514のドップラーパラメータ計算は、別法として、部分画像化に基づいて行うことができる。
リアルタイムでボリューム画像化及び部分画像化を開始する画像表示に対する代替又は追加として、上記ボリューム画像化及び部分画像化から導出されるシネループと解剖学的モデルメッシュとを、後の解析及び定量化のために、医療におけるデジタル画像化及び通信(DICOM)の形式で保存することができる。
ボリュームの3次元の超音波のライブでの画像化からの解剖学的構造認識に基づいて、上記ボリュームのうち1又は複数の部分が、リアルタイムで選択される。さらなるリアルタイム応答において、ライブでの画像化又は上記部分(群)は、ボリューム画像化において使用されたよりも高いビーム密度と全体画質とを用いて行われる。上記1又は複数の部分は、解剖学的測定を行うことにおいて最適な向き又は画像化診断の標準ビューのための最適な向きとして選択された1又は複数の画像化平面とすることができる。画像化された解剖学的構造に関連する任意のビュー、又はマルチモダリティに整合されたビューを、同様に考えることができる。上記認識は、心臓のメッシュモデルなどの解剖学的モデルに基づくことができる。モデルは、画像配置に関連付けることができる情報を用いて予め符号化されて、部分選択のための、及びライブでの部分画像化により提供される画像の内部の測定を開始するための表示可能なしるしの配置のための、基準を提供することができる。単一のTEE又はTTE画像化プローブを、全体にわたって使用することができる。必要に応じて、周期的に、又は解剖学的構造に対するプローブの検出された動きに基づいて、処理全体は、再実行されることができ、戻ってボリューム取得から開始することができる。
自動的な画像化ボリューム部分選択技術の応用には、3DのTTE/TEEプローブを用いた心臓の画像化を含む。例には、大動脈弁及び上行大動脈の画像化があり、詳細には、大動脈弁置換のための準備における大動脈基部測定と上行大動脈の正確な測定とがある。付加的な例には、画像化診断において必要とされる標準ビューのための最適な平面の選択がある。画像化された解剖学的構造に関連する任意のビュー、又はマルチモダリティに整合されたビューは、同様に付加的な例である。
本発明を、図面及び上記説明において詳細に図示及び説明してきたが、こうした図示及び説明は、例解又は例示であって限定ではないと見なされるべきものであり、本発明は、開示されている実施形態に限定されない。
例えば、大動脈弁平面と冠状動脈口との間の距離を、本明細書において上記で開示された技術に基づいて算出することができる。別の例として、部分画像化を中断してボリューム画像化取得を再実行することは、オペレータによる要求に対して行うことができる。
開示された実施形態に対する他の変形が、請求されている発明の実施において、図面、本開示、及び別記の請求項についての調査から、当業者によって理解され、達成され得る。請求項において、用語「含む」は、他の要素又はステップを除外するものではなく、不定冠詞「1つの(“a”又は“an”)」は、複数を除外するものではない。請求項におけるいかなる参照符号も、その範囲を限定するものと見なされるべきではない。
コンピュータプログラムが、光記憶媒体又はソリッドステート媒体などの適切なコンピュータ読取可能媒体上に、瞬間的に、一時的に、又は長期間にわたって記憶されることができる。こうした媒体は、一時的な伝播信号ではないという意味に限って非一時的であり、しかしながら、例えばレジスタメモリ、プロセッサキャッシュ、RAM及び他の揮発性メモリなどの、他の形式のコンピュータ読取可能媒体を含む。
単一のプロセッサ又は他のユニットが、請求項に列挙された複数の項目の機能を満たしてよい。特定の手段が互いに異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせを使用しても利点を得られないことを示すものではない。

Claims (24)

  1. ボリュームの3次元のライブでの画像化からの解剖学的構造認識に基づいて、自動的に、かつユーザ介入の必要なく、前記画像化に応答して、前記ボリュームのうちの1又は複数の部分を選択するステップであり、前記画像化はビーム密度を有する、ステップと、自動的に、かつユーザ介入の必要なく、前記の選択に応答して、より高いビーム密度を用いて、前記の1又は複数の選択された部分をライブで画像化するステップと、をなすように構成された装置。
  2. 1又は複数の画像化平面が、前記1又は複数の部分をそれぞれ含む、請求項1に記載の装置。
  3. 前記の部分画像化を選択的に中断して前記のボリューム画像化を再実行する、中断するステップをなすように構成された請求項1に記載の装置。
  4. 前記中断するステップが周期的に生じるように構成された請求項3に記載の装置。
  5. 画像化プローブと身体組織との各部分に関して相対的な動きを検出するステップであり、前記中断するステップは前記の検出された動きに基づいて引き起こされる、ステップ、をなすように構成された請求項3に記載の装置。
  6. 当該装置は、自動的に、かつユーザ介入の必要なく、一連の動作を実行するステップをなすように構成され、前記一連は、前記のボリューム画像化、前記の認識、前記選択するステップ、前記の部分画像化、前記中断するステップ、前記のボリューム画像化の再実行、並びに前記の再実行されたボリューム画像化に基づいた前記の認識、前記選択するステップ及び前記の部分画像化を含む、請求項3に記載の装置。
  7. ディスプレイを含み、前記ディスプレイに、前記1又は複数の選択された部分のうち少なくとも1つを表示するステップをなすように構成された、請求項1に記載の装置。
  8. 前記の少なくとも1つの部分を表示するステップと同時に、前記のそれぞれの表示された部分に隣接する身体組織を含む全体像ビューを表示するステップ、をなすように構成された請求項7に記載の装置。
  9. 前記の単一の画像化プローブを介した、前記のボリューム画像化及び前記の部分画像化の双方のために構成された請求項1に記載の装置。
  10. 前記のプローブは体内用である、請求項9に記載の装置。
  11. 前記のボリューム画像化は超音波画像化を含む、請求項1に記載の装置。
  12. 前記選択するステップは最適ビュー基準に基づく、請求項1に記載の装置。
  13. 前記の基準は、前記の部分画像化によって生成される画像から対象とされる解剖学的測定を行うことに基づく、請求項12に記載の装置。
  14. 前記選択するステップは、前記の基準に従い、最適な向きを選ぶ、請求項12に記載の装置。
  15. 前記のボリューム画像化は心臓の画像化を含む、請求項1に記載の装置。
  16. 前記のボリューム画像化において取得されたデータに適合された解剖学的モデル基づいて、画像化平面を定義するためのユーザインタフェース、を含む請求項1に記載の装置。
  17. 自動的に、かつユーザ介入の必要なく、前記の部分画像化及びボリューム画像化のうち少なくとも1つに解剖学的モデルを適用することに基づいてドップラー角を算出するステップ、をなすようにさらに構成された請求項1に記載の装置。
  18. 前記選択するステップは、前記のボリューム画像化において取得されたデータによって表される身体組織の内部の、所定の解剖学的ポイント間の、距離の測定を最適化する、請求項1に記載の装置。
  19. 解剖学的構造認識に基づいて、測定初期化しるしを導出するステップと、前記の導出されたしるしを表示して前記の部分画像化により生成された画像内の画像に基づく測定を初期化するステップと、をなすように構成された請求項1に記載の装置。
  20. 前記導出するステップは、前記1又は複数の選択された部分のうち少なくとも1つに解剖学的モデルを適用するステップを含む、請求項19に記載の装置。
  21. 前記1又は複数の部分の中の部分が前記のボリューム画像化において取得されたデータにより表される身体組織の内部の所定の解剖学的目印に及ぶような前記選択するステップ、をなすように構成された請求項1に記載の装置。
  22. 前記選択するステップは、胸骨傍の長軸ビュー、胸骨傍の短軸ビュー、肋骨下のビュー、心尖部のビュー又はマルチモダリティに整合されたビューのいずれかを達成する、請求項1に記載の装置。
  23. ボリュームの3次元のライブでの画像化からの解剖学的構造認識の結果に基づいて、自動的に、かつユーザ介入の必要なく、前記画像化に応答して、前記ボリュームのうちの1又は複数の部分を選択するステップであり、前記画像化はビーム密度を有する、ステップと、自動的に、かつユーザ介入の必要なく、前記の選択に応答して、より高いビーム密度を用いて、前記の1又は複数の選択された部分をライブで画像化するステップと、をプロセッサに実行させるコンピュータプログラム。
  24. ビーム形成パラメータを用いて解剖学的構造の画像化を取得するように構成され、さらに、自動的に、かつユーザ介入の必要なく、前記の取得された画像化の中の前記解剖学的構造に基づいて前記のパラメータを調整して1又は複数の対象とされるビューの中の画像化を向上させるように構成された装置。
JP2014545446A 2011-12-12 2012-12-10 心エコー検査のための自動的な画像化平面選択 Pending JP2015500083A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161569450P 2011-12-12 2011-12-12
US61/569,450 2011-12-12
PCT/IB2012/057137 WO2013088326A2 (en) 2011-12-12 2012-12-10 Automatic imaging plane selection for echocardiography

Publications (1)

Publication Number Publication Date
JP2015500083A true JP2015500083A (ja) 2015-01-05

Family

ID=47605614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014545446A Pending JP2015500083A (ja) 2011-12-12 2012-12-10 心エコー検査のための自動的な画像化平面選択

Country Status (8)

Country Link
US (1) US20150011886A1 (ja)
EP (2) EP2790586A2 (ja)
JP (1) JP2015500083A (ja)
CN (1) CN103997971B (ja)
BR (1) BR112014013935A2 (ja)
IN (1) IN2014CN04761A (ja)
RU (1) RU2642929C2 (ja)
WO (1) WO2013088326A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502729A (ja) * 2013-12-09 2017-01-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. モデルベースセグメンテーションを用いた像撮像誘導
JP2018079000A (ja) * 2016-11-15 2018-05-24 株式会社日立製作所 超音波診断装置、及び画像処理装置
JP2020509862A (ja) * 2017-03-16 2020-04-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 臓器視認のための最適走査面選択
JP2020524012A (ja) * 2017-06-07 2020-08-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波システム及び方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105722454B (zh) * 2013-10-30 2019-06-25 皇家飞利浦有限公司 怀孕监测***和方法
US11684343B2 (en) 2014-06-30 2023-06-27 Koninklijke Philips N.V. Translation of ultrasound array responsive to anatomical orientation
EP3224803A1 (en) 2014-11-28 2017-10-04 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
KR102293915B1 (ko) * 2014-12-05 2021-08-26 삼성메디슨 주식회사 초음파 이미지 처리 방법 및 이를 위한 초음파 장치
US10835210B2 (en) * 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
EP3307171B1 (en) * 2015-06-10 2021-08-11 Koninklijke Philips N.V. Ultrasound imaging apparatus
CN107851337B (zh) 2015-06-29 2022-04-08 皇家飞利浦有限公司 交互式网格编辑
CN108024791B (zh) 2015-09-17 2021-09-07 皇家飞利浦有限公司 将肺滑动与外部运动区分
EP3973908A1 (en) 2016-05-03 2022-03-30 Acutus Medical Inc. Cardiac mapping system with efficiency algorithm
US20190142383A1 (en) 2016-05-06 2019-05-16 Koninklijke Philips N.V. Ultrasonic imaging system with simplified 3d imaging controls
EP3366221A1 (en) * 2017-02-28 2018-08-29 Koninklijke Philips N.V. An intelligent ultrasound system
US10299764B2 (en) * 2017-05-10 2019-05-28 General Electric Company Method and system for enhanced visualization of moving structures with cross-plane ultrasound images
WO2018223294A1 (zh) 2017-06-06 2018-12-13 深圳迈瑞生物医疗电子股份有限公司 一种在超声扫描中成像的方法、装置及***
JP6981793B2 (ja) * 2017-06-30 2021-12-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及びプログラム
US11948345B2 (en) * 2018-04-09 2024-04-02 Koninklijke Philips N.V. Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
EP3569154A1 (en) 2018-05-15 2019-11-20 Koninklijke Philips N.V. Ultrasound processing unit and method, and imaging system
US20200178934A1 (en) * 2018-12-10 2020-06-11 General Electric Company Ultrasound imaging system and method for displaying a target object quality level
US20220233171A1 (en) * 2019-05-06 2022-07-28 Koninklijke Philips N.V. Systems and methods for controlling volume rate
WO2020239644A1 (en) * 2019-05-24 2020-12-03 Koninklijke Philips N.V. Handle assembly for transesophageal echocardiography
WO2021058288A1 (en) * 2019-09-26 2021-04-01 Koninklijke Philips N.V. Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
US11974881B2 (en) * 2020-08-26 2024-05-07 GE Precision Healthcare LLC Method and system for providing an anatomic orientation indicator with a patient-specific model of an anatomical structure of interest extracted from a three-dimensional ultrasound volume
US20230121319A1 (en) * 2021-10-15 2023-04-20 Tzvi Neuman Integrated Bedside Echocardiogram Monitor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504225A (ja) * 1995-06-07 1998-04-28 ユニバーシティ オブ フロリダ リサーチ ファウンデーション,インク. デジタル画像定量化のための自動化された方法
US6447453B1 (en) * 2000-12-07 2002-09-10 Koninklijke Philips Electronics N.V. Analysis of cardiac performance using ultrasonic diagnostic images
JP2004530502A (ja) * 2001-06-21 2004-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 超音波診断データを選択的に発展させるための超音波診断システム
JP2006507883A (ja) * 2002-12-02 2006-03-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 撮像システム内で流れ領域を識別するセグメンテーション・ツール

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050096538A1 (en) * 2003-10-29 2005-05-05 Siemens Medical Solutions Usa, Inc. Image plane stabilization for medical imaging
EP1966756B1 (en) 2005-12-19 2009-07-22 Koninklijke Philips Electronics N.V. Method for facilitating post-processing of images using deformable meshes
RU2309679C1 (ru) * 2006-03-15 2007-11-10 ГУ Научно-исследовательский институт глазных болезней РАМН Способ неинвазивной клинической прижизненной оценки состояния орбитального имплантата и окружающих его тканей
US20080009722A1 (en) * 2006-05-11 2008-01-10 Constantine Simopoulos Multi-planar reconstruction for ultrasound volume data
WO2009129845A1 (en) * 2008-04-22 2009-10-29 Ezono Ag Ultrasound imaging system and method for providing assistance in an ultrasound imaging system
US8355554B2 (en) * 2009-04-14 2013-01-15 Sonosite, Inc. Systems and methods for adaptive volume imaging
JP5586203B2 (ja) * 2009-10-08 2014-09-10 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504225A (ja) * 1995-06-07 1998-04-28 ユニバーシティ オブ フロリダ リサーチ ファウンデーション,インク. デジタル画像定量化のための自動化された方法
US6447453B1 (en) * 2000-12-07 2002-09-10 Koninklijke Philips Electronics N.V. Analysis of cardiac performance using ultrasonic diagnostic images
JP2004530502A (ja) * 2001-06-21 2004-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 超音波診断データを選択的に発展させるための超音波診断システム
JP2006507883A (ja) * 2002-12-02 2006-03-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 撮像システム内で流れ領域を識別するセグメンテーション・ツール

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017502729A (ja) * 2013-12-09 2017-01-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. モデルベースセグメンテーションを用いた像撮像誘導
JP2018079000A (ja) * 2016-11-15 2018-05-24 株式会社日立製作所 超音波診断装置、及び画像処理装置
JP2020509862A (ja) * 2017-03-16 2020-04-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 臓器視認のための最適走査面選択
JP7167048B2 (ja) 2017-03-16 2022-11-08 コーニンクレッカ フィリップス エヌ ヴェ 臓器視認のための最適走査面選択
JP2020524012A (ja) * 2017-06-07 2020-08-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波システム及び方法

Also Published As

Publication number Publication date
RU2014128350A (ru) 2016-02-10
EP3363365A1 (en) 2018-08-22
EP3363365B1 (en) 2022-02-09
IN2014CN04761A (ja) 2015-09-18
WO2013088326A3 (en) 2013-09-19
US20150011886A1 (en) 2015-01-08
RU2642929C2 (ru) 2018-01-29
BR112014013935A8 (pt) 2017-06-13
CN103997971B (zh) 2016-09-14
CN103997971A (zh) 2014-08-20
BR112014013935A2 (pt) 2017-06-13
WO2013088326A2 (en) 2013-06-20
EP2790586A2 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
JP2015500083A (ja) 心エコー検査のための自動的な画像化平面選択
US11540718B2 (en) Imaging view steering using model-based segmentation
RU2667617C2 (ru) Система и способ эластографических измерений
EP3742979B1 (en) Guided-transcranial ultrasound imaging using neural networks and associated devices, systems, and methods
JP7278272B2 (ja) 超音波撮像システム及び方法
US20230026942A1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
CN112512437B (zh) 用于同步多帧二维图像和运动模式图像中的卡尺测量的方法和***
JP2023521466A (ja) ロードマップ画像を生成するためのバイプレーン及び3次元超音波画像取得、並びに関連づけられたシステム及びデバイス
JP6815259B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
WO2012169646A1 (ja) 超音波診断装置、医用画像処理装置、医用画像処理方法
US20240024037A1 (en) Systems and methods of generating reconstructed images for interventional medical procedures
US11712223B2 (en) Ultrasound imaging system and method
US20240053470A1 (en) Ultrasound imaging with anatomy-based acoustic settings
WO2022207463A1 (en) Method and apparatus with user guidance and automated image setting selection for mitral regurgitation evaluation
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods
CN118266986A (zh) 用于在超声图像采集之后且在永久存储之前提供客观图像质量度量的方法和***

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171031

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171108

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20171208