JP2013536720A - 2次元超音波画像の3次元表示 - Google Patents

2次元超音波画像の3次元表示 Download PDF

Info

Publication number
JP2013536720A
JP2013536720A JP2013526556A JP2013526556A JP2013536720A JP 2013536720 A JP2013536720 A JP 2013536720A JP 2013526556 A JP2013526556 A JP 2013526556A JP 2013526556 A JP2013526556 A JP 2013526556A JP 2013536720 A JP2013536720 A JP 2013536720A
Authority
JP
Japan
Prior art keywords
dimensional
scan
intersecting
planes
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013526556A
Other languages
English (en)
Other versions
JP2013536720A5 (ja
JP5688197B2 (ja
Inventor
ピーター バッジ、ジャン
Original Assignee
ビー−ケー メディカル エーピーエス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビー−ケー メディカル エーピーエス filed Critical ビー−ケー メディカル エーピーエス
Publication of JP2013536720A publication Critical patent/JP2013536720A/ja
Publication of JP2013536720A5 publication Critical patent/JP2013536720A5/ja
Application granted granted Critical
Publication of JP5688197B2 publication Critical patent/JP5688197B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52068Stereoscopic displays; Three-dimensional displays; Pseudo 3D displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • A61B8/145Echo-tomography characterised by scanning multiple planes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4438Means for identifying the diagnostic device, e.g. barcodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/481Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Hematology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【解決手段】 方法は、少なくとも2つの交差する2次元走査平面に基づいて単一3次元透視若しくはアクソノメトリック画像を生成する工程を含む。レンダリングエンジン(118)は、少なくとも2つの交差する2次元走査平面に基づいて、単一3次元透視画像を生成する表示プロセッサ(120)を含む。超音波イメージングシステム(102)は、少なくとも2つの1次元振動子アレイを含み、各1次元振動子アレイは異なり且つ交差する走査平面に対応するエコーを受信する振動子アレイ(104)と、モニター(128)表示用フォーマットに前記エコーを走査変換する走査変換器(116)と、前記交差走査平面を結合して単一3次元透視画像を形成する表示プロセッサ(120)とを含む。
【選択図】 図1

Description

以下は、超音波(ultrasound:US)イメージングに関し、より具体的には、交差する2次元(2D)US画像に基づいて透視表示、アクソノメトリック(軸測投影図法の)表示、および/またはその他の3次元表示などの3次元(3D)表示を生成する方法に関する。
超音波イメージングは、検査中の対象または被験者の内部特性に関する役立つ情報を提供してきた。1つのUSスキャナーは、64〜192の振動子素子を有する1次元の振動子アレイを含む。このような1つの1次元振動子アレイは、体内の臓器および/または構造(例えば、生検針)の1つの軸平面(または縦軸に対して直角な2次元スライス)に対応するエコーを取得するのに使用されてきた。Bモードイメージングにおいて、前記エコーは走査線を生成するのに使用され、この走査線はモニターを介して表示が可能な1つの走査平面(または、平面の2次元画像)を生成するのに使用されてきた。10Hz若しくはそれ以上のフレームレートにおいてBモード走査平面は、カラーフロー、ドップラフロー、エラストグラフィ(elastographic)、コントラストハーモニック(contrast harmonic)、および/またはより高いフレームレートを要求するその他の情報と組み合わせることが可能である。
別の方向の(矢状軸のまたは縦軸に沿った)平面をさらに目視するためには、臨床医は振動子ヘッドを他の方向に回転させる必要がある。前記振動子ヘッドを回転させるのに応じて、表示された2次元軸平面画像は他の方向からの画像によって置き換えられる。双方向からの画像を用いるためには、臨床医は、前記軸平面画像の視覚心像を描き(または記憶し)、次に視覚心像によって描いた前記軸平面画像と他の方向からの表示画像に基づいて3次元表示の視覚心像を構築しなければならない。不都合なことには、臨床医が3次元画像の視覚心像を構築できるようになるには恐らく長年の経験が必要であり、そのような視覚心像は人為的ミスの影響を受けやすく、更に3次元画像を構築するために使用される2つの画像は時間の経過とともに同じ点で像を映さなくなる。
異なる平面の交差画像を同時に取得して表示する1つの技術は、双方向振動子(biplane transducer)(例えば、デンマークのHerlevに所在のBK Mecidalの製品の振動子Type 8814)を使用する方法がある。一般に、双方向振動子は、2つの独立した、互いに対向するように配置された1次元振動子アレイを含み、2つの異なる交差する平面(例えば、軸平面および矢状平面)に対応するデータを同時に取得する。双方向振動子を使用することにより、複数の平面の交差画像を取得するために振動子ヘッドを一方向から別の方向へ回転させる必要性が軽減され、更にそれらの画像は同時に取得される。しかしながら、前記画像は横に並べて提示されてきた。その結果、臨床医は今なお頭の中でそれらの画像を組み合わせて3次元表示を構築しなければならない。
2次元振動子アレイは、3次元データ量を同時に取得することを可能にする。レイキャスティングまたはその他の技術は、1若しくはそれ以上の目的の平面(例えば、2つの交差平面)のためのデータを選択するのに使用され、それは次に3次元表示でレンダリングされる量となることが可能である。しかしながら、2次元振動子アレイでは、大きいデータ量(例えば、16K、または128x128)を同時に取得するために比較的低いフレームレート(例えば、約2〜5Hz)が一般に用いられる。残念ながら、このような低いフレームレートは、より高いデータレートを必要とするカラーフロー、ドップラフロー、エラストグラフィ、コントラストハーモニックなどを含む用途には好適ではない。更に、2次元振動子アレイは一般に、それらの1次元の対応物よりもかなり多くの振動子素子を含み(例えば、前記の例では16Kまたは128)、これにより2次元振動子は1次元振動子アレイよりもコストがかなりかかるようになりがちである。
本出願の観点は、上記の問題および同様のものを扱う。
1観点において、方法は、少なくとも2つの交差する2次元走査平面に基づいて単一3次元透視画像を生成する工程を含む。
別の観点において、レンダリングエンジンは、少なくとも2つの交差する2次元走査平面に基づいて単一3次元透視画像を生成する透視プロセッサ若しくはアクソノメトリック表示プロセッサを含む。
別の観点において、超音波イメージングシステムは、少なくとも2つの1次元振動子アレイを含み、各1次元振動子アレイは異なり且つ交差する走査平面に対応するエコーを受信する振動子と、モニター表示用フォーマットに前記エコーを走査変換する走査変換器と、前記交差する走査平面を結合して、単一3次元透視画像を形成する表示プロセッサとを含む。
当業者は、添付の詳細な説明を読んで理解すれば、本出願の他の観点についてもさらに理解するであろう。
本出願は例を用いて図示しているが、添付の図面の図に限定されるものではない。図面の同様の参照番号は同様の要素を示している。
図1は、例示的なイメージングシステムを図示する。 図2は、例示的な表示プロセッサを図示する。 図3は、例示的な3次元表示を図示する。 図4は、横に並べた2次元画像を図示する。 図5は、横に並べた2次元画像であり、それらの間での取得の相対角度に基づいて互いに対するように配向されている。 図6は、例示的な方法を図示する。
図1は、超音波イメージングシステムなどのイメージングシステム102を図示する。前記イメージングシステム102は、N(Nは1以上の整数)個の1次元アレイ106、...、106(集合的に本明細書ではアレイ106と称する)を有する振動子104を含み、各アレイは1若しくはそれ以上の振動子素子(例えば、16、64、128、196、256などの素子)を有する。個々のアレイ106は直線形状および/または曲線形状のアレイを含み、異なるアレイ106は個々に、同時に、またはインタリーブ方式(交互に使用する方法)で使用され、Aモード、Bモードなどの取得のために個々に、およびカラーフロー、ドップラフロー、エラストグラフィ、コントラストハーモニック、および/またはその他の情報と組み合わされて、1〜200Hzの範囲のフレームレートを有するデータが取得される。別の実施形態において、前記アレイ106の少なくとも1つは2次元アレイである。
図示の実施形態において、前記アレイ106の少なくとも2つは、前記振動子アレイ104において物理的に互いに対向するように配置され、それにより対象物または被験者の少なくともM(Mは1以上の整数)個の異なる走査平面(交差平面および/または非交差平面を含む)の画像化を促進する。1実施例において、前記少なくとも2つのアレイ106および108は、その一方のアレイが走査する被験者または対象の縦軸に対して直角な実質的な軸平面を画像化する一方で、同時に他方のアレイは縦軸に沿った実質的な矢状平面などの異なる平面を画像化するように物理的に配置される。しかしながら、前記振動子アレイ104は、被験者または対象物に対して実質的に同じ位置に維持される。このような平面は一般に90度離れている。しかしながら、0〜180度の他の角度も本明細書では考慮される。別の実施例では、前記アレイ106および108は、連続してまたはその他の方法で使用される。
1実施形態において、前記振動子アレイ104は、振動子素子の2つの1次元アレイを有する双方向振動子の一部である。このような振動子アレイの一例として、デンマークのHerlevに所在のBK Mecidalの製品のIntraoperative Transducer Type 8814があり、これは、走査線の取得をインタリーブする(交互に取得する)ことによって2つの交差平面を同時に走査するように物理的に配置された2つの1次元アレイを有するV字形の双方向振動子である。このような双方向振動子アレイは、例えば、前記対象物内のおよび/または対象物を通って移動するの生検針などの構造物の位置を追跡ための情報を得るのに好適である。その他の振動子アレイは、例えば2次元アレイまたは単一1次元アレイを含む振動子アレイであり、システム102で追加的にまたは代替的に使用可能である。
振動子構成メモリ109は、前記振動子アレイ104に関する情報を格納する。例えば、前記振動子アレイ104が双方向振動子アレイを含む場合、前記構成メモリ109は、前記双方向振動子アレイの平面の間の角度、前記平面の交差領域などの情報を格納する。このような情報は、電子フォーマットまたは前記振動子アレイ104の製造者による別の方法で提供されることが可能である。この情報は、参照テーブルまたは別のものとして格納され、前記システム102が例えばハンドシェイクおよび/またはユーザーにより提供される入力を介して自動的におよび/または手動で当該システムとともに設置された振動子アレイ104を特定するのに応答して取り出されることが可能である。
送信回路110は、前記振動子アレイ104の各々の素子の位相を合わせるおよび/または作動する時間を制御し、これにより所定の源からの透過光を前記アレイに沿っておよび所定の角度で誘導および/または収束させることが可能になる。受信回路112は、前記振動子アレイ104により受信されたエコーを受け取る。Bモードおよびその他の用途のため、前記受信回路112は、前記振動子素子からのエコーを走査平面の収束走査線に沿って一連の収束したコヒーレントエコーサンプルにビーム形成する(例えば、遅延および合計する)。前記受信回路112はまた、前記走査線を様々に処理するように構成され、例えば空間合成および/またはその他の例えばFIRフィルタリング、IIRフィルターなどの処理を介してスペックル(speckle)を減少させ、および/または鏡面反射描写(specular reflector delineation)を改善することが可能である。
制御装置114は、前記送信回路110および/または前記受信回路112を制御する。この制御は、(これに限定されるものでないが)フレームレート、走査線グループの数、送信角度、送信力、送信周波数、送信遅延および/または受信遅延などを制御することを含むことが可能である。比較的高いフレームレート(例えば、リアルタイムまたは近リアルタイム)の適用は、約10若しくはそれ以上のHz(例えば20〜200Hz)で取得され、比較的低いフレームレートの適用は、約10若しくはそれ以下で取得されることが可能である。
走査変換器116は、例えば、前記データを前記ディスプレイの座標システムに変換することより、データフレームを走査変換して表示用データを生成する。これはディスプレイに基づいて信号の垂直および/または水平走査周波数を変更することを含む。更に、前記走査変換器116は、アナログおよび/またはデジタル走査変換技術を用い得るように構成される。
1若しくはそれ以上のプロセッサを含むことが可能なレンダリングエンジン118は、受信データを処理する。図示の実施形態において、前記レンダリングエンジン118は、表示プロセッサ120を含む。以下でより詳細に説明するように、前記表示プロセッサ120は、1実施例において、平面が交差する当該平面の交差領域に基づいて同時にまたは連続して取得された異なる交差平面に対応するデータを結合する。1実施形態において、前記結合されたデータは、2次元ディスプレー画面に透視表示、アクソノメトリック表示、および/またはその他の3次元(3D)表示で提示される。このような表示は、臨床医に2つの交差する2次元スライスの3D表示を提供し、または臨床医があたかも組織内の実際の平面を目視しているように存在する画像を提供することが可能である。このようにして、前記提示された表示により、臨床医が視覚心像により複数の2次元画像を変換して、視覚心像により3次元画像を構築する負担が軽減される。
1実施例において、前記レンダリングエンジン118の表示プロセッサ120は、データが取得されて走査変換されるときリアルタイムでリアルタイムデータを処理することが可能である。別の実施例において、前記レンダリングエンジン118の表示プロセッサ120は、以前に記録され格納されたデータを処理することが可能である。図示の実施例において、前記表示プロセッサ120は前記システム102の一部であり、例えば当該システム102のコンソールのプロセッサを介して実行される。別の実施形態において、前記表示プロセッサ120は、前記システム102の一部ではなく、当該システム102から遠隔に位置しており、例えば独立型システムとしてまたはコンピュータシステムと連結されている。この実施形態において、前記取得データおよび/または前記走査変換されたデータは、処理のため前記表示プロセッサ120に転送される。このような1実施形態では、前記システム102は、上記で説明した双方向振動子または同様のものを用いるように構成された従来のUSイメージングシステムであってもよく、透視等角表示(perspective isometric view)は前記システム102の外で生成される。
ユーザーインターフェース122は、前記制御装置114と相互作用するための様々な入力および/または出力装置を含み、例えばデータ処理および表示モード(例えば、透視画像表示)、データ取得モード(例えば、Bモード)、走査の開始などを選択する。前記ユーザーインターフェース122は、例えばボタン、ノブ、キーパッド、タッチスクリーンなどの様々な操縦装置を含むことが可能である。前記ユーザーインターフェース122はまた、視覚ディスプレー(例えば、LCD、LEDなど)および/または聴覚ディスプレーであってもよい。
データメモリ124は、前記受信回路112、前記走査変換器116、および/または前記レンダリングエンジン118からのデータを格納するのに使用することが可能であり、当該レンダリングエンジン118は、当該データメモリからデータを得て、処理し、表示することが可能である。これは、イメージング処理が実行されている間および/またはその後にデータを取得する工程と、処理する工程と、表示する工程とを含む。別の実施形態において、前記データメモリ124は除外される。更に別の実施形態において、前記データメモリ124は、前記システム102から遠隔の位置にある。
ディスプレイ128は、提供されたデータを提示するのに使用できる。この実施例において、透視等角表示は、対話型グラフィカル・ユーザー・インターフェース(graphical user interface:GUI)を介して提示され、これによりユーザーは当該GUI内で表示される画像を選択的に回転、拡大縮小、および/または移動させることが可能であり、更に1若しくはそれ以上の平面または当該平面の一部に関する透明度(例えば、不透明から半透明)を選択することも可能である。このような相互作用は、マウスまたは同様のもの、および/またはキーボードまたは同様のものを介して行うことが可能である。これは、1若しくはそれ以上の工場出荷時の設定ディスプレイおよび/またはユーザーがカスタマイズしたディフォルトディスプレーを選択すること、および/またはフリーハンドツールを使用することを含む。
図2は、2つの交差画像平面を結合するための前記表示プロセッサ120の一例を図示している。簡潔さおよび説明目的のため、前記交差平面は透視表示と関連付けて提示される。しかしながら、本明細書で説明したように、前記表示プロセッサ120は、前記交差画像平面に基づいてアクソノメトリック表示および/またはその他の3次元(3D)表示を追加的にまたは代替的に生成することが可能である。他の実施例において、前記表示プロセッサ120は、2つ以上の平面を結合するように構成され得る。
図示する表示プロセッサ120は、第1の平面識別子202と、第2の平面識別子204とを有する。前記第1の平面識別子202は、2つの交差平面の第1の平面に対応するデータを特定して取得し、前記第2の平面識別子204は前記2つの平面の第2の平面に対応するデータを特定して取得する。前記平面は、前記システム102の走査変換器116および/またはデータメモリ124からデータを得ることが可能である(図1を参照)。
平面配向識別子206は、前記2つの交差平面の空間配向(spatial orientation)または角度を特定して、それを示す信号を生成する。この様な情報は、前記振動子構成メモリ109、データ自体の中(例えば、ヘッダー、メタデータなど)、および/またはユーザー入力から得ることが可能である。
交差領域識別子208は、前記第1および第2の領域が交差する前記第1および第2の平面の交差領域を特定して、それを示す信号を生成する。同様に、この様な情報は、前記振動子構成メモリ109、データ自体の中(例えば、ヘッダー、メタデータなど)、および/またはユーザー入力から得ることが可能である。
平面結合器210は、前記平面の間の角度と前記平面交差領域とを示す信号に基づいて前記第1および第2の平面を結合させて、単一画像を形成する。この実施例において、前記平面は、前記平面が角度を持って互いに対向するように配向され、且つ前記平面が前記交差領域を横切るように結合されて、3次元表示を生成する。図3は一例の画像302を示し、第1の平面304と第2の平面306は交差領域308に沿って結合され、それらの間に角度(α)310を持って互いに対向するように空間的に配向されて3次元表示312を生成する。
図2に戻って、上記で生成された画像は、組織および/または構造の3次元表示を特に目的とする用途に好適である。このような用途の例は、(これに限定されるものではないが)1つの画像が針を誘導し、それと同時に別の画像が標的位置を維持するために使用される麻酔における適用、評価のために病変キャブ(cab)の3次元表示が取得される泌尿器系における適用などが含まれる。
前記取得されたデータは、比較的高いフレームレート(例えば、10Hz〜59Hzおよびそれ以上)で取得可能な比較的小さい量のデータ(例えば、128素子を介する2つの2D走査平面)を含み、前記3次元透視画像データは、カラーフロー、ドップラーフロー、エラストグラフィ、コントラストハーモニック、および/または比較的高いデータレートを要求するその他の情報に関連して表示および視覚化されることが可能である。前記3次元表示はまた、特定の診断モード(例えば、ヒストグラムなど)で使用することが可能であり、この3次元表示により目的とするある特定構造についての知識を増やすことが可能である。
比較目的のため、図4Aおよび4Bはそれぞれ、横に別々に並べた画像402およ404において第1および第2の平面304および306と、交差領域308とを示す。
図4と同様に、図5Aおよび5Bはそれぞれ、別々の画像402および404において第1および第2の平面304および306と、交差領域308とを示す。ただし、図5の画像402および404は、角度αで互いに対向するように配置されている。
前記表示プロセッサ120は、図4および5に示すように追加的にまたは代替的に画像を表示することが可能である。
図6は、2若しくはそれ以上の交差する2次元画像に基づいて単一3次元透視画像を生成する方法を図示する。
以下の工程の順序は、説明の目的で提供されているものであり、これに限定されるものではないことを理解されたい。このような1若しくはそれ以上の以下の工程は異なる順序で行われてもよい。更に、1若しくはそれ以上の以下の工程は除外され、および/または1若しくはそれ以上の追加の工程が追加されてもよい。
602において、第1の走査平面に対応する超音波エコーが取得される。
604において、第2の走査平面に対応する、前記第1の走査平面と交差する超音波エコーが取得される。
本明細書で説明したように、前記第1および第2の走査平面は、平面の各々に対する走査線が双方向振動子を介して交互に取得されるインタリーブ方式で取得することが可能である。更に、前記走査平面は、合成開口、平面波イメージング(plane−wave imaging)、または高度な画像再構築技術のうちの少なくとも1つを含む高速イメージングを使用して取得することが可能である。
606において、前記第1および第2の走査平面の間の角度が特定される。本明細書で説明したように、このような情報は製造者により提供され、USスキャナーにアクセス可能なメモリに格納されることが可能である。
608において、前記第1および第2の走査平面は、特定の角度に基づいて互いに対向するように空間的に配向される。
610において、前記第1および第2の走査平面の交差領域が特定される。本明細書で説明したように、このような情報は製造者により提供され、USスキャナーにアクセス可能なメモリに格納されることが可能である。
612において、前記空間的に配向された第1および第2の走査平面は、交差領域で結合され、単一3次元透視画像を形成する。
614において、前記単一3次元透視画像はモニターまたは同様のものに表示される。
616において、選択的に、表示される画像を回転、拡大縮小、移動、または透明にするうちの1若しくはそれ以上のことを行うことを示す入力が受信される。
618において、前記単一3次元透視画像は、前記入力に基づいて再表示される。
本明細書の方法が、コンピュータメモリ、非一時的記憶装置などのコンピュータ可読記憶媒体に格納、符号化、統合などされたコンピュータ実行可能命令を実行する1若しくはそれ以上のプロセッサにより実行されることが可能である。別の実施形態において、前記コンピュータ実行可能命令は、一時的媒体または信号媒体に追加的にまたは代替的に保存される。
上記では超音波イメージング装置を例にイメージング装置の内容を説明したが、モダリティイメージング装置および、異なる角度または異なる位相で取得されるデータを整列する際の特有の問題を含む非イメージング装置も本明細書で考えれることを理解されたい。
本出願は様々な実施形態を参照しながら説明してきた。修正および変更は、本出願を読めばその人には思い付くであろう。この様な全ての修正および変更は、添付の特許請求の範囲およびその均等物の範囲を逸脱しない限り、本発明に含まれるものと解釈することを意図する。

Claims (24)

  1. 方法であって、
    少なくとも2つの交差する2次元走査平面に基づいて、単一3次元透視画像またはアクソノメトリック(軸測投影図法の)画像を生成する工程を有する方法。
  2. 請求項1記載の方法において、前記交差する2次元走査平面は超音波エコー画像であり、Bモード、カラーフロー、エラストグラフィ(Elastographic)、コントラストハーモニック(Contrast Harmonic)、または組織学的情報のうちの少なくとも1つを提供するものである方法。
  3. 請求項1または2のいずれかに記載の方法において、前記交差する2次元走査平面は、双方向超音波振動子(biplane ultrasound transducer)の異なる1次元アレイによって同時に取得されるものである方法。
  4. 請求項3記載の方法において、前記交差する2次元走査平面は、前記走査平面のための走査線が交互に取得されるインタリーブ方式で取得されるものである方法。
  5. 請求項2〜4のいずれか1つに記載の方法において、前記走査平面は、合成開口、平面波イメージング(plane−wave imaging)、または高度な画像再構成技術を使用して取得されるものである方法。
  6. 請求項3〜5のいずれか1つに記載の方法において、前記双方向振動子は、10〜200Hzのフレームレートのエコーを取得するように構成されるものである方法。
  7. 請求項1〜6のいずれか1つに記載の方法において、さらに、
    前記少なくとも2つの交差する2次元走査平面の間の角度を決定する工程と、
    前記角度に基づいて前記走査平面を互いに対向するように配向させることにより前記単一3次元透視画像を生成する工程と
    を有するものである方法。
  8. 請求項7記載の方法において、前記角度は約90度である方法。
  9. 請求項1〜8記載の方法において、さらに、
    前記走査平面が交差する、前記走査平面内の交差領域を決定する工程と、
    前記走査平面を前記交差領域で結合することにより前記単一3次元透視画像を生成する工程と
    を有するものである方法。
  10. 請求項1〜9記載のいずれか1つに記載の方法において、さらに、
    前記走査平面を生成するために使用されるデータが取得されたときリアルタイムで前記単一3次元透視画像を生成する工程を有するものである方法。
  11. 請求項1〜10のいずれか1つに記載の方法において、さらに、
    前記走査平面を格納する工程と、
    前記格納された走査平面に基づいて所定の後続時点において前記単一3次元透視画像を生成する工程と
    を有するものである方法。
  12. 請求項1〜11のいずれか1つに記載の方法において、さらに、
    前記3次元透視画像を用いて、走査対象物における移動構造物の位置を追跡する工程を有するものである方法。
  13. レンダリングエンジン(118)であって、
    少なくとも2つの交差する2次元走査平面に基づいて、単一3次元透視画像を生成する表示プロセッサ(120)を有するものであるレンダリングエンジン。
  14. 請求項13記載のレンダリングエンジンにおいて、前記2つの2次元走査平面は、超音波エコー画像であるレンダリングエンジン。
  15. 請求項13〜14記載のレンダリングエンジンにおいて、
    前記少なくとも2つの交差する2次元走査平面の間の角度を特定する平面配向識別子(206)と、
    前記少なくとも2つの交差する2次元走査平面が交差する交差領域を特定する交差領域識別子(208)と、
    前記特定された交差領域において前記角度に基づいて前記少なくとも2つの交差する2次元走査平面を結合する平面結合器(210)と
    を有するものであるレンダリングエンジン。
  16. 請求項13〜15のいずれか1つに記載のレンダリングエンジンにおいて、前記走査平面の一方は、走査対象物または走査被験者を軸方向に切ったスライスを表し、前記走査平面の他方は当該対象物または被験者を異なる方向で切ったスライスを表すものであるレンダリングエンジン。
  17. 請求項13〜16のいずれか1つに記載のレンダリングエンジンにおいて、前記3次元透視画像は、カラーフロー、エラストグラフィ、コントラストハーモニック、または組織学的情報のうちの1若しくはそれ以上のものと関連して表示されるものであるレンダリングエンジン。
  18. 請求項13〜17のうちのいずれか1つに記載のレンダリングエンジンにおいて、前記表示プロセッサは、前記走査平面を生成するために用いられるデータが取得されるときリアルタイムでまたは事前格納された走査平面に基づいて、前記3次元透視画像を生成するものであるレンダリングエンジン。
  19. 請求項13〜18のうちのいずれか1つに記載のレンダリングエンジンにおいて、前記レンダリングエンジンは、超音波スキャナーのコンソールの一部であるレンダリングエンジン。
  20. 超音波イメージングシステム(102)において、
    振動子アレイ(104)であって、少なくとも2つの1次元振動子アレイを含み、各1次元振動子アレイは異なり且つ交差する走査平面に対応するエコーを受信するものである、前記振動子アレイと、
    前記エコーをモニターへの表示用フォーマットに走査変換する走査変換器(116)と、
    前記走査変換された交差する走査平面を結合して、単一3次元透視画像またはアクソノメトリック画像を形成する表示プロセッサ(120)と
    を有する超音波イメージシステム。
  21. 請求項20の超音波イメージングシステムにおいて、前記振動子アレイは、双方向振動子である超音波イメージングシステム。
  22. 請求項20〜21のうちのいずれか1つに記載の超音波イメージングシステムにおいて、前記振動子アレイは、10〜200Hzのフレームレートのデータを取得するものである超音波イメージングシステム。
  23. 請求項20〜22のうちのいずれか1つに記載の超音波イメージングシステムにおいて、前記表示プロセッサは、前記走査平面と当該走査平面の交差との間の角度に基づいて交差平面を結合するものである超音波イメージングシステム。
  24. 請求項20〜23のうちのいずれか1つに記載の超音波イメージングシステムにおいて、前記表示プロセッサは、前記超音波イメージングシステムのコンソールのプロセッサを介して実行されるものである超音波イメージングシステム。
JP2013526556A 2010-08-31 2010-08-31 2次元超音波画像の3次元表示 Expired - Fee Related JP5688197B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2010/002146 WO2012028896A1 (en) 2010-08-31 2010-08-31 3d view of 2d ultrasound images

Publications (3)

Publication Number Publication Date
JP2013536720A true JP2013536720A (ja) 2013-09-26
JP2013536720A5 JP2013536720A5 (ja) 2013-11-07
JP5688197B2 JP5688197B2 (ja) 2015-03-25

Family

ID=43922435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013526556A Expired - Fee Related JP5688197B2 (ja) 2010-08-31 2010-08-31 2次元超音波画像の3次元表示

Country Status (4)

Country Link
US (1) US9386964B2 (ja)
EP (1) EP2612165A1 (ja)
JP (1) JP5688197B2 (ja)
WO (1) WO2012028896A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282945B2 (en) * 2009-04-14 2016-03-15 Maui Imaging, Inc. Calibration of ultrasound probes
US9247926B2 (en) 2010-04-14 2016-02-02 Maui Imaging, Inc. Concave ultrasound transducers and 3D arrays
JP6274724B2 (ja) 2010-02-18 2018-02-07 マウイ イマギング,インコーポレーテッド 多開口超音波撮像を用いた点音源送信及び音速補正
WO2012051305A2 (en) 2010-10-13 2012-04-19 Mau Imaging, Inc. Multiple aperture probe internal apparatus and cable assemblies
WO2013005123A1 (en) * 2011-07-01 2013-01-10 Koninklijke Philips Electronics N.V. Object-pose-based initialization of an ultrasound beamformer
TW201336478A (zh) 2011-12-01 2013-09-16 Maui Imaging Inc 使用以回音為基及多孔徑都卜勒超音波之移動偵測
JP2015503404A (ja) 2011-12-29 2015-02-02 マウイ イマギング,インコーポレーテッド 任意経路のmモード超音波イメージング
EP2816958B1 (en) 2012-02-21 2020-03-25 Maui Imaging, Inc. Determining material stiffness using multiple aperture ultrasound
US10667790B2 (en) 2012-03-26 2020-06-02 Teratech Corporation Tablet ultrasound system
EP2833791B1 (en) 2012-03-26 2022-12-21 Maui Imaging, Inc. Methods for improving ultrasound image quality by applying weighting factors
US9877699B2 (en) 2012-03-26 2018-01-30 Teratech Corporation Tablet ultrasound system
WO2014026185A1 (en) 2012-08-10 2014-02-13 Maui Imaging, Inc. Calibration of multiple aperture ultrasound probes
US9986969B2 (en) 2012-08-21 2018-06-05 Maui Imaging, Inc. Ultrasound imaging system memory architecture
WO2014160291A1 (en) 2013-03-13 2014-10-02 Maui Imaging, Inc. Alignment of ultrasound transducer arrays and multiple aperture probe assembly
US9883848B2 (en) 2013-09-13 2018-02-06 Maui Imaging, Inc. Ultrasound imaging using apparent point-source transmit transducer
JP6722656B2 (ja) 2014-08-18 2020-07-15 マウイ イマギング,インコーポレーテッド ネットワークベース超音波イメージングシステム
US10839509B2 (en) 2015-07-10 2020-11-17 3Scan Inc. Spatial multiplexing of histological stains
CN113729764A (zh) 2016-01-27 2021-12-03 毛伊图像公司 具有稀疏阵列探测器的超声成像
CN107689072A (zh) * 2016-06-12 2018-02-13 中慧医学成像有限公司 一种三维图像成像方法和***
US10588596B2 (en) * 2017-03-14 2020-03-17 Clarius Mobile Health Corp. Systems and methods for detecting and enhancing viewing of a needle during ultrasound imaging
US10705210B2 (en) * 2017-05-31 2020-07-07 B-K Medical Aps Three-dimensional (3-D) imaging with a row-column addressed (RCA) transducer array using synthetic aperture sequential beamforming (SASB)
WO2019016343A1 (en) * 2017-07-21 2019-01-24 Khonsari Sassan ULTRASONIC IMAGING SYSTEM WITH TRANSVERSE PLANE FOR INSTRUMENT GUIDANCE COMBINED IN THE PLAN AND OUTSIDE THE PLAN
EP3755233B1 (en) * 2018-02-23 2021-06-09 Brainlab AG Image based ultrasound probe calibration
KR102493717B1 (ko) * 2018-03-13 2023-01-30 베라톤 인코포레이티드 초음파 프로브를 사용한 일반화된 인터레이스 스캔 방법
CN112601496A (zh) * 2018-08-22 2021-04-02 皇家飞利浦有限公司 对介入医学设备的3d跟踪
USD1026679S1 (en) 2022-08-19 2024-05-14 Navico, Inc. Multi-orientation sonar transducer array system
US11921200B1 (en) 2022-08-19 2024-03-05 Navico, Inc. Live down sonar view

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04314435A (ja) * 1991-04-15 1992-11-05 Aloka Co Ltd 超音波診断装置
JPH05317309A (ja) * 1992-05-21 1993-12-03 Hitachi Medical Corp 穿刺用超音波探触子
JPH0683940A (ja) * 1992-09-04 1994-03-25 Toshiba Corp 画像表示装置
JPH09192131A (ja) * 1996-01-19 1997-07-29 Hitachi Medical Corp 超音波診断装置におけるリアルタイムバイプレーン像表示方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4694434A (en) 1984-06-12 1987-09-15 Von Ramm Olaf T Three-dimensional imaging system
US5546807A (en) 1994-12-02 1996-08-20 Oxaal; John T. High speed volumetric ultrasound imaging system
US6709394B2 (en) * 2000-08-17 2004-03-23 Koninklijke Philips Electronics N.V. Biplane ultrasonic imaging
US6761689B2 (en) 2000-08-17 2004-07-13 Koninklijke Philips Electronics N.V. Biplane ultrasonic imaging
US6582372B2 (en) * 2001-06-22 2003-06-24 Koninklijke Philips Electronics N.V. Ultrasound system for the production of 3-D images
US7611466B2 (en) * 2002-06-07 2009-11-03 Verathon Inc. Ultrasound system and method for measuring bladder wall thickness and mass
US20090112089A1 (en) * 2007-10-27 2009-04-30 Bill Barnard System and method for measuring bladder wall thickness and presenting a bladder virtual image
US20100036252A1 (en) * 2002-06-07 2010-02-11 Vikram Chalana Ultrasound system and method for measuring bladder wall thickness and mass
US7520857B2 (en) * 2002-06-07 2009-04-21 Verathon Inc. 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
US6915696B2 (en) * 2003-02-27 2005-07-12 Vermon Intersecting ultrasonic transducer arrays
US7066887B2 (en) * 2003-10-21 2006-06-27 Vermon Bi-plane ultrasonic probe
KR100751852B1 (ko) 2003-12-31 2007-08-27 주식회사 메디슨 대상체의 3차원 초음파 데이터를 이용하여 그 단면을디스플레이하는 장치 및 방법
US8012090B2 (en) * 2004-06-22 2011-09-06 General Electric Company Method and apparatus for real time ultrasound multi-plane imaging
WO2007110077A2 (en) * 2006-03-24 2007-10-04 B-K Medical Aps Ultrasound probe
EP2148622A4 (en) * 2007-05-15 2013-11-27 Biotex Pharma Investments Llc IMPROVED IMAGING SYSTEM
US20090156940A1 (en) * 2007-12-12 2009-06-18 University Of Southern California Dual-layer transducer for rectilinear or curvilinear three-dimensional broadband ultrasound
US20090326372A1 (en) * 2008-06-30 2009-12-31 Darlington Gregory Compound Imaging with HIFU Transducer and Use of Pseudo 3D Imaging
US20100106023A1 (en) * 2008-09-29 2010-04-29 Kabushiki Kaisha Toshiba Body cavity ultrasonic probe and ultrasonic diagnosis apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04314435A (ja) * 1991-04-15 1992-11-05 Aloka Co Ltd 超音波診断装置
JPH05317309A (ja) * 1992-05-21 1993-12-03 Hitachi Medical Corp 穿刺用超音波探触子
JPH0683940A (ja) * 1992-09-04 1994-03-25 Toshiba Corp 画像表示装置
JPH09192131A (ja) * 1996-01-19 1997-07-29 Hitachi Medical Corp 超音波診断装置におけるリアルタイムバイプレーン像表示方法

Also Published As

Publication number Publication date
EP2612165A1 (en) 2013-07-10
JP5688197B2 (ja) 2015-03-25
US20130158405A1 (en) 2013-06-20
US9386964B2 (en) 2016-07-12
WO2012028896A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
JP5688197B2 (ja) 2次元超音波画像の3次元表示
JP5432426B2 (ja) 超音波システム
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
JP3878343B2 (ja) 3次元超音波診断装置
US6951543B2 (en) Automatic setup system and method for ultrasound imaging systems
CN100487482C (zh) 利用时间交错的数据获取的双平面超声成像
JP4969985B2 (ja) 超音波診断装置、及び超音波診断装置の制御プログラム
JP4847334B2 (ja) 超音波撮像装置及び投影像生成方法
JP4413909B2 (ja) 3次元超音波診断装置
US11055899B2 (en) Systems and methods for generating B-mode images from 3D ultrasound data
JP5965894B2 (ja) 画像平面シーケンスとして再フォーマット化されるボリュメトリック超音波画像データ
JPWO2006059668A1 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
JP2003204963A (ja) 複数の2dスライスから画像を作成するための超音波診断方法及び装置
JP5899212B2 (ja) 個別のバイプレーン画像の表示及びエクスポート
JP2007020908A (ja) 超音波診断装置及び超音波診断装置の制御プログラム
CN102090901B (zh) 医用图像显示装置
JP4855926B2 (ja) 旋回3次元超音波表示の振動対象との同期化
CN103327905A (zh) 手术器械的三维超声引导
US9629608B2 (en) Ultrasound diagnosis apparatus and control method
CN102573653B (zh) 超声波诊断装置、超声波图像处理装置以及超声波图像处理方法
JP2001276066A (ja) 三次元画像処理装置
JP4350214B2 (ja) 超音波診断装置
JP2021102086A (ja) 最適な超音波式臓器セグメンテーション
JP2018068687A (ja) 超音波診断装置
JP2004130134A (ja) バイプレーン超音波撮像法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140524

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140625

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140702

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150124

R150 Certificate of patent or registration of utility model

Ref document number: 5688197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees