JP2013198603A - 画像処理装置、方法及びプログラム - Google Patents

画像処理装置、方法及びプログラム Download PDF

Info

Publication number
JP2013198603A
JP2013198603A JP2012068698A JP2012068698A JP2013198603A JP 2013198603 A JP2013198603 A JP 2013198603A JP 2012068698 A JP2012068698 A JP 2012068698A JP 2012068698 A JP2012068698 A JP 2012068698A JP 2013198603 A JP2013198603 A JP 2013198603A
Authority
JP
Japan
Prior art keywords
image
time
series
common part
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012068698A
Other languages
English (en)
Other versions
JP5905308B2 (ja
JP2013198603A5 (ja
Inventor
Jun Masumoto
潤 桝本
Yuanzhong Li
元中 李
Yoshinori Itai
善則 板井
Yasuyoshi Ota
恭義 大田
Yoshimasa Fujimori
義真 藤森
Yoshiji Nakamura
佳児 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012068698A priority Critical patent/JP5905308B2/ja
Priority to PCT/JP2012/075332 priority patent/WO2013145382A1/ja
Publication of JP2013198603A publication Critical patent/JP2013198603A/ja
Publication of JP2013198603A5 publication Critical patent/JP2013198603A5/ja
Priority to US14/485,446 priority patent/US9456788B2/en
Application granted granted Critical
Publication of JP5905308B2 publication Critical patent/JP5905308B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】時系列画像の圧縮効率を更に向上可能な画像処理装置、方法及びプログラムを提供する。
【解決手段】時系列画像(44)に共通して含まれる共通部位(82、108、112)を少なくとも1つ指定し、時系列画像(44)のうち少なくとも1枚の原画像が表す共通部位(82、108、112)の位置を、別の1枚の原画像が表す共通部位(82、102、104)の位置にそれぞれ合わせることで、時系列画像(44)を調整する。調整された新たな時系列画像に対して動画像圧縮処理を行う。
【選択図】図6

Description

本発明は、画像処理装置、方法及びプログラムに関する。
近時、医療分野において、画像撮影装置(あるいはモダリティ)の高性能化・低線量化技術の飛躍的な発展に伴って、1回の検査につき取得可能な医用画像の数が増加しつつある。その反面、医療診断システム全体として取り扱うデータ量が膨大になるので、データの保管・通信等のためのコストが高騰する等の問題が顕在化している。そこで、医用画像を送信又は保存する前に画像圧縮処理を施し、取り扱うデータ量を低減させることが効果的である(特許文献1参照)。また、画像の圧縮効率を向上させるための技術が種々提案されている。
特許文献2では、画素の変化方向に沿って断面画像の順番をソートした後に、動画とみなして画像圧縮処理を施すシステム及び方法が提案されている。
特許文献3では、位置が互いに共通している画素に関する画像データをブロック単位として符号化した後、グループ化して画像を圧縮する方法及び装置が提案されている。
特開2003−126046号公報 特開2009−291280号公報 特開2005−245922号公報
ところで、特許文献2及び3に記載された方法等は、隣接するフレーム間における画像の変化量に着目し、その変化量が少なくなるように断面画像をソート(又はグループ化)することで、圧縮効率の向上を図っている。しかしながら、撮影された被写体の構造が既知である場合、あるいは、その構造の経時変化が比較的小さい場合において、当該構造を表す時系列画像の圧縮効率を更に向上する余地が十分にある。
本発明は上記した問題を解決するためになされたもので、時系列画像の圧縮効率を更に向上可能な画像処理装置、方法及びプログラムを提供することを目的とする。
本発明に係る画像処理装置は、時系列的な撮影により生成された複数の原画像からなる時系列画像を取得する時系列画像取得部と、前記時系列画像取得部により取得された前記時系列画像に共通して含まれる共通部位を少なくとも1つ指定する共通部位指定部と、前記時系列画像のうち少なくとも1枚の原画像が表す前記共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整する位置合わせ処理部と、前記位置合わせ処理部により調整された新たな時系列画像に対して動画像圧縮処理を行う画像圧縮処理部とを有することを特徴とする。
このように、時系列画像のうち少なくとも1枚の原画像が表す共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせる位置合わせ処理部を設けたので、少なくとも共通部位において、各フレーム間での画像変化量が小さい時系列画像を得ることができる。この調整された新たな時系列画像を圧縮することで、時系列画像の圧縮効率を更に向上することができる。
また、前記時系列画像取得部は、前記時系列画像として、軸方向に沿ったスライス撮影により生成された断面画像群の時系列を取得し、前記位置合わせ処理部は、前記軸方向に沿って前記共通部位の位置を合わせることで前記時系列画像を調整することが好ましい。
さらに、前記位置合わせ処理部は、前記時系列画像のうち1枚の原画像が表す前記共通部位の位置を基準とし、残余の原画像が表す前記共通部位の位置をそれぞれ合わせることで、前記時系列画像を調整することが好ましい。
さらに、前記位置合わせ処理部は、前記軸方向を法線とする断面方向に沿って前記共通部位の位置を合わせることで前記時系列画像を調整することが好ましい。
また、前記時系列画像取得部は、前記時系列画像として、軸方向に沿ったスライス撮影により生成された断面画像群を取得し、前記位置合わせ処理部は、前記軸方向を法線とする断面方向に沿って前記共通部位の位置を合わせることで前記時系列画像を調整することが好ましい。
さらに、前記位置合わせ処理部は、各前記原画像が表す前記共通部位の位置を、時系列的に隣接する原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整することが好ましい。
さらに、前記共通部位指定部は、肺、肝臓、心臓、脾臓、腎臓、頭部及び体部のうちの少なくとも1つを前記共通部位として指定することが好ましい。
本発明に係る画像処理方法は、時系列的に撮影された複数の原画像からなる時系列画像を取得する取得ステップと、取得された前記時系列画像に共通して含まれる共通部位を少なくとも1つ指定する指定ステップと、前記時系列画像のうち少なくとも1枚の原画像が表す前記共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整する位置合わせステップと、調整された新たな時系列画像に対して動画像圧縮処理を行う圧縮ステップとを備えることを特徴とする。
また、前記位置合わせステップでは、前記共通部位の位置を合わせるための位置合わせデータをさらに取得し、前記圧縮ステップで得られた圧縮データを前記位置合わせデータに紐付けて格納する格納ステップをさらに備えることが好ましい。
本発明に係るプログラムは、コンピュータを、時系列的に撮影された複数の原画像からなる時系列画像を取得する時系列画像取得部、前記時系列画像取得部により取得された前記時系列画像に共通して含まれる共通部位を少なくとも1つ指定する共通部位指定部、前記時系列画像のうち少なくとも1枚の原画像が表す前記共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整する位置合わせ処理部、前記位置合わせ処理部により調整された新たな時系列画像に対して動画像圧縮処理を行う画像圧縮処理部として機能させることを特徴とする。
本発明に係る画像処理装置、方法及びプログラムによれば、時系列画像のうち少なくとも1枚の原画像が表す共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせるようにしたので、少なくとも共通部位において、各フレーム間での画像変化量が小さい時系列画像を得ることができる。この調整された新たな時系列画像を圧縮することで、時系列画像の圧縮効率を更に向上することができる。
第1及び第2実施形態に共通する画像処理装置が組み込まれた医療診断システムの概略構成図である。 図1に示す画像処理装置の電気的な概略ブロック図である。 図1及び図2に示す画像処理装置の動作説明に供される第1フローチャートである。 被写体の胸部における断面画像群の一例を表す模式図である。 図5A〜図5Cは、各断面画像群が表す画像領域と、人体像との間の位置関係を示す概略説明図である。 図6A〜図6Cは、各断面画像群における位置合わせ方法を説明する模式図である。 図1及び図2に示す画像処理装置の動作説明に供される第2フローチャートである。 図4に示す断面画像群の部分拡大図である。 図8の断面画像群に対して位置合わせ処理を実行した後の、新たな断面画像群の部分拡大図である。
以下、本発明に係る画像処理方法について、これを実施する画像処理装置及びプログラムとの関係において好適な実施形態を挙げ、添付の図面を参照して説明する。
[各実施形態に共通するシステム構成]
図1は、第1及び第2実施形態に共通する画像処理装置26が組み込まれた医療診断システム10の概略構成図である。
医療診断システム10は、被写体12に関する医用画像を生成するモダリティ14と、医用画像を保存・管理する画像サーバ16と、診断等のために医用画像を表示する画像診断装置18と、を基本的に備えている。モダリティ14、画像サーバ16及び画像診断装置18は、ネットワーク20を介してそれぞれ接続されている。
モダリティ14は、被写体12を撮影することで、診断に供される医用画像を生成する。モダリティ14は、生成した医用画像及びその付帯情報(撮影条件や被写体12の情報等)を画像サーバ16側に出力する。本図例では、モダリティ14は、CR(Computed Radiography)装置22と、X線CT(Computed Tomography)装置24とから構成されている。装置構成はこれに限られず、例えば、DR(Digital Radiography)装置、MRI(Magnetic Resonance Imaging)装置、超音波(US)診断装置、PET(Positron Emission Tomography)装置等の画像生成装置を適宜組み合わせてもよい。
画像サーバ16は、モダリティ14から供給された医用画像に対して所望の画像処理を施す画像処理装置26と、画像処理装置26により画像処理が施された医用画像を保存・管理するストレージ装置28とを備える。
図2は、図1に示す画像処理装置26の電気的な概略ブロック図である。画像処理装置26は、通信I/F30、メモリ32(記憶媒体)、及び制御部34を備えている。
通信I/F30は、外部装置からの電気信号を送受信するインターフェースである。例えば、画像処理装置26は、通信I/F30を介して、ストレージ装置28(図1参照)で保存・管理された医用画像を取得する。この医用画像は、二次元画像又は三次元画像のいずれでもよく、具体的には、放射線画像(いわゆる放射線単純画像)、CT画像、MRI画像、PET画像等であってもよい。
メモリ32には、制御部34が各構成要素を制御するのに必要なプログラム及びデータ等を記憶している。メモリ32は、不揮発性のメモリ、ハードディスク等の記憶媒体であってよい。本図例では、3つの断面画像群36a〜36cから構成される経時断面画像群36、経時断面画像38、位置合わせデータ40及び圧縮データ42がそれぞれ図示されている。以下、同一の被写体12を時系列的に撮影して得た複数の原画像(経時断面画像群36、経時断面画像38)を総称して時系列画像44という。
制御部34は、CPU(Central Processing Unit)等の情報演算装置によって構成されている。制御部34は、メモリ32に格納されたプログラムを読み出し実行することで、時系列画像44を取得する時系列画像取得部46、時系列画像44に含まれる被写体12の部位(組織)を認識する部位認識部48、時系列画像44に共通して含まれる部位(以下、共通部位という。)を少なくとも1つ指定する共通部位指定部50、時系列画像44のうち少なくとも1枚の原画像が表す共通部位の位置を、別の1枚の原画像が表す共通部位の位置にそれぞれ合わせる位置合わせ処理部52、及び、位置合わせ処理部52によって位置合わせされた時系列画像(新たな時系列画像)に対して動画像圧縮処理を行う画像圧縮処理部54としてそれぞれ機能する。
第1及び第2実施形態に共通する画像処理装置26は、以上のように構成される。続いて、画像処理装置26の動作について、図3及び図7のフローチャートを主に参照しながら詳細に説明する。
[第1実施形態]
先ずは、異なる時点で撮影・生成された断面画像群の時系列に対して画像圧縮処理を行う第1実施形態について、図3〜図6Cを参照しながら説明する。
図3のステップS1において、画像処理装置26は、通信I/F30を介して、断面画像群の時系列である経時断面画像群36を取得する。具体的には、画像処理装置26は、ストレージ装置28に保存された医用画像であって、同一の被写体12を撮影して得た経時断面画像群36を取得する。
図4は、被写体12の胸部における断面画像群36aの一例を表す模式図である。断面画像群36aは、X−Y平面(X軸及びY軸のそれぞれ)に平行する複数の断面画像Io(1)〜Io(N)(本図例では、N=15)から構成される。そして、各断面画像は、Z軸(所定軸)に沿って等間隔に配置されている。第1実施形態において、画像処理装置26は、経時断面画像群36として、第1撮影における断面画像群36a、第2撮影における断面画像群36b、第3撮影における断面画像群36c(図2参照)を取得した後、メモリ32に一時的に格納させたとする。なお、経時断面画像群36は、3つの断面画像群に限られることなく、グループの数は問わない。
図5A〜図5Cは、各断面画像群36a〜36cが表す画像領域58a〜58cと、人体像60との間の位置関係を示す概略説明図である。
図5Aに示すように、断面画像群36aは、三次元の画像領域58aを構成する。この画像領域58a内には、背側から撮影された被写体12(図1参照)の人体像60が形成されている。人体像60は、体部領域(以下、単に「体部62」)を有している。体部62内には、右肺64、左肺66、心臓68、肝臓70、胃72、脾臓74、及び腎臓76がそれぞれ配置されている。
図5Bに示すように、断面画像群36bは、三次元の画像領域58bを構成する。この画像領域58b内には、図5Aと同様に、人体像60(体部62及びその内部構成も同様である。)が形成されている。
図5Cに示すように、断面画像群36cは、三次元の画像領域58cを構成する。この画像領域58c内には、図5Aと同様に、人体像60(体部62及びその内部構成も同様である。)が形成されている。
ここでは、X線CT装置24(図1参照)を用いて、被写体12の体軸方向に沿ったスライス撮影(第1〜第3撮影)を行うことで、上面78a(b、c)から下面80a(b、c)にわたって複数の断面画像を時系列的に配列した断面画像群36a(b、c)が得られる。例えば、第2撮影における撮影開始位置(上面78bの位置)が、第1及び第3撮影における撮影開始位置(上面78a、78cの位置)と異なっていたので、画像領域58a内の人体像60は、画像領域58a、58cと比べて相対的に上方に存在している。また、第2撮影における画像処理条件が、第1及び第3撮影における画像処理条件と異なっていたので、画像領域58c内の人体像60は、画像領域58a、58bと比べて相対的に左方に存在している。
ステップS2において、部位認識部48は、ステップS1で取得された各断面画像群36a〜36cに表された体部62の部位をそれぞれ認識する。部位の認識手法として、公知のアルゴリズムを種々適用できる。例えば、部位認識部48は、所定の評価指標に基づいて、複数の参照部位のうちの各断面画像群36a〜36cに表された体部62の部位を暫定的に決定し、断面画像群36a〜36c及び参照部位の組み合わせに応じてコストが設定されたコストマップを作成し、該コストマップのコストが最小になるように部位を修正してもよい(詳細は、特許第4855141号公報を参照)。
ステップS3において、共通部位指定部50は、断面画像群36a〜36cに共通して含まれる共通部位を指定する。第1実施形態では、共通部位指定部50は、Z軸方向(図4参照)に沿った位置を特定する部位を、共通部位として指定する。この指定は、ステップS2で実行された画像認識処理の結果に基づいた自動的な指定指示であっても、医師又は技師(以下、ユーザという。)による図示しない入力手段を介した指定指示であってもよい。また、指定された共通部位のZ座標から、断面画像群36a等のスライス番号を検出してもよい。
共通部位は、例えば、サイズが相対的に大きい臓器(肺、肝臓等を含む。)の上端部又は下端部であってもよいし、サイズが相対的に小さい臓器(特定の骨、臍等を含む。)自体であってもよい。また、共通部位は、臓器の形態から一意に特定される部位、例えば、気管支の特定の分岐部、大動脈弓の上縁部、左右冠動脈の始点部又は分岐部、肺動脈・肺静脈の分岐部、肝臓動脈・門脈・静脈の特定の分岐部であってもよい。
ここでは、図6Aに示すように、共通部位指定部50は、画像領域58a〜58cに共通して含まれる左肺66の下端部(黒丸印を付した位置)を共通部位82として指定したとする。また、経時断面画像群36のうち、1つの断面画像群36aを位置合わせの基準画像(群)とし、残余の断面画像群36aを位置合わせの対象画像(群)とする。参照符号84は、画像領域58a内での共通部位82の相対位置を示しており、以下、目標位置84と称する。
ステップS4において、位置合わせ処理部52は、経時断面画像群36に対してZ軸(軸方向)に沿った共通部位82の位置合わせを行う。具体的には、位置合わせ処理部52は、画像領域58bでの共通部位82の位置(すなわち相対位置)と目標位置84との関係から、画像領域58b又は人体像60を相対移動させる。
図6Bに示すように、共通部位82の相対位置(黒丸印を付した位置)は、目標位置84(白抜き丸印を付した位置)よりも僅か上方に存在する。この場合、位置合わせ処理部52は、画像領域58b(又は人体像60)を上方(又は下方)に所定量だけ平行移動させることで、共通部位82の位置を目標位置84に合わせる。これにより、上面86bから下面88bにわたって複数の断面画像を時系列的に配列した新たな断面画像群(以下、調整済み画像90bという。)が得られる。
ステップS5において、位置合わせ処理部52は、経時断面画像群36に対して、Z軸方向(軸方向)を法線とするX−Y平面(断面方向)に沿って共通部位82の位置合わせを行う。具体的には、位置合わせ処理部52は、画像領域58cでの共通部位82の位置(すなわち相対位置)と目標位置84との関係から、画像領域58c又は人体像60を相対移動させる。
図6Cに示すように、共通部位82の相対位置(黒丸印を付した位置)は、目標位置84(白抜き丸印を付した位置)よりも僅か左方に存在する。この場合、位置合わせ処理部52は、画像領域58c(又は人体像60)を左方(又は右方)に所定量だけ平行移動させることで、共通部位82の位置を目標位置84に合わせる。これにより、上面86cから下面88cにわたって複数の断面画像を時系列的に配列した新たな断面画像群(以下、調整済み画像90cという。)が得られる。
ところで、同一の被写体12内の同一部位を撮影したにもかかわらず、撮影時点によって当該部位の形状及び位置が異なることがある。これは、被写体12の体型の変化、撮影時の体動を含む各種環境が変化するためである。この場合、位置合わせ処理部52は、ボクセルデータに対してレジストレーション処理を適宜施してもよい。
ステップS6において、画像圧縮処理部54は、ステップS4、S5でそれぞれ調整された時系列画像(具体的には、断面画像群36a、調整済み画像90b、90c)に対して動画像圧縮処理を行う。この処理には、MPEG−2、4(Motion Picture Expanding Group)を含む公知のデジタル動画像圧縮手法を種々適用してもよく、可逆圧縮、非可逆圧縮のいずれであってもよい。また、圧縮効率及び演算時間の観点から、フレーム間予測、動き補償、変換符号化等に関する手法を適宜選択してもよい。
図6A〜図6Cに示すように、断面画像群36a、調整済み画像90b、90cの人体像60は、いずれも三次元的に略同じ位置に形成されている。これらの画像間での画像変化量はゼロであるか微小である。すなわち、断面画像群36a、調整済み画像90b、90cをスライス毎に時系列で配列した上で圧縮処理を施すと、極めて高い圧縮率の圧縮データ42を得ることができる。特に、撮影された被写体12の構造が既知であり、あるいは、その経時変化が比較的小さい場合、一層効果的である。
ステップS7において、画像処理装置26は、ステップS6で得られた圧縮データ42を、メモリ32又は外部装置(ストレージ装置28)に格納させる。その際、圧縮データ42とともに、ステップS5で作成された位置合わせデータ40も紐付けて格納する。これにより、画像診断装置18は、圧縮データ42及び位置合わせデータ40を受信した後、所定の展開処理及び位置合わせ処理(逆変換)を実行することで、経時断面画像群36を復元できる。
[第2実施形態]
続いて、スライス撮影により生成された断面画像群を保存・管理する第2実施形態について、図7〜図9を参照しながら説明する。
図7のステップS11において、時系列画像取得部46は、時系列画像44としての断面画像群36a(図4及び図8参照)を取得する。ステップS12において、部位認識部48は、ステップS11で取得された断面画像群36aに表された体部の部位をそれぞれ認識する。なお、ステップS11及びS12は、第1実施形態と同様であるため、その説明を省略する。
ステップS13において、共通部位指定部50は、断面画像群36aの原画像Io(1)〜Io(15)に共通して含まれる共通部位を少なくとも1つ指定する。第2実施形態では、複数の断面画像を跨いた位置合わせ処理を行う部位(構造物)を指定する。共通部位指定部50は、共通部位として、例えば、肺、肝臓、心臓、脾臓、腎臓、頭部及び体部のうちの少なくとも1つを指定してもよい。第2実施形態では、例えば、肺及び体部が指定されたとする。
ステップS14において、位置合わせ処理部52は、断面画像群36aに対してX−Y平面(断面方向)に沿って共通部位の位置合わせを行う。具体的には、位置合わせ処理部52は、剛性型又は非剛性型のレジストレーション手法を用いて、共通部位の断面形状を合わせる。
図8に示すように、断面画像群36aの原画像Io(1)上には、被写体12(図1参照)の体部領域(以下、単に体部100という。)が形成されている。概略楕円形状の体部100内に、右肺領域(以下、単に右肺102)、左肺領域(以下、単に左肺104)、及び食道骨領域(以下、単に食道106)がそれぞれ形成されている。なお、説明の便宜のため、図8及び図9では、画像の背景部及び各部位の輪郭のみを表記する。
原画像Io(2)上の体部100には、右肺102と異なる形状を有する右肺108が形成されている。右肺108は、右肺102に対して外方(図面の左方)に膨出している。ここで、右肺108から右肺102を除外した差分領域のことを膨出部110という。また、体部100には、左肺104と異なる形状を有する左肺112が形成されている。左肺112は、左肺104に対して外方(図面の右方)に膨出している。ここで、左肺112から左肺104を除外した差分領域のことを膨出部114という。
位置合わせ処理部52は、原画像Io(2)が表す共通部位の位置を、時系列的に隣接する原画像Io(1)が表す共通部位の位置にそれぞれ合わせる。位置合わせ処理部50は、例えば非剛性型のレジストレーション手法を用いることで、原画像Io(2)上の右肺108を右肺108rに変形させるとともに、原画像Io(2)上の左肺112を左肺112rに変形させる。
ところで、体部100は、肺と同様に、位置合わせ処理の対象である。しかし、体部100は、原画像Io(1)、Io(2)上において同じ形状を有し、且つ、同じ位置に配置されている。このため、体部100の形態は、本処理の前後にわたって変化しない。
そして同様に、位置合わせ処理部52は、原画像Io(n+1)(nは2以上の整数)が表す共通部位の位置を、時系列的に隣接する原画像Io(n)が表す共通部位の位置にそれぞれ合わせる。これにより、複数の断面画像{Io(1)、Ir(2;1)〜Ir(N;N−1)}を時系列的に配列した新たな断面画像群120aが得られる。調整済み画像Ir(2;1)は、原画像Io(2)が表す共通部位の位置を、原画像Io(1)が表す共通部位の位置にそれぞれ合わせた後の断面画像を示す。
図9に示すように、原画像Io(1)及び調整済み画像Ir(2;1)の各部位は、いずれも二次元的に略同じ位置に形成されている。これらの画像間での画像変化量はゼロであるか微小である。すなわち、原画像Io(1)、調整済み画像Ir(2;1)等をスライス毎に時系列で配列した上で圧縮処理を施すと、極めて高い圧縮率の圧縮データ42を得ることができる。
以上のように、画像処理装置26は、時系列的な撮影により生成された複数の原画像からなる時系列画像44を取得する時系列画像取得部46と、取得された時系列画像44に共通して含まれる共通部位82(102、104)を少なくとも1つ指定する共通部位指定部50と、時系列画像44のうち少なくとも1枚の原画像が表す共通部位82(108、112)の位置を、別の1枚の原画像が表す共通部位82(102、104)の位置にそれぞれ合わせることで、時系列画像44を調整する位置合わせ処理部52と、調整された新たな時系列画像に対して動画像圧縮処理を行う画像圧縮処理部54と、を有する。
時系列画像44のうち少なくとも1枚の原画像が表す共通部位82(108、112)の位置を、別の1枚の原画像が表す共通部位82(102、104)の位置にそれぞれ合わせるようにしたので、少なくとも共通部位82(102、104)において、各フレーム間での画像変化量が小さい時系列画像を得ることができる。この調整された新たな時系列画像を圧縮することで、時系列画像の圧縮効率を更に向上することができる。
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。例えば、第1及び第2実施形態の各処理形態を適宜組み合わせてもよい。また、本実施形態では、医用画像に対して圧縮処理を行う具体例について説明したが、本発明は、医用以外の他の用途にも適用可能である。
10…医療診断システム 12…被写体
14…モダリティ 16…画像サーバ
18…画像診断装置 26…画像処理装置
30…通信I/F 32…メモリ
34…制御部 36…経時断面画像群
36a、36b、36c、120a…断面画像群
38…経時断面画像 40…位置合わせデータ
42…圧縮データ 44…時系列画像
46…時系列画像取得部 48…部位認識部
50…共通部位指定部 52…位置合わせ処理部
54…画像圧縮処理部
58a、58b、58c…画像領域 60…人体像
62、100…体部 64、102…右肺
66、104…左肺 68…心臓
70…肝臓 72…胃
74…脾臓 76…腎臓
90b、90c、Ir(2;1)…調整済み画像
106…食道

Claims (10)

  1. 時系列的な撮影により生成された複数の原画像からなる時系列画像を取得する時系列画像取得部と、
    前記時系列画像取得部により取得された前記時系列画像に共通して含まれる共通部位を少なくとも1つ指定する共通部位指定部と、
    前記時系列画像のうち少なくとも1枚の原画像が表す前記共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整する位置合わせ処理部と、
    前記位置合わせ処理部により調整された新たな時系列画像に対して動画像圧縮処理を行う画像圧縮処理部と
    を有することを特徴とする画像処理装置。
  2. 請求項1記載の画像処理装置において、
    前記時系列画像取得部は、前記時系列画像として、軸方向に沿ったスライス撮影により生成された断面画像群の時系列を取得し、
    前記位置合わせ処理部は、前記軸方向に沿って前記共通部位の位置を合わせることで前記時系列画像を調整する
    ことを特徴とする画像処理装置。
  3. 請求項2記載の画像処理装置において、
    前記位置合わせ処理部は、前記時系列画像のうち1枚の原画像が表す前記共通部位の位置を基準とし、残余の原画像が表す前記共通部位の位置をそれぞれ合わせることで、前記時系列画像を調整することを特徴とする画像処理装置。
  4. 請求項2又は3に記載の画像処理装置において、
    前記位置合わせ処理部は、前記軸方向を法線とする断面方向に沿って前記共通部位の位置を合わせることで前記時系列画像を調整することを特徴とする画像処理装置。
  5. 請求項1記載の画像処理装置において、
    前記時系列画像取得部は、前記時系列画像として、軸方向に沿ったスライス撮影により生成された断面画像群を取得し、
    前記位置合わせ処理部は、前記軸方向を法線とする断面方向に沿って前記共通部位の位置を合わせることで前記時系列画像を調整する
    ことを特徴とする画像処理装置。
  6. 請求項5記載の画像処理装置において、
    前記位置合わせ処理部は、各前記原画像が表す前記共通部位の位置を、時系列的に隣接する原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整することを特徴とする画像処理装置。
  7. 請求項1〜6のいずれか1項に記載の画像処理装置において、
    前記共通部位指定部は、肺、肝臓、心臓、脾臓、腎臓、頭部及び体部のうちの少なくとも1つを前記共通部位として指定することを特徴とする画像処理装置。
  8. 時系列的に撮影された複数の原画像からなる時系列画像を取得する取得ステップと、
    取得された前記時系列画像に共通して含まれる共通部位を少なくとも1つ指定する指定ステップと、
    前記時系列画像のうち少なくとも1枚の原画像が表す前記共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整する位置合わせステップと、
    調整された新たな時系列画像に対して動画像圧縮処理を行う圧縮ステップと
    を備えることを特徴とする画像処理方法。
  9. 請求項8記載の画像処理方法において、
    前記位置合わせステップでは、前記共通部位の位置を合わせるための位置合わせデータをさらに取得し、
    前記圧縮ステップで得られた圧縮データを前記位置合わせデータに紐付けて格納する格納ステップをさらに備える
    ことを特徴とする画像処理方法。
  10. コンピュータを、
    時系列的に撮影された複数の原画像からなる時系列画像を取得する時系列画像取得部、
    前記時系列画像取得部により取得された前記時系列画像に共通して含まれる共通部位を少なくとも1つ指定する共通部位指定部、
    前記時系列画像のうち少なくとも1枚の原画像が表す前記共通部位の位置を、別の1枚の原画像が表す前記共通部位の位置にそれぞれ合わせることで、前記時系列画像を調整する位置合わせ処理部、
    前記位置合わせ処理部により調整された新たな時系列画像に対して動画像圧縮処理を行う画像圧縮処理部
    として機能させることを特徴とするプログラム。
JP2012068698A 2012-03-26 2012-03-26 画像処理装置、方法及びプログラム Expired - Fee Related JP5905308B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012068698A JP5905308B2 (ja) 2012-03-26 2012-03-26 画像処理装置、方法及びプログラム
PCT/JP2012/075332 WO2013145382A1 (ja) 2012-03-26 2012-10-01 画像処理装置、方法及び記憶媒体
US14/485,446 US9456788B2 (en) 2012-03-26 2014-09-12 Image processing device, method and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012068698A JP5905308B2 (ja) 2012-03-26 2012-03-26 画像処理装置、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013198603A true JP2013198603A (ja) 2013-10-03
JP2013198603A5 JP2013198603A5 (ja) 2014-08-07
JP5905308B2 JP5905308B2 (ja) 2016-04-20

Family

ID=49258723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012068698A Expired - Fee Related JP5905308B2 (ja) 2012-03-26 2012-03-26 画像処理装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US9456788B2 (ja)
JP (1) JP5905308B2 (ja)
WO (1) WO2013145382A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484537B2 (ja) 2020-07-31 2024-05-16 コニカミノルタ株式会社 放射線画像処理装置、放射線画像処理方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6413927B2 (ja) * 2015-05-25 2018-10-31 コニカミノルタ株式会社 動態解析装置及び動態解析システム
JP2017072902A (ja) * 2015-10-05 2017-04-13 富士通株式会社 プログラム、情報処理装置及び情報処理方法
DE112016002782T5 (de) 2016-08-24 2018-07-05 Google LLC (n.d.Ges.d. Staates Delaware) Änderungserkennungsbasiertes System zur Aktualisierung von Kartenschnittstellen
CN108351959B (zh) 2016-08-24 2022-09-13 谷歌有限责任公司 基于变化检测的图像采集任务***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127680A (ja) * 1997-07-01 1999-01-29 Access:Kk データ処理システム
JP2001103222A (ja) * 1999-07-12 2001-04-13 Fuji Photo Film Co Ltd 画像転送方法および画像転送システム並びにそれに使用する画像信号出力装置および端末
JP2006006797A (ja) * 2004-06-29 2006-01-12 Toshiba Corp 医用画像データ圧縮方法、及び医用画像データ保管装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904163B1 (en) * 1999-03-19 2005-06-07 Nippon Telegraph And Telephone Corporation Tomographic image reading method, automatic alignment method, apparatus and computer readable medium
US6628434B1 (en) 1999-07-12 2003-09-30 Fuji Photo Film Co., Ltd. Method and system for image transfer and image signal output apparatus and terminal used therefor
US7139417B2 (en) 2001-08-14 2006-11-21 Ge Medical Systems Global Technology Company Llc Combination compression and registration techniques to implement temporal subtraction as an application service provider to detect changes over time to medical imaging
US7620229B2 (en) * 2003-08-14 2009-11-17 Fujifilm Corporation Method and apparatus for aiding image interpretation and computer-readable recording medium storing program therefor
US20050111757A1 (en) * 2003-11-26 2005-05-26 Brackett Charles C. Auto-image alignment system and method based on identified anomalies
JP2005245922A (ja) 2004-03-08 2005-09-15 Fuji Photo Film Co Ltd 画像データ圧縮方法および装置並びにプログラム
JP4855141B2 (ja) * 2006-05-19 2012-01-18 富士フイルム株式会社 医用画像部位認識装置、及び、医用画像部位認識プログラム
JP4960024B2 (ja) * 2006-06-07 2012-06-27 オリンパスメディカルシステムズ株式会社 医療画像管理方法ならびにそれを利用した医療画像管理装置
US8699765B2 (en) * 2006-11-13 2014-04-15 Siemens Medical Solutions Usa, Inc. Reducing jittering in medical diagnostic ultrasound imaging
US20080219567A1 (en) * 2007-03-07 2008-09-11 General Electric Company Tomosynthesis imaging data compression system and method
WO2010058398A2 (en) * 2007-03-08 2010-05-27 Sync-Rx, Ltd. Image processing and tool actuation for medical procedures
US8057394B2 (en) * 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
JP5303192B2 (ja) 2008-06-03 2013-10-02 株式会社日立メディコ 医療画像システム、医療画像システムの画像圧縮方法
CN102711617B (zh) * 2009-11-16 2014-12-24 皇家飞利浦电子股份有限公司 扫描规划视场调整器、确定器和/或质量评估器
US8594461B2 (en) * 2010-10-02 2013-11-26 Varian Medical Systems, Inc. Image data compression and decompression
US9977978B2 (en) * 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127680A (ja) * 1997-07-01 1999-01-29 Access:Kk データ処理システム
JP2001103222A (ja) * 1999-07-12 2001-04-13 Fuji Photo Film Co Ltd 画像転送方法および画像転送システム並びにそれに使用する画像信号出力装置および端末
JP2006006797A (ja) * 2004-06-29 2006-01-12 Toshiba Corp 医用画像データ圧縮方法、及び医用画像データ保管装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484537B2 (ja) 2020-07-31 2024-05-16 コニカミノルタ株式会社 放射線画像処理装置、放射線画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP5905308B2 (ja) 2016-04-20
US20150003710A1 (en) 2015-01-01
WO2013145382A1 (ja) 2013-10-03
US9456788B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
CN112584760B (zh) 用于对象摆位和图像引导手术的***和方法
JP5337354B2 (ja) 幾何学方式レジストレーションのためのシステムおよび方法
EP3411818B1 (en) System for image processing to generate three-dimensional (3d) view of an anatomical portion
JP4576228B2 (ja) 生理学的モデルに基づく非剛体画像位置合わせ
JP6793994B2 (ja) 一連のスライス画像を再構成する方法およびこれを利用した装置
US11176671B2 (en) Medical image processing apparatus, and method
US10803354B2 (en) Cross-modality image synthesis
CN105813567B (zh) 基于三维(3d)预扫描的体积图像数据处理
JP5905308B2 (ja) 画像処理装置、方法及びプログラム
JP2012513883A (ja) 動き補償に基づくct機器及び方法
US10032295B2 (en) Tomography apparatus and method of processing tomography image
JP6131161B2 (ja) 画像位置合わせ装置、方法、およびプログラム、並びに3次元変形モデル生成方法
KR20130018168A (ko) 의료 이미지 데이터 세트의 정합 품질의 시각화 방법 및 장치
JP2015167725A (ja) 画像処理装置、画像撮影システム及び画像処理プログラム
CN108430376B (zh) 提供投影数据集
KR102203816B1 (ko) 2d 영상정합 및 3d 영상 재구성에 기반한 파노라마 영상 생성 방법, 파노라마 영상 생성 장치 및 컴퓨터 판독 가능한 기록 매체
JP2013198603A5 (ja)
US11062452B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable medium
JP7387409B2 (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム
US11836923B2 (en) Image processing apparatus, image processing method, and storage medium
JP7292191B2 (ja) 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160316

R150 Certificate of patent or registration of utility model

Ref document number: 5905308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees