JP6346032B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6346032B2
JP6346032B2 JP2014169775A JP2014169775A JP6346032B2 JP 6346032 B2 JP6346032 B2 JP 6346032B2 JP 2014169775 A JP2014169775 A JP 2014169775A JP 2014169775 A JP2014169775 A JP 2014169775A JP 6346032 B2 JP6346032 B2 JP 6346032B2
Authority
JP
Japan
Prior art keywords
image
dimensional
ray
cross
sectional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014169775A
Other languages
English (en)
Other versions
JP2016043066A (ja
Inventor
幸寛 原
幸寛 原
崇文 小池
崇文 小池
稔 前澤
稔 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rigaku Corp
Original Assignee
Rigaku Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rigaku Corp filed Critical Rigaku Corp
Priority to JP2014169775A priority Critical patent/JP6346032B2/ja
Priority to US14/822,604 priority patent/US9928597B2/en
Priority to DE102015215810.1A priority patent/DE102015215810A1/de
Publication of JP2016043066A publication Critical patent/JP2016043066A/ja
Application granted granted Critical
Publication of JP6346032B2 publication Critical patent/JP6346032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/508—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for non-human patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Description

本発明は、被検体の異常部位の特定に用いられる画像処理装置、画像処理方法および画像処理プログラムに関する。
近年、生体を対象としたイメージング技術が進歩し、マウスやラット等の実験用動物の生体内をリアルタイムにスキャンして画像を取得して、病変部位を特定し、解析することが可能になっている。特に生きた実験動物を用いたin vivoイメージングは、重要な技術として開発が進められている。
実験用動物の体内の観察にはＸ線ＣＴ撮影が有効である。Ｘ線ＣＴ撮影では、被検体に対して測定系を回転させて複数の透視画像データを撮影し、撮影された透視画像データから３次元ＣＴ画像を再構成する方法が知られている（例えば、特許文献１）。
一方、実験用動物の体内において病変部位を特定し観察するには、蛍光イメージングが有効である。蛍光イメージングは、蛍光ラベル化されたプローブを生体内のターゲット部位に集積させて、プローブの動態を体外からモニタリングする技術であり、蛍光試薬の濃度を光学顕微鏡で検出する方法が知られている（例えば、特許文献２）。
そして、上記のようなＸ線ＣＴ撮影と蛍光イメージングとを連携させる技術が研究され、提案されている。例えば、特許文献３記載の装置は、Ｘ線ＣＴ撮影計画立案用の透過Ｘ線画像と対応するＲＩ分布画像とを重ね合わせて表示し、オペレータによるＸ線ＣＴ撮影計画の的確な立案を可能にしている。
また、特許文献４記載の画像処理システムは、２次元蛍光像および３ＤのＭＲ／ＣＴ画像を融合または複合の画像として位置合わせしその画像を表示している。その結果、身体ボリュームについて捕捉された生の２次元画像データを別のシステムで得られた３次元ボリュームデータに関連付けて表示することを可能にしている。
また、特許文献５記載のシステムは、マイクロＸ線トモグラフィーのシステムと光学イメージングのシステムとを集積させている。そして、別々のシステム間で被検体を移動させることなく、複数種類の画像を撮影可能にしている。
特開２０１３−２２３６４３号公報 特開２０１０−０３２３３８号公報 特開２００７−１５９７６９号公報 特表２００８−５３２６１２号公報 米国特許出願公開第２０１２／０３２１０３３号明細書
しかしながら、これらのＸ線ＣＴ撮影と蛍光イメージングとを融合させる技術では、負担のかかる処理手順が適用されており、簡易かつ正確に被検体の異常部位の特定や解析ができない。例えば特許文献４記載のシステムでは、２Ｄ画像データがまず３Ｄ画像データに位置合わせされており、必ずしも簡易とはいえない処理が行われている。
本発明は、このような事情に鑑みてなされたものであり、被検体の断面画像に３次元Ｘ線ＣＴ画像および２次元蛍光像を自動的に重ね合わせて表示でき、簡易かつ正確に被検体の異常部位の特定や解析が可能となる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
（１）上記の目的を達成するため、本発明の画像処理装置は、被検体の異常部位の特定に用いられる画像処理装置であって、特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された前記特定の被検体の輪郭データ間について位置合わせデータを算出する算出部と、前記算出された位置合わせデータを用いて、前記Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示する表示処理部と、を備えることを特徴としている。
これにより、被検体の断面画像に３次元Ｘ線ＣＴ画像および２次元生体光像を自動的に重ね合わせて表示でき、簡易かつ正確に被検体の異常部位の特定や解析が可能となる。
（２）また、本発明の画像処理装置は、前記２次元生体光像における受光面に平行な面で、前記３次元Ｘ線ＣＴ画像の断面画像を生成する断面画像生成部を更に備えることを特徴としている。これにより、３次元Ｘ線ＣＴ画像の断面画像を表示でき、最大値投影法を適用してさらに病変部位を正確に特定できる。
（３）また、本発明の画像処理装置は、前記断面画像生成部が、２次元生体光像の受光面に垂直な方向の所定範囲内について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成することを特徴としている。これにより、自動で最大値投影法を適用した３次元Ｘ線ＣＴ画像の断面画像を表示できるため、正確に被検体の異常部位を特定できる。
（４）また、本発明の画像処理装置は、ユーザにより前記断面画像上の範囲指定操作を受け付ける操作受付部を更に備え、前記断面画像生成部は、前記指定された範囲について２次元生体光像の受光面に垂直な方向について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成することを特徴としている。これにより、複数の病変部があったときに使用者は必要に応じて部分的にＣＴ最大値投影法を用いることで簡便な操作で病変部位を特定しやすくし、利便性を向上できる。
（５）また、本発明の画像処理装置は、前記算出部が、前記Ｘ線透視画像および前記写真画像の各画素サイズの比から、前記輪郭データ間についての位置合わせデータとして拡大率を算出することを特徴としている。これにより、輪郭データ間についての位置合わせデータとして拡大率を正確に算出することができる。
（６）また、本発明の画像処理装置は、前記算出部が、前記拡大率を用いて前記輪郭データ間のサイズを調整した後、前記輪郭データ間の相関値が所定の条件を満たすように、前記輪郭データ間の位置合わせデータとして、平面上の相対位置、特定の軸回りの回転角を算出することを特徴としている。これにより、輪郭データ間についての位置合わせデータとして尤もらしい平面上の相対位置、特定の軸回りの回転角を算出することができる。
（７）また、本発明の画像処理方法は、コンピュータにより実行され、被検体の異常部位の特定に用いられる画像処理方法であって、特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された前記特定の被検体の輪郭データ間について位置合わせデータを算出するステップと、前記算出された位置合わせデータを用いて、前記Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示するステップと、を含むことを特徴としている。これにより、簡易かつ正確に被検体の異常部位の特定や解析が可能となる。
（８）また、本発明の画像処理プログラムは、被検体の異常部位の特定に用いられる画像処理プログラムであって、特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された前記特定の被検体の輪郭データ間について位置合わせデータを算出する処理と、前記算出された位置合わせデータを用いて、前記Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示する処理と、を含む一連の処理をコンピュータに実行させることを特徴としている。これにより、簡易かつ正確に被検体の異常部位の特定や解析が可能となる。
本発明によれば、被検体の断面画像に３次元Ｘ線ＣＴ画像および２次元生体光像を自動的に重ね合わせて表示でき、簡易かつ正確に被検体の異常部位の特定や解析が可能となる。
本発明の撮影装置および画像処理装置を示す概略図である。 （ａ）、（ｂ）それぞれ撮影装置のＸ線ＣＴ撮影用の構成および蛍光イメージング用の構成を示す概略図である。 本発明の画像処理装置の機能的構成を示すブロック図である。 第１の実施形態の画像処理装置の動作の一例を示すフローチャートである。 （ａ）、（ｂ）それぞれ透視画像および輪郭が抽出された画像を示す図である。 （ａ）、（ｂ）それぞれ写真画像および輪郭が抽出された画像を示す図である。 各輪郭が抽出された画像の重ね合わせの手順を示す図である。 ＣＴ画像と蛍光像の重ね合わせの処理を示す図である。 （ａ）〜（ｃ）それぞれ生体光像の冠状面図、重ね合わせの最大値投影画像の矢状面図および冠状断面図である。 第２の実施形態の画像処理装置の動作の一例を示すフローチャートである。 重ね合わせの処理後の画面を示す図である。 指定された範囲について最大値投影法を適用した処理後の画面を示す図である。 位置合わせの微調整後の合成画像を示す図である。
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
［第１の実施形態］
（撮影装置および画像処理装置によるシステム構成）
図１は、撮影装置５０および画像処理装置１００を示す概略図である。撮影装置５０は、被検体Ｍ（特定の被検体）に対してＸ線ＣＴ撮影および蛍光イメージング（生体光イメージング）を行うことができる。撮影装置５０で撮影されたＸ線ＣＴ画像および生体光像は、画像処理装置１００により画像処理され、統合して表示されることが可能である。なお、生体光イメージングには、蛍光イメージングおよび発光イメージングが含まれる。
（撮影装置の構成）
図２（ａ）、（ｂ）は、それぞれ撮影装置のＸ線ＣＴ撮影用の構成および蛍光イメージング用の構成を示す概略図である。図２（ａ）は、撮影装置５０内の被検体ＭのＸ線ＣＴ像を撮影するための構成を示している。撮影装置５０は、Ｘ線ＣＴ撮影用の構成としてガントリ６１と、制御部６２とを有している。ガントリ６１は、回転アーム６３、ステージ６４、Ｘ線管６５、２次元検出器６６およびアーム回転モータ６７を備えている。
回転アーム６３には、ステージ６４に保持される被検体Ｍを中心として、Ｘ線管６５および２次元検出器６６が互いに対向して固定されている。回転アーム６３は、被検体Ｍに対して回転可能となるよう、ガントリ６１内に設置されている。
Ｘ線管６５は、コーンビームとなるＸ線を放射し、このＸ線が被検体Ｍに照射され、被検体Ｍを透過したＸ線を２次元検出器６６が検出する。２次元検出器６６は、Ｘ線を検出する検出面を有し、被検体Ｍを透過するＸ線を透視画像データとして検出する。アーム回転モータ６７は、回転アーム６３を回転させ、それにより、ガントリ６１全体を連続的に回転させる。このようにして、撮影装置５０は、Ｘ線透視画像データを検出することができる。
図２（ｂ）は、撮影装置５０内の被検体Ｍの蛍光像を撮影するための構成を示す図である。図２（ｂ）に示すように撮影装置５０は、蛍光イメージング撮影用の構成として、対物レンズ系７２、光源７４、フィルター７４ａ、７６ａ、ＣＣＤカメラ７６、ダイクロイックミラー７８を備えている。このような構成によりプローブが施された被検体Ｍの蛍光イメージングの撮影が可能となる。
光源７４は、励起光または照明光を照射し、ダイクロイックミラー７８は照射光を反射する。対物レンズ系７２は、反射光を被検体Ｍの観察部位に集光する。そして、対物レンズ系７２は、観察部位のプローブから発せられる蛍光を集光し、ダイクロイックミラー７８を透過した蛍光をＣＣＤカメラ７６は、受光面で受光し被検体Ｍの蛍光像を生成する。
光源７４に励起光の光路および試料からＣＣＤカメラ７６への検出光の光路には、それぞれ、特定の波長を選択的に透過するフィルター７４ａ、７６ａが配置されている。制御部６２は、光源７４とＣＣＤカメラ７６の動作を制御し、ＣＣＤカメラ７６で取得された画像を処理する。このようにして、撮影装置５０は、２次元蛍光像を撮影することができる。また、撮影装置５０は、励起光等を用いずに２次元生体光イメージングの撮影時と同じ角度から写真画像を得ることもできる。そして、撮影装置５０で得られたＸ線透視画像、写真画像および２次元蛍光像の画像データは、画像処理装置１００へ送出され、画像処理装置１００で適宜処理され、蓄積される。
（画像処理装置の構成）
図３は、画像処理装置１００の機能的構成を示すブロック図である。画像処理装置１００は、特に被検体の異常部位（例えば、病変部位）の特定に用いられ、３次元データ再構成部１０５、ＣＴ画像データ蓄積部１１０、生体光像データ蓄積部１２０、算出部１３０、断面画像生成部１４０、表示処理部１５０および操作部１６０を備えている。
３次元データ再構成部１０５は、撮影装置５０で撮影されたＸ線透視画像データから３次元Ｘ線ＣＴ画像データを再構成する。ＣＴ画像データ蓄積部１１０は、撮影装置５０で撮影されたＸ線透視画像データおよび再構成処理により得られた３次元Ｘ線ＣＴ画像データを蓄積する。特定の被検体に対する一連の撮影データとしてＸ線透視画像データと３次元Ｘ線ＣＴ画像データとは対応付けられている。
生体光像データ蓄積部１２０は、撮影装置５０で撮影された写真画像データおよび２次元生体光像データを蓄積する。なお、生体光像には、蛍光像だけでなく発光像も含まれる。特定の被検体に対する一連の撮影データとして写真画像データと２次元生体光像データとは対応付けられている。
算出部１３０は、特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された特定の被検体の輪郭データ間について位置合わせデータを算出する。位置合わせデータとしては、輪郭画像の一方から他方に対する拡大率、平面上の相対位置、特定の軸回りの回転角が挙げられる。
算出部１３０は、Ｘ線透視画像および写真画像の各画素サイズの比から、輪郭データ間についての位置合わせデータとして拡大率を算出する。これにより、輪郭データ間の拡大率を正確に算出することができる。
そして、拡大率を用いて輪郭データ間のサイズを調整した後、平面上の相対位置、特定の軸回りの回転角を変えながら、各輪郭画像データの相関値を計算する。そして、輪郭データ間の相関値が所定の条件を満たすように、輪郭データ間の位置合わせデータとして、平面上の相対位置、特定の軸回りの回転角を算出する。これにより、輪郭データ間についての位置合わせデータとして尤もらしい平面上の相対位置、特定の軸回りの回転角を算出することができる。なお、上記の所定の条件としては、例えば、最も相関値が高いことや相関値が所定値以上であることが挙げられる。
断面画像生成部１４０は、写真画像に関連付けられた２次元生体光像における受光面に平行な面（例えば、被検体の冠状面）で、Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像の断面画像を生成する。
また、断面画像生成部１４０は、指定された範囲について２次元生体光像の受光面に垂直な方向について３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、３次元Ｘ線ＣＴ画像の断面画像を生成することが好ましい。これにより、複数の病変部位があったときに使用者は必要に応じて部分的にＣＴ最大値投影法を用いることで簡便な操作で病変部位を特定しやすくし、利便性を向上できる。
表示処理部１５０は、算出された位置合わせデータを用いて、断面画像に３次元Ｘ線ＣＴ画像および２次元生体光像を重ね合わせて表示する。これにより、被検体の３次元Ｘ線ＣＴ画像から得られた断面画像に２次元生体光像を自動的に重ね合わせて表示できる。
操作部１６０は、ユーザにより断面画像上の範囲指定操作を受け付ける。操作部１６０は、例えばマウスのようなポインティング・デバイスである。操作部１６０により断面画像上に円や四角を描くことで範囲指定が可能になる。
（画像処理装置の動作）
図４は、画像処理装置１００の動作の一例を示すフローチャートである。まず、画像処理装置１００は、撮影済みの透視画像データおよび３次元Ｘ線ＣＴ画像データを読み込む（ステップＳ１）。そして、読み込んだ透視画像データから被検体の輪郭を抽出する（ステップＳ２）。一方で、撮影済みの写真画像データおよび２次元生体光像データを読み込む（ステップＳ３）。そして、写真画像データから被検体の輪郭を抽出する（ステップＳ４）。
次に、２つの輪郭画像を用いて、位置合わせデータを計算する（ステップＳ５）。そして、位置合わせデータを用いて３次元Ｘ線ＣＴ画像データと２次元生体光像データとを重ね合わせる（ステップＳ６）。
重ね合わせて得られた画像データの任意の断面画像に対して、ユーザのドラッグによる範囲指定を受け付ける（ステップＳ７）。そして、指定された範囲に最大値投影法を適用する（ステップＳ８）。その結果、得られた部分的に最大値投影法を適用された断面画像を表示する（ステップＳ９）。このようにして、被検体の病変部位を特定することが容易になる。このような動作における各処理の詳細を以下に説明する。
（各輪郭画像の生成）
図５（ａ）、（ｂ）は、それぞれ透視画像および輪郭が抽出された画像を示す図である。図５（ａ）に示す透視画像２０１は、被検体のマウスを一定方向（０°）から撮影されたものである。そして、図５（ｂ）に示す輪郭画像２０２は、透視画像２０１からマウスの輪郭を抽出したものである。
図６（ａ）、（ｂ）は、それぞれ写真画像および輪郭が抽出された画像を示す図である。図６（ａ）に示す写真画像２１１は、被検体のマウスを所定方向（＝透視画像の撮影方向）から撮影されたものである。そして、図６（ｂ）に示す輪郭画像２１２は、写真画像２１１からマウスの輪郭を抽出したものである。
（位置合わせデータの算出）
図７は、各輪郭が抽出された画像の重ね合わせの手順を示す図である。まず、各輪郭画像の大きさを調整する。図７に示す例では、透視画像から抽出された輪郭画像２０２より写真画像から抽出された輪郭画像２１２の方が小さいため、輪郭画像２１２を輪郭画像２０２と重なる大きさに調整する。具体的には、拡大率は、Ｘ線透視画像の画素サイズと写真画像の画素サイズとの比から得られる。
輪郭画像２１２の拡大処理の後、重ね合わせは、平面上の相対位置、特定の軸回りの回転角を変えて、輪郭データ間の相関値が最も高くなる組み合わせを算出する。このようにして得られた平面上の相対位置、特定の軸回りの回転角が、輪郭データ間の位置合わせデータである。例えば、２次元蛍光像に対して重ね合わせにｘ：＋３．５、ｙ：−１２．５、拡大率１１２％の調整が必要である場合にこれらの数値が位置合わせデータとなる。
（重ね合わせ）
図８は、ＣＴ画像と２次元蛍光像の重ね合わせの処理を示す図である。上記のようにして得られた位置合わせデータを用いて、３次元Ｘ線ＣＴ画像データ２３１と２次元蛍光像データ２４１とを重ね合わせ、断面画像２５１を得ることができる。
［第２実施形態］
上記の実施形態では、３次元Ｘ線ＣＴ画像および２次元生体光像を重ね合わせた画像において任意の断面上でユーザが範囲指定し最大値投影法を適用しているが、予め３次元Ｘ線ＣＴ画像に所定の範囲で最大値投影法を自動で適用し、当初からユーザにある程度の精度で被検体の異常部位を特定できる断面を提示することとしてもよい。
本実施形態の場合、断面画像生成部１４０は、２次元生体光像の受光面に垂直な方向の所定範囲内について３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、３次元Ｘ線ＣＴ画像の断面画像を生成する。これにより、自動で最大値投影法を適用した３次元Ｘ線ＣＴ画像の断面画像を表示できるため、被検体の異常部位を容易かつ正確に特定できる。
（最大値投影法）
図９（ａ）〜（ｃ）は、それぞれ２次元生体光像の冠状面図、最大値投影画像の矢状面図および冠状断面図である。図９（ａ）では、被検体内に蛍光２６２、２６３が表示されている。図９（ｂ）に示す矢状面図は、矢状面から見た被検体２７０の所定の範囲２７２の中で最大値をとる断面２７３を投影することで図９（ｃ）に示す冠状断面図が得られることを示している。被検体２７０に異常部位２７４、２７５がある場合に、範囲２７２で最大値投影法を適用し、断面２７３で表示すると、異常部位２７５が検知されない。そのため、さらに局所的な最大値投影法の適用が有効となる。
（画像処理装置の動作）
図１０は、画像処理装置１００の動作の一例を示すフローチャートである。ステップＴ１〜Ｔ５までは、第１の実施形態におけるステップＳ１〜Ｓ５と同様であり、２つの輪郭画像を用いて位置合わせデータを計算する。次に、３次元Ｘ線ＣＴ画像データに最大値投影法を適用して得られた断面画像データを準備する（ステップＴ６）。そして、位置合わせデータを用いて断面画像データと２次元生体光像データとを重ね合わせる（ステップＴ７）。
［実施例］
次に、実際に重ね合わせの処理を行ったときの画面表示を説明する。図１１は、重ね合わせの処理後の画面を示す図である。図１１において、画像Ｐ１〜Ｐ４は、それぞれ被検体の冠状断面、矢状断面、体軸断面、蛍光像面を示している。図１１の例では、重ね合わせ画像の右上段の矢状断面Ｐ２においてマウス等のポインティング・デバイスで円の範囲Ｒ１が指定されている。また、右中段の体軸断面Ｐ３において円の範囲Ｒ２が指定されている。
図１２は、指定された範囲について３次元Ｘ線ＣＴ画像に対して最大値投影法を適用した処理後の冠状断面の画像を示す図である。上記で指定された範囲Ｒ１、Ｒ２について部分的に最大値投影法を適用したことで冠状断面の画像が表示されている。
図１３は、位置合わせの微調整後の合成画像を示す図である。部分的な範囲に対して最大値投影法を適用したＣＴ断面画像に２次元蛍光像を合成して表示している。病変部位が強調され、分かりやすく表示されている。
５０ 撮影装置
６１ ガントリ
６２ 制御部
６３ 回転アーム
６４ ステージ
６５ Ｘ線管
６６ ２次元検出器
６７ アーム回転モータ
７２ 対物レンズ系
７４ 光源
７４ａ フィルター
７６ カメラ
７８ ダイクロイックミラー
１００ 画像処理装置
１０５ ３次元データ再構成部
１１０ 画像データ蓄積部
１２０ 生体光像データ蓄積部
１３０ 算出部
１４０ 断面画像生成部
１５０ 表示処理部
１６０ 操作部
２０１ 透視画像
２０２ 輪郭画像
２１１ 写真画像
２１２ 輪郭画像
２３１ 画像データ
２４１ 生体光像データ
２５１ 断面画像
２６２、２６３ 蛍光
２７０ 被検体
２７２ 範囲
２７３ 断面
２７４、２７５ 異常部位
Ｒ１、Ｒ２ 範囲
Ｍ 被検体

Claims (5)

  1. 被検体の異常部位の特定に用いられる画像処理装置であって、
    特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された前記特定の被検体の輪郭データ間について位置合わせデータを算出する算出部と、
    前記算出された位置合わせデータを用いて、前記Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示する表示処理部と、
    前記２次元生体光像における受光面に平行な面で、前記３次元Ｘ線ＣＴ画像の断面画像を生成する断面画像生成部と、
    ユーザによる前記断面画像上の範囲指定操作を受け付ける操作受付部と、を備え、
    前記断面画像生成部は、２次元生体光像の受光面に垂直な方向の所定範囲内について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成し、
    前記表示処理部は、前記生成された３次元Ｘ線ＣＴ画像の断面画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示し、
    前記断面画像生成部は、前記重ね合わせた画像の表示後に受け付けた範囲指定操作に基づいて、前記指定された範囲について２次元生体光像の受光面に垂直な方向について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成することを特徴とする画像処理装置。
  2. 前記算出部は、前記Ｘ線透視画像および前記写真画像の各画素サイズの比から、前記輪郭データ間についての位置合わせデータとして拡大率を算出することを特徴とする請求項１記載の画像処理装置。
  3. 前記算出部は、前記拡大率を用いて前記輪郭データ間のサイズを調整した後、前記輪郭データ間の相関値が所定の条件を満たすように、前記輪郭データ間の位置合わせデータとして、平面上の相対位置、特定の軸回りの回転角を算出することを特徴とする請求項２記載の画像処理装置。
  4. コンピュータにより実行され、被検体の異常部位の特定に用いられる画像処理方法であって、
    特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された前記特定の被検体の輪郭データ間について位置合わせデータを算出するステップと、
    前記算出された位置合わせデータを用いて、前記Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示するステップと、
    前記２次元生体光像における受光面に平行な面で、前記３次元Ｘ線ＣＴ画像の断面画像を生成するステップと、
    を含み、
    前記断面画像を生成するステップでは、２次元生体光像の受光面に垂直な方向の所定範囲内について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成し、前記生成された３次元Ｘ線ＣＴ画像の断面画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示し、
    ユーザによる前記断面画像上の範囲指定操作を受け付け、
    前記重ね合わせた画像の表示後に受け付けた範囲指定操作に基づいて、前記指定された範囲について２次元生体光像の受光面に垂直な方向について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成することを特徴とする画像処理方法。
  5. 被検体の異常部位の特定に用いられる画像処理プログラムであって、
    特定の被検体を撮影することにより得られたＸ線透視画像および写真画像の各画像から抽出された前記特定の被検体の輪郭データ間について位置合わせデータを算出する処理と、
    前記算出された位置合わせデータを用いて、前記Ｘ線透視画像に関連付けられた３次元Ｘ線ＣＴ画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示する処理と、
    前記２次元生体光像における受光面に平行な面で、前記３次元Ｘ線ＣＴ画像の断面画像を生成する処理と、を含む一連の処理をコンピュータに実行させ、
    前記断面画像を生成する処理では、２次元生体光像の受光面に垂直な方向の所定範囲内について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成し、前記生成された３次元Ｘ線ＣＴ画像の断面画像および前記写真画像に関連付けられた２次元生体光像を重ね合わせて表示し、
    ユーザによる前記断面画像上の範囲指定操作を受け付け、
    前記重ね合わせた画像の表示後に受け付けた範囲指定操作に基づいて、前記指定された範囲について２次元生体光像の受光面に垂直な方向について前記３次元Ｘ線ＣＴ画像に対して最大値投影法を適用し、前記３次元Ｘ線ＣＴ画像の断面画像を生成することを特徴とする画像処理プログラム。
JP2014169775A 2014-08-22 2014-08-22 画像処理装置、画像処理方法および画像処理プログラム Active JP6346032B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014169775A JP6346032B2 (ja) 2014-08-22 2014-08-22 画像処理装置、画像処理方法および画像処理プログラム
US14/822,604 US9928597B2 (en) 2014-08-22 2015-08-10 Image processing apparatus, image processing method and image processing program
DE102015215810.1A DE102015215810A1 (de) 2014-08-22 2015-08-19 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014169775A JP6346032B2 (ja) 2014-08-22 2014-08-22 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016043066A JP2016043066A (ja) 2016-04-04
JP6346032B2 true JP6346032B2 (ja) 2018-06-20

Family

ID=55274123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014169775A Active JP6346032B2 (ja) 2014-08-22 2014-08-22 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US9928597B2 (ja)
JP (1) JP6346032B2 (ja)
DE (1) DE102015215810A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7312299B2 (ja) 2017-10-02 2023-07-20 日東電工株式会社 粘着テープ

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2588257B1 (es) 2015-03-31 2017-08-04 Consejo Superior De Investigaciones Científicas (Csic) Dispositivo para extraer información tridimensional de imágenes radiográficas de un objeto; procedimiento de calibración de dicho dispositivo; y procedimiento para generar dichas imágenes radiográficas
WO2020200901A1 (en) 2019-04-02 2020-10-08 Koninklijke Philips N.V. Automated system for rapid detection and indexing of critical regions in non-contrast head ct
JP7214557B2 (ja) * 2019-04-26 2023-01-30 富士フイルム株式会社 放射線撮影装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3720221B2 (ja) * 1999-08-10 2005-11-24 株式会社モリタ製作所 再構成画像による歯科実習方法、歯科実習システム、この方法を実現するプログラムを記録した記録媒体、及び、再構成画像による歯科表示システム、このシステムを実現するプログラムを記録した記録媒体
JP3454235B2 (ja) * 1999-10-06 2003-10-06 株式会社日立製作所 生体磁場計測装置
US20020035458A1 (en) * 2000-09-20 2002-03-21 Chang-Hun Kim Method and system for virtual surgery
US6895077B2 (en) * 2001-11-21 2005-05-17 University Of Massachusetts Medical Center System and method for x-ray fluoroscopic imaging
CN1639737A (zh) * 2002-03-06 2005-07-13 西门子共同研究公司 容积－容积融合的可视化
DE10210646A1 (de) * 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
US7198404B2 (en) * 2003-04-03 2007-04-03 Siemens Medical Solutions Usa, Inc. Real-time acquisition of co-registered X-ray and optical images
US7203277B2 (en) * 2003-04-25 2007-04-10 Brainlab Ag Visualization device and method for combined patient and object image data
US20050286683A1 (en) * 2004-06-24 2005-12-29 Cantu Gary R System for rapidly identifying body parts by matching optical and radiographic images
US7912262B2 (en) 2005-03-10 2011-03-22 Koninklijke Philips Electronics N.V. Image processing system and method for registration of two-dimensional with three-dimensional volume data during interventional procedures
DE102005023194A1 (de) 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches von 2D-Bildaufnahmen eines Objektbereiches
JP2007007255A (ja) * 2005-07-01 2007-01-18 Hitachi Medical Corp Ｘ線ｃｔ装置
JP4786307B2 (ja) * 2005-11-17 2011-10-05 株式会社東芝 画像処理装置
JP4604998B2 (ja) 2005-12-13 2011-01-05 株式会社島津製作所 Ｘ線・エミッション複合ｃｔ装置、および、ｘ線ｃｔ装置
FR2919747B1 (fr) 2007-08-02 2009-11-06 Gen Electric Procede et systeme d'affichage d'images de tomosynthese
JP2010032338A (ja) 2008-07-28 2010-02-12 Olympus Corp 生物試料内部に於ける発光物質濃度の検出方法
JP2010236913A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 計測装置
JP4676021B2 (ja) * 2009-04-16 2011-04-27 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
RU2562367C2 (ru) * 2009-09-29 2015-09-10 Конинклейке Филипс Электроникс Н.В. Генерация составных медицинских изображений
JP5702572B2 (ja) * 2009-10-29 2015-04-15 株式会社東芝 Ｘ線撮影装置
JP6058272B2 (ja) * 2011-04-06 2017-01-11 東芝メディカルシステムズ株式会社 核医学診断装置及び制御方法
US9314218B2 (en) * 2011-06-20 2016-04-19 Caliper Life Sciences, Inc. Integrated microtomography and optical imaging systems
JP5940356B2 (ja) 2012-04-23 2016-06-29 株式会社リガク ３次元ｘ線ｃｔ装置、３次元ｃｔ画像再構成方法、及びプログラム
EP2872035B1 (en) * 2012-07-10 2020-09-30 Aïmago S.A. Perfusion assessment multi-modality optical medical device
JP5781667B1 (ja) * 2014-05-28 2015-09-24 株式会社モリタ製作所 根管治療用装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7312299B2 (ja) 2017-10-02 2023-07-20 日東電工株式会社 粘着テープ

Also Published As

Publication number Publication date
US20160055639A1 (en) 2016-02-25
JP2016043066A (ja) 2016-04-04
US9928597B2 (en) 2018-03-27
DE102015215810A1 (de) 2016-02-25

Similar Documents

Publication Publication Date Title
US10098542B2 (en) Fundus observation apparatus
EP2250965B1 (en) Image acquisition method, device and radiography system
JP5572040B2 (ja) 放射線撮影装置
JP2012016394A (ja) 放射線断層撮影装置
CN104997528A (zh) X射线计算机断层拍摄装置以及拍摄条件设定辅助装置
JP6346032B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2010050032A1 (ja) 放射線撮影装置
US11025812B2 (en) Imaging apparatus, imaging method, and imaging system
JP7053679B6 (ja) Ｘ線撮影装置
JP2012232034A5 (ja) 眼科観察システム及び画像処理方法
JP5084291B2 (ja) 画像処理装置および方法
JP7030455B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6853376B2 (ja) 複数のｘ線画像から２ｄ画像を再構築する方法
US11391937B2 (en) Method and device for determining a property of an object
JP4823780B2 (ja) パノラマ断層像生成装置及びパノラマ断層像生成プログラム
US10672145B2 (en) Device for extracting three-dimensional information from X-ray images of an object, method for calibrating said device, and method for generating said X-ray images
JP4604998B2 (ja) Ｘ線・エミッション複合ｃｔ装置、および、ｘ線ｃｔ装置
KR20170078180A (ko) 단층 촬영을 위한 관심 영역 설정 방법 및 시스템
KR101133503B1 (ko) 광학 및 ｘ선 융합 ｃｔ 장치와 그 데이터의 재구성 방법
WO2017134907A1 (ja) 撮像システム、撮像装置、撮像方法
JP7121534B2 (ja) 撮影制御装置、放射線撮影システム、撮影制御方法及びプログラム
JP5631361B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6229275B2 (ja) 骨梁解析装置
JP2010233762A (ja) Ｘ線断層撮影装置
JP2014068985A (ja) 放射線撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180524

R150 Certificate of patent or registration of utility model

Ref document number: 6346032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316805

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316805

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250