JP5721225B2 - 形状データ生成方法、プログラム及び装置 - Google Patents

形状データ生成方法、プログラム及び装置 Download PDF

Info

Publication number
JP5721225B2
JP5721225B2 JP2011147078A JP2011147078A JP5721225B2 JP 5721225 B2 JP5721225 B2 JP 5721225B2 JP 2011147078 A JP2011147078 A JP 2011147078A JP 2011147078 A JP2011147078 A JP 2011147078A JP 5721225 B2 JP5721225 B2 JP 5721225B2
Authority
JP
Japan
Prior art keywords
shape
vertex
target
storage unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011147078A
Other languages
English (en)
Other versions
JP2013015945A (ja
Inventor
耕平 畠中
耕平 畠中
久田 俊明
俊明 久田
清了 杉浦
清了 杉浦
巧 鷲尾
巧 鷲尾
岡田 純一
純一 岡田
良昌 門岡
良昌 門岡
尚 岩村
尚 岩村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
University of Tokyo NUC
Original Assignee
Fujitsu Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, University of Tokyo NUC filed Critical Fujitsu Ltd
Priority to JP2011147078A priority Critical patent/JP5721225B2/ja
Priority to US13/483,495 priority patent/US9208617B2/en
Priority to EP12170176.7A priority patent/EP2541501B1/en
Publication of JP2013015945A publication Critical patent/JP2013015945A/ja
Application granted granted Critical
Publication of JP5721225B2 publication Critical patent/JP5721225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本技術は、形状データ生成方法、プログラム及び装置に関する。
医療分野においては、手術シミュレータや臓器シミュレータ等のシミュレータが、治療方針の決定、診断、術後予測、医薬品や医療機器の開発等に利用されている。このようなシミュレータによるシミュレーションにおいては、臓器の3次元形状データを使用するが、臓器の3次元形状データを生成するのは容易ではないことが多い。臓器は生体内部に存在しているため目視や直接計測を行うことができない上に、臓器の形状は元来複雑であるためである。
臓器の3次元形状データを生成する方法として、例えば以下の2つの方法が知られている。まず、(1)医師等が、CT(Computed Tomography)画像やMRI(Magnetic Resonance Imaging)画像等の断層画像を観察し、臓器の各部分の境界を定めて境界線を引いていく方法である。そして、(2)標準的な臓器の3次元形状データを予め用意しておき、その形状を変形させることによって患者個々の臓器の形状を得る方法である。
しかし、前者の方法については、造影剤のムラや手術跡などによって断層画像が不鮮明な場合には境界を定めるのが難しいという問題がある。また、知識と経験を有する医師等が数百枚にわたる断層画像に境界線を引かなければならず、作業負担が大きい。
また、後者の方法については、標準的な形状における点と目標となる形状における点との対応付けを行うことにより変形を行うが、対応付けを行う点を適切に設定しなければ変形がうまく行われないという問題がある。
なお、後者の方法については、以下のような従来技術が存在する。具体的には、予測形状モデルを三角パッチとその頂点で表し、三角パッチの各々について、三角パッチの重心位置から法線方向へ観測データを探索する。探索により観測データが検出されると、パッチの重心位置が観測データの方向へ移動するように力を加えて予測形状モデルを変形する。しかし、この技術では、法線が交差してしまうと不自然な形状が生じてしまうという問題があった。
特開2002−329216号公報 特開2010−61431号公報
Fred L. Bookstein "Principal Warps: Thin-Plate Splines and the Decomposition of Deformation",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. VOL. 11 NO. 6, PP. 567-585, JUNE 1989
従って、本技術の目的は、一側面において、高精度の3次元形状データを生成するための技術を提供することである。
本形状データ生成方法は、(A)変形対象の形状である対象形状の複数の頂点のデータを格納する形状データ生成装置の形状データ格納部から、対象形状の複数の頂点のうち、着目した頂点についての法線が、形状データ生成装置の画像データ格納部に格納される画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定する工程と、(B)特定された第1の頂点を、特定した第1の頂点についての法線の方向へ所定距離移動させるように対象形状を変形し、変形後の形状の頂点のデータを形状データ格納部に格納する工程と、(C)第1の頂点の特定及び対象形状の頂点の変形を所定回数実行することにより処理された処理後の形状の頂点のデータを、形状データ生成装置の出力データ格納部に格納する工程とを形状データ生成装置に実行させる。
高精度の3次元形状データを生成することができるようになる。
図1は、本実施の形態に係る形状データ生成装置の機能ブロック図である。 図2は、メインの処理フローを示す図である。 図3は、1次変形処理の処理フローを示す図である。 図4は、TPSWarpについて説明するための図である。 図5は、1次変形処理を左心室に適用した例を示す図である。 図6は、1次変形処理を右心室に適用した例を示す図である。 図7は、目標形状にターゲットランドマークを配置した場合における問題を説明するための図である。 図8は、2次変形処理の概要を説明するための図である。 図9は、2次変形処理の処理フローを示す図である。 図10は、ランドマーク設定処理の処理フローを示す図である。 図11は、境界点探索処理の処理フローを示す図である。 図12は、頂点vの位置と輝度値との関係について説明するための図である。 図13は、頂点vの位置と輝度値との関係について説明するための図である。 図14は、探索点が変形前形状を貫通するケースの一例を示す図である。 図15は、探索点が変形前形状を貫通するケースの一例を示す図である。 図16は、境界点の探索方法を説明するための図である。 図17は、2次変形後形状及び目標形状を示す図である。 図18は、コンピュータの機能ブロック図である。
本実施の形態に係る形状データ生成装置1の機能ブロック図を図1に示す。図1の例では、形状データ生成装置1は、標準形状データ格納部101と、1次変形処理部102と、画像データ格納部103と、1次変形データ格納部104と、第1ランドマークデータ格納部105と、ランドマーク処理部106と、2次変形処理部107と、第2ランドマークデータ格納部110と、2次変形データ格納部111と、表示部112とを含む。また、ランドマーク処理部106は、設定部108と、境界点探索部109とを含む。
1次変形処理部102は、標準形状データ格納部101及び画像データ格納部103に格納されているデータを用いて、後述する1次変形処理を行い、処理結果を1次変形データ格納部104及び第1ランドマークデータ格納部105に格納する。また、1次変形処理部102は、表示部112にランドマークを指定させるための画面の表示を指示する。設定部108は、画像データ格納部103、1次変形データ格納部104及び第1ランドマークデータ格納部105に格納されているデータを用いて、後述するランドマーク設定処理を行い、処理結果を第2ランドマークデータ格納部110に格納する。境界点探索部109は、画像データ格納部103、1次変形データ格納部104及び第1ランドマークデータ格納部105に格納されているデータを用いて、後述する境界点探索処理を行う。2次変形処理部107は、画像データ格納部103、1次変形データ格納部104及び第2ランドマークデータ格納部110に格納されているデータを用いて処理を行い、処理結果を1次変形データ格納部104又は2次変形データ格納部111に格納する。また、2次変形処理部107は、2次変形データ格納部111に格納されているデータの表示を表示部112に指示する。表示部112は、1次変形処理部102及び2次変形処理部107からの指示に応じて表示装置等にデータを表示する。
標準形状データ格納部101には、心臓の標準的な形状(以下、標準形状と呼ぶ)のデータが格納されている。具体的には、形状の頂点の情報及び頂点の接続情報を含むSTL(Standard Triangulated Language)データが格納されている。但し、データのフォーマットはSTLデータのフォーマットに限られるわけではない。
画像データ格納部103には、セグメント画像データが格納されている。セグメント画像データは、特定の患者の心臓のCT画像等に対して、部位毎に境界の内部を異なる輝度値で塗りつぶす処理を施すことにより得られる。セグメント画像データを積層することにより、変形の目標となる形状である目標形状の三次元のデータが得られる。
次に、図2乃至図17を用いて、図1に示した形状データ生成装置1の動作について説明する。本実施の形態においては、標準形状が目標形状に近付くように変形処理を行うものとする。
まず、1次変形処理部102は、1次変形処理を実施する(図2:ステップS1)。1次変形処理については、図3乃至図6を用いて説明する。なお、1次変形処理においては、標準形状と目標形状との大まかな位置合わせが行われる。
まず、1次変形処理部102は、標準形状データ格納部101から標準形状のデータを読み出すと共に、画像データ格納部103からセグメント画像データを読み出す。そして、1次変形処理部102は、標準形状のデータ及びセグメント画像データを含むランドマーク設定画面の表示を表示部112に指示する。表示部112は、1次変形処理部102からの指示に応じ、ランドマーク設定画面を表示装置に表示する(図3:ステップS11)。
ユーザは、表示装置に表示されたランドマーク設定画面を見て、標準形状と目標形状との大まかな位置合わせを行う。具体的には、(1)標準形状における所定の部分にソースランドマークを設定する。(2)目標形状における、ソースランドマークを配置した位置に対応する部分にターゲットランドマークを設定する。なお、所定の部分とは、心臓における特徴的な部分であり、例えば4つの弁輪部、心尖部、右心室流体面の底部、心筋境界(例えば右心室と左心室との境界)、4本の肺静脈の端面、上大静脈及び下大静脈である。
そして、1次変形処理部102は、ソースランドマーク及びターゲットランドマークの設定を受け付け、ソースランドマーク及びターゲットランドマークのデータ(例えば三次元座標)を第1ランドマークデータ格納部105に格納する(ステップS13)。
そして、1次変形処理部102は、第1ランドマークデータ格納部105に格納されているランドマークのデータに従い、後述するTPSWarp(Thin Plate Spline Warp)等の手法により標準形状を変形する処理を実施する(ステップS15)。そして、1次変形処理部102は、処理結果である一次変形後形状のデータを1次変形データ格納部104に格納する。そして元の処理に戻る。
なお、一次変形データ格納部104に格納されているデータのフォーマットは、標準形状データ格納部101に格納されているデータのフォーマットと同様である。また、一次変形処理に用いたソースランドマークは、2次変形処理においては固定点として取り扱う。すなわち、一次変形処理に用いたソースランドマークは、2次変形処理においては移動させず、位置をずらさないようにする。
ここで、TPSWarpについて説明する。図4に示すように、TPSWarpにおいては、ソースランドマーク及び当該ソースランドマークに対応するターゲットランドマークが与えられると、ソースランドマークがターゲットランドマークに重なるように変形を行う。なお、TPSWarpの詳細については、例えば非特許文献1に記載されている事項を参照のこと。
図5に、上で述べた1次変形処理を左心室に適用した例を示す。図5には、セグメント画像と、セグメント画像から特定される目標形状と、標準形状と、1次変形処理により生成される1次変形後形状とが示されている。標準形状に付されている点はソースランドマークであり、目標形状に付されている点はターゲットランドマークである。このようにランドマークが設定された標準形状と目標形状とを用いて、TPSWarpによる変形処理を行うことにより、1次変形後形状のデータを得ることができる。
また、図6に、上で述べた1次変形処理を右心室に適用した例を示す。図6には、セグメント画像と、セグメント画像から特定される目標形状と、標準形状と、1次変形処理により生成される1次変形後形状とが示されている。標準形状に付されている点はソースランドマークであり、目標形状に付されている点はターゲットランドマークである。なお、図6の例では、一次変形後形状は網線60で示されており、目標形状との比較を行いやすいようにしている。
以上のように、ユーザから受け付けたランドマークの設定に従い大まかな位置合わせを予め行うことにより、後に行う詳細な変形をより効果的に行うことができるようになる。
図2の説明に戻り、2次変形処理部107は、2次変形処理を実施する(ステップS3)。2次変形処理については、図7乃至図16を用いて説明する。
まず、2次変形処理の概要について説明する。TPSWarpによる変形処理を行う場合、一般的に臓器が丸みを帯びた形状であることを考慮すれば、ソースランドマークの法線上にターゲットランドマークを設定することが有効であると考えられる。例えば図7に示すように、ソースランドマークを変形前の形状に配置し、ソースランドマークの法線と目標形状との交点にターゲットランドマークを配置し、TPSWarpによる変形処理を行うことが考えられる。しかしながら、図7に示すように、法線が交差するような状況が発生すると、変形後の形状には、目標形状とは異なる不自然な形状が生じてしまうことがある。
そこで、本実施の形態における2次変形処理においては、図8に示すように、変形前の形状に配置されたソースランドマークと上記の交点とを結ぶ線分を内分する点に、ターゲットランドマークを配置し、TPSWarpによる変形処理を行う。さらに、このような変形処理を繰り返し行うことにより、徐々に目標形状に近付けていく。これにより、変形後の形状に不自然な形状が生じにくくなり、また法線の方向が本来目標とすべき部分に向きやすくなる。
図9乃至図16を用いて、2次変形処理の詳細を説明する。まず、2次変形処理部107は、変形回数をカウントするための変数tの初期値をt=0と設定する(図9:ステップS21)。次に、2次変形処理部107は、変数tをt=t+1と増分することにより変形回数をカウントするとともに、また変数mの初期値をm=0と設定する(ステップS23)。mは、処理した頂点数をカウントするための変数である。
そして、2次変形処理部107は、変数mをm=m+1と増分し(ステップS25)、ランドマーク処理部106にランドマーク設定処理の実施を指示する。すると、ランドマーク処理部106は、ランドマーク設定処理を実施する(ステップS27)。ランドマーク設定処理については、図10乃至図16を用いて説明する。
まず、ランドマーク処理部106における設定部108は、1次変形データ格納部104に格納されているータから、頂点vをランダムに1つ特定する(図10:ステップS41)。そして、設定部108は、第1ランドマークデータ格納部105に格納されているソースランドマーク(すなわち固定点)のデータ及び第2ランドマークデータ格納部110に格納されているソースランドマークのデータを用いて、頂点vと各ソースランドマークとのユークリッド距離をそれぞれ算出する。そして、設定部108は、算出された頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値D以下であるか判断する(ステップS43)。ステップS43は、頂点vを2次変形処理前の形状に均等に配置するために行われる処理である。ステップS43においては、以下の式を満たすか否かを判断する。
ここで、d(v、vi)は、点vと点viとの間のユークリッド距離を表す。viは、固定点(すなわち第1ランドマークデータ格納部105においてソースランドマークとしてデータが格納されている頂点)又はソースランドマーク(第2ランドマークデータ格納部110にデータが格納されている頂点)である。
頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値D以下であると判断された場合(ステップS43:Yesルート)、元の処理に戻る。一方、頂点vと各ソースランドマークとのユークリッド距離のうち最小のものが閾値Dより大きいと判断された場合(ステップS43:Noルート)、設定部108は、境界点探索部109に境界点探索処理の実施を指示する。すると、境界点探索部109は、境界点探索処理を実施する(ステップS45)。境界点探索処理については、図11乃至図16を用いて説明する。
まず、境界点探索部109は、単位法線ベクトルn(v)を算出する(図11:ステップS61)。ここで、n(v)は、頂点v(∈H)での面Hに対する単位法線ベクトルである。単位法線ベクトルとは、長さが1の法線ベクトルをいう。なお、H(⊂V)は一次変形データ格納部10に格納されているデータにより特定される形状面であり、V(⊂R3)はセグメント画像データにより特定されるボクセル空間である。また、R3は、実数空間を表す。ここでは簡単化のため、セグメント画像データは、0又は1の2値を取るものとするが、0又は1以外の値を取るものであっても良いし、2値以上の多値を取るものであっても良い。また、ボクセルとは3次元画像データにおいて、2次元画像データの矩形画像の要素であるピクセル(pixel)に対応する格子画像の要素である。
また、境界点探索部109は、頂点vが目標形状の内側に存在するか判断する(ステップS63)。ステップS63においては、以下の式を満たすか否かを判断する。
ここで、ボクセル空間Vから実数空間Rへの写像f:V→Rは以下のように定義される。この写像fにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間Rに対応付けられる。
ここで、Iは点p(∈V)を含むボクセルの輝度値である。
図12及び図13を用いて、ステップS63の処理について説明する。図12に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0より大きい場合には、頂点vが目標形状の内側に存在する。そこで、後述するステップS75の処理において係数kを1ずつインクリメントするように設定することで、目標形状の内から外へ向かう方向に境界点を探索する。一方、図13に示すように、頂点vに対応するボクセル空間の輝度値f(v)が0になる場合には、頂点vが目標形状の外側に存在する。そこで、後述するステップS89の処理において係数kを1ずつデクリメントするように設定することで、目標形状の外から内へ向かう方向に境界点を探索する。
そして、頂点vが目標形状の内側に存在すると判断された場合(ステップS63:Yesルート)、境界点探索部109は、係数kをk=0と設定する(ステップS65)。また、境界点探索部109は、境界点であるかどうかを判定する点(以下、探索点と呼ぶ)を以下のように設定する(ステップS67)。
そして、境界点探索部109は、断層画像データにより特定されるボクセル空間内に探索点が存在するか判断する(ステップS69)。ステップS69においては、以下の式を満たすか判断する。
断層画像データにより特定されるボクセル空間内に探索点が存在しないと判断された場合(ステップS69:Noルート)、元の処理に戻る。探索点がボクセル空間外に達したため、頂点vについての法線と目標形状とが交点を有さないと判断できるためである。
一方、断層画像データにより特定されるボクセル空間内に探索点が存在すると判断された場合(ステップS69:Yesルート)、境界点探索部109は、探索点が変形前形状を貫通したか判断する(ステップS71)。ステップS71においては、以下の式を満たすか判断する。
ここで、写像g:V→R3は以下のように定義される。この写像gにより、ボクセル空間Vに含まれるセグメント画像データの要素が実数空間R3に対応付けられる。
ここで、写像gの制限g|はn(v)になることに注意。
図14及び図15を用いて、ステップS71の処理について説明する。探索点が境界点に達する前に変形前形状を貫通するような場合には、境界点の探索を適切に行えていない可能性がある。探索点が境界点に達する前に変形前形状を貫通するような場合とは、例えば、図14に示したような場合と、図15に示したような場合とが考えられる。すなわち、変形前形状に対する目標形状の変形の度合いにより探索方向に境界点が存在しない場合が考えられる。いずれのケースにおいても、境界点を検出できないか、又は適切でない位置に境界点を検出してしまう可能性がある。そこで、ステップS71においては、頂点vについての法線ベクトルと探索点についての法線ベクトルとの内積を算出し、内積が0より小さい(すなわち、法線ベクトルのなす角が90度より大きい)場合に、探索点が変形前形状を貫通したと判断している。
図11の説明に戻り、探索点が変形前形状を貫通したと判断された場合(ステップS71:Yesルート)、適切な境界点を検出できないので、元の処理に戻る。一方、探索点が変形前形状を貫通していないと判断された場合(ステップS71:Noルート)、境界点探索部109は、探索点に対応するボクセル空間の輝度値と頂点vに対応するボクセル空間の輝度値とを比較し、輝度値が有意に変化したかを判断する(ステップS73)。ステップS73においては、以下の式を満たすか判断する。
そして、輝度値が有意には変化していないと判断された場合(ステップS73:Noルート)、境界点探索部109は、係数kをk=k+1とインクリメントし(ステップS75)、ステップS67の処理に戻る。
このようにすると、図16に示すように、頂点vから法線方向へ1ボクセル分ずつ探索点を移動させつつ、境界点が存在するかを判定することができる。
一方、輝度値が有意に変化したと判断された場合(ステップS73:Yesルート)、境界点探索部109は、探索点を境界点に設定する(ステップS77)。ステップS77においては、探索点のデータ(例えばkの値)をメインメモリ等の記憶装置に格納しておく。そして元の処理に戻る。
これに対し、ステップS63において、頂点vが目標形状の外側に存在すると判断された場合(ステップS63:Noルート)に行われる処理について説明する。この場合の処理は、上で述べた処理とは探索方向が異なるだけであるから、基本的な処理の内容は上で述べたとおりである。すなわち、ステップS79の処理はステップS65の処理と同様であり、ステップS81の処理はステップS67の処理と同様であり、ステップS83の処理はステップS69の処理と同様であり、ステップS85の処理はステップS71の処理と同様であり、ステップS87の処理はステップS73の処理と同様である。従って、ステップS79乃至S87の処理の詳細な説明は省略する。
そして、ステップS89において、境界点探索部109は、係数kをk=k−1とデクリメントし(ステップS89)、ステップS81の処理に戻る。これにより、探索点が、目標形状の外側から内側へ向かう法線方向に1ボクセル分移動される。また、ステップS91の処理は、ステップS77の処理と同様である。
以上のような処理を実施することにより、頂点vについての法線と目標形状との交点(すなわち境界点)を検出することができるようになる。
図10の説明に戻り、設定部108は、境界点探索部109により境界点が検出されたか判断する(ステップS47)。境界点が検出されていないと判断された場合(ステップS47:Noルート)、次の頂点について処理するため、元の処理に戻る。
一方、境界点が検出されたと判断された場合(ステップS47:Yesルート)、設定部108は、頂点vと境界点v+kn(v)とを結ぶ線分の内分点をターゲットランドマークに設定する(ステップS49)。具体的には、ターゲットランドマークは以下のような点に設定される。
そして、設定部108は、頂点vをソースランドマークに設定する(ステップS51)。なお、設定部108は、設定されたソースランドマーク及びターゲットランドマークのデータを第2ランドマークデータ格納部110に格納する。そして元の処理に戻る。
以上のような処理を実施することにより、変形前の形状における頂点と目標形状における境界点とを結ぶ線分の内分点を、ターゲットランドマークに設定することができるようになる。
図9の説明に戻り、2次変形処理部107は、変数mについてm<Nであるか判断する(ステップS29)。ここで、Nは一次変形後形状(又は一次変形後形状を変形した形状)における頂点の総数である。m<Nであると判断された場合(ステップS29:Yesルート)、次の頂点について処理するため、ステップS25の処理に戻る。
一方、変数mについてm<Nではないと判断された場合(ステップ29:Noルート)、2次変形処理部107は、第2ランドマークデータ格納部110に格納されているソースランドマーク及びターゲットランドマークのデータに従い、TPSWarpによる変形処理を実施し、変形後の形状のデータを1次変形データ格納部104に格納する(ステップS31)。上で述べたように、ステップS31における変形処理では、1次変形処理においてソースランドマークであった点は固定点として取り扱うため、移動させない。
そして、2次変形処理部107は、変数tについてt<Tであるか判断する(ステップS33)。t<Tであると判断された場合(ステップS33:Yesルート)、さらに変形処理を行うため、ステップS23の処理に戻る。なお、Tは総変形回数であり、予め管理者等により設定される(例えばT=500)。
一方、変数tについてt<Tであると判断されなかった場合(ステップS33:Noルート)、T回の変形が終了したため、2次変形処理後の形状のデータを2次変形データ格納部111に格納し、元の処理に戻る。
以上のような処理を実施することにより、1次変形後の形状が目標形状に近付き、精度の高い3次元形状データを得ることができるようになる。また、このような変形方法であれば、処理時間が比較的短くて済むようになる。
図2の説明に戻り、2次変形処理が実施されると、表示部112は、2次変形データ格納部111に格納されているデータを表示装置等に表示する(ステップS5)。そして処理を終了する。
図17に、表示装置等に表示されるデータの一例を示す。図17の例では、目標形状と、網線で示された2次変形後形状とが表示されている。左側の図は、変形部分の全体を示す図であり、右側の図は、変形部分の一部を拡大した図である。
以上のような処理を実施することにより、心臓の標準的な形状を、セグメント画像データにより特定される目標形状に近くなるように変形し、高精度な3次元形状データを得ることができるようになる。
以上本技術の一実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、上で説明した形状データ生成装置1の機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。
また、上で説明した処理フローは、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
なお、上で述べた例では、ランドマーク設定画面においてセグメント画像データを表示してターゲットランドマークの設定を行わせるようにしている。しかし、例えばCT画像等の断層画像を表示してターゲットランドマークの設定を行わせるようにしてもよい。
また、上で述べたような処理は心臓だけに適用可能なわけではなく、他の物体に適用することも可能である。
なお、上で述べた形状データ生成装置1は、コンピュータ装置であって、図18に示すように、メモリ2501とCPU2503とハードディスク・ドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
なお、図1に示した各処理部は、CPU2503及びプログラムの組み合わせ、すなわち、CPU2503がプログラムを実行することにより実現してもよい。より具体的には、CPU2503は、HDD2505又はメモリ2501に記憶されたプログラムに従った動作を行うことで、上で述べたような処理部として機能してもよい。また、図1に示した各データ格納部は、図18におけるメモリ2501やHDD2505等として実現してもよい。
以上述べた本実施の形態をまとめると以下のようになる。
本実施の形態に係る形状データ生成方法は、(A)変形すべき第1の形状の頂点のデータを格納する形状データ格納部から、第1の形状の頂点のうち、着目した頂点についての法線が、画像データ格納部に格納されている断層画像データにより特定される第2の形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定する特定ステップと、(B)第1の頂点を当該第1の頂点についての法線の方向へ所定距離移動させるように、第1の形状を変形し、変形後の第1の形状の頂点のデータを形状データ格納部に格納する変形ステップと、(C)特定ステップ及び変形ステップを所定回数実行することにより変形された第1の形状の頂点のデータを、出力データ格納部に格納するステップとを含む。
このような処理により第1の形状を徐々に変形して第2の形状に近付ければ、変形後の形状に不自然な部分が生じにくく、高精度の形状データを生成することができるようになる。また、このような処理であれば、比較的短時間で形状データを生成することができるようになる。
また、上で述べた所定の条件が、着目した頂点がずれの第1の頂点とも所定距離以上離れているという条件を含むようにしてもよい。このようにすれば、変形を行う部分が偏ることがないので、変形後の形状が滑らかになり、より高精度の形状データを生成することができるようになる。
また、上で述べた本方法が、(D)第1及び第2の形状に係る物体の標準的な形状の頂点のデータを格納する標準形状データ格納部に格納されているデータと、第2の形状のデータとを表示し、標準的な形状において開始点の指定と、第2の形状において開始点に対応する目標点の指定とを受け付けるステップと、(E)開始点が目標点に重なるように標準的な形状を変形し、変形後の標準的な形状の頂点のデータを形状データ格納部に格納するステップとをさらに含むようにしてもよい。このようにすれば、第1の形状を第2の形状に予め近付けておくことができるので、後の変形をより効果的に行うことができるようになる。
また、上で述べた所定の条件が、着目した頂点が開始点に含まれないという条件を含み、変形ステップにおいて、開始点を移動させないように変形を行うようにしてもよい。開始点の位置を固定させて目標点からずれないようにすることで、第2の形状により近い形状にすることができるようになる。
また、上で述べた特定ステップが、(a1)着目した頂点当該着目した頂点についての法線の方向に所定距離移動させ、移動先の点が、断層画像データにより特定されるボクセル空間に含まれるか判断する判断ステップと、(a2)移動先の点がボクセル空間に含まれると判断された場合、着目した頂点についての法線ベクトルと移動先の点についての法線ベクトルとの内積に基づき、移動先の点が第1の形状を貫通したか判断するステップと、(a3)移動先の点が第1の形状を貫通していないと判断された場合、移動先の点における輝度値と着目した頂点における輝度値とを比較し、輝度値が有意に変化したか判断するステップと、(a4)輝度値が有意に変化したと判断された場合、着目した頂点についての法線が第2の形状と交点を有するという条件を満たすと判定するステップと、(a5)移動先の点がボクセル空間に含まれないと判断された場合又は移動先の点が第1の形状を貫通したと判断された場合、着目した頂点についての法線が第2の形状と交点を有するという条件を満たさないと判定するステップと、(a6)輝度値が有意に変化していないと判断された場合、判断ステップ以降のステップを移動先の点について再度実行するステップとを含むようにしてもよい。このようにすれば、着目した頂点についての法線が第2の形状と交点を有するか否かを適切に判定することができるようになる。
また、第1及び第2の形状に係る物体が心臓であり、開始点及び目標点が指定される部分が、弁輪部、心尖部、右心室流体面の底部、心筋境界、肺静脈、上大静脈及び下大静脈の少なくともいずれかであってもよい。心臓における特徴的な部分の位置を予め合わせておけば、第2の形状により近い形状にすることができるようになる。
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
形状データ生成装置による形状データ生成方法であって
変形対象の形状である対象形状の複数の頂点のデータを格納する前記形状データ生成装置の形状データ格納部から、前記対象形状の複数の頂点のうち、着目した頂点についての法線が、前記形状データ生成装置の画像データ格納部に格納される画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定するステップと、
定された前記第1の頂点を、当該第1の頂点についての法線の方向へ第1の距離移動させるように前記対象形状を変形し、変形後の対象形状の複数の頂点のデータを前記形状データ格納部に格納するステップと、
前記第1の頂点の特定及び前記対象形状変形を所定回数実行した後の形状の頂点のデータを、前記形状データ生成装置の出力データ格納部に格納するステップと、
含み、前記形状データ生成装置により実行される形状データ生成方法。
(付記2)
前記形状データ生成方法は、
前記所定の条件はさらに、前記着目した頂点が前記第1の頂点のいずれとも第2の距離以上離れているという条件を含む
ことを特徴とする請求項1記載の形状データ生成方法。
(付記3)
前記形状データ生成方法はさらに、
前記形状データ生成装置の標準形状データ格納部に格納される頂点のデータにより特定される標準的な形状である標準形状において開始点の指定と、前記目標形状において前記開始点に対応する目標点の指定とを受け付けるステップと、
前記開始点が前記目標点に重なるように前記標準形状を変形することで前記対象形状を生成し、当該対象形状の複数の頂点のデータを前記形状データ格納部に格納するステップと、
を含むことを特徴とする請求項1又は2記載の形状データ生成方法。
(付記4)
前記形状データ生成方法において、
前記所定の条件が、前記着目した頂点が前記開始点に含まれないという条件を含み、
前記対象形状の頂点を変形するステップにおいて、前記開始点を移動させないように変形を行う
ことを特徴とする請求項3記載の形状データ生成方法。
(付記5)
前記形状データ生成方法において、
前記所定の条件を満たす第1の頂点を特定するステップが、
前記着目した頂点を当該着目した頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データにより特定されるボクセル空間に含まれるかを判断する判断ステップと、
前記移動先の点が前記ボクセル空間に含まれると判断された場合、前記着目した頂点についての法線ベクトルと前記移動先の点についての法線ベクトルとの内積に基づき、前記移動先の点が前記対象形状を貫通したか判断するステップと、
前記移動先の点が前記対象形状を貫通していないと判断された場合、前記移動先の点における輝度値と前記着目した頂点における輝度値とを比較し、輝度値が変化したか判断するステップと、
記輝度値が変化したと判断された場合、前記着目した頂点についての法線が前記目標形状と交点を有するという条件を満たすと判定するステップと、
前記移動先の点が前記ボクセル空間に含まれないと判断された場合又は前記移動先の点が前記対象形状を貫通したと判断した場合、前記着目した頂点についての法線が前記目標形状と交点を有するという条件を満たさないと判定するステップと、
前記輝度値が変化していないと判断された場合、前記判断ステップ以降のステップを前記移動先の点について再度実行するステップと、
を含む請求項3又は4記載の形状データ生成方法。
(付記6)
前記形状データ生成方法において、
前記対象形状及び目標形状に係る物体が心臓であり、
前記開始点及び前記目標点が指定される部分が、前記心臓の弁輪部、心尖部、右心室流体面の底部、心筋境界、肺静脈、上大静脈及び下大静脈の少なくともいずれかである
ことを特徴とする付記3乃至5のいずれか1項に記載の形状データ生成方法。
(付記7)
形状データ生成プログラムであって
変形対象の形状である対象形状の複数の頂点のデータを格納する形状データ格納部から、前記対象形状の複数の頂点のうち、着目した頂点についての法線が、画像データ格納部に格納される画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定するステップと、
定された前記第1の頂点を、当該第1の頂点についての法線の方向へ第1の距離移動させるように前記対象形状を変形し、変形後の対象形状の複数の頂点のデータを前記形状データ格納部に格納するステップと、
前記第1の頂点の特定及び前記対象形状変形を所定回数実行した後の形状の頂点のデータを、前記形状データ生成装置の出力データ格納部に格納するステップと、
を、コンピュータに実行させることを特徴とする形状データ生成プログラム。
(付記8)
変形対象の形状である対象形状の複数の頂点のデータを格納する形状データ格納部と、
画像データを格納する画像データ格納部と、
出力データ格納部と、
前記形状データ格納部から、前記対象形状の複数の頂点のうち、着目した頂点についての法線が、前記画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定する特定部と、
定された前記第1の頂点を、当該第1の頂点についての法線の方向へ第1の距離移動させるように前記対象形状を変形し、変形後の対象形状の複数の頂点のデータを前記形状データ格納部に格納するとともに、前記第1の頂点の特定及び前記対象形状変形を所定回数実行した後の形状の頂点のデータを、前記出力データ格納部に格納する変形部と、
を有することを特徴とする形状データ生成装置。
1 形状データ生成装置 101 標準形状データ格納部
102 1次変形処理部 103 画像データ格納部
104 1次変形データ格納部 105 第1ランドマークデータ格納部
106 ランドマーク処理部 107 2次変形処理部
108 設定部 109 境界点探索部
110 第2ランドマークデータ格納部 111 2次変形データ格納部

Claims (7)

  1. 形状データ生成装置による形状データ生成方法であって、
    変形対象の形状である対象形状の複数の頂点のデータを格納する前記形状データ生成装置の形状データ格納部から、前記対象形状の複数の頂点のうち、着目した頂点についての法線が、前記形状データ生成装置の画像データ格納部に格納される画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定するステップと、
    特定された前記第1の頂点を、当該第1の頂点についての法線の方向へ第1の距離移動させるように前記対象形状を変形し、変形後の対象形状の複数の頂点のデータを前記形状データ格納部に格納するステップと、
    前記第1の頂点の特定及び前記対象形状の変形を所定回数実行した後の形状の頂点のデータを、前記形状データ生成装置の出力データ格納部に格納するステップと、
    を含み、前記形状データ生成装置により実行される形状データ生成方法。
  2. 前記形状データ生成方法は、
    前記所定の条件はさらに、目した前記頂点が前記第1の頂点のいずれとも第2の距離以上離れているという条件を含む
    ことを特徴とする請求項1記載の形状データ生成方法。
  3. 前記形状データ生成方法はさらに、
    前記形状データ生成装置の標準形状データ格納部に格納される頂点のデータにより特定される標準的な形状である標準形状において開始点の指定と、前記目標形状において前記開始点に対応する目標点の指定とを受け付けるステップと、
    前記開始点が前記目標点に重なるように前記標準形状を変形することで前記対象形状を生成し、当該対象形状の複数の頂点のデータを前記形状データ格納部に格納するステップと、
    を含むことを特徴とする請求項1又は2記載の形状データ生成方法。
  4. 前記形状データ生成方法において、
    前記所定の条件が、目した前記頂点が移動後の前記開始点に含まれないという条件を含み、
    前記対象形状変形する処理において、前記対象形状の複数の頂点のうち移動後の前記開始点に対応する頂点を移動させず、且つ、前記対象形状の複数の頂点のうち移動後の前記開始点に対応する頂点以外の頂点を移動させるように変形を行う
    ことを特徴とする請求項3記載の形状データ生成方法。
  5. 前記形状データ生成方法において、
    前記所定の条件を満たす第1の頂点を特定するステップが、
    目した前記頂点を目した当該頂点についての法線の方向へ第3の距離移動させ、移動先の点が前記画像データにより特定されるボクセル空間に含まれるかを判断する判断ステップと、
    前記移動先の点が前記ボクセル空間に含まれると判断された場合、目した前記頂点についての法線ベクトルと前記移動先の点についての法線ベクトルとの内積に基づき、前記移動先の点が前記対象形状を貫通したか判断するステップと、
    前記移動先の点が前記対象形状を貫通していないと判断された場合、前記移動先の点における輝度値と目した前記頂点における輝度値とを比較し、輝度値が変化したか判断するステップと、
    前記輝度値が変化したと判断された場合、目した前記頂点についての法線が前記目標形状と交点を有するという条件を満たすと判定するステップと、
    前記移動先の点が前記ボクセル空間に含まれないと判断された場合又は前記移動先の点が前記対象形状を貫通したと判断した場合、目した前記頂点についての法線が前記目標形状と交点を有するという条件を満たさないと判定するステップと、
    前記輝度値が変化していないと判断された場合、前記判断ステップ以降のステップを前記移動先の点について再度実行するステップと、
    を含む請求項3又は4記載の形状データ生成方法。
  6. 形状データ生成プログラムであって、
    変形対象の形状である対象形状の複数の頂点のデータを格納する形状データ格納部から、前記対象形状の複数の頂点のうち、着目した頂点についての法線が、画像データ格納部に格納される画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定するステップと、
    特定された前記第1の頂点を、当該第1の頂点についての法線の方向へ第1の距離移動させるように前記対象形状を変形し、変形後の対象形状の複数の頂点のデータを前記形状データ格納部に格納するステップと、
    前記第1の頂点の特定及び前記対象形状の変形を所定回数実行した後の形状の頂点のデータを、前記形状データ生成装置の出力データ格納部に格納するステップと、
    を、コンピュータに実行させることを特徴とする形状データ生成プログラム。
  7. 変形対象の形状である対象形状の複数の頂点のデータを格納する形状データ格納部と、
    画像データを格納する画像データ格納部と、
    出力データ格納部と、
    前記形状データ格納部から、前記対象形状の複数の頂点のうち、着目した頂点についての法線が、前記画像データにより特定される変形目標の形状である目標形状と交点を有するという条件を含む所定の条件を満たす第1の頂点を特定する特定部と、
    特定された前記第1の頂点を、当該第1の頂点についての法線の方向へ第1の距離移動させるように前記対象形状を変形し、変形後の対象形状の複数の頂点のデータを前記形状データ格納部に格納するとともに、前記第1の頂点の特定及び前記対象形状の変形を所定回数実行した後の形状の頂点のデータを、前記出力データ格納部に格納する変形部と、
    を有することを特徴とする形状データ生成装置。
JP2011147078A 2011-07-01 2011-07-01 形状データ生成方法、プログラム及び装置 Active JP5721225B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011147078A JP5721225B2 (ja) 2011-07-01 2011-07-01 形状データ生成方法、プログラム及び装置
US13/483,495 US9208617B2 (en) 2011-07-01 2012-05-30 Shape data generation method and apparatus
EP12170176.7A EP2541501B1 (en) 2011-07-01 2012-05-31 Shape data generation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011147078A JP5721225B2 (ja) 2011-07-01 2011-07-01 形状データ生成方法、プログラム及び装置

Publications (2)

Publication Number Publication Date
JP2013015945A JP2013015945A (ja) 2013-01-24
JP5721225B2 true JP5721225B2 (ja) 2015-05-20

Family

ID=46458146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011147078A Active JP5721225B2 (ja) 2011-07-01 2011-07-01 形状データ生成方法、プログラム及び装置

Country Status (3)

Country Link
US (1) US9208617B2 (ja)
EP (1) EP2541501B1 (ja)
JP (1) JP5721225B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818200B2 (en) 2013-11-14 2017-11-14 Toshiba Medical Systems Corporation Apparatus and method for multi-atlas based segmentation of medical image data
US9193868B1 (en) 2014-05-06 2015-11-24 Sabic Global Technologies B.V. Article comprising poly(phenylene ether)-polysiloxane copolymer composition
JP6346850B2 (ja) 2014-11-18 2018-06-20 富士通株式会社 モデリング装置、モデリング方法、及びモデリングプログラム
US10189990B2 (en) 2015-04-27 2019-01-29 Sabic Global Technologies B.V. Poly(phenylene ether) composition and article
CN112509131B (zh) * 2020-11-20 2022-12-06 上海莉莉丝网络科技有限公司 游戏地图内地图区域边界的渲染方法、***及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444838A (en) * 1991-03-18 1995-08-22 Hewlett-Packard Company Computer system and method for interference checking of polyhedra using capping polygons
WO2002073536A2 (en) 2001-03-09 2002-09-19 Koninklijke Philips Electronics N.V. Image segmentation
DE10111661A1 (de) 2001-03-09 2002-09-12 Philips Corp Intellectual Pty Verfahren zum Segmentieren einer in einem Objekt enthaltenen dreidimensionalen Struktur, insbesondere für die medizinische Bildanalyse
EP1638459A2 (en) * 2003-06-11 2006-03-29 Case Western Reserve University Computer-aided-design of skeletal implants
JP5017909B2 (ja) * 2005-06-22 2012-09-05 コニカミノルタエムジー株式会社 領域抽出装置、領域抽出方法及びプログラム
JP4969809B2 (ja) * 2005-07-07 2012-07-04 株式会社東芝 超音波診断装置、画像処理装置及び画像処理方法
JP2007312971A (ja) * 2006-05-25 2007-12-06 Konica Minolta Medical & Graphic Inc モデリング装置、モデリング方法及びプログラム
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
ES2580175T3 (es) * 2008-05-15 2016-08-19 Intelect Medical Inc. Sistema programador clínico y procedimiento para dirigir volúmenes de activación
JP4931022B2 (ja) 2008-09-04 2012-05-16 独立行政法人産業技術総合研究所 衣類状態推定方法及びプログラム
JP5610129B2 (ja) 2010-03-26 2014-10-22 富士通株式会社 3次元テンプレート変形方法、装置及びプログラム
US8538737B2 (en) * 2010-09-17 2013-09-17 Adobe Systems Incorporated Curve editing with physical simulation of mass points and spring forces
US8669995B2 (en) * 2010-10-08 2014-03-11 Adobe Systems Incorporated Methods and apparatus for stroke grouping for high-level sketch editing

Also Published As

Publication number Publication date
EP2541501A3 (en) 2017-06-21
US9208617B2 (en) 2015-12-08
JP2013015945A (ja) 2013-01-24
EP2541501A2 (en) 2013-01-02
EP2541501B1 (en) 2023-07-26
US20130002677A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
JP5654557B2 (ja) 患者特異的なモデルを用いた画像誘導による処置のためのコンピュータ化されたシミュレーションを実行するためのシステムおよび方法
JP5610129B2 (ja) 3次元テンプレート変形方法、装置及びプログラム
US7773786B2 (en) Method and apparatus for three-dimensional interactive tools for semi-automatic segmentation and editing of image objects
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
JP4152648B2 (ja) 対象物に含まれる三次元画像をセグメント化する方法
CN111192356A (zh) 感兴趣区域的显示方法、装置、设备和存储介质
US10891787B2 (en) Apparatus and method for creating biological model
US9697600B2 (en) Multi-modal segmentatin of image data
JP5721225B2 (ja) 形状データ生成方法、プログラム及び装置
US10762648B2 (en) Image processing apparatus, image processing method, image processing system, and program
US9836891B2 (en) Shape data generation method and apparatus
US20140218397A1 (en) Method and apparatus for providing virtual device planning
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
EP2876607B1 (en) Shape data generation method and device
JP4736755B2 (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
JP5954846B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
JP6346850B2 (ja) モデリング装置、モデリング方法、及びモデリングプログラム
US9836837B2 (en) Method and device for determining a transformation between two images of an anatomical structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150320

R150 Certificate of patent or registration of utility model

Ref document number: 5721225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150