JP2010211452A - 症例画像検索装置、方法およびプログラム - Google Patents

症例画像検索装置、方法およびプログラム Download PDF

Info

Publication number
JP2010211452A
JP2010211452A JP2009056160A JP2009056160A JP2010211452A JP 2010211452 A JP2010211452 A JP 2010211452A JP 2009056160 A JP2009056160 A JP 2009056160A JP 2009056160 A JP2009056160 A JP 2009056160A JP 2010211452 A JP2010211452 A JP 2010211452A
Authority
JP
Japan
Prior art keywords
image
case
information
unit
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009056160A
Other languages
English (en)
Other versions
JP5094770B2 (ja
Inventor
Takaharu Hisanaga
隆治 久永
Satoru Osawa
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009056160A priority Critical patent/JP5094770B2/ja
Publication of JP2010211452A publication Critical patent/JP2010211452A/ja
Application granted granted Critical
Publication of JP5094770B2 publication Critical patent/JP5094770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】ユーザの経験や専門に応じて適切な症例画像を検索する。
【解決手段】類似画像検索部3は、ユーザ属性情報に含まれる分類条件およびグループの組に対応する検索範囲を検索範囲決定テーブルから特定し、特定された検索範囲に属する画像属性情報の付与された症例画像のみを検索する。類似画像検索部3は、特定された症例画像(類似症例画像)を、表示部5に表示する。類似症例画像に対応する画像情報DB4に蓄積された各種の症例情報も、表示部5に表示することもできる。類似画像検索部3あるいは表示部5が「施設外」のユーザ属性情報をユーザ認証部7から受信したなどの場合、表示部5は、診断情報に含まれる個人情報(患者氏名、生年月日など個人を特定できる情報)を、無意味な文字列で置換するなどして匿名化して表示するか、個人情報の表示を全く行わないようにする。
【選択図】 図5

Description

本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と類似する症例画像を検索・提示する技術に関する。
特許文献1では、画像データに対してROI(Region of Interest)を設け、画像上の特徴が類似する画像データと類似画像データの診断結果などの情報をデータベースから検索し表示する。
特許文献2および3は病変領域を自動抽出する手法の一例である。
特許文献4は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。
特許文献5は類似画像検索システムの一例である。
非特許文献1は関心領域中の画像特徴量の算出技術の一例である。
特開2004−5364号公報 特開2005−198887号公報 特開2005−246032号公報 特開2008−245719号公報 特開2008−257292号公報
クーツ、エドワーズ、テイラー、「動的見えモデル」、第5回計算機視覚欧州会議報、ドイツ、シュプリンガー、1998年、第2巻484−498頁(T. F. Coootes, G. J. Edwards, C. J. Taylor "Active Appearance Models", In Proc. 5th European Conference on Computer Vision, Springer)
従来技術は、画像データに対してROIを設け、画像上の特徴が類似する画像データと類似画像データの診断結果などの情報をデータベースから検索し表示する。このような技術は、研修医や専門外の医師など、経験の浅いユーザが診断を学ぶことにも利用できる。しかし、経験の浅いユーザに対し、典型的な症例と珍しい症例を混合して表示させた場合、珍しい症例の所見を症例の特徴としてしまうなど、症例に対して誤解を与えてしまう可能性がある。また、院外の職員や学生などがこの技術を利用する場合、病院の患者情報が漏れる可能性がある。
本発明は、ユーザの経験や専門に応じて適切な症例画像を検索する。また、望ましくは本発明は、ユーザの所属に応じて適切な症例画像やその付帯情報を提示する。
本発明に係る症例画像検索装置は、ユーザの経験または専門に関する属性を示す属性情報を取得する取得部と、取得部の取得した属性情報に対応するデータベース内の症例画像の検索範囲を決定する決定部と、所望の診断対象画像を撮像装置から入力する入力部と、入力部の入力した診断対象画像の特徴量である第1の特徴量を算出する算出部と、第1の特徴量と、決定部の決定した検索範囲に属するデータベース内の症例画像の特徴量である第2の特徴量とを比較することで、診断対象画像に類似する類似症例画像をデータベースから検索する検索部と、を備える。
好ましくは、検索部は、診断対象画像の画素値および形状の少なくとも一方に関する特徴量と、症例画像の画素値および形状の少なくとも一方に関する特徴量とを比較することで類似症例画像をデータベースから検索する。
好ましくは、検索部は、第1の特徴量と第2の特徴量に基づいて類似度を算出し、算出された類似度に応じて診断対象画像に類似する類似症例画像をデータベースから検索する。
好ましくは、診断対象画像から病変領域を選択する選択部を備え、検索部は、選択部の選択した病変領域に関する特徴量を第1の特徴量として類似症例画像をデータベースから検索する。
好ましくは、選択部は、診断対象画像の画素値および形状の少なくとも一方に関する特徴量に基づいて病変領域を選択する。
好ましくは、検索部の検索した類似症例画像を表示する表示部を備える。
好ましくは、データベースは、症例画像に対応する付帯情報を記憶し、表示部は、類似症例画像に対応するデータベースの付帯情報を表示する。
好ましくは、表示部は、属性情報に応じた形式で類似症例画像を表示する。
好ましくは、属性情報は、ユーザの使用する端末の識別情報を含む。
好ましくは、ユーザを認証する認証部を備え、取得部は、認証部の認証したユーザの属性を示す属性情報を取得する。
好ましくは、データベースへの登録の要否を判断する対象となる所望の症例画像である対象画像に対応する症例情報および対象画像の特徴量と、データベースに登録された対象画像と異なる症例画像である登録済画像に対応する症例情報および登録済画像の特徴量とを比較し、比較結果に基づいて対象画像をデータベースに登録するか否かを判定し、データベースに登録すると判定した対象画像をデータベースに登録する登録部を備える。
本発明に係る症例画像検索方法は、コンピュータが、ユーザの経験または専門に関する属性を示す属性情報を取得するステップと、取得した属性情報に対応するデータベース内の症例画像の検索範囲を決定するステップと、所望の診断対象画像を撮像装置から入力するステップと、入力した診断対象画像の特徴量である第1の特徴量を算出するステップと、第1の特徴量と、決定した検索範囲に属するデータベース内の症例画像の特徴量である第2の特徴量とを比較することで、診断対象画像に類似する類似症例画像をデータベースから検索するステップと、を実行する。
この症例画像検索方法をコンピュータに実行させるためのプログラムも本発明に含まれる。
本発明では、ユーザの経験または専門に応じてデータベース内の症例画像の検索範囲を決めるため、ユーザごとに適切な類似症例画像を出力できる。
類似症例検索システムの概略構成図 登録部の詳細を示すブロック図 登録処理のフローチャート 判定条件の一例を示す図 検索範囲決定テーブルの一例を示す図 表示形式テーブルの一例を示す図
図1は本発明の好ましい実施形態に係る類似症例検索システム100の概略構成図である。このシステムは、画像データ入力部1、画像解析部2、類似画像検索部3、画像情報DB4、表示部5、登録部6、ユーザ認証部7を含む。類似症例検索システム100は、コンピュータ(CPU,RAM,ROMなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの)で構成することができる。
類似症例検索システム100の各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで類似症例検索システム100を構成してもよい。また、画像解析部2、類似画像検索部3、登録部6はコンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部5は液晶ディスプレイ、画像情報DB4はハードディスクなどで構成できる。
画像データ入力部1は、CT画像、MRI画像、PET画像、X線画像(CR画像含む)、US(超音波)画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像(クエリー画像)を入力する。画像データ入力部1は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。画像データ入力部1および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、DICOM(Digital Imaging and Communication in Medicine)のような所定の規格に従っている。
画像解析部2は、画像データ入力部1から入力されたクエリー画像を解析し、画像情報DB4に蓄積された類似画像の検索に必要な特徴量(第1の特徴量)を作成する。その特徴量の作成の方法は後述の画像解析部21と同様に行う。
類似画像検索部3は、画像解析部2が作成した第1の特徴量と画像情報DB4に蓄積された症例画像の特徴量(第2の特徴量)とを比較し、両者の類似度を算出する。第2の特徴量は症例画像から画像解析部2の取る特徴量の計算手法と同じ手法に従って予め作成および蓄積されている。類似画像検索部3は、画像情報DB4に蓄積された全ての症例画像あるいは予め操作装置から指定された部位に対応する症例画像のうち、クエリー画像の特徴量情報との類似度が最も高い第2の特徴量に対応する症例画像を特定する。そして、類似画像検索部3は、特定された症例画像と、その症例画像に対応する画像情報DB4に蓄積された各種の症例情報を、表示部5に表示する。
表示部5は、映像出力手段以外の出力手段に代替できる。例えば表示部5に代えて、あるいは表示部5とともに、特定された症例画像と、その症例画像に対応する画像情報DB4に蓄積された各種情報を印刷手段によって出力してもよい。また、画像情報でなければ、音声出力手段からの合成音声の出力などによって検索結果を出力できる。あるいは出力手段をネットワークI/Fとし、所望の端末10(パソコン、携帯電話、PDAなど)に検索結果を出力してもよい。所望の端末10が表示部5を備えていてもよいが、この端末10の表示部5に検索した症例画像を表示する場合は、ユーザ認証部7が、当該端末10のユーザを認証して類似症例画像検索を許可する必要がある。
画像情報DB4には、検索対象画像となる症例画像を含む症例情報が格納されている。ここで、症例情報は、疾患別に分類されて格納されていてもよく、さらに疾患別に統計情報、疾患情報、特定の疾患に対しては間違えられやすい疾患の疾患情報や医学情報がリンクされて登録されていてもよい。
また、症例情報には、確定診断された各疾患の症例画像の他に、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。
また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度(疾患内の最高類似度)
・平均類似度
・症例DB内の該当疾患の総登録件数
・代表症例に近い症例 (症例パターン) の登録件数
・症例パターンにおける特徴… 主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国/地域別罹患率
・その他
画像情報DB4には、登録されている各症例画像の病変部位から抽出された特徴量(第2の特徴量)が格納されている。ただし、症例画像自体が画像情報DB4に蓄積されていれば、事後的にその症例画像を画像解析部2などで解析することで第2の特徴量を得ることができるから、画像情報DB4に第2の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。
表示部5は、類似度が高い画像データだけでなく、特許文献3のように、データベース内における類似画像の疾患ごとの類似画像検索結果といった統計情報を表示してもよい。
登録部6によって画像情報DB4に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置(CT装置、MRI装置、PET装置、X線装置、US装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど)から得られる。また、登録部6によって画像情報DB4に登録される症例画像に対応する第2の特徴量は、画像解析部2と同様の画像解析で得られる。また、登録部6によって画像情報DB4に登録される症例画像に対応する症例情報は、ユーザによる操作装置の入力操作などで得られる。本願実施形態では、登録部6は、画像情報DB4に含まれる画像データに特徴量の偏りがないように登録を行う。
ユーザ認証部7は、類似画像検索を行おうとする端末10のユーザが正規のユーザであるか否かを認証する。例えば、ユーザ認証部7は、操作装置から認証情報(IDおよびパスワードの組、生体情報など)の入力を受け付け、受け付けた認証情報と、予め画像情報DB4その他の記録媒体に格納された認証情報とを照合し、両者が一致すれば、類似画像検索部3による類似画像検索の処理の開始をユーザに許可し、両者が一致しなければ、当該処理の開始を拒否する。ただし、後述するが、両者が一致した場合でも、その認証情報の内容に応じて類似画像検索部3による症例画像の検索範囲に制限がかけられる。なお、認証情報の入力の態様は任意であり、例えば、IDおよびパスワードをユーザ自身がキー入力したり、ユーザの携帯する病院職員証や社員証に埋め込まれた磁気ストライプやICチップやQRコードから読み取ったり、あるいはユーザ自身の網膜、静脈、指紋などの生体情報を公知のバイオメトリクスセンサ機器で読み取ることが挙げられる。
ユーザ認証部7は、類似症例検索システム100にアクセスしてきた所望の端末10ごとにユーザを認証できる。ユーザ認証部7は、認証情報が入力された端末10をMACアドレスやIPアドレスなどの一意的な情報を用いて識別する。よって、ユーザ認証部7にアクセスしてきた端末10が複数あっても、その各々を識別して個別に端末10ごとのユーザを認証できる。ユーザ認証部7によって類似画像検索の処理の開始を許可されたユーザを認証ユーザと呼ぶ。
図2は登録部6の詳細を示す。登録部6は、画像解析部21およびDB解析部22を含む。画像解析部21は、注目領域抽出部23、特徴量変換部24を含む。登録部6の各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで登録部6を構成してもよい。また、DB解析部22、注目領域抽出部23、特徴量変換部24はコンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。
画像解析部21は、CT画像、MRI画像、PET画像、X線画像(CR画像含む)、US(超音波)画像、内視鏡画像、病理画像などの所望の症例画像を、登録候補画像として入力する。また、登録候補画像に対応する症例情報も入力する。
注目領域抽出部23は、入力された登録候補画像から検索対象となる部分、すなわち症例画像に含まれる病変や臓器などの注目領域を抽出する。注目領域の抽出の方法は任意である。例えば、特許文献1や2のような自動検出の手法、非特許文献1のような注目領域の位置情報をもとに領域を抽出する手法など、公知の画像の輪郭・画素値、位置情報などの特徴を利用した画像処理技術を用いればよい。また、注目領域の抽出は必ずしも全自動でなくてもよく、認証ユーザによる操作装置の指定した領域近傍の特徴を利用した画像処理技術で半自動的に抽出してもよい。
次に、特徴量変換部24は、注目領域抽出部23の抽出領域に対して特徴量の計算を行う。算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴量や、抽出領域の位置、抽出領域の輪郭の円形度やモーメント、断面の半径、体積、面積など形状に関する特徴量の他、特許文献4の手法によって得られる、ROI(関心領域)の病変部の形状情報やテクスチャ情報でもよい。あるいは、画像情報DB4に一旦登録された情報を所定の数式(例えば主成分分析、独立成分分析)で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。
また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献2および3のような自動検出の手法、非特許文献1に記載のような注目領域の位置情報をもとに領域を抽出する手法などがある。
病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量(画素値に関する特徴量あるいは輪郭など形状に関する特徴量)を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。
DB解析部22は、特徴量変換部24の算出した登録候補画像の特徴量と、画像情報DB4に蓄積された症例画像の特徴量との比較に基づいて、その登録候補画像を画像情報DB4に登録するか否かの判定を行い、その判定結果に従って登録候補画像を登録するか、あるいは登録しないで破棄する。
具体的には、DB解析部22は、図3に示すような登録処理を行う。
まず、S1では、DB解析部22は、画像情報DB4にすでに登録された、いずれかの症例画像に対応する症例情報(判定条件)と、登録候補画像に対応する症例情報(登録候補症例情報)とを比較し、両者が同一であるか否かを判断する。図4は、判定条件の一例を示す。判定条件としては、画像データのヘッダなどに格納されているレポート情報の示す、患者の名前や年齢や性別など患者に関する情報、撮像を行った装置の種類(CT、MRIなど)・型番や撮像の条件など撮像に関する情報、所見、病名その他の確定診断に関する情報、撮影目的、病変部位の解剖学的位置、病変の部位(臓器)などが挙げられる。判定条件と登録候補症例情報との同一性の判定(マッチング)は症例情報に含まれる個々の項目に関して行われる。その他、診断情報の登録者が一定の資格(認定医、専門医)を有する者か否か、レポート情報の長さ、画像の撮影日時、症例情報の登録日時なども判定条件とすることができる。
S2では、DB解析部22は、S1でのマッチングの結果、判定条件・登録候補症例情報ともに同一の情報を格納する項目の個数を計算する。そして、その個数が、管理者権限を有するユーザ(管理者)による操作装置の操作で予め指定された第1の閾値を上回る場合、その登録候補症例情報に対応する登録候補画像は登録解析対象画像と判定され、S3に進む。
例えば、閾値=3で、ある判定条件と登録候補症例情報双方の症例情報に格納された患者の年齢同士、撮像条件同士、かつ解剖学的位置が全て同じであれば、その登録候補症例情報に対応する登録候補画像は登録解析対象画像と判定される。
ただし、少なくとも、判定条件に含まれる病名と登録候補症例情報に含まれる病名とが同一である場合は、無条件に登録候補画像は登録解析対象画像と判定され、S3に進むものとする。これは、同一病名かつ類似の画像所見の画像の重複登録を排除するためである。
また同様の趣旨で、少なくとも、判定条件に含まれる病名と登録候補症例情報に含まれる病名とが同一でない場合は、無条件に登録候補画像は登録対象の画像と判定されるものとする。この場合S3は省略し、S4に進む。
S3では、DB解析部22は、特徴量変換部24の算出した登録解析対象画像の特徴量と、当該登録解析対象画像と同一の判定条件を格納した症例情報に対応する症例画像の特徴量との類似度を算出する。特徴量変換部24は、登録解析対象画像でない画像の解析を省略することもできる。類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間(重み付き空間も可)上の最小2乗法などが採用できる。説明の便宜上、類似度Sは以下の数式で定義する(特許文献5の段落0048に記載の数式)。ただし、本願発明の実施のために、類似度Sの算出基準(ノルム)がこの定義に限定されるわけではない。
Figure 2010211452
特徴量m(i=1,2,…,n)は登録済みの症例画像の特徴量、M(i=1,2,…,n)は登録解析対象画像から抽出された特徴量である。w(i=1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。m、M、wの添え字iは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Sの値が小さくなり、双方の特徴量が遠いほど類似度Sの値が大きくなる。
なお、好ましくはS1において、判定条件に含まれる病名と登録候補症例情報に含まれる病名とが同一であり、かつ部位および解剖学的位置が同一である場合は、無条件に登録候補画像は登録解析対象画像と判定されるようにすれば、S3において無関係な部位の特徴量同士が比較されるのを防げる。例えば、登録解析対象画像から抽出された特徴量m(i=1,2,…,n)が、肺区域S1(部位および解剖学的位置)に関する値(n次元の多値データ)であれば、類似度Sの算出対象となる登録済み画像の特徴量M(i=1,2,…,n)は、同じく肺区域S1に関する値(n次元の多値データ)となる。
S4では、DB解析部22は、算出された類似度が、所定の第2の閾値を下回っていれば、登録解析対象画像は登録対象外の画像と判定し、画像情報DB4に登録しない。算出された類似度が、所定の閾値を下回っていなければ、登録解析対象画像は登録対象の画像と判定し、画像情報DB4に登録する。この際、登録解析対象画像に対応する症例情報も画像情報DB4に登録する。
第2の閾値THは、例えば次の数式で決定される。
TH=α×N+β
Nは画像情報DB4に登録された症例画像の総数、α、βは定数である。α、β、あるいは第2の閾値自体が、管理者による操作装置の入力操作で任意に指定できてもよい。一般には、TH=f(N)とする。fはNの増加に応じて増加する傾向のある任意の関数である。この関数fはユーザによる操作装置の入力操作で任意に指定でき、指定された関数に従って演算装置(CPU)が実際の第2の閾値を算出してもよい。
つまり、症例画像の登録数が少ない場合は、閾値が小さくなり、登録済みの症例画像との類似度が比較的小さな値となる(相関が高い)登録解析対象画像も登録されるが、症例画像の登録数が少ない場合は、閾値が大きくなり、類似度が小さな値となる、登録済みの症例画像との相関が高い登録解析対象画像は登録されなくなる。あるいは、登録数Nがある閾値(例えば100)未満の場合は無条件に登録解析対象画像と症例情報を登録し、症例が少ない場合は画像情報DB4の充実を優先させてもよい。
なお、登録対象外の画像と判定した画像を登録しないのではなく、その登録対象外の画像との類似度が第2の閾値を下回る画像情報DB4の登録済み画像とそれに対応する症例情報を削除し、代わりに当該登録対象外の画像とそれに対応する症例情報を登録すれば、似たような特徴の画像が画像情報DB4で重複することが避けられる。登録対象外の画像と判定した画像を登録しないか、登録済みの症例画像と置換するかの選択を、ユーザによる操作装置の入力操作で任意に指定し、その指定に応じてどちらか一方の画像を画像情報DB4に登録できてもよい。あるいは登録済みの症例画像の症例情報が優先度の高い情報を含む場合、例えば日付情報の新しい、レポート情報が長い、登録者が有資格者である、あるいは画像データ量が多い場合、登録済みの症例画像を画像情報DB4に残し、そうでない場合は登録解析対象画像で登録済みの症例画像を置換してもよい。逆に、登録済みの症例画像の症例情報が優先度の高い情報を含まない場合、登録済みの症例画像を画像情報DB4から削除し、登録対象外の画像を新たに画像情報DB4に登録してもよい。
また、登録候補画像は、新規に入力された画像である必然性はなく、すでに画像情報DB4に登録された症例画像の中から任意に選択されたものでもよい。この場合、登録部6は、登録対象と判定された画像は画像情報DB4にそのまま残し、登録対象外と判定された画像は画像情報DB4から削除する。上記と同様、症例情報が優先度の高い情報を含む場合、それに対応する症例画像は残し、優先度の高い情報を含まない方の症例情報に対応する症例画像を削除してもよい。要するに、類似度が第2の閾値を下回るような画像が2つあれば、どちらか一方が削除されればよい。
一般に、画像情報DB4の画像が2つ以上存在する場合、画像情報DB4の任意の異なる2つの画像で構成される対から類似度を算出し、その類似度の値と第2の閾値との大小関係に応じてその対のいずれか一方の画像を削除し、これを全ての画像の対について網羅的に繰り返せば、画像情報DB4に登録済みの画像の中から類似画像の重複を解消することができる。これは、「画像情報DB4のリフレッシュ」などといったコマンドをユーザが操作装置から指定することによって実行されてもよいし、所望のスケジューリングで定期的に実行されてもよい。
さらに、登録対象外の画像と判定した画像を示すフラグとともに、当該登録対象外の画像を画像情報DB4に登録した上で、類似画像検索部3の検索対象から当該フラグの付与された症例画像を除外し、当該フラグのついていない画像だけを症例検索の対象としてもよい。すなわち類似画像検索部3は、当該フラグの付与されていない症例画像の第2の特徴量のみを第1の特徴量と比較する。
以上説明したように、画像情報DB4への症例画像の登録を特徴量の類似度に応じて制御することで、似たような症例画像が検索結果として多数出現し、診断者の診断の妨げになるような類似検索結果を示す可能性が低くなる。
再び図1を参照すると、取得部7aは、認証により類似検索を許可した場合、入力された認証情報に対応する認証ユーザの所属組織、認証ユーザの役職名、認証ユーザの使用する端末10の識別情報といった認証ユーザの属性に関するユーザ属性情報を画像情報DB4から取得し、このユーザ属性情報を類似画像検索部3に送信する。画像情報DB4には、本システム100の利用を管理者から許可されたユーザの認証情報に対応するユーザ属性情報が予め蓄積されているものとする。また、取得部7aは、認証ユーザの使用する端末10を識別すると、その識別情報を類似画像検索部3および表示部5に送信する。
ユーザ属性情報は、画像情報DB4以外にも、情報の改竄が不可能な可搬性記録媒体、例えば病院職員証のカードのICチップなどに記憶されていてもよく、これを取得部7aが読み取って送信してもよい。
類似画像検索部3は、取得部7aから受信したユーザ属性情報、端末10の識別情報を受信すると、画像情報DB4その他の記録媒体に予め蓄積された、検索範囲決定テーブルを参照し、受信したユーザ属性情報に対応する画像の検索範囲を設定する。
ここでは、ユーザ属性情報は「経験」および「専門」の分類条件のうち少なくとも1つを含み、「施設」の分類条件も含みうるものとする。これらの3つの分類条件のうちの2つ、あるいは3つ全てがユーザ属性情報に含まれてもよく、3つの分類条件は相互に両立しないような論理的な排他関係にあるのではない。例えば、「経験」が「認定医・専門医」かつ「専門」が「臨床科」かつ「施設」が「施設内」であるユーザ属性情報がユーザ認証部7から類似画像検索部3や表示部5に送信されてもよい。
また、ユーザ属性情報は、「経験」の分類条件に対応するグループ「研修医」もしくは「認定医」・専門医」/「専門」の分類条件に対応するグループ「臨床科」、「放射線科」もしくは「病理科」/「施設」に対応するグループ「施設内」もしくは「施設外」を含むものとする。ただし、ユーザ属性情報は、要するにユーザをカテゴライズする情報であれば何でもよく、上記の例に限定されるのではない。
図5は画像情報DB4に蓄積されている検索範囲決定テーブルの一例を示す。検索範囲決定テーブルは、「経験」、「専門」、「施設」の分類条件と、「研修医」、「認定医」・専門医」、「臨床科」、「放射線科」、「病理科」、「施設内」、「施設外」のグループの組み合わせの各々に対応する画像情報DB4の検索範囲を規定する情報を格納しているものとする。
図5では、「経験」が「研修医」の組には「典型症例のみ」検索範囲、「経験」が「認定医・専門医」の組には「全ての疾患」の検索範囲、「専門」が「臨床科」の組には「各部門ごとの疾患」、「専門」が「放射線科」の組には「CT、MR画像を撮像した疾患」、「専門」が「病理科」の組には「病理画像を含む疾患」、「施設」が「施設内」の組には「全ての症例」、「施設」が「施設外」の組には「公開可能な症例」が検索範囲に規定されている。
「経験」については、「研修医」などの経験の浅い認証ユーザは、「典型症例」の付帯情報が付与された症例画像のみを検索範囲内とし、「認定医・専門医」などの経験豊かなユーザは稀な症例を含む全ての疾患を検索範囲内とする。「経験」が「研修医」か「認定医・専門医」かは、ICチップなどの記録媒体に記録された認証ユーザの経験年数から判定してもよい。
また、「専門」については、認証ユーザが専門とする画像や部位の疾患の全てを検索範囲とし、専門外の画像や部位の疾患は検索範囲外とする。なお、各症例画像には専門に関する付帯情報が付与されているものとする。「専門」が「臨床科」か「放射線科」か「病理科」かは、ICチップなどの記録媒体に記録された認証ユーザの所属部門から判定してもよい。
また、症例画像のヘッダやメタ情報として症例画像のファイルそのものに対してユーザ属性情報に相当する付帯情報を付与する代わりに、画像情報DB4に症例画像ごとの検索範囲の属性を示す属性項目を設け、操作装置を介して症例画像ごとにこの属性項目を入力してもよい。あるいは、症例画像のヘッダ情報やレポート情報などの診断情報の中からキーワード「典型」を抽出し、抽出されたキーワードに対応する属性「典型症例」を上記項目に設定してもよい。あるいは、類似画像検索部3が表示部5に症例画像を出力した回数を症例画像ごとにカウントしておき、回数に応じて症例画像をランク付けする。そして、ランクが所定の閾値以上(例えばランクが上位10番目まで)の症例画像に対応する付帯情報や属性項目に「典型」を設定してもよい。あるいは、症例画像のヘッダ情報やレポート情報などの診断情報の中から「形状」や「濃度」といった情報を抽出し、抽出した情報と診断名の組み合わせから、「専門」が「臨床科」か「放射線科」か「病理科」かを判定し、この判定内容を付帯情報や属性項目に設定してもよい。
また、「施設」については、遠隔医療など、「施設外」の端末10からユーザ認証部7の認証を要求してきた場合は「公開可能な症例」の診断情報が付与された症例画像のみを検索範囲内とし、「施設内」からユーザ認証部7の認証を要求してきた場合は、全ての症例画像を検索範囲内とする。
認証ユーザのユーザ属性情報が「施設外」か「施設内」かは、認証ユーザがユーザ属性情報を入力してきた端末10の識別情報が「内部ネットワークアドレス」(ローカルIPアドレスなど)であるか「外部ネットワークアドレス」(グローバルIPアドレス)であるかにより判定できる。あるいは、認証ユーザのユーザ属性情報が、施設で雇用されている医師や技師などの「関係者」であるか、あるいはそれ以外の医師や学生などの「部外者」であるかを、入館証のICチップなどの記録媒体から読み取ったユーザIDで判別し、「関係者」と判別されれば「施設内」、「部外者」であれば「施設外」と判別することもできる。
要するに症例画像に対する検索範囲の属性をどのように識別あるいは付与するかは、ユーザ属性情報に対応している限り任意である。症例画像に対する検索範囲の属性を示す情報を画像属性情報と呼ぶ。画像属性情報は、画像情報DB4の属性項目に格納された情報、症例画像の付帯情報とすることができる。
類似画像検索部3は、ユーザ属性情報に含まれる分類条件およびグループの組に対応する検索範囲を検索範囲決定テーブルから特定し、特定された検索範囲に属する画像属性情報の付与された症例画像のみを検索する。すなわち、類似画像検索部3は、画像解析部2が作成した第1の特徴量を、画像情報DB4に蓄積された症例画像のうち、検索範囲決定テーブルから特定された検索範囲に属する画像属性情報の付与された症例画像のみの特徴量(第2の特徴量)とを比較し、両者の類似度を算出し、クエリー画像の特徴量情報との類似度が最も高い第2の特徴量に対応する症例画像を特定する。そして、類似画像検索部3は、特定された症例画像(類似症例画像)を、表示部5に表示する。類似症例画像に対応する画像情報DB4に蓄積された各種の症例情報も、表示部5に表示することもできる。なお、類似症例画像のプリントアウトでも同様のことが可能である。
ユーザ属性情報の分類条件が2つ以上存在する場合は、類似画像検索部3は、その各々に対応する検索範囲の重複する範囲に属する症例画像のみを検索する。例えば、「研修医」かつ「施設外」の認証ユーザの場合は、「典型症例」の属性および「公開可能」の属性の付与された症例画像のみを検索する。あるいは、「認定医・専門医」かつ「臨床科」の認証ユーザの場合は、端末10から別途指定したユーザの専門分野にリンクされた症例画像と、それ以外の症例画像のうち「典型症例」の属性の付与されたもののみを検索する。なお、ユーザ属性情報の所属部門から専門分野を判定してもよい。例えば、当該所属部門が「病理科」であれば「専門」は「病理」となる。あるいは、当該所属部門が「内科」、「外科」、「眼科」、「皮膚科」、「精神科」などの場合は「専門」は「臨床科」となる。
表示部5やプリンタなどへの症例画像の出力方法は任意である。例えば、クエリー画像に対する類似症例画像を類似度の高い順に並べて表示部5に表示したりプリントアウトしたりする。あるいは、レポートなどの診断情報に基づいて症例ごとに画像を表示する。
また、画像情報DB4の診断情報が、部外者の閲覧を予定していない患者の個人情報を含む場合、これを部外者に無制限に開示するのは好ましくない。そこで、類似画像検索部3あるいは表示部5が「施設外」のユーザ属性情報をユーザ認証部7から受信した場合、上記のように認証ユーザが「部外者」であると判定された場合、あるいは端末10の識別情報が「外部ネットワークアドレス」であると判定された場合、表示部5は、診断情報に含まれる個人情報(患者氏名、生年月日など個人を特定できる情報)を、無意味な文字列で置換するなどして匿名化して表示するか、個人情報の表示を全く行わないようにする。どのユーザ属性情報に対してどのような形式で診断情報を表示するかを規定した表示形式テーブルを画像情報DB4その他の記憶媒体に記憶しておき、当該表示形式テーブルに従い、認証ユーザのユーザ属性情報に対応した形式で診断情報を表示してもよい(図6参照)。
あるいは、検索範囲決定テーブルが規定する、認証ユーザのユーザ属性情報に対応する検索範囲に入らない症例画像を検索対象から外す代わりに、全ての症例画像を検索範囲に取り込むものの、表示部5で当該検索範囲に入らない症例画像を非表示にしたり、検索範囲に入らない症例画像に対して、検索範囲に入る症例画像とは異なる映像的付加情報を付与して両者を識別できるようにしてもよい。
例えば、「研修医」が認証ユーザのユーザ属性情報とした場合、表示部5は、「典型症例」が付与されていない症例画像に対し、マークやウィンドウの色を「典型」の症例画像と違うものにする。あるいは、「病理科」が認証ユーザのユーザ属性情報とした場合、各症例画像には、症例画像の入力元の撮像装置の名称(CT、MRI、顕微鏡カメラなど)を付す。
表示部5による類似症例画像の表示形式は認証ユーザのユーザ属性情報に対応していてもよい。例えば、「研修医」が認証ユーザのユーザ属性情報とした場合、表示部5では症例画像と診断レポートを並列して表示し、「認定医・専門医」が認証ユーザのユーザ属性情報とした場合、表示部5では症例画像のみを表示し、診断レポートはユーザからの指示があって初めて表示する。こうすると、研修医のような経験の浅いユーザには詳しい情報を提供でき、経験の豊富な専門医には詳しい情報の提供を省略できる。なお、類似症例画像およびその診断情報をプリントアウトする際も同様の出力制御が可能である。
このように、ユーザの属性に応じて症例画像の検索範囲を決めるため、ユーザごとに適切な類似症例画像を出力できる。また、ユーザの属性に応じて出力形式を変えるため、部外者に個人情報が開示されることを防いだり、必要な情報を適切に提供できる。
1:画像データ入力部、2:画像解析部、3:類似画像検索部、4:画像情報DB、5:表示部、6:登録部、7:ユーザ認証部、7a:取得部、10:端末

Claims (13)

  1. ユーザの経験または専門に関する属性を示す属性情報を取得する取得部と、
    前記取得部の取得した属性情報に対応するデータベース内の症例画像の検索範囲を決定する決定部と、
    所望の診断対象画像を撮像装置から入力する入力部と、
    前記入力部の入力した診断対象画像の特徴量である第1の特徴量を算出する算出部と、
    前記第1の特徴量と、前記決定部の決定した検索範囲に属する前記データベース内の症例画像の特徴量である第2の特徴量とを比較することで、前記診断対象画像に類似する類似症例画像を前記データベースから検索する検索部と、
    を備える症例画像検索装置。
  2. 前記検索部は、前記診断対象画像の画素値および形状の少なくとも一方に関する特徴量と、前記症例画像の画素値および形状の少なくとも一方に関する特徴量とを比較することで前記類似症例画像を前記データベースから検索する請求項1に記載の症例画像検索装置。
  3. 前記検索部は、前記第1の特徴量と前記第2の特徴量に基づいて類似度を算出し、算出された類似度に応じて前記診断対象画像に類似する類似症例画像を前記データベースから検索する請求項1または2に記載の症例画像検索装置。
  4. 前記診断対象画像から病変領域を選択する選択部を備え、
    前記検索部は、前記選択部の選択した病変領域に関する特徴量を前記第1の特徴量として前記類似症例画像を前記データベースから検索する請求項1〜3のいずれかに記載の症例画像検索装置。
  5. 前記選択部は、前記診断対象画像の画素値および形状の少なくとも一方に関する特徴量に基づいて前記病変領域を選択する請求項4に記載の症例画像検索装置。
  6. 前記検索部の検索した類似症例画像を表示する表示部を備える請求項1〜5のいずれかに記載の症例画像検索装置。
  7. 前記データベースは、前記症例画像に対応する付帯情報を記憶し、
    前記表示部は、前記類似症例画像に対応する前記データベースの付帯情報を表示する請求項6に記載の症例画像検索装置。
  8. 前記表示部は、前記属性情報に応じた形式で前記類似症例画像を表示する請求項6または7に記載の症例画像検索装置。
  9. 前記属性情報は、ユーザの使用する端末の識別情報を含む請求項1〜8のいずれかに記載の症例画像検索装置。
  10. ユーザを認証する認証部を備え、
    前記取得部は、前記認証部の認証したユーザの属性を示す属性情報を取得する請求項1〜9のいずれかに記載の症例画像検索装置。
  11. 前記データベースへの登録の要否を判断する対象となる所望の症例画像である対象画像に対応する症例情報および前記対象画像の特徴量と、前記データベースに登録された前記対象画像と異なる症例画像である登録済画像に対応する症例情報および前記登録済画像の特徴量とを比較し、前記比較結果に基づいて前記対象画像を前記データベースに登録するか否かを判定し、前記データベースに登録すると判定した対象画像を前記データベースに登録する登録部を備える請求項1〜10のいずれかに記載の症例画像検索装置。
  12. コンピュータが、
    ユーザの経験または専門に関する属性を示す属性情報を取得するステップと、
    前記取得した属性情報に対応するデータベース内の症例画像の検索範囲を決定するステップと、
    所望の診断対象画像を撮像装置から入力するステップと、
    前記入力した診断対象画像の特徴量である第1の特徴量を算出するステップと、
    前記第1の特徴量と、前記決定した検索範囲に属する前記データベース内の症例画像の特徴量である第2の特徴量とを比較することで、前記診断対象画像に類似する類似症例画像を前記データベースから検索するステップと、
    を実行する症例画像検索方法。
  13. 請求項12に記載の症例画像検索方法をコンピュータに実行させるためのプログラム。
JP2009056160A 2009-03-10 2009-03-10 症例画像検索装置、方法およびプログラム Active JP5094770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009056160A JP5094770B2 (ja) 2009-03-10 2009-03-10 症例画像検索装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009056160A JP5094770B2 (ja) 2009-03-10 2009-03-10 症例画像検索装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010211452A true JP2010211452A (ja) 2010-09-24
JP5094770B2 JP5094770B2 (ja) 2012-12-12

Family

ID=42971550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009056160A Active JP5094770B2 (ja) 2009-03-10 2009-03-10 症例画像検索装置、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5094770B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123530A (ja) * 2009-12-08 2011-06-23 Nec Corp 話題推薦装置、話題推薦装方法およびプログラム
JP2012217631A (ja) * 2011-04-08 2012-11-12 Hitachi Medical Corp 医用画像処理装置及び医用画像診断装置
JP2014128618A (ja) * 2012-11-28 2014-07-10 Toshiba Corp 医用画像処理装置、超音波診断装置及び医用画像取込方法
JP2016143142A (ja) * 2015-01-30 2016-08-08 富士ゼロックス株式会社 画像管理システム、画像管理装置、及びプログラム
JP2017503278A (ja) * 2014-01-02 2017-01-26 アルカテル−ルーセント ロールベース匿名化
JP2021171117A (ja) * 2020-04-20 2021-11-01 富士通株式会社 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755408B2 (en) 2017-05-09 2020-08-25 Canon Medical Systems Corporation Medical information processing system and medical information processing apparatus

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353404A (ja) * 1998-06-11 1999-12-24 Hitachi Ltd 電子カルテシステム
JP2002063381A (ja) * 2000-08-18 2002-02-28 Yamaha Corp マルチメディアコンテンツの登録システム
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2004102863A (ja) * 2002-09-12 2004-04-02 Hirofumi Hirano 医用データ管理システム
JP2004295671A (ja) * 2003-03-27 2004-10-21 Ricoh Co Ltd 電子情報保管サーバ、電子情報保管方法及び電子情報保管プログラム
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007279942A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JP2008009735A (ja) * 2006-06-29 2008-01-17 Fujitsu Ltd データアクセス管理システム
JP2009011721A (ja) * 2007-07-09 2009-01-22 Konica Minolta Medical & Graphic Inc 医用画像管理装置及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353404A (ja) * 1998-06-11 1999-12-24 Hitachi Ltd 電子カルテシステム
JP2002063381A (ja) * 2000-08-18 2002-02-28 Yamaha Corp マルチメディアコンテンツの登録システム
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2004102863A (ja) * 2002-09-12 2004-04-02 Hirofumi Hirano 医用データ管理システム
JP2004295671A (ja) * 2003-03-27 2004-10-21 Ricoh Co Ltd 電子情報保管サーバ、電子情報保管方法及び電子情報保管プログラム
JP2007279942A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JP2008009735A (ja) * 2006-06-29 2008-01-17 Fujitsu Ltd データアクセス管理システム
JP2009011721A (ja) * 2007-07-09 2009-01-22 Konica Minolta Medical & Graphic Inc 医用画像管理装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123530A (ja) * 2009-12-08 2011-06-23 Nec Corp 話題推薦装置、話題推薦装方法およびプログラム
JP2012217631A (ja) * 2011-04-08 2012-11-12 Hitachi Medical Corp 医用画像処理装置及び医用画像診断装置
JP2014128618A (ja) * 2012-11-28 2014-07-10 Toshiba Corp 医用画像処理装置、超音波診断装置及び医用画像取込方法
JP2017503278A (ja) * 2014-01-02 2017-01-26 アルカテル−ルーセント ロールベース匿名化
JP2016143142A (ja) * 2015-01-30 2016-08-08 富士ゼロックス株式会社 画像管理システム、画像管理装置、及びプログラム
JP2021171117A (ja) * 2020-04-20 2021-11-01 富士通株式会社 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム
JP7388284B2 (ja) 2020-04-20 2023-11-29 富士通株式会社 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム

Also Published As

Publication number Publication date
JP5094770B2 (ja) 2012-12-12

Similar Documents

Publication Publication Date Title
US11462310B2 (en) Medical scan and report anonymizer and methods for use therewith
JP5502346B2 (ja) 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム
JP5952835B2 (ja) 撮像プロトコルの更新及び/又はリコメンダ
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5094770B2 (ja) 症例画像検索装置、方法およびプログラム
US8306960B2 (en) Medical image retrieval system
RU2541198C2 (ru) Системы поддержки принятия клинических решений с внешним контекстом
JP2011118543A (ja) 症例画像検索装置、方法およびプログラム
US20220172809A9 (en) Report generating system and methods for use therewith
US20200373003A1 (en) Automatic medical scan triaging system and methods for use therewith
WO2019146357A1 (ja) 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム
JP5094775B2 (ja) 症例画像検索装置、方法およびプログラム
JP6908977B2 (ja) 医療情報処理システム、医療情報処理装置及び医療情報処理方法
US20220020457A1 (en) Medical data evaluation utilization system and medical data evaluation utilization method
JP2018512639A (ja) 臨床の所見のコンテキストによる評価のための方法及びシステム
JP5739700B2 (ja) 類似症例閲覧システム、類似症例閲覧方法
US20220037019A1 (en) Medical scan artifact detection system and methods for use therewith
JP2011048672A (ja) 症例画像登録装置、方法およびプログラム
JP2011118540A (ja) 症例検索装置、方法およびプログラム
JP7420914B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2016224793A (ja) 医用診断支援システム、医用情報表示装置、医用情報管理装置及び医用画像処理プログラム
JP6771328B2 (ja) 紹介状作成支援システム、紹介状作成支援装置及び紹介状作成支援方法
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20100131514A1 (en) Real-time automatic searching system for medical image and method for using the same
WO2022036351A1 (en) Automatic medical scan triaging system and methods for use therewith

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120918

R150 Certificate of patent or registration of utility model

Ref document number: 5094770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250