JPWO2013027399A1 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム - Google Patents

情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム Download PDF

Info

Publication number
JPWO2013027399A1
JPWO2013027399A1 JP2013529876A JP2013529876A JPWO2013027399A1 JP WO2013027399 A1 JPWO2013027399 A1 JP WO2013027399A1 JP 2013529876 A JP2013529876 A JP 2013529876A JP 2013529876 A JP2013529876 A JP 2013529876A JP WO2013027399 A1 JPWO2013027399 A1 JP WO2013027399A1
Authority
JP
Japan
Prior art keywords
tissue specimen
image
information processing
images
specimen image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013529876A
Other languages
English (en)
Other versions
JP5862671B2 (ja
Inventor
慶子 吉原
慶子 吉原
朝春 喜友名
朝春 喜友名
佐野 亨
亨 佐野
上條 憲一
憲一 上條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013529876A priority Critical patent/JP5862671B2/ja
Publication of JPWO2013027399A1 publication Critical patent/JPWO2013027399A1/ja
Application granted granted Critical
Publication of JP5862671B2 publication Critical patent/JP5862671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Software Systems (AREA)
  • Immunology (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Medicinal Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、複数の組織標本画像が含まれる複数のスライドから、組織標本画像を個々に分けて切り出す組織標本画像切り出し部と、組織標本画像切り出し部が切り出した各組織標本画像が有する特徴量に基づいて、各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定部と、を備えることを特徴とする。

Description

本発明は、生体組織を撮像した組織標本画像に基づく診断を支援するための情報処理技術に関する。
上記技術分野において、特許文献1には、スライド上の組織標本画像をスライド単位でサムネイル画像にして、複数のスライドをリスト表示するための装置が開示されている。
特開2011−117991号公報
しかしながら、上記文献記載の技術は、あくまでもスライド単位でのリスト表示である。したがって、スライド上に複数の組織標本がある場合には、スライド上の1つの組織標本に問題がある時にもスライド単位の処理が行なわれる。そのため、病理医も、スライド単位での診断を行なわざるを得ず、必ずしも効率よく病理診断ができなかった。また、上記文献記載の技術におけるリスト表示は表示位置が診断上の意味を持っていない。したがって、病理医が表示位置から診断支援の情報を得られず、診断支援としてリスト表示を有効に使用できていない。
本発明は、上記問題を解決するためになされたものである。
上記目的を達成するため、本発明に係る装置は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
を含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
をコンピュータに実行させることを特徴とする。
上記目的を達成するため、本発明に係るシステムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
を含むことを特徴とする。
本発明によれば、スライド画像から組織標本画像を切り出し、組織標本画像単位で評価した評価結果を表示位置により病理医に報知することで、より有効な診断支援ができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の第1実施形態に係る情報処理装置の構成を示す図である。 本発明の第2実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第2実施形態に係る特徴量解析部と特徴量用DBとの構成を示すブロック図である。 本発明の第2実施形態に係る通信端末の表示画面を示す図である。 本発明の第2実施形態に係る組織標本画像DBの構成を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成を示す図である。 本発明の第2実施形態に係る順位付けテーブルの構成を示す図である。 本発明の第2実施形態に係る表示画面フォーマットDBの構成を示す図である。 本発明の第2実施形態に係るサムネイルリスト画像の構成を示す図である。 本発明の第2実施形態に係るサムネイルリスト送信データの構成を示す図である。 本発明の第2実施形態に係る情報処理装置のハードウェア構成を示す図である。 本発明の第2実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第3実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第3実施形態に係る順位付けテーブルの構成を示す図である。 本発明の第4実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第4実施形態に係る通信端末の表示画面を示す図である。 本発明の第4実施形態に係る多次元配置テーブルの構成を示す図である。 本発明の第4実施形態に係るサムネイル配置データの構成を示す図である。 本発明の第4実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第5実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第6実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第6実施形態に係る配色DBの構成を示す図である。 本発明の第7実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第8実施形態に係る通信端末の表示画面を示す図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、生体組織を撮像した組織標本画像に基づく診断を支援する装置である。
図1に示すように、情報処理装置100は、組織標本画像切り出し部110と、表示位置設定部120と、を含む。組織標本画像切り出し部110は、複数の組織標本画像が含まれる複数のスライド101から、組織標本画像を個々に分けて切り出す。表示位置設定部120は、組織標本画像切り出し部110が切り出した各組織標本画像111が有する特徴量122に基づいて、各組織標本画像の縮小画像121を表示する表示画面102上の表示位置123を設定する。
本実施形態によれば、スライド画像から組織標本画像を切り出し、組織標本画像単位で評価した評価結果を表示位置によって病理医に報知することで、より有効な診断支援ができる。
[第2実施形態]
次に、本発明の第2実施形態に係る情報処理システムについて説明する。なお、第2実施形態乃至第8実施形態の情報処理システムにおいては、ネットワークを介して複数台の病理医の通信端末からスライド画像を受信する場合を示すが、1台の通信端末を対象にしても、あるいはスタンドアロンの機器により本実施形態の処理を実現してもよい。
本実施形態においては、スライド画像から切り出した組織標本画像に対して、特徴量に基づいて順位付けを行ない、その順位を病理医に伝達できるように各組織標本画像のサムネイル画像の表示位置を設定する。なお、本実施形態において、特徴量とは、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核***の数/割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むものである。
本実施形態によれば、サムネイル画像の表示位置によって、病理医が診断対象とすべき組織標本画像の順位情報が病理医に伝達される。
《情報処理システムの構成》
図2は、本実施形態に係る情報処理システム200の構成を示すブロック図である。
情報処理システム200は、ネットワーク250を介して接続された病理診断支援装置である情報処理装置210と、病理医240が操作可能であって病理診断支援を受ける通信端末230とを含む。なお、ネットワーク250は、病院内のLANであっても、病院外と接続する公衆回線や無線通信であってもよい。
情報処理装置210は、ネットワーク250を介する通信端末230との通信を制御する通信制御部211を有する。情報処理装置210は、スライド画像受信部212によって通信端末230からスライド画像を受信する。そして、情報処理装置210は、受信したスライド画像から、組織標本画像切り出し部213において個々の組織標本画像を切り出す。なお、情報処理装置210は、組織標本画像の輪郭部を抽出する画像処理技術等により、組織標本画像切り出し部213において個々の組織標本画像を切り出すことができる。そして、組織標本切り出し部213は、切り出された組織標本画像及びその組織標本画像が含まれるスライド画像を示すスライド情報を、その組織標本画像を特定する組織標本画像IDに対応付けて組織標本画像データベース(以下、DB)216(図5参照)に蓄積する。ここで、複数の通信端末230からスライド画像が受信された場合や、1つの通信端末230から異なる患者や部位のスライド画像が受信された場合、切り出された組織標本画像は、グループ分け部214により特定のグループにグループ分けされる。このグループ分けの処理については、後述する。
グループ分け部214は、複数の通信端末230からスライド画像が受信された場合や、1つの通信端末230から異なる患者や部位のスライド画像が受信された場合に、切り出された組織標本画像を同一患者ごとや関連組織である部位ごと等の組織標本画像グループにグループ分けする。したがって、1つの通信端末230から同じ患者の同じ部位のスライド画像が受信される場合は、グループ分けの必要は無いため、グループ分け部214は、グループ分けの処理を実行しなくてもよい。また、グループ分けの処理が実行された場合、グループ分け部214は、例えば図5に示すように、グループ分けに用いた患者IDや部位ID等の情報と、そのグループを特定するグループIDと対応付けたグループデータを、グループ分けされた組織標本画像と対応づけて組織標本画像DB216に蓄積する。サムネイル画像生成部215は、切り出された組織標本画像の1つ1つのサムネイル画像を生成する。生成されたサムネイル画像は、当該サムネイル画像の基となった組織標本画像の組織標本画像IDに対応付けて、組織標本画像DB216に蓄積される。
特定の通信端末230からのスライド画像の受信完了が通知された場合、あるいは通信端末からサムネイルリストの表示要求があった場合には、組織標本画像取得部217は組織標本画像DB216から対応する各組織標本画像を読み出す。そして、各組織標本画像の特徴量が、特徴量解析部218において対応する特徴量用データベース219(図6Aから図6E参照)の情報を用いて求められる。ここで、特徴量は1つであっても図3のように複数であってもよい。
(特徴量解析部と特徴量用DBとの構成)
図3は、複数の特徴量を解析する場合の、本実施形態に係る特徴量解析部218と特徴量用DB219との構成を示すブロック図である。特徴量解析部218は、第1特徴量解析部218−1、第2特徴量解析部218−2、...、第n特徴量解析部218−nを有している。また、特徴量用DB219は、第1特徴量用DB219−1、第2特徴量用DB219−2、...、第n特徴量用DB219−nを有している。各特徴量解析部218−1〜218−nは、それぞれに対応する特徴量用DB219−1〜219−nに蓄積された情報を用いて、組織標本画像取得部217からの各組織標本画像の特徴量を解析する。
特徴量解析部218が解析する特徴量としては、例えば、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核***の数/割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、が含まれる。また、特徴量解析部218が解析する特徴量として、上記特徴量のいずれかの組み合わせとすることもできる。
図2に戻って、表示位置設定部220は、特徴量解析部218からの各特徴量あるいはその組み合わせの特徴量に基づいて、病理医240が注目すべき順に組織標本画像に順位付けを行なう。そして、表示位置設定部220は、その順位が病理医240に伝達可能な通信端末230の表示画面上の表示位置を設定する。表示位置設定部220は、順位付け部221と、サムネイルリスト画像生成部222と、表示画面フォーマットDB223とを有する。
順位付け部221は、順位付けテーブル221a(図7参照)を用いて病理医240が注目すべき順に組織標本画像の順位付けを行なう。表示画面フォーマットDB223(図8参照)は、各通信端末230やアプリケーション、あるいは病理医240の要望に対応付けて、表示画面フォーマットを蓄積する。サムネイルリスト画像生成部222は、順位付け部221から受信した順位に従って、表示画面フォーマットDB223から読み出した表示画面フォーマット上に各組織標準画像のサムネイルを配置して、サムネイルリスト画像222aを生成する。
サムネイルリスト画像送信部224は、サムネイルリスト画像生成部222が生成したサムネイルリスト画像222aを組み込んだ通信端末230へのサムネイルリスト送信データ224aを生成して、通信制御部211を介して各対応通信端末230に送信する。なお、送信するデータはサムネイルリスト画像のみであっても、表示画面全体であってもよい。
なお、通信端末IDや病理医ID、あるいは患者IDなどによる、受信したスライド画像やサムネイルリストの問合せと送信するサムネイルリスト画像との同期については既知の技術であるので、図2においては説明を簡略化するため省略する。また、サムネイル画像の1つを選択した選択情報を受信して、そのサムネイル画像を拡大表示する(実際には、サムネイル画像に対応する高解像度の組織標本画像を表示する)処理は、本実施形態の主要な特徴ではないので図2への図示は省略した。なお、この処理を実現するためには、通信制御部211から選択情報を受信する選択情報受信部と、通信端末230に拡大表示を指示する拡大表示指示部とを設ければよい。
(通信端末の表示画面)
図4は、本実施形態に係る通信端末230の表示画面400を示す図である。なお、図4の表示画面のフォーマットは一例であって、通信端末230やアプリケーション、あるいは病理医240の要望によって、様々な表示画面フォーマットDB223から選択される。
図4においては、3つのエリアが表示されている。左側のエリアは、通信端末230から送信したスライド画像を表示するスライド画像エリア410である。中央のエリアは、本実施形態により生成された各組織標本画像のサムネイルを病理医240が注目すべき順に並べたサムネイルリスト画像のサムネイルリストエリア420である。なお、本例では上から下に病理医240が注目すべき順の降順で並べた例を示したが、昇順であっても、あるいはサムネイル画像の大小などであってもよく、病理医240に注目する順位が伝達できる表示であればよい。右側のエリアは、一番注目すべきサムネイル画像421に対応する組織標本画像を表示する組織標本画像エリア430である。なお、図4に示す例では、一番注目すべきサムネイル画像421がスライド画像411に含まれていたことが示されている。
なお、左側のスライド画像エリア410や中央のサムネイルリストエリア420は、スクロール可能であり、1画面では表示できない他のスライド画像やサムネイル画像が順次スクロールされる。
(組織標本画像DB)
図5は、本実施形態に係る組織標本画像DB216の構成を示す図である。
組織標本画像DB216は、受信したスライド画像から切り出した組織標本画像を、病理診断に一緒に使用すべきグループにグループ分けするためのグループデータ500と、各グループに属する組織標本画像および生成されたサムネイル画像を蓄積する画像データ510や520とを含む。グループデータ500には、グループIDに対応付けて、そのグループを特徴付ける病理医ID502、患者ID503、部位506、撮影日時507等が記憶される。また、グループデータ500には、患者を特徴付ける情報である患者の性別504や年齢505なども記憶される。組織標本画像DB216は、各グループID501(G0001/G0002)にそれぞれ対応付けて、画像データ510や520を記憶する。画像データ510や520には、各組織標本画像を識別する画像ID511/521に対応付けて、その画像が含まれていたスライド情報512/522、サムネイル画像513/523、組織標本画像514/524が記憶される。
(特徴量用DB)
以下に、図6A〜図6Eを参照して、特徴量を解析するためにあらかじめ用意された特徴量用DB219の例を示す。他の特徴量についても、同様な特徴量用DBが構成される。
図6Aは、本実施形態に係る特徴量用DB219の構成例219−1を示す図である。図6Aは、細胞核の大きさや形状による評価である核異型度を特徴量とする場合の特徴量用DBの構成例219−1である。
特徴量用DBの構成例219−1は、身体の部位にそれぞれ対応して、核の大きさ611、核の均一性612、クロマチンの分布613、核小体の分布614、核の形状615などの条件と、これらの条件対応付く核異型度のスコア610(特徴量の大小)とを記憶している。
図6Bは、本実施形態に係る特徴量用DB219の構成例219−2を示す図である。図6Bは、癌領域の分化の程度を表わす分化度を特徴量とする場合の特徴量用DBの構成例219−2である。
特徴量用DBの構成例219−2は、身体の部位にそれぞれ対応して、細胞の配列621、腺管形状622、核の大小不同性623などの条件と、これらの条件に対応付く分化度のスコア620(特徴量の大小)とを記憶している。なお、一般には、分化度は高分化状態、中分化状態、低分化状態と、レベル分けして判別する。その場合、特徴量用DBの構成例219−2は、既にレベル分けされている分化度を、その画像の分化度のスコア620に応じて割り当てて記憶してもよい。
図6Cは、本実施形態に係る特徴量用DB219の構成例219−3を示す図である。図6Cは、複数の細胞により形成された腺管などの評価である構造異型度として腺管異型度を特徴量とする場合の特徴量用DBの構成例219−3である。
特徴量用DBの構成例219−3は、身体の部位にそれぞれ対応して、管状や線状を含む腺管の形状631、腺管内の細胞核数632、基底部領域の細胞核の分布633などの条件と、これらの条件に対応付く構造(腺管)異型度のスコア630(特徴量の大小)とを記憶している。なお、かかる腺管異型度についての詳細は、特開2010−281636を参照されたい。
図6Dは、本実施形態に係る特徴量用DB219の構成例219−4を示す図である。図6Dは、病巣内の粘液領域の評価である粘液の度合いを特徴量とする場合の特徴量用DBの構成例219−4である。
特徴量用DBの構成例219−4は、身体の部位にそれぞれ対応して、病巣内に占める粘液の割合641、粘液中に浮遊する粘液以外の組織像の割合/分布642、印環細胞様異型度643などの条件と、これらの条件に対応付く粘液の度合いのスコア640(特徴量の大小)とを記憶している。なお、粘液領域の抽出方法については、例えば、特開2009−180539を参照されたい。
図6Eは、本実施形態に係る特徴量用DB219の構成例219−5を示す図である。図6Eは、図6Aの核異型度などを含んだトータルの癌細胞の病理組織学的悪性度評価である組織学的グレードを特徴量とする場合の特徴量用DBの構成例219−5である。
特徴量用DBの構成例219−5は、身体の部位にそれぞれ対応して、核異型度651、核***の数652の条件と、これらの条件に対応付く核グレードのスコア650(特徴量の大小)とを記憶している。さらに、特徴量用DBの構成例219−5は、核異型度651、核***の数652、及び構造異型度661の条件と、これらの条件に対応付く組織学的グレードのスコア660(特徴量の大小)とを記憶している。なお、構造異型度661としては、例えば腺管形成の程度が含まれる。
(順位付けテーブル)
図7は、本実施形態に係る順位付けテーブル221aの構成を示す図である。
順位付けテーブル221aは、各グループID701内において、各組織標本画像を識別する画像ID702に対応付けて各特徴量スコア703を記憶する。そして、順位付け部221、特徴量スコア703の全部あるいは一部(1つのみの特徴量を含む)から、スコア演算アルゴリズム704に従って、算出スコア705を算出する。スコア演算アルゴリズム704としては、例えば、図7には各特徴量スコア(XiやYiで示す)に重み(aiやbiやciで示す)を掛けた和である重み付け和が使用される。しかし、これは一例であり、スコア演算アルゴリズム704はこれに限定されない。
順位付け部221は、特徴量スコア703の全部あるいは一部からスコア演算アルゴリズム704に従って算出された算出スコア705をソートすることによって、グループ内の各組織標本画像に対して病理医240が注目すべき(重要度)順位706を付ける。
(表示画面フォーマットDB)
図8は、本実施形態に係る表示画面フォーマットDB223の構成を示す図である。
本実施形態のように、ネットワーク250を介して複数の通信端末230によって複数の病理医240の診断支援をする場合には、様々な通信端末230が接続され、病理医240にとって様々な表示フォーマットの要望があり得る。したがって、本実施例では、表示画面フォーマットDB223は、複数の表示アプリケーションや複数のサムネイルリスト表示フォーマットを記憶して対応する。しかしながら、スタンドアロンの装置の診断支援プログラムや、同じ病院内のシステムである場合には、表示画面フォーマットDB223は、共通の表示アプリケーションや共通のサムネイルリスト表示フォーマットを記憶していてもよい。
表示画面フォーマットDB223は、通信端末機種801や表示部機種802に対応付けて、適応可能な表示アプリケーション803、表示フォーマット804、サムネイルリスト表示フォーマット805を記憶している。病理医240は、通信端末230からの選択指示により、表示フォーマット804やサムネイルリスト表示フォーマット805を選択可能である。
(サムネイルリスト)
図9は、本実施形態に係るサムネイルリスト画像222aの構成を示す図である。かかるサムネイルリスト画像222aがサムネイルリスト画像生成部222で生成されて、サムネイルリスト画像送信部224に送られる。
サムネイルリスト画像222aは、グループID901ごとに、病理医240が注目すべき順位902と、表示位置903と、その表示位置に表示すべき組織標本画像の画像ID904と、サムネイル画像905とを記憶する。ここで、表示位置903は、通信端末230の表示画面上の絶対座標であっても、サムネイルリスト表示フォーマット805中の相対座標であってもよい。しなしながら、図4の表示画面のようにサムネイルリストのスクロールを実現するためには相対座標であるのが望ましい。
(サムネイルリスト送信データ)
図10は、本実施形態に係るサムネイルリスト送信データ224aの構成を示す図である。なお、図10においては、サムネイルリスト画像送信部224が、図4に示した1画面を送信する場合を説明する。サムネイルリスト画像送信部224は、サムネイルリストエリア420に表示するサムネイルリスト画像のみを送信して、通信端末230で他のエリアに表示する画像と合成してもよい。
サムネイルリスト送信データ224aは、ヘッダ1011、通信端末230の送信先アドレス1012、情報処理装置210の送信元アドレス1013、表示画面データである送信データ1014、誤り訂正1015を含む。
表示画面データである送信データ1014は、図4の左側に表示されるスライド画像エリア410の表示データ1021と、図4の中央に表示されるサムネイルリストエリア420の表示データ1022と、図4の右側に表示される組織標本画像エリア430の表示データ1023とを含む。
《情報処理装置のハードウェア構成》
図11は、本実施形態に係る情報処理装置210のハードウェア構成を示す図である。
図11で、CPU1110は演算制御用のプロセッサであり、プログラムを実行することで図2の情報処理装置210の各機能構成部を実現する。ROM1120は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部211は、病理医の通信端末230と通信する。なお、通信は無線でも有線でもよい。
RAM1140は、CPU1110が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1140には、本実施形態の実現に必要なデータを記憶する領域が確保されている。1141は、病理医の通信端末230からネットワーク250を介して受信したスライド画像を記憶する領域である。1142は、スライド画像1141を送信した通信端末230の通信端末IDや病理医IDなどの、スライド画像1141を特定する情報を記憶する領域である。スライド画像1141を特定する情報1142には、例えば、患者IDや組織標本を採取した部位、性別、年齢、病歴なども含まれる。1143は、スライド画像1141から切り出された各組織標本画像を記憶する領域である。1144は、切り出された各組織標本画像のサムネイル画像を記憶する領域である。1145は、特徴量解析によって算出された1つまたは複数の特徴量を記憶する領域である。1146は、算出された1つまたは複数の特徴量1145に基づいて、組織標本画像1143(サムネイル画像1144)に付けられた順位(スコア)を記憶する領域である。222aは、各サムネイル画像1144にその順位に従って表示位置を割り当てて生成されたサムネイルリスト画像を記憶する領域である(図9参照)。224aは、対応する通信端末230に送信されるサムネイルリスト送信データを記憶する領域である(図10参照)。
ストレージ1150は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。216は、受信したスライド画像から切り出された組織標本画像をサムネイル画像と対応付けて蓄積する組織標本画像DBである(図5参照)。219は、特徴量用DBである(図6A〜図6E参照)。223は、表示画面フォーマットDBである(図8参照)。ストレージ1150には、以下のプログラムが格納される。1151は、全体の処理を実行させる病理診断支援プログラムである情報処理プログラムである。1152は、情報処理プログラム1151において、受信したスライド画像から組織標本画像を切り出す組織標本画像切り出しモジュールである。1153は、情報処理プログラム1151において、各組織標本画像からサムネイル画像を生成するサムネイル画像生成モジュールである。1154は、情報処理プログラム1151において、切り出された組織標本画像をグループ分けするグループ分けモジュールである。1155は、情報処理プログラム1151において、組織標本画像の特徴量を解析する特徴量解析モジュールである。1156は、情報処理プログラム1151において、1つまたは複数の特徴量に基づいて組織標本画像の順位付けを行なう順位付けモジュールである。1157は、情報処理プログラム1151において、順位が病理医に伝達可能にサムネイル画像を配置したサムネイルリスト画像を生成するサムネイルリスト画像生成モジュールである。1158は、情報処理プログラム1151において、通信端末230との通信制御部211による通信を制御する通信制御モジュールである。
なお、図11には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
《情報処理装置の処理手順》
図12、本実施形態に係る情報処理装置210の処理手順を示すフローチャートである。このフローチャートでは、図11のCPU1110がRAM1140を使用しながら実行し、図2の情報処理装置210の機能構成部を実現する。
まず、ステップS1211において、通信端末230からスライド画像を受信したか否かが判定される。また、ステップS1231において、通信端末230からサムネイルリストの要求があったか否かが判定される。そして、ステップS1241において、サムネイルリストから1つのサムネイル画像が選択された選択情報を受信したか否かが判定される。いずれのステップにおいてもNOであれば、他の処理を行なう。ここで、ステップS1211、ステップS1231、及びステップS1241の実行順序は、その記載の順番に制限されない。本実施形態において、図示される工程の順番を内容的に支障のない範囲で変更することができる。
スライド画像の受信であればステップS1213に進んで、情報処理装置210は、スライド画像から組織標本画像を切り出す。情報処理装置210は、組織標本画像の輪郭部を抽出する画像処理技術等によりかかる組織標本画像を切り出すことができる。次に、ステップS1215において、情報処理装置210は、切り出された各組織標本画像をグループ分けする。情報処理装置210は、例えば、その組織標本画像を送信した病理医を特定可能な病理医ID、その組織標本画像と対応する患者を示す患者ID、又はその組織標本画像に映っている部位を示す部位ID等のグループデータに従って、組織標本画像をグループ分けする。そして、ステップS1217において、情報処理装置210は、各組織標本画像のサムネイル画像を生成する。そして、ステップS1219において、情報処理装置210は、ステップS1213で切り出された組織標本画像及びスライド情報と、ステップS1215でグループ分けに用いられたグループデータと、ステップS1217で生成されたサムネイル画像とを対応付けて組織標本画像DB216に蓄積する。
次に、ステップS1221において、情報処理装置210は、組織標本画像DB216から同じグループに属する組織標本画像をそれぞれ順に取得する。そして、ステップS1223において、情報処理装置210は、取得した各組織標本画像の特徴量を特徴量DB219を参照して解析し、その特徴量のスコアを算出する。
そして、ステップS1225において、情報処理装置210は、組織標本画像の各特徴量からスコア演算アルゴリズムに従って算出される算出スコアに基づいてソートを行う等して、同じグループの組織標本画像の順位付けを行なう。そして、ステップS1227において、情報処理装置210は、表示画面フォーマットDB223を参照し、通信端末230の表示画面によって病理医240に順位が伝達可能となるようにS1225の順位付けに従ってサムネイル画像を配置した、サムネイルリスト画像を生成する。そして、ステップS1229において、情報処理装置210は、生成されたサムネイルリスト画像を、スライド画像を受信した通信端末230に送信する。
一方、サムネイルリスト表示の要求が通信端末230からあれば、情報処理装置210は、通信端末IDや病理医ID、患者IDおよび部位などの情報を取得して、ステップS1221に進む。そして、情報処理装置210は、取得された情報に対応するグループについてステップS1221〜S1229を実行して、要求のあった通信端末230にサムネイルリストを表示する。
サムネイルリストの表示中に、1つのサムネイル画像の選択があれば、情報処理装置210は、ステップS1243に進んで、選択されたサムネイル画像に対応する組織標本画像を組織標本画像DB216から読み出す。そして、ステップS1245において、情報処理装置210は、拡大した組織標本画像の表示位置を設定する。本例では、図4のように、表示画面の右半分に拡大された組織表示画像の表示位置を設定する。そして、ステップS1247において、情報処理装置210は、ステップS1245で処理された組織標本画像を通信端末230へ送信する。通信端末230は、設定された表示位置に拡大された組織標本画像を表示する。ここで、例えば、組織標本画像はスライドの撮影時に解像度が最大の画像データが得られており、組織標本画像DB216に最大解像度の組織標本画像が蓄積されていれば、情報処理装置210はこれを送信することになる。また、最大解像度の組織標本画像が組織標本画像SDB216に蓄積されていない場合は、情報処理装置210は、通信端末230において最大解像度の組織標本画像を取得して、組織標本画像エリア430に表示することになる。
[第3実施形態]
次に、本発明の第3実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、病理医が通信端末から順位付けの基準となるデータを選択あるいは設定可能な構成とした点で異なる。本実施形態においては、順位付けの基準となるデータの選択あるいは設定のための構成について説明する。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医がその経験と能力とに応じて、診断対象とする組織標本画像の順位を決めることができるので、迅速な診断が可能となる。
《情報処理システムの構成》
図13は、本実施形態に係る情報処理システム1300の構成を示すブロック図である。図13において、第2実施形態の図2と異なる特徴的な構成は、順位付け基準受付部1325と、表示位置設定部1320である。表示位置設定部1320においては、順位付け部1321が相違する。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
順位付け基準受付部1325は、通信端末230から病理医240によって設定された順位付けの基準を受け付ける。順位付け部1321は、順位付け基準受付部1325が受け付けた基準により順位付けテーブル1321aを作成して、病理医240が所望する順位で組織標本画像の順位付けを行なう。
(順位付けテーブル)
図14は、本実施形態に係る順位付けテーブル1321aの構成を示す図である。順位付けテーブル1321aは、基本的に図7の順位付けテーブル221aと同様であり、同じ欄には同じ参照番号を付して説明は省略する。
図14は、順位付け基準受付部1325が受け付けた順位付け基準を、病理医が設定したスコア演算アルゴリズム1404として書き換え可能に記憶している。したがって、算出スコア1405およびそれをソートした結果の順位1406は、病理医240の設定によって異なってくる。なお、本実施形態では、通信端末230から送信された順位付けの基準によりスコア演算アルゴリズム1404を書き換える例を説明したが、例えば、情報処理装置1310は、通信端末30から特徴量の設定指示を受け付け、新たな特徴量の追加や使用しない特徴量の削除等の操作を行うこともできる。
[第4実施形態]
次に、本発明の第4実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、特徴量を軸として多次元空間に組織標本画像のサムネイル画像を配置して表示する点で異なる。本実施形態においては、特徴量を軸として組織標本画像のサムネイル画像を多次元に配置するための構成とその動作について説明する。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医がその経験と能力とに応じて、診断対象とする組織標本画像を表示位置から容易に判断することができるので、迅速で正確な診断が可能となる。
《情報処理システムの構成》
図15は、本実施形態に係る情報処理システム1500の構成を示すブロック図である。図15において、図2および図3と異なる特徴的な構成は、表示位置設定部1520と、サムネイル配置画像送信部1524である。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
本実施形態の表示位置設定部1520は、多次元のサムネイル画像配置部1522と表示画面フォーマットDB1523とを有する。表示画面フォーマットDB1523は、表示画面上のどこに、どの方向を特徴量の軸としてサムネイル画像を配置するかを定めるフォーマットを保持している(図示せず)。多次元のサムネイル画像配置部1522は、表示画面フォーマットDB1523から読み出したフォーマットと、多次元配置テーブル1522aとを使用し、各特徴量を軸としてその特徴量の大小に従ってサムネイル画像を多次元に配置する。なお、実際の表示画面では、3次元を超える多次元では表示が病理医240の診断支援にならない可能性があるので、2次元又は3次元表示とすることが好ましい。
サムネイル配置画像送信部1524は、多次元のサムネイル画像配置部1522により生成されたサムネイル配置画像に基づいてサムネイル配置データ1524aを対応する通信端末230に送信する。
(通信端末の表示画面)
図16は、本実施形態に係る通信端末230の表示画面を示す図である。なお、図16の表示画面のフォーマットは一例であって、通信端末230やアプリケーション、あるいは病理医240の要望によって、表示画面フォーマットDB1523から選択される。
図16においては、2つのエリアが表示されている。左側のエリアは、図4と同様の、通信端末230から送信したスライド画像を表示するスライド画像エリア410である。右側のエリアは、あらかじめ設定された特徴量を軸としてその大小に従って2次元(又は3次元)にサムネイル画像が配置されたサムネイル配置エリア1620である。
図16には、特徴量1を横軸に特徴量2を縦軸に取ったサムネイル画像の2次元配置が図示されている。軸となる特徴量は、例えば、特徴量1を核異型度(図6A参照)とし、特徴量2を構造(腺管)異型度(図6C参照)とすることができる。さらに、3次元配置とする場合は、特徴量3を3D表示による遠近軸とすることが可能である。この場合の特徴量3としては、例えば、粘液の度合い(図6D参照)とすることができる。なお、軸とする特徴量はこれに限定されない。
(多次元配置テーブル)
図17Aは、本実施形態に係る多次元配置テーブル1522aの構成を示すブロック図である。
多次元配置テーブル1522aは、各グループID1701内において、各組織標本画像を識別する画像ID1702に対応付けて、サムネイル画像1703と、特徴量1スコアおよび対応する横軸配置位置1704、特徴量2スコアおよび対応する縦軸配置位置1705を記憶する。3次元の場合には、さらに、特徴量3スコアおよび対応する3次元配置位置1706を記憶する。
(サムネイル配置データ)
図17Bは、本実施形態に係るサムネイル配置データ1524aの構成を示す図である。なお、図17Bにおいては、サムネイル配置画像送信部1524が、図16に示した1画面を送信する場合を説明する。サムネイル配置画像送信部1524は、サムネイル配置エリア1620に表示するサムネイル配置画像のみを送信して、通信端末230で他のエリアに表示する画像と合成してもよい。また、図17Bにおいて、図10との相違点は送信データのみであるので、他の構成には図10と同じ参照番号を付して説明は省略する。
表示画面データである送信データ1714は、図16の左側のエリアに表示されるスライド画像エリア410の表示データ1021と、図16の右側のエリアに表示される2次元または3次元の軸を表示する表示データ1722と、図16の右側のエリアに配置されるサムネイル画像の表示データ1723とを含む。
《情報処理装置の処理手順》
図18は、本実施形態に係る情報処理装置1510の処理手順を示すフローチャートである。このフローチャートは、図11のCPU1110がRAM1140を使用しながら実行し、図15の情報処理装置1510の機能構成部を実現する。なお、第2実施形態の図12と同様の処理は図示しない、あるいは同じステップ番号を付して説明を省略する。
まず、ステップS1211において、通信端末230からスライド画像を受信したか否かが判定される。また、ステップS1831において、通信端末230から多次元サムネイル表示の要求があったか否かが判定される。ここで、ステップS1211、及びステップS1831の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
スライド画像の受信であればステップS1213に進んで、情報処理装置1510は、以下ステップS1223までを実行する。次にステップS1825において、情報処理装置1510は、解析によりスコアが付けられた特徴量の中から、表示の軸とする特徴量を選択する。続いて、ステップS1827において、情報処理装置1510は、表示画面フォーマットDB1723を参照して、各軸とする特徴量のスコアに従ってサムネイル配置画像を生成する。ステップS1829において、情報処理装置1510は、生成されたサムネイル配置画像に対応するサムネイル配置データ1524aを、スライド画像を受信した通信端末230に送信する。
一方、通信端末230から多次元サムネイル表示の要求があった場合にはステップS1221に進んで、以下、ステップS1221からステップS1829を実行してサムネイル配置画像を生成し、多次元サムネイル表示を要求した通信端末230にサムネイル配置データ1524aを送信する。
[第5実施形態]
次に、本発明の第5実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第4実施形態と比べると、多次元に配置する特徴量の軸を病理医が通信端末から選択可能である点で異なる。本実施形態においては、軸とする特徴量を設定する構成について説明する。その他の構成および動作は、第4実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医がその経験と能力とに応じて、診断対象とする組織標本画像を選択するための軸となる特徴量を設定することができるので、生体部位や症状に適応した迅速で正確な診断が可能となる。
《情報処理システムの構成》
図19は、本実施形態に係る情報処理システム1900の構成を示すブロック図である。図19において、第4実施形態の図15と異なる特徴的な構成は、特徴量選択情報受付部1927と、特徴量選択部1926とである。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
特徴量選択情報受付部1927は、病理医240によって設定された多次元表示の軸とする特徴量の選択指示を通信端末230から受け付ける。特徴量選択部1926は、特徴量選択情報受付部1927が受け付けた選択指示に従って特徴量を選択することで、病理医240が所望とする特徴量の軸によるサムネイル画像の多次元表示を行なう。
[第6実施形態]
次に、本発明の第6実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、各組織標本画像の絶対的評価を色で病理医に報知する点で異なる。本実施形態においては、配色するための構成について説明する。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医に、診断対象とすべき組織標本画像の順位を報知すると共に、その組織標本画像の病理的緊急度が色で報知されるので、患者の状態に適応した迅速で正確な診断が可能となる。
《情報処理システムの構成》
図20は、本実施形態に係る情報処理システム2000の構成を示すブロック図である。図20において、第2実施形態の図2と異なる特徴的な構成は、サムネイル配色部2028と配色DB2029とオプションの配色指示情報受付部2030である。また、これらの構成の追加によって、表示位置設定部2020が変更されている。表示位置設定部2020においては、サムネイルリスト画像生成部2022が相違する。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
配色DB2029は、各サムネイル画像に対して色相や色の輝度等を配色する配色グループを格納している。サムネイル配色部2028は、配色DB2029を参照して、順位付け部221で順位付けされたサムネイル画像の特徴量のスコアに対応する配色グループを読出す。そして、サムネイルリスト画像生成部2022は、読み出された配色グループに従い、各サムネイル画像の配色を行なう。これにより、相対的な順位のみでなく特徴量のスコアの絶対値を病理医240が認識可能とする。また、オプションの配色指示情報受付部2030は、各サムネイルを色相によって配色するか、色の輝度によって配色するかといった設定を病理医240が指示可能とするための構成である。
表示位置設定部2020のサムネイルリスト画像生成部2022は、上述したように、サムネイル配色部2028が特徴量スコアに応じて配色DB2029から読み出した配色グループに従って、各サムネイル画像を配色したサムネイルリスト画像を生成する。なお、色分けされたサムネイルリスト画像は、例えば、第2実施形態の図9に示すようなデータに、さらに色データが追加されたものである。
(配色DB)
図21は、本実施形態に係る配色DB2029の構成を示す図である。
配色DB2029は、特徴量スコアの範囲に対応する色相を示す、第1色相グループ2101や第2色相グループ2102などを記憶している。また、配色DB2029は、同様に、1つの色の輝度値として、例えば、赤(R)の輝度値2103、緑(G)の輝度値2104、青(B)の輝度値2105を記憶している。情報処理装置2010は、例えば、各特徴量スコアである第1特徴量スコア2106、第2特徴量スコア2107、第n特徴量スコア2108の範囲に応じて、それぞれ異なる色相や輝度の色を配色する。また、情報処理装置2010は、複数の特徴量を基に得られた評価スコア2109の範囲に応じて、それぞれ異なる色相や輝度の色を配色することもできる。
なお、赤(R)の輝度値2103、緑(G)の輝度値2104、青(B)の輝度値2105は、3つの特徴量スコアの範囲にそれぞれ対応させれば、色味の違いから3つの特徴量スコアが認識可能となる。
[第7実施形態]
次に、本発明の第7実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第4実施形態と比べると、特徴量を軸とする多次元の位置への表示に加えて、各組織標本画像の絶対的評価を色で病理医に報知する点で異なる。本実施形態においては、配色するための構成について説明する。その他の構成および動作は、第4実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医に、診断対象とすべき組織標本画像の複数の特徴量を表示位置で報知すると共に、その組織標本画像の病理的緊急度が色で報知されるので、患者の状態に適応した迅速で正確な診断が可能となる。
《情報処理システムの構成》
図22は、本実施形態に係る情報処理システム2200の構成を示すブロック図である。図22において、第4実施形態の図15と異なる特徴的な構成は、サムネイル配色部2228と配色DB2229とオプションの配色指示情報受付部2230である。また、これらの構成の追加によって、表示位置設定部2220が変更されている。表示位置設定部2220においては、順位付け部2221と順位付けテーブル2221aが追加され、多次元のサムネイル画像配置部2222と多次元配置テーブル2222aが相違する。その他の構成および動作は、第2実施形態と同様であるため、その詳しい説明を省略する。
ここで、サムネイル配色部2228、配色DB2229、配色指示情報受付部2230については、その構成が第6実施形態のサムネイル配色部2028、配色DB2029、配色指示情報受付部2030と同様であるので、説明は省略する。また、表示位置設定部2220に追加された順位付け部2221と順位付けテーブル2221aとは、第2実施形態と同様であるので説明は省略する。本実施形態では、この順位付け部2221の順位がサムネイル配色部2228に通知されてサムネイル画像への配色が決定する。
表示位置設定部2220の多次元のサムネイル画像配置部2222は、サムネイル配色部2228がサムネイル画像の特徴量スコアに応じて配色DB2029から読み出した配色グループに従って、当該サムネイル画像を配色し、多次元にサムネイル画像を配置する。なお、色分けされたサムネイル配置画像については、例えば、第4実施形態の図17に示すようなデータに、さらに色データが追加されたものである。
[第8実施形態]
次に、本発明の第8実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態および第4実施形態と比べると、順位付けによる位置表示と特徴量を軸とする多次元の位置への表示とを、病理医が選択可能とした点で異なる。本実施形態においては、病理医が選択するための構成について説明する。その他の構成および動作は、第2実施形態または第4実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医が、順位付けによる位置表示と特徴量を軸とする多次元の位置への表示とを選択できるので、病理医の経験や能力に応じて患者の状態に適応した迅速で正確な診断が可能となる。
(通信端末の表示画面)
図23は、本実施形態に係る通信端末230の表示画面示す図である。なお、図23の表示画面のフォーマットは一例であって、通信端末230やアプリケーション、あるいは病理医240の要望によって任意に選択されてもよい。
図23は、第2実施形態の図4に示すような画面や第4実施形態の図16に示すような画面を表示する前に、図4の順位リスト表示を行うか、又は図16の多次元表示を行うかを選択するための画面である。図23の表示画面は、受信したスライド画像を表示するスライド画像エリア410と、順位リスト表示を行うか、又は多次元表示を行うかを選択指示するための表示フォーマットエリア2310とを有する。そして、表示フォーマットエリア2310で、順位リスト表示が選択されるとサムネイルリストエリア420が表示され、多次元表示が選択されるとサムネイル配置エリア1620が表示される。
表示フォーマットエリア2310は、上述したように、順位リスト表示を行うか、または多次元表示を行うかを選択指示する指示ボタン2311、色分けをする場合の設定ボタン2312、オプションである模様分けの設定ボタン2313が含まれる。また、指示および選択を有効にするOKボタン2314と、指示および設定のクリアあるいは前の画面に戻るための戻るボタン2315とが含まれる。なお、表示フォーマットエリア2310の構成は本例に限定されない。
[他の実施形態]
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。
この出願は、2011年8月23日に出願された日本出願特願2011−182041号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

  1. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
    複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
    前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核***の数/割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする請求項1に記載の情報処理装置。
  3. 前記縮小画像はサムネイル画像であることを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記表示位置設定手段は、前記各組織標本画像が有する特徴量に基づいて前記各組織標本画像の順位を付ける順位付け手段を有し、
    前記各組織標本画像の縮小画像を前記順位付け手段により付けられた順位に従って表示する表示位置を設定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記順位付け手段は、前記各組織標本画像が有する複数の特徴量の重み付け和の値の順に順位付けすることを特徴とする請求項4に記載の情報処理装置。
  6. 前記各組織標本画像の順位を付ける順位付け基準の設定を受け付ける順位付け基準受付手段をさらに備え、
    前記順位付け手段は、前記順位付け基準受付手段が受け付けた順位付け基準と前記各組織標本画像が有する特徴量とに基づいて前記各組織標本画像の順位を付けることを特徴とする請求項4に記載の情報処理装置。
  7. 前記表示位置設定手段は、前記各組織標本画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  8. 前記複数の特徴量を選択する特徴量選択手段をさらに備えることを特徴とする請求項7に記載の情報処理装置。
  9. 前記複数の組織標本画像を含む複数のスライド画像をネットワークを介して受信するスライド画像受信手段と、
    前記各組織標本画像の縮小画像を表示位置を示す情報を伴ってネットワークを介して送信する送信手段と、
    をさらに備えることを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記送信手段は、前記縮小画像に対応する前記組織標本画像を読み込んだスライド画像および該スライド画像上の位置を識別する情報を前記縮小画像に対応付けて送信することを特徴とする請求項9に記載の情報処理装置。
  11. 前記送信手段が送信した縮小画像への選択情報を受信する選択情報受信手段と、
    前記受信した選択情報が選択する縮小画像を拡大表示すべく指示する拡大表示手段と、
    をさらに備えることを特徴とする請求項9または10に記載の情報処理装置。
  12. 前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段をさらに備えることを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
    複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
    前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
    を含むことを特徴とする情報処理装置の制御方法。
  14. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
    複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
    前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
    をコンピュータに実行させることを特徴とする制御プログラム。
  15. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
    前記撮像した組織標本画像を取得する取得手段と、
    複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
    前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
    前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
    を備えることを特徴とする情報処理システム。
  16. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
    前記撮像した組織標本画像を取得する取得ステップと、
    複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
    前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
    前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
    を含むことを特徴とする情報処理方法。
JP2013529876A 2011-08-23 2012-08-22 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム Active JP5862671B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013529876A JP5862671B2 (ja) 2011-08-23 2012-08-22 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011182041 2011-08-23
JP2011182041 2011-08-23
JP2013529876A JP5862671B2 (ja) 2011-08-23 2012-08-22 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
PCT/JP2012/005265 WO2013027399A1 (ja) 2011-08-23 2012-08-22 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2013027399A1 true JPWO2013027399A1 (ja) 2015-03-05
JP5862671B2 JP5862671B2 (ja) 2016-02-16

Family

ID=47746159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013529876A Active JP5862671B2 (ja) 2011-08-23 2012-08-22 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Country Status (3)

Country Link
US (1) US20140193052A1 (ja)
JP (1) JP5862671B2 (ja)
WO (1) WO2013027399A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5862671B2 (ja) * 2011-08-23 2016-02-16 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
KR20150095646A (ko) * 2012-12-06 2015-08-21 클래리언트 다이아그노스틱 서비시즈, 인크. 바이오마커 발현의 선택 및 디스플레이
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6168426B2 (ja) * 2013-09-19 2017-07-26 学校法人慶應義塾 疾患分析装置、制御方法、及びプログラム
JP6772066B2 (ja) * 2014-04-03 2020-10-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像を処理して解析するための検査装置
JP6670757B2 (ja) * 2014-12-26 2020-03-25 国立大学法人 東京大学 判定装置、解析方法、および解析プログラム
CN109585015A (zh) * 2019-01-21 2019-04-05 兰州大学 一种淋巴瘤病理类型智能分类***和方法
CN110689958A (zh) * 2019-09-09 2020-01-14 杭州憶盛医疗科技有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
JP7431592B2 (ja) 2020-01-29 2024-02-15 株式会社Screenホールディングス 画像処理装置、画像処理システムおよび画像処理方法
WO2023278205A1 (en) * 2021-06-28 2023-01-05 Gestalt Diagnostics, LLC Methods, apparatuses, and computer-readable media for enhancing digital pathology platform
USD1027977S1 (en) 2021-06-28 2024-05-21 Gestalt Diagnostics, LLC Display screen or portion thereof having a graphical user interface

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004150895A (ja) * 2002-10-29 2004-05-27 Natl Inst Of Radiological Sciences 標本画像データ処理方法及び標本検査システム
JP2004150896A (ja) * 2002-10-29 2004-05-27 Natl Inst Of Radiological Sciences 標本検査方法及びシステム
JP2009105594A (ja) * 2007-10-23 2009-05-14 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2009110360A (ja) * 2007-10-31 2009-05-21 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP4374139B2 (ja) * 1998-02-25 2009-12-02 ザ ユナイテッド ステイツ オブ アメリカ リプレゼンティッド バイ ザ シークレタリー デパートメント オブ ヘルス アンド ヒューマン サービシーズ 迅速な分子プロファイリングのための腫瘍組織マイクロアレイ
JP2010509870A (ja) * 2006-11-07 2010-03-25 クゥアルコム・インコーポレイテッド 無線通信システムにおけるsrns再割当のための方法及び装置
JP2010511889A (ja) * 2006-12-06 2010-04-15 スンミン ソン レシピエントブロックのモルド及びその用途
JP2010151647A (ja) * 2008-12-25 2010-07-08 Sysmex Corp 細胞画像表示装置
WO2010083252A2 (en) * 2009-01-14 2010-07-22 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Ratio based biomarkers and methods of use thereof
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2010281637A (ja) * 2009-06-03 2010-12-16 Nec Corp 病理画像診断システム、病理画像診断方法、病理画像診断プログラム
JP2011099823A (ja) * 2009-11-09 2011-05-19 Olympus Corp バーチャル顕微鏡システム
WO2013027399A1 (ja) * 2011-08-23 2013-02-28 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259807B1 (en) * 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
US7885448B2 (en) * 2001-03-19 2011-02-08 Dmetrix, Inc. Diagnostic scanning microscope for information-enriched qualitative histopathology
ATE441857T1 (de) * 2001-07-10 2009-09-15 Univ Leland Stanford Junior Verfahren und zusammensetzungen zum nachweis des aktivierungszustands multipler proteine in einzelzellen
CA2467563A1 (en) * 2001-11-20 2003-05-30 Genentech, Inc. Cell and tissue arrays and microarrays and methods of use
WO2005050563A2 (en) * 2003-11-17 2005-06-02 Aureon Biosciences Corporation Pathological tissue mapping
US7826652B2 (en) * 2006-12-19 2010-11-02 Cytyc Corporation Method for forming an optimally exposed image of cytological specimen
US8483803B2 (en) * 2008-09-15 2013-07-09 Varian Medical Systems, Inc. Systems and methods for tracking and targeting object in a patient using imaging techniques
US8405392B2 (en) * 2008-12-19 2013-03-26 Sloan Kettering Institute For Cancer Research Corrected nuclear magnetic resonance imaging using magnetization transfer

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4374139B2 (ja) * 1998-02-25 2009-12-02 ザ ユナイテッド ステイツ オブ アメリカ リプレゼンティッド バイ ザ シークレタリー デパートメント オブ ヘルス アンド ヒューマン サービシーズ 迅速な分子プロファイリングのための腫瘍組織マイクロアレイ
JP2004150896A (ja) * 2002-10-29 2004-05-27 Natl Inst Of Radiological Sciences 標本検査方法及びシステム
JP2004150895A (ja) * 2002-10-29 2004-05-27 Natl Inst Of Radiological Sciences 標本画像データ処理方法及び標本検査システム
JP2010509870A (ja) * 2006-11-07 2010-03-25 クゥアルコム・インコーポレイテッド 無線通信システムにおけるsrns再割当のための方法及び装置
JP2010511889A (ja) * 2006-12-06 2010-04-15 スンミン ソン レシピエントブロックのモルド及びその用途
JP2009105594A (ja) * 2007-10-23 2009-05-14 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2009110360A (ja) * 2007-10-31 2009-05-21 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP2010151647A (ja) * 2008-12-25 2010-07-08 Sysmex Corp 細胞画像表示装置
WO2010083252A2 (en) * 2009-01-14 2010-07-22 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Ratio based biomarkers and methods of use thereof
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2010281637A (ja) * 2009-06-03 2010-12-16 Nec Corp 病理画像診断システム、病理画像診断方法、病理画像診断プログラム
JP2011099823A (ja) * 2009-11-09 2011-05-19 Olympus Corp バーチャル顕微鏡システム
WO2013027399A1 (ja) * 2011-08-23 2013-02-28 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US20140193052A1 (en) * 2011-08-23 2014-07-10 Yoshiko Yoshihara Information processing system, information processing method, information processing apparatus, control method thereof and control program

Also Published As

Publication number Publication date
WO2013027399A1 (ja) 2013-02-28
US20140193052A1 (en) 2014-07-10
JP5862671B2 (ja) 2016-02-16

Similar Documents

Publication Publication Date Title
JP5862671B2 (ja) 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US20130088512A1 (en) Examination information display device and method
JP6643379B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP1654626B1 (en) Methods and system for intelligent qualitative and quantitative analysis for medical diagnosis
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
US8194954B2 (en) Medical report system, and medical report making apparatus and method
JP4739225B2 (ja) 高スループットイメージング環境のためのワークフロー最適化
JP6134315B2 (ja) 画像データにおける所見の解剖学的タグ付けの方法
JP6023189B2 (ja) 一連の調査の画像データ内における発見の解剖学的タグ付け
JP5257958B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP6198729B2 (ja) 解剖学的タグ付けを用いた臨床発見管理によって容易化された検査レビュー
WO2015146520A1 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
US9020304B2 (en) Method for loading medical image data and device for performing the method
US8566727B2 (en) Method and system for automating a user interface
JP2007287018A (ja) 診断支援システム
CN102194059A (zh) 一种用于医学信息***的可视化索引***
JP2014127011A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2009018048A (ja) 医用画像表示装置、方法及びプログラム
JP5780306B2 (ja) 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP2010182018A (ja) 医用画像表示システム及びその画像表示方法
CN102573641A (zh) 图像处理装置及图像处理方法
JP2014067344A (ja) グラフ作成装置およびグラフ作成方法並びにグラフ作成プログラム
JP2010015504A (ja) 医用情報作成装置および医用情報表示装置
JP2004181041A (ja) 画像解析装置、画像解析装置用機能マップ作成手段、画像解析方法および画像解析プログラム
JP5702943B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5862671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150