JP7385241B2 - 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム - Google Patents

画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム Download PDF

Info

Publication number
JP7385241B2
JP7385241B2 JP2019113730A JP2019113730A JP7385241B2 JP 7385241 B2 JP7385241 B2 JP 7385241B2 JP 2019113730 A JP2019113730 A JP 2019113730A JP 2019113730 A JP2019113730 A JP 2019113730A JP 7385241 B2 JP7385241 B2 JP 7385241B2
Authority
JP
Japan
Prior art keywords
image
feature amount
image extraction
pathological
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019113730A
Other languages
English (en)
Other versions
JP2020205013A (ja
Inventor
俊平 石川
大輔 河村
昭宏 河辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2019113730A priority Critical patent/JP7385241B2/ja
Priority to US17/620,328 priority patent/US20220245804A1/en
Priority to PCT/JP2020/023749 priority patent/WO2020256011A1/ja
Publication of JP2020205013A publication Critical patent/JP2020205013A/ja
Application granted granted Critical
Publication of JP7385241B2 publication Critical patent/JP7385241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

特許法第３０条第２項適用 （１）平成３０年６月２０日に次世代病理技術講習会にて発表
特許法第３０条第２項適用 （２）－（３）平成３０年６月２１日に第１０７回日本病理学会総会にて２件発表
特許法第３０条第２項適用 （４）平成３０年６月２２日に第１０７回日本病理学会総会にて発表
特許法第３０条第２項適用 （５）平成３０年６月２２日にプレプリントサーバに論文を発表
特許法第３０条第２項適用 （６）平成３０年６月２３日に第１０７回日本病理学会総会にて発表
特許法第３０条第２項適用 （７）平成３０年８月１日に雑誌「病理と臨床」Ｖｏｌ．３６ Ｎｏ．８ ８月号に発表
特許法第３０条第２項適用 （８）平成３０年８月３日に第１５回日本病理学会カンファレンスにて発表
特許法第３０条第２項適用 （９）平成３０年９月５日に雑誌「実験医学増刊」Ｖｏｌ．３６ Ｎｏ．１５に発表
特許法第３０条第２項適用 （１０）平成３０年９月７日に第５０回日本臨床分子形態学会総会・学術集会にて発表
特許法第３０条第２項適用 （１１）平成３０年９月２７日に第７７回日本癌学会学術総会にて発表
特許法第３０条第２項適用 （１２）平成３０年１０月１０日にＢｉｏＪａｐａｎ ２０１８にて発表
特許法第３０条第２項適用 （１３）平成３０年１１月１６日に第５８回日本核医学会学術総会にて発表
特許法第３０条第２項適用 （１４）平成３１年２月１５日に雑誌「生体の科学」７０巻１号に発表
特許法第３０条第２項適用 （１５）平成３１年３月８日に第３８回日本画像医学会・学術集会にて発表
特許法第３０条第２項適用 （１６）平成３１年３月１９日に鳥取大学医学部付属病院がんセンター市民講座にて発表
特許法第３０条第２項適用 （１７）－（１８）令和１年５月１０日に第１０８回日本病理学会総会にて２件発表
特許法第３０条第２項適用 （１９）令和１年５月１８日にＧｌｏｂａｌ Ｃｏｎｇｒｅｓｓ ｏｎ Ｍｏｌｅｃｕｌａｒ Ｐａｔｈｏｌｏｇｙにて発表
本発明は、画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラムに関する。
従来、対象者の病理組織の画像に基づく病理診断が行われている。病理画像に基づいて病理診断を行う医師は、アトラスを参照して類似画像を検索し、症例を特定することがある。
一方、ニューラルネットワークを用いた画像解析の技術が近年発展しており、例えば、下記非特許文献１では、画像のスタイルを任意の絵画風に変換する技術が記載されている。
Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge, "Image Style Transfer Using Convolutional Neural Networks," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016
従来、電子化された病理画像のアトラスが用いられているが、画像の検索は、テキストをクエリとして行われることがある。しかしながら、病理画像を検索する場合、解釈が難しい症例や初見の症例について適切なクエリを設定することが難しく、参照画像の抽出が困難な場合がある。
そこで、本発明は、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラムを提供する。
本発明の一態様に係る画像抽出装置は、病理画像を取得する取得部と、病理画像の局所的な特徴量を算出する第１算出部と、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する第２算出部と、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、を備える。
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
上記態様において、抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する表示部をさらに備えてもよい。
この態様によれば、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
上記態様において、第１算出部は、学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップによって、局所的な特徴量を算出してもよい。
この態様によれば、病理画像の局所的な特徴を適切に表す特徴量を算出することができる。
上記態様において、第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。
この態様によれば、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
上記態様において、第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる異なる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。
この態様によれば、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
上記態様において、第２算出部は、２種類の学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。
この態様によれば、病理画像の局所的な特徴を適切に表す特徴量を算出することができる。
上記態様において、複数の参照画像は、病理組織のホールスライドイメージのうち選択された領域からランダムに切り出された画像を含んでもよい。
この態様によれば、病理組織の特徴を適切に表す参照画像を抽出することができる。
上記態様において、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定部をさらに備えてもよい。
この態様によれば、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを予測することができる。
上記態様において、所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、所定の遺伝子変異が生じていない細胞が写された所定の病理の第２画像とを学習データとして、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定モデルを生成する生成部をさらに備えてもよい。
この態様によれば、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを判定する判定モデルを生成することができる。
上記態様において、判定モデルにより所定の遺伝子変異が生じていると判定される場合に、判定の根拠となった病理画像の領域を表示する表示部をさらに備えてもよい。
この態様によれば、所定の遺伝子変異が生じていると判定した根拠を視覚的に確認することができる。
本発明の他の態様に係る画像抽出システムは、画像抽出装置及びユーザ端末を備える画像抽出システムであって、ユーザ端末は、病理画像を撮影する撮影部を有し、画像抽出装置は、病理画像を取得する取得部と、病理画像の局所的な特徴量を算出する第１算出部と、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する第２算出部と、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、を有する。
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
上記態様において、ユーザ端末は、抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する表示部をさらに有してもよい。
この態様によれば、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
本発明の他の態様に係る画像抽出方法は、病理画像を取得することと、病理画像の局所的な特徴量を算出することと、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出することと、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出することと、類似度に基づいて、１又は複数の参照画像を抽出することと、を含む。
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
本発明の他の態様に係る画像抽出プログラムは、画像抽出装置に備えられた演算部を、病理画像を取得する取得部、病理画像の局所的な特徴量を算出する第１算出部、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する第２算出部、非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部、及び類似度に基づいて、１又は複数の参照画像を抽出する抽出部、として機能させる。
この態様によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる。
本発明によれば、病理画像をクエリとして、データベースから適切な参照画像を抽出することができる画像抽出装置、病理画像抽出方法及び病理画像抽出プログラムを提供することができる。
本発明の実施形態に係る画像抽出システムのネットワーク構成を示す図である。 本実施形態に係る画像抽出装置の機能ブロックを示す図である。 本実施形態に係る画像抽出装置の物理的構成を示す図である。 本実施形態に係るユーザ端末によって病理画像を撮影する例を示す図である。 本実施形態に係る画像抽出装置によって病理画像と類似する参照画像を抽出する処理の概要を示す図である。 本実施形態に係る画像抽出装置によって抽出された参照画像の例を示す図である。 本実施形態に係る画像抽出装置によって実行される抽出処理のフローチャートである。 本実施形態に係る画像抽出装置による遺伝子変異の判定の根拠となった病理画像の領域の例を示す図である。 本実施形態に係る画像抽出装置によって実行される遺伝子変異の有無を判定する処理のフローチャートである。 本実施形態に係る画像抽出装置によって実行される判定モデル生成処理のフローチャートである。
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
図１は、本発明の実施形態に係る画像抽出システム１００のネットワーク構成を示す図である。画像抽出システム１００は、画像抽出装置１０及びユーザ端末２０を備える。画像抽出装置１０及びユーザ端末２０は、汎用のコンピュータで構成されてよく、ユーザ端末２０は、例えばスマートフォンであってよい。
ユーザは、対象者の病理組織を顕微鏡３０で観察し、ユーザ端末２０を用いて病理画像を撮影する。撮影された病理画像は、インターネット等の通信ネットワークＮを介して、ユーザ端末２０から画像抽出装置１０に送られる。
画像抽出装置１０は、取得した病理画像をクエリとして、データベース５０に記憶された１又は複数の参照画像を抽出する。画像抽出装置１０は、抽出した参照画像を画像抽出装置１０の表示部に表示したり、ユーザ端末２０に送信したりしてよい。
図２は、本実施形態に係る画像抽出装置１０の機能ブロックを示す図である。画像抽出装置１０は、取得部１１、記憶部１２、第１算出部１３、第２算出部１４、第３算出部１５、抽出部１６、判定部１７及び生成部１８を備える。
取得部１１は、病理画像を取得する。取得部１１は、ユーザ端末２０から病理画像を取得してよいが、他の装置から病理画像を取得してもよい。また、画像抽出装置１０に撮影部を設ける場合、取得部１１は、当該撮影部から病理画像を取得してよい。
記憶部１２は、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）１２ａ及び判定モデル１２ｂを記憶する。畳み込みニューラルネットワーク１２ａは、学習済み（Pre-trained）モデルであってよく、例えば、Simonyan, Karen and Zisserman, Andrew, "Very Deep Convolutional Networks for Large-Scale Image Recognition," arXiv 1409.1556, 2014で提案されたモデルを用いてよい。画像抽出装置１０は、畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴量を算出する。
判定モデル１２ｂは、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定するモデルである。判定モデル１２ｂは、任意のアルゴリズムを用いて構成されてよいが、例えばニューラルネットワーク、サポートベクターマシン等を用いて構成されてよい。
第１算出部１３は、病理画像の局所的な特徴量を算出する。第１算出部１３は、学習済みの畳み込みニューラルネットワーク１２ａに含まれる隠れ層により算出される特徴マップによって、局所的な特徴量を算出してよい。本明細書では、畳み込みニューラルネットワーク１２ａに含まれる第Ｌ層の位置ｊに関するｉ番目のフィルタの特徴マップをＦL ijと表す。学習済みの畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴を適切に表す特徴量を算出することができる。
第２算出部１４は、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する。第２算出部１４は、学習済みの畳み込みニューラルネットワーク１２ａに含まれる隠れ層により算出される特徴マップの相関に基づいて、非局所的な特徴量を算出してよい。第２算出部１４は、非局所的な特徴量ＧL ijを、ＧL ij＝ΣkＦL ikＦL jkにより算出してよい。第２算出部１４によって、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
第２算出部１４は、Yang Gao, Oscar Beijbom, Ning Zhang, and Trevor Darrell, "Compact Bilinear Pooling," arXiv:1511.06062, 2015に記載されたCompact Bilinear Poolingを用いて、非局所的な特徴量を１０２４次元程度の特徴量に変換してよい。もっとも、第２算出部１４は、主成分分析等の他の方法により、非局所的な特徴量を１０２４次元程度の特徴量に変換してもよい。
第２算出部１４は、学習済みの畳み込みニューラルネットワーク１２ａに含まれる異なる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。すなわち、第２算出部１４は、畳み込みニューラルネットワーク１２ａに含まれる第Ｌ層の特徴マップＦL ikと、第Ｍ層の特徴マップＦM jkとを用いて、非局所的な特徴量ＧL,M ijを、ＧL,M ij＝ΣkＦL ikＦM jkにより算出してよい。これにより、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
また、第２算出部１４は、２種類の学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される２種類の特徴マップの相関に基づいて、非局所的な特徴量を算出してもよい。すなわち、第２算出部１４は、第１の畳み込みニューラルネットワークに含まれる第Ｌ層の特徴マップＦL ikと、第２の畳み込みニューラルネットワークに含まれる第Ｍ層の特徴マップＦM jkとを用いて、非局所的な特徴量ＧL,M ijを、ＧL,M ij＝ΣkＦL ikＦM jkにより算出してよい。これにより、病理画像の非局所的な特徴を適切に表す特徴量を算出することができる。
第３算出部１５は、非局所的な特徴量と、データベース５０に記憶された複数の参照画像の特徴量との間の類似度を算出する。データベース５０に記憶される複数の参照画像は、病理組織のホールスライドイメージのうち選択された領域からランダムに切り出された画像を含む。このような参照画像をデータベース５０に記憶していることで、病理組織の特徴を適切に表す参照画像を抽出することができる。また、データベース５０は、複数の参照画像と、複数の参照画像それぞれについて算出された非局所的な特徴量とを関連付けて記憶していてよい。第３算出部１５は、病理画像について算出された非局所的な特徴量と、データベース５０に記憶された参照画像の非局所的な特徴量との間の類似度を算出してよい。
抽出部１６は、第３算出部１５により算出された類似度に基づいて、１又は複数の参照画像を抽出する。抽出部１６は、類似度が上位所定割合である参照画像を、データベース５０から抽出してよい。
本実施形態に係る画像抽出装置１０によれば、病理画像の非局所的な特徴量を算出し、データベースに記憶された複数の参照画像の特徴量と比較することで、病理画像をクエリとして、データベース５０から適切な参照画像を抽出することができる。
画像抽出装置１０は、複数の学習済みのニューラルネットワークに含まれる複数の隠れ層のうち、いずれの層の特徴マップを用いるかを以下のようにして選択してよい。はじめに、病理医が、データベース５０から、クエリ画像に類似する複数の参照画像を類似度が高い順に抽出する。そして、同じクエリ画像を複数の学習済みのニューラルネットワークに入力し、複数の隠れ層の特徴マップを用いてそれぞれ非局所的な特徴量を算出する。次に、それぞれの算出方法毎に、非局所的な特徴量と、データベース５０に記憶された複数の参照画像の特徴量との間の類似度を算出し、類似度が高い順に複数の参照画像を抽出する。画像抽出装置１０は、複数の算出方法により抽出された複数の参照画像と、病理医により抽出された複数の参照画像との順位の相関を算出し、相関が最も高い算出方法を選択してよい。
表示部１０ｆは、抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する。ここで、１又は複数の参照画像の識別情報は、例えば、癌ゲノム・アトラス（TCGA；The Cancer Genome Atlas）のＩＤであってよい。また、１又は複数の参照画像に関する病理の種類は、例えば、癌の種類であってよい。このように、抽出された参照画像に関する情報を表示することで、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
ユーザ端末２０は、画像抽出装置１０により抽出された１又は複数の参照画像、１又は複数の参照画像の識別情報、１又は複数の参照画像に関する病理の種類及び１又は複数の参照画像と病理画像との類似度の少なくともいずれかを表示する表示部を有してよい。これにより、ユーザは、スマートフォン等のユーザ端末２０によって、抽出された１又は複数の参照画像に関する情報を確認することができ、クエリとした病理画像との関連性が評価しやすくなる。
判定部１７は、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する。判定部１７は、第２算出部１４により算出された、病理画像の非局所的な特徴量に基づいて、判定モデル１２ｂによって、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定してよい。これにより、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを予測することができる。
生成部１８は、所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、所定の遺伝子変異が生じていない細胞が写された所定の病理の第２画像とを学習データとして、非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定モデル１２ｂを生成する。判定モデル１２ｂは、例えば、特定の種類の癌について、所定の遺伝子変異が生じている細胞が写された第１画像と、所定の遺伝子変異が生じていない細胞が写された第２画像とを学習データとして、病理画像の非局所的な特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定するように学習されたニューラルネットワーク等のモデルであってよい。ここで、所定の遺伝子変異が生じている細胞が写された第１画像と、所定の遺伝子変異が生じていない細胞が写された第２画像とは、それぞれ病理医により収集されてよい。生成部１８によって、病理画像をクエリとして、所定の遺伝子変異が生じているか否かを判定する判定モデル１２ｂを生成することができる。
表示部１０ｆは、判定モデル１２ｂにより所定の遺伝子変異が生じていると判定される場合に、判定の根拠となった病理画像の領域を表示してよい。画像抽出装置１０は、例えば、Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra, "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization," arXiv:1610.02391, 2016で提案された手法を用いて、判定モデル１２ｂが注目する病理画像の領域をヒートマップとして表し、表示部１０ｆに表示してよい。このようにして、所定の遺伝子変異が生じていると判定した根拠を視覚的に確認することができる。
図３は、本実施形態に係る画像抽出装置１０の物理的構成を示す図である。画像抽出装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像抽出装置１０が一台のコンピュータで構成される場合について説明するが、画像抽出装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、画像抽出装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、病理画像に基づいて、データベースに記憶された参照画像を抽出するプログラム（画像抽出プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、病理画像といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像抽出プログラムや、書き換えが行われないデータを記憶してよい。
通信部１０ｄは、画像抽出装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、病理画像、抽出した１又は複数の参照画像を表示してよい。
画像抽出プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。画像抽出装置１０では、ＣＰＵ１０ａが画像抽出プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像抽出装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
図４は、本実施形態に係るユーザ端末２０によって病理画像を撮影する例を示す図である。ユーザは、顕微鏡３０によって病理組織を観察し、スマートフォン等のユーザ端末２０を用いて、病理画像を撮影する。病理画像は、ユーザ端末２０の撮影部を顕微鏡３０の接眼レンズにあてることで撮影されてよいが、顕微鏡３０に備えられた撮影部によって撮影されてもよい。
ユーザ端末２０により撮影された病理画像は、通信ネットワークＮを介して画像抽出装置１０に送信される。ユーザ端末２０は、撮影した複数の病理画像のうち、ユーザによって選択された１又は複数の病理画像を画像抽出装置１０に送信してもよい。
図５は、本実施形態に係る画像抽出装置１０によって病理画像ＩＭＧ１と類似する参照画像ＩＭＧ２を抽出する処理の概要を示す図である。画像抽出装置１０は、取得した病理画像ＩＭＧ１を畳み込みニューラルネットワーク１２ａに入力し、特徴マップＦ１を算出する。
そして、画像抽出装置１０は、算出した特徴マップＦ１の相関行列を算出し、Compact Bilinear Poolingを用いて、非局所的な特徴量Ｆ２を算出する。もっとも、画像抽出装置１０は、主成分分析等の他の方法により、特徴マップＦ１の相関行列から非局所的な特徴量Ｆ２を算出してもよい。画像抽出装置１０は、特徴マップＦ１の相関行列から非局所的な特徴量Ｆ２を算出する場合、データの次元を減らす任意の方法を用いてよい。
画像抽出装置１０は、病理画像ＩＭＧ１の非局所的な特徴量Ｆ２と、データベース５０に記憶された参照画像ＩＭＧ２の非局所的な特徴量との類似度を算出し、類似度が高い１又は複数の参照画像ＩＭＧ２を抽出する。１又は複数の参照画像ＩＭＧ２には、ＴＣＧＡの識別情報や病理の種類に関する情報が関連付けられていてよい。ユーザは、病理画像ＩＭＧ１と、抽出された参照画像ＩＭＧ２とを見比べて、病理画像ＩＭＧ１に写された組織に関する病理の種類を診断する。
図６は、本実施形態に係る画像抽出装置１０によって抽出された参照画像ＩＭＧ２の例を示す図である。同図では、クエリとする病理画像ＩＭＧ１と、画像抽出装置１０により抽出された第１参照画像ＩＭＧ２ａ及び第２参照画像ＩＭＧ２ｂを示している。
ユーザ端末２０は、クエリとする病理画像ＩＭＧ１の選択を受け付け、病理画像ＩＭＧ１及び「Search」と記載された検索ボタンＢ１を表示部に表示する。ユーザにより検索ボタンＢ１がタップされると、ユーザ端末２０から画像抽出装置１０に病理画像ＩＭＧ１が送信され、画像抽出装置１０は、データベース５０から類似の参照画像を抽出する。
第１参照画像ＩＭＧ２ａ及び第２参照画像ＩＭＧ２ｂは、病理画像ＩＭＧ１をクエリとした場合に、画像抽出装置１０により抽出された参照画像の例である。第１参照画像ＩＭＧ２ａの下部には、「Thyroid_carcinoma」（甲状腺癌腫）と記載された病理の種類Ｔ１ａと、「Similarity: 0.875」と記載された類似度Ｔ２ａと、「TCGA-EM-A3AJ-01Z-00-DX1」と記載されたＴＣＧＡの識別情報Ｔ３ａとが表示されている。また、第２参照画像ＩＭＧ２ｂの下部には、「Thyroid_carcinoma」（甲状腺癌腫）と記載された病理の種類Ｔ１ｂと、「Similarity: 0.872」と記載された類似度Ｔ２ｂと、「TCGA-FY-A2QD-01Z-00-DX1」と記載されたＴＣＧＡの識別情報Ｔ３ｂとが表示されている。これらの情報は、画像抽出装置１０の表示部１０ｆに表示されてもよいし、ユーザ端末２０の表示部に表示されてもよい。
このように、病理画像ＩＭＧ１をクエリとして、データベース５０から適切な参照画像ＩＭＧ２を抽出することができる。また、抽出された１又は複数の参照画像ＩＭＧ２に関する情報を確認することができ、クエリとした病理画像ＩＭＧ１との関連性を容易に評価することができる。
図７は、本実施形態に係る画像抽出装置１０によって実行される抽出処理のフローチャートである。はじめに、画像抽出装置１０は、ユーザ端末２０で撮影した病理画像を取得する（Ｓ１０）。
次に、画像抽出装置１０は、学習済みの畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴量を算出し（Ｓ１１）、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する（Ｓ１２）。
その後、画像抽出装置１０は、非局所的な特徴量と、データベース５０に記憶された複数の参照画像の特徴量との間の類似度を算出し（Ｓ１３）、類似度に基づいて、１又は複数の参照画像を抽出する（Ｓ１４）。
最後に、画像抽出装置１０は、ユーザ端末２０の表示部及び画像抽出装置１０の表示部１０ｆの少なくともいずれかに、抽出された１又は複数の参照画像、識別情報、病理の種類及び類似度を表示する（Ｓ１５）。
図８は、本実施形態に係る画像抽出装置１０による遺伝子変異の判定の根拠となった病理画像の領域の例を示す図である。同図では、判定モデル１２ｂによって、細胞に所定の遺伝子変異が生じていると判定された病理画像ＩＭＧ３と、判定の根拠となった病理画像の領域をヒートマップで示した画像ＩＭＧ３ａとを示している。なお、病理画像ＩＭＧ３は、乳癌の病理画像であり、本例では、ｐ５３遺伝子に変異が生じている。
例えば、病理画像ＩＭＧ３の領域Ｒには***した核が写っており、画像ＩＭＧ３ａの領域Ｒａによれば、判定モデル１２ｂは、***した核を根拠として、細胞に所定の遺伝子変異が生じていると判定していることが読み取れる。もっとも、判定モデル１２ｂが着目しているポイント全てについて簡単な解釈が可能であるとは限らず、解釈が困難な場合もある。
図８では、細胞に所定の遺伝子変異が生じている例を示したが、同様に、判定モデル１２ｂによって、細胞に所定の遺伝子変異が生じていないと判定された病理画像について、判定の根拠となった病理画像の領域をヒートマップで示すことができる。
図９は、本実施形態に係る画像抽出装置１０によって実行される遺伝子変異の有無を判定する処理のフローチャートである。はじめに、画像抽出装置１０は。ユーザ端末２０で撮影した病理画像を取得する（Ｓ２０）。
次に、画像抽出装置１０は、学習済みの畳み込みニューラルネットワーク１２ａによって、病理画像の局所的な特徴量を算出し（Ｓ２１）、局所的な特徴量の相関に基づいて、非局所的な特徴量を算出する（Ｓ２２）。
その後、画像抽出装置１０は、判定モデル１２ｂによって、非局所的な特徴量に基づいて、細胞に所定の遺伝子変異が生じているか否かを判定する（Ｓ２３）。
画像抽出装置１０は、所定の遺伝子変異が生じていると判定された場合（Ｓ２４：ＹＥＳ）、判定の根拠となった病理画像の領域を算出し、表示する（Ｓ２５）。
図１０は、本実施形態に係る画像抽出装置１０によって実行される判定モデル生成処理のフローチャートである。画像抽出装置１０は、所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、所定の遺伝子変異が生じていない細胞が写された所定の病理の第２画像とを学習データとして収集する（Ｓ３０）。
そして、画像抽出装置１０は、判定モデル１２ｂによって、学習データに含まれる画像の非局所的特徴量に基づいて、病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する（Ｓ３１）。画像抽出装置１０は、所定の損失関数に基づいて、判定モデル１２ｂのパラメータを更新する。画像抽出装置１０は、例えば、交差エントロピーを損失関数として、判定モデル１２ｂを構成するニューラルネットワークのパラメータを、誤差逆伝播法によって更新してよい。
学習終了条件を満たさない場合（Ｓ３３：ＮＯ）、画像抽出装置１０は、処理Ｓ３１及びＳ３２を再び実行する。ここで、学習終了条件は、損失関数の値が所定値以下となることであったり、処理Ｓ３１及びＳ３２の実行回数が所定回数以上となることであったりしてよい。
一方、学習終了条件を満たす場合（Ｓ３３：ＹＥＳ）、画像抽出装置１０は、学習済みの判定モデル１２ｂを記憶部１２に記憶し（Ｓ３４）、判定モデル生成処理を終了する。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
１０…画像抽出装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…記憶部、１２ａ…ＣＮＮ、１２ｂ…判定モデル、１３…第１算出部、１４…第２算出部、１５…第３算出部、１６…抽出部、１７…判定部、１８…生成部、２０…ユーザ端末、３０…顕微鏡、５０…データベース、１００…画像抽出システム

Claims (14)

  1. 病理画像を取得する取得部と、
    前記病理画像の局所的な特徴量を算出する第１算出部と、
    前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出する第２算出部と、
    前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、
    前記類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、
    を備える画像抽出装置。
  2. 抽出された前記１又は複数の参照画像、前記１又は複数の参照画像の識別情報、前記１又は複数の参照画像に関する病理の種類及び前記１又は複数の参照画像と前記病理画像との前記類似度の少なくともいずれかを表示する表示部をさらに備える、
    請求項１に記載の画像抽出装置。
  3. 前記第１算出部は、病理画像の局所的な特徴を適切に表す特徴量を算出することができる学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップによって、前記局所的な特徴量を算出する、
    請求項１又は２に記載の画像抽出装置。
  4. 前記第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される特徴マップの相関に基づいて、前記非局所的な特徴量を算出する、
    請求項１から３のいずれか一項に記載の画像抽出装置。
  5. 前記第２算出部は、学習済みの畳み込みニューラルネットワークに含まれる異なる隠れ層により算出される２種類の特徴マップの相関に基づいて、前記非局所的な特徴量を算出する、
    請求項１から３のいずれか一項に記載の画像抽出装置。
  6. 前記第２算出部は、２種類の学習済みの畳み込みニューラルネットワークに含まれる隠れ層により算出される２種類の特徴マップの相関に基づいて、前記非局所的な特徴量を算出する、
    請求項１から３のいずれか一項に記載の画像抽出装置。
  7. 前記複数の参照画像は、病理組織のホールスライドイメージのうち選択された領域からランダムに切り出された画像を含む、
    請求項１から６のいずれか一項に記載の画像抽出装置。
  8. 前記非局所的な特徴量に基づいて、前記病理画像に写された細胞に所定の遺伝子変異が生じているか否かを判定する判定部をさらに備える、
    請求項１から７のいずれか一項に記載の画像抽出装置。
  9. 所定の遺伝子変異が生じている細胞が写された所定の病理の第１画像と、前記所定の遺伝子変異が生じていない細胞が写された前記所定の病理の第２画像とを学習データとして、前記非局所的な特徴量に基づいて、前記病理画像に写された細胞に前記所定の遺伝子変異が生じているか否かを判定する判定モデルを生成する生成部をさらに備える、
    請求項８に記載の画像抽出装置。
  10. 前記判定モデルにより前記所定の遺伝子変異が生じていると判定される場合に、判定の根拠となった前記病理画像の領域を表示する表示部をさらに備える、
    請求項９に記載の画像抽出装置。
  11. 画像抽出装置及びユーザ端末を備える画像抽出システムであって、
    前記ユーザ端末は、病理画像を撮影する撮影部を有し、
    前記画像抽出装置は、
    前記病理画像を取得する取得部と、
    前記病理画像の局所的な特徴量を算出する第１算出部と、
    前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出する第２算出部と、
    前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部と、
    前記類似度に基づいて、１又は複数の参照画像を抽出する抽出部と、を有する、
    画像抽出システム。
  12. 前記ユーザ端末は、
    抽出された前記１又は複数の参照画像、前記１又は複数の参照画像の識別情報、前記１又は複数の参照画像に関する病理の種類及び前記１又は複数の参照画像と前記病理画像との前記類似度の少なくともいずれかを表示する表示部をさらに有する、
    請求項１１に記載の画像抽出システム。
  13. 病理画像を取得することと、
    前記病理画像の局所的な特徴量を算出することと、
    前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出することと、
    前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出することと、
    前記類似度に基づいて、１又は複数の参照画像を抽出することと、
    を含む画像抽出方法。
  14. 画像抽出装置に備えられた演算部を、
    病理画像を取得する取得部、
    前記病理画像の局所的な特徴量を算出する第１算出部、
    前記局所的な特徴量の相関行列の次元を減らす計算処理を行うことにより、非局所的な特徴量を算出する第２算出部、
    前記非局所的な特徴量と、データベースに記憶された複数の参照画像の特徴量との間の類似度を算出する第３算出部、及び
    前記類似度に基づいて、１又は複数の参照画像を抽出する抽出部、
    として機能させる画像抽出プログラム。
JP2019113730A 2019-06-19 2019-06-19 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム Active JP7385241B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019113730A JP7385241B2 (ja) 2019-06-19 2019-06-19 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム
US17/620,328 US20220245804A1 (en) 2019-06-19 2020-06-17 Image extraction device, image extraction system, image extraction method, and image extraction program
PCT/JP2020/023749 WO2020256011A1 (ja) 2019-06-19 2020-06-17 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019113730A JP7385241B2 (ja) 2019-06-19 2019-06-19 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム

Publications (2)

Publication Number Publication Date
JP2020205013A JP2020205013A (ja) 2020-12-24
JP7385241B2 true JP7385241B2 (ja) 2023-11-22

Family

ID=73837331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019113730A Active JP7385241B2 (ja) 2019-06-19 2019-06-19 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム

Country Status (3)

Country Link
US (1) US20220245804A1 (ja)
JP (1) JP7385241B2 (ja)
WO (1) WO2020256011A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024061696A (ja) * 2021-03-24 2024-05-08 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018050671A (ja) 2016-09-26 2018-04-05 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2018180635A (ja) 2017-04-04 2018-11-15 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750424B1 (ko) * 2004-03-03 2007-08-21 닛본 덴끼 가부시끼가이샤 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램
JP4947589B2 (ja) * 2007-06-27 2012-06-06 Ｋｄｄｉ株式会社 類似画像検索装置
CN109684901B (zh) * 2017-10-19 2023-06-06 富士通株式会社 图像处理装置和图像处理方法
CN109872362B (zh) * 2019-01-18 2023-08-08 腾讯科技（深圳）有限公司 一种目标检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018050671A (ja) 2016-09-26 2018-04-05 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2018180635A (ja) 2017-04-04 2018-11-15 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP2020205013A (ja) 2020-12-24
US20220245804A1 (en) 2022-08-04
WO2020256011A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
Kashyap Stochastic dilated residual ghost model for breast cancer detection
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
Venturini et al. What do we see when we look at networks: Visual network analysis, relational ambiguity, and force-directed layouts
CN112329964B (zh) 用于推送信息的方法、装置、设备以及存储介质
US9390194B2 (en) Multi-faceted visualization of rich text corpora
CN107957993B (zh) 英文句子相似度的计算方法及装置
CN111581414B (zh) 服饰识别、分类及检索的方法、装置、设备及存储介质
DE112015002286T5 (de) Visuelle interaktive suche
CN109359725A (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
CN106844518B (zh) 一种基于子空间学习的不完整跨模态检索方法
JP7111088B2 (ja) 画像検索装置、学習方法及びプログラム
Li et al. HEp-Net: a smaller and better deep-learning network for HEp-2 cell classification
KR101925603B1 (ko) 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치
Gürler et al. Foreseeing brain graph evolution over time using deep adversarial network normalizer
CN112749723A (zh) 样本标注方法、装置、计算机设备和存储介质
Yue et al. Attention-driven cascaded network for diabetic retinopathy grading from fundus images
Paul et al. Fast few-shot transfer learning for disease identification from chest x-ray images using autoencoder ensemble
Kate et al. Breast cancer image multi-classification using random patch aggregation and depth-wise convolution based deep-net model
JP7385241B2 (ja) 画像抽出装置、画像抽出システム、画像抽出方法及び画像抽出プログラム
Salluri et al. HRUNET: Hybrid Residual U-Net for automatic severity prediction of Diabetic Retinopathy
He et al. Automatic microscopic cell counting by use of deeply-supervised density regression model
Ezzat et al. Convolutional neural network with batch normalization for classification of endoscopic gastrointestinal diseases
CN112017788B (zh) 基于强化学习模型的疾病排序方法、装置、设备及介质
Zhang et al. Breast mass detection in mammography and tomosynthesis via fully convolutional network-based heatmap regression
Dornaika et al. Nonlinear, flexible, semisupervised learning scheme for face beauty scoring

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231102

R150 Certificate of patent or registration of utility model

Ref document number: 7385241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150