JPWO2019208703A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JPWO2019208703A1 JPWO2019208703A1 JP2020515568A JP2020515568A JPWO2019208703A1 JP WO2019208703 A1 JPWO2019208703 A1 JP WO2019208703A1 JP 2020515568 A JP2020515568 A JP 2020515568A JP 2020515568 A JP2020515568 A JP 2020515568A JP WO2019208703 A1 JPWO2019208703 A1 JP WO2019208703A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- cell nucleus
- pathological image
- extracted
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 69
- 230000001575 pathological effect Effects 0.000 claims abstract description 117
- 230000000694 effects Effects 0.000 claims abstract description 109
- 239000012830 cancer therapeutic Substances 0.000 claims abstract description 103
- 229940124597 therapeutic agent Drugs 0.000 claims abstract description 77
- 230000000877 morphologic effect Effects 0.000 claims abstract description 61
- 239000000284 extract Substances 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims description 85
- 210000001519 tissue Anatomy 0.000 claims description 78
- 210000004881 tumor cell Anatomy 0.000 claims description 76
- 210000003855 cell nucleus Anatomy 0.000 claims description 75
- 102000008096 B7-H1 Antigen Human genes 0.000 claims description 63
- 108010074708 B7-H1 Antigen Proteins 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 63
- 210000002865 immune cell Anatomy 0.000 claims description 53
- 229940126585 therapeutic drug Drugs 0.000 claims description 25
- 238000003364 immunohistochemistry Methods 0.000 claims description 19
- 238000010186 staining Methods 0.000 claims description 18
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 10
- 229940076838 Immune checkpoint inhibitor Drugs 0.000 claims description 7
- 102000037984 Inhibitory immune checkpoint proteins Human genes 0.000 claims description 7
- 108091008026 Inhibitory immune checkpoint proteins Proteins 0.000 claims description 7
- 239000012274 immune-checkpoint protein inhibitor Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 description 29
- 201000011510 cancer Diseases 0.000 description 27
- 239000003814 drug Substances 0.000 description 10
- 229940079593 drug Drugs 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000000126 substance Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000011282 treatment Methods 0.000 description 6
- 239000003560 cancer drug Substances 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 210000000170 cell membrane Anatomy 0.000 description 5
- 210000001744 T-lymphocyte Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000036210 malignancy Effects 0.000 description 3
- 238000004393 prognosis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000018732 detection of tumor cell Effects 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000002246 antineoplastic agent Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/531—Production of immunochemical test materials
- G01N33/532—Production of labelled immunochemicals
- G01N33/534—Production of labelled immunochemicals with radioactive label
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
- C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
- C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
- C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q2600/00—Oligonucleotides characterized by their use
- C12Q2600/158—Expression markers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2800/00—Detection or diagnosis of diseases
- G01N2800/52—Predicting or monitoring the response to treatment, e.g. for selection of therapy based on assay results in personalised medicine; Prognosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
情報処理装置（２０００）は、病理画像データ（１０）に含まれる組織の組織形態学的特徴を抽出する。さらに情報処理装置（２０００）は、抽出した組織形態学的特徴に基づいて、予測データ（３０）を生成する。予測データ（３０）は、対象患者に対するがん治療薬の効果に関する予測、及び対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す。
Description
本発明は、病理画像の画像解析に関する。
人や動物の疾患を診断する方法の１つとして、病理画像を用いた病理診断が行われている。病理画像とは、人や動物の体の組織から作製した染色切片をカメラやデジタルスライドスキャナーで撮像することで得られる画像である。
そして、病理画像のデータ（以下、病理画像データ）を画像解析することで、疾患に関する情報などを得る技術が開発されている。例えば特許文献１は、病理画像データから細胞核に関する特徴量を算出し、算出した特徴量と評価関数に基づいて、疾患の予後の予測及び疾患の悪性度の予測を行う技術を開示している。その他にも例えば、特許文献２は、刺激に対する細胞の各構成要素の特徴量変化から、細胞内の構成要素間の相関を解析する技術を開示している。
現状、病理画像データに対する画像解析は、前述した疾患の悪性度及び予後の予測、並びに刺激に対する細胞内の相関解析という限定的な目的で活用されている。本発明者は、病理画像データに対する画像解析をこれらの目的以外にも活用できることを見出した。本発明の目的の一つは、病理画像データに対する画像解析の新たな活用方法を提供することである。
本発明の情報処理装置は、１）対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、２）抽出した組織形態学的特徴を用いて、対象患者に対してがん治療薬が与える影響に関する予測を示す予測データを生成する生成部と、を有する。
本発明の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、１）対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、２）抽出した組織形態学的特徴を用いて、対象患者に対してがん治療薬が与える影響に関する予測を示す予測データを生成する生成ステップと、を有する。
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
本発明によれば、病理画像データに対する画像解析の新たな活用方法が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
［実施形態１］
図１は、実施形態１の情報処理装置２０００の動作を概念的に例示する図である。なお、図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。
図１は、実施形態１の情報処理装置２０００の動作を概念的に例示する図である。なお、図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。
情報処理装置２０００は、病理画像データ１０について画像解析を行う。病理画像データ１０は、診断対象の人その他の動物（以下、対象患者）の体内の組織をカメラで撮像することで得られる画像データである。より具体的には、例えば、対象患者の体内から組織を採取し、採取した組織から切り出した組織切片を顕微鏡で拡大し、拡大された組織をカメラで撮像することで、病理画像データ１０を生成することができる。
情報処理装置２０００は、病理画像データ１０に含まれる組織の組織形態学的特徴に基づいて、がん治療薬が対象患者に与える影響に関する予測を行う。具体的には、情報処理装置２０００は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出し、抽出した組織形態学的特徴に基づいて、予測データ３０を生成する。予測データ３０は、がん治療薬が対象患者に与える影響に関する予測を示す情報である。具体的には、予測データ３０は、対象患者に対するがん治療薬の効果に関する予測、及び対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す。
＜作用・効果＞
本実施形態の情報処理装置２０００によれば、対象患者の病理画像データ１０を画像解析することで得られる組織形態学的特徴を用いて、がん治療薬が対象患者に与える影響に関する予測が得られる。よって、情報処理装置２０００によれば、病理画像データを、病気の悪性度や予後の予測以外の新たな予測に活用することができる。
本実施形態の情報処理装置２０００によれば、対象患者の病理画像データ１０を画像解析することで得られる組織形態学的特徴を用いて、がん治療薬が対象患者に与える影響に関する予測が得られる。よって、情報処理装置２０００によれば、病理画像データを、病気の悪性度や予後の予測以外の新たな予測に活用することができる。
また、情報処理装置２０００を利用することにより、医師は、コンピュータによるがん治療薬の効果や副作用に関する予測を参照した上で、がん治療薬を対象患者に投与するかどうかを判断することができる。よって、がん治療薬を投与するか否かを、医師がより正確に判断することができるようになる。また、後述するように、情報処理装置２０００が、複数のがん治療薬それぞれについて効果や副作用に関する予測を行えば、医師は、どの種類のがん治療薬が対象患者に適しているのかを、より正確に判断することができるようになる。
このようにがん治療薬の投与についてより正確な判断ができるようになることには、がんが治る確率を高くすることができるという効果や、がん治療薬の副作用が発生する確率を低くすることができるという効果がある。また、がん治療薬の投与を行う前に、患者に対し、がん治療薬の効果や副作用についてより正確な説明をすることができるという効果もある。
以下、本実施形態についてさらに詳細を述べる。
＜機能構成の例＞
図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、抽出部２０２０及び生成部２０４０を有する。抽出部２０２０は、対象患者の病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する。生成部２０４０は、抽出した組織形態学的特徴を用いて、予測データ３０を生成する。
図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、抽出部２０２０及び生成部２０４０を有する。抽出部２０２０は、対象患者の病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する。生成部２０４０は、抽出した組織形態学的特徴を用いて、予測データ３０を生成する。
＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は、任意の種類の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field−Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
＜処理の流れ＞
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。抽出部２０２０は、病理画像データ１０を取得する（Ｓ１０２）。抽出部２０２０は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する（Ｓ１０４）。生成部２０４０は、抽出した組織形態学的特徴を用いて予測データ３０を生成する（Ｓ１０６）。
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。抽出部２０２０は、病理画像データ１０を取得する（Ｓ１０２）。抽出部２０２０は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する（Ｓ１０４）。生成部２０４０は、抽出した組織形態学的特徴を用いて予測データ３０を生成する（Ｓ１０６）。
情報処理装置２０００が図４に示す一連の処理を実行するタイミングは様々である。例えば情報処理装置２０００は、処理の実行を指示するユーザ操作が行われたことに応じて、一連の処理を実行する。例えばユーザは、記憶装置に記憶されている病理画像データ１０の中から１つを選択する操作を行う。その結果、情報処理装置２０００は、選択された病理画像データ１０を対象として予測データ３０の生成を行う。その他にも例えば、情報処理装置２０００は、外部の装置から病理画像データ１０を受信したことに応じて、図４に示す一連の処理を実行してもよい。例えば病理画像データ１０は、病理画像データ１０を生成したカメラから送信される。
＜がん治療薬について＞
予測の対象とするがん治療薬は、がんの治療に用いられる任意の薬である。例えばがん治療薬は、免疫チェックポイント阻害剤である。その他にも例えば、がん治療薬は、抗がん剤などでもよい。
予測の対象とするがん治療薬は、がんの治療に用いられる任意の薬である。例えばがん治療薬は、免疫チェックポイント阻害剤である。その他にも例えば、がん治療薬は、抗がん剤などでもよい。
＜がんの種類について＞
情報処理装置２０００は、がんの種類を特定せずにがん治療薬の効果を予測してもよいし、特定の種類のがんについてがん治療薬の効果を予測してもよい。例えば情報処理装置２０００は、肺がんやメラノーマを対象として、がん治療薬の効果を予測する。情報処理装置２０００が効果を予測できるがんの種類は、これらの種類に限定されない。
情報処理装置２０００は、がんの種類を特定せずにがん治療薬の効果を予測してもよいし、特定の種類のがんについてがん治療薬の効果を予測してもよい。例えば情報処理装置２０００は、肺がんやメラノーマを対象として、がん治療薬の効果を予測する。情報処理装置２０００が効果を予測できるがんの種類は、これらの種類に限定されない。
＜病理画像データ１０の取得：Ｓ１０２＞
情報処理装置２０００は、病理画像データ１０を取得する（Ｓ１０２）。病理画像データ１０は、カメラによって生成された画像データそのものであってもよいし、カメラによって生成された画像データを加工したものであってもよい。後者の場合、例えば病理画像データ１０は、カメラによって生成された画像データに対し、不要な画像領域を削除する画像処理（トリミング）や、組織形態学的特徴の抽出を容易にするための色調補正などを施すことで生成される。これらの画像処理は、情報処理装置２０００によって行われてもよいし、情報処理装置２０００以外の装置によって行われてもよい。
情報処理装置２０００は、病理画像データ１０を取得する（Ｓ１０２）。病理画像データ１０は、カメラによって生成された画像データそのものであってもよいし、カメラによって生成された画像データを加工したものであってもよい。後者の場合、例えば病理画像データ１０は、カメラによって生成された画像データに対し、不要な画像領域を削除する画像処理（トリミング）や、組織形態学的特徴の抽出を容易にするための色調補正などを施すことで生成される。これらの画像処理は、情報処理装置２０００によって行われてもよいし、情報処理装置２０００以外の装置によって行われてもよい。
病理画像データ１０を生成する際、組織形態学的特徴の抽出対象である物質の画像解析が容易になるように、組織切片が所定の方法で染色される。組織形態学的特徴の抽出対象となる物質は、例えば後述するように、PD-L1、免疫細胞、又は腫瘍細胞などである。PD-L1 や免疫細胞について組織形態学的特徴を抽出する場合には、例えば、組織切片に対して免疫組織染色(IHC: Immunohistochemistry）が施される。また、腫瘍細胞について組織形態学的特徴を抽出する場合には、例えば、組織切片に対してヘマトキシリン・エオシン（HE）染色が施される。なお、PD-L1 に関する組織形態学的特徴を抽出するために行う IHC 染色と、免疫細胞に関する組織形態学的特徴を抽出するために行う IHC 染色は、それぞれ異なる抗体を用いて行われる。
ここで、複数の種類の物質から組織形態学的特徴を抽出するとする。この場合、対象患者から採取した複数の組織切片をそれぞれ異なる方法で染色することで、組織形態学的特徴を抽出する物質ごとに病理画像データ１０を生成する。この際、これら複数の組織切片は、ひとかたまりの組織から複数の切片を切り出すことで生成されることが好ましい。こうすることで、略同一の組織構造を表す複数の病理画像データ１０を得ることができる。
情報処理装置２０００が病理画像データ１０を取得する方法は任意である。例えば情報処理装置２０００は、病理画像データ１０が記憶されている記憶装置にアクセスすることで、病理画像データ１０を取得する。病理画像データ１０が記憶されている記憶装置は、病理画像データ１０を生成するカメラの内部に設けられていてもよいし、そのカメラの外部に設けられていてもよい。その他にも例えば、情報処理装置２０００は、カメラから送信される病理画像データ１０を受信することで、病理画像データ１０を取得してもよい。
＜組織形態学的特徴の抽出：Ｓ１０４＞
抽出部２０２０は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する（Ｓ１０４）。抽出される組織形態学的特徴は、組織を構成する細胞やタンパク質などの物質の形状や分布などに関する画像特徴である。以下、どの物質について組織形態学的特徴を抽出するか、及びその物質についてどのような組織形態学的特徴を抽出するかについて、具体例を挙げて説明する。
抽出部２０２０は、病理画像データ１０に含まれる組織の組織形態学的特徴を抽出する（Ｓ１０４）。抽出される組織形態学的特徴は、組織を構成する細胞やタンパク質などの物質の形状や分布などに関する画像特徴である。以下、どの物質について組織形態学的特徴を抽出するか、及びその物質についてどのような組織形態学的特徴を抽出するかについて、具体例を挙げて説明する。
＜＜PD-L1 に関する組織形態学的特徴＞＞
PD-L1 は、腫瘍細胞などに発現する分子であり、免疫細胞の PD-1 分子と結合することで、免疫細胞の活動を抑制する。よって、PD-L1 が多く発現していると、免疫細胞の活動が大きく抑制されてしまうこととなる。このことから、PD-L1 は、がんの治癒に密接に関連している物質であるといえる。そのため、PD-L1 に関する組織形態学的特徴とがん治療薬が対象患者に与える影響との間には、相関があると考えられる。特に、免疫チェックポイント阻害剤の効果は、PD-L1 に関する組織形態学的特徴との相関が大きいと考えられる。なぜなら、免疫チェックポイント阻害剤は、免疫細胞の PD-1 に代わって腫瘍細胞の PD-L1 と結合することにより、免疫細胞の活動が抑制されないようにする薬剤であるためである。
PD-L1 は、腫瘍細胞などに発現する分子であり、免疫細胞の PD-1 分子と結合することで、免疫細胞の活動を抑制する。よって、PD-L1 が多く発現していると、免疫細胞の活動が大きく抑制されてしまうこととなる。このことから、PD-L1 は、がんの治癒に密接に関連している物質であるといえる。そのため、PD-L1 に関する組織形態学的特徴とがん治療薬が対象患者に与える影響との間には、相関があると考えられる。特に、免疫チェックポイント阻害剤の効果は、PD-L1 に関する組織形態学的特徴との相関が大きいと考えられる。なぜなら、免疫チェックポイント阻害剤は、免疫細胞の PD-1 に代わって腫瘍細胞の PD-L1 と結合することにより、免疫細胞の活動が抑制されないようにする薬剤であるためである。
そこで例えば、抽出部２０２０は、病理画像データ１０に含まれる PD-L1 の組織形態学的特徴を抽出する。例えば抽出部２０２０は、陽性率、PD-L1 が腫瘍細胞をどの程度囲っているかを表す指標値（腫瘍細胞に対する PD-L1 の全周性）、PD-L1 が染色されている度合い（PD-L1 の染色強度）、及び PD-L1 が発現している腫瘍細胞の大きさのいずれか１つ以上を、組織形態学的特徴として抽出する。
陽性率とは、全評価対象に対し、染色対象分子の発現が陽性である細胞の割合である。例えばPD-L1については、「対象腫瘍細胞の細胞膜における染色性を評価の対象とし、tumor proportion score（TPS, 全腫瘍細胞に対して PD-L1 陽性細胞が占める割合）を指標として用いる。染色強度や細胞膜の染色が部分的か全周性かに関わらず、わずかでも染色されていれば陽性と判定する」と定められている。そこで例えば、PD-L1 の陽性率は、腫瘍細胞の総数を分母とし、PD-L1 が発現している腫瘍細胞の個数を分子とした割合として算出する。
腫瘍細胞に対する PD-L1 の全周性は、例えば、腫瘍細胞の細胞膜において染色されている部分の長さの合計と、その細胞膜全体の長さとの比率で表される。PD-L1 の染色強度は、例えば、病理画像データ１０において PD-L1 を表す画素の輝度の統計値（例えば平均値）と、基準の輝度との比率で表される。PD-L1 を表す画素とは、病理画像データ１０において染色されている部分を表す画素である。基準の輝度とは、最も強く染色された場合における PD-L1 の輝度である。PD-L1 が発現している腫瘍細胞の大きさは、例えば、その腫瘍細胞の細胞核の中心と、その腫瘍細胞の細胞膜との間の距離で表される。
なお、腫瘍細胞に対する PD-L1 の全周性やPD-L1 が発現している腫瘍細胞の大きさを算出するためには、病理画像データ１０から腫瘍細胞を検出する必要がある。病理画像データ１０から腫瘍細胞を検出する方法については後述する。
腫瘍細胞に対する PD-L1 の全周性や、PD-L1 が発現している腫瘍細胞の大きさは、複数の腫瘍細胞について算出される。例えば抽出部２０２０は、複数の腫瘍細胞について算出されたこれらの指標値の統計値を、PD-L1 に関する組織形態学的特徴として抽出する。例えば抽出部２０２０は、複数の腫瘍細胞について PD-L1 の全周性を算出し、算出した複数の値の統計値（例えば平均値）を、病理画像データ１０から抽出された PD-L1 の全周性とする。腫瘍細胞の大きさについても同様である。なお、全周性等の指標値は、検出された全ての腫瘍細胞について算出されてもよいし、検出された腫瘍細胞のうちの一部について算出されてもよい。
＜＜免疫細胞に関する組織形態学的特徴＞＞
免疫細胞（特に、CD4 陽性 T 細胞や CD8 陽性 T 細胞）は、腫瘍細胞を排除する機能を持つため、がんの治癒に密接に関連している物質であるといえる。そのため、これらの免疫細胞に関する組織形態学的特徴とがん治療薬が対象患者に与える影響との間には、相関があると考えられる。
免疫細胞（特に、CD4 陽性 T 細胞や CD8 陽性 T 細胞）は、腫瘍細胞を排除する機能を持つため、がんの治癒に密接に関連している物質であるといえる。そのため、これらの免疫細胞に関する組織形態学的特徴とがん治療薬が対象患者に与える影響との間には、相関があると考えられる。
そこで例えば、抽出部２０２０は、病理画像データ１０に含まれる免疫細胞（例えば、CD4 陽性 T 細胞及び CD8 陽性 T 細胞のいずれか一方又は双方）についての組織形態学的特徴を抽出する。例えば抽出部２０２０は、陽性率、免疫細胞が染色されている度合い（免疫細胞の染色強度）、免疫細胞の大きさ、免疫細胞の分布のいずれか１つ以上を、組織形態学的特徴として抽出する。
免疫細胞の陽性率は、例えば PD-L1 の陽性率と同様に、細胞数に基づく割合として算出することができる。その他にも例えば、免疫細胞の陽性率は、腫瘍組織面積を分母とし、免疫細胞の占める面積を分子とした割合として算出してもよい。
免疫細胞の染色強度及び大きさの表し方はそれぞれ、PD-L1 の染色強度及び大きさの表し方と同様である。
免疫細胞の大きさは、複数の免疫細胞について算出される。この点、抽出部２０２０は、免疫細胞の大きさを表す組織形態学的特徴を、PD-L1 が発現している複数の腫瘍細胞について算出された腫瘍細胞の大きさを表す組織形態学的特徴と同様に抽出する。
免疫細胞の分布は、病理画像データ１０における免疫細胞の位置の分布を表す指標である。例えば、免疫細胞の分布は、免疫細胞が病理画像データ１０の全体にばらけている度合いを表す。例えばこの場合、抽出部２０２０は、病理画像データ１０の画像領域を複数の部分領域に分割し、各部分領域に含まれる免疫細胞の個数をカウントする。こうすることで、各部分領域に含まれる免疫細胞の個数を表すヒストグラムを得ることができ、このヒストグラムによって免疫細胞の分布が表される。
その他にも例えば、免疫細胞の分布は、免疫細胞と腫瘍細胞との位置関係で定まる分布であってもよい。例えばこの場合、免疫細胞の分布は、免疫細胞の総数を分母とし、腫瘍細胞の中に位置する免疫細胞の個数を分子とした割合として算出される。このように免疫細胞の分布の算出に腫瘍細胞に関する情報を利用する場合、抽出部２０２０は、病理画像データ１０から腫瘍細胞の検出を行う。
＜＜腫瘍細胞に関する組織形態学的特徴＞＞
がん治療薬は、直接的又は間接的に腫瘍細胞を排除する薬剤である。そのため、腫瘍細胞に関する種々の情報は、がん治療薬の効果や副作用に大きく関係すると考えられる。よって、腫瘍細胞に関する組織形態学的特徴は、がん治療薬が対象患者に与える影響と相関が大きいと言える。
がん治療薬は、直接的又は間接的に腫瘍細胞を排除する薬剤である。そのため、腫瘍細胞に関する種々の情報は、がん治療薬の効果や副作用に大きく関係すると考えられる。よって、腫瘍細胞に関する組織形態学的特徴は、がん治療薬が対象患者に与える影響と相関が大きいと言える。
そこで例えば、抽出部２０２０は、病理画像データ１０に含まれる１つ以上の腫瘍細胞の細胞核について、組織形態学的特徴を抽出する。例えば抽出部２０２０は、腫瘍細胞の細胞核について、面積、周囲長、円形度合い（真円に近い度合い）、輪郭の複雑度合い、テクスチャに関する指標値、長径、短径、密度、及び細胞核の面積と細胞核の外接矩形の面積との比率のいずれか１つ以上を、組織形態学的特徴として抽出する。細胞核のテクスチャに関する指標値とは、例えば、角二次モーメント、コントラスト、一様性、又はエントロピーである。なお、上述した細胞核に関する組織形態学的特徴を画像データから抽出する技術には、既存の技術を利用することができる。
＜＜腫瘍細胞の検出＞＞
前述したように、抽出部２０２０は、組織形態学的特徴を抽出するために、病理画像データ１０から腫瘍細胞を検出する。病理画像データ１０から腫瘍細胞を検出する技術には、既存の技術を利用することができる。例えば、ニューラルネットワークなどで実現される検出器を、画像データから腫瘍細胞を検出するように学習させておく。こうすることで、病理画像データ１０から腫瘍細胞を検出する検出器を構成することができる。抽出部２０２０は、この検出器に対して病理画像データ１０を入力することで、病理画像データ１０から腫瘍細胞を検出する。
前述したように、抽出部２０２０は、組織形態学的特徴を抽出するために、病理画像データ１０から腫瘍細胞を検出する。病理画像データ１０から腫瘍細胞を検出する技術には、既存の技術を利用することができる。例えば、ニューラルネットワークなどで実現される検出器を、画像データから腫瘍細胞を検出するように学習させておく。こうすることで、病理画像データ１０から腫瘍細胞を検出する検出器を構成することができる。抽出部２０２０は、この検出器に対して病理画像データ１０を入力することで、病理画像データ１０から腫瘍細胞を検出する。
ここで、IHC 染色された組織切片よりも、HE 染色された組織切片の方が、腫瘍細胞を検出しやすい。そこで抽出部２０２０は、腫瘍細胞の検出を HE 染色された組織切片の画像データを用いて行うことが好適である。例えば前述した様に、対象患者から採取したひとかたまりの組織から複数の組織切片を切り出すことで、それぞれ異なる方法で染色された組織切片の病理画像データ１０を生成するとする。この場合、複数の病理画像データ１０にはいずれも、略同一の構造の組織が含まれている。
そこでまず、抽出部２０２０は、HE 染色された組織切片の病理画像データ１０を画像解析することで、腫瘍細胞を検出する。そして抽出部２０２０は、HE 染色された組織切片の病理画像データ１０から検出された腫瘍細胞が、同一の大きさ及び位置で、他の方法で染色された病理画像データ１０にも存在するとみなして、各病理画像データ１０から組織形態学的特徴の抽出を行う。
＜＜ROI（Region of Interest）の抽出＞＞
抽出部２０２０は、病理画像データ１０全体から組織形態学的特徴を抽出してもよいし、病理画像データ１０の一部の画像領域から組織形態学的特徴を抽出してもよい。以下、この「一部の画像領域」を ROI と呼ぶ。１つの病理画像データ１０から抽出される ROI は、１つであってもよいし、複数であってもよい。
抽出部２０２０は、病理画像データ１０全体から組織形態学的特徴を抽出してもよいし、病理画像データ１０の一部の画像領域から組織形態学的特徴を抽出してもよい。以下、この「一部の画像領域」を ROI と呼ぶ。１つの病理画像データ１０から抽出される ROI は、１つであってもよいし、複数であってもよい。
病理画像データ１０から ROI を抽出する方法は様々である。例えば抽出部２０２０は、ROI を指定するユーザ操作を受け付ける。その他にも例えば、抽出部２０２０は、病理画像データ１０の中から自動的に ROI を抽出する。以下、自動的に ROI を抽出する方法について説明する。
まず抽出部２０２０は、病理画像データ１０を画像処理することで、細胞核の中心が強調された画像データを生成する。細胞核の中心の強調は、例えば、病理画像データ１０をグレースケール化することで得られる画像データに対し、細胞核と同程度の半径を持つリングフィルタを適用することで実現できる。なお、病理画像データ１０をグレースケール化することで得られる画像データの代わりに、病理画像データ１０を構成する G（緑）チャネルを反転することで得られる画像データを利用してもよい。
さらに抽出部２０２０は、細胞核の中心が強調された画像データについて、輝度値のピークを探索することで、各細胞核の中心位置を特定する。そして抽出部２０２０は、所定の形状及びサイズを持ち、なおかつ中心位置が細胞核の中心位置である画像領域を、ROI として抽出する。こうすることで、１つの細胞核につき１つの ROI が抽出される。
ただし、この方法では、ROI 同士の重なりが大きくなることが多いと考えられる。そこで抽出部２０２０は、ROI の重なりを調整することで ROI を削減する（すなわち、ROI の間引きを行う）ことが好適である。ROI の間引きは、例えば以下のように実現できる。
まず抽出部２０２０は、各 ROI について、その中心から所定半径 d の画像領域内に存在する細胞核をカウントし、カウントした細胞核の数で ROI を順序づける。抽出部２０２０は、細胞核のカウント数が最大である ROI を、削除しない ROI として特定する。抽出部２０２０は、特定された ROI の中心から所定半径 R の画像領域内に中心を持つ ROI を削除する。これにより、削除しない ROI の近傍に存在する ROI が削除されるため、ROI 同士の重なりが減る。
さらに抽出部２０２０は、残った ROI（削除しない ROI として特定されたものを除く）のうち、細胞核のカウント数が最大である ROI を、削除しない ROI として特定し、この ROI の中心から所定半径 R の画像領域内に中心を持つ ROI を削除する。以下、抽出部２０２０は、同様の処理を、残った ROI の全てが削除しない ROI となるまで繰り返す。
なお、前述した様に、対象患者から採取したひとかたまりの組織から複数の組織切片を切り出すことで、それぞれ異なる方法で染色された組織切片の病理画像データ１０を生成するとする。この場合、抽出部２０２０は、これら複数の病理画像データ１０について、同一の位置及び大きさの ROI を抽出するようにしてもよい。具体的には、まず抽出部２０２０は、複数の病理画像データ１０のうちの１つについて、ユーザ操作や所定の基準に基づき、ROI を抽出する。その後、抽出部２０２０は、同じ ROI を他の病理画像データ１０からも抽出する。こうすることで、ROI の抽出に要する時間や計算機資源を削減することができる。
＜＜組織形態学的特徴を抽出する処理の流れの一例＞＞
前述した腫瘍細胞の検出や ROI の抽出を考慮すると、病理画像データ１０から組織形態学的特徴を抽出する処理の流れは、例えば図５のようになる。図５は、病理画像データ１０から組織形態学的特徴を抽出する処理の流れを例示する図である。
前述した腫瘍細胞の検出や ROI の抽出を考慮すると、病理画像データ１０から組織形態学的特徴を抽出する処理の流れは、例えば図５のようになる。図５は、病理画像データ１０から組織形態学的特徴を抽出する処理の流れを例示する図である。
抽出部２０２０は、病理画像データ１０から ROI を抽出する（Ｓ２０２）。抽出部２０２０は、ROI から腫瘍細胞を検出する（Ｓ２０４）。抽出部２０２０は、腫瘍細胞の検出結果を用いて、ROI から組織形態学的特徴を抽出する（Ｓ２０６）。
＜予測データ３０の生成：Ｓ１０６＞
生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を用いて、予測データ３０を生成する（Ｓ１０６）。予測データ３０の生成に利用される組織形態学的特徴は、１つであってもよいし、複数であってもよい。また、複数の組織形態学的特徴を利用する場合、１つの病理画像データ１０から抽出された組織形態学的特徴を利用してもよいし、複数の病理画像データ１０から抽出された組織形態学的特徴を利用してもよい。例えば、前者の場合、PL-D1 に関する複数の組織形態学的特徴を利用する。一方、後者の場合、例えば、PL-D1 に関する１つ以上の組織形態学的特徴と、免疫細胞に関する１つ以上の組織形態学的特徴とを利用する。
生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を用いて、予測データ３０を生成する（Ｓ１０６）。予測データ３０の生成に利用される組織形態学的特徴は、１つであってもよいし、複数であってもよい。また、複数の組織形態学的特徴を利用する場合、１つの病理画像データ１０から抽出された組織形態学的特徴を利用してもよいし、複数の病理画像データ１０から抽出された組織形態学的特徴を利用してもよい。例えば、前者の場合、PL-D1 に関する複数の組織形態学的特徴を利用する。一方、後者の場合、例えば、PL-D1 に関する１つ以上の組織形態学的特徴と、免疫細胞に関する１つ以上の組織形態学的特徴とを利用する。
予測データ３０は、対象患者に対するがん治療薬の効果に関する予測、及び対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す。以下、それぞれについて説明する。
＜＜がん治療薬の効果に関する予測＞＞
がん治療薬の効果に関する予測データ３０は、がん治療薬が対象患者に対して効果を発揮するか否か（「効果あり」及び「効果なし」のいずれか一方）、がん治療薬が対象患者に対して効果を発揮する確率、又はがん治療薬が対象患者に対して発揮する効果の大きさなどを示す。
がん治療薬の効果に関する予測データ３０は、がん治療薬が対象患者に対して効果を発揮するか否か（「効果あり」及び「効果なし」のいずれか一方）、がん治療薬が対象患者に対して効果を発揮する確率、又はがん治療薬が対象患者に対して発揮する効果の大きさなどを示す。
組織形態学的特徴を用いてこれらの予測を行う方法は様々である。例えば、対象患者に対するがん治療薬の効果の予測を出力するように学習された予測モデルを利用する。予測モデルには、ニューラルネットワーク、SVM（サポートベクトルマシン）、又は決定木などの種々のモデルを採用できる。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を予測モデルに入力する。その結果、予測モデルから、がん治療薬の効果に関する予測を表すデータが出力される。
がん治療薬が対象患者に対して効果を発揮するか否かを示す予測データ３０を生成する場合、予測モデルは、組織形態学的特徴が入力されたことに応じ、がん治療薬が対象患者に対して効果を発揮するか否かを表すデータを出力する。例えば、効果を発揮すると予測される場合には予測モデルから１が出力され、効果を発揮しないと予測される場合には予測モデルから０が出力される。がん治療薬が対象患者に対して効果を発揮する確率を示す予測データ３０を生成する場合、予測モデルは、組織形態学的特徴が入力されたことに応じ、がん治療薬が対象患者に対して効果を発揮する確率を出力する。がん治療薬が対象患者に対して発揮する効果の大きさを示す予測データ３０を生成する場合、予測モデルは、組織形態学的特徴が入力されたことに応じ、がん治療薬が対象患者に対して発揮する効果の大きさを表すデータを出力する。がん治療薬の効果の大きさは、例えば、所定数の段階の評価（例えば５段階評価）のうちのいずれか１つで表される。
予測モデルの学習は、教師データを利用して行われる。例えば教師データは、医師が実際に患者にがん治療薬を投与し、その後の患者の状態を診断することで生成される。具体的には、教師データは、（１）患者の組織切片の画像データから抽出された組織形態学的特徴と、（２）その患者にがん治療薬を投与した後の患者の状態を表すデータ（以下、結果データ）との組み合わせである。
がん治療薬が対象患者に対して効果を発揮するか否かの予測、又はがん治療薬が対象患者に対して効果を発揮する確率の予測を行う場合、結果データは、がん治療薬を患者に投与した後、その効果が発揮されたか否かを表すデータ（例えば、効果が発揮された場合には１、効果が現れなかった場合には０）である。がん治療薬が対象患者に対して発揮する効果の大きさの予測を行う場合、結果データは、がん治療薬を患者に投与した後、その効果がどの程度大きかったかを表すデータである。がん治療薬の効果の大きさは、例えば、患者の診断を行った医師が所定数の段階の評価の中から１つを選択することで決められる。
効果を予測するがん治療薬が複数種類ある場合、がん治療薬の種類ごとに予測モデルを用意しておく。例えば、がん治療薬Ａに関する予測を行う予測モデルの学習には、がん治療薬Ａを投与した患者について生成した教師データを利用し、がん治療薬Ｂに関する予測を行う予測モデルの学習には、がん治療薬Ｂを投与した患者について生成した教師データを利用する。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を各予測モデルに入力することにより、がん治療薬ごとに対象患者についての予測データ３０を生成する。
＜＜副作用に関する予測＞＞
がん治療薬の副作用に関する予測を示す予測データ３０は、例えば、対象患者に対するがん治療薬の投与によって副作用が発生するか否か（「発生する」及び「発生しない」のいずれか一方）、対象患者に対するがん治療薬の投与によって副作用が発生する確率、又は対象患者に対するがん治療薬の投与によって発生する副作用の大きさを示す。がん治療薬の副作用に関する予測を示す予測データ３０は、がん治療薬の効果に関する予測を示す予測データ３０と同様の方法で生成することができる。例えば、がん治療薬が対象患者に与える副作用に関する予測を出力するように学習された予測モデルを利用する。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を予測モデルに入力することでがん治療薬の副作用に関する予測を得て、その予測を示す予測データ３０を生成する。
がん治療薬の副作用に関する予測を示す予測データ３０は、例えば、対象患者に対するがん治療薬の投与によって副作用が発生するか否か（「発生する」及び「発生しない」のいずれか一方）、対象患者に対するがん治療薬の投与によって副作用が発生する確率、又は対象患者に対するがん治療薬の投与によって発生する副作用の大きさを示す。がん治療薬の副作用に関する予測を示す予測データ３０は、がん治療薬の効果に関する予測を示す予測データ３０と同様の方法で生成することができる。例えば、がん治療薬が対象患者に与える副作用に関する予測を出力するように学習された予測モデルを利用する。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を予測モデルに入力することでがん治療薬の副作用に関する予測を得て、その予測を示す予測データ３０を生成する。
がん治療薬の副作用に関する予測を出力する予測モデルの学習に利用する教師データは、例えば、がん治療薬の効果に関する予測を出力する予測モデルの学習に利用する教師データと同様に、医師が実際に患者にがん治療薬を投与し、その後の患者の状態を診断することで生成できる。
副作用を予測するがん治療薬が複数種類ある場合、がん治療薬の種類ごとに予測モデルを用意しておく。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を各予測モデルに入力することにより、がん治療薬ごとの副作用を対象患者について予測した予測データ３０を生成する。
また、副作用の種類が複数存在することもある。この場合、生成部２０４０は、副作用の種類を区別して予測データ３０を生成してもよい。すなわち、生成部２０４０は、副作用の種類ごとに予測データ３０を生成してもよい。この場合、副作用の種類ごとに予測モデルを用意しておく。生成部２０４０は、抽出部２０２０によって抽出された組織形態学的特徴を各予測モデルに入力することにより、各副作用を対象患者について予測した予測データ３０を生成する。
さらに、副作用を予測するがん治療薬が複数種類ある場合には、「がん治療薬の種類、副作用の種類」の組み合わせごとに予測モデルを用意しておく。
＜＜予測に利用する組織形態学的特徴について＞＞
予測に利用する１つ以上の組織形態学的特徴は、情報処理装置２０００が自動的に決定してもよし、情報処理装置２０００のユーザ（例えば医師）が手動で決定してもよい。例えば、予測モデルとしてディープニューラルネットワークを利用する場合（すなわち、深層学習を利用して予測データ３０を生成する場合）、教師データを利用した予測モデルの学習の結果として、複数の組織形態学的特徴の中から、予測に有用な組織形態学的特徴が自動的に決定される。
予測に利用する１つ以上の組織形態学的特徴は、情報処理装置２０００が自動的に決定してもよし、情報処理装置２０００のユーザ（例えば医師）が手動で決定してもよい。例えば、予測モデルとしてディープニューラルネットワークを利用する場合（すなわち、深層学習を利用して予測データ３０を生成する場合）、教師データを利用した予測モデルの学習の結果として、複数の組織形態学的特徴の中から、予測に有用な組織形態学的特徴が自動的に決定される。
一方、利用する組織形態学的特徴を手動で決定する場合、例えば医師等のユーザが予測に有用な組織形態学的特徴を１つ以上決定し、決定した組織形態学的特徴を利用して予測データ３０の生成を行うように予測モデルを生成する。この場合、必ずしも機械学習によって予測モデルを生成する必要はなく、ユーザが予測モデルの生成（すなわち、予測モデルに設定するパラメータの決定）を行ってもよい。
＜＜予測対象とするがん治療薬や副作用の種類について＞＞
予測データ３０は、１つ以上の種類のがん治療薬について生成される。情報処理装置２０００は、予め所定の種類のがん治療薬について予測データ３０を生成するように構成されていてもよいし、予測対象とするがん治療薬の種類を特定し、特定した種類のがん治療薬について予測データ３０を生成してもよい。後者の場合、例えば情報処理装置２０００は、予測対象とするがん治療薬の種類を指定する入力操作を受け付ける。この場合、情報処理装置２０００は、指定された種類のがん治療薬について、予測データ３０を生成する。その他にも例えば、予測対象とするがん治療薬の種類を示す情報を記憶装置に記憶させておいてもよい。この場合、情報処理装置２０００は、この記憶装置から情報を読み出すことで、予測対象とするがん治療薬の種類を特定する。
予測データ３０は、１つ以上の種類のがん治療薬について生成される。情報処理装置２０００は、予め所定の種類のがん治療薬について予測データ３０を生成するように構成されていてもよいし、予測対象とするがん治療薬の種類を特定し、特定した種類のがん治療薬について予測データ３０を生成してもよい。後者の場合、例えば情報処理装置２０００は、予測対象とするがん治療薬の種類を指定する入力操作を受け付ける。この場合、情報処理装置２０００は、指定された種類のがん治療薬について、予測データ３０を生成する。その他にも例えば、予測対象とするがん治療薬の種類を示す情報を記憶装置に記憶させておいてもよい。この場合、情報処理装置２０００は、この記憶装置から情報を読み出すことで、予測対象とするがん治療薬の種類を特定する。
がん治療薬の効果は、がんの種類を特定せずに予測されてもよいし、特定の種類のがんについて予測されてもよい。後者の場合、情報処理装置２０００は、予め所定の種類のがんについて予測データ３０を生成するように構成されていてもよいし、予測対象とするがんの種類を特定し、特定した種類のがんについて予測データ３０を生成してもよい。予測対象とするがんの種類を特定する方法は、予測対象とするがん治療薬の種類を特定する方法と同様である。
副作用の種類が複数ある場合、予測データ３０は、１つ以上の種類の副作用について生成される。情報処理装置２０００は、予め所定の種類の副作用について予測データ３０を生成するように構成されていてもよいし、予測対象とする副作用の種類を特定し、特定した種類の副作用について予測データ３０を生成してもよい。予測対象とする副作用を特定する方法は、予測対象とするがん治療薬を特定する方法と同様である。
＜予測データ３０の出力＞
生成部２０４０は、生成した予測データ３０を何らかの形で出力する。例えば生成部２０４０は、予測データ３０を記憶装置に記憶させる。その他にも例えば、生成部２０４０は、予測データ３０をディスプレイ装置に表示させてもよい。
生成部２０４０は、生成した予測データ３０を何らかの形で出力する。例えば生成部２０４０は、予測データ３０を記憶装置に記憶させる。その他にも例えば、生成部２０４０は、予測データ３０をディスプレイ装置に表示させてもよい。
図６は、予測データ３０をテーブル形式で例示する図である。テーブル２００は、がん治療薬の効果に関する予測を示す予測データ３０を例示している。一方、テーブル３００は、がん治療薬の副作用に関する予測を示す予測データ３０を例示している。
テーブル２００は、患者識別子２０２、がんの種類２０４、薬剤２０６及び予測２０８という列を有する。患者識別子２０２は、対象患者に割り当てられた識別子である。がんの種類２０４は、予測対象としたがんの種類を示す。薬剤２０６は、予測対象としたがん治療薬の種類を示す。予測２０８は、がん治療薬の効果に関する予測を示す。１行目のレコードにおいて、予測２０８は、がん治療薬の効果の有無の予測を示している。２行目のレコードにおいて、予測２０８は、がん治療薬の効果が現れる確率の予測を示している。３行目のレコードにおいて、予測２０８は、がん治療薬の効果の大きさの予測を５段階評価で示している。
テーブル３００は、患者識別子３０２、副作用の種類３０４、薬剤３０６、及び予測３０８という列を有する。患者識別子３０２は、対象患者に割り当てられた識別子である。副作用の種類３０４は、予測対象とした副作用の種類を示す。薬剤３０６、予測対象としたがん治療薬の種類を示す。予測３０８は、がん治療薬の副作用に関する予測を示す。１行目のレコードにおいて、予測３０８は、副作用の有無の予測を示している。２行目のレコードにおいて、予測３０８は、副作用が現れる確率の予測を示している。３行目のレコードにおいて、予測３０８は、副作用の大きさの予測を５段階評価で示している。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、
前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成部と、を有する情報処理装置。
２． 前記がん治療薬は、免疫チェックポイント阻害剤である、１．に記載の情報処理装置。
３． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、１．又は２．に記載の情報処理装置。
４． 前記抽出部が抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、３．に記載の情報処理装置。
５． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記抽出部が抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、５．に記載の情報処理装置。
７． 前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記抽出部が抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、７．に記載の情報処理装置。
９． 前記生成部は、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出部によって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、１．乃至８．いずれか一つに記載の情報処理装置。
１０． 前記抽出部は、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、１．乃至９．いずれか一つに記載の情報処理装置。
１． 対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、
前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成部と、を有する情報処理装置。
２． 前記がん治療薬は、免疫チェックポイント阻害剤である、１．に記載の情報処理装置。
３． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、１．又は２．に記載の情報処理装置。
４． 前記抽出部が抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、３．に記載の情報処理装置。
５． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記抽出部が抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、５．に記載の情報処理装置。
７． 前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記抽出部が抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、７．に記載の情報処理装置。
９． 前記生成部は、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出部によって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、１．乃至８．いずれか一つに記載の情報処理装置。
１０． 前記抽出部は、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、１．乃至９．いずれか一つに記載の情報処理装置。
１１． コンピュータによって実行される制御方法であって、
対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、
前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成ステップと、を有する制御方法。
１２． 前記がん治療薬は、免疫チェックポイント阻害剤である、１１．に記載の制御方法。
１３． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、１１．又は１２．に記載の制御方法。
１４． 前記抽出ステップにおいて抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、１３．に記載の制御方法。
１５． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、１１．乃至１４．いずれか一つに記載の制御方法。
１６． 前記抽出ステップにおいて抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、１５．に記載の制御方法。
１７． 前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、１１．乃至１６．いずれか一つに記載の制御方法。
１８． 前記抽出ステップにおいて抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、１７．に記載の制御方法。
１９． 前記生成ステップにおいて、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出ステップによって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、１１．乃至１８．いずれか一つに記載の制御方法。
２０． 前記抽出ステップにおいて、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、１１．乃至１９．いずれか一つに記載の制御方法。
対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、
前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成ステップと、を有する制御方法。
１２． 前記がん治療薬は、免疫チェックポイント阻害剤である、１１．に記載の制御方法。
１３． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、１１．又は１２．に記載の制御方法。
１４． 前記抽出ステップにおいて抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、１３．に記載の制御方法。
１５． 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、１１．乃至１４．いずれか一つに記載の制御方法。
１６． 前記抽出ステップにおいて抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、１５．に記載の制御方法。
１７． 前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、１１．乃至１６．いずれか一つに記載の制御方法。
１８． 前記抽出ステップにおいて抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、１７．に記載の制御方法。
１９． 前記生成ステップにおいて、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出ステップによって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、１１．乃至１８．いずれか一つに記載の制御方法。
２０． 前記抽出ステップにおいて、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、１１．乃至１９．いずれか一つに記載の制御方法。
２１． １１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
この出願は、２０１８年４月２６日に出願された日本出願特願２０１８−０８５５４０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (21)
- 対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出部と、
前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成部と、を有する情報処理装置。 - 前記がん治療薬は、免疫チェックポイント阻害剤である、請求項１に記載の情報処理装置。
- 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、請求項１又は２に記載の情報処理装置。 - 前記抽出部が抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、請求項３に記載の情報処理装置。
- 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、請求項１乃至４いずれか一項に記載の情報処理装置。 - 前記抽出部が抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、請求項５に記載の情報処理装置。
- 前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
前記抽出部は、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、請求項１乃至６いずれか一項に記載の情報処理装置。 - 前記抽出部が抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、請求項７に記載の情報処理装置。
- 前記生成部は、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出部によって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、請求項１乃至８いずれか一項に記載の情報処理装置。
- 前記抽出部は、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、請求項１乃至９いずれか一項に記載の情報処理装置。
- コンピュータによって実行される制御方法であって、
対象患者の病理画像データに含まれる組織の組織形態学的特徴を抽出する抽出ステップと、
前記抽出した組織形態学的特徴を用いて、前記対象患者に対するがん治療薬の効果に関する予測、及び前記対象患者に対するがん治療薬の副作用に関する予測のいずれか１つ以上を示す予測データを生成する生成ステップと、を有する制御方法。 - 前記がん治療薬は、免疫チェックポイント阻害剤である、請求項１１に記載の制御方法。
- 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる PD-L1 の組織形態学的特徴を抽出する、請求項１１又は１２に記載の制御方法。 - 前記抽出ステップにおいて抽出する PD-L1 の組織形態学的特徴は、PD-L1 が発現した腫瘍細胞における PD-L1 の全周性、PD-L1 の染色強度、及び PD-L1 が発現した腫瘍細胞の大きさのいずれか１つ以上である、請求項１３に記載の制御方法。
- 前記病理画像データは、免疫組織染色（IHC: Immunohistochemistry）が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる免疫細胞の組織形態学的特徴を抽出する、請求項１１乃至１４いずれか一項に記載の制御方法。 - 前記抽出ステップにおいて抽出する免疫細胞の組織形態学的特徴は、陽性率、免疫細胞の染色強度、及び免疫細胞の大きさのいずれか１つ以上である、請求項１５に記載の制御方法。
- 前記病理画像データは、ヘマトキシリン・エオシン染色が行われた組織が含まれる画像データであり、
前記抽出ステップにおいて、前記病理画像データに含まれる腫瘍細胞の細胞核の組織形態学的特徴を抽出する、請求項１１乃至１６いずれか一項に記載の制御方法。 - 前記抽出ステップにおいて抽出する細胞核の組織形態学的特徴は、細胞核の面積、細胞核の周囲長、細胞核の円形度合い、細胞核の輪郭の複雑度合い、細胞核のテクスチャに関する指標値、細胞核の長径、細胞核の短径、細胞核の面積と細胞核の外接矩形の面積との比率、及び細胞核の密度のいずれか１つ以上である、請求項１７に記載の制御方法。
- 前記生成ステップにおいて、組織形態学的特徴が入力されることに応じて前記対象患者に与えるがん治療薬の影響に関する予測を出力する学習済みの予測モデルに対し、前記抽出ステップによって抽出された組織形態学的特徴を適用することで、前記予測データを生成する、請求項１１乃至１８いずれか一項に記載の制御方法。
- 前記抽出ステップにおいて、前記病理画像データに含まれる部分領域について、その部分領域に含まれる細胞核の中から腫瘍細胞を検出し、前記検出した腫瘍細胞の細胞核又はその腫瘍細胞に発現した PD-L1について、組織形態学的特徴を抽出する、請求項１１乃至１９いずれか一項に記載の制御方法。
- 請求項１１乃至２０いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018085540 | 2018-04-26 | ||
| JP2018085540 | 2018-04-26 | ||
| PCT/JP2019/017659 WO2019208703A1 (ja) | 2018-04-26 | 2019-04-25 | 情報処理装置、制御方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2019208703A1 true JPWO2019208703A1 (ja) | 2021-04-30 |
Family
ID=68295493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020515568A Pending JPWO2019208703A1 (ja) | 2018-04-26 | 2019-04-25 | 情報処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210033599A1 (ja) |
| JP (1) | JPWO2019208703A1 (ja) |
| CN (1) | CN112020647A (ja) |
| WO (1) | WO2019208703A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019195304A (ja) | 2018-05-10 | 2019-11-14 | 学校法人順天堂 | 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 |
| CN109903280B (zh) * | 2019-02-27 | 2020-09-29 | 上海联影智能医疗科技有限公司 | 肿瘤确定***、方法及存储介质 |
| JP7381003B2 (ja) * | 2019-04-26 | 2023-11-15 | 学校法人順天堂 | 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム |
| JP2022183393A (ja) * | 2019-11-07 | 2022-12-09 | テルモ株式会社 | 心臓再同期療法治療効果予測装置、方法およびプログラム |
| JP6810294B1 (ja) * | 2020-06-30 | 2021-01-06 | 凸版印刷株式会社 | 評価システム、学習装置、予測装置、評価方法、及びプログラム |
| CN112326961B (zh) * | 2020-10-30 | 2021-08-06 | 福州迈新生物技术开发有限公司 | 一种非小细胞肺癌中pd-l1阳性肿瘤细胞比例的分析方法和存储设备 |
| CN112991263B (zh) * | 2021-02-06 | 2022-07-22 | 杭州迪英加科技有限公司 | 用于提升pd-l1免疫组化病理切片tps计算准确度的方法及设备 |
| WO2022201415A1 (ja) * | 2021-03-25 | 2022-09-29 | 日本電気株式会社 | 検査支援装置、検査支援システム、検査支援方法、および記録媒体 |
| CN115171894A (zh) * | 2022-07-01 | 2022-10-11 | 核工业总医院 | 布拉格决策方案评估方法和决策方案评估方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001095599A (ja) * | 1999-03-15 | 2001-04-10 | Fuji Photo Film Co Ltd | プロテアーゼの測定方法 |
| JP2008268167A (ja) * | 2007-03-29 | 2008-11-06 | Saga Univ | 蛍光多重染色による蛋白定量法 |
| JP2011133457A (ja) * | 2009-07-09 | 2011-07-07 | Ube Kagaku Bunseki Center:Kk | 毒性試験法 |
| JP2011227838A (ja) * | 2010-04-23 | 2011-11-10 | Kyoto Univ | 予測装置及びその学習装置並びにそれらのコンピュータプログラム |
| WO2015040990A1 (ja) * | 2013-09-19 | 2015-03-26 | 学校法人慶應義塾 | 疾患分析装置、制御方法、及びプログラム |
| JP2017037059A (ja) * | 2015-08-10 | 2017-02-16 | 中國醫藥大學附設醫院Ｃｈｉｎａ Ｍｅｄｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｈｏｓｐｉｔａｌ | 樹状細胞腫瘍ワクチンの適性評価方法及び生存率の予測方法 |
| WO2017050855A1 (en) * | 2015-09-22 | 2017-03-30 | Institut Gustave Roussy | A scoring method for predicting the efficiency of a treatment with anti-pd-1 and/or anti-pd-l1 monoclonal antibodies |
| WO2017070584A1 (en) * | 2015-10-23 | 2017-04-27 | Novartis Ag | Computer processes behind an enhanced version of aqua |
| US20170130271A1 (en) * | 2014-04-24 | 2017-05-11 | Dana-Farber Cancer Institute, Inc. | Tumor suppressor and oncogene biomarkers predictive of anti-immune checkpoint inhibitor response |
| US20180107786A1 (en) * | 2016-10-07 | 2018-04-19 | Omniseq, Inc. | Methods and systems for determining personalized therapies |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2008236634A1 (en) * | 2007-04-05 | 2008-10-16 | Aureon Laboratories, Inc. | Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition |
| WO2010041423A1 (ja) * | 2008-10-09 | 2010-04-15 | 日本電気株式会社 | 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法 |
| EP2423323A4 (en) * | 2009-04-21 | 2012-11-28 | Nec Corp | METHOD OF TUMOR ASSESSMENT |
| JP5387146B2 (ja) * | 2009-06-03 | 2014-01-15 | 日本電気株式会社 | 病理組織画像解析装置、病理組織画像解析方法、病理組織画像解析プログラム |
| JP5630674B2 (ja) * | 2010-09-30 | 2014-11-26 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体 |
| CN103097889B (zh) * | 2010-09-30 | 2015-03-18 | 日本电气株式会社 | 信息处理设备、信息处理***、信息处理方法、程序和记录介质 |
| WO2015088930A1 (en) * | 2013-12-10 | 2015-06-18 | Merck Sharp & Dohme Corp. | Immunohistochemical proximity assay for pd-1 positive cells and pd-ligand positive cells in tumor tissue |
| AU2015345199A1 (en) * | 2014-11-10 | 2017-04-27 | Ventana Medical Systems, Inc. | Classifying nuclei in histology images |
| US10746726B2 (en) * | 2014-12-02 | 2020-08-18 | The University Of Tokyo | Method for assessing therapeutic effect of anti-cancer agent having anti-CD4 antibody as active ingredient |
| CN104732230A (zh) * | 2015-03-27 | 2015-06-24 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种基于细胞核统计信息的病理图像局部特征提取方法 |
| CN106282294A (zh) * | 2015-06-26 | 2017-01-04 | 广州中医药大学科技产业园有限公司 | 一种细胞核大小形态测量方法在生殖毒性评价中的应用 |
| PL3443350T3 (pl) * | 2016-04-15 | 2021-05-31 | F. Hoffmann-La Roche Ag | Sposoby monitorowania i leczenia nowotworu |
| TWI594207B (zh) * | 2016-04-26 | 2017-08-01 | 財團法人金屬工業研究發展中心 | 細胞核影像輪廓擷取裝置及其方法 |
| CN107236728A (zh) * | 2017-06-16 | 2017-10-10 | 天津市肿瘤医院 | 一种提取动物细胞核内染色质及其相关蛋白的方法 |
-
2019
- 2019-04-25 CN CN201980028354.8A patent/CN112020647A/zh active Pending
- 2019-04-25 US US17/044,427 patent/US20210033599A1/en active Pending
- 2019-04-25 JP JP2020515568A patent/JPWO2019208703A1/ja active Pending
- 2019-04-25 WO PCT/JP2019/017659 patent/WO2019208703A1/ja active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001095599A (ja) * | 1999-03-15 | 2001-04-10 | Fuji Photo Film Co Ltd | プロテアーゼの測定方法 |
| JP2008268167A (ja) * | 2007-03-29 | 2008-11-06 | Saga Univ | 蛍光多重染色による蛋白定量法 |
| JP2011133457A (ja) * | 2009-07-09 | 2011-07-07 | Ube Kagaku Bunseki Center:Kk | 毒性試験法 |
| JP2011227838A (ja) * | 2010-04-23 | 2011-11-10 | Kyoto Univ | 予測装置及びその学習装置並びにそれらのコンピュータプログラム |
| WO2015040990A1 (ja) * | 2013-09-19 | 2015-03-26 | 学校法人慶應義塾 | 疾患分析装置、制御方法、及びプログラム |
| US20170130271A1 (en) * | 2014-04-24 | 2017-05-11 | Dana-Farber Cancer Institute, Inc. | Tumor suppressor and oncogene biomarkers predictive of anti-immune checkpoint inhibitor response |
| JP2017037059A (ja) * | 2015-08-10 | 2017-02-16 | 中國醫藥大學附設醫院Ｃｈｉｎａ Ｍｅｄｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ Ｈｏｓｐｉｔａｌ | 樹状細胞腫瘍ワクチンの適性評価方法及び生存率の予測方法 |
| WO2017050855A1 (en) * | 2015-09-22 | 2017-03-30 | Institut Gustave Roussy | A scoring method for predicting the efficiency of a treatment with anti-pd-1 and/or anti-pd-l1 monoclonal antibodies |
| WO2017070584A1 (en) * | 2015-10-23 | 2017-04-27 | Novartis Ag | Computer processes behind an enhanced version of aqua |
| US20180107786A1 (en) * | 2016-10-07 | 2018-04-19 | Omniseq, Inc. | Methods and systems for determining personalized therapies |
Non-Patent Citations (4)
| Title |
|---|
| BALKO, J. M. ET AL.: "Advanced molecular characterization of severe auto immune toxicities associated with checkpoint inhi", CANCER RESEARCH, vol. Vol.77, No.13_Supplement, JPN6022024038, 2017, pages 588, ISSN: 0004920617 * |
| BUDDE, P. ET AL.: "AUTOANTIBODY PROFILING IN PROSTVAC AND IPILIMUMAB TREATED PROSTATE CANCER PATIENTS REVEALS POTENTIAL", LUPUS, vol. 5, no. 1, JPN6022024039, 21 March 2018 (2018-03-21), pages 45 - 46, ISSN: 0004920614 * |
| ILIE, M. ET AL.: "Assesment of the PD-L1 status by immunohistochemistry: challenges and perspectives for therapeutic s", VIREHOWS ARCH, vol. 468, no. 5, JPN6021048073, 25 February 2016 (2016-02-25), pages 511 - 525, ISSN: 0004920616 * |
| 肺癌患者におけるPD-L1検査の手引き, JPN6021048070, 27 March 2017 (2017-03-27), ISSN: 0004920615 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112020647A (zh) | 2020-12-01 |
| US20210033599A1 (en) | 2021-02-04 |
| WO2019208703A1 (ja) | 2019-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2019208703A1 (ja) | 情報処理装置 | |
| EP3992851A1 (en) | Image classification method, apparatus and device, storage medium, and medical electronic device | |
| CN110889826B (zh) | 眼部oct图像病灶区域的分割方法、装置及终端设备 | |
| US10123758B2 (en) | Methods and systems for determining breast density | |
| US9916658B2 (en) | Disease analysis apparatus, control method, and program | |
| WO2014186838A1 (en) | A system and method for remote medical diagnosis | |
| CN110246109A (zh) | 融合ct影像和个性化信息的分析***、方法、装置及介质 | |
| Garnavi et al. | Weighted performance index for objective evaluation of border detection methods in dermoscopy images | |
| Zhou et al. | Mammogram classification using convolutional neural networks | |
| CN111028218A (zh) | 眼底图像质量判定模型训练方法、装置和计算机设备 | |
| US20230056839A1 (en) | Cancer prognosis | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| Antal et al. | A multi-level ensemble-based system for detecting microaneurysms in fundus images | |
| WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| CN111738975B (zh) | 图像辨识方法及图像辨识装置 | |
| KR102280047B1 (ko) | 딥 러닝 기반 종양 치료 반응 예측 방법 | |
| US20220036558A1 (en) | Method and system for predicting expression of biomarker from medical image | |
| KR20210015834A (ko) | 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램 | |
| CN113160199B (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
| Zulfikar et al. | Android application: skin abnormality analysis based on edge detection technique | |
| CN116912213B (zh) | 一种医学Dicom图像边缘轮廓多边检测算法和检测*** | |
| KR102550769B1 (ko) | 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치 | |
| US20240104736A1 (en) | Method and system for parallel processing for medical image | |
| WO2022176665A1 (ja) | 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体 | |
| Mračko et al. | Enhancing Breast Microcalcification Classification: From Binary to Three-Class Classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201014 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230713 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230804 |