JP7429514B2 - 機械学習装置 - Google Patents

機械学習装置 Download PDF

Info

Publication number
JP7429514B2
JP7429514B2 JP2019181165A JP2019181165A JP7429514B2 JP 7429514 B2 JP7429514 B2 JP 7429514B2 JP 2019181165 A JP2019181165 A JP 2019181165A JP 2019181165 A JP2019181165 A JP 2019181165A JP 7429514 B2 JP7429514 B2 JP 7429514B2
Authority
JP
Japan
Prior art keywords
learning
database
image
classifier
learning database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019181165A
Other languages
English (en)
Other versions
JP2021056919A (ja
JP2021056919A5 (ja
Inventor
英春 服部
容弓 柿下
憲孝 内田
定光 麻生
智也 桜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Priority to JP2019181165A priority Critical patent/JP7429514B2/ja
Priority to CN202080064619.2A priority patent/CN114424218A/zh
Priority to PCT/JP2020/036985 priority patent/WO2021065937A1/ja
Priority to US17/762,479 priority patent/US20220351078A1/en
Priority to EP20870459.3A priority patent/EP4039194A4/en
Publication of JP2021056919A publication Critical patent/JP2021056919A/ja
Publication of JP2021056919A5 publication Critical patent/JP2021056919A5/ja
Application granted granted Critical
Publication of JP7429514B2 publication Critical patent/JP7429514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、機械学習に関し、例えば、撮像した画像内に含まれる特定の物体（例えば、がんの細胞や液面上の泡等）を検出するための機械学習を用いた画像処理技術に適用可能である。
近年、画像認識技術においては、機械学習等を用いた画像認識技術の検討が行われている。Ｄｅｅｐ Ｌｅａｒｎｉｎｇ等を用いることで、画像内の物体の検出精度を向上している。画像内の物体を検出するための識別器を開発するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、複数の学習画像データ群を設定して機械学習を行い、ニューラルネットワークのパラメータを算出する。
特開２０１６－１４３３５１号公報
しかしながら、特許文献１のように、学習画像を複数の画像群に分けて再学習してパラメータを求めても、画像群の中に識別器の識別精度の向上に寄与しない画像が含まれることがあり、必ずしも識別器の識別精度は向上しない。また、特許文献１では、継続的に識別器の識別精度を向上できる学習画像データベースを作成できない。
本発明の一態様の機械学習装置は、データサンプルを処理するプロセッサと、前記処理の結果を格納する記憶装置と、を含む。前記プロセッサは、複数学習データベースから複数識別器を作成し、前記複数学習データベースそれぞれは複数学習データサンプルを格納し、前記複数識別器それぞれの識別性能の評価結果を作成し、前記評価結果に基づいて、前記複数学習データベースにおける一つの学習データベースおよび前記一つの学習データベースから生成される識別器を、使用する学習データベースおよび識別器と決定する。
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素および多様な要素の組み合わせおよび以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
本発明の一態様によれば、適切な学習データベースおよび識別器を作成および使用することができる。
第１の実施形態による機械学習装置の機能を示すブロック図である。 第１の実施形態による機械学習装置のハードウェア構成例を示す図である。 第１の実施形態による学習部の構成例を示す図である。 第１の実施形態による学習部の動作の一例を説明するための図である。 第１の実施形態による学習部の動作の一例を説明するための図である。 第１の実施形態による学習部の動作の一例を説明するための図である。 第１の実施形態による学習部の動作の一例を説明するための図である。 第１の実施形態による学習部の動作の一例を説明するための図である。 第１の実施形態による描画部の動作の一例を説明するための図である。 第１の実施形態による学習部の動作を説明するためのフローチャートである。 第１の実施形態による機械学習装置の全体動作を説明するためのフローチャートである。 第１の実施形態による描画部の更新状況表示の一例を説明するための図である。 第２の実施形態による機械学習装置の機能を示すブロック図である。 第２の実施形態による機械学習装置の全体動作を説明するためのフローチャートである。 第３の実施形態による機械学習装置を含む画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。 第４の実施形態による機械学習装置を含む画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
一実施形態は、学習画像データベースの各画像を用いて機械学習を行って複数の識別器を作成し、さらに、作成した複数の識別器を評価して評価結果を求め、複数の評価結果を判定して識別器および学習画像データベースの更新可否を制御する。これにより、画像内の物体（例えば、組織・細胞等）を高精度に識別可能な識別器および識別器の継続的な識別精度の向上に寄与する画像から構成される学習画像データベースの作成を実現する機械学習装置およびその方法を提供する。
以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装してもよい。以下では「プログラムとしての各処理部（例えば、学習部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリおよび通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。
（１）第１の実施形態
＜機械学習装置の機能構成＞
図１は、第１の実施形態による機械学習装置の機能構成を示すブロック図である。機械学習装置１は、入力部１０と、学習部１１と、適性評価部１２と、更新判定部１３と、描画部１４と、制御部９１と、学習画像データベース（ＤＢ）（確定）１００、学習画像ＤＢ（確定＋確定前）１０１、評価画像１０２、メモリ９０と、を含む。機械学習装置１は、画像診断支援装置等の画像取得装置内に実装してもよいし、後述する（第３乃至第４の実施形態）ように、画像取得装置とネットワークを介して接続されるサーバ内に実装してもよい。
機械学習装置１における、入力部１０、学習部１１、適性評価部１２、更新判定部１３、および描画部１４は、プログラム又はプログラムを実行するプロセッサによって実現してもよいし、ハードウェアモジュールにより実現してもよい。
入力部１０には画像データが入力される。例えば、入力部１０は、画像取得装置（図１において不図示）にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を、入力画像として取得してもよい。
入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像として取得してもよい。入力部１０は、撮像手段からバスやネットワーク等を介して入力画像を取得してよい。入力部１０は、脱着可能な記録媒体に既に記憶されている画像を入力画像として取得してもよい。入力部１０から入力され画像は、学習画像（確定前）として、学習画像ＤＢ（確定＋確定前）１０１に格納される。
学習画像ＤＢ（確定）１００は、学習用画像と確定された画像と正解ラベルとの複数の組み合わせを格納している。各画像に対応する正解ラベルは確定されている。学習画像（確定前）は、学習用画像と確定される前の画像と正解ラベルとの、複数の組み合わせで構成されている。各画像に対応する正解ラベルは、変更され得る
学習部１１は、入力画像内の特定の物体の画像を当該特定の物体と識別するように、例えば、正常の組織や細胞の画像を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞の画像を異常の組織や細胞と識別するように、機械学習を行う。学習部１１は、学習画像ＤＢ（確定）１００から識別器ＣＡ（識別に必要なパラメータ（フィルタ係数、オフセット値等））を作成する。学習部１１は、学習画像ＤＢ（確定)１００に入力部１０から入力した学習画像（確定前）を加えた学習画像ＤＢ（確定＋確定前）１０１から、識別器ＣＢを作成する。
適性評価部１２は、評価画像１０２を用いて、識別器ＣＡとＣＢの識別結果および識別値を算出する。更新判定部１３は、適性評価部１２にて求めた識別器ＣＡとＣＢの識別結果および識別値を用いて、識別器ＣＡおよび学習画像ＤＢ（確定）１００の更新可否を制御する。また、更新判定部１３は、適性評価部１２にて求めた後述するＡｖｅｄｒ１やＡｖｅｄｒ２、各ＭｄｒＮ、更新判定部１３が判定した識別器ＣＡや学習画像ＤＢ（確定）の更新の回数や更新したＡｖｅｄｒ１の推移等の情報を、メモリ９０に保存する。
描画部１４は、適性評価部１２にて求めた後述するＡｖｅｄｒ１やＡｖｅｄｒ２、各ＭｄｒＮ、更新判定部１３が判定した識別器ＣＡや学習画像ＤＢ（確定）の更新回数や更新したＡｖｅｄｒ１の推移等の情報を、ディスプレイやプリンタ等の出力装置に出力する。
制御部９１は、例えば、プログラムを実行するプロセッサで実現され、機械学習装置１内の各要素に接続される。機械学習装置１の各構成要素は、自律的又は制御部９１の指示により、上述のように動作する。
このように本実施形態の機械学習装置１では、学習部１１は、機械学習を行って、学習画像ＤＢ（確定）１００から識別器ＣＡを生成し、学習画像ＤＢ（確定）１００に入力部１０から入力した学習画像（確定前）を加えた学習画像ＤＢ（確定＋確定前）１０１から識別器ＣＢを作成する。適性評価部１２は、評価画像１０２を用いて、識別器ＣＡとＣＢの識別結果および識別値を算出する。更新判定部１３は、適性評価部１２にて求めた識別器ＣＡとＣＢの識別結果および識別値を用いて、識別器ＣＡおよび学習画像ＤＢ（確定）１００の更新可否を制御する。
＜機械学習装置のハードウェア構成＞
図２Ａは、第１の実施形態による機械学習装置１のハードウェア構成例を示す図である。機械学習装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２（主記憶装置）と、各種データを格納する補助記憶装置２０３（メモリ９０に相当）を含む。機械学習装置１は、さらに、識別結果や識別器や学習画像ＤＢ（確定）１００の更新可否結果を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を含む。機械学習装置１内のこれら構成要素は、バス２０７によって相互に接続されている。
ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。メモリ２０２は、プログラムとしての、入力部１０と、学習部１１と、適性評価部１２と、更新判定部１３と、描画部１４とを格納する。
補助記憶装置２０３は、学習画像（確定前）、学習部１１によって生成された識別器ＣＡとＣＢのパラメータ、適性評価部１２によって生成された識別結果と識別値、更新判定部１３によって判定された更新結果を格納している。補助記憶装置２０３は、さらに、学習画像ＤＢ（確定）１００および学習画像ＤＢ（確定＋確定前）１０１、描画部１４によって生成された検出枠を描画するための位置情報等を格納している。メモリ２０２、補助記憶装置２０３またはこれらの組み合わせは記憶装置である。
出力装置２０４は、ディスプレイ、プリンタ、スピーカ等のデバイスを含んで構成される。例えば、出力装置２０４は表示装置であり、描画部１４によって生成されたデータを画面上に表示する。入力装置２０５は、キーボード、マウス、マイク等のデバイスを含んで構成される。入力装置２０５によってユーザによる指示（学習画像（確定前）入力の決定を含む）が、機械学習装置１に入力される。
通信デバイス２０６は、機械学習装置１において必須ではなく、画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、機械学習装置１は通信デバイス２０６を保持していなくてもよい。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバ）から送信されてきたデータ（画像を含む）を受信し、補助記憶装置２０３に格納する。
本実施形態の機械学習装置は、学習画像データベースの画像を用いて機械学習を行って複数の識別器を作成し、さらに、作成した複数の識別器を評価して評価結果を求める。機械学習装置は、評価結果を判定して識別器および学習画像データベースの更新可否を制御することで、画像内の物体（例えば、組織・細胞等）をより高精度に識別可能な識別器、および、識別器の継続的な識別精度の向上に寄与する画像から構成される学習画像データベースを作成できる。
＜各部の構成と動作＞
以下、各要素の構成と動作について詳細に説明する。
（ｉ）学習部１１
図２Ｂは、学習部１１の構成例を示す。学習部１１は、特徴抽出部１１１、局所識別部１１２、全体識別部１１３を含む。
（ｉ－ｉ）特徴抽出部１１１
特徴抽出部１１１は、入力画像の特徴量を求める。図３は、特徴量を求める例を示す。図３のＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを表す。例えば、特徴抽出部１１１は、式１の演算を行う特徴抽出器ＦＥＡを用いて、入力画像Ａｉから入力画像Ａｉの物体（例えば、組織・細胞等）の特徴量ＦＡｉを求める。
Figure 0007429514000001
学習部１１は、各物体の画像を各物体（正常組織や正常細胞を正常組織や正常細胞、もしくは異常組織や異常細胞を異常組織や異常細胞等）と識別するように、機械学習によりフィルタ係数ｗｊを求める。ｐｊは画素値、ｂｉはオフセット値、ｍはフィルタ係数の数、ｈは非線形関数を示す。
図４に示すように、特徴抽出部１１１は、式１を用いて、対象画像（例として病理組織画像）４１の左上から右下に対して、各フィルタ４２の計算結果を求めることで、任意のフィルタｉの特徴量ｆｉを求める。例えば、特徴抽出器ＦＥＡで求めた特徴量ｆｉの行列を入力画像Ａｉの特徴量ＦＡｉとする。特徴抽出器ＦＥＡの作成方法については、後述する。
（ｉ－ｉｉ）局所識別部１１２
局所識別部１１２は、図５に示すように、特徴抽出部１１１で求めた特徴抽出器ＦＥＡの特徴量ＦＡｉと非線形関数ＮＦ（例えば、ｓｉｇｍｏｉｄ関数等）を用いて、式２により、局所領域毎に物体らしさ（例えば、病変らしさ等）の値を算出する。局所識別部１１２は、算出した値に基づき、入力画像Ａｉ内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する。
Figure 0007429514000002
式２において、ＬＳはクラス、高さ、幅の３次元配列から成る局所識別値、ＦＡｉは特徴抽出部１１１にて求めた特徴量の番号、高さ、幅の３次元配列から成る特徴量である。Ｗは、クラス、特徴量の番号、高さ、幅の４次元配列から成る局所識別値算出のためのフィルタ、Ｂはクラスの１次元配列から成る局所識別値算出のためのオフセット値である。ｃはクラスのインデックス、ｙは特徴量の垂直方向のインデックス、ｘは特徴量の水平方向のインデックス、ｆｙはフィルタの垂直方向のインデックス、ｆｘはフィルタの水平方向のインデックス、ｊはフィルタのインデックスを示す。
式２ではＣｏｎｖｏｌｕｔｉｏｎ処理を用いて局所識別値を算出しているが、局所識別値の算出方法はこれに限らない。例えばＣｏｎｖｏｌｕｔｉｏｎ処理や非線形関数等を複数回適用して求めてもよいし、各座標における特徴量をＲａｎｄｏｍ ｆｏｒｅｓｔやＳＶＭ等、その他の識別手法に入力して局所識別値を算出してもよい。
（ｉ－ｉｉｉ）全体識別部１１３
全体識別部１１３は、図６に示すように、局所識別部１１２にて求めた局所識別値ＬＳと非線形関数（例えば、ｓｉｇｍｏｉｄ関数等）を用いて基礎識別値ＢＳを求める。全体識別部１１３は、基礎識別値ＢＳを入力画像内の各物体画像の物体らしさ（例えば、病変らしさ等）の値を示す計算結果Ｒとして、入力画像Ａｉ内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定する（Ｓ１）。
基礎識別値ＢＳは、式３の大局識別値ＧＳと式４を用いて算出される。
Figure 0007429514000003
Figure 0007429514000004
式３において、ＧＳはクラスの１次元配列から成る大局識別値、ＦＡｉは、特徴抽出部１１１で求めた特徴量の番号、高さ、幅の３次元配列から成る特徴量、Ｗはクラス、特徴量の番号、高さ、幅の４次元配列から成る大局識別値算出のためのフィルタを示す。Ｂはクラスの１次元配列から成る大局識別値算出のためのオフセット値、ｃはクラスのインデックスを示す。ｙは特徴量の垂直方向のインデックス、ｘは特徴量の水平方向のインデックス、ｆｙはフィルタの垂直方向のインデックス、ｆｘはフィルタの水平方向のインデックス、ｊはフィルタのインデックスを示す。
また、式４のＬａｂｅｌはクラスの１次元配列から成る画像単位の教師ラベル（正解ラベル）を示す。後述する学習部１１は、機械学習により、式３の更新されるフィルタＷの係数とオフセット値Ｂを求める。ＮＬＬは損失関数、例えば、Ｎｅｇａｔｉｖｅ ｌｏｇ ｌｉｋｅｌｉｈｏｏｄを示す。
式３はＣｏｎｖｏｌｕｔｉｏｎ処理と水平・垂直方向の平均処理を用いて大局識別値を算出しているが、大局識別値の算出方法はこれに限らない。例えばＣｏｎｖｏｌｕｔｉｏｎ処理や非線形関数等を複数回適用した後に、水平・垂直方向の平均処理を行ってもよいし、各座標における特徴量をＲａｎｄｏｍ ｆｏｒｅｓｔやＳＶＭ等、その他の識別手法に入力して得られた値の水平・垂直方向の平均値を算出してもよい。また水平・垂直方向の平均処理に限らず、総和処理等を用いてもよい。
学習部１１は、全体識別部１１３が、局所識別値を用いて、入力画像内の各物体を各物体（例えば、正常組織や正常細胞を正常組織や正常細胞、異常組織や異常細胞を異常組織や異常細胞）と識別するように、既存の機械学習の技術を用いて各物体の特徴量を学習し、フィルタＷの係数とオフセット値Ｂを求める。例えば、機械学習の技術として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いてもよい。
学習部１１は、図７に示すように、事前の機械学習により、入力画像Ａｉ（例えば、病理画像）を用いて、式１により、入力画像Ａｉの特徴量ＦＡｉを算出する。次に、学習部１１は、式２により、特徴量ＦＡｉから局所識別値ＬＳを求める。学習部１１は、局所識別値ＬＳから求めた基礎識別値ＢＳを用いて、各対象物体の画像を各対象物体（例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞）と判定するように、式１から式３までの各パラメータを算出する。
学習部１１は、学習画像ＤＢ（確定）１００の複数の学習用画像を用いて、特徴抽出部１１１、局所識別部１１２、および全体識別部１１３の処理を繰り返して行い、式１、式２および式３に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を求める。
学習部１１は、入力画像から入力画像の特徴量を算出する特徴抽出器、局所識別値を求める局所識別器、大局識別値を求める大局識別器から成る識別器ＣＡを作成する。同様に、学習部１１は、学習画像ＤＢ（確定＋確定前）１０１の複数の学習画像を用いて、式１、式２および式３に示す各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）を求め、識別器ＣＢを作成する。学習部１１は、求めた各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉとＢ等）をメモリ９０に格納する。
例えば、学習部１１は、学習画像ＤＢ（確定）１００および学習画像ＤＢ（確定＋確定前）１０１それぞれの識別タイプの画像数のバランスを調整して、識別器ＣＡおよびＣＢを作成する。例えば、学習部１１は、学習画像ＤＢ（確定）１００および学習画像ＤＢ（確定＋確定前）１０１それぞれにおいて、識別タイプ間の画像数の差が所定の閾値より小さくなるように画像数を調整する。これにより、より適切な評価を行うことができる。
（ｉｉ）適性評価部１２
適性評価部１２は、評価画像１０２を用いて、式５により、学習部１１が作成した識別器ＣＡとＣＢについて、識別器ＣＡのＡｖｅｄｒＸ（Ａｖｅｄｒ１）と識別器ＣＢのＡｖｅｄｒＸ（Ａｖｅｄｒ２）を求めることで、それら識別器の評価を行う。式５において、Ｎは識別するタイプの数を示す。各ＭｄｒＮは対象の検出率を示す。例えば、Ｎ＝２であり、Ｍｄｒ１は良性腫瘍検出率（平均）を示し、Ｍｄｒ２は悪性腫瘍検出率（平均）を示す。適性評価部１２は、ＡｖｅｄｒＸと異なる値を使用することができ、例えば、ＭｄｒＮの最大値を使用してもよい。
Figure 0007429514000005
（ｉｉｉ）更新判定部１３
更新判定部１３は、適性評価部１２で求めた複数のＡｖｅｄｒＸを比較して、識別器ＣＡおよび学習画像ＤＢ（確定）１００の更新可否を制御する。例えば、Ａｖｅｄｒ２＞Ａｖｅｄｒ１かつＡｖｅｄｒ２＞ＴＨ１（例えば、ＴＨ１＝０．７）の場合（Ｋ１）、更新判定部１３は、識別器ＣＡおよび学習画像ＤＢ（確定）１００の更新を行う。具体的には、更新判定部１３は学習画像ＤＢ（確定）１００の内容を学習画像ＤＢ（確定＋確定前）１０１の内容に更新し、識別器ＣＡを学習画像ＤＢ（確定＋確定前）１０１で学習した識別器ＣＢの内容に更新する。
また、Ａｖｅｄｒ２≦Ａｖｅｄｒ１かつＡｖｅｄｒ２＞ＴＨ１の場合（Ｋ２）、更新判定部１３は、識別器ＣＡおよび学習画像ＤＢ（確定)の更新を行わず、学習画像ＤＢ（確定前)の画像の順番を、例えばランダムに、入れ替える。学習部１１は、順番が入れ替えられた学習画像ＤＢ（確定前)によって再学習を行う。Ｋ１の場合でもＫ２の場合でもない場合、更新判定部１３は、再学習のために、入力装置を介したにユーザよる指示に従って又は自動的に、学習画像ＤＢ（確定前)におけるいくつかの画像の正解ラベルを変更する。例えば、更新判定部１３は、画像のミニバッチ毎に正解ラベルの変更の有無を判定してもよい。
更新判定部１３は、適性評価部１２にて求めたＡｖｅｄｒ１やＡｖｅｄｒ２、各ＭｄｒＮ、更新判定部１３が判定した識別器ＣＡや学習画像ＤＢ（確定）１００の更新回数や更新したＡｖｅｄｒ１の推移等を、メモリ９０またはログファイルに記録する。
（ｉｖ）描画部１４
描画部１４は、一例として、図１１に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、適性評価部１２にて求めたＡｖｅｄｒ１やＡｖｅｄｒ２、各ＭｄｒＮ、更新判定部１３で判定した識別器ＣＡや学習画像ＤＢ（確定）の更新回数や更新したＡｖｅｄｒ１の推移等を表示する。図１１の例は、Ａｖｅｄｒ１を０．７１、Ａｖｅｄｒ２を０．８１、Ｍｄｒ１を０．８０、Ｍｄｒ２を０．８２、更新回数を１０と表示している。
また、描画部１４は、入力部１０から入力された未知の画像の各識別器での識別結果を表示する。画像内の特定の部分が検出すべき物体（例えば、異常組織や異常細胞）と判定されている場合、図８に示すように、描画部１４は、検出すべき物体の箇所（例えば、異常組織や異常細胞が疑われる箇所等）を示すために、入力した対象画像８１内に検出枠８２を描画してもよい。一方、対象画像８１が正常組織や正常細胞と判定された場合は、描画部１４は、検出枠８２を入力した対象画像８１上に描画せず、入力した対象画像８１をそのまま表示してもよい。
また、図８に示すように、描画部１４は、判定した物体らしさの結果（例えば、腫瘍）８３を表示する。描画部１４は、機械学習装置１としては必須の構成ではなく、画像診断支援装置に描画部が含まれる場合には、機械学習装置１は描画部１４を保持していなくてもよい。
＜機械学習装置の処理手順＞
図９は、第１の実施形態による機械学習装置１の学習部１１の動作を説明するためのフローチャートである。以下では、学習部１１を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えてもよい。
（ｉ）ステップ９０１
入力部１０は、学習用入力画像Ａｉを受け付け、当該入力画像Ａｉを学習部１１に出力する。
（ｉｉ）ステップ９０２
学習部１１は、機械学習によって、上述の式１により、フィルタを用いて入力画像Ａｉにおける物体（例えば、組織や細胞等）の特徴量を求め、特徴抽出器ＦＥＡを作成する。学習部１１は、特徴量ＦＡｉについて、フィルタ係数ｗｊ、オフセット値ｂｉを求める。
（ｉｉｉ）ステップ９０３
学習部１１は、機械学習によって、式２により、特徴量ＦＡｉから局所識別値ＬＳを求め、局所領域毎に物体らしさ（例えば、病変らしさ等）の値を算出し、入力画像Ａｉ内の物体が検出すべき物体か否か（例えば、正常細胞、もしくは異常細胞等）を判定するように、局所識別値を求めるための式２の各パラメータ（フィルタＷの係数、オフセット値Ｂ等）を求める。
（ｉｖ）ステップ９０４
学習部１１は、機械学習によって、局所識別値ＬＳから求めた基礎識別値ＢＳを用いて、各対象物体の画像を各対象物体（例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞）と判定するように、式３の各パラメータ（フィルタＷの係数、オフセット値Ｂ等）を求める。
（ｖ）ステップ９０５
学習部１１は、式１、式２および式３の各パラメータ（フィルタ係数ｗｊ、フィルタＷの係数、オフセット値ｂｉ、Ｂ等）をメモリ９０に保存する。
図１０は、本実施形態による機械学習装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、学習部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えてもよい。
（ｉ）ステップ１００１
入力部１０は、学習画像ＤＢ（確定＋確定前）の入力画像Ａｉを学習部１１に出力する。
（ｉｉ）ステップ１００２
学習部１１は、メモリ９０から識別器ＣＡに関する式１、式２および式３の各パラメータを読込む。学習部１１は、さらに、学習画像ＤＢ（確定＋確定前）１０１を用いて機械学習を行い、識別器ＣＢに関する式１、式２および式３の各パラメータを算出する。
（ｉｉｉ）ステップ１００３
適性評価部１２は、識別器ＣＡおよびＣＢそれぞれの各パラメータと評価画像を用いて、式５より、識別器ＣＡのＡｖｅｄｒ１と識別器ＣＢのＡｖｅｄｒ２を算出する。
（ｉｖ）ステップ１００４
更新判定部１３は、算出したＡｖｅｄｒ１とＡｖｅｄｒ２を比較する。Ａｖｅｄｒ２＞Ａｖｅｄｒ１の場合、更新判定部１３は、ステップ１００５に移行する。一方、計算結果Ａｖｅｄｒ２≦Ａｖｅｄｒ１の場合、更新判定部１３は、ステップ１００６に移行する。
（ｖ）ステップ１００５
Ａｖｅｄｒ２＞ＴＨ１の場合、更新判定部１３は、ステップ１００７に移行する。一方、Ａｖｅｄｒ２≦ＴＨ１の場合、更新判定部１３は、ステップ１００８に移行する。
（ｖｉ）ステップ１００６
Ａｖｅｄｒ２＞ＴＨ１の場合、更新判定部１３は、ステップ１００８に移行する。一方、Ａｖｅｄｒ２≦ＴＨ１の場合、更新判定部１３は、はステップ１００９に移行する。
（ｖｉｉ）ステップ１００７
更新判定部１３は、識別器ＣＡと学習画像ＤＢ（確定）１００を更新する。
（ｖｉｉｉ）ステップ１００８
更新判定部１３は、学習画像ＤＢ（確定＋確定前）の画像の順番を入れ換える。
（ｉｘ）ステップ１００９
更新判定部１３は、学習画像ＤＢ（確定前）の正解ラベルを付け替える。
（ｘ）ステップ１０１０
更新判定部１３は、学習画像ＤＢ（確定＋確定前）の全ての画像について更新判定が終了したかをチェックし、終了していればステップ１０１１に移行する。一方、終了していない場合、更新判定部１３は、ステップ１００２に戻って、ステップ１００２からステップ１００９を繰返し行う。
（ｘｉ）ステップ１０１１
更新判定部１３は、識別器ＣＡの情報をメモリ９０（補助記憶装置２０３に相当）に保存する。
上述のように、機械学習装置は、学習画像データベースの中に識別器の識別精度の向上に寄与しない画像が含まれている場合でも、識別器の識別精度の向上に寄与する画像を自動判定し、判定結果に応じて識別器および学習画像データベースの更新可否を制御する。より具体的には、機械学習装置は、複数の学習画像データベースの各画像を用いて機械学習を行って複数の識別器を作成し、さらに、作成した複数の識別器を評価して評価結果を求める。機械学習装置は、複数の評価結果を判定して識別器および学習画像データベースの更新可否を制御して、使用する学習画像データベースおよび識別器を決定する。これにより、画像内の物体（例えば、組織・細胞等）を高精度に識別可能な識別器および識別器の継続的な識別精度の向上に寄与する画像から構成される学習画像データベースを作成することが可能となる。
また、入力する学習画像の中に識別器の識別精度の向上に寄与しない画像が含まれていても、それらの画像を排除して学習画像データベースを作成することが可能となる。また、入力した学習画像がその時点で識別器の識別精度の向上に寄与しない場合でも、学習する画像の順番を変えて再度学習することで、識別器の識別精度の向上に寄与する画像として利用することが可能となる。
（２）第２の実施形態
以下において、第２の実施形態を説明する。図１２に示す第２の実施形態に係る機械学習装置１は、第１の実施形態の図１と同様の構成要素を多く含むが、第１の実施形態の学習画像ＤＢ（確定＋確定前)１０１の代わりに、学習画像ＤＢ（確定前)２０１を含み、また、更新判定部２３を含む。以下において、図１と異なる構成について主に説明をする。
本実施形態の機械学習装置１は、学習画像データベースの各画像を用いて機械学習を行って複数の識別器を作成し、さらに、作成した複数の識別器を評価して評価結果を求める。機械学習装置１は、複数の評価結果を判定して識別器および学習画像データベースの更新可否または作成を制御する。これにより、例えば施設毎または時期毎に適した、画像内の物体（例えば、組織・細胞等）を高精度に識別可能な識別器および識別器の継続的な識別精度の向上に寄与する画像から構成される学習画像データベースを作成できる。
＜各部の構成と動作＞
以下、図１と異なる各要素の構成と動作について詳細に説明する。
（ｉ）学習画像ＤＢ（確定前）２０１
学習画像ＤＢ（確定前）２０１は、入力部１０から入力された画像を格納し、その他の画像を格納していない。
（ｉｉ）更新判定部２３
学習部１１は、学習画像ＤＢ（確定）１００から識別器ＣＡを作成し、学習画像ＤＢ（確定前）２０１から識別器ＣＢを作成する。適性評価部１２は、評価画像を用いて、識別器ＣＡのＡｖｅｄｒ１と識別器ＣＢのＡｖｅｄｒ２を求めることで、識別器の評価を行う。更新判定部２３は、適性評価部１２で求めた複数のＡｖｅｄｒＸを比較して、識別器ＣＡ、ＣＢ、学習画像ＤＢ（確定）１００および学習画像ＤＢ（確定前）２０１の更新可否または作成を制御する。
すなわち、評価画像の全ての画像について、Ａｖｅｄｒ２＞Ａｖｅｄｒ１の場合、以前に収集した学習画像ＤＢ（確定）１００から作成した識別器ＣＡよりも、例えば他施設または他時期に収集した学習画像ＤＢ（確定前）２０１から作成した識別器ＣＢの方が、評価画像の識別に適している。そのため、更新判定部２３は、識別器ＣＡや学習画像ＤＢ（確定）とは別に、評価画像とセットにして識別器ＣＢおよび学習画像ＤＢ（確定前）を保存する。
Ａｖｅｄｒ２≦Ａｖｅｄｒ１の場合、以前に収集した学習画像ＤＢ（確定）から作成した識別器ＣＡの方が、例えば他施設または他時期で収集した学習画像ＤＢ（確定前）から作成した識別器ＣＢよりも評価画像の識別に適している。そのため、更新判定部２３は、評価画像とセットにして識別器ＣＡおよび学習画像ＤＢ（確定）を保存する。
＜機械学習装置のハードウェア構成＞
本実施形態による機械学習装置１のハードウェア構成例は、図２と同様の構成を有するが、第１の実施形態に係る機械学習装置１と異なり、メモリ２０２に更新判定部２３を含む。
機械学習装置１の補助記憶装置２０３は、適性評価部１２で求めた計算結果ＡｖｅｄｒＸ、更新判定部２３によって判定された識別器ＣＡ、ＣＢ、学習画像ＤＢ（確定）１００、学習画像ＤＢ（確定前）２０１および評価画像、学習部１１によって生成した式１、式２および式３の各パラメータ等を記憶している。
図１３は、本実施形態による機械学習装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、学習部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えてもよい。
（ｉ）ステップ１３０１
入力部１０は、学習画像ＤＢ（確定前）２０１の入力画像Ａｉを学習部１１に出力する。
（ｉｉ）ステップ１３０２
学習部１１は、メモリ９０から識別器ＣＡに関する式１、式２および式３の各パラメータを読込む。また、学習画像ＤＢ（確定前）２０１を用いて機械学習を行い、識別器ＣＢに関する式１、式２および式３の各パラメータを算出する。
（ｉｉｉ）ステップ１３０３
適性評価部１２は、識別器ＣＡおよびＣＢそれぞれの各パラメータと評価画像を用いて、式５より、識別器ＣＡのＡｖｅｄｒ１と識別器ＣＢのＡｖｅｄｒ２を算出する。
（ｉｖ）ステップ１３０４
更新判定部１３は、算出したＡｖｅｄｒ１とＡｖｅｄｒ２を比較する。Ａｖｅｄｒ２＞Ａｖｅｄｒ１の場合、更新判定部１３は、ステップ１３０５に移行する。一方、Ａｖｅｄｒ２≦Ａｖｅｄｒ１の場合、更新判定部１３は、ステップ１３０６に移行する。
（ｖ）ステップ１３０５
更新判定部１３は、識別器ＣＢ、学習画像ＤＢ（確定前）２０１、評価画像および計算結果（Ａｖｅｄｒ２、Ａｖｅｄｒ１）をセットにしてメモリ９０（補助記憶装置２０３に相当）に保存する。
（ｖｉ）ステップ１３０６
更新判定部１３は、識別器ＣＡ、学習画像ＤＢ（確定）１００、評価画像および計算結果（Ａｖｅｄｒ２、Ａｖｅｄｒ１）をセットにしてメモリ９０（補助記憶装置２０３に相当）に保存する。
（ｖｉｉ）ステップ１３０７
更新判定部１３は、学習画像ＤＢ（確定前）２０１の全ての画像について更新判定が終了したかをチェックし、終了していれば処理を終える。一方、終了していない場合、更新判定部１３はステップ１３０２に戻って、ステップ１３０２からステップ１３０６を繰返し行う。
第２の実施形態は、複数の学習画像データベースの各画像を用いて機械学習を行って複数の識別器を作成し、さらに、作成した複数の識別器を評価して評価結果を求める。第２の実施形態は複数の評価結果を判定して識別器および学習画像データベースの更新可否または作成を制御して、使用する学習画像データベースおよび識別器を決定する。これにより、施設毎の画像内の物体（例えば、組織・細胞等）を高精度に識別可能な識別器および学習画像データベースを得ることが可能となる。
また、識別器、学習画像ＤＢ、評価画像および計算結果をセットにしてデータを作成することで、計算結果を比較することで他施設（病院等）のデータで作成した識別器の性能を判定することが可能となる。
また、評価画像を任意の施設の画像データに変更することで、その施設の画像がどの施設用の識別器を使えば、画像内の物体を高精度に識別できるかを判定することが可能となる。
機械学習装置１は、複数の学習画像ＤＢ（確定）１００を保持し、複数の学習画像ＤＢ（確定）１００それぞれと、学習画像ＤＢ（確定前）２０１との間において、上記処理を実行してもよい。これにより、より適切な学習画像ＤＢおよび識別器を得ることができる。
（３）第３の実施形態
図１４は、第３の実施形態による遠隔診断支援システム１４００の構成を示す機能ブロック図である。遠隔診断支援システム１４００は、サーバ（計算機）１４０３と、画像取得装置１４０５と、を含む。
画像取得装置１４０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、新たな画像を撮像する撮像部１４０１と、サーバ１４０３から伝送されてきた判定結果を表示するための表示部１４０４と、を含む。なお、画像取得装置１４０５は、図示されてはいないが、画像データをサーバ１４０３に送信し、サーバ１４０３から送信されてきたデータを受信する通信デバイスを含む。
サーバ１４０３は、画像取得装置１４０５から伝送されてきた画像データに対して、第１の実施形態または第２の実施形態による機械学習装置１を用いて画像処理を行う画像診断支援装置５と、画像診断支援装置５から出力された識別結果を格納する格納部１４０２と、を含む。なお、サーバ１４０３は、図示されてはいないが、画像取得装置１４０５から送信されてきた画像データを受信し、画像取得装置１４０５に判定結果データを送信する通信デバイスを含む。
画像診断支援装置５は、機械学習装置１で求めた識別器（現在識別器）を用いて、撮像部１４０１で生成された画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞（例：がん等）の有無を識別する。表示部１４０４は、サーバ１４０３から伝送された識別結果を、画像取得装置１４０５の表示装置画面に表示する。
画像取得装置１４０５として、撮影部を含む再生医療装置やｉＰＳ細胞の培養装置、またはＭＲＩや超音波画像撮像装置等を用いてもよい。
上述のように、第３の実施形態によれば、遠隔診断支援システムを提供することが可能となる。具体的には、遠隔診断支援システムは、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、機械学習装置１で求めた識別器の各パラメータを用いて検出すべき物体（異常組織や異常細胞等）か否かを精度よく分類する。さらに、分類結果を上記地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で分類結果を表示する。
（４）第４の実施形態
図１５は、第４の実施形態によるネット受託サービス提供システム１５００の構成を示す機能ブロック図である。ネット受託サービス提供システム１５００は、サーバ（計算機）１５０３と、画像取得装置１５０５と、を含む。
画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置である。画像取得装置１５０５は、新たな画像を撮像する撮像部１５０１と、サーバ１５０３から伝送された識別器（現在識別器）を格納する格納部１５０４と、画像診断支援装置５とを含む。
画像診断支援装置５は、サーバ１５０３から伝送された識別器を読込んで、撮像部１５０１にて新たに撮像された画像内の物体（例えば、組織や細胞等）について、第１の実施形態または第２の実施形態による機械学習装置１により求めた識別器を用いて、検出すべき物体（例えば、異常組織や異常細胞等）か否かを判定する。
なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバ１５０３に送信し、サーバ１５０３から送信されてきたデータを受信する通信デバイスを含む。
サーバ１５０３は、画像診断支援装置５と、画像診断支援装置５の機械学習装置１から出力された識別器を格納する格納部１５０２と、を含む。画像診断支援装置５は、画像取得装置１５０５から伝送されてきた画像データに対して、第１の実施形態または第２の実施形態による機械学習装置１から識別器の作成を行い、さらに作成した識別器を用いて識別処理を行う。
なお、サーバ１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信し、画像取得装置１５０５に識別器を送信する通信デバイスを有している。
尚、画像診断支援装置５内の機械学習装置１は、撮像部１５０１で撮像した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）と判定するように機械学習を行い、識別器を作成する。識別器は、地点の異なる施設等の画像内の物体（例えば、組織・細胞等）の特徴量を算出する。格納部１５０４は、サーバ１５０３から伝送された識別器を格納する。
画像取得装置１５０５内の画像診断支援装置５は、格納部１５０４から識別器を読込み、その識別器を用いて、画像取得装置１５０５の撮像部１５０１にて新たに撮像した画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類し、画像診断支援装置５の出力装置（表示装置）２０４の表示画面に分類結果を表示する。
画像取得装置１５０５として、撮影部を含む再生医療装置やｉＰＳ細胞の培養装置、またはＭＲＩや超音波画像撮像装置等を用いてもよい。
上述のように、第４の実施形態によれば、ネット受託サービス提供システムを提供することが可能となる。具体的には、ネット受託サービス提供システムは、地点の異なる施設等から伝送された画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等）と分類するように機械学習を行って識別器を作成する。ネット受託サービス提供システムは、識別器を上記地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器を読込む。画像取得装置内の識別器は、新たな画像内の物体（例えば、組織や細胞等）について、検出すべき物体（例えば、異常組織や異常細胞等）か否かを分類する。
以上説明した各実施形態については、次のような変形が可能である。学習部１１は、機械学習によりフィルタを用いて特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよい。学習部１１は、損失関数として、Ｎｅｇａｔｉｖｅ ｌｏｇ ｌｉｋｅｌｉｈｏｏｄに代えて、２乗誤差やＨｉｎｇｅ ｌｏｓｓ等を用いてもよい。学習部１１は、上記実施形態の方法と異なる任意の方法によって識別器を生成してよい。
上記実施形態は、識別器および学習画像データベースの更新または生成について説明したが、式１から式３への入力データの次元数を２次元から他の次元に変更することで、上記実施形態による識別器および学習データベースの更新または生成は、画像と異なるデータサンプル、例えば、音声データサンプル、センサデータサンプル、テキストデータサンプルにも適用することができる。
本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
最後に、ここで述べたプロセスおよび技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、およびファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書および実施形態の考察から明らかになる。記述された実施形態の多様な態様および／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
１・・・機械学習装置
５・・・画像診断支援装置
１０・・・入力部
１１・・・学習部
１２・・・適性評価部
１３・・・更新判定部
１４・・・描画部
２３・・・更新判定部
９１・・・制御部
１４００・・・遠隔診断支援システム
１５００・・・ネット受託サービス提供システム

Claims (10)

  1. データサンプルを処理するプロセッサと、
    前記処理の結果を格納する記憶装置と、を含み、
    前記プロセッサは、
    複数学習データベースから複数識別器を作成し、前記複数学習データベースそれぞれは複数学習データサンプルを格納し、
    前記複数識別器それぞれの識別性能の評価結果を作成し、
    前記評価結果に基づいて、前記複数学習データベースにおける一つの学習データベースおよび前記一つの学習データベースから生成される識別器を、使用する学習データベースおよび識別器と決定し、
    前記複数学習データベースは、第１学習データベースおよび第２学習データベースを含み、
    前記第２学習データベースは、前記第１学習データベースが格納する画像および新規入力画像を格納し、
    前記プロセッサは、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定する、機械学習装置。
  2. 請求項１に記載の機械学習装置であって、
    前記データサンプルは画像であり、
    前記複数学習データベースは、それぞれ、学習画像データベースである、機械学習装置。
  3. 請求項１に記載の機械学習装置であって、
    前記プロセッサは、前記第１学習データベースから生成した第１識別器および前記第２学習データベースから生成した第２識別器それぞれの識別結果の比較結果に基づき、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定する、機械学習装置。
  4. 請求項３に記載の機械学習装置であって、
    前記プロセッサは、
    前記第１識別器の識別結果と前記第２識別器の識別結果との比較結果に基づき、前記新規入力画像の順番を入れ替えるか判定し、
    前記順番を入れ替えると判定した場合に、前記新規入力画像の順番を入れ換えた前記第２学習データベースから、新規第２識別器を作成し、
    前記第１識別器および前記新規第２識別器の識別結果の比較結果に基づき、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定する、機械学習装置。
  5. 請求項１に記載の機械学習装置であって、
    前記第１学習データベースおよび前記第２学習データベースにおいて、識別タイプの画像数のバランスが調整されている、機械学習装置。
  6. 画像を処理するプロセッサと、
    前記処理の結果を格納する記憶装置と、を含み、
    前記プロセッサは、
    複数学習画像データベースから複数識別器を作成し、
    前記複数識別器それぞれの識別性能の評価結果を作成し、
    前記評価結果に基づいて、前記複数学習画像データベースにおける一つの学習画像データベースおよび前記一つの学習画像データベースから生成される識別器を、使用する学習画像データベースおよび識別器と決定し、
    前記複数学習画像データベースは、第１学習データベースおよび第２学習データベースを含み、
    前記第２学習データベースは、前記第１学習データベースが格納する画像および新規入力画像を格納し、
    前記プロセッサは、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定し、
    前記一つの学習画像データベースから生成される前記識別器による新たな入力画像の識別結果を表示する、画像診断支援装置。
  7. 機械学習装置が識別器を作成する機械学習方法であって、
    前記機械学習装置は、
    データサンプルを処理するプロセッサと、
    前記処理の結果を格納する記憶装置と、を含み、
    前記機械学習方法は、
    前記プロセッサが、複数学習データベースから複数識別器を作成し、前記複数学習データベースそれぞれは複数学習データサンプルを格納し、
    前記プロセッサが、前記複数識別器それぞれの識別性能の評価結果を作成し、
    前記プロセッサが、前記評価結果に基づいて、前記複数学習データベースにおける一つの学習データベースおよび前記一つの学習データベースから生成される識別器を、使用する学習データベースおよび識別器と決定し、
    前記複数学習データベースは、第１学習データベースおよび第２学習データベースを含み、
    前記第２学習データベースは、前記第１学習データベースが格納する画像および新規入力画像を格納し、
    前記機械学習方法は、前記プロセッサが、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定する、機械学習方法。
  8. 請求項７に記載の機械学習方法であって、
    前記データサンプルは画像であり、
    前記複数学習データベースは、それぞれ、学習画像データベースである、機械学習方法。
  9. 請求項７に記載の機械学習方法であって、
    前記プロセッサが、前記第１学習データベースから生成した第１識別器および前記第２学習データベースから生成した第２識別器それぞれの識別結果の比較結果に基づき、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定する、機械学習方法。
  10. 画像診断支援装置による画像診断支援方法であって、
    前記画像診断支援装置は、
    画像を処理するプロセッサと、
    前記処理の結果を格納する記憶装置と、を含み、
    前記画像診断支援方法は、
    前記プロセッサが、複数学習画像データベースから複数識別器を作成し、
    前記プロセッサが、前記複数識別器それぞれの識別性能の評価結果を作成し、
    前記プロセッサが、前記評価結果に基づいて、前記複数学習画像データベースにおける一つの学習画像データベースおよび前記一つの学習画像データベースから生成される識別器を、使用する学習画像データベースおよび識別器と決定し、
    前記複数学習画像データベースは、第１学習データベースおよび第２学習データベースを含み、
    前記第２学習データベースは、前記第１学習データベースが格納する画像および新規入力画像を格納し、
    前記画像診断支援方法は、
    前記プロセッサが、前記第２学習データベースにより前記第１学習データベースを更新し、前記第２学習データベースから生成される識別器を使用する、ことの可否を判定し、
    前記プロセッサが、前記一つの学習画像データベースから生成される前記識別器による新たな入力画像の識別結果を表示する、画像診断支援方法。
JP2019181165A 2019-10-01 2019-10-01 機械学習装置 Active JP7429514B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019181165A JP7429514B2 (ja) 2019-10-01 2019-10-01 機械学習装置
CN202080064619.2A CN114424218A (zh) 2019-10-01 2020-09-29 机器学习装置
PCT/JP2020/036985 WO2021065937A1 (ja) 2019-10-01 2020-09-29 機械学習装置
US17/762,479 US20220351078A1 (en) 2019-10-01 2020-09-29 Machine learning device
EP20870459.3A EP4039194A4 (en) 2019-10-01 2020-09-29 MACHINE LEARNING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019181165A JP7429514B2 (ja) 2019-10-01 2019-10-01 機械学習装置

Publications (3)

Publication Number Publication Date
JP2021056919A JP2021056919A (ja) 2021-04-08
JP2021056919A5 JP2021056919A5 (ja) 2022-08-03
JP7429514B2 true JP7429514B2 (ja) 2024-02-08

Family

ID=75270988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181165A Active JP7429514B2 (ja) 2019-10-01 2019-10-01 機械学習装置

Country Status (5)

Country Link
US (1) US20220351078A1 (ja)
EP (1) EP4039194A4 (ja)
JP (1) JP7429514B2 (ja)
CN (1) CN114424218A (ja)
WO (1) WO2021065937A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259648A1 (ja) * 2021-06-09 2022-12-15 ソニーグループ株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180794A (ja) 2017-04-07 2018-11-15 株式会社日立ハイテクノロジーズ 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
JP2019109553A (ja) 2017-12-15 2019-07-04 コニカミノルタ株式会社 情報処理装置及び情報処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192239A1 (en) * 2014-06-20 2015-12-23 Miovision Technologies Incorporated Machine learning platform for performing large scale data analytics
US10389928B2 (en) * 2016-08-11 2019-08-20 United States Of America, As Represented By The Secretary Of The Army Weapon fire detection and localization algorithm for electro-optical sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180794A (ja) 2017-04-07 2018-11-15 株式会社日立ハイテクノロジーズ 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
JP2019109553A (ja) 2017-12-15 2019-07-04 コニカミノルタ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
WO2021065937A1 (ja) 2021-04-08
CN114424218A (zh) 2022-04-29
EP4039194A1 (en) 2022-08-10
JP2021056919A (ja) 2021-04-08
US20220351078A1 (en) 2022-11-03
EP4039194A4 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
Giovannucci et al. CaImAn an open source tool for scalable calcium imaging data analysis
US11593943B2 (en) RECIST assessment of tumour progression
US20180189610A1 (en) Active machine learning for training an event classification
CN109271958B (zh) 人脸年龄识别方法及装置
US11676268B2 (en) Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method
US20230420072A1 (en) Method and system for predicting response to immune checkpoint inhibitor
GB2602581A (en) Automatic detection and replacement of identifying information in images using machine learning
EP4105943A1 (en) Method and system for predicting reaction to immuno-oncology agent
CN112116957A (zh) 基于小样本的疾病亚型预测方法、***、装置及介质
US11972560B2 (en) Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method
EP3676750B1 (en) Detection of biological cells and tracing of cell lineage
JP7429514B2 (ja) 機械学習装置
CN117038055A (zh) 一种基于多专家模型的疼痛评估方法、***、装置及介质
JP2021168131A (ja) 画像における対象体を識別する分類器を決定する装置および画像における対象体を識別する装置および対応する方法
Nebili et al. Background subtraction using artificial immune recognition system and single gaussian (airs-sg)
JP7412279B2 (ja) 画像診断方法、画像診断支援装置、及び計算機システム
WO2023248788A1 (ja) 識別器生成装置および画像診断支援装置
Thomas et al. Eisoc with ifodpso and dcnn classifier for diabetic retinopathy recognition system
Kavitha et al. Brain tumour segmentation and detection using modified region growing and genetic algorithm in MRI images
Hu et al. Trajectory energy minimization for cell growth tracking and genealogy analysis
WO2022185905A1 (ja) 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
JP7365261B2 (ja) コンピュータシステムおよびプログラム
Naz et al. Micro‐segmentation of retinal image lesions in diabetic retinopathy using energy‐based fuzzy C‐Means clustering (EFM‐FCM)
Chethana et al. Detection of Diabetic Retinopathy Using Deep Learning
Bhagat et al. Pattern-based feature set for efficient segmentation of color images using modified FCM clustering

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150