JPH10197522A - Pathological tissue diagnosis support device - Google Patents
Pathological tissue diagnosis support deviceInfo
- Publication number
- JPH10197522A JPH10197522A JP9004696A JP469697A JPH10197522A JP H10197522 A JPH10197522 A JP H10197522A JP 9004696 A JP9004696 A JP 9004696A JP 469697 A JP469697 A JP 469697A JP H10197522 A JPH10197522 A JP H10197522A
- Authority
- JP
- Japan
- Prior art keywords
- fitness
- category
- image
- calculating
- adaptation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Molecular Biology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Hematology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Urology & Nephrology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、病理組織診断を支
援する装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for supporting pathological tissue diagnosis.
【０００２】[0002]
【従来の技術】病理組織診断とは、生体組織を顕微鏡で
観察し疾病の種類を診断するものである。組織標本を作
製するために生体を傷つけなければならないという欠点
があるが、細胞診などの他の診断法と比べて精度の高い
診断法である。従って、通常は細胞診やレントゲンなど
の他の診断法により疑わしいと診断され、診断名を確定
する必要がある場合や、手術により切り取った部位の疾
病を診断するためなどに行われる。しかし、現在のとこ
ろ病理組織診断を支援する装置は無い。病理組織診断に
近い診断法としては細胞診がある。これは、生体の細胞
を観察し、疾病の有無や種類を診断するもので、精度は
病理組織診断に比べて低いものの、生体をほとんど傷つ
ける必要がないという特長を持つ。そこで、例えば子宮
癌の集団検診など、大量の人間から疾病を持つ可能性の
高い人間を見つけるために用いられている。2. Description of the Related Art Pathological tissue diagnosis is to diagnose a kind of disease by observing a living tissue with a microscope. Although it has the disadvantage that the living body must be damaged in order to prepare a tissue specimen, it is a more accurate diagnostic method than other diagnostic methods such as cytodiagnosis. Therefore, it is usually diagnosed as suspicious by other diagnostic methods such as cytodiagnosis and X-ray, and is performed when it is necessary to determine the name of the diagnosis or to diagnose a disease at a site cut off by surgery. However, at present, there is no device that supports pathological tissue diagnosis. A diagnostic method similar to the histopathological diagnosis is cytology. This method observes cells of a living body and diagnoses the presence or absence and type of a disease. Although the accuracy is lower than that of a pathological tissue diagnosis, it has a feature that the living body hardly needs to be damaged. Therefore, it is used for finding a person with a high possibility of having a disease from a large number of people, for example, a mass examination for uterine cancer.
【０００３】この細胞診に関しては、例えば特公平６−
５２２６３号公報に記載されたように、診断を支援する
装置がある。これは、検体を自動的にスクリーニング
し、明らかに正常と判定した検体については目視検査を
行わないことで、医師による目視検査を必要とする検体
数を減らし、分析効率と信頼性を向上させるものであ
る。しかし、病理組織診断の場合は、異常な組織の疾病
の種類を診断するために行われるため、大量の検体から
正常な検体をスクリーニングするために開発された従来
の技術を用いることはできない。また、個々の細胞の特
徴を抽出して判定する従来の判定手法も、診断において
組織の構造的特徴が重要な病理組織診断には利用できな
い。[0003] Regarding this cytology, for example,
As described in Japanese Patent No. 52263, there is a device that supports diagnosis. This automatically reduces the number of specimens that require a physician to be visually inspected by automatically screening the specimens and not performing visual inspections on specimens that are clearly determined to be normal, thereby improving analysis efficiency and reliability. It is. However, in the case of pathological tissue diagnosis, since the diagnosis is performed to diagnose the type of disease in an abnormal tissue, a conventional technique developed for screening a normal sample from a large number of samples cannot be used. In addition, the conventional determination method that extracts and determines the characteristics of individual cells cannot be used for pathological tissue diagnosis in which structural characteristics of tissues are important in diagnosis.
【０００４】次に、従来の病理医による病理組織診断の
方法について説明する。病理医は、検体から切り出され
ヘマトキシリン・エオジンなどにより染色され作製され
た標本を顕微鏡にセットし、組織を観察する。病理医
は、組織の病理組織学的特徴を元にして診断を下すが、
診断すべき疾病の種類は乳腺の場合に限っても３０種類
以上あり、それらの特徴をすべて記憶し、即座に診断を
下すことは困難である。そこで、通常は、鑑別診断法に
ついて解説されている本の中から、観察した組織に類似
した病理組織学的特徴を持つ画像が症例として掲載され
ている箇所を探し、その鑑別診断法を参考にして診断を
下している。Next, a description will be given of a conventional method of diagnosing a pathological tissue by a pathologist. The pathologist sets a specimen cut out from the specimen and stained with hematoxylin / eosin or the like and placed on a microscope, and observes the tissue. A pathologist makes a diagnosis based on the histopathological characteristics of the tissue,
There are more than 30 types of diseases to be diagnosed only in the case of the mammary gland, and it is difficult to memorize all of their characteristics and make an immediate diagnosis. Therefore, usually, a book that describes the differential diagnosis method is searched for places where images with histopathological features similar to the observed tissue are listed as cases, and the differential diagnosis method is referred to. Make a diagnosis.
【０００５】[0005]
【発明が解決しようとする課題】このように、従来は病
理医が記憶と経験に基づいて、参考書籍の中から、類似
した病理組織学的特徴を持つ画像が症例として掲載され
ている箇所を探し出し、その箇所を参考として診断を下
しているため、正しい箇所を探すのに時間がかかり、ま
た誤った箇所を参考にした場合に誤診につながってしま
うなど、病理医の熟練度により診断結果の信頼度が大き
く異なってしまうという問題点があった。As described above, conventionally, based on the memory and experience of a pathologist, a place where an image having similar histopathological features is listed as a case from a reference book is described. The diagnosis is made based on the skill level of the pathologist, as it takes time to find the correct part because it is searched and makes a diagnosis with reference to that part, and leads to a misdiagnosis when referring to the wrong part. However, there is a problem that the reliability of the data is greatly different.
【０００６】本発明は係る問題点を解決するために、診
断時間を短縮し、診断精度を向上できる病理組織診断支
援装置を提供することにある。An object of the present invention is to provide a pathological tissue diagnosis support apparatus capable of shortening a diagnosis time and improving diagnosis accuracy in order to solve the above problems.
【０００７】[0007]
【課題を解決するための手段】この発明に係る病理組織
診断支援装置は、生体組織の組織画像から画像の特徴を
特徴量として定量的に表わす特徴量抽出手段と、病理組
織学的特徴に基づいてあらかじめ設定された診断カテゴ
リーを適合度算出カテゴリーとして上記組織画像の特徴
量が上記適合度算出カテゴリーに適合する程度を算出す
る適合度算出手段と、適合度の高い適合度算出カテゴリ
ー名を表示する適合度表示手段とを備えたことを特徴と
するものである。According to the present invention, there is provided a pathological tissue diagnosis support apparatus according to the present invention, comprising: a feature amount extracting unit for quantitatively representing a feature of an image from a tissue image of a living tissue as a feature amount; A fitness calculating means for calculating the degree to which the feature amount of the tissue image conforms to the fitness calculation category with a diagnosis category set in advance as a fitness calculation category, and a fitness calculation category name having a high fitness is displayed. And a fitness level display means.
【０００８】また、この病理組織診断支援装置は、一つ
の診断カテゴリーを一つの適合度算出カテゴリーとした
ことを特徴とするものである。Further, the pathological tissue diagnosis support apparatus is characterized in that one diagnosis category is set to one fitness calculation category.
【０００９】また、この病理組織診断支援装置は、類似
した病理組織学的特徴を持つ診断カテゴリーをまとめて
適合度算出カテゴリーとしたことを特徴とするものであ
る。Further, the pathological tissue diagnosis support apparatus is characterized in that diagnostic categories having similar histopathological characteristics are put together into a fitness calculation category.
【００１０】また、この病理組織診断支援装置は、特徴
量として、核領域の数、面積、形状、円形度、色、色
度、腔隙領域の数、面積、形状、円形度、間質領域の
数、面積、形状、円形度、色、色度、管腔領域の数、面
積、形状、円形度、画像のテクスチャ、ウエーブレット
変換値を用いて算出される特徴量、上皮細胞が筋上皮細
胞を伴う２層構造を示す程度、線維化の程度、乳頭状パ
ターンの有無、ふるい状パターンの有無、壊死物質の有
無、充実性パターンの有無、画像の色あるいは色度を用
いて算出される特徴量の少なくとも一つを用いることを
特徴とするものである。This pathological tissue diagnosis support apparatus uses the number, area, shape, circularity, color, chromaticity, number of cavity areas, area, shape, circularity, and interstitial area as feature quantities. Number, area, shape, circularity, color, chromaticity, number of luminal regions, area, shape, circularity, image texture, feature quantity calculated using wavelet transform values, epithelial cells are myoepithelial Calculated using the degree of bilayer structure with cells, degree of fibrosis, presence of papillary pattern, presence of sieve pattern, presence of necrotic material, presence of solid pattern, color or chromaticity of image It is characterized in that at least one of the feature amounts is used.
【００１１】また、この病理組織診断支援装置は、適合
度算出手段としてニューラルネットワークを用い、各適
合度算出カテゴリーに出力ニューロンを割り当て、特徴
量を入力とし、学習に用いる組織画像に対して予め決め
られた適合度を教師信号として、各適合度算出カテゴリ
ーに割り当てられたニューロンが教師信号と同じ値を出
力するように学習し、学習後のニューラルネットワーク
に診断しようとする組織画像から抽出された特徴量を入
力し、出力ニューロンの出力値を適合度とすることを特
徴とするものである。This pathological tissue diagnosis support apparatus uses a neural network as a fitness calculation means, assigns output neurons to each fitness calculation category, receives a feature value as input, and determines a tissue image to be used for learning in advance. Using the obtained fitness as a teacher signal, the neuron assigned to each fitness calculation category learns to output the same value as the teacher signal, and the feature extracted from the tissue image to be diagnosed in the trained neural network. The amount is input, and the output value of the output neuron is used as the fitness.
【００１２】[0012]
【発明の実施の形態】次に、本発明に係る病理組織診断
支援装置の実施の形態を、乳腺腫瘍の病理組織診断の支
援装置の場合について説明する。図１は、この発明の実
施の形態である病理組織診断支援装置を示すブロック図
であり、この図において、１は乳腺腫瘍の組織標本、２
は顕微鏡、３はカメラ、４は画像取込回路、５は計算
機、６はハードディスク、７はメモリ、８はプロセッ
サ、９は表示装置、１０はキーボードである。図２は、
図１に示した病理組織診断支援装置における処理手順を
示すフローチャートである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment of a pathological tissue diagnosis support apparatus according to the present invention will be described for the case of a pathological tissue diagnosis support apparatus for mammary tumors. FIG. 1 is a block diagram showing a pathological tissue diagnosis support apparatus according to an embodiment of the present invention. In this figure, reference numeral 1 denotes a tissue specimen of a mammary gland tumor;
Is a microscope, 3 is a camera, 4 is an image capture circuit, 5 is a computer, 6 is a hard disk, 7 is a memory, 8 is a processor, 9 is a display device, and 10 is a keyboard. FIG.
3 is a flowchart illustrating a processing procedure in the pathological tissue diagnosis support apparatus illustrated in FIG. 1.
【００１３】次に、図１の病理組織診断支援装置を用い
た場合の処理手順を、図２のフローチャートに従い説明
する。ヘマトキシリン・エオジン染色された乳腺腫瘍の
組織標本１は顕微鏡２およびカメラ３を用いて拡大して
撮影され、画像取込回路４によりＡ／Ｄ変換されてデジ
タル画像としてハードディスク６に保存される。（ステ
ップＳＴ１）Next, a processing procedure when the pathological tissue diagnosis support apparatus of FIG. 1 is used will be described with reference to a flowchart of FIG. The tissue sample 1 of the mammary gland tumor stained with hematoxylin and eosin is enlarged and photographed using the microscope 2 and the camera 3, A / D converted by the image capturing circuit 4, and stored as a digital image on the hard disk 6. (Step ST1)
【００１４】続いて、撮影されハードディスク６に保存
された組織画像の病理組織学的特徴量が計算機５により
計算される。この病理組織学的特徴量には、例えば核領
域の数、面積、形状、円形度、色、色度、腔隙領域の
数、面積、形状、円形度、間質領域の数、面積、形状、
円形度、色、色度、管腔領域の数、面積、形状、円形
度、画像のテクスチャ、ウエーブレット変換値を用いて
算出される特徴量、上皮細胞が筋上皮細胞を伴う２層構
造を示す程度、線維化の程度、乳頭状パターンの有無、
ふるい状パターンの有無、壊死物質の有無、充実性パタ
ーンの有無、画像の色あるいは色度を用いて算出される
特徴量など様々なものがある。（ステップＳＴ２）Subsequently, the computer 5 calculates the histopathological feature amount of the tissue image photographed and stored in the hard disk 6. The histopathological features include, for example, the number, area, shape, circularity, color, chromaticity, number of cavity areas, area, shape, circularity, number of stromal areas, area, shape, ,
Circularity, color, chromaticity, number of luminal regions, area, shape, circularity, image texture, feature value calculated using wavelet transform values, two-layer structure with epithelial cells accompanied by myoepithelial cells Degree of fibrosis, degree of fibrosis, presence or absence of papillary pattern,
There are various types such as the presence / absence of a sieve-like pattern, the presence / absence of a necrotic substance, the presence / absence of a solid pattern, and a feature amount calculated using the color or chromaticity of an image. (Step ST2)
【００１５】次に、計算された特徴量を元に、メモリ７
内にプログラムされている適合度算出手順に従って、計
算機５を用いて、各適合度算出カテゴリーごとにその組
織画像がその適合度算出カテゴリーに適合する程度を表
す適合度が計算される。（ステップＳＴ３）Next, based on the calculated feature amount, the memory 7
According to the fitness calculation procedure programmed therein, the fitness that indicates the extent to which the tissue image fits the fitness calculation category is calculated for each fitness calculation category using the computer 5. (Step ST3)
【００１６】適合度算出カテゴリーとしては、例えば、
類似した病理組織学的特徴を持つ診断カテゴリーをまと
めて一つの適合度算出カテゴリーとする。乳腺腫瘍の場
合、例えば、硬癌の一般的な病理組織学的特徴は、癌胞
巣が間質結合織の増生を伴って周囲組織に放射状、ある
いはけば立ったように浸潤している特徴を示す。一方、
硬化性腺症の一般的な病理組織学的特徴は、線維性間質
が増生し、間質成分に圧排され迂曲変形した乳管成分が
多くみられるというもので、一見したところ硬癌に類似
している。そこで、両者をまとめ、「硬癌パターン」と
いう同じ適合度算出カテゴリーに属するとする。一方、
管内性線維腺腫の示す一般的な病理組織学的特徴は、線
維成分が上皮成分をおおうように増殖し、管腔が樹枝状
列隙状となっていることである。病理組織学的にこれと
類似した特徴を持つものは他に無いため、これは単独で
管内性線維腺腫パターンという一つの適合度算出カテゴ
リーとする。以上のようにして、予め決定した各適合度
算出カテゴリーごとに適合度が算出され、算出された適
合度は、適合度算出カテゴリー名と共に表示装置に表示
される。（ステップＳＴ４）As the fitness calculation category, for example,
Diagnosis categories having similar histopathological features are combined into one fitness calculation category. In the case of breast tumors, for example, a common histopathological feature of hard carcinoma is that the cancerous nests are radially or fuzzyly invading surrounding tissues with the growth of interstitial connective tissue Is shown. on the other hand,
A general histopathological feature of sclerosing adenosis is that the fibrous stroma grows, and the ductal components that are squeezed out and deformed by the interstitial components are often seen. ing. Therefore, both are put together and belong to the same fitness calculation category of “hard cancer pattern”. on the other hand,
A common histopathological feature of endovascular fibroadenoma is that the fibrous component grows over the epithelial component and the lumen is dendritic. Since no other tissue has a similar characteristic in histopathology, this is regarded as a single fitness calculation category called an intraductal fibroadenoma pattern. As described above, the fitness is calculated for each of the fitness calculation categories determined in advance, and the calculated fitness is displayed on the display device together with the fitness calculation category name. (Step ST4)
【００１７】病理医は、表示された適合度を参考にして
適合する可能性の高い適合度算出カテゴリーを判断し、
その適合度算出カテゴリーに関して予め作成した病理組
織鑑別法を参考として、その組織標本の診断カテゴリー
名を決定する。（ステップＳＴ５）The pathologist determines a fitness calculation category having a high possibility of matching with reference to the displayed fitness,
The diagnosis category name of the tissue specimen is determined with reference to the pathological tissue identification method created in advance for the fitness calculation category. (Step ST5)
【００１８】なお、上述の実施の形態における適合度の
算出を、ニューラルネットワークを用いて行っても良
い。その場合の別の実施の形態について説明する。ま
ず、図１に示す病理組織診断支援装置を用いて、学習デ
ータを作成し学習を実行する場合の手順を、図３に示す
フローチャートに従って説明する。ヘマトキシリン・エ
オジン染色された乳腺腫瘍の組織標本１は顕微鏡２およ
びカメラ３を用いて拡大して撮影され、画像取込回路４
によりＡ／Ｄ変換されてデジタル画像としてハードディ
スク６に保存される。（ステップＳＴ１１）The calculation of the fitness in the above-described embodiment may be performed using a neural network. Another embodiment in that case will be described. First, the procedure for creating learning data and executing learning using the pathological tissue diagnosis support apparatus shown in FIG. 1 will be described with reference to the flowchart shown in FIG. Hematoxylin and eosin stained mammary tumor tissue specimen 1 is magnified and photographed using microscope 2 and camera 3, and image capturing circuit 4 is used.
A / D-converted and stored on the hard disk 6 as a digital image. (Step ST11)
【００１９】次に、ハードディスク６に保存された組織
画像の病理組織学的特徴量が計算機５により計算され、
メモリ７に保存される。この病理組織学的特徴量には、
例えば核領域の数、面積、形状、円形度、色、色度、腔
隙領域の数、面積、形状、円形度、間質領域の数、面
積、形状、円形度、色、色度、管腔領域の数、面積、形
状、円形度、画像のテクスチャ、ウエーブレット変換値
を用いて算出される特徴量、上皮細胞が筋上皮細胞を伴
う２層構造を示す程度、線維化の程度、乳頭状パターン
の有無、ふるい状パターンの有無、壊死物質の有無、充
実性パターンの有無、画像の色あるいは色度を用いて算
出される特徴量など様々なものがある。（ステップＳＴ
１２）Next, the histopathological feature of the tissue image stored in the hard disk 6 is calculated by the computer 5,
Stored in the memory 7. The histopathological features include
For example, the number, area, shape, circularity, color, chromaticity, number of cavity areas, area, shape, circularity, number of interstitial areas, area, shape, circularity, color, chromaticity, tube Number of cavity areas, area, shape, circularity, texture of image, feature value calculated using wavelet transform value, degree of epithelial cells showing bilayer structure with myoepithelial cells, degree of fibrosis, papillary There are various types such as the presence / absence of a shape pattern, the presence / absence of a sieve-like pattern, the presence / absence of a necrotic substance, the presence / absence of a solidity pattern, the feature amount calculated using the color or chromaticity of an image. (Step ST
12)
【００２０】次に、この組織画像の各適合度算出カテゴ
リーについての適合度が熟練した病理医により決定さ
れ、キーボード１０を用いて計算機５に入力され、メモ
リ７に保存される。（ステップＳＴ１３）Next, the degree of suitability of each tissue category for each suitability calculation category is determined by a skilled pathologist, input to the computer 5 using the keyboard 10, and stored in the memory 7. (Step ST13)
【００２１】次に、メモリ７に保存されている特徴量を
入力データ、各適合度算出カテゴリーについての適合度
を教師データとして組み合わせ、ハードディスク６に保
存することにより、各適合度算出カテゴリーについて学
習データが１つずつ作成される。（ステップＳＴ１４）Next, the feature amounts stored in the memory 7 are combined as input data and the fitness for each fitness calculation category are combined as teacher data. Are created one by one. (Step ST14)
【００２２】上記ステップＳＴ１１からステップＳＴ１
４までの処理を多数の組織標本について繰り返し行うこ
とにより、各適合度算出カテゴリーごとに多数の学習デ
ータが作成される。（ステップＳＴ１５）Steps ST11 to ST1
By repeatedly performing the processes up to 4 on a large number of tissue samples, a large number of learning data are created for each fitness calculation category. (Step ST15)
【００２３】次に、各適合度算出カテゴリーごとにニュ
ーラルネットワークを一つずつ割り当てる。（ステップ
ＳＴ１６）Next, one neural network is assigned to each fitness calculation category. (Step ST16)
【００２４】ニューラルネットワークとしては、例えば
図４に示される階層型ニューラルネットワークを用い
る。図４において、１１は入力ニューロン、１２はかく
れニューロン、１３は出力ニューロン、１４はニューロ
ン間の配線である。入力ニューロンは、入力データの次
元数と同じ数とし、出力ニューロンは一個とする。ニュ
ーラルネットワークの各ニューロンは状態値を、ニュー
ロン間の配線は結合重みを持つが、それらはメモリ７上
の数値として表現されている。As the neural network, for example, a hierarchical neural network shown in FIG. 4 is used. In FIG. 4, 11 is an input neuron, 12 is a hidden neuron, 13 is an output neuron, and 14 is a wiring between neurons. The number of input neurons is the same as the number of dimensions of input data, and the number of output neurons is one. Each neuron of the neural network has a state value, and the wiring between the neurons has connection weights, which are expressed as numerical values in the memory 7.
【００２５】次に、各適合度算出カテゴリーに割り当て
られたニューラルネットワークのそれぞれについて、ハ
ードディスク６に保存されている教師データを用い、メ
モリ７におかれた学習プログラムに従って学習が実行さ
れ、学習終了後のニューロン間の配線の結合重みがハー
ドディスク６に保存される。（ステップＳＴ１７） なお、学習則としては、例えば階層型ニューラルネット
ワークの一般的な学習則であるバックプロバゲーション
を用いる。Next, for each of the neural networks assigned to each of the fitness calculation categories, learning is performed according to the learning program stored in the memory 7 using the teacher data stored in the hard disk 6, and after the learning is completed. Are stored in the hard disk 6. (Step ST17) As the learning rule, for example, back propagation, which is a general learning rule of a hierarchical neural network, is used.
【００２６】ある適合度算出カテゴリーＸについて適合
度を算出する場合は、適合度算出カテゴリーＸに割り当
てられたニューラルネットワークの学習後の結合重みを
ハードディスク６からメモリ７に読み込み、ステップＳ
Ｔ２において計算された特徴量を入力データとしてニュ
ーラルネットワークの出力ニューロンの状態値を求め、
その値を適合度算出カテゴリーＸについての適合度とす
れば良い。なお、上記実施例では、全ての適合度算出カ
テゴリーについて、算出された適合度を表示している
が、適合度の高い一部の適合度算出カテゴリーについて
のみ適合度を表示しても良い。また、上記実施例では、
類似した病理組織学的特徴を持つ診断カテゴリーをまと
めて適合度算出カテゴリーとしているが、一つの診断カ
テゴリーを一つの適合度算出カテゴリーとしても良い。In order to calculate the fitness for a certain fitness calculation category X, the connection weight after learning of the neural network assigned to the fitness calculation category X is read from the hard disk 6 into the memory 7, and the process proceeds to step S
A state value of an output neuron of the neural network is obtained using the feature amount calculated in T2 as input data,
What is necessary is just to make the value the adaptation degree about the adaptation degree calculation category X. In the above embodiment, the calculated fitness levels are displayed for all the fitness level calculation categories, but the fitness levels may be displayed only for some of the fitness level calculation categories having high fitness levels. In the above embodiment,
Although diagnostic categories having similar histopathological features are collectively used as the fitness calculation category, one diagnostic category may be used as one fitness calculation category.
【００２７】[0027]
【発明の効果】以上説明したように、本発明の病理組織
診断支援装置によれば、標本の画像が該当する可能性の
高い適合度算出カテゴリーが自動的に病理医に提示され
るので、病理医が短時間で確度の高い箇所の鑑別診断法
を参照でき、診断時間の短縮と信頼度を向上できる効果
がある。As described above, according to the pathological tissue diagnosis support apparatus of the present invention, the degree of fitness calculation category that is highly likely to correspond to the image of the specimen is automatically presented to the pathologist. The doctor can refer to a highly accurate differential diagnosis method in a short time, which has the effect of shortening the diagnosis time and improving the reliability.
【００２８】また、一つの診断カテゴリーを一つの適合
度算出カテゴリーとすることにより、可能性の高い診断
カテゴリー名が自動的に解り、診断時間をさらに短縮し
信頼度を向上できる効果がある。Further, by using one diagnostic category as one fitness level calculation category, a diagnostic category name having a high possibility can be automatically identified, which has the effect of further shortening the diagnostic time and improving the reliability.
【００２９】また、類似した病理組織学的特徴を持つ診
断カテゴリーをまとめて適合度算出カテゴリーとするこ
とにより、算出される適合度の信頼性を向上できると共
に、間違いやすい診断カテゴリーであることを病理医が
意識しながらその差違について詳細な検討ができるた
め、診断結果の信頼度をさらに向上できる効果がある。In addition, by combining diagnostic categories having similar histopathological features into a fitness calculation category, the reliability of the calculated fitness can be improved, and the diagnostic category that is easily mistaken can be evaluated. Since the difference can be examined in detail while the physician is conscious, there is an effect that the reliability of the diagnosis result can be further improved.
【００３０】また、特徴量として、核領域の数、面積、
形状、円形度、色、色度、腔隙領域の数、面積、形状、
円形度、間質領域の数、面積、形状、円形度、色、色
度、管腔領域の数、面積、形状、円形度、画像のテクス
チャ、ウエーブレット変換値を用いて算出される特徴
量、上皮細胞が筋上皮細胞を伴う２層構造を示す程度、
線維化の程度、乳頭状パターンの有無、ふるい状パター
ンの有無、壊死物質の有無、充実性パターンの有無、画
像の色あるいは色度を用いて算出される特徴量などの画
像の構造的特徴量を用いることにより、算出される適合
度の信頼性をさらに向上できる効果がある。The features include the number of nuclear regions, area,
Shape, circularity, color, chromaticity, number of cavity areas, area, shape,
Circularity, number of interstitial regions, area, shape, circularity, color, chromaticity, number of lumen regions, area, shape, circularity, image texture, feature value calculated using wavelet transform values To the extent that the epithelial cells show a two-layer structure with myoepithelial cells,
Structural features of the image, such as the degree of fibrosis, the presence or absence of a papillary pattern, the presence or absence of a sieve-like pattern, the presence or absence of a necrotic substance, the presence or absence of a solid pattern, the feature amount calculated using the color or chromaticity of the image Is effective in further improving the reliability of the calculated conformity.
【００３１】また、適合度の算出にニューラルネットワ
ークを用いることにより、学習データを用意するだけ
で、学習によって自動的に適合度を高精度で算出できる
ようになる。このため、適合度算出カテゴリーを変えた
場合でも、再度学習しなおすことにより適合度を算出で
きるようになり、適合度算出カテゴリーを利用者の好み
に応じて設定することができる効果がある。さらに、使
用した標本が増えるほど学習データが増えるため精度が
向上するという効果もある。Further, by using a neural network for the calculation of the fitness, the fitness can be automatically calculated with high accuracy by learning only by preparing the learning data. For this reason, even when the fitness calculation category is changed, the fitness can be calculated by learning again, and the fitness calculation category can be set according to the user's preference. Further, there is an effect that the accuracy increases because the number of learning data increases as the number of used samples increases.
【図１】 本発明に係る病理組織診断支援装置の実施の
形態を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a pathological tissue diagnosis support apparatus according to the present invention.
【図２】 図１に示す病理組織診断支援装置を用いた病
理組織診断の手順を示すフローチャートである。FIG. 2 is a flowchart showing a procedure of pathological tissue diagnosis using the pathological tissue diagnosis support device shown in FIG.
【図３】 図１の病理組織診断支援装置を用いて、学習
データを作成し学習を実行する場合の手順を示すフロー
チャートである。FIG. 3 is a flowchart showing a procedure in a case where learning data is created and learning is performed using the pathological tissue diagnosis support apparatus of FIG. 1;
【図４】 本発明の実施の形態を示す階層型ニューラル
ネットワークの構成図である。FIG. 4 is a configuration diagram of a hierarchical neural network showing an embodiment of the present invention.
１ 乳腺腫瘍の組織標本、 ２ 顕微鏡、 ３ カメ
ラ、 ４ 画像取込回路、 ５ 計算機、 ６ ハード
ディスク、 ７ メモリ、 ８ プロセッサ、９ 表示
装置、 １０ キーボード、 １１ 入力ニューロン、
１２ かくれニューロン、 １３ 出力ニューロン、
１４ ニューロン間の配線1 tissue specimen of breast tumor, 2 microscope, 3 camera, 4 image capture circuit, 5 calculator, 6 hard disk, 7 memory, 8 processor, 9 display device, 10 keyboard, 11 input neuron,
12 hidden neurons, 13 output neurons,
14 Wiring between neurons
Claims (5)
として定量的に表わす特徴量抽出手段と、病理組織学的
特徴に基づいてあらかじめ設定された診断カテゴリーを
適合度算出カテゴリーとして、上記画像の特徴量の上記
適合度算出カテゴリーに適合する程度を算出する適合度
算出手段と、適合度の高い適合度算出カテゴリー名を表
示する適合度表示手段とを備えたことを特徴とする病理
組織診断支援装置。1. A feature amount extracting means for quantitatively representing a feature of an image as a feature amount from an image of a living tissue, and a diagnostic category set in advance based on a histopathological feature is set as a fitness degree calculation category. Pathological tissue diagnosis, comprising: a fitness calculating means for calculating a degree of matching of the feature amount to the fitness calculating category; and a fitness displaying means for displaying a fitness calculating category name having a high fitness. Support equipment.
出カテゴリーとしたことを特徴とする請求項１に記載の
病理組織診断支援装置。2. The pathological tissue diagnosis support apparatus according to claim 1, wherein one diagnosis category is one fitness degree calculation category.
診断カテゴリーをまとめて適合度算出カテゴリーとした
ことを特徴とする請求項１に記載の病理組織診断支援装
置。3. The histopathological diagnosis support apparatus according to claim 1, wherein a plurality of diagnostic categories having similar histopathological features are combined into a fitness calculation category.
状、円形度、色、色度、腔隙領域の数、面積、形状、円
形度、間質領域の数、面積、形状、円形度、色、色度、
管腔領域の数、面積、形状、円形度、画像のテクスチ
ャ、ウエーブレット変換値を用いて算出される特徴量、
上皮細胞が筋上皮細胞を伴う２層構造を示す程度、線維
化の程度、乳頭状パターンの有無、ふるい状パターンの
有無、壊死物質の有無、充実性パターンの有無、画像の
色あるいは色度を用いて算出される特徴量の少なくとも
一つを用いたことを特徴とする請求項１乃至請求項３の
いずれかに記載の病理組織診断支援装置。4. The feature quantity includes the number, area, shape, circularity, color, chromaticity, number of cavity areas, area, shape, circularity, number of interstitial areas, area, shape, and circular shape of the nuclear area. Degree, color, chromaticity,
The number of luminal regions, area, shape, circularity, image texture, feature amount calculated using wavelet transform values,
The degree to which the epithelial cells show a two-layer structure with myoepithelial cells, the degree of fibrosis, the presence or absence of a papillary pattern, the presence or absence of a sieve-like pattern, the presence or absence of a necrotic substance, the presence or absence of a solid pattern, the color or chromaticity of the image The pathological tissue diagnosis support apparatus according to claim 1, wherein at least one of the feature amounts calculated using the method is used.
ワークが用いられ、各適合度算出カテゴリーに出力ニュ
ーロンが割り当てられ、特徴量を入力とし、学習に用い
る組織画像に対して予め決められた適合度を教師信号と
して、各適合度算出カテゴリーに割り当てられたニュー
ロンが教師信号と同じ値を出力するように学習し、学習
後のニューラルネットワークに診断しようとする組織画
像から抽出された特徴量が入力され、出力ニューロンの
出力値が適合度とされていることを特徴とする請求項１
乃至請求項４のいずれかに記載の病理組織診断支援装
置。5. A neural network is used as a fitness calculation means, an output neuron is assigned to each fitness calculation category, a feature value is input, and a fitness that is predetermined for a tissue image used for learning is trained. As a signal, the neuron assigned to each fitness calculation category learns so as to output the same value as the teacher signal, and the feature amount extracted from the tissue image to be diagnosed is input to the trained neural network, and the output is output. 2. An output value of a neuron is a fitness.
A pathological tissue diagnosis support device according to any one of claims 1 to 4.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9004696A JPH10197522A (en) | 1997-01-14 | 1997-01-14 | Pathological tissue diagnosis support device |
| KR1019980000404A KR100291149B1 (en) | 1997-01-14 | 1998-01-09 | Pathology diagnosis support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9004696A JPH10197522A (en) | 1997-01-14 | 1997-01-14 | Pathological tissue diagnosis support device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10197522A true JPH10197522A (en) | 1998-07-31 |
Family
ID=11591061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9004696A Pending JPH10197522A (en) | 1997-01-14 | 1997-01-14 | Pathological tissue diagnosis support device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPH10197522A (en) |
| KR (1) | KR100291149B1 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009115598A (en) * | 2007-11-06 | 2009-05-28 | Nec Corp | Module for detecting poorly differentiated cancer and pathological image diagnosis support apparatus, program, and recording medium including the same |
| JP2009229203A (en) * | 2008-03-21 | 2009-10-08 | Nec Corp | Pathologic image diagnostic system, pathologic image diagnostic method and program |
| US7693334B2 (en) | 2004-11-30 | 2010-04-06 | Nec Corporation | Pathological diagnosis support device, program, method, and system |
| WO2012043499A1 (en) * | 2010-09-30 | 2012-04-05 | 日本電気株式会社 | Information processing device, information processing system, information processing method, program, and recording medium |
| JP2013507643A (en) * | 2009-10-13 | 2013-03-04 | ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド | Cell reprogramming including application to epigenetic and non-epigenetic based induced pluripotent stem cell induction |
| JP2013113680A (en) * | 2011-11-28 | 2013-06-10 | Keio Gijuku | Pathological diagnosis support apparatus, pathological diagnosis support method, and pathological diagnosis support program |
| WO2017095014A1 (en) * | 2015-11-30 | 2017-06-08 | 임욱빈 | Cell abnormality diagnosing system using dnn learning, and diagnosis managing method of same |
| US9786047B2 (en) | 2011-05-18 | 2017-10-10 | Nec Corporation | Information processing system, method, and apparatus supporting a pathological diagnosis, and control method and control program thereof |
| WO2020166469A1 (en) * | 2019-02-15 | 2020-08-20 | コニカミノルタ株式会社 | Information provision method, information provision device, and program |
| EP3731140A1 (en) | 2019-04-26 | 2020-10-28 | Juntendo Educational Foundation | Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm |
| JP2021513075A (en) * | 2018-02-06 | 2021-05-20 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｍｉｃｈｉｇａｎ | Systems and methods for analysis of optical tissue images and remote interpretation |
| WO2021132633A1 (en) | 2019-12-26 | 2021-07-01 | 公益財団法人がん研究会 | Pathological diagnosis assisting method using ai, and assisting device |
| US11093729B2 (en) | 2018-05-10 | 2021-08-17 | Juntendo Educational Foundation | Image analysis method, apparatus, non-transitory computer readable medium, and deep learning algorithm generation method |
| KR20220021805A (en) * | 2020-08-14 | 2022-02-22 | 연세대학교 산학협력단 | Method for biopsy and apparatus for biopsy |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102208613B1 (en) | 2018-11-12 | 2021-01-28 | 라온프렌즈 주식회사 | Apparatus for medical image processing |
-
1997
- 1997-01-14 JP JP9004696A patent/JPH10197522A/en active Pending
-
1998
- 1998-01-09 KR KR1019980000404A patent/KR100291149B1/en not_active IP Right Cessation
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7693334B2 (en) | 2004-11-30 | 2010-04-06 | Nec Corporation | Pathological diagnosis support device, program, method, and system |
| US8199998B2 (en) | 2007-11-06 | 2012-06-12 | Nec Corporation | Module for detecting poorly differentiated cancers and pathological image diagnosis support apparatus, program and recording medium including the same |
| JP2009115598A (en) * | 2007-11-06 | 2009-05-28 | Nec Corp | Module for detecting poorly differentiated cancer and pathological image diagnosis support apparatus, program, and recording medium including the same |
| JP2009229203A (en) * | 2008-03-21 | 2009-10-08 | Nec Corp | Pathologic image diagnostic system, pathologic image diagnostic method and program |
| JP2013507643A (en) * | 2009-10-13 | 2013-03-04 | ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド | Cell reprogramming including application to epigenetic and non-epigenetic based induced pluripotent stem cell induction |
| US9704018B2 (en) | 2010-09-30 | 2017-07-11 | Nec Corporation | Information processing apparatus, information processing system, information processing method, program, and recording medium |
| WO2012043499A1 (en) * | 2010-09-30 | 2012-04-05 | 日本電気株式会社 | Information processing device, information processing system, information processing method, program, and recording medium |
| JP5630674B2 (en) * | 2010-09-30 | 2014-11-26 | 日本電気株式会社 | Information processing apparatus, information processing system, information processing method, program, and recording medium |
| US9786047B2 (en) | 2011-05-18 | 2017-10-10 | Nec Corporation | Information processing system, method, and apparatus supporting a pathological diagnosis, and control method and control program thereof |
| JP2013113680A (en) * | 2011-11-28 | 2013-06-10 | Keio Gijuku | Pathological diagnosis support apparatus, pathological diagnosis support method, and pathological diagnosis support program |
| US10679751B2 (en) | 2015-11-30 | 2020-06-09 | Wook-Bin IM | Cell abnormality diagnosis system using DNN learning, and diagnosis management method of the same |
| WO2017095014A1 (en) * | 2015-11-30 | 2017-06-08 | 임욱빈 | Cell abnormality diagnosing system using dnn learning, and diagnosis managing method of same |
| US11756675B2 (en) | 2018-02-06 | 2023-09-12 | The Regents Of The University Of Michigan | Systems and methods for analysis and remote interpretation of optical histologic images |
| JP2021513075A (en) * | 2018-02-06 | 2021-05-20 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｍｉｃｈｉｇａｎ | Systems and methods for analysis of optical tissue images and remote interpretation |
| US11093729B2 (en) | 2018-05-10 | 2021-08-17 | Juntendo Educational Foundation | Image analysis method, apparatus, non-transitory computer readable medium, and deep learning algorithm generation method |
| US11830188B2 (en) | 2018-05-10 | 2023-11-28 | Sysmex Corporation | Image analysis method, apparatus, non-transitory computer readable medium, and deep learning algorithm generation method |
| WO2020166469A1 (en) * | 2019-02-15 | 2020-08-20 | コニカミノルタ株式会社 | Information provision method, information provision device, and program |
| JPWO2020166469A1 (en) * | 2019-02-15 | 2021-12-16 | コニカミノルタ株式会社 | Information provision method, information provision equipment and program |
| EP3731140A1 (en) | 2019-04-26 | 2020-10-28 | Juntendo Educational Foundation | Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm |
| US11978198B2 (en) | 2019-04-26 | 2024-05-07 | Juntendo Educational Foundation | Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm |
| WO2021132633A1 (en) | 2019-12-26 | 2021-07-01 | 公益財団法人がん研究会 | Pathological diagnosis assisting method using ai, and assisting device |
| KR20220119447A (en) | 2019-12-26 | 2022-08-29 | 고에키자이단호진 간겐큐카이 | Method for supporting pathology diagnosis using AI, and supporting device |
| KR20220021805A (en) * | 2020-08-14 | 2022-02-22 | 연세대학교 산학협력단 | Method for biopsy and apparatus for biopsy |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100291149B1 (en) | 2001-10-25 |
| KR19980070439A (en) | 1998-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU670938B2 (en) | Method for identifying normal biomedical specimens | |
| JPH10197522A (en) | Pathological tissue diagnosis support device | |
| Mira et al. | Early Diagnosis of Oral Cancer Using Image Processing and Artificial Intelligence | |
| US7027627B2 (en) | Medical decision support system and method | |
| EP2027566B1 (en) | Automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and computer program therefor | |
| CN108257135A (en) | The assistant diagnosis system of medical image features is understood based on deep learning method | |
| CN109616195A (en) | The real-time assistant diagnosis system of mediastinum endoscopic ultrasonography image and method based on deep learning | |
| CN108695001A (en) | A kind of cancer lesion horizon prediction auxiliary system and method based on deep learning | |
| CN112070119A (en) | Ultrasonic tangent plane image quality control method and device and computer equipment | |
| CN111214255B (en) | Medical ultrasonic image computer-aided method | |
| JP2003225231A (en) | Method and system for detecting lung disease | |
| CN103222876B (en) | Medical image-processing apparatus, image diagnosing system, computer system and medical image processing method | |
| JP2016531709A (en) | Image analysis technology for diagnosing disease | |
| JP2010119850A (en) | System, apparatus, and process for automated medical image segmentation using statistical model | |
| EP2116974B1 (en) | Statistics collection for lesion segmentation | |
| CN111028223A (en) | Microsatellite unstable intestinal cancer energy spectrum CT iodine water map image omics feature processing method | |
| Kumar et al. | Mammogram image segmentation using SUSAN corner detection | |
| JP2000155840A (en) | Image processing method | |
| CN109300122A (en) | Image procossing and Threshold, device and equipment | |
| CN112200815A (en) | Thyroid nodule ultrasonic image segmentation method based on semantic segmentation network PSPNet | |
| CN110827275A (en) | Liver nuclear magnetic artery phase image quality grading method based on raspberry group and deep learning | |
| CN116050691A (en) | Medical image report evaluation method, device, electronic equipment and storage medium | |
| CN114445374A (en) | Image feature processing method and system based on diffusion kurtosis imaging MK image | |
| Wun et al. | Ultrasound characterization by stable statistical patterns | |
| CN117974531A (en) | Thyroid ultrasonic image processing device and method, electronic equipment and medium |