JP2018169390A - 染色体異常判定装置 - Google Patents

染色体異常判定装置 Download PDF

Info

Publication number
JP2018169390A
JP2018169390A JP2018050623A JP2018050623A JP2018169390A JP 2018169390 A JP2018169390 A JP 2018169390A JP 2018050623 A JP2018050623 A JP 2018050623A JP 2018050623 A JP2018050623 A JP 2018050623A JP 2018169390 A JP2018169390 A JP 2018169390A
Authority
JP
Japan
Prior art keywords
chromosome
abnormality determination
feature information
image
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018050623A
Other languages
English (en)
Other versions
JP6669796B2 (ja
JP2018169390A5 (ja
Inventor
良弥 高橋
Yoshiya Takahashi
良弥 高橋
奈雄登 岡田
Naoto Okada
奈雄登 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Techno Research Corp
Original Assignee
JFE Techno Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Techno Research Corp filed Critical JFE Techno Research Corp
Publication of JP2018169390A publication Critical patent/JP2018169390A/ja
Publication of JP2018169390A5 publication Critical patent/JP2018169390A5/ja
Application granted granted Critical
Publication of JP6669796B2 publication Critical patent/JP6669796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】染色体の色彩情報も利用して染色体の検査を行うことの可能な染色体異常判定装置を提供する。【解決手段】染色された染色体を透過した光の分光スペクトルから得られるスペクトル解析によるスペクトル特徴量画像の画像データ及びスペクトル特徴量画像から得られる画像解析による特徴量を含む特徴情報と、特徴情報とこの特徴情報を有する染色体が正常であるか否かを表す情報とからなるデータベースを染色体データ記憶装置に備える。判定対象の染色された染色体を透過した光の染色体上の各点における分光スペクトルをスペクトルキューブデータとして取得し(ステップS11)、スペクトルキューブデータから特徴情報を抽出し(ステップS12、S13)、抽出された特徴情報とデータベースに格納された特徴情報とから、判定対象の染色体の異常判定を行う(ステップS14)。【選択図】 図10

Description

本発明は、染色体異常判定装置に関する。
光学顕微鏡を用い、染色体の画像を得て、染色体の数々の異常を画像情報から判断する作業は、染色体異常に起因する疾病の予防や治療、染色体異常を誘発する物質の判定試験等において、重要な役割を果たしている。
染色体は、遺伝情報を保有する細胞核内の生体物質であり、ヒトの細胞核1個に対して常染色体44本と性染色体2本を合わせた計46本が存在する。常染色体は22種類、それぞれ各2本の染色体で構成され、常染色体は1番から22番の番号で区別される。性染色体は、X、Yで区別され、女性はXを2本有し、男性はX、Yを1本ずつ持つ。
図15は、染色体の一例を示す模式図である。図15に示すように、染色体は、動源体101と呼ばれる部分でくびれており、動源体101によって二分される。二分された短い部分は短腕102と称され、長い部分は長腕103と称される。また、染料により染色体が染められた際に、染色体上に縞が染め出される。この縞をバンド104と称する。
光学顕微鏡画像により染色体の異常を視覚的に診断する際には、一般的には次のように判定を行っている。すなわち、染色体の領域の相対的長さ、染色体領域における短腕と長腕との長さの比、染色体領域におけるバンドの並び方すなわちバンドパターンといった染色体画像の画像特徴量から、染色体の種類の同定及び染色体の数的異常、遺伝情報の欠損、重複、転座等の染色体の異常を判定している。
例えば、特許文献1には、被検査染色体を撮像し、得られた画像により形態的特徴を抽出した後、その結果に基づいて染色体を検査する染色体検査装置が提案されている。この染色体検査装置は、染色体画像データを記憶する染色体画像データベースと、抽出した形態的特徴に類似する染色体の画像データを染色体データベースから検索する手段と、検索された類似する染色体の画像データ及び被検査染色体の撮像画像を出力表示する手段とを備えている。
特開平3−123860号公報
ところで、前述の染色体の検査を自動的に行う装置においては、染色体の画像データから得られる形態的特徴のみを用いて検査を行っている。また、染色体のバンドには濃淡があり、バンドパターンだけでなく各バンドの濃淡情報も染色体異常判定の基準となることが一般に知られており、染色体の色彩情報は染色体の同定や異常判定を行う際の重要な判定ファクターの一つになり得る可能性がある。
また、染色体の検査を自動的に行う装置等においては、判定精度が高ければ高いほど好ましく、判定精度の向上により、染色体の検査装置の使い勝手の向上や汎用性の拡大にもつながる。
そこで、この発明は、上記従来の課題に着目してなされたものであり、染色による染色体の色彩情報を利用して染色体の検査を行うことの可能な染色体異常判定装置を提供することを目的としている。
本発明の一態様によれば、異常な染色体及び正常な染色体のうちの少なくとも一方から取得されたスペクトルキューブデータに含まれる染色体の特徴を表す特徴情報を用いて構築された異常判定処理を実行する異常判定処理部と、判定対象の染色体の前記スペクトルキューブデータを取得するデータ取得部と、を有し、スペクトルキューブデータは染色された染色体を透過又は反射した光の前記染色体上の各点における分光スペクトルであって、異常判定処理部は、データ取得部により取得された判定対象の染色体のスペクトルキューブデータに含まれる特徴情報を入力し、特徴情報を用いて判定対象の染色体に対する異常判定処理を実行することを特徴とする染色体異常判定装置、が提供される。
本発明の一態様によれば、染色体の色彩情報を利用して染色体の検査を行うことで、判定精度を向上させ、染色体異常判定装置の使い勝手を向上させることができる。
本発明の一実施形態に係る染色体異常判定装置の一例を示す構成図である。 染色体の撮像画像の一例である。 図2の測定点Xにおける透過率のスペクトルの一例である。 スペクトル特徴量画像を説明するための説明図である。 波長と透過率と類似度との関係の一例を示す特性図である。 類似度と透過率との関係の一例を示す特性図である。 単波長画像の一例である。 第一実施形態における判定処理装置の機能ブロック図の一例である。 モデル学習時の処理手順の一例を示すフローチャートである。 異常判定処理時の処理手順の一例を示すフローチャートである。 第二実施形態における判定処理装置の機能ブロック図の一例である。 第二実施形態におけるニューラルネットワークモデル構築時の処理手順の一例を示すフローチャートである。 第二実施形態における異常判定処理時の処理手順の一例を示すフローチャートである。 第三実施形態における判定処理装置の機能ブロック図の一例である。 染色体の一例を示す模式図である。 染色体異常判定装置の変形例の一例を示す構成図である。
以下、図面を参照して本発明の実施形態について説明する。
なお、以下の詳細な説明では、本発明の実施形態の完全な理解を提供するように多くの特定の具体的な構成について記載されている。しかしながら、このような特定の具体的な構成に限定されることなく他の実施態様が実施できることは明らかである。また、以下の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
まず、第一実施形態を説明する。
図1は、本発明の第一実施形態に係る染色体異常判定装置の一例を示す構成図である。
染色体異常判定装置1は、顕微鏡2と、顕微鏡2用の電動ステージ3と、イメージング分光器4と、画像メモリ5と、スペクトル解析装置6と、画像解析装置7と、判定処理装置10と、データベース作成装置(データベース作成部)11と、染色体データ記憶装置12と、表示装置13と、を備える。画像メモリ5、スペクトル解析装置6、画像解析装置7、判定処理装置10、データベース作成装置11、染色体データ記憶装置12、及び表示装置13は、例えば、入力装置、表示装置、記憶装置を備えた一台のパーソナルコンピュータで構成される。
イメージング分光器4は、染色体からの反射光又は透過光を、顕微鏡2を通して入射し、レンズ及びスリットにより線状に集光して、一次元方向に位置情報、他の一次元方向に分光情報となるように分光し、二次元カメラで撮像する。この撮像画像は、各測定点でのスペクトルの集合であり、それぞれのスペクトルは、染色された染色体の各点での色彩情報を含む波形を示す。電動ステージ3を移動させて被計測物を撮像することにより、被計測物の二次元画像に各測定点でのスペクトル軸が加わったスペクトルキューブデータを得ることができる。
色彩情報を含む波形は、染色体からの反射強度又は透過強度として撮像された画像信号から、光源のスペクトル情報及びカメラ素子の測定感度のばらつきによる影響を除去することにより得られた反射率及び透過率の形で得ることができる。
例えば、図2に示す1本の染色体において、測定点Xにおける透過率のスペクトルは、図3に示すような波形を示す。なお、図3において、横軸は波長(nm)、縦軸は透過率である。
イメージング分光器4で撮像されたスペクトルキューブデータは、画像メモリ5に格納される。
スペクトル解析装置6は、画像メモリ5に格納されたスペクトルキューブデータに対してスペクトル解析を行ってスペクトル特徴量画像を抽出し、このスペクトル特徴量画像の画像データを出力する。スペクトル解析装置6から出力されたスペクトル特徴量画像の画像データは、画像メモリ5に格納される。
ここで、スペクトル特徴量画像とは、例えば、図4(a)に示すように表されるスペクトルキューブデータのうちの任意の波長における、各測定点での染色体からの透過強度情報からなるモノクロ画像すなわち単波長画像のことをいう。任意の波長における単波長画像ではなく、任意の波長を含むその前後の所定範囲の波長における透過強度の積算値、或いは、全波長における透過強度の積算値から単波長画像を得るようにしてもよい。
また、スペクトル特徴量画像として、図4(a)に示すように、スペクトルキューブデータのうち、例えば、R(赤色、G(緑色)、B(青色)に対応する3つの波長における、各測定点での染色体からの透過強度情報から得られるカラー画像を、抽出するようにしてもよい。
また、スペクトルキューブデータの各測定点での透過強度情報に基づき色計算を行って、L、a、b、や、X、Y、Z等の色情報を取得し、図4(b)に示すように、測定点毎に例えばL、a、bの値を取得する。この色情報をもとに、測定点毎に、L、a、bの値をRGBに割り当てて画像化することによりカラー画像を取得し、この取得したカラー画像をスペクトル特徴量画像としてもよく、また、測定点毎に、色情報のいずれかをもとに画像化することによりモノクロ画像を取得し、このモノクロ画像をスペクトル特徴量画像としてもよい。なお、色情報は、L、a、bや、X、Y、Z等に限るものではなく、得られた色情報をもとに、カラー画像やモノクロ画像に画像化することのできる、スペクトル演算により得られる値であってもよく、要はスペクトルキューブデータから得られるスペクトル情報から、二次元画像を生成することのできる値であればよい。
ここで、染色体が存在しない部分の透過スペクトルを基準スペクトルとし、染色体の存在する部分の透過スペクトルを評価スペクトルとする。また、基準スペクトル及び評価スペクトルそれぞれをベクトルと考え、両者の類似度を検出する。この類似度は、例えば、二つのベクトルの内積の和により類似度を評価するコサイン類似度を用いて演算する。類似度は染色体が存在しない部分の透過スペクトルと染色体の存在する部分の透過スペクトルとの類似度を表すため、類似度が大きいときには染色体の存在する部分は比較的色が薄くなり、類似度が小さいときには染色体の存在する部分は比較的色が濃くなる。
一方、スペクトルキューブデータからスペクトル特徴量画像として得られる単波長画像は波長によって透過率が異なり、透過率が小さいほど単波長画像において染色体は濃く表示され、透過率が大きいほど染色体は薄く表示される。
図5は、ある染色体について、波長の変化に対する透過率の変化を、類似度毎に表したものである。図5において横軸は波長、縦軸は透過率のスペクトルであり、類似度の変化幅は一定としている。図5において、特性L1は基準スペクトルに対応し、特性L2〜L10は透過スペクトル(評価スペクトル)に対応する。図5は、波長500nm前後から700nm前後の範囲において、特性L1との類似度は、特性L2が最も大きく、特性L2、L3…の順に類似度が小さくなり、特性L10は類似度が最も小さいことを表している。
また、図6は、図5に示す特性に基づき、類似度の変化に対する透過率の変化を、3つの波長について示したものである。
図6に示すように、類似度が低いほど透過率は小さくなっている。そのため、類似度が低いほどスペクトルキューブデータから得られる単波長画像において染色体は濃く表示されることがわかる。また、図5から、何れの類似度の場合も550nm程度の波長のときに透過率が最も小さくなり、単波長画像において染色体は濃く表示されることがわかる。
また、透過率が最も小さくなる550nm程度の波長の場合、図6に特性L11で示すように、透過率は比較的低い範囲で推移し、類似度が比較的高い範囲では類似度の変化に対して透過率が比較的大きく変化し、類似度が比較的低い範囲では類似度の変化に対して透過率の変化は小さい。そのため、図7(a)に示すように、550nmの単波長画像において染色体は比較的濃く表示されることになり、染色体とその周囲とのコントラストは高いが、染色体上に染め出されたバンドとその周囲とのコントラストが低くなり、バンドを識別することが困難である。
逆に、波長が805nm程度の場合、図6に特性L13で示すように、何れの類似度においても、類似度の変化に対する透過率の変化が小さく透過率が比較的高い範囲で推移する。そのため、図7(c)に示すように、805nmの単波長画像において染色体は比較的薄く表示されることになり、染色体とその周囲とのコントラストは低く、さらに、バンドとその周囲とのコントラストも低くなり、染色体だけでなく染色体上のバンドを識別することも困難である。
これに対し、波長が650nm程度の場合、図6に特性L12で示すように、類似度全域に亙って、類似度の変化に対して透過率がある程度の幅で変化する。そのため、図7(b)に示すように、650nmの単波長画像において染色体とその周囲とのコントラスト及び、バンドとその周囲とのコントラストが共に高くなり、染色体やバンドの形状を比較的明確に表示することができる。
つまり、単波長画像において染色体やバンドを明確に表示するためには、図6に示すように、染色体の濃淡(つまり類似度)と染色体を透過した光量(透過率)とが、類似度全域にわたって透過率が大きすぎず、また小さすぎず、ある程度の大きさを有し、且つ、類似度の変化に対する透過率の変化幅がある程度の幅を有し比較的一定であることが好ましいことがわかる。
したがって、図4に示す特性を有するスペクトルキューブデータの場合には、このような条件を満足する波長、図4の場合には650nmにおける単波長画像を取得し、これをスペクトル特徴量画像とすることで、このスペクトル特徴量画像をもとに処理を行う画像解析装置7での解析や、判定処理装置10での判定をより精度よく行うことができる。
なお、単波長画像を取得するための解析用の波長は、予め求めて所定の記憶領域に記憶しておき、スペクトル解析を行う際に、記憶しておいた解析用の波長を読み出してこれを用いるようにしてもよく、また、スペクトル解析を行う前に、良好な単波長画像を得ることのできる波長を検出するようにしてもよい。また、ここでは、波長650nmにおける単波長画像を取得しこれに基づきスペクトル解析を行う場合について説明したが、例えば、スペクトルキューブデータのうち、波長650nmを含むその前後の波長域におけるスペクトルキューブデータを用いてスペクトル解析を行うようにしてもよい。
画像解析装置7は、画像メモリ5に格納された、スペクトル解析装置6で抽出されたスペクトル特徴量画像の画像データに基づき画像解析を行い、所定の特徴量を抽出する。画像解析により抽出される特徴量としては、例えば、染色体の領域の相対的長さ、染色体の領域における短腕の長さと長腕の長さとの比、染色体の領域におけるバンドの並び方、すなわちバンドパターン等が適用される。
判定処理装置10は、スペクトル解析装置6で抽出したスペクトル特徴量画像の画像データ及び画像解析装置7で抽出した画像解析による特徴量と、染色体データ記憶装置12に格納されている、正常又は異常な染色体であると判定された染色体のスペクトル特徴量画像の画像データ及び画像解析による特徴量とを照合することにより、染色体の異常/正常判定を行う。また、判定処理装置10は、その判定結果等を表示装置13に表示する。また、判定処理装置10は、染色体の正常又は異常の判定後、判定に用いたスペクトル特徴量画像の画像データ及び画像解析による特徴量を特徴情報とし、特徴情報と正常又は異常の判定結果とを対応付けてデータベース作成装置11を介して染色体データ記憶装置12に格納する。
染色体データ記憶装置12には、複数の染色体に関する、スペクトル特徴量画像の画像データ及び画像解析による特徴量を含む特徴情報と正常又は異常の判定結果とが対応付けられたデータベースが格納される。
図8は、第一実施形態における判定処理装置10の機能ブロック図の一例である。
図8に示す判定処理装置10は、モデル学習により染色体異常判定を行うものであり、異常判定処理部21と、異常判定パラメータ決定部22と、異常判定結果表示処理部23と、を備える。
異常判定パラメータ決定部22は、異常判定処理部21でのモデル学習に用いる異常判定パラメータを決定し、決定した異常判定パラメータを異常判定処理部21に通知する。この異常判定パラメータとする特徴量等の種類や数は、検査実施者が手動で決定してもよく、または、各種情報に基づき自動的に決定するようにしてもよい。
異常判定処理部21は、異常判定パラメータ決定部22により決定された異常判定パラメータに基づいてニューラルネットワーク、サポートベクターマシン等の機械学習で用いられる手法の一つ又は複数を用いて教師有り学習を行い、異常判定処理の分類器を構築する。
そして、異常判定処理部21では、判定対象の染色体から得られた、スペクトル特徴量画像の画像データと画像解析による特徴量とを入力し、これらについて、異常判定パラメータに基づき構築した異常判定処理のモデルを用いて異常判定を行う。また、異常判定処理部21は、被測定物のスペクトル特徴量画像の画像データ及び画像解析による特徴量を特徴情報とし、この特徴情報とこのときの異常判定結果とを対応付けて、データベース作成装置11を介して染色体データ記憶装置12に格納する。
異常判定結果表示処理部23は、異常判定処理部21での異常判定結果を表示装置13に表示する。
図9は、染色体異常判定装置1における、教師有り学習のモデル学習時の処理手順の一例を示すフローチャートである。
モデル学習時には、判定処理装置10の異常判定パラメータ決定部22は、染色体データ記憶装置12に格納されたデータベースを読み出し(ステップS1)、異常判定パラメータを設定する(ステップS2)。異常判定処理部21は、設定された異常判定パラメータに基づき、ニューラルネットワーク及びサポートベクターマシン等の教師有り学習を行って、異常判定処理のモデルを構築し(ステップS3 特許請求の範囲に記載の異常判定処理構築部に対応)、所定の記憶領域に格納する。
図10は、染色体異常判定装置1における、異常判定処理時の処理手順の一例を示すフローチャートである。
異常判定処理時には、まず、検査実施者は、染色体が見られる***中期の細胞が搭載されたスライドガラスを用意し、電動ステージ3上に載置する。これにより、電動ステージ3上のスライド上の判定対象の染色体が顕微鏡2で拡大され、イメージング分光器4によって分光されてスペクトルキューブデータとして、画像メモリ5に格納される(ステップS11 特許請求の範囲のデータ取得部に対応)。
続いて、画像メモリ5に格納されたスペクトルキューブデータに対して、スペクトル解析装置6でスペクトル解析を行い、スペクトル特徴量画像の抽出(ステップS12)を行う。また、得られたスペクトル特徴量画像に対して、画像解析装置7で画像解析を行い、所定の特徴量を抽出する(ステップS13)。スペクトル解析装置6でのスペクトル解析において、スペクトル特徴量画像として単波長画像を抽出する際の波長等、スペクトル特徴量画像を抽出する際に用いられるパラメータとしての波長や、画像解析装置7での画像解析において各種特徴量を抽出する際に用いる波長又は波長域等の各種パラメータは、予め設定され所定の記憶領域に記憶された波長を用いて画像抽出を行う。
そして、異常判定処理部21では、スペクトル解析装置6でのスペクトル解析により抽出したスペクトル特徴量画像の画像データと、画像解析装置7での画像解析による特徴量とに基づき、予めモデル学習を行うことにより構築した異常判定処理のモデルを用いて染色体の異常判定を行う(ステップS14)。
異常判定結果表示処理部23は、異常判定処理部21での異常判定結果を表示装置13に表示し(ステップS15)、さらにデータベース作成装置11により、異常判定に用いたスペクトル特徴量画像の画像データ及び画像解析による特徴量と異常判定結果とを対応付けて染色体データ記憶装置12のデータベースに格納する(ステップS16)。
これにより、染色体の異常判定処理が終了する。
ここで、スペクトルキューブデータから得られる染色体の画像は、図7に示すように波長によって異なり、図7(a)に示す波長550nmの場合、また図7(c)に示す波長805nmの場合には、バンドを識別することができないが、図7(b)に示す波長650nmの場合には、バンドを識別することができる。
つまり、染色体異常判定装置1では、予め設定した、コントラストの高い良好な単波長画像を得ることの可能な波長についてその単波長画像を形成するようにしている。そのため、得られた単波長画像すなわちスペクトル特徴量画像はコントラストが比較的高い画像となり、染色体及びバンドを容易に識別することができる。
例えば、デジタルカメラによる撮像画像における二値化処理等を用いた画像解析では、図7(a)に示すように得られた染色体の画像が全体的に黒くバンドを識別することができない場合、また、図7(c)に示すように得られた染色体の画像が全体的に薄く染色体自体を識別することができず、その結果、染色体異常を自動判定できないような場合がある。しかしながら、スペクトル解析により取得した単波長画像(スペクトル特徴量画像)を用いて解析を行う場合には、染色体異常の自動判定を行うことができる。つまり、より多くの染色体について染色体異常の自動判定を行うことができるため、使い勝手をより向上させることができる。
また、染色体異常判定装置1では、染色体のスペクトル特徴量画像と画像解析による特徴量とに対し、教師有り学習により得た異常判定処理のモデルを用いて異常判定を行っているため、従来、専門家の視覚的判断によって行われていた染色体異常判定を自動的に行うことができ、膨大な量の染色体の検体に対して異常判定を行う場合でも十分適用することができる。
次に、本発明の第二実施形態を説明する。
この第二実施形態は、図1に示す第一実施形態における染色体異常判定装置1において、画像解析装置7を省いたものであり、判定処理装置10の構成が異なる。また、第二実施形態における染色体異常判定装置1は、スペクトル解析装置6で抽出したスペクトル特徴量画像の画像データが直接判定処理装置10に入力される。
なお、第一実施形態と同一部については同一符号を付与し、その詳細な説明は省略する。
図11は、第二実施形態における判定処理装置10の一例を示す機能ブロック図である。
判定処理装置10は、異常判定処理部21aと、異常判定結果表示処理部23と、を備える。
第二実施形態における染色体データ記憶装置12には、染色体異常と判定されたときのスペクトルキューブデータから抽出されたスペクトル特徴量画像の画像データが特徴情報として異常サンプルデータベース12aに格納される。同様に、染色体が正常と判定されたときのスペクトルキューブデータから抽出されたスペクトル特徴量画像の画像データが特徴情報として正常サンプルデータベース12bに格納される。データベース作成装置11は、異常判定処理部21aでの判定結果に基づいて、特徴情報(つまりスペクトル特徴量画像の画像データ)を異常サンプルデータベース12a、又は正常サンプルデータベース12bに格納する。
異常判定処理部21aは、教師有り学習によるニューラルネットワークモデルを用いて、染色体の異常判定を行う。すなわち異常判定処理部21aは、異常判定時の特徴情報が格納された異常サンプルデータベース12aと、正常判定時の特徴情報が格納された正常サンプルデータベース12bとについて、個別に機械学習をさせることによりニューラルネットワークモデルを構築する。そして、新たな判定対象の染色体について、スペクトル特徴量画像の画像データを異常判定処理部21aに入力することで、判定対象の染色体のスペクトル特徴量画像の画像データと、染色体データ記憶装置12に格納された正常時又は異常時の特徴情報に基づき構築したニューラルネットワークモデルとを用いて異常判定を行う。
図12は、染色体異常判定装置1における、ニューラルネットワークモデル構築時の処理手順の一例を示すフローチャートである。
ニューラルネットワークモデル構築時には、判定処理装置10の異常判定処理部21aは、染色体データ記憶装置12に格納された異常サンプルデータベース12a及び正常サンプルデータベース12bを読み出し(ステップS21)、異常サンプルデータベース12a及び正常サンプルデータベース12bに格納された異常時及び正常時の特徴情報に対して、個別に機械学習を行い、ニューラルネットワークモデルを構築する(ステップS22)。そして、構築したニューラルネットワークモデルを所定の記憶領域に格納する。
図13は、染色体異常判定装置1における、異常判定処理時の処理手順の一例を示すフローチャートである。
異常判定処理時には、まず、検査実施者は、染色体が見られる***中期の細胞が搭載されたスライドガラスを用意し、電動ステージ3上に載置する。これにより、電動ステージ3上のスライド上の判定対象の染色体が顕微鏡2で拡大され、イメージング分光器4によって分光されてスペクトルキューブデータとして、画像メモリ5に格納される(ステップS31)。
続いて、画像メモリ5に格納されたスペクトルキューブデータに対して、スペクトル解析装置6でのスペクトル特徴量画像の抽出処理(ステップS32)が行われる。スペクトル解析装置6でのスペクトル解析においてスペクトル特徴量画像として単波長画像を抽出する際の任意の波長等、スペクトル特徴量画像の抽出に必要な各種パラメータは予め設定されて所定の記憶領域に記憶されており、この記憶されている波長を用いてスペクトル特徴量画像の抽出を行う。
異常判定処理部21aでは、スペクトル解析装置6で抽出したスペクトル特徴量画像の画像データに基づき、予め構築されたニューラルネットワークモデルを用いて染色体の異常判定を行う(ステップS33)。
異常判定結果表示処理部23は、異常判定処理部21aでの異常判定結果を表示装置13に表示し(ステップS34)、さらにデータベース作成装置11により、異常判定に用いた、スペクトル特徴量画像の画像データを異常判定による判定結果と対応付けて染色体データ記憶装置12のデータベースに格納する(ステップS35)。
これにより、染色体の異常判定処理が終了する。
このように、第二実施形態における染色体異常判定装置1は、スペクトルキューブデータから取得したスペクトル特徴量画像に対し、ニューラルネットワークモデルを用いて異常判定を行うため、二次元画像のみでは得ることのできない特徴情報を利用して異常判定を行うことができる。そのため、第二実施形態における染色体異常判定装置1も、より多くの染色体の画像に対して染色体異常を自動判定することができ、使い勝手を向上させた染色体異常判定装置1を実現することができる。
なお、第二実施形態では、異常サンプルデータベース12a及び正常サンプルデータベース12bに格納された異常時及び正常時の特徴情報に対して、個別に機械学習を行い、ニューラルネットワークモデルを構築する場合について説明したが、これに限るものではない。異常サンプルデータベース12aに格納された異常時の特徴情報、又は、正常サンプルデータベース12bに格納された正常時の特徴情報の一方に対して機械学習を行い、異常時の特徴情報に基づくニューラルネットワークモデル又は正常時の特徴情報に基づくニューラルネットワークモデルを構築し、これに基づき染色体異常を判定するようにしてもよい。
次に、本発明の第三実施形態を説明する。
この第三実施形態は、図1に示す第一実施形態における染色体異常判定装置1において、画像解析装置7を省いたものであり、判定処理装置10の構成が異なる。
図14は、第三実施形態における判定処理装置10の一例を示す機能ブロック図である。
第三実施形態における判定処理装置10には、スペクトル解析装置6でのスペクトル解析により抽出されたスペクトル特徴量画像の画像データを直接入力される。
第三実施形態における判定処理装置10は、異常判定処理部21cと、異常判定結果表示処理部23とを備える。
第三実施形態における染色体データ記憶装置12には、スペクトル特徴量画像と、正常又は異常の判定結果とが対応付けられて、データベース作成装置11を介して染色体データ記憶装置12に格納される。
異常判定処理部21cは、教師なし学習によるニューラルネットワークモデルを用いて、染色体の異常判定を行う。すなわち異常判定処理部21cは、スペクトル解析装置6で抽出したスペクトル特徴量画像の画像データを含むデータベースを用いて機械学習させることにより、ニューラルネットワークモデルを構築する。そして、異常判定処理部21cは、新たな判定対象の染色体について、スペクトル解析により抽出されたスペクトル特徴量画像の画像データが異常判定処理部21cに入力され、異常判定処理部21cでは、スペクトル特徴量画像の画像データに対し、構築したニューラルネットワークモデルを用いて異常判定を行う。
なお、第三実施形態における染色体異常判定装置1において、モデル構築時の処理手順は基本的には図12に示す第二実施形態におけるモデル構築時の処理手順と同様であるが、第三実施形態においては、ニューラルネットワークモデルを構築する際に(ステップS22)、染色体データ記憶装置12のデータベースに格納された異常時及び正常時のスペクトル特徴量画像の画像データを用いて機械学習を行い、ニューラルネットワークモデルを構築する。
また、第三実施形態における染色体異常判定装置1において、異常判定処理時における処理手順は基本的には図13に示す第二実施形態における異常判定処理時の処理手順と同様であるが、第三実施形態においては、スペクトル解析(ステップS32)を行う際に、それぞれ所定のスペクトル特徴量画像を抽出し、抽出した各スペクトル特徴量画像に対し、構築したニューラルネットワークモデルを用いて異常判定を行う。
このように、スペクトル解析により得たスペクトル特徴量画像の画像データに対しニューラルネットワークモデルを用いて異常判定を行うため、二次元画像のみでは得ることのできない特徴情報を利用して異常判定を行うことができる。そのため、この場合も、より多くの染色体の画像に対して染色体異常を自動判定することができ、染色体異常判定装置1の使い勝手を向上させることができる。
なお、上記各実施形態において、染色液の種類や染色方法等によって、得られるスペクトルキューブデータの特性が異なる可能性がある。そのため、スペクトル特徴量画像として任意の波長の単波長画像を抽出する場合には、例えば、染色液の種類や染色方法毎に、単波長画像として最適な波長を、染色液の種類や染色方法等と対応付けて波長情報として記憶しておく。そして、新たな判定対象の染色体を染色させたときの染色液の種類や染色方法等を検査実施者が入力設定することで、予め記憶している波長情報の中から入力設定された染色液の種類や染色方法等に対応する波長を検索し、この波長を用いて単波長画像等を作成するようにしてもよい。このようにすることによって、染色液の種類や染色方法等によりスペクトルキューブデータの特性等が変化した場合でも、スペクトル特徴量画像をもとに処理を行う画像解析装置7での画像解析や、判定処理装置10での異常判定に適した単波長画像を得ることができ、この単波長画像に基づき画像解析や異常判定を行うことにより、解析精度や判定精度を向上させることができる。
また、上記実施形態においては、染色体異常判定装置1に染色体データ記憶装置12を設け、染色体異常判定装置1において、染色体データ記憶装置12に格納されたデータベースを用いて判定処理装置10での判定処理内容を学習するようにしているが、これに限るものではない。例えば、染色体異常判定装置1とは別の装置において、ニューラルネットワークモデルを構築し、この構築したニューラルネットワークモデルを染色体異常判定装置1に搭載し、この搭載したニューラルネットワークモデルを用いて異常判定を行うようにしてもよい。
また、上記実施形態においては、モデル学習により異常判定処理のモデルを構築したり、ニューラルネットワークモデルを構築したりすることにより異常判定を行うようにした場合について説明したが、判定方法はどのような方法であってもよく、例えば、染色体データ記憶装置12に格納したデータベースに含まれる正常時又は異常時の特徴情報と、判定対象の染色体から抽出した特徴情報とを直接比較することで、異常判定を行うようにしてもよい。
また、上記実施形態においては、染色体の反射光又は透過光を、イメージング分光器4を用いて多数の波長に分光してスペクトルキューブデータを取得する場合について説明したがこれに限るものではない。染色体の反射光又は透過光から、所定の単波長、所定の二波長、所定の三波長等、特定の波長のみを抽出して画像データを取得するようにしてもよく、スペクトル特徴量画像の取得に必要な最小限数の波長のみを抽出して画像データを取得するようにしてもよい。この場合、例えばプリズム等、光学系を利用して分光すればよく、また、フィルタを用いて所定の波長のみを抽出するようにしてもよい。また、例えば、R、G、Bに対応する波長のみを抽出するようにしてもよい。この場合には、R、G、Bに対応する波長のみを抽出するフィルタを備えたイメージセンサを設けることで、RGBに対応する波長のみを抽出するようにしてもよい。
図16に、フィルタを用いてスペクトル特徴量画像の取得に必要な波長のみを抽出して画像データを取得するようにした染色体異常判定装置1aの概略構成の一例を示す。
すなわち、染色体異常判定装置1aは、図1に示す染色体異常判定装置1において、イメージング分光器4に代えて、モノクロカメラ14と、モノクロカメラ14に設けられた特定波長のみを透過する特性を有するフィルタ15とを備える。このような構成とすることによって、染色体の反射光又は透過光から特定波長のみを抽出した画像データを取得することができる。
なお、このように、任意の波長の画像データを取得して、ニューラルネットワークモデルを用いて染色体の異常判定を行う場合には、抽出した波長に対応したニューラルネットワークモデルを構築して異常判定を行うようにすればよい。
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。
1、1a 染色体異常判定装置
2 顕微鏡
4 イメージング分光器
5 画像メモリ
6 スペクトル解析装置
7 画像解析装置
10 判定処理装置
11 データベース作成装置
12 染色体データ記憶装置
13 表示装置
14 モノクロカメラ
15 フィルタ

Claims (8)

  1. 異常な染色体及び正常な染色体のうちの少なくとも一方から取得されたスペクトルキューブデータに含まれる前記染色体の特徴を表す特徴情報を用いて構築された異常判定処理を実行する異常判定処理部と、
    判定対象の染色体の前記スペクトルキューブデータを取得するデータ取得部と、
    を有し、
    前記スペクトルキューブデータは染色された染色体を透過又は反射した光の前記染色体上の各点における分光スペクトルであって、
    前記異常判定処理部は、
    前記データ取得部により取得された前記判定対象の染色体の前記スペクトルキューブデータに含まれる前記特徴情報を入力し、当該特徴情報を用いて前記判定対象の染色体に対する前記異常判定処理を実行することを特徴とする染色体異常判定装置。
  2. 前記異常判定処理部は、
    前記異常判定処理として、前記判定対象の染色体の前記スペクトルキューブデータに含まれる前記特徴情報と、異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報とを照合する処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。
  3. 前記異常判定処理部は、
    前記異常判定処理として、前記異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報と当該特徴情報を有する染色体が正常であるか否かを表す情報とに基づき決定される異常判定パラメータを用いてモデル学習を行うことにより構築された処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。
  4. 前記異常判定処理部は、
    前記異常判定処理として、異常な染色体の前記スペクトルキューブデータに含まれる前記特徴情報を複数含む特徴情報群と、正常な染色体の前記スペクトルキューブデータに含まれる前記特徴情報を複数含む特徴情報群とに対して個別に機械学習を行うことで構築されたニューラルネットワークモデルを用いた処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。
  5. 前記異常判定処理部は、
    異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報と当該特徴情報を有する染色体が正常であるか否かを表す情報とに対して機械学習を行うことで構築されたニューラルネットワークモデルを用いた処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。
  6. 前記スペクトルキューブデータのうちの、前記染色された染色体の濃淡と当該染色された染色体を透過又は反射した光量との特性に応じて予め選択された波長を含む波長域におけるデータを用いて前記特徴情報を抽出する特徴情報抽出部を備えることを特徴とする請求項1から請求項5のいずれか一項に記載の染色体異常判定装置。
  7. 異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報と当該特徴情報を有する染色体が異常であるか否かを表す情報とが格納されるデータベースと、
    前記異常判定処理部に入力された前記特徴情報と当該特徴情報に対する前記異常判定処理部での判定結果とを前記データベースに格納するデータベース作成部を備えることを特徴とする請求項1から請求項6のいずれか一項に記載の染色体異常判定装置。
  8. 前記データベースに格納された前記特徴情報及び前記判定結果に基づいて前記異常判定処理を構築する異常判定処理構築部を備えることを特徴とする請求項7に記載の染色体異常判定装置。
JP2018050623A 2017-03-29 2018-03-19 染色体異常判定装置 Active JP6669796B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017064975 2017-03-29
JP2017064975 2017-03-29

Publications (3)

Publication Number Publication Date
JP2018169390A true JP2018169390A (ja) 2018-11-01
JP2018169390A5 JP2018169390A5 (ja) 2019-04-11
JP6669796B2 JP6669796B2 (ja) 2020-03-18

Family

ID=64020100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018050623A Active JP6669796B2 (ja) 2017-03-29 2018-03-19 染色体異常判定装置

Country Status (1)

Country Link
JP (1) JP6669796B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020009402A (ja) * 2018-07-06 2020-01-16 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 自動染色体分類のための方法及びシステム
WO2020054080A1 (ja) * 2018-09-12 2020-03-19 Jfeテクノリサーチ株式会社 染色体異常判定装置、染色体異常判定システム、測定装置及び解析装置
JP2021531812A (ja) * 2019-02-21 2021-11-25 中國醫藥大學附設醫院China Medical University Hospital 染色体異常のテストモデル、そのテストシステム及び染色体異常のテスト方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03123860A (ja) * 1989-10-06 1991-05-27 Sumitomo Metal Ind Ltd 染色体検査装置
JPH11500832A (ja) * 1995-12-12 1999-01-19 スペクトラル ダイアグノスティック リミテッド 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法
US20110058177A1 (en) * 2008-02-27 2011-03-10 Rudolf Kessler Marker-free chromosome screening
JP2016507059A (ja) * 2013-02-06 2016-03-07 アレンティック マイクロサイエンス インコーポレイテッド サンプルを代表する光を検出すること及び利用すること
JP2016070698A (ja) * 2014-09-26 2016-05-09 富士フイルム株式会社 有核赤血球の選別方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03123860A (ja) * 1989-10-06 1991-05-27 Sumitomo Metal Ind Ltd 染色体検査装置
JPH11500832A (ja) * 1995-12-12 1999-01-19 スペクトラル ダイアグノスティック リミテッド 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法
US20110058177A1 (en) * 2008-02-27 2011-03-10 Rudolf Kessler Marker-free chromosome screening
JP2016507059A (ja) * 2013-02-06 2016-03-07 アレンティック マイクロサイエンス インコーポレイテッド サンプルを代表する光を検出すること及び利用すること
JP2016070698A (ja) * 2014-09-26 2016-05-09 富士フイルム株式会社 有核赤血球の選別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"19 染色体", 遺伝子, vol. 第8版, JPN7019003085, 19 January 2006 (2006-01-19), JP, pages 492 - 511, ISSN: 0004213223 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020009402A (ja) * 2018-07-06 2020-01-16 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 自動染色体分類のための方法及びシステム
WO2020054080A1 (ja) * 2018-09-12 2020-03-19 Jfeテクノリサーチ株式会社 染色体異常判定装置、染色体異常判定システム、測定装置及び解析装置
JP2020039312A (ja) * 2018-09-12 2020-03-19 Jfeテクノリサーチ株式会社 染色体異常判定システム、測定装置及び解析装置
JP2021531812A (ja) * 2019-02-21 2021-11-25 中國醫藥大學附設醫院China Medical University Hospital 染色体異常のテストモデル、そのテストシステム及び染色体異常のテスト方法

Also Published As

Publication number Publication date
JP6669796B2 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
US10395368B2 (en) Methods and systems for assessing histological stains
CN105021529B (zh) 融合光谱和图像信息的作物病虫害识别和区分方法
US9002077B2 (en) Visualization of stained samples
DE60316113T2 (de) Verfahren für quantitative video-mikroskopie und vorrichtung und computerprogramm zur durchführung des verfahrens
US8649580B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
Li et al. AOTF based molecular hyperspectral imaging system and its applications on nerve morphometry
JP5185151B2 (ja) 顕微鏡観察システム
CN108885681A (zh) 用于评估细胞形态的方法和***
CN106572736A (zh) 用于定制毛发染色的方法与装置
JP2006526783A (ja) 色分解および組織試料内の対象となる領域の検出
CN102177435A (zh) 组织病理学诊断支持***、组织病理学诊断支持程序以及组织病理学诊断支持方法
JP6669796B2 (ja) 染色体異常判定装置
JP6392476B1 (ja) 生体組織解析装置および生体組織解析プログラム
US20090110273A1 (en) Image Processing Device and Image Processing Program
CN108352062A (zh) 用于组织识别的方法和设备
JP5137481B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
EP2927684B1 (en) Image measuring device and image measuring method
Pohling et al. Multiplex coherent anti-Stokes Raman scattering microspectroscopy of brain tissue with higher ranking data classification for biomedical imaging
Jasinska et al. An alternative instrumental method for fabric pilling evaluation based on computer image analysis
PP et al. Automated quality assessment of cocoons using a smart camera based system
Septiana et al. Elastic and collagen fibers discriminant analysis using H&E stained hyperspectral images
RU2462195C2 (ru) Способ исследования и диагностики состояния биологического объекта или его части
Li et al. Methyl green and nitrotetrazolium blue chloride co-expression in colon tissue: A hyperspectral microscopic imaging analysis
JP2008304205A (ja) 分光特性推定装置および分光特性推定プログラム
JP6637132B1 (ja) 染色体異常判定システム、測定装置及び解析装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190830

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200227

R150 Certificate of patent or registration of utility model

Ref document number: 6669796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250