JP5702943B2 - 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 - Google Patents

Description

この発明は、病理診断をコンピュータシステム等によって支援するための技術に関するものである。

病理診断の１つに、患者から臓器の一部を検体として採取し、これを組織切片ガラススライド標本（プレパラート）にして顕微鏡下に観察し診断を行う生検組織診断がある。このような診断自体は医師が行わなければならないが、そのための作業量は膨大であり、医師の負担は重い。そこで、診断のための観察作業を効率よく行い医師の負担を軽減するために、コンピュータシステムによる画像処理技術を利用した種々の診断支援装置が従来より提案されている。例えば、特許文献１では、染色された検体を撮像した画像中から特定の条件を満たす領域を検索することで、癌化した細胞の位置を特定する病理診断支援装置が提案されている。また、特許文献２では、染色された検体を撮像した画像から色素量を推定し、画像中の各画素をその色素量に基づいてクラス分類して分類結果を表示する画像処理装置が提案されている。

特開２００９−１１５５９８号公報（例えば、段落００３３） 特開２００５−３３１３９４号公報（例えば、図７）

この種の装置を用いて診断を効率よく行うためには、ある特徴を有する細胞が検体内においてどのような分布をしているかが容易に判る機能が重要である。しかしながら、従来技術の病理診断支援装置では、このような要求に十分に応えるに至っていなかった。その主な理由は以下の通りである。すなわち、従来の技術においては、検体内で撮像された画像を個別に評価して既知の異常組織のサンプル画像と共通する特徴を有する画像を抽出することに主眼が置かれている。然るに、実際の検体においては細胞の形状等に個体差が大きいため、他の個体から採取したサンプル画像と検体の部分画像とを比較対照するだけでは必ずしも思わしい結果が得られない。このように、従来の診断支援技術においては、診断の効率化という点でさらなる改善の余地が残されていた。

この発明は上記課題に鑑みなされたものであり、医師による病理診断をコンピュータシステム等によって支援する技術分野において、病理診断（例えば、断端判定など）をより効率よく行うことができる技術を提供することを目的とする。

この発明にかかる病理診断支援装置の一の態様は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得手段と、撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理手段と、複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示する表示手段とを備え、前記処理手段は、基準画像の特徴量と前記グリッド画像の特徴量とに基づき、前記グリッド画像を前記複数の分類カテゴリに分類する分類器として、前記基準画像として予め用意された画像を用いる第１の分類器と、前記基準画像として前記複数のグリッド画像の中から選択されたグリッド画像を用いる第２の分類器とを有し、前記表示手段は、前記処理手段により互いに異なる分類ルールで求められた複数の分類結果を、互いに異なる色で色分けして同一画像に表示することを特徴としている。

このように構成された発明では、原画像を分割してなるグリッド画像がその特徴に応じて複数の分類カテゴリに分類される。ここでいう分類カテゴリは、例えば、「ある特徴を有するものとそうでないもの」などである。処理手段は、予め用意された画像を基準画像としてその特徴量とグリッド画像の特徴量とに基づきグリッド画像を複数の分類カテゴリに分類する第１の分類器と、複数のグリッド画像の中から選択されたグリッド画像を基準画像としてその特徴量とグリッド画像の特徴量とに基づきグリッド画像を複数の分類カテゴリに分類する第２の分類器とを有する。分類器を適用し各グリッド画像を基準画像に基づき分類することによって、種々の特徴を有するグリッド画像を容易に有限の分類カテゴリに分類することができる。特に、前記したように、検体組織を撮像した画像は個体差が大きいので、既知の画像のみを基準画像とする分類では良好な結果が得られないことがある。同一の検体組織を撮像した原画像内のグリッド画像を基準画像とする分類器と併用することにより、原画像に含まれる各グリッド画像の分類をより高精度に行うことができる。そして、その分類結果に基づく視覚情報が付されたグリッド画像が、原画像における配置に対応する配置で表示される。このため、装置のユーザはどの分類カテゴリに分類されたグリッド画像が検体内のどの位置に分布しているかを一目で確認することができ、これによりユーザは効率よく診断を行うことが可能となる。ここでいう「視覚情報」を伴う表示としては、例えば分類カテゴリを示す記号の添付、分類カテゴリごとの色分け、特定の分類カテゴリに分類されたグリッド画像の強調表示などが可能である。特に、互いに異なる分類ルールで求められた複数の分類結果を、互いに異なる色で色分けして同一画像に表示するようにすれば、複数の分類結果が個別に同一画像に反映され、結果の視認性をより向上させることができる。

上記態様において、表示手段は、原画像の全体もしくは一部領域を表示対象領域として、当該表示対象領域内の各グリッド画像を原画像内における配置と同じ配置で、かつ分類結果に基づく視覚情報を付して表示するようにしてもよい。このようにすると、顕微鏡で検体を観察しているのと同様の画像を表示し、分類結果を示す視覚情報も同時に表示することができるので、ユーザの利便性を大きく向上させることができ、診断をさらに効率化することができる。

この場合において、表示手段は、表示対象領域の大きさおよび原画像における位置の少なくとも一方を切り替え表示可能としてもよい。このようにすると、表示対象領域を拡大・縮小したり観察位置を変化させることができ、しかも各グリッド画像には分類結果に基づく視覚情報が付されているので、利便性がさらに向上する。

また、処理手段における分類ルールを決定するための指示入力をユーザから受け付ける入力手段を備え、処理手段は、入力手段への指示入力に応じた分類ルールでグリッド画像を分類するようにしてもよい。こうすることで、ユーザの要求に応じた種々の態様で分類および表示を行うことができ、装置の機能を拡充することができる。

また、例えば、複数のグリッド画像の中から基準画像をユーザに選択させるための選択手段を備え、処理手段は、選択されたグリッド画像を基準画像として他のグリッド画像を分類するようにしてもよい。このようにすると、原画像内から選択されたグリッド画像の特徴に基づいて他のグリッド画像が分類されるので、例えば検体組織内のある部分と類似する特徴を有する部分を抽出したり、ある部分と他の部分との類似の度合いを評価するといった使い方が可能となる。また、ユーザが基準画像を選択することができるので、既知のサンプル画像に示された特徴に限定されず、ユーザが調べたい任意の部分の特徴を評価することができる。

また、この発明にかかる病理診断支援方法は、上記目的を達成するため、検体組織を撮像した原画像を取得する画像取得工程と、撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させる表示工程とを備え、前記処理工程では、予め用意された画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第１の分類処理と、前記複数のグリッド画像の中から選択されたグリッド画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第２の分類処理とを実行し、前記表示工程では、前記処理工程で互いに異なる分類ルールで求められた複数の分類結果を、同一画像中で互いに異なる色で色分けして前記表示手段に表示させることを特徴としている。

このように構成された発明では、上記した病理診断支援装置の発明と同様に、当該方法を利用するユーザがどの分類カテゴリに分類されたグリッド画像が検体内のどの位置に分布しているかを一目で確認することができ、これにより効率よく診断を行うことが可能となる。

ここで、処理工程では、ユーザにより複数のグリッド画像の中から選択された基準画像の特徴量と、基準画像以外のグリッド画像の特徴量とに基づき、基準画像以外のグリッド画像を分類するようにしてもよい。上記した通り、検体組織においては細胞の形状等に個体差が大きいため、既存のサンプルとの比較では十分な成果が得られない場合がある。この発明では、検体組織を撮像した原画像から基準画像が選択されるので、このような個体差にも対応して、精度よく画像の分類が可能である。

また、処理工程では、グリッド画像のそれぞれについて互いに異なる分類ルールに基づく複数通りの分類を行い、表示工程では、複数通りの分類の結果を反映させた画像を表示手段に表示させるようにしてもよい。具体的には、１つの分類の結果として分類カテゴリに分類されたグリッド画像群と、他の分類の結果としてある分類カテゴリに分類されたグリッド画像群とを同一の画面に表示したり、それらの和集合や積集合などの集合演算結果を表示させることができる。このようにすると、種々の分類ルールでの分類結果に基づく総合的な診断が可能となり、より効率的で精度のよい診断をユーザに行わせることができる。

また、この発明にかかる制御プログラムは、上記目的を達成するため、検体組織を撮像した原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、複数のグリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させ、しかも、前記処理工程で互いに異なる分類ルールで求められた複数の分類結果を、同一画像中で互いに異なる色で色分けして前記表示手段に表示させる表示工程とを備え、かつ、前記処理工程は、予め用意された画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第１の分類処理と、前記複数のグリッド画像の中から選択されたグリッド画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第２の分類処理とを含む処理を、コンピュータに実行させることを特徴としている。さらに、この発明にかかる記録媒体は、コンピュータ読み取り可能な記録媒体であって、上記した病理診断支援のための制御プログラムを記録したことを特徴としている。これらの発明によれば、上記発明にかかる病理診断支援方法をコンピュータにより実行させることができ、ユーザによる診断を効率よく行わせることができる。

この発明にかかる病理診断支援技術によれば、ユーザ（診断医）による病理診断（例えば、断端判定など）を効率よく行わせることが可能である。

この発明にかかる病理診断支援装置の一実施形態を示す図である。 この病理診断支援装置の構成を示すブロック図である。 この装置における診断支援処理を示すフローチャートである。 対象画像の例を示す図である。 分類器のモデル例を示す図である。 基準画像の選択処理を示すフローチャートである。 基準画像の選択処理における画面表示の例を示す図である。 この実施形態における表示処理を示すフローチャートである。 画面に表示される画像の例を示す図である。 集合演算処理を示すフローチャートである。 集合演算処理の概念を示す図である。

図１はこの発明にかかる病理診断支援装置の一実施形態を示す図である。この診断支援装置１は、ホストコンピュータ１０と撮像部２０とを備えている。ホストコンピュータ１０は、例えば公知のパーソナルコンピュータやワークステーション端末と同等の構成および機能を有するものであり、各種の制御プログラムを実行するプロセッサ部１００と、ユーザからの操作入力を受け付ける入力部１５０と、各種の情報を表示する表示部１６０と、制御プログラムや画像データなどの各種データを記録した外部記録媒体である光学ディスクＯＤにアクセスしてデータを読み出すディスクドライブ１７０と、インターフェース１８０とを備えている。このホストコンピュータ１０は、インターフェース１８０を介して構内ＬＡＮやインターネットなどの電気通信回線３０に接続可能となっている。

表示部１６０としては例えば液晶ディスプレイを用いることができる。また、入力部１５０としては、例えばマウスのようなポインティングデバイスやキーボードのほか、表示部１６０と一体となったタッチパネルを用いてもよい。また、制御プログラムや画像データを記録した記録媒体としては、光学ディスクに限定されず、ハードディスクやメモリーカード、ＵＳＢメモリなど任意のものを用いることができる。

撮像部２０は、ＣＣＤカメラ２０１を取り付けられた顕微鏡２０２を有している。顕微鏡２０２は、患者から採取された検体組織から作成されたプレパラートの拡大光学像をＣＣＤカメラ２０１の受光部に結像し、ＣＣＤカメラ２０１はこれを撮像しデジタルデータ化していわゆるバーチャルスライドを作成する。検体組織は観察目的に応じて適宜の染色法によって染色される（例えばヘマトキシリン・エオジン（ＨＥ）染色）。

ホストコンピュータ１０は、光学ディスクＯＤから読み込まれた制御プログラムにしたがって、撮像部２０によって撮像されデジタルデータ化された検体組織の画像に各種の画像処理を施して表示部１６０に表示させることで、ユーザ（診断医）による病理診断を支援する。

図２はこの病理診断支援装置の構成を示すブロック図である。より詳しくは、ホストコンピュータ１０が光学ディスクＯＤから読み込んだ制御プログラムを実行することにより、図２の一点鎖線で囲んだ各機能ブロックがプロセッサ部１００内でソフトウェアにより実現される。これらの機能ブロックにより実現される診断支援処理の内容については後に詳述するが、ここでは個々の機能ブロックの概要について簡単に説明しておく。

この装置１において処理対象となる画像（対象画像）は、例えば、検体組織を撮像しデータ化してなるバーチャルスライドの全体またはそれを複数に分割した画像である。また、同一または複数の患者から採取した複数の検体組織のそれぞれを個別に撮像した複数の画像を対象画像としてもよい。１つのバーチャルスライドを複数に分割して複数の対象画像とする場合には、後の処理でバーチャルスライドを復元できるように、元のバーチャルスライドにおける各対象画像の位置を特定できる情報（例えば、座標情報）を各対象画像データに付しておくことが望ましい。

グリッド画像生成部１０１は、撮像部２０から入力された対象画像を予め定められた、あるいはユーザにより指定された任意の大きさのグリッドで複数のグリッド画像に分割する。この際、各グリッド画像が元の対象画像においてどの位置にあったかを示す情報（例えば、座標情報）を、グリッド画像データに付与しておく。入力受付部１０２は入力部１５０を介したユーザからの操作入力を受け付けるインターフェースとして機能し、後述するように、ユーザからの基準画像や処理パラメータなどの操作入力を受け付ける。

第１画像特徴量計算部１０４および第２画像特徴量計算部１０５はそれぞれ、作成された各グリッド画像の特徴量を計算する機能を有している。画像の特徴量としては、例えば画像の輝度、テクスチャ情報、所定の条件を満たす領域の大きさなど種々のものを用いることができる。特徴量としてどのような物理量を採用するかについては、第１画像特徴量計算部１０４に対しては予め定められたサンプル画像基準分類器用パラメータ１０３によって、また第２画像特徴量計算部１０５に対しては予め定められた、またはユーザからの操作入力に応じて決定される対象画像基準分類器用パラメータ１０６によって定められる。

第１画像特徴量計算部１０４で計算されたグリッド画像の特徴量はサンプル画像基準分類器１０７に入力される。サンプル画像基準分類器１０７は、予めサンプル画像記憶部１１２に保存されているサンプル画像、例えば癌化した細胞に特有の特徴が現れている画像を基準画像として用いて、撮像された対象画像から抜き出されたグリッド画像を分類する。分類は公知の分類技術、例えば特徴量空間内におけるユークリッド距離を用いて行われ、分類に使用される特徴量や分類アルゴリズム等はサンプル画像基準分類器用パラメータ１０３によって決定される。同様に、第２画像特徴量計算部１０５で計算されたグリッド画像の特徴量は対象画像基準分類器１０８に入力される。対象画像基準分類器１０８は、撮像された対象画像の中からユーザにより選ばれたグリッド画像を基準画像として用いて、他のグリッド画像の分類を行う。分類に使用される特徴量は、ユーザからの操作入力により指定された対象画像基準分類器用パラメータ１０６によって決定される。

こうしてサンプル画像基準分類器１０７および対象画像基準分類器１０８により処理された分類結果は分類結果集積部１０９に集積される。そして、それらの分類結果が必要に応じて集合演算部１１０によって集合演算され、その結果が表示処理部１１１によって処理されて表示用データが作成され、表示部１６０に送られて目的の画像が表示部１６０に表示される。

図３はこの装置における診断支援処理を示すフローチャートである。また、図４は対象画像の例を示す図である。診断支援処理においては、まず最初に診断の対象となる対象画像を取得する（ステップＳ１０１）。対象画像は、図４（ａ）に示すように、主として検体組織Ｓの全体を撮像したバーチャルスライド画像Ｉvであるが、同図に破線で示すように、画像のサイズが大きい場合にはバーチャルスライド画像Ｉvを複数の部分画像に分割して各部分画像をそれぞれ対象画像としてもよい。また、バーチャルスライド画像Ｉvについては撮像部２０から受け取ることができるほか、他の撮像装置やストレージから電気通信回線３０等を介して受け取ってもよい。

こうして取得した対象画像（ここではバーチャルスライド画像Ｉvの部分画像Ｉp）を、図４（ｂ）に示すように、任意の大きさのグリッドによって複数のグリッド画像Ｉgに分割する（ステップＳ１０２）。そして、こうして作成された各グリッド画像Ｉgの特徴量を計算する（ステップＳ１０３）。続いて、求められた特徴量に基づき各グリッド画像Ｉgの分類を分類器によって行う。

図５は分類器のモデル例を示す図である。本実施形態における分類器１０７，１０８では、図５（ａ）に示す分類器５のように、ある基準画像と入力画像とが入力され、これらが互いに類似しているか、非類似であるかを判定し出力する。より具体的には、分類器５は基準画像および入力画像それぞれの特徴量から特徴量空間における両者のユークリッド距離を求め、その距離が所定の閾値より小さければ両者は類似していると判定する一方、距離が閾値よりも大きければ非類似と判定する。

このような分類器５に、対象画像内の各グリッド画像を入れ替えて順次入力することで、各グリッド画像を基準画像に類似するものとそうでないものとに分類することができる。分類結果は基準画像の選び方や使用する特徴量などの分類ルールを変えればその都度変化する。したがって、この実施形態における分類器５は図５（ｂ）のように表すことができる。すなわち、分類器５にはＮ個のグリッド画像＃１，＃２，…，＃Ｎが入力画像として入力され、これに分類ルールが与えられることでグリッド画像が分類される。例えばある分類ルールでは分類結果Ａが、また他の分類ルールでは分類結果Ｂ、Ｃ、Ｄがそれぞれ得られる。なお、このような分類器のアルゴリズムとしてはニューラルネットワークや判別分析など各種のモデルが提案されており、本実施形態でも上記に限定されずそのような公知の分類器（例えば特開２００３−３１７０８２号公報に記載のもの）を適宜選択して使用することが可能である。

図２に示したように、この実施形態では、分類器としてサンプル画像基準分類器１０７と対象画像基準分類器１０８とを備えている。サンプル画像基準分類器１０７は、予め収集された画像を基準画像、つまり分類器５の一方の入力画像として各グリッド画像を分類する。したがって、サンプル画像基準分類器１０７では、対象画像を構成する各グリッド画像が既知のサンプル画像と類似する特徴を有しているかどうかが判定される。一方、対象画像基準分類器１０８は、対象画像内から選択された一のグリッド画像を基準画像として他のグリッド画像を分類する。すなわち、基準画像として選択されたグリッド画像と類似する部分が対象画像内にあるか否かが判定される。

図３に戻って診断支援処理の説明を続ける。ステップＳ１０３において各グリッド画像の特徴量が計算されると、続いて上記した分類器によりグリッド画像の分類を行うが、それに先立って２つの分類器（サンプル画像基準分類器１０７、対象画像基準分類器１０８）のいずれを使用して分類を行うかを決定する（ステップＳ１０４）。この決定はユーザの指示に基づいて行ってもよく、またサンプル画像基準分類器１０７による分類については既定のパラメータを用いて行うことも可能であることから、ユーザの指示に関わりなく行うようにしてもよい。

最初にサンプル画像基準分類器１０７による分類を行うケースについて説明する。このとき、サンプル画像基準分類器１０７の分類ルールを表すパラメータを、当該分類器用パラメータ１０３として予め定められたものに設定する（ステップＳ１０５）。このパラメータについてはユーザにより変更可能としてもよい。こうして設定されたパラメータに基づいて、サンプル画像基準分類器１０７による分類作業を行い（ステップＳ１０６）、分類結果については分類結果集積部１０９に記録しておく（ステップＳ１０７）。また、分類結果については必要に応じて表示部１６０に表示する（ステップＳ１０８）。

一方、対象画像基準分類器１０８による分類を行う場合には、まずユーザにより基準画像を選択させる（ステップＳ１１０）。

図６は基準画像の選択処理を示すフローチャートである。また、図７は基準画像の選択処理における画面表示の例を示す図である。この処理では、対象画像が複数ある場合、それらの対象画像を表示部１６０の画面１６１にサムネイル表示させる（ステップＳ３０１）。図７（ａ）の例では、４つの対象画像（対象画像Ａ、Ｂ、ＣおよびＤ）が表示されている。そして、マウスポインタを表示させてユーザにいずれかのサムネイル画像をマウスにより選択入力させ、該選択入力を受け付ける（ステップＳ３０２）。

ここでは対象画像Ｂが選択されたものとする。こうしてユーザにより選択されたサムネイル画像に対応する対象画像を、図７（ｂ）に示すように表示部１６０の画面１６１に拡大表示させる（ステップＳ３０３）。また、グリッド画像の境界を明示するために、グリッド線Ｇを対象画像に重ねて表示する（ステップＳ３０４）。そして、再びマウスポインタを表示させて、表示されたグリッド画像の中からユーザに対象画像を選択させ、該選択入力を受け付ける（ステップＳ３０５、図７（ｂ））。

ユーザからの選択入力があれば、選択されたグリッド画像を枠で囲んだり輝度または色を変えるなどの強調表示を行って選択箇所を明示し（ステップＳ３０６、図７（ｃ））、さらなる選択を受け付ける。すなわち、現在表示されている対象画像から新たな基準画像を指定するか、サムネイル表示されている他の対象画像から基準画像を指定するかをユーザに選択させ、現在の対象画像内での指定が選択された場合にはステップＳ３０５に戻って新たな選択入力を受け付ける一方（ステップＳ３０７）、他の対象画像からの指定が選択された場合にはステップＳ３０２のサムネイル画像選択まで戻る（ステップＳ３０８）。新たな選択が必要なければ処理を終了する。

図３に戻って、こうしてステップＳ１１０においてユーザにより基準画像が選択されると、当該基準画像について、対象画像基準分類器用パラメータ１０６により指定される特徴量を計算する（ステップＳ１１１）。そして、当該基準画像と、対象画像基準分類器用パラメータ１０６とにより決まる分類ルールに基づいて（ステップＳ１１２）、対象画像基準分類器１０８が各グリッド画像の分類を行う（ステップＳ１１３）。以後の動作（ステップＳ１０７以降）はサンプル画像基準分類器１０７による分類作業と同様であり、こうして得られた対象画像基準分類器１０８による分類結果も分類結果集積部１０９に記録される。

このように、対象画像基準分類器１０８は、対象画像内から選択されたグリッド画像を基準画像として、対象画像内の他のグリッド画像の分類を行う。前記したように、生体組織には個体差があるから、他の個体から得たサンプルとの類否よりも同一組織内での類否が重要となる場合がある。対象画像基準分類器１０８は対象画像内のグリッド画像を基準画像として分類を行うので、このような目的の達成に極めて有効である。また、ユーザは基準画像を選択するだけで当該基準画像と類似する部分の分布を直ちに知ることができるので、診断を効率よく的確に行うことができる。

分類器による分類作業の終了後、ユーザが新たな分類ルールに基づくさらなる分類を希望する場合、あるいは所定の機能を実現するためにさらなる分類が必要である場合には、ステップＳ１０４に戻って上記処理を繰り返して実行する（ステップＳ１０９）。そして、次にこうして得られた分類結果を種々の態様で表示させるための処理を実行する。

この実施形態では、上記のように分類ルールを変えて行った複数通りの分類結果を分類結果集積部１０９に集積記録しており、これらの分類結果を単独で、あるいは適宜組み合わせて表示部１６０に表示させることで、ユーザによる診断の効率化を図っている。複数の分類結果を組み合わせて表示するために表示処理（ステップＳ１１５）に先立って行われる処理が、分類結果の集合演算（ステップＳ１１４）であるが、ここでは、理解を容易にするために、まず分類結果を単独で表示する場合の表示処理（ステップＳ１１５）について説明する。

図８はこの実施形態における表示処理を示すフローチャートである。また、図９は画面に表示される画像の例を示す図である。表示処理部１１１では、分類結果に基づいて各グリッド画像の色分けを行う（ステップＳ５０１）。この色分けは、例えば、ある基準画像に類似していると判定されたグリッド画像は赤く、それ以外のグリッド画像は原画像どおりの色とする、というように行うことができる。これにより、各グリッド画像には分類結果を反映させた視覚情報が付される。なお、視覚情報としてはこのような色分けに限定されず、前記したように、例えばグリッド画像ごとの明暗や画像に付す枠など種々のものを用いることが可能である。

次に、各グリッド画像に付されている、元の対象画像内における座標情報に基づいて各グリッド画像を配置することで、当該対象画像をバーチャルスライド画像Ｉvの部分画像Ｉpとして再構成する（ステップＳ５０２）。この実施形態では、バーチャルスライド画像の全体を表示させるかその一部分を表示させるかをユーザに選択させる。この選択内容を判断して（ステップＳ５０３）、全体表示が選択されていなければ、上記のようにして得られた部分画像Ｉpを表示部１６０の画面１６１に表示させる（ステップＳ５０６）。
図９（ａ）に示すように、こうして再構成され表示された部分画像Ｉpは、撮像部２０によって撮像されたバーチャルスライド画像の一部が分類器による分類結果に応じて色分けされてマッピングされたものである。したがって、ユーザは先に指定した分類ルールに対応する細胞や組織が対象画像内でどのように分布しているかを一目で把握することができる。

図９（ｂ）に示すように、バーチャルスライド画像Ｉvは複数の部分画像Ｉpから構成されている。そこで、全体表示が選択されている場合には、バーチャルスライド画像Ｉvを構成する各部分画像をそのバーチャルスライド画像Ｉv内の位置を示す座標情報に基づいて配置することで、バーチャルスライド画像Ｉvを再構成する（ステップＳ５０４）。そして、再構成されたバーチャルスライド画像Ｉvの全体が画面１６１に収まるように縮小画像データを作成して（ステップＳ５０５）、該画像データに対応する画像を表示する（ステップＳ５０６）。こうすることで、図９（ｃ）に示すように、表示部１６０の画面１６１にはバーチャルスライド画像Ｉvの全体が表示される。

このとき、バーチャルスライド画像Ｉvを構成する各グリッド画像には色分け等によって分類結果が反映されているため、ユーザは先に指定した分類ルールに対応する細胞や組織が、バーチャルスライド内でどのように分布しているかを一目で把握することができる。また、必要に応じて全体画像と部分画像とを切り替えることで、画像の拡大・縮小を行うことができる。また、拡大表示される部分画像を切り替えることで、バーチャルスライド内の位置を変えて観察を行うことができる。

次に、分類結果の集合演算について説明する。上記のように分類結果を反映させた画面表示を行うことによって、ある特徴を有する細胞が検体組織内にどのように分布しているかをユーザが把握することができるが、より精度の高い診断を行うために、複数の条件での分類結果を同時に表示させたい場合もある。例えば、既知のサンプル画像との比較の結果明らかにサンプル画像と共通する特徴を有していると見られる部分と、サンプル画像との直接の類似度は低いがサンプル画像に類似すると判定されたグリッド画像との間に類似性が見られる部分とを一度に見たい、というような場合である。

「発明が解決しようとする課題」の項で述べたように、生体から採取した検体組織においては個体差が大きいため、既存のサンプル画像との画一的な比較だけでは精度の高い診断が難しい。この装置１では、種々の分類結果を合わせて１つの画面に表示させることでより精度の高い診断を支援することが図られている。そのための処理の１つが、以下に説明する集合演算処理である。

図１０は集合演算処理を示すフローチャートである。また、図１１は集合演算処理の概念を示す図である。より詳しくは、図１１（ａ）は集合演算処理の実行中の画面表示の例を示し、図１１（ｂ）は集合演算処理によって得られる画像の例を示す図である。集合演算処理では、図１１（ａ）に示すように、設定用画面として、画面１６１に「演算」、「演算子入力」、「分類結果入力」の各表示項目と、「演算実行」ボタンとが表示される（ステップＳ７０１）。最初に、「分類結果入力」のプルダウンメニューから、先に実行された複数通りの分類結果のうち、どの分類結果を表示に反映させるかをユーザに選択させる（ステップＳ７０２）。選択された分類結果は「演算」欄に入力される（ステップＳ７０３）。また、「演算子入力」欄から演算子が選択されると（ステップＳ７０６）、選択された演算子が「演算」欄に追加入力される（ステップＳ７０７）。演算子は任意の論理演算子を用いることができる。これを適宜繰り返すことにより、演算式が作成される。この間、「演算実行」ボタンが押されると（ステップＳ７０４）、作成された演算式に基づいて集合演算部１１０が分類結果間の集合演算を行う（ステップＳ７０５）。

この集合演算とは、例えばある分類ルールで得られた第１の分類結果と他の分類ルールで得られた第２の分類結果との和集合を取ることで２つの分類ルールの少なくとも一方に該当する部分を抽出する、といった演算である。この場合、例えば図１１（ｂ）に示すように、第１の分類結果に該当するグリッド画像と、第２の分類結果に該当するグリッド画像とがそれぞれ他のグリッド画像と異なる色分けを施されて互いに重ね合わせられた画像が演算結果として得られる。分類結果ごとに異なる色分けをすれば、複数の分類結果を個別に反映させることができ、結果の視認性がより向上する。集合演算の結果は表示処理部１１１に送られ、表示処理によって表示部１６０の画面１６１に表示される。

このようなグリッド画像単位の集合演算をバーチャルスライド画像Ｉvの全体について行い表示をすることで、この実施形態では、複数の分類結果を同じ画面に表示させることができる。また、必要に応じてバーチャルスライド全体や部分を拡大・縮小して表示させることができる。このため、ユーザは、検体組織の中で各種の特徴を有する部分がどのように分布しているのかを一目で把握することができる。

以上のように、この実施形態では、検体組織を撮像してなるバーチャルスライド画像を複数のグリッド画像に分割し、各グリッド画像の有する特徴量に基づいて分類器による分類を行う。そして、分類結果を反映する視覚情報を各グリッド画像に付して検体組織の画像を再構成し表示する。また、分類器による分類としては、既存のサンプル画像を基準画像とするものと、対象画像内から選択したグリッド画像を基準画像とするものとを併用している。また、複数の分類結果を集合演算して表示する機能を有している。これらの機能により、少ない作業量で的確な診断を効率よく行うことが可能となり、診断医の負担が大きく軽減される。

以上説明したように、この実施形態においては、撮像部２０が本発明の「画像取得手段」として機能する一方、ホストコンピュータ１０、特にプロセッサ部１００が本発明の「処理手段」として機能している。また、この実施形態においては、表示部１６０が本発明の「表示手段」として機能しており、入力部１５０が本発明の「入力手段」および「選択手段」として機能している。また、この実施形態においては、サンプル画像基準分類器１０７および対象画像基準分類器１０８がそれぞれ本発明の「第１の分類器」および「第２の分類器」として機能している。また、この実施形態では、バーチャルスライド画像Ｉvが本発明の「原画像」に相当している。

また、上記実施形態の病理診断支援処理（図３）では、ステップＳ１０１が本発明の「画像取得工程」に相当しており、ステップＳ１０２〜Ｓ１１４が本発明の「処理工程」に相当している。さらに、ステップＳ１１５が本発明の「表示工程」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、ＣＣＤカメラ２０１および顕微鏡２０２を有する撮像部２０を「画像取得手段」として備えているが、撮像部は必須ではない。前記したように電気通信回線３０からインターフェース１８０を介して、あるいは外部記録媒体から適宜のインターフェースを介して原画像を受け取ることも可能であり、その場合にはこれらのインターフェースが「画像取得手段」として機能することになる。また、この意味において、本発明の制御プログラムにおいては「画像を取得するための工程」は必須ではない。

また、上記実施形態では、既存のサンプル画像を基準画像とするサンプル画像基準分類器１０７と、対象画像内から選択されたグリッド画像を基準画像とする対象画像基準分類器１０８とを設けているが、常にこれらの両方が必要というわけではなく、いずれか一方のみでも利便性に優れた病理診断支援装置を構成することが可能である。

また、上記実施形態では対象画像内からユーザが任意のグリッド画像を基準画像として選択可能となっているが、さらに、既存のサンプル画像についても、複数の画像からユーザが基準画像を選択することができるようにしてもよい。また、上記実施形態ではユーザにより選択されたグリッド画像を基準画像として対象画像基準分類器１０８が分類作業を行うが、例えばサンプル画像に基づく分類によってサンプル画像に類似すると判定されたグリッド画像を自動的に対象画像内の基準画像として対象画像基準分類器１０８を動作させることで、サンプル画像に基づく分類と対象画像内のグリッド画像に基づく分類とを一連の処理として自動的に行うようにしてもよい。

また、この実施形態では、光学ディスクＯＤに記録された制御プログラムをホストコンピュータ１０が実行することで各機能ブロックによる処理が実現されているが、制御プログラムを記録する記録媒体は光学ディスクに限定されるものではなく、前記したとおり他の任意の記録媒体を用いることができる。また、この制御プログラムは電気通信回線３０を通じて頒布されるものであってもよい。

また、上記実施形態の病理診断支援装置１は汎用のホストコンピュータ１０と撮像部２０とを組み合わせて構成されているが、撮像部と専用端末とを組み合わせて病理診断支援装置を構成するようにしてもよい。また、既存のバーチャルスライド作成装置に本発明にかかる制御プログラムを組み込むことで、バーチャルスライド作成装置を病理診断支援装置として機能させるようにしてもよい。

また、例えば、分類の結果や集合演算の結果については表示部１６０に表示させるのに代えて、あるいはそれに加えて、電気通信回線３０を通じて外部に配信したり、外部記録媒体に記録することができるようにしてもよい。

この発明は、医師による各種の病理診断をコンピュータシステム等によって支援する技術分野に好適に適用することができる。

２０ 撮像部（画像取得手段）
１００ プロセッサ部（処理手段）
１０７ サンプル画像基準分類器（第１の分類器）
１０８ 対象画像基準分類器（第２の分類器）
１５０ 入力部（入力手段、選択手段）
１６０ 表示部（表示手段）
Ｉg グリッド画像
Ｉp 部分画像（対象画像）
Ｉv バーチャルスライド画像（原画像）

Claims (9)

1. 検体組織を撮像した原画像を取得する画像取得手段と、
   撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理手段と、
   複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示する表示手段と
   を備え、
   前記処理手段は、基準画像の特徴量と前記グリッド画像の特徴量とに基づき、前記グリッド画像を前記複数の分類カテゴリに分類する分類器として、前記基準画像として予め用意された画像を用いる第１の分類器と、前記基準画像として前記複数のグリッド画像の中から選択されたグリッド画像を用いる第２の分類器とを有し、
   前記表示手段は、前記処理手段により互いに異なる分類ルールで求められた複数の分類結果を、互いに異なる色で色分けして同一画像に表示する
   ことを特徴とする病理診断支援装置。
2. 前記表示手段は、前記原画像の全体もしくは一部領域を表示対象領域として、当該表示対象領域内の各グリッド画像を原画像内における配置と同じ配置で、かつ前記視覚情報を付して表示する請求項１に記載の病理診断支援装置。
3. 前記表示手段は、前記表示対象領域の大きさおよび前記原画像における位置の少なくとも一方を切り替え表示可能な請求項２に記載の病理診断支援装置。
4. 前記処理手段における分類ルールを決定するための指示入力をユーザから受け付ける入力手段を備え、前記処理手段は、前記入力手段への指示入力に応じた分類ルールで前記グリッド画像を分類する請求項１ないし３のいずれかに記載の病理診断支援装置。
5. 前記複数のグリッド画像の中から前記基準画像をユーザに選択させるための選択手段を備え、前記処理手段は、選択されたグリッド画像を前記基準画像として他の前記グリッド画像を分類する請求項１に記載の病理診断支援装置。
6. 検体組織を撮像した原画像を取得する画像取得工程と、
   撮像した前記原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、
   複数の前記グリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させる表示工程と
   を備え、
   前記処理工程では、予め用意された画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第１の分類処理と、前記複数のグリッド画像の中から選択されたグリッド画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第２の分類処理とを実行し、
   前記表示工程では、前記処理工程で互いに異なる分類ルールで求められた複数の分類結果を、同一画像中で互いに異なる色で色分けして前記表示手段に表示させることを特徴とする病理診断支援方法。
7. 前記処理工程では、ユーザにより前記複数のグリッド画像の中から選択された基準画像の特徴量と、前記基準画像以外の前記グリッド画像の特徴量とに基づき、前記基準画像以外の前記グリッド画像を分類する請求項６に記載の病理診断支援方法。
8. 検体組織を撮像した原画像を複数のグリッド画像に分割し、該グリッド画像を各グリッド画像ごとの特徴量に基づいて複数の分類カテゴリに分類する処理工程と、
   複数のグリッド画像を、前記原画像における配置に基づく配置で、かつ前記分類カテゴリごとに異なる態様の視覚情報を付して表示手段に表示させ、しかも、前記処理工程で互いに異なる分類ルールで求められた複数の分類結果を、同一画像中で互いに異なる色で色分けして前記表示手段に表示させる表示工程と
   を備え、かつ、前記処理工程は、予め用意された画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第１の分類処理と、前記複数のグリッド画像の中から選択されたグリッド画像を基準画像として前記基準画像の特徴量と前記グリッド画像の特徴量とに基づき前記グリッド画像を前記複数の分類カテゴリに分類する第２の分類処理とを含む
   処理、をコンピュータに実行させることを特徴とする、病理診断支援のための制御プログラム。
9. 請求項８に記載の制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。