JP7431592B2 - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

Description

この発明は、病理標本を撮像した原画像に対し画像処理を行う画像処理技術に関し、特に、画像解析により抽出された病理所見を表示画像に反映させて提示することで、病理医による診断を支援する技術に関するものである。

病理診断の現場においては、熟練した医師（病理医）が患者から採取された病理標本を観察し、その状態を総合的に判断することで診断が行われてきた。このような作業が病理医にとって大きな負担となり、また診断結果にばらつきが生じ得ることから、この作業を機械化、自動化するための技術の開発が進められている。すなわち、病理標本を撮像した画像から、特定の形態的特徴を有する部位を画像解析によって抽出し、その解析結果を定量的あるいは統計的に評価した結果を提示することで、医師の診断作業を部分的に代替するような技術が多数提案されている（例えば、特許文献１、２参照）。

特に近年では、人工知能に関する研究やその応用が実用レベルにまで進んでおり、従来は人間が経験に基づいて行わなければならなかった、必ずしも定量化に適さない情報に基づく総合的な判断についても自動的に行うことができるようになってきている。

国際公開第２０１３／０２７３９９号 国際公開第２０１３／０２４６００号

しかしながら、現時点では、診断のために病理医が行う作業の全てを自動化するには至っておらず、依然として病理医の経験に基づく判断が必要とされている。また法的にも、最終的な診断行為は医師のみが行うべきものとされている。

病理標本の画像からは、定量化に適さないものも含めて多くの情報を得ることができるが、どの情報に重きを置くか、またそれに対する評価基準については、最終的には医師の知識と経験に委ねられているのが現状である。そのため、上記従来技術のような一部の指標に関する定量的情報の提示は、必ずしも汎用性が高いとは言えない。

そうすると、判断に関わる指標として定量化された情報や、これと予め定められた判断基準とに基づき自動的に判断した結果だけを提示するよりも、画像から得られる多くの情報に予断を加えずそのまま、かつユーザー（医師）の求めに応じて種々の形態で多面的に提示することの方が、現時点ではむしろ有用であると言えるケースもある。つまり、これまではユーザーが標本画像を仔細に観察することで病理所見を得、その結果に基づいて診断を行っていた一連の作業のうち、病理所見を抽出して提示するという側面から作業を支援することができれば、診断に係る医師の負担を大幅に軽減し、また安定的な診断を可能にすることができる。

病理標本はＨＥ（ヘマトキシリン・エオジン）染色されたものが一般的である。この染色方法は標本中の細胞質および細胞核を染め分けることができるが、特定の細胞種や疾患等を選択的に染色するものではない。この普遍性ゆえに染色された標本の画像からは様々な情報を引き出すことが可能であるが、その一方で、特定の疾患に関わる情報を効果的に抽出するには深い知識を必要とする。この作業を機械的に代替することで、ユーザーは抽出された情報に基づく診断に注力することができ、効率的で安定した診断結果が得られるようになると期待される。

このような観点から診断作業を多面的に支援するような画像処理システムは、これまで提案されていない。すなわち、従来の技術の多くは、特定の細胞や疾患に固有の特徴に着目しこれを利用したものであり、その適用範囲は限定的であった。

この発明は上記課題に鑑みなされたものであり、病理標本を撮像した画像を表示するのに際して、画像から得られる各種の情報をわかりやすくかつ多面的に提示することで、医師による診断作業を効果的に支援することのできる技術を提供することを目的とする。

この発明に係る画像処理装置の一の態様は、上記目的を達成するため、病理標本を撮像した原画像を取得する画像取得部と、前記原画像に含まれる病理所見に関連する所見情報を、少なくとも１種の前記病理所見について取得する情報取得部と、前記原画像の少なくとも一部を元画像として、前記所見情報により特定される前記病理所見に対応する視覚情報を前記元画像に重畳した加工画像を画像要素として含む画面表示用の出力画像を生成する画像生成部と、ユーザーからの操作入力を受け付ける受付部とを備えている。ここで、前記画像生成部は、視野が互いに同一で互いに異なる前記視覚情報が重畳された複数の前記加工画像を一の画面内に配置した前記出力画像を生成し、前記加工画像における前記元画像と前記視覚情報との相対的な濃度を前記操作入力に応じて設定し、しかも、前記出力画像を生成する処理モードとして前記操作入力により選択可能な複数の処理モードを有している。

また、この発明に係る画像処理方法の一の態様は、上記目的を達成するため、病理標本を撮像した原画像を取得する画像取得工程と、前記原画像のうち病理所見に対応する位置を表す所見情報を、少なくとも１種の前記病理所見について取得する情報取得工程と、前記原画像の少なくとも一部を元画像として、前記所見情報により特定される前記病理所見の位置を表す視覚情報を前記元画像に重畳した加工画像を画像要素として含む画面表示用の出力画像を生成する画像生成工程とを備えている。ここで、前記画像生成工程では、視野が互いに同一で互いに異なる前記視覚情報が重畳された複数の前記加工画像を一の画面内に配置した前記出力画像を生成し、前記加工画像における前記元画像と前記視覚情報との相対的な濃度をユーザーから受け付けた操作入力に応じて設定し、しかも、前記出力画像を生成する処理モードとして、互いに異なる前記出力画像を生成する複数の処理モードのうち前記操作入力により選択されたものを有している。

これらの発明において、前記複数の処理モードは、互いに同一視野の前記元画像と前記加工画像とを前記画像要素として一の画面に配した前記出力画像を生成する第１モードと、前記原画像の少なくとも一部の領域を比較的低倍率で表す広域画像と、前記広域画像中の一部の領域を前記広域画像よりも高倍率で表す拡大画像とを前記画像要素として一の画面に配し、前記拡大画像の倍率が前記操作入力により変更可能であり、前記広域画像および前記拡大画像の少なくとも一方を前記加工画像とし、かつ前記広域画像には前記拡大画像に対応する領域を示す領域マーカーが重畳された前記出力画像を生成する第２モードとを含む。

また、この発明に係る画像処理システムの一の態様は、上記目的を達成するため、前記病理標本を撮像して前記原画像を作成する撮像装置と、上記した構成を有する画像処理装置と、前記画像処理装置が出力する前記出力画像に対応する画像を表示する表示装置とを備えている。

本発明において、「病理所見」とは、原画像に対し観察の対象となる部位を抽出する画像解析を行うことによって得られる各種の知見を意味する。例えば、病理診断のために観察の対象とされる組織、細胞、細胞内小器官などの構造物や、血液、間質液のような液体等、原画像中で特定の形態学的特徴を有する部位の有無や、それらの位置、大きさ、数等の定量的情報などが「病理所見」に含まれ得る。この意味において、「観察の対象となる部位を抽出する画像解析により得られた解析結果」と概ね同義とも言える。どのような部位が観察の対象とされるかは、疾患の種類や診断の目的に応じて定められる。

また「視覚情報」とは、元画像に重畳されることで、元画像のうちの特定の領域が病理所見として抽出された領域であることや、当該領域における病理所見の性状等を、ユーザーが視覚により容易に認識できるような各種情報である。視覚情報の態様としては、例えば色分け、輪郭もしくは領域の濃淡の強調、記号や図形によるマーカーもしくは文字情報の付与などがあり得る。これらが適宜組み合わされてもよい。

このように構成された発明では、ユーザー（診断を行う医師）が必要とする病理所見に関する情報を、その要求に応じてわかりやすく提示して、診断作業を効果的に支援することができる。その理由は以下の通りである。病理診断の現場では、病理標本を様々な観点から観察して総合的に診断が行われる。このため、単に特定の病理所見の定量的な評価結果のみを提示するよりも、病理標本から抽出された各種の病理所見を種々の表示態様で表示出力するような支援方法が望まれている。

本発明の第１モードでは、原画像の少なくとも一部を元画像として、当該元画像と、元画像に所見情報に基づく加工が施された加工画像とを画像要素として含むような画像を表示させることができる。つまり、未加工の画像である元画像と、これと同一視野で病理所見に対応する視覚情報が付与された加工画像とが、１つの画面に表示される。このような表示態様では、ユーザーは未加工の元画像と、その中での病理所見の抽出状況とを対比させて観察することができる。例えば元画像中に含まれる病理所見の位置や分布状況、密度等の評価に有用である。

そして、加工画像においては、元画像とこれに重畳される視覚情報との相対濃度がユーザー操作に応じて変更可能である。病理所見の位置を明示するためには明瞭な視覚情報の付与が求められる一方、視覚情報が元画像の画像内容を遮蔽してしまうことで、画像中のどのような構造が病理所見と見なされているかがわかりにくくなるおそれがある。両者の相対濃度をユーザー操作に応じて変更することで、病理所見の位置の明示と当該位置における画像内容の明示とを、ユーザーの望む態様で両立させることができる。

なお、元画像と視覚情報との相対濃度を変更する方法としては、元画像の濃淡（輝度）を変化させる、視覚情報の濃淡を変化させる、それらの両方を変化させる、という方法が考えられる。これらのどの方法が採用されてもよく、また適宜切り替えて使用される態様でもよい。

一方、本発明の第２モードでは、原画像中の比較的広い領域を低倍率で示す広域画像と、広域画像に含まれる領域の一部をより高倍率で表した拡大画像とが１つの画面に配置された画像を表示させることができる。第２モードは、標本の細部を観察しつつ、同時にその周辺の状況をも把握したいという病理診断における要望に対応したものである。この場合、拡大画像の視野を段階的に増減させて観察することが必要とされる場合がある。そこで、本発明では拡大画像における表示倍率がユーザー操作により変更できるようになっている。さらに、拡大画像と広域画像との対応関係を示すために、広域画像中で拡大画像に対応する領域を示す領域マーカーが表示される。

ユーザー操作に応じて画像の表示倍率を変化させるような画像処理は一般的であるが、表示倍率の変化する拡大画像と、その周辺を含む広域を一定の倍率で表示する広域画像とを１つの画面に表示し、しかも両者の対応関係を明示する領域マーカーを表示することにより、適当な倍率で細部の観察を行いつつ、同時にその周囲の状況も確認したいという病理診断における要求に応えることが可能となる。

そして、本発明の画像処理装置では、これら２つの処理モードを含む処理モードから、ユーザーが希望するものを選択して実行することが可能である。標本の画像に病理診断に有用な情報を付与して提示する方法は種々提案されているが、上記のように多くの情報から総合的に行われる病理診断の現場で必要とされる情報提示は、特定の表示態様だけで事足りるものではない。本発明は、ユーザーが求める種々の表示態様を網羅する複数の処理モードを有し、それらを適宜選択して実行することで、多様な要求に応じることが可能となっている。

上記のように、本発明は、病理診断の現場で求められている種々の表示態様を網羅的に実現可能となっており、またそれぞれの表示態様において、ユーザー（医師）の求めに応じて画像を種々に変化させることができる。このため、画像から得られる各種の情報をユーザーにとってわかりやすい態様でかつ多面的に提示することができ、医師による診断作業を効果的に支援することができる。

本発明に係る画像処理システムの一実施形態の概略構成を示す図である。 この画像処理システムの概略動作を示すフローチャートである。 本実施形態におけるＧＵＩ画面の構成例を示す図である。 この実施形態における原画像と元画像との関係を示す模式図である。 本実施形態における加工画像の例を示す模式図である。 本実施形態の第１表示モードにおける画像の例を示す模式図である。 本実施形態の第１表示モードにおける画像の例を示す模式図である。 本実施形態の第２表示モードにおける画像の例である。

図１は本発明に係る画像処理システムの一実施形態の概略構成を示す図である。より具体的には、図１（ａ）は本発明を実施するために画像処理システム１が有するべき機能ブロックを概念的に示すブロック図であり、図１（ｂ）はより具体的なハードウェア構成を示すブロック図である。この画像処理システム１は、患者または被験者から採取された病理標本を観察し診断を行うユーザー（具体的には病理医）の作業を、画像処理の面から支援するためのシステムである。

この画像処理システム１は、種々の臓器における種々の疾患に対する病理診断に適用可能であり、その適用対象は特に限定されるものではない。ただし、以下の説明において特に具体的な事例に言及する必要がある場合、病理標本の画像に基づく脳腫瘍の病理診断を一例として採り上げることとする。脳腫瘍の病理診断における形態学的所見については、例えば「脳腫瘍取扱い規約 第４版」（日本脳神経外科学会・日本病理学会編）に指針が示されている。

図１（ａ）に示すように、画像処理システム１はその主要な構成として、画像取得部１１、記憶部１２、情報取得部１３、画像生成部１４および表示部１５の各機能ブロックを備えている。

画像取得部１１は、本システムでの処理対象となる原画像を取得する。原画像は、採取された病理標本を所定倍率および所定視野サイズで明視野撮像した画像である。撮像視野のサイズは、観察対象となる病理組織に対応する可能性のある領域を少なくとも１つ、好ましくは複数含むように選ばれる。また、撮像倍率は、病理組織がその形状やテクスチャを観察するのに十分な分解能で画像に含まれるように選ばれる。例えば、顕微鏡を使った目視観察における対物レンズの倍率としては５倍ないし４０倍のものが用いられることが多いため、対物レンズにして４０倍またはそれ以上に相当する撮像倍率が望ましい。標本全体を高い倍率で撮像した、いわゆるバーチャルスライドと呼ばれる画像は、ここでいう原画像として好適に利用可能なものである。

一般的には、病理標本はＨＥ（ヘマトキシリン・エオジン）染色されたものである。この染色方法は標本中の細胞質および細胞核を染め分けることができるが、特定の細胞種や疾患等を選択的に染色するものではない。この意味において、ＨＥ染色は、特定の目的に偏らない普遍的な染色方法であると言え、それ故に標本の画像からは種々の細胞種や疾患等に関する情報を引き出すことが可能である。一方で、画像から特定種の構造物や疾患に対応する部位を人為的に抽出するには十分な知識を必要とする。

画像取得部１１は、それ自身が病理標本を撮像することで原画像を取得する態様であってもよく、また点線矢印で示すように、予め撮像されて外部から与えられる原画像のデータを受信する態様であってもよい。記憶部１２は各種データを記憶する。例えば、画像取得部１１により取得される原画像に対応する原画像データを記憶する。

情報取得部１３は、原画像に含まれる病理所見に関する情報を取得する。ここでいう「病理所見」とは、病理診断のために観察の対象とされる組織、細胞、細胞内小器官などの構造物や、血液、間質液のような液体等、原画像中で特定の形態学的特徴を有する部位を抽出するコンピューター画像解析を、原画像に対し施すことによって得られる各種の知見を意味する。病理所見は、そのような部位の種類や性状、原画像に占める領域、位置、大きさ、数等として定性的あるいは定量的に表され、また定性的情報とその程度を示す定量的情報との組み合わせにより表されてもよい。どのような部位が観察の対象とされるかは、疾患の種類や診断の目的に応じて定められる。

病理所見に関する情報としては、原画像から抽出された病理所見およびその性状を表す各種の情報、例えばその位置、大きさ、数等を定量的に表す情報を含み得る。以下では、これらの病理所見に関する情報を、「所見情報」と略称することがある。例えば病理所見の位置を表す情報は、それが原画像中の各位置が病理所見に対応するか否かを表すものであれば、原画像中で病理所見が占める領域を特定し、さらには病理所見の大きさを間接的に示すことができる。その意味で、病理所見の位置を表す情報は特に重要な情報である。

情報取得部１３は、それ自身が原画像を解析することによって病理所見を抽出し所見情報を取得する態様であってもよく、また予め原画像から抽出された病理所見に関する情報を外部から受信する態様であってもよい。取得された所見情報は、記憶部１２に記憶される。病理標本が例えば脳腫瘍に関するものである場合、その診断に有用な病理所見およびその構成要素としては、血管、石灰化、細胞***像、壊死、細胞密度の高低、核異型の高低などを用いることができる。

原画像を解析して病理所見を抽出する方法としては、公知の各種の画像処理方法を用いることができる。例えば、原画像に含まれるオブジェクトの形態的特徴を表す特徴量を算出し、特徴量に基づく適宜の分類方法により、病理所見に該当する領域を抽出することができる。この際、適宜の学習アルゴリズムを用いた機械学習による分類が利用されてもよい。また、深層学習により構築された学習モデルを用いて画像を解析するようにしてもよい。本実施形態は表示処理に特徴を有するものであり、解析の方法については特に限定されるものではない。

画像生成部１４は、原画像を必要に応じ加工して、画面表示用の出力画像に対応する画像データを生成する。原画像の加工には、必要に応じて所見情報が参照される。表示部１５は、画像生成部１４により生成された出力画像を表示してユーザーに提示する。

このような画像処理システム１は、例えば図１（ｂ）に示すハードウェア構成により実現可能である。この例では、画像処理システム１は、撮像装置１００、画像処理装置２００および表示装置３００を含んでいる。これらは互いに電気的に接続される。図のように装置間が直接接続されてもよく、またＬＡＮ（Local Area Network）回線またはインターネット回線等の電気通信回線を介して接続されてもよい。

撮像装置１００は、病理標本を撮像することによって原画像を作成する機能を有し、その意味で画像取得部１１として機能するものである。例えば撮像機能を備えた顕微鏡や、標本全体を高速にスキャンするバーチャルスライドスキャナと呼ばれる装置が、撮像装置１００として好適に利用可能である。

画像処理装置２００は、原画像に対する種々の処理を担う。この目的のために、画像所装置２００は、ＣＰＵ（Central Processing Unit）２０１、ＧＰＵ（Graphics Processing Unit）２０２、メモリ２０３、ストレージ２０４、インターフェース２０５等を備えている。ＣＰＵ２０１は、予め準備された制御プログラムを実行することで、後述する動作等の各種処理を実現する。ＧＰＵ２０２は並列演算に特化されたプロセッサであり、画像処理に関わる各種演算を実行する。

メモリ２０３は、処理の過程で生成される各種データを短期的に記憶する。ストレージ２０４はメモリ２０３よりも長期的にデータを記憶保存する。例えば、ＣＰＵ２０１が実行すべき制御プログラムや、原画像データや画像処理後のデータなどが、ストレージ２０４に記憶される。

インターフェース２０５は外部との通信を担う。より具体的には、インターフェース２０５は、電気通信回線を介した外部装置とのデータ通信を行う機能と、例えばマウス、キーボード等の適宜の入力デバイス２０６を介したユーザーからの操作入力を受け付ける機能とを有する。つまり、入力デバイス２０６とインターフェース２０５とが一体として、ユーザーからの操作入力を受け付ける「受付部」として機能する。

このように、画像処理装置２００が備える各構成は、一般的なコンピューター装置の構成と概ね同じである。したがって、画像処理装置２００として、汎用のコンピューター装置を利用することが可能である。表示装置３００は、例えば液晶ディスプレイパネルのような表示画面を有し、画像処理装置２００から与えられる画像信号に対応する画像を画面表示する。

図１（ａ）と図１（ｂ）とを対比してわかるように、この画像処理システム１では、撮像装置１００が画像取得部１１に対応している。また、画像処理装置２００は、ＣＰＵ２０１およびＧＰＵ２０２が所定の制御プログラムに従い処理を実行することで、情報取得部１３および画像生成部１４として機能する。また、ストレージ２０４が記憶部１２に対応する。さらに、表示装置３００が表示部１５に対応する。

なお、図１（ｂ）に示す各構成は、その全てが必須というわけではない。例えば、インターフェース２０５が外部装置から原画像を取得する場合、インターフェース２０５が画像取得部１１として機能するため、撮像装置１００は必須ではない。また、画像処理に関わる演算をＣＰＵ２０１が実行するようにすることで、ＧＰＵを備えないコンピューター装置であっても画像処理装置２００として利用可能である。また、インターフェース２０５が外部装置から所見情報を取得する場合、インターフェース２０５が情報取得部１３としての機能を有することになる。この場合、画像処理装置は、原画像を解析して所見情報を求める機能を有していなくてもよい。

また、撮像装置１００、画像処理装置２００および表示装置３００が別体である必要はなく、適宜一体化されてもよい。例えば、本体と表示画面とが一体となったコンピューター装置を、画像処理装置２００および表示装置３００として利用してもよい。また、撮像装置１００を制御するための制御装置に、画像処理装置２００としての機能が組み込まれてもよく、さらに表示装置３００まで一体化されてもよい。このように、画像処理システム１は種々の形態で実現することが可能である。

図２はこの画像処理システムの概略動作を示すフローチャートである。最初に、ＨＥ染色された病理標本を撮像した原画像が取得される（ステップＳ１０１）。前記の通り、原画像は撮像装置１００によって標本を新たに撮像することによって取得されてもよく、また既に実行された撮像により得られた画像データを撮像装置１００または外部装置からインターフェース２０５を介して取得する態様であってもよい。

次に、原画像中に含まれる病理所見に関する情報（所見情報）が取得される（ステップＳ１０２）。この所見情報には、原画像において病理所見に対応する位置を表す情報が少なくとも含まれる。前記した通り、所見情報は、情報取得部１３が取得された原画像に所定の画像解析処理を行うことによって取得されてもよく、また既に実行された解析結果を外部装置からインターフェース２０５を介して取得する態様であってもよい。外部装置から取得する場合、原画像データとともに受信する態様であってもよい。

続いて、予め用意された複数の表示モードのいずれを選択するかに関するユーザーからの操作入力を受け付ける（ステップＳ１０３）。表示装置３００には、操作入力を促すメッセージが表示される。ユーザーからの操作入力については、入力デバイス２０６を介して受け付けることができる。

こうして表示モードが選択されると、選択された表示モードに応じた画像が表示装置３００に表示される（ステップＳ１０４）。すなわち、画像生成部１４が、記憶部１２に保存されている原画像および所見情報のデータに基づいて、選択された表示モードに応じた出力画像を生成し、表示部１５に出力する。これにより、表示部１５として機能する表示装置３００に、表示モードに応じた画像が表示されることになる。

画像の表示中、表示条件の設定変更および表示モードの設定変更に関するユーザーからの操作入力が随時受け付けられる（ステップＳ１０５、Ｓ１０６）。一の表示モード内での表示条件の設定、例えば表示倍率の変更や観察位置の変更に関する操作入力が受け付けられると（ステップＳ１０５においてＹＥＳ）、それらの条件変更を反映した画像が表示される（ステップＳ１０４）。また、表示モードの変更に関する操作入力が受け付けられると（ステップＳ１０６においてＹＥＳ）、新たな表示モードの選択入力を受け付け、変更後の表示モードで新たに画像が表示される（ステップＳ１０３、Ｓ１０４）。

また、表示を終了する旨の操作入力を受け付けると（ステップＳ１０７においてＹＥＳ）、表示のための処理は終了される。これらの操作入力がなければ（ステップＳ１０５～Ｓ１０７においてＮＯ）、最後に設定された表示モード、表示条件での表示が継続される。以下、各表示モードにおける表示内容およびその遷移態様について、図３ないし図８を参照しながら説明する。

図３は本実施形態におけるＧＵＩ画面の構成例を示す図である。画像生成部１４が生成した出力画像は表示部１５に送信され、それに対応する画像５００が表示部１５の表示画面に表示される。画像５００は、原画像またはそれを加工して生成された加工画像を表示するための主ウィンドウ５０１と、ユーザーが主ウィンドウ５０１に表示される画像の内容を指定するためのメニューボタン５０２～５０８とを含む。各ボタンの機能については具体例を用いて後で説明する。

このように、入力デバイス２０６へのユーザーの操作入力は、ＧＵＩ（Graphical User Interface）画面を介して受け付けられる。なお、メニューボタンの構成は一例を示したものであり、項目名や配置等はこれに限定されない。また、操作入力の受け付け態様もこれに限定されない。また、メニューボタンが操作されたとき、必要に応じてサブメニューや他の操作ボタンが表示される構成でもよい。このように、ＧＵＩ画面の構成は任意のものを用いることができる。

主ウィンドウ５０１内には、原画像５１１、原画像５１１から一部を切り出した小画像、これらの画像に視覚情報を付した画像などが１つまたは複数表示される。このように主ウィンドウ５０１に配置される、視野の連続した１つの画像を、ここでは「画像要素」と称する。

図４はこの実施形態における原画像と元画像との関係を示す模式図である。原画像５１１は例えばバーチャルスライド画像であり、病理診断の対象となる病理標本Ｓの全体を撮像した画像である。後述する画像の倍率変更に対応するため、原画像５１１は高い分解能で撮像されたものであることが好ましい。

これに対し、元画像５１２～５１４は、原画像５１１から少なくとも一部の領域を切り出したものであり、原画像５１１中の任意の位置から任意のサイズの元画像を切り出すことができる。元画像５１２～５１４の画像内容は、原画像５１１のうちの対応する領域の画像内容と同じである。つまり、元画像５１２～５１４は、後述する加工が施される前の未加工状態の画像である。ただし、主ウィンドウ５０１への表示の都合上、画像サイズが適宜スケーリングされてもよい。図４に示す元画像５１２～５１４は、原画像５１１中に占めるサイズがそれぞれ異なるものであるが、切り出された状態では適宜拡大、縮小されて同サイズにスケーリングされている。

ユーザーは、必要に応じて原画像５１１からの元画像の切り出し範囲を指定することができる。より具体的には、ユーザーが入力デバイス２０６を介し、元画像の切り出し操作に対応する「切り出し」メニューボタン５０３を選択することによって、元画像の設定入力が可能となる。ユーザーが入力デバイス２０６を操作して原画像５１１中の任意の領域を指定すると、指定された領域の画像が元画像として切り出される。また、ユーザーが選択した病理所見の周囲や表示態様に応じて、適当なサイズの元画像が自動的に切り出される機能があるとより好ましい。

なお、本実施形態における「加工」は、加工画像においても元画像５２１の画像内容が視認できるように、視覚情報にある程度の透過性を持たせて元画像５２１に重ね合わせる加工である。いわゆるオーバーレイ表示と称される表示方法がこれに該当する。また、視覚情報としては、例えば色の変更、色分け、輪郭もしくは領域の濃淡の強調、記号や図形によるマーカーもしくは文字情報の付与などがあり得る。これらが適宜組み合わされてもよい。以下、加工画像および出力画像のいくつかの例を示す。

図５は本実施形態における加工画像の例を示す模式図である。図５（ａ）は加工が施される前の元画像５２１であり、例えば図４に示す原画像５１１から切り出された元画像５１３に相当する画像である。ここでは病理標本Ｓが脳腫瘍に関するものであるとする。図５（ｂ）および図５（ｃ）は、既に取得されている所見情報に基づき、元画像５２１中で抽出された病理所見を視覚情報として元画像５２１に重畳表示した加工画像の例である。

より具体的には、図５（ｂ）に示す加工画像５２２は、病理所見として抽出された血管Ｖが占める領域を明示する加工を、元画像５２１に画素単位で施した画像の例である。加工は、例えば当該領域に他の領域とは異なる固有の色付けを行うことによって実現可能である。このような加工を行うことで、画像中の特定の病理所見（この例では血管）が占める位置を明確に表示することができる。

一方、図５（ｃ）に示す加工画像５２３は、元画像５２１を複数のブロックに分割し、ブロックごとの細胞密度の高低を視覚情報として付与した画像の例である。図ではブロックごとのハッチングおよびドットの種類を視覚情報として細胞密度の高低が表現されているが、実際の画面では例えば当該ブロック内の細胞密度の高低に応じてブロックの色を異ならせるようにすることができる。

所見情報としては、細胞等個々の構造物の位置を示す情報以外に、ある領域内の標本の性状を表すような情報が用いられてもよい。例えばブロック内の細胞密度を画像解析によって算出し、これを所見情報とすることが可能である。すなわち、視覚情報は、病理所見の位置を示すものだけでなく、解析により得られる病理所見の各種の定量的情報や、その値に基づく評価結果（例えば組織学的分類に関する推定結果）等を表すものとして元画像に重畳されてもよい。このようなブロック単位での演算処理には、ＧＰＵ２０２を効果的に活用することができる。

図５（ｄ）に示す加工画像５２４は、上記２つの視覚情報を重畳した画像の例である。すなわち、加工画像５２４には、血管Ｖを表す像と、細胞密度の大小を表す色分けとが重畳されている。視覚情報を透過性のあるものとすることで、このように複数の病理所見に対応する視覚情報を同一画像に示すことができる。これにより、複数の観点からの観察、評価を容易に行うことが可能になる。視覚情報を表示させる病理所見の種類については、ユーザーは「所見種類」メニューボタン５０４を用いて指定することができる。

以下、ユーザーが操作入力により選択することのできるいくつかの表示モードについて説明する。主ウィンドウ５０１に各種の画像を表示させる表示モードとしては、例えば図４に示す原画像５１１を画像要素としてそのまま表示するもの、また図５に示す元画像５２１および加工画像５２２～５２４のいずれか１つまたは複数を画像要素として表示するものを含めることができる。これら以外に、例えば次のような表示モードを含めることができる。ユーザーによる表示モードの選択は、「表示モード」メニューボタン５０２によって行うことができる。

図６および図７は本実施形態の第１表示モードにおける画像の例を示す模式図である。この表示モードでは、主ウィンドウ５０１内に、２つの画像要素として元画像とこれに視覚情報が付与された加工画像とが並べて表示される。図６に示す例の元画像５３１は、原画像５０１のうち比較的狭い範囲を高倍率に拡大したものであり、拡大倍率は標本中における個々の病理所見の形状やテクスチャがわかる程度に選ばれる。例えば病理所見として細胞***像を表示する場合には、元画像５３１における一辺が細胞１０個程度のサイズに対応する長さを表すように選ばれる。ヒトの体細胞のサイズは概ね１０μｍ程度であるから、例えば１辺が１００μｍに相当するように元画像５３１が設定されればよい。また複数の細胞を含む病理所見、例えば血管を表示する場合には、より広い範囲が表示されるように、例えば１辺が２５μｍに相当する程度の元画像５３１を用いることができる。拡大倍率については、「拡大倍率」メニューボタン５０５を用いてユーザーが指定することができる。ユーザーは、目的に応じて、また観察対象物のサイズに応じて、所望の倍率で画像を表示させることができる。

元画像５３１の横には、これに視覚情報が付与された加工画像５３２が並べて表示される。この例の加工画像５３２は、病理所見としての細胞***が生じている細胞に視覚情報として固有の色付けを行ったものである。図では色付けに代えてハッチングを付すことによって視覚情報を表現している。元画像５３１と対比すると、ハッチングを付された領域には細胞***の兆候を示している細胞が存在していることがわかる。

このように単一ウィンドウ内に同一視野の画像が並べて表示されるとき、相互に対応する位置を示すマーカーが表示されることが好ましい。すなわち、ユーザーが入力デバイス２０６としてのマウスを操作すると、これに応じて、白抜き矢印で示される加工画像５３２内のポインタ５３３が画面内で移動する。このとき元画像５３１には、加工画像５３２内でポインタ５３３が指し示す位置に対応する位置を示す位置マーカー５３４が表示される。この例では、位置マーカー５３４として十字線が用いられている。画像内で縦方向に引かれた罫線と横方向に引かれた緯線との交点が、加工画像５３２においてポインタ５３３の指し示す位置を表す。ポインタ５３３が画面内で移動すると、これと連動して位置マーカー５３４の交点が移動する。

ポインタ５３３が元画像５３１内に置かれている場合には、加工画像５３２内の対応する位置に位置マーカー５３４が表示されることになる。こうすることで、２つの画像間で互いに対応する位置を示すことができる。この機能により、一の画像でユーザーが注目する点が他の画像のどの位置にあるかが明示されるので、ユーザーは２つの画像の対比を容易に行うことができる。また、ユーザー操作により位置が直接指定されるポインタ５３３と、これに対応する位置を表す位置マーカー５３４とを異なる表示態様とすることで、ユーザーは自らの操作内容を容易に認識することができる。なお、例えばポインタの色を異ならせることにより区別してもよい。

元画像に重畳される視覚情報は、その濃度が高いほど視認性が向上するが、その一方で、視覚情報が高濃度であるとその背後の元画像の内容が見えにくくなる。この問題に対応するため、例えば視覚情報の付与のオン・オフを切り替えることが考えられる。しかしながら、元画像に視認性の高い視覚情報が付与された状態から視覚情報を完全に消去した状態に表示を切り替える場合、ユーザーが視覚情報の付されていた位置を見失うことがあり得る。

そこで、この実施形態では、元画像とそれに重畳される視覚情報との相対的な濃度比が３段階以上の多段階または連続的に変更される表示態様が採用される。すなわち、ユーザーが「オーバーレイ濃度」メニューボタン５０６を操作することで、図７（ａ）～図７（ｃ）に示すように、オーバーレイ濃度、つまり加工画像５３２における元画像と視覚情報との間の相対的な濃度が変化する。具体的には、図７（ａ）に示す加工画像５３２ａでは、元画像５３１の輝度が大きく低減されており、その画像内容は殆ど視認できない。図７（ｂ）に示す加工画像５３２ｂ、図７（ｃ）に示す加工画像５３２ｃでは、元画像５３１の輝度が段階的に増大する一方、視覚情報の輝度が低減されている。その結果、加工画像５３２ａでは視覚情報の付与の有無が明瞭に示される一方で、元画像の情報はほとんど失われている。これに対して、加工画像５３２，５３２ｃでは元画像の情報は明瞭に残されているが、視覚情報が目立ちにくくなっている。加工画像５３２ｂはその中間的な性質を有する。

このように、ユーザー操作に応じて元画像と視覚情報との濃度比を変更可能とし、それに応じて表示を順次変化させることで、元画像が有する画像情報と視覚情報との両方を容易に確認することが可能となる。このようにすると、視覚情報の濃度は元画像に対し段階的にまたは連続的に変化するため、視覚情報が急激に消失あるいは出現する表示方法に比べて、ユーザーは元画像とそれに含まれる病理所見との対応関係を把握しやすくなる。元画像と視覚情報との相対濃度を変化させる方法としては、元画像の濃度を固定して視覚情報の濃度を変化させる方法、視覚情報の濃度を固定して視覚情報の濃度を変化させる方法、および元画像と視覚情報との両方の濃度を変化させる方法があり、そのいずれであってもよい。

主ウィンドウ５０１には、元画像と加工画像とのセットが複数表示されてもよい。これら複数セットの間では、互いに視野が異なっていてもよく、また拡大倍率が異なっていてもよい。例えば、同種で抽出位置の異なる複数の病理所見の画像を並べて表示することで、それらの対比観察を容易にすることができる。また、一の元画像に対し、複数の加工画像が表示されてもよい。この場合、複数の加工画像は元画像と同一視野を含み、互いに異なる視覚情報が付されたものとすることができる。複数種の病理所見に対応する視覚情報を１つの画像上で重畳することで、画像が見にくくなってしまうおそれがある。このような場合には、付与される視覚情報を互いに異ならせた複数の加工画像を並べて表示することで、視認性の改善を図ることが可能である。

複数セットの画像要素が１つのウィンドウに配置される場合、ユーザーが行う操作がどのセットに対するものであるかを区別する必要がある。このためには、例えば１つのセットをユーザー操作の対象となるアクティブなものとし、アクティブな画像要素を他の画像要素と区別するための表示、例えば画像要素の輪郭を強調する表示を付すようにすることができる。

主ウィンドウ５０１に配置される複数の画像要素が互いに原画像中の同一位置を含むものであるとき、上記したように、それぞれの画像要素には対応する位置を表す位置マーカーが付されることが望ましい。画像要素が複数セットある場合には、それらの全てにおいて位置マーカーが付されてもよく、またアクティブなセットのみに付されてもよい。

図８は本実施形態の第２表示モードにおける画像の例である。この表示モードでは、主ウィンドウ５０１内に、原画像５１１の一部領域を高倍率で拡大した拡大画像と、当該拡大画像の領域を含むより低倍率の広域画像とが並べて表示される。具体的には、図８（ａ）に示すように、比較的低倍率で広い視野を含む広域画像５４１ａと、その一部領域を高倍率に拡大した拡大画像５４２ａとが、主ウィンドウ５０１に並べて表示される。拡大画像５４２ａは視覚情報が付されたものであってもよく、また図８（ａ）に示すように、未加工の拡大画像５４２ａと、これを元画像とする加工画像５４３ａとが並べて表示される態様であってもよい。

加工画像５４３ａは、元画像５４２ａ内で抽出された病理所見としての細胞***の位置を、視覚情報により示した画像要素である。第１表示モードと同様に、元画像と視覚情報との間の相対濃度がユーザー操作により変更されるようにするのが望ましい。また、含まれる視野が同一である拡大画像５４２ａと加工画像５４３ａとには、ユーザーが注目する位置を示すポインタ５４４ａとこれに対応する位置マーカー５４５ａとがそれぞれ表示される。

広域画像５４１ａは、原画像５１１の少なくとも一部であって、加工画像５４２ａに対応する領域を部分として含む低倍率、広視野の画像要素である。広域画像５４１ａには、拡大画像５４２ａおよびその加工画像５４３ａに対応する領域の範囲を示す領域マーカー５４６ａが重畳表示される。これにより、拡大画像５４２ａが広域画像５４１ａにおいて占める領域が明示される。併せて、ポインタ５４４ａの位置を示す位置マーカー５４７ａも重畳表示される。

ユーザーが拡大画像５４２ａまたは加工画像５４３ａをスクロールさせて視野を変更したとき、拡大画像５４２ａと加工画像５４３ａとの間で視野が連動して変化する。また、これに伴って、広域画像５４１ａにおいて占める領域を示す領域マーカー５４６ａの位置も移動する。

広域画像５４１ａにはさらに、広域画像５４１ａ内で抽出された病理所見（細胞***）の位置を示す視覚情報として、丸印で示される所見マーカー５４８ａが重畳されている。この意味において、広域画像５４１ａも加工画像である。所見マーカー５４８ａでは、円の中心が病理所見（この例では細胞***像）の代表位置を示す。これにより、拡大画像５４２ａの領域とその周囲領域とを含むより広い領域内で、病理所見がどのような分布を有しているかが示される。

病理診断においては、拡大画像５４２ａまたはその加工画像５４３ａを用いて個々の病理所見を詳細に観察することが必要である一方で、当該病理所見の周囲における同様の所見の分布状態についても勘案して評価を行う必要がある。第２表示モードでは、広域画像５４１ａと、その一部を拡大した拡大画像５４２ａまたはそれを元画像とする加工画像５４３ａとが１つのウィンドウ５０１に表示され、しかも広域画像５４１ａには、拡大画像５４２ａに対応する領域の範囲を示す領域マーカー５４６ａと、抽出された病理所見の位置を示す所見マーカー５４８ａとが示される。このため、ユーザーである病理医は、個々の病理所見の詳細な観察と、その周囲での病理所見の分布状況の把握とを併せて行うことができる。

拡大された加工画像５４３ａでは、画像内で病理所見が占める領域が画素単位の視覚情報により示される。これにより、病理所見の位置だけでなくその大きさや形状までもが示される。一方で、広域画像５４１ａでも同様の表示方法を採用したとすると、画像内で占める領域が小さくなりすぎて視認性の低下を招くことがある。そこで、詳しい大きさや形状については加工画像５４３ａにより示すこととして、広域画像５４１ａでは病理所見の位置だけを示す所見マーカー５４８ａが表示される。このように実際の病理所見のサイズに拘らずより視認性の高いマーカーを用いて位置を強調表示することで、上記した視認性の低下を回避することができる。

ユーザーは、ＧＵＩ画面（図３）に表示される「拡大倍率」メニューボタン５０５を用いて拡大画像５４２ａの拡大倍率を変更することができる。図８（ｂ）は、図８（ａ）に示す状態から拡大画像の倍率をさらに増大させたときの画像の例を示す。拡大倍率を増大させたことにより、拡大画像５４２ｂは、拡大画像５４２ａのうちの一部領域をより高倍率で表したものとなる。これと連動して、加工画像５４３ｂにおいても視野および倍率が変動する。また、ユーザー操作により決まるポインタ５４４ｂ、これに連動する位置マーカー５４５ｂも、上記と同様にして表示される。

一方、広域画像５４１ｂの視野および倍率は変化せず、当然に所見マーカー５４８ｂの表示態様も変化しない。ただし、倍率の変更により、広域画像５４１ｂに占める拡大画像５４２ｂの範囲は変化するため、領域マーカー５４６ｂのサイズが変化することになる。また、位置マーカー５４７ｂもポインタ５４４ｂの位置に応じて変化する。なお、倍率の設定によっては、拡大画像における倍率が広域画像における倍率と同程度となることもあり得る。

ユーザーにより変更設定された拡大倍率は、標準倍率としてメモリ２０３またはストレージ２０４に記憶される。そして、その後のユーザー操作により第２表示モードが選択された際には、拡大画像５４２ａの倍率は標準倍率に設定される。ユーザーが設定した拡大倍率は観察に適した倍率であると推定できるから、これを標準倍率として以後の表示に利用することで、ユーザーが倍率を毎回調整する必要はなくなる。

ユーザーによる倍率の設定がなされていない状態では、標準倍率は、例えば少なくとも１つの病理所見の全体とその周囲領域とが拡大画像に収まるような倍率に設定されることが好ましい。この場合の標準倍率は予め定められていてもよく、また表示を選択された病理所見の大きさに応じて動的に設定されてもよい。

第２表示モードにおいても、上記のような画像要素のセットが同一ウィンドウに複数配置されてもよい。複数のセット間で視野が異なる場合、それらのセット間で共通の位置マーカーを付す必要はない。第１表示モードと同様、アクティブなセットにのみ位置マーカーが付されてもよく、またセットごとに異なる色の位置マーカーが付されてもよい。

図３に示すＧＵＩ画面には、既に機能を説明したものの他に、「アニメーション」メニューボタン５０７と、「検索」メニューボタン５０８とが設けられている。ユーザーがこれらを操作することにより実現される機能について、以下に説明する。

第１表示モードにおいて「アニメーション」メニューボタン５０７が選択されると、上記説明ではユーザー操作によって変化するオーバーレイ濃度が自動的かつ経時的に変化するアニメーション表示が行われる。この場合、濃度変化は連続的であってもよく、また一定時間ごとに段階的に変化する態様であってもよい。このような表示態様では、表示される画像が元画像の明瞭な状態と視覚情報の明瞭な状態との間で自動的に変化するため、ユーザーは操作に気を取られることなく画像を観察することができる。

「検索」メニューボタン５０８は、画像内に同一種の病理所見が複数含まれる場合に、それらを画像内で自動的に検索し所定の順序で表示させるための機能である。例えば病理所見としての細胞***が画像内で複数抽出されているとき、それらの特徴を相互に対比することで程度を比較したり、誤抽出の可能性を検証したりすることが必要な場合がある。そのような観察には拡大画像が適しているが、個々の病理所見を拡大画像に表示させるために、１つの病理所見ごとに拡大画像の表示範囲を指定していたのでは、時間もかかり、また画像から目を離すことで相互比較が困難となる場合がある。

個々の病理所見の位置は所見情報により既知である。このことを利用して、この実施形態では、ユーザーの簡単な操作によりまたは自動的に、抽出されている他の病理所見の位置を検索しその拡大画像を順番に切り替えて表示する。このようにすると、ユーザーは主ウィンドウ５０１から目を離すことなく、複数の病理所見を順番に観察することが可能となる。相互比較のために、拡大倍率は一定であることが好ましい。また、例えば個々の病理所見が常に拡大画像の中央に表示されるようにすれば、ユーザーはほぼ視線を動かすことなくより簡単に比較が行える。

複数の病理所見をどのような順序で表示させるかについてはいくつかの考え方がある。第１には、病理所見が抽出された位置に基づく順序とすることが考えられる。病理組織においては、互いに近接して存在する病理所見はその特徴が類似していることが多い。このことから、１つの病理所見が表示された後、次にその近傍にある他の病理所見が表示されるようにすれば、それらの間の相互比較をより精度よく行うことが可能となる。例えば各病理所見の位置座標からそれらの間の距離を算出し、その距離の近いものから順に表示を行うようにすることができる。病理所見間が大きく離れている場合には、例えば画像内での座標位置の順に基づいて表示させればよい。

第２には、病理所見の重要度に基づく順序とすることが考えられる。同じ種類の病理所見であっても、実際に抽出されたものは個々に状態が異なる。そして、それらの形態学的特徴から、診断において大きな意味を持つものとそうでないものとが生じてくる。例えば、正常な血管とより腫瘍に関連が深い血管との間ではその形状や色味が異なっている。このような各病理所見の重要度を定量的に表すことができる場合には、重要度の高いものから順に表示を行うことができる。このようにすれば、例えば腫瘍の存在を示すような病理所見から順に観察することで、より重要度の低いと考えられる病理所見については確認するまでもなく診断を下すことも可能となる。これにより、診断の効率向上および病理医の負担軽減を図ることができる。

第３には、抽出の信頼性に基づく順序とすることが考えられる。分類アルゴリズム等により機械的に抽出された病理所見では、誤抽出の確率をゼロにすることは難しいが、個々の抽出結果については確からしさ（信頼性）を算出することが可能である。結果の信頼性の高い病理所見から順に表示させることにより、より確度の高い診断を行うことができ、また作業の効率向上を図ることができる。

以上のように、この実施形態では、病理診断の現場で要望される種々の態様で病理標本の画像を表示させることができる。特に、病理所見の抽出結果に基づき重畳される視覚情報と元画像との濃度比をユーザー操作に応じて変更することで、病理所見の位置や元画像との対応関係等をわかりやすく提示することができる。

また、元画像とそれに基づき加工された画像とを並べて表示する第１表示モードでは、ユーザーは元画像と加工画像とを対比して観察することができる。一方、広域画像とその一部である拡大画像とを並べて表示する第２表示モードでは、標本の細部とその周辺の状態とを同時に把握しながら観察することができる。そして、これらの表示モードがユーザー操作により選択可能となっているので、ユーザーは種々の観点から病理標本を観察することができる。このように、本実施形態の画像処理システム１は、ユーザーである病理医による診断作業を効果的に支援することができるものとなっている。

以上説明したように、上記実施形態では、第１表示モードが本発明の「第１モード」に、第２表示モードが本発明の「第２モード」に対応しており、これらがそれぞれ本発明の「処理モード」の１つをなしている。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理システム１は、撮像装置１００、画像処理装置２００および表示装置３００を含むものである。ただし、本発明の要部は画像処理の内容にあり、したがって撮像機能および表示機能を持たず画像処理のみを行う画像処理装置として本発明を実現することも可能である。例えば、生成された出力画像が電気通信回線を通して外部装置へ送信されてもよい。

また、上記実施形態の画像処理システム１は、入力デバイス２０６と表示装置３００とが別体として構成されているが、これらの機能を兼ねるものとして、例えばタッチパネル装置が用いられてもよい。

また、本発明の画像処理については、一般的な構成のコンピューター装置に専用のソフトウェアを組み込むことによって実行することが可能である。すなわち、本発明は、コンピューター装置に本発明の画像処理方法を実行させるように記述されたソフトウェアとして配布することが可能である。また、このソフトウェアを既存の撮像装置に組み込んで、当該撮像装置を本発明の画像処理装置として機能させることも可能である。

また、上記実施形態で使用される病理標本はＨＥ染色されたものである。ＨＥ染色は目視観察に供される標本の染色方法として広く使用されている。したがって、標本画像とそれから抽出された病理所見とを対比して病理診断を行うという利用実態を考えれば、ユーザーである病理医にも見慣れた染色方法で調製された標本画像を用いることは極めて有用である。その一方で、単に病理所見を抽出するという目的からすれば、無染色の標本画像から病理所見を抽出する画像処理技術も実用化されてきており、これを用いれば標本が染色されることは必須の要件ではない。ただし、ユーザーに提示される画像としては、染色されたものであることが依然として有効である。このことから、例えば、無染色の標本画像に疑似的な染色効果を付与するような画像処理を適用したものを、本実施形態における原画像もしくは元画像として利用するようにしてもよい。

また、ＨＥ染色以外の染色方法が採用された病理標本を用いる場合にも、本発明を適用することが可能である。例えば、標本中のコラーゲン繊維を特定の色に染色する方法としてマッソントリクローム染色がある。これは主に特定の疾患と関連が深いコラーゲンの状態をわかりやすく染色するために用いられるが、細胞質や核も染色されるため、コラーゲン以外の病理所見を抽出するための標本としても利用可能である。このような病理所見についても併せて提示するようにすれば、より緻密な診断を行えるようになる可能性がある。その他、標本中の特定の部位、構造、物質等を際立たせるための染色方法であっても、他の部位等を特定するための情報を含むといった一定の汎用性を有する染色方法は、本実施形態に適用される病理標本にも好適なものであると言える。

以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理装置において、画像生成部は、一の元画像に対し、複数種の病理所見に対する視覚情報を重畳するように構成されてもよい。このような構成によれば、１つの画像を複数の観点から総合的に観察するのに好適な出力画像を生成することができる。

また例えば、画像生成部は、視野が互いに同一で互いに異なる視覚情報が重畳された複数の加工画像を一の画面内に配置した出力画像を生成するように構成されてもよい。このような構成によれば、視覚情報同士が相互に干渉して画像が見にくくなるのを回避することができる。

また例えば、画像生成部は、加工画像における元画像と視覚情報との相対的な濃度が、３段階以上の多段階に、または連続的に変更可能であってもよい。このような構成によれば、種々の濃度比で元画像と視覚情報とが表示されることとなり、視覚情報の確認と元画像の内容の確認とを両立させることができる。

また例えば、操作入力により設定された拡大画像の倍率を標準倍率として記憶し、その後に第２モードが選択されたときの拡大画像の倍率を標準倍率とするように構成されてもよい。このような構成によれば、ユーザーにより設定された倍率が標準とされるので、倍率設定の操作頻度を低減させ作業の効率向上を図ることができる。

また例えば、一の画面に含まれる複数の画像要素のそれぞれに、互いに同一の位置を示す位置マーカーが付されてもよい。このような構成によれば、各画像要素間での位置の対応関係が明確になり、ユーザーはそれらの対比を効率よく行うことが可能になる。

また例えば、視覚情報としては、当該視覚情報が付与される画像の倍率が低いとき、より倍率が高いときよりも視認性の高いものが用いられてもよい。このような構成によれば、低倍率の画像において視覚情報が小さくなりすぎて視認性が損なわれるのを防止することができる。

また例えば、視覚情報は、原画像の画像内容を透過させるように重畳されてもよい。このような構成によれば、元画像の内容を残しつつ、さらに視覚情報を付加して表示することが可能になる。

一の画面に含まれる少なくとも１つの画像要素が、操作入力に応じてまたは一定の間隔ごとに切り替えられてもよい。このような構成によれば、ユーザーは切り替え表示される画像要素の対比をより効率よく行うことができる。

また例えば、出力画像は、病理所見に関する定量的情報と、該定量的情報を所定の評価基準に基づき評価した評価結果に関する情報とのうち少なくとも一方をさらに含んでもよい。このような構成によれば、ユーザーが診断のために行う評価作業の一部を代替することができ、ユーザーの作業負担を軽減することができる。

また、本発明に係る画像処理方法においては、出力画像に対応する画像を表示装置の画面に表示させる表示工程を備えてもよい。このような構成によれば、出力画像を実際に表示してユーザーに提示することができる。

また例えば、原画像は、ヘマトキシリン・エオジン（ＨＥ）染色された病理標本を明視野撮像した画像であってもよい。ＨＥ染色は細胞核と細胞質とを染め分けることができるため広く用いられるが、特定の疾患の特徴を顕在化させるものではない。このため、画像から病変に対応する部位を見出すための作業負担が大きい。本発明は、このような作業を効果的に支援しユーザーの負担を軽減することができるものである。

この発明は、病理標本を撮像した画像に基づき病理医が行う病理診断に好適に適用可能であり、特に診断に必要な作業を画像処理の側面から効果的に支援することができるものである。

１ 画像処理システム
１１ 画像取得部
１２ 記憶部
１３ 情報取得部
１４ 画像生成部
１５ 表示部
１００ 撮像装置
２００ 画像処理装置
２０６ 入力デバイス（受付部）
３００ 表示装置（表示部）
５１１ 原画像
５２１ 元画像
５２２～５２４ 加工画像

Claims (13)

1. 病理標本を撮像した原画像を取得する画像取得部と、
   前記原画像に含まれる病理所見に関連する所見情報を、少なくとも１種の前記病理所見について取得する情報取得部と、
   前記原画像の少なくとも一部を元画像として、前記所見情報により特定される前記病理所見に対応する視覚情報を前記元画像に重畳した加工画像を画像要素として含む画面表示用の出力画像を生成する画像生成部と、
   ユーザーからの操作入力を受け付ける受付部と
   を備え、
   前記画像生成部は、視野が互いに同一で互いに異なる前記視覚情報が重畳された複数の前記加工画像を一の画面内に配置した前記出力画像を生成し、
   前記画像生成部は、前記加工画像における前記元画像と前記視覚情報との相対的な濃度を前記操作入力に応じて設定し、しかも、前記出力画像を生成する処理モードとして前記操作入力により選択可能な複数の処理モードを有し、
   前記複数の処理モードは、
   互いに同一視野の前記元画像と前記加工画像とを前記画像要素として一の画面に配した前記出力画像を生成する第１モードと、
   前記原画像の少なくとも一部の領域を比較的低倍率で表す広域画像と、前記広域画像中の一部の領域を前記広域画像よりも高倍率で表す拡大画像とを前記画像要素として一の画面に配し、前記拡大画像の倍率が前記操作入力により変更可能であり、前記広域画像および前記拡大画像の少なくとも一方を前記加工画像とし、かつ前記広域画像には前記拡大画像に対応する領域を示す領域マーカーが重畳された前記出力画像を生成する第２モードと
   を含む、画像処理装置。
2. 前記画像生成部は、一の前記元画像に対し、複数種の前記病理所見に対応する前記視覚情報を重畳する請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記加工画像における前記元画像と前記視覚情報との相対的な濃度が、３段階以上の多段階に、または連続的に変更可能である請求項１または２に記載の画像処理装置。
4. 前記操作入力により設定された前記拡大画像の倍率を標準倍率として記憶し、その後に前記第２モードが選択されたときの前記拡大画像の倍率を前記標準倍率とする請求項１ないし３のいずれかに記載の画像処理装置。
5. 一の画面に含まれる複数の前記画像要素のそれぞれに、互いに同一の位置を示す位置マーカーが付される請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記視覚情報としては、当該視覚情報が付与される画像の倍率が低いとき、より倍率が高いときよりも視認性の高いものが用いられる請求項１ないし５のいずれかに記載の画像処理装置。
7. 前記視覚情報は、前記原画像の画像内容を透過させるように重畳される請求項１ないし６のいずれかに記載の画像処理装置。
8. 一の画面に含まれる少なくとも１つの前記画像要素が、前記操作入力に応じてまたは一定の間隔ごとに切り替えられる請求項１ないし７のいずれかに記載の画像処理装置。
9. 前記出力画像は、前記病理所見に関する定量的情報と、該定量的情報を所定の評価基準に基づき評価した評価結果に関する情報とのうち少なくとも一方をさらに含む請求項１ないし８のいずれかに記載の画像処理装置。
10. 前記病理標本を撮像して前記原画像を作成する撮像装置と、
    請求項１ないし９のいずれかに記載の画像処理装置と、
    前記画像処理装置が出力する前記出力画像に対応する画像を表示する表示装置と
    を備える画像処理システム。
11. 病理標本を撮像した原画像を取得する画像取得工程と、
    前記原画像に含まれる病理所見に関連する所見情報を、少なくとも１種の前記病理所見について取得する情報取得工程と、
    前記原画像の少なくとも一部を元画像として、前記所見情報により特定される前記病理所見に対応する視覚情報を前記元画像に重畳した加工画像を画像要素として含む画面表示用の出力画像を生成する画像生成工程と
    を備え、
    前記画像生成工程では、視野が互いに同一で互いに異なる前記視覚情報が重畳された複数の前記加工画像を一の画面内に配置した前記出力画像を生成し、前記加工画像における前記元画像と前記視覚情報との相対的な濃度をユーザーから受け付けた操作入力に応じて設定し、しかも、前記出力画像を生成する処理モードとして、互いに異なる前記出力画像を生成する複数の処理モードのうち前記操作入力により選択されたものを有し、
    前記複数の処理モードは、
    互いに同一視野の前記元画像と前記加工画像とを前記画像要素として一の画面に配した前記出力画像を生成する第１モードと、
    前記原画像の少なくとも一部の領域を比較的低倍率で表す広域画像と、前記広域画像中の一部の領域を前記広域画像よりも高倍率で表す拡大画像とを前記画像要素として一の画面に配し、前記広域画像および前記拡大画像の少なくとも一方を前記加工画像とし、かつ前記広域画像には前記拡大画像に対応する領域を示す領域マーカーが重畳された前記出力画像を生成する第２モードと
    を含む、画像処理方法。
12. 前記出力画像に対応する画像を表示装置の画面に表示させる表示工程を備える請求項１１に記載の画像処理方法。
13. 前記原画像は、ヘマトキシリン・エオジン染色された前記病理標本を明視野撮像した画像である請求項１１または１２に記載の画像処理方法。

Images