JP2013250574A - 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 合成画像の合成箇所に基づいた精度の高い診断がし難くなることを防止することができる画像処理装置を提供する。
【解決手段】 撮像対象の撮像範囲を複数の領域に分割して顕微鏡で撮像することにより得られた複数の分割画像データを取得する画像データ取得手段と、前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成手段と、前記合成画像データの合成領域を観察者に認識させるための表示用画像データを生成する合成領域表示用データ生成手段と、を有し、前記合成領域表示用データ生成手段は、表示領域に含まれる前記合成領域に対して色又は輝度の少なくとも何れか一方を変更することを特徴とする画像処理装置。
【選択図】 図３

Description

本発明は、画像処理装置に関し、特に撮像対象観察のためのデジタル画像処理に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（撮像対象）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。

バーチャルスライドシステムで作成したデータ量は膨大であり、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。また、取得したデジタルデータを画像解析し、例えば細胞の形状把握や個数算出、細胞質と核の面積比（Ｎ／Ｃ比）を算出することで、病理診断に有用な種々の情報の提示も可能となる。

このような撮像対象の高倍率画像を得る技術として、撮像対象を部分的に撮像した高倍画像を複数用いて撮像対象全体の高倍画像を得る方法が考えられている。具体的には、特許文献１には、撮像対象を小区画に分割して撮像し、それよって得られた小区画における画像を繋ぎ合わせて撮像対象の合成画像を表示する顕微鏡システムが開示されている。また、特許文献２には、顕微鏡のステージを移動して複数回撮像することにより、撮像対象の部分画像を複数得て、それらの画像の歪みを補正して繋ぎ合わせる画像表示システムが開示されている。特許文献２では、繋ぎ目の目立たない合成画像を作成している。

特開２００７−１２１８３７号公報 特開２０１０−１３４３７４号公報

特許文献１の顕微鏡システム及び特許文献２の画像表示システムで得られた合成画像中の繋ぎ目部分は、不可避的に生じる部分画像間の位置ずれや、歪み補正等によるアーティファクトの影響により、光学顕微鏡を用いて病理医が観察した場合とは異なる画像となっている可能性が高い。にもかかわらず、そのような誤診の可能性を認識することなく、合成画像に対して診断を行うと、合成画像の繋ぎ目部分に基づいて診断をしてしまい、精度の高い診断がし難くなるという問題があった。

本発明の一側面としての画像処理装置は、撮像対象の撮像範囲を複数の領域に分割して顕微鏡で撮像することにより得られた複数の分割画像データを取得する画像データ取得手段と、前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成手段と、前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成手段と、を有し、前記合成箇所表示用データ生成手段は、表示領域に含まれる前記合成箇所に対して色又は輝度の少なくとも何れか一方を変更することを特徴とする。

本発明の好適な画像処理装置によれば、合成画像の合成箇所に基づいた精度の高い診断がし難くなることを防止することができる。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明の画像処理装置を用いた画像表示システムの装置構成の全体図の例を示す。 本発明の画像処理装置を用いた画像表示システムにおける撮像装置の機能ブロック図の例を示す。 本発明の画像処理装置の機能ブロック図の例を示す。 本発明の画像処理装置のハードウェア構成図の例を示す。 合成画像データ生成及び第１実施形態の合成箇所表示用データ生成の概念を説明する図である。 本発明の画像処理装置の合成箇所表示データ生成の流れを示すフローチャートの例である。 合成箇所描画データの生成の流れを示すフローチャートの例である。 重畳処理の流れを示すフローチャートの例である。 本発明の画像表示システムの表示画面の一例を示す。 本発明の画像処理装置の切り替え手段による表示の切り替えのフローチャートの例である。 第２実施形態の画像処理装置を用いた画像表示システムの全体図を示す。 第２実施形態の合成箇所表示用データ生成の概念を説明する図である。 第２実施形態の合成箇所表示用データ生成の流れを示すフローチャートである。 第２実施形態の重畳処理の流れを示すフローチャートである。 第２実施形態の画像表示システムの表示画面の一例を示す。

以下、図面を参照しながら本発明の実施の形態を説明する。なお、以下の説明はすべて本発明の好適な実施の形態についての説明であり、本発明を限定するものではない。

本発明の好適な画像処理装置は、撮像対象の撮像範囲を複数の領域に分割して撮像することにより得られた複数の分割画像データを取得する画像データ取得手段と、前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成手段と、前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成手段と、を有し、前記合成箇所表示用データ生成手段は、表示領域に含まれる前記合成箇所すべてに対して色又は輝度の少なくとも何れか一方を変更することを特徴とする。これにより、撮像対象の撮像範囲を複数の領域に分割して撮像した画像（データ）を合成して撮像対象の画像（データ）を生成した場合に、撮像対象のオリジナルな画像と異なる可能性のある合成された画像（データ）を表示することにより、合成箇所の精度の高い診断がし難くなることを防止することができる。本発明の画像処理装置は、顕微鏡に取得した画像に適用することができる。また、本発明の画像処理装置は、画像表示システムに用いることができ、特に、顕微鏡画像表示システムやバーチャルスライドシステムに用いることができる。

本明細書で用いる画像（データ）の合成には、複数の画像データ（以下、「部分画像データ」という場合がある）を、繋ぎ合わせる、重畳する、アルファブレンディングする、補間処理により滑らかに繋げるものを含む。重ね合せの複数の画像データを繋ぎ合わせる方法としては、ステージの位置情報に基づいて位置合わせをして繋ぐ方法や、複数の分割画像の対応する点又は線を対応させて繋ぐ方法、分割画像データの位置情報に基づいて繋ぐ方法を含む。重畳するとは、画像データを重ね合わせることを広く意味する。複数の画像データを重畳する方法としては、重複する画像データを有する領域において、複数の画像データの一部又は全部を重ねる場合を含む。アルファブレンディングとは、２つの画像を係数（α値）により合成することをいう。補間処理により滑らかに繋ぐ方法には、０次補間、線形補間、高次補間で処理することを含む。画像を滑らかに繋ぐためには、高次補間で処理することが好ましい。

合成箇所表示用データ生成手段とは、表示された画像中の合成箇所を観察者に視認させるためのデータを生成する手段である。

合成箇所とは、このような画像データの合成を行った際に、元となる部分画像データ同士の繋ぎ目、あるいは、合成画像中の、合成処理によって元となる部分画像データとは異なる見え方をする画像データが生成された領域である。なお、合成箇所を表示させた場合に、観察者に視認させることが必要となるため、元となる部分画像データ同士の繋ぎ目とは、単なる線ではなく、その周辺の一定程度を含む領域とする。この一定領域にどのような幅を持たせるかは、表示時の倍率によっても変えることができる。

また、「合成箇所を表示するためのデータ」とは、単なる合成箇所のデータ（合成箇所の位置情報など）ではなく、表示する画像中の合成箇所が視認可能なように合成画像データを加工するための前段階となるデータ、あるいは、合成画像データ中の合成箇所が視認可能になるように部分画像データとは異なるデータに書き換えられている部分（これは合成画像データの一部をなす）である。

合成箇所表示用データ生成手段は、合成画像データを生成した後に合成箇所を抽出して合成箇所を観察者に認識させるための画像データを生成しても良く、分割画像データの位置情報等に基づいて合成箇所を観察者に認識させるための画像データを生成しても良い。

合成画像データの生成と合成箇所を観察者に認識させるための画像データの生成との順序は問わず、例えば、同時に生成してもよい。合成箇所を表示する方法としては、色を変更する、輝度を変更することが好ましい。

画像処理装置は、画像データ取得手段が顕微鏡画像（光学顕微鏡画像）を撮像した前記複数の分割画像データを取得して、バーチャルスライドシステムにおいて用いることが好ましい。

画像データ取得手段は、分割画像データが重複する領域を持つようにして撮像することにより得られた複数の分割画像データを取得し、合成箇所表示用データ生成手段は、分割画像データが重複する領域を、合成箇所を観察者に認識させるための画像データとして生成することができる。

分割画像データが重複する領域を持つようにして撮像することにより得られた複数の分割画像データを取得した場合には、合成画像データ生成手段は、複数の分割画像データを重畳又はブレンディングして合成画像データを生成することが好ましい。

分割画像データが重複する領域を持つようにして撮像することにより得られた複数の分割画像データを取得した場合には、合成画像データ生成手段は、複数の分割画像データが重複する領域について補間処理をして合成画像データを生成することが好ましい。

合成画像データ生成手段は、複数の分割画像データを繋いで表示させるための合成画像データを生成し、合成箇所表示用データ生成手段は、複数の分割画像データの繋ぎ目の線を合成箇所データとして生成することができる。

画像処理装置は、合成箇所表示用データ生成手段で生成された合成箇所を観察者に認識させるための画像データを切替える合成箇所データ切り替え手段を更に有することが好ましい。合成箇所データ切り替え手段は、合成箇所を表示するか否か、合成箇所の表示の態様を切り替えることができることが好ましい。

合成箇所データ切り替え手段は、所定の境界で、前記合成箇所表示用データ生成手段で生成された合成箇所を観察者に認識させるための画像データを切替えることが好ましい。ここで、所定の境界としては、所定の倍率、所定の（画像表示装置に表示させた画像の）スクロール速度を用いることができる。例えば、一定の倍率より高い場合又は（画像表示装置に表示させた画像の）スクロール速度が一定の速度より遅い場合のみ、合成箇所を観察者に認識させるための画像データを生成することが好ましい。

本発明の好適な画像表示システムは、少なくとも、上述した画像処理装置と、画像処理装置から送られてくる撮像対象の合成画像データ及び合成画像データ中の合成箇所を観察者に認識させるための画像データを表示する画像表示装置と、を有する。

また、本発明の好適な画像処理方法は、撮像対象の撮像範囲を複数の領域に分割して撮像することにより得られた複数の分割画像データを取得する画像データ取得工程と、
前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成工程と、前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成工程と、を有し、前記合成箇所表示用データ生成工程は、表示領域に含まれる前記合成箇所すべてに対して色又は輝度の少なくとも何れか一方を変更する。前記合成画像データ生成工程と前記合成箇所表示用データ生成工程は、同時に行うことができる。

また、本発明の好適なプログラムは、撮像対象の撮像範囲を複数の領域に分割して撮像することにより得られた複数の分割画像データを取得する画像データ取得ステップと、前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成ステップと、前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成ステップとをコンピュータに実行させるプログラムであって、前記合成箇所表示用データ生成ステップにおいて、表示領域に含まれる前記合成箇所すべてに対して色又は輝度の少なくとも何れか一方を変更する処理をコンピュータに実行させる。

本発明の画像処理方法又はプログラムにおいて、本発明の画像処理装置で記載した好ましい態様を反映させることができる。

［第１実施形態］
本発明の画像処理装置は、撮像装置と画像表示装置を備えた画像表示システムにおいて用いることができる。この画像表示システムについて、図１を用いて説明する。

（撮像システムの構成）
図１は、本発明の画像処理装置を用いた画像表示システムであり、撮像装置（顕微鏡装置、又はバーチャルスライドスキャナ）１０１、画像処理装置１０２、画像表示装置１０３から構成され、撮像対象となる撮像対象（被検試料）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２の間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と画像表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、二次元方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、分割して得られた原画像データを用いて合成画像データを生成する機能等をもつ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。画像表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するモニターであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と画像表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、画像表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、画像表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

（撮像装置の構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。

撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１６、プレ計測ユニット２１７、メイン制御系２１８、データ出力部２１９から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。プレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２１８の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２１７によって計測した撮像対象の位置情報および厚み情報（距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、プレパラート２０６の撮像対象の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動することにより、撮像対象の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１６で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１６のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。

現像処理ユニット２１６は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、フィルタ処理部２１４、γ補正部２１５から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１６は、撮像ユニット２１０で撮像された撮像対象の分割画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

フィルタ処理部２１４は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１５は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに適用される。

プレ計測ユニット２１７は、プレパラート２０６上の撮像対象の位置情報、所望の焦点位置までの距離情報、および撮像対象厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測の前にプレ計測ユニット２１７によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２１７は、取得した画像から撮像対象のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２１８は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２１８および現像処理ユニット２１６の機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２１８および現像処理ユニット２１６の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。

データ出力部２１９は、現像処理ユニット２１６によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の構成）
図３は、本発明の画像処理装置１０２の機能構成を示すブロック図である。

画像処理装置１０２は、概略、データ入出力部３０１，３０８、記憶保持部３０２、合成処理部３０３、合成箇所抽出部３０４、合成箇所描画部３０５、重畳処理部３０６、モード選択部３０７から構成される。

記憶保持部３０２は、外部装置から取得した、撮像対象を分割して撮像することにより得られたＲＧＢのカラー分割画像データが、データ入力部３０１を介して取り込まれ、記憶、保持される。カラー画像データには、画像データだけでなく、位置情報も含まれる。ここで、位置情報とは、分割画像データが撮像対象のどの部分を撮像したものかの情報である。例えば、位置情報は、撮像時に分割画像データとともにステージ２０２駆動時のＸＹ座標を記録することにより取得することができる。

合成処理部３０３は、撮像対象を分割して撮像することにより得られたカラー画像データ（分割画像データ）に対して、それぞれの分割画像データの位置情報に基づいて、撮像対象の合成画像データを生成する。

合成箇所抽出部３０４は、合成処理部３０３で生成された合成画像データにおいて、補間処理等された合成箇所を抽出する。例えば、単純に分割画像データを繋いだ場合には、繋ぎ目を合成箇所として抽出する。分割画像データに補間処理等を用いて滑らかに繋いだ場合には、補間処理等が適用された繋ぎ目の領域を合成箇所として抽出する。本実施の形態では、繋ぎ目に相当する領域がオーバーラップするように撮像し、得られた分割画像データに補間処理を適用して滑らかに繋ぐ構成を想定する。

モード選択部３０７は、合成箇所を表示する態様を選択する。合成箇所を表示する態様としては、色の変更、輝度の変更、点線表示、点減表示等を規定する。詳細は図５を用いて説明する。

合成箇所描画部３０５は、合成箇所抽出部３０４で抽出された合成箇所について、モード選択部３０７で選択された態様で合成箇所を描画する。

重畳処理部３０６は、合成箇所描画部３０５で描画された合成箇所の描画データと、及び合成処理部３０３で生成された合成画像データとを重畳処理する。得られた繋ぎ目を作って重ね合わせた重畳処理後の合成画像データでは、合成処理がされていないオリジナルの分割画像データと合成処理がされた箇所が区別される。得られた合成箇所を明示した重畳処理後の合成画像データは、データ出力部３０８を介して、外部のモニター等に送られる。

（画像処理装置のハードウェア構成）
図４は、本発明の画像処理装置のハードウェア構成を示すブロック図である。情報処理装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）４００が用いられる。

ＰＣ４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、ＨＤＤ４０２（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３、データ入出力部４０５、及びこれらを互いに接続するバス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０３等に適宜アクセスし、各種演算処理を行いながらＰＣ４００の各ブロック全体を統括的に制御する。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４０２は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。ＲＡＭ４０３は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴である重畳処理後の合成画像など処理の対象となる各種データを一時的に保持する。

データ入出力部４０５には、画像表示装置１０３、入力装置４０７、外部装置である撮像装置１０１等が接続される。

画像表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いた表示デバイスである。当該画像表示装置１０３は、外部装置として接続される形態を想定しているが、画像表示装置と一体化したＰＣ４００を想定してもよい。

入力装置４０７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作入力装置である。入力装置４０７がタッチパネルを含む場合、そのタッチパネルは画像表示装置１０３と一体となり得る。

撮像装置１０１は顕微鏡装置、又はバーチャルスライドスキャナ等の撮像機器である。

（合成箇所表示）
本発明の画像処理装置が有する重畳処理部３０６によって生成された表示データである、画像表示装置１０３によって表示される重畳処理後の合成画像ついて図５を用いて説明する。

本発明の画像処理装置は、分割して撮像することにより得られた複数の画像データを合成して合成画像データが生成される（図５（ａ））。得られた合成画像データに、合成箇所を描画し重ね合わせることにより、合成箇所が明示された重畳処理後の合成画像データが得られる（図５（ｂ））。

合成箇所表示のためのデータの生成方法および表示方法としては、合成箇所の色情報を変更してデータを生成する、合成箇所の輝度情報を変更してデータを生成する、合成箇所の中央部（中心線）をグリッドで表示するデータを生成する、合成箇所を矢印等のマーカーを付与して表示する、描画された合成箇所を時分割で切り替え、重畳のありなしを点滅表示させる等を用いることができる。合成箇所について色を変えて表示のデータを生成する方法は、合成箇所の領域を明示できるので好ましい。合成箇所について輝度を変えて表示のデータを生成する方法は、合成箇所の領域を明示するとともに、診断に必要となる合成箇所の画像データを利用できるので好ましい。

（合成箇所表示の方法）
本発明の画像処理装置における合成箇所表示データ生成の流れを図６のフローチャートを用いて説明する。

ステップ６０１では、画像処理装置１０３は外部の撮像装置１０１等から、データ入出力部３０１を介して、撮像対象の撮像範囲を複数の領域に分割して撮像することにより得られた複数の画像データ（分割画像データ）を取得し記憶保持部３０２へ送られる。

ステップ６０２では、記憶保持部３０２に格納されている分割画像データ中に含まれる位置情報、又は分割画像データに別データとして付随している位置情報が把握される。ここで、位置情報とは、分割画像データが撮像対象のどの部分を撮像したものかの情報である。

ステップ６０３では、把握した位置情報に基づいて分割画像データを合成処理部３０３で合成処理して、撮像対象の合成画像データを生成する。合成処理の方法としては、複数の部分画像データを、繋ぎ合わせる、重畳する、アルファブレンディングする、補間処理により滑らかに繋げるものを含む。重ね合せの複数の画像データを繋ぎ合わせる方法としては、ステージの位置情報に基づいて位置合わせをして繋ぐ方法や、複数の分割画像の対応する点又は線を対応させて繋ぐ方法、分割画像データの位置情報に基づいて繋ぐ方法を含む。重畳するとは、画像データを重ね合わせることを広く意味する。複数の画像データを重畳する方法としては、重複する画像データを有する領域において、複数の画像データの一部又は全部を重ねる場合を含む。アルファブレンディングとは、２つの画像を係数（α値）により合成することをいう。補間処理により滑らかに繋ぐ方法には、０次補間、線形補間、高次補間で処理することを含む。画像を滑らかに繋ぐためには、高次補間で処理することが好ましい。

ステップ６０４では、モード選択部３０７で合成箇所の表示方法が選択される。モード選択部３０７では、まず合成箇所を表示するか否かが選択される。また、合成箇所を表示する場合には、どのように表示するかを選択する。例えば、表示方法として、色の変更、輝度の変更等の表示モードの選択が行われる。

ステップ６０５では、合成画像上に合成箇所の表示を行うか否かが判断される。合成画像上に合成箇所の表示を行わない場合には、合成箇所は描画されずに、または描画された合成箇所が重畳処理部３０６で重畳されることなく、データ出力部３０８を介して外部に画像データが送られる。合成画像の合成箇所表示を行う場合には、次のステップＳ６０６へ進む。

ステップ６０６では、位置情報に基づき、生成した合成画像データ中から合成箇所の領域を抽出する。

ステップ６０７では、合成箇所描画部３０５で、ステップ６０６で抽出した合成箇所に、ステップ６０４で選択した表示方法で合成箇所の描画データを生成する。合成箇所描画データ生成の詳細については別フローチャートを用いて後述する。

ステップ６０８では、重畳処理部３０６で、ステップ６０７で生成した合成箇所描画データとステップ６０３で得た合成画像データとを重畳して、合成箇所を明示した重畳処理後の合成画像データを得る。重畳処理の詳細については別フフローチャートを用いて後述する。

（繋ぎ目の描画）
図７は、合成箇所である繋ぎ目の描画データ生成の流れを示すフローチャートである。図７では、合成箇所について輝度又は色のいずれかを変更して表示する場合の流れについて説明する。

ステップＳ７０１では、モード選択部３０７によって設定されたモードを把握する。ここでは、合成箇所の描画方法について、輝度を変更するか又は色を変更するかが把握される。

ステップＳ７０２では、合成箇所の描画方法について輝度の変更を行うか否かを判断する。輝度の変更を行う場合にはステップＳ７０３へ進み、輝度の変更を行わない場合にはステップＳ７０６へ進む。

ステップＳ７０３では、輝度の変更を行うことを受けて、合成箇所の輝度を下げるか否かが判断される。合成箇所の輝度を合成箇所以外の領域の輝度に対して相対的に低下させる場合にはステップＳ７０４へ進み、輝度を低下させない場合、すなわち合成箇所以外の領域の輝度を変更する場合又は輝度を上げる場合にはステップＳ７０５へ進む。

ステップＳ７０４では、合成画像の合成箇所について輝度を低下させた合成箇所の描画データを生成する。

ステップＳ７０５では、合成箇所について輝度を変更しないか又は輝度を向上させた合成箇所の描画データを生成する。

ステップＳ７０６では、色の変更を行うことを受けて、合成箇所を表示する際の色が設定される。

ステップＳ７０７では、ステップＳ７０６で設定された色に基づいて合成箇所の描画データを生成する。

（合成箇所描画データ重畳）
図８は、合成箇所描画データを合成画像に重畳する流れを示すフローチャートである。図８では、合成画像データと合成箇所描画データが重畳処理される。合成箇所の描画方法として輝度の変更が選択された場合、一つの表示方法として合成画像の輝度を低下させることで、合成箇所を明示することができる。合成画像の輝度を低下させることで、表示された画像を観察しつつ、合成箇所を注視する場合に有用である。

ステップＳ８０１では、合成処理部３０３で合成された合成画像データを取得する。

ステップＳ８０２では、合成箇所描画部３０５で生成した合成箇所描画データを取得する。

ステップＳ８０３では、ステップＳ７０１で把握した合成箇所の描画方法の設定に基づき、合成箇所の輝度を低下させるか否かを判断する。合成箇所の輝度を合成箇所以外の領域の輝度に対して相対的に低下させる場合にはステップＳ８０４へ進み、合成箇所の輝度を低下させない場合、すなわち合成箇所以外の領域の輝度を変更する場合にはステップＳ８０５へ進む。ステップＳ８０５では、合成画像の合成箇所について輝度を低下させる。

ステップＳ８０４では、合成箇所の輝度を合成箇所以外の領域の輝度に対して相対的に低下させることを受けて、合成箇所の輝度を低下させた合成箇所描画データとステップＳ６０３で生成された合成画像データが重畳処理される。重畳処理には、合成画像データ上に合成箇所描画データが上書きされる形で重畳画像を生成するものの他に、それぞれの画像データをアルファブレンディングして重畳画像を生成するものも含む。

（表示画面レイアウト）
図９は、本発明の画像処理装置１０２で生成した表示用の画像データを画像表示装置１０３に表示した場合の一例を説明する。

図９（ａ）は、画像表示装置１０３の画面のレイアウトである。画面は、全体ウィンドウ９０１内に、詳細観察用の撮像対象画像データの表示領域９０２、観察対象の撮像対象サムネイル画像９０３、表示設定の領域９０４がそれぞれ表示されている。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ９０１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインタフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。撮像対象画像データの表示領域９０２には、詳細観察用の撮像対象画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（撮像対象全体の中から観察の対象となる部分領域を選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。サムネイル画像９０２は、撮像対象の全体像における撮像対象画像データの表示領域９０２の位置や大きさを表示する。表示設定の領域９０４では、例えば、タッチパネル又はマウス９０６等の外部接続された入力装置４０７からのユーザー指示により設定ボタン９０５を選択、押下して、表示設定を変更することができる。

図９（ｂ）は、設定ボタン９０５が選択、押下された場合に、ダイアログで表示される表示設定の画面であり、合成画像における合成箇所である繋ぎ目領域を表示するか否かを選択する。なお、本実施例では設定ボタンを設け、ボタンを押下することで設定画面が開く形態を想定しているが、図９（ｃ）に示す各種詳細設定が表示、選択、変更可能なＵＩを表示設定の領域９０４上に直接設ける形態でも構わない。また、合成箇所表示の有無を含めて詳細設定の一覧が一体化された画面を表示する構成をとっても良い。

図９（ｃ）は、合成箇所の繋ぎ目領域を表示する場合に、ダイアログで表示される繋ぎ目の領域の表示方法の設定の画面であり、合成画像における合成箇所の繋ぎ目の領域をどのように表示するかを選択または設定する。具体的には、合成箇所の繋ぎ目領域の表示方法を、繋ぎ目領域の色を変更する、繋ぎ目領域の輝度を変更する、合成画像の輝度を変更する等の中から選択する。色の変更と輝度の変更の選択は排他的である。繋ぎ目領域の色を変更する場合には、繋ぎ目領域の色を選択できる。色の変更では、さらに色見本のリストが提示され、ユーザーが望む色を選択させることも可能である。また、合成箇所の領域の輝度を変更する場合、及び合成箇所以外の領域の輝度を変更する場合には、輝度をどの程度変更するかを設定できる。さらに輝度の変更は、スライダ等による直感的なインターフェースを用いる場合や、現在の輝度値に対して相対的に輝度を変更する数値を入力する場合が想定される。また、また、合成箇所の重畳処理時に重畳対象となる画像のα値を設定し、半透過の重畳画像を設定することも可能である。

図９（ｄ）は、合成箇所の領域について、色を変更した場合の表示画面の例である。本例では４つの部分画像データの合成箇所である十字の繋ぎ目領域の色を特定色で描画することで、繋ぎ目の位置やそれぞれの部分画像データの関係を把握することが可能となる。図９（ｅ）は、合成箇所以外の領域の合成画像の輝度値を低下させることで合成箇所を明示した表示画面の例である。本例では４つの部分画像データの合成箇所以外の領域の輝度値を低下させることで、合成箇所の細胞や組織の観察に注視することが可能となる。

（合成箇所の領域表示の変更）
ユーザーに所望の形態で合成画像データ上の合成箇所を表示した後、さらにユーザーの指示によって合成箇所の表示の態様を変更することができる。合成箇所の領域表示の態様（重畳処理）を変更する流れを図１０のフローチャートを用いて説明する。

ステップＳ１００１では、ユーザーによる合成箇所表示に対する変更指示があるか否かを判断する。指示があった場合には、ステップＳ１００２へ進む。指示がない場合は現在の表示内容を保持する。

ステップＳ１００２では、合成箇所の表示の態様についてのユーザーの指示内容を把握する。

ステップＳ１００３では、合成箇所の画像データを取得する。処理の内容は図６ステップ６０６と同じである。

ステップＳ１００４では、合成箇所描画部３０５で、ステップＳ１００２で把握した表示方法で合成箇所描画データを生成する。合成箇所描画データの生成処理の処理内容は図７で示したものと同じである。

ステップＳ１００５では、ステップＳ１００４で生成した合成箇所描画データと図６のステップ６０３で説明した合成画像とを重畳処理して合成箇所を明示した重畳処理後の合成画像データを得る。重畳処理の処理内容は図８で示したものと同じである。

このように、ユーザーの指示、意図によって観察画像中の合成箇所の表示方法を変更することが可能となる。例えば、合成箇所の輝度値を低下させた表示方法を選択した状態で画像を観察している際、注目する領域が合成箇所以外の領域から合成箇所の領域に移ってきたとき、今度は合成箇所の輝度値を元の値に戻し、代わりに合成箇所以外の領域の輝度値を低下させることで、合成箇所を意識しながら、スムーズに組織、細胞の形態観察を行うことが可能となる。

本実施の形態では、予めすべての合成画像データに対して合成箇所描画のデータを重畳しておき、画像表示装置１０３に表示される重畳された合成画像の一部の領域を選択し、画像表示装置１０３に出力することも、画像表示装置１０３に表示される一部の領域に対応する合成箇所描画のデータを都度重畳して出力することも可能である。

観察画像中の合成箇所を明示することによって、合成箇所に基づいた精度の高い診断がし難くなることを防止することができる。特に本実施の形態では合成箇所が補間処理によって繋ぎ合わされたある程度の領域を有した場合を想定しており、観察画像の表示と合成箇所の輝度変更による明示とを両立することで、診断プロセスを阻害することなく画像診断を実施することが可能となる。

［第２実施形態］
本発明の第２実施形態に係る画像表示システムについて図を用いて説明する。

第１実施形態では、分割して撮像した複数の画像データに補間処理等を適用し合成した画像データに対し、合成箇所の領域の色や輝度を変更して表示するための表示データを生成した。第２実施形態では、分割して撮像した複数の画像を一次元（ライン）の繋ぎ目に沿って並べた合成画像に対して、該繋ぎ目部分のラインを明示的に表示するための表示データを生成する。

画像合成の手法は、例えばステージの位置情報に基づいて、ステージの位置精度のみを頼りに並べる方法や、取得した分割画像データをアフィン変換等の幾何変換によって画素の位置を変更し、理想的な繋ぎ目の位置に合わせて繋ぐ方法などがある。第２実施形態では、第１実施形態と異なる構成以外は第１実施形態で説明した構成を用いることができる。

（画像処理装置システムの構成）
図１１は、本発明の第２の実施形態に係る画像表示システムの装置構成の全体図である。

図１１で、本発明の画像処理装置を用いた画像表示システムは、画像サーバー１１０１、画像処理装置１０２、画像表示装置１０３から構成される。画像処理装置１０２は撮像対象の分割画像を画像サーバー１１０１から取得し、画像表示装置１０３へ表示するための画像データを生成することができる。画像サーバー１１０１と画像処理装置１０２との間は、ネットワーク１１０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１１０３で接続される。画像サーバー１１０１は、バーチャルスライド装置である撮像装置１０１によって撮像された分割画像データを保存する大容量の記憶装置を備えたコンピュータである。画像サーバー１１０１は、分割された画像を一つのまとまりとして画像サーバー１１０１に接続されたローカルストレージに保存していても良いし、それぞれ分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）の形態をとり、各分割画像データの実体とリンク情報を分けて持っていても良い。分割画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および画像表示装置１０３は第１の実施態様の撮像システムものと同様である。

図１１の例では、画像サーバー１１０１と画像処理装置１０２と画像表示装置１０３の３つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、画像表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置１０２の持つ機能の一部を画像サーバー１１０１に組み込んでもよい。また逆に、画像サーバー１１０１や画像処理装置１０２の機能を分割して複数の装置によって実現してもよい。

（合成箇所表示）
第２実施形態の画像処理装置が有する重畳処理部３０６によって生成された表示データである、画像表示装置１０３によって表示される重畳処理後の合成画像について図１２を用いて説明する。

図１２では、分割して撮像することにより得られた複数の画像データを、例えば任意に座標変換等の処理を行った後に、繋ぎ合わせる。実際には任意の境界に合わせて変換処理後の画像データを並べることで合成画像を生成することになる。繋ぎ合わされた合成画像データに、合成箇所である繋ぎ合わせ箇所を線で描画データを重畳することにより、合成箇所が明示された合成画像データが得られる。繋ぎ合わせ箇所の線は、色、線幅、線種を設定することができる。例えば、線種は、一重線又は多重線にしたり、点線又は破線又は鎖線にしたり、これらを組み合わせたりできる。さらには、繋ぎ合わせ箇所の線を時分割で切り替え、線のありなしを点滅表示させることもできる。

（繋ぎ目の描画）
図１３は、実施形態１における図６の合成箇所の描画データ生成６０７の処理の流れに相当する実施態様２における処理の流れを示すフローチャートである。

ステップＳ１３０１、Ｓ１３０２、及びＳ１３０３の各ステップでは、モード選択部３０７の選択に従い、それぞれ、色、線幅、線種が選択される。

ステップＳ１３０４では、ステップＳ１３０１、Ｓ１３０２及びＳ１３０３で選択された設定値を反映し、合成箇所である線の描画データを生成する。

（合成箇所描画データの重畳）
図１４は、実施態様２における合成画像に合成箇所描画データを重畳する流れを示すフローチャートである。本処理の流れは実施形態１における図８に相当する。

ステップＳ１４０１では、合成処理部３０３で合成された合成画像データを取得する。

ステップＳ１４０２では、合成箇所描画部３０５で生成した合成箇所描画データを取得する。合成箇所描画データの生成処理の内容は図１３で説明した通りである。

ステップＳ１４０３では、ステップＳ１４０１で取得した合成画像データと、ステップＳ１４０２で取得した合成箇所描画データとを重畳処理する。

（画面レイアウト）
図１５（ａ）は、実施態様２において、画像処理装置１０２で生成した画像データを画像表示装置１０３で表示した場合の画面レイアウトの一例である。表示領域には、全体ウィンドウの１５０１内に、詳細観察用の撮像対象画像データの表示領域１５０２、観察対象の撮像対象サムネイル画像１５０３、表示設定の領域１５０４がそれぞれ表示されている。撮像対象画像データの表示領域１５０２では、詳細観察用の撮像対象画像データの他、合成画像の繋ぎ目１５０５が線で表示されている。図１５（ｂ）は、設定ボタンが選択、押下された場合に、ダイアログで表示される表示設定の画面であり、合成画像における合成箇所である繋ぎ目を線で表示するか否かを選択する。図１５（ｃ）は、合成箇所の繋ぎ目を線で表示する場合に、ダイアログで表示される繋ぎ目の線の各種表示設定の画面であり、合成画像における合成箇所の繋ぎ目である線をどのような形態で表示するかを設定する。具体的には、線の色、線の幅、線の種類等が選択、設定できる。なお、本実施形態でも実施形態１と同様に、設定ボタンを設け、ボタンを押下することで設定画面が開く形態を想定しているが、図１５（ｃ）に示す各種詳細設定が表示、選択、変更可能なＵＩを表示設定の領域１５０４上に直接設ける形態でも構わない。また、合成箇所表示の有無を含めて詳細設定の一覧が一体化された画面を表示する構成をとっても良い。

本実施の形態では、不可避的に生じる部分画像間の位置ずれや、部分画像間のフォーカスずれによる違和感が画像の繋ぎ目によって生じていることを判断することができ、その結果、合成箇所に基づいた精度の高い診断がし難くなることを防止することができる。

［第３実施形態］
第３実施形態では、合成画像の合成箇所を表示する態様を、境界を設定して変更した。
第３実施形態として、第１実施形態と同様に、繋ぎ目箇所がある程度の幅を持った領域であることを前提に、表示倍率を境界として設定して、表示倍率が高い場合には第１実施態様の合成箇所を領域で表示し、表示倍率が低くなった時には第２実施形態の合成箇所を線で表示することができる。

例えば、繋ぎ目箇所の領域の幅が表示倍率４０倍で画素６４個分（６４ピクセル）のデータである場合、詳細観察を行う４０倍、２０倍の表示倍率（光学顕微鏡で言う観察倍率）では、繋ぎ目領域の表示に用いられる画素数はそれぞれ６４画素、３２画素となり、十分な幅を持つため輝度の変化を与えるものの繋ぎ目領域の画像を表示することが観察上は望ましい。しかしながら、病理診断におけるスクリーニングプロセスにおいては５から１０倍程度の表示倍率で俯瞰するのが一般的であり、上記の場合繋ぎ目領域の表示に用いられる画素数はそれぞれ８から１６画素となり、組織や細胞の形態観察を行うには不十分である。より低倍ではその傾向は顕著になり、輝度の変更では繋ぎ目の視認性は著しく低下する。これを補うため、観察に十分な領域の幅が表示できない倍率では、第２実施形態で説明した合成箇所を線で表示する方法に切り替えることが有効である。一般的にはスクリーニングを行う１０倍を目処に合成箇所を表示する態様を変更するのが望ましい。

本実施の形態では、境界である表示倍率をもとに合成箇所の描画方法を切り替えることで、表示倍率毎の目的に応じた観察に適した繋ぎ目の表示を行うことが可能となる。

［その他の実施形態］
第１から第３までの実施形態では、顕微鏡画像等のユーザーが目視観察できるのと同等な画像データのつなぎ合わせについて説明してきた。本発明は、こうした可視情報に基づく画像のつなぎ合わせだけではなく、磁気共鳴イメージング装置（ＭＲＩ）、Ｘ線診断装置の他、光超音波を用いた診断装置など、人体の内部構造等一般には不可視である情報を様々な手段、原理を用いて可視化したこれらの装置で得られた表示データのつなぎ合わせにおいても適用可能であり、同様の効果をもたらす。特に可視化画像と異なり、強度の情報から生成される画像データのため、つなぎ目周辺のコントラストや輝度変化および補正処理による画像の劣化やスティッチングの位置合わせによる誤差は、色情報を持つ顕微鏡等で取得された画像情報と比べて、画像の変化、特異点がつなぎ合わせによって生じたものなのか、それとも診断部位の異常な状態を示すものなのかを判断するのがより困難である。そのため、ユーザーに対してつなぎ目を明確に提示することで、つなぎ目周辺の画像領域の信頼性が低い可能性があることを示すことは非常に重要である。

また、本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施例の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施例の機能が実現される場合も本発明に含まれ得る。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明に含まれ得る。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

１０１ 撮像装置
１０２ 画像処理装置
１０３ 画像表示装置
３０３ 合成処理部
３０４ 合成箇所抽出部
３０５ 合成箇所描画部
３０６ 重畳処理部
３０７ モード選択部
１１０１ 画像サーバー

Claims (4)

1. 撮像対象の撮像範囲を複数の領域に分割して顕微鏡で撮像することにより得られた複数の分割画像データを取得する画像データ取得手段と、
   前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成手段と、
   前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成手段と、を有し、
   前記合成箇所表示用データ生成手段は、表示領域に含まれる前記合成箇所に対して色又は輝度の少なくとも何れか一方を変更する
   ことを特徴とする画像処理装置。
2. 画像処理装置と画像表示装置とを有する顕微鏡画像表示システムにおいて、
   前記画像処理装置は、請求項１に記載の画像処理装置であり、
   前記画像表示装置は、前記画像処理装置から送られてくる前記撮像対象の合成画像データ及び前記合成箇所を観察者に認識させるための画像データを表示する
   ことを特徴とする顕微鏡画像表示システム。
3. 撮像対象の撮像範囲を複数の領域に分割して顕微鏡で撮像することにより得られた複数の分割画像データを取得する画像データ取得工程と、
   前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成工程と、
   前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成工程と、を有し、
   前記合成箇所表示用データ生成工程は、表示領域に含まれる前記合成箇所に対して色又は輝度の少なくとも何れか一方を変更する
   ことを特徴とする画像処理方法。
4. 撮像対象の撮像範囲を複数の領域に分割して顕微鏡で撮像することにより得られた複数の分割画像データを取得する画像データ取得ステップと、
   前記複数の分割画像データに基づいて合成画像データを生成する合成画像データ生成ステップと、
   前記合成画像データの合成箇所を観察者に認識させるための表示用画像データを生成する合成箇所表示用データ生成ステップと、
   をコンピュータに実行させるプログラムであって、
   前記合成箇所表示用データ生成ステップにおいて、表示領域に含まれる前記合成箇所に対して色又は輝度の少なくとも何れか一方を変更する処理をコンピュータに実行させる
   ことを特徴とするプログラム。

Images