JP6045355B2 - 画像処理装置、顕微鏡システム、及び画像処理プログラム - Google Patents

Description

本発明は、複数の画像を合成してより高いダイナミックレンジを有する画像を生成する画像処理装置、顕微鏡システム、及び、画像処理プログラムに関する。

従来から、顕微鏡システムなどの、撮像装置を備えた画像処理装置の分野では、異なる露光条件で撮像した複数枚の画像（以降、原画像と記す。）を合成して、原画像より高いダイナミックレンジを有する画像（以降、ＨＤＲ画像と記す。）を生成するハイダイナミックレンジ処理（以降、ＨＤＲ処理と記す）が知られている。

ＨＤＲ処理によれば、いわゆる白トビや黒つぶれと呼ばれる現象を抑制することが可能であり、原理的には、明部、暗部ともに被写体を良好に画像化した高画質の画像を得ることができる。例えば、半田付けされたプリント基板を普通に撮像すると図１（ａ）に示すように半田部分１が白トビしてしまう場合であっても、ＨＤＲ処理を行うことによって、図１（ｂ）に示すように半田部分１の階調を正しく表現した画像を得ることができる。

しかしながら、実際のＨＤＲ処理では、被写体の明部が暗部として暗部が明部として画像化されることがある。例えば、図１（ｃ）は、被写体の明部である半田部分１が暗部として画像化された例を示している。このため、白トビや黒つぶれが抑制されるにも関わらず、画質が劣化した画像が生成されてしまう。

このような画質の劣化は、静止画表示においても決して好ましいものではないが、動画表示においては、特に避けるべきものである。その理由は、動画表示では、画質が劣化する領域が時間とともに移動することで、単純な画質の劣化にとどまらず、図２及び図３に示すような動画表示中の明滅現象として観察者に観察されることになるためであり、画質の劣化が観察者に与える不快感や負担が大きいからである。なお、図２（ａ）から図２（ｅ）は、それぞれ異なるタイミングで生成されたＨＤＲ画像を例示した図であり、図３（ａ）から図３（ｅ）は、図２（ａ）から図２（ｅ）を拡大した図である。図２及び図３には、画質が劣化した領域（暗部として画像化された半田部分）が移動している様子が示されている。

ＨＤＲ画像の画質の劣化にはさまざまな要因が考えられるが、合成対象である原画像間の位置ずれが主要な要因として挙げられる。位置ずれは、典型的には、ステージ操作により視野を移動させながら原画像を撮像した場合や、撮像装置自身にブレが生じた場合などに発生すると考えられる。なお、位置ずれには、原画像間の画角のずれも含まれる。

そこで、位置ずれを補正することで、位置ずれに起因するＨＤＲ画像の画質の劣化を抑制する技術が提案されている。特許文献１には、原画像間の位置ずれ量を動きベクトルとして算出して、これらの原画像を位置合わせしてから合成するデジタルカメラが開示されている。

特開２０１２−１６５２５９号公報

特許文献１に開示される位置ずれを補正してから原画像を合成する技術は、位置ずれに起因する画質の劣化の抑制に効果的である。その一方で、位置ずれ量を算出する処理や位置合わせ処理が必要なことから、上記の技術には、次のような課題がある。

第１に、ＨＤＲ画像の生成に時間がかかる。このため、リアルタイムで被写体の画像を表示することが困難になる。また、動画表示におけるフレームレートが制限される可能性もある。

第２に、ＨＤＲ処理に用いられる回路やソフトウェアの規模が増大する。このため、高速に動作するＣＰＵや大容量のメモリなどの、高いスペックのハードウェアが必要となる。

第３に、位置ずれ量の算出処理や位置合わせ処理が失敗した場合、つまり、これらの処理が精度を欠く場合には、画質が保証されない。このため、極端に画質が劣化した画像が生成される可能性がある。

このように、位置ずれを補正してから原画像を合成する技術は、画質の改善において有効な技術である反面、さまざまな課題があることから、位置ずれを補正することなく位置ずれに起因する画質の劣化を抑制することができる技術が求められている。

以上のような実情を踏まえ、本発明は、位置ずれを補正することなく、位置ずれに起因する画質の劣化が抑制されたＨＤＲ画像を生成する技術を提供することを目的とする。

本発明の第１の態様は、同一の被写体を異なる撮像条件で画像化して得られた明るさの異なる複数の画像の明るさを前記撮像条件に基づいて補正して複数の正規化画像を生成する正規化部と、前記複数の正規化画像を合成して合成画像を生成する画像合成部と、を備え、前記画像合成部は、前記複数の画像のうちの最も明るい画像である基準画像に対応する前記正規化画像を基準正規化画像と定義する場合において、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さくなるときに前記合成画像の画素の階調を前記基準正規化画像の画素の階調に近づけるように、前記基準正規化画像と前記基準正規化画像以外の前記正規化画像である非基準正規化画像とを合成する画像処理装置を提供する。

本発明の第２の態様は、第１の態様に記載の画像処理装置において、前記画像合成部は、前記非基準正規化画像の画素の階調が前記基準正規化画像の画素の階調に基づいて算出される閾値を下回るときに、前記基準正規化画像の画素の階調と前記閾値とを前記基準正規化画像の画素の階調によって決定される合成比率で掛け合わせて前記合成画像の画素の階調を算出する画像処理装置を提供する。

本発明の第３の態様は、第１の態様に記載の画像処理装置において、前記画像合成部は、前記合成画像の画素の階調が前記基準正規化画像の画素の階調に基づいて算出される閾値を下回るときに、前記合成画像の画素の階調を前記閾値で置換する画像処理装置を提供する。

本発明の第４の態様は、第２の態様または第３の態様に記載の画像処理装置において、前記閾値は、前記基準正規化画像の画素の階調よりも小さい画像処理装置を提供する。

本発明の第５の態様は、第１の態様に記載の画像処理装置において、前記画像合成部は、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さくなるときに前記非基準正規化画像の重み付けを前記基準正規化画像の画素の階調によって決定される重み付けよりも小さくして、合成する画像処理装置を提供する。

本発明の第６の態様は、第５の態様に記載の画像処理装置において、前記画像合成部は、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さいほど、前記非基準正規化画像の前記重み付けを小さくする画像処理装置を提供する。

本発明の第７の態様は、第１の態様乃至第６の態様のいずれか１つに記載の画像処理装置において、前記画像合成部は、前記合成画像を前記基準正規化画像として、さらに、前記合成画像である前記基準正規化画像と非基準正規化画像を合成して、第２の合成画像を生成する画像処理装置を提供する。

本発明の第８の態様は、第１の態様乃至第７の態様のいずれか１つに記載の画像処理装置において、さらに、同一の被写体を異なる撮像条件で画像化して明るさの異なる前記複数の画像を取得する画像取得部を備える画像処理装置を提供する。

本発明の第９の態様は、第１の態様乃至第８の態様のいずれか１つに記載の画像処理装置を備え、前記画像合成部で生成された前記合成画像を表示する顕微鏡システムを提供する。

本発明の第１０の態様は、同一の被写体を異なる撮像条件で画像化して得られた明るさの異なる複数の画像の明るさを前記撮像条件に基づいて補正して複数の正規化画像を生成するステップと、前記複数の正規化画像を合成して合成画像を生成するステップであって、前記複数の画像のうちの最も明るい画像である基準画像に対応する前記正規化画像を基準正規化画像と定義する場合において、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さくなるときに前記合成画像の画素の階調を前記基準正規化画像の画素の階調に近づけるように、前記基準正規化画像と前記基準正規化画像以外の前記正規化画像である非基準正規化画像とを合成するステップと、をコンピュータに実行させるプログラムを提供する。

本発明によれば、位置ずれを補正することなく、位置ずれに起因する画質の劣化が抑制されたＨＤＲ画像を生成する技術を提供することができる。

半田付けされたプリント基板の画像を例示した図である。 プリント基板を被写体とする、異なるタイミングで生成されたＨＤＲ画像を例示した図である。 図２の拡大図である。 本発明の一実施例に係る顕微鏡システムの構成を例示した図である。 図４に示す顕微鏡システムに含まれるホストシステムで行われる処理のフローチャートである。 図５に示す処理に含まれる画像合成処理のフローチャートである。 図６に示す画像合成処理に含まれる重み特性算出処理で算出される重み特性を例示した図である。 従来の重み付け合成処理のフローチャートである。 図４に示す顕微鏡システムに含まれるホストシステムで行われる、実施例１に係る重み付け合成処理のフローチャートである。 図９に示す実施例１に係る重み付け合成処理により生成されたプリント基板のＨＤＲ画像を例示した図である。 図９に示す実施例１に係る重み付け合成処理により異なるタイミングで生成されたプリント基板のＨＤＲ画像を例示した図である。 図１１の拡大図である。 図４に示す顕微鏡システムに含まれるホストシステムで行われる、実施例２に係る重み付け合成処理のフローチャートである。 図１３に示す実施例２に係る重み付け合成処理に含まれる重み付け補正処理で算出される重み特性を例示した図である。 図１３に示す実施例２に係る重み付け合成処理により生成されたプリント基板のＨＤＲ画像を例示した図である。 図１３に示す実施例２に係る重み付け合成処理により異なるタイミングで生成されたプリント基板のＨＤＲ画像を例示した図である。 図１６の拡大図である。

図４は、本発明の一実施例に係る顕微鏡システム１００の構成を例示した図である。図４を参照しながら、標本Ｓがプリント基板である場合を例にして顕微鏡システム１００の構成について説明する。ただし、被写体はプリント基板に限られず、例えば、生体標本などであってもよい。即ち、図４に例示される顕微鏡システム１００は、工業用顕微鏡システムに限られず、生物用顕微鏡システムとして構成されてもよい。

顕微鏡システム１００は、図４に示すように、被写体である標本Ｓを撮像する撮像装置１３を有する顕微鏡装置１０と、顕微鏡装置１０に接続されたホストシステム２０を備えている。顕微鏡装置１０は、顕微鏡本体１１を備えていて、撮像装置１３は、顕微鏡本体１１に取り付けられている。また、顕微鏡本体１１には、撮像装置１３に加えて、光源装置１２も取り付けられている。

顕微鏡本体１１は、標本Ｓを配置するステージ１４と、対物レンズ１６が装着されたレボルバ１５とを支持している。また、顕微鏡本体１１の内部には、ハーフミラー１７が配置され、光源装置１２からの照明光が通る照明光路と標本Ｓからの観察光が通る観察光路とを分岐させる光路分岐素子として機能している。なお、光路分岐素子はハーフミラー１７に限られない。任意の光路分岐素子が顕微鏡本体１１の内部に配置されてもよい。例えば、蛍光観察を行う場合であれば、ハーフミラー１７の代わりにダイクロイックミラーが配置されてもよい。

ステージ１４は、対物レンズ１６の光軸に直交する水平な設置面を有し、対物レンズ１６の光軸に直交するＸＹ方向、及び、対物レンズ１６の光軸と平行なＺ方向に移動自在に構成されている。ステージ１４は、ホストシステム２０の制御下で図示しないモータの駆動により電動でＸＹ方向及びＺ方向に移動する電動ステージであるが、図示しないツマミを操作することで手動でＸＹ方向及びＺ方向に移動してもよい。また、ステージ１４は、ＸＹ方向とＺ方向のいずれか一方のみ電動で移動し、他方は手動で移動するように構成されてもよい。

レボルバ１５は、顕微鏡本体１１に回転自在に保持されていて、レボルバ１５の回転により、レボルバ１５に装着された対物レンズから選択された一の対物レンズ（ここでは、対物レンズ１６）が標本Ｓの上方に、より詳細には、観察光路上に、配置される。

対物レンズ１６は、他の対物レンズとともに交換自在にレボルバ１５に装着されていて、これらの対物レンズは、レボルバ１５の回転により観察倍率や観察法に応じて択一的に切り替えて使用される。なお、顕微鏡システム１００の観察倍率の変更は、対物レンズの切り替えにより実現される代わりに、例えば、観察光路上に設けられたズーム光学系の倍率の変更により実現されてもよい。また、対物レンズの切り替えとズーム光学系の倍率の変更を組み合わせて観察倍率を変更してもよい。

光源装置１２は、ハロゲンランプ、ＬＥＤなどの光源とコレクタレンズとを備えた落射照明用の光源装置であり、例えば、顕微鏡本体１１の後方に取り付けられている。光源装置１２は、さらに、ハロゲンランプなどのランプ光源からの光量を調整するためのＮＤ（Neutral Density）フィルタを備えても良い。なお、照明光量の調整は、ＮＤフィルタによるものに限られない。例えば、照明光路上に配置された開口絞りの径を変更することで調整されてもよく、光源がＬＥＤ光源であれば、ＰＷＭ（Pulse Width Modulation）制御などの光源自体の発光制御により調整されてもよい。また、光源装置１２は、光ファイバーを介して顕微鏡本体１１に接続されるファイバー光源であってもよく、また、レーザを備えたレーザ光源装置であってもよい。さらに、顕微鏡装置１０は、落射照明用の光源装置１２に加えて、または、光源装置１２の代わりに、透過照明用の光源装置を備えてもよい。

撮像装置１３は、例えば、デジタルカメラであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えている。撮像装置１３は、受光面に標本像を形成する観察光を電気信号（アナログ信号）に変換し増幅後にデジタル信号に変換することで取得される標本Ｓの画像データをホストシステム２０へ出力する。出力された画像データは、ホストシステム２０の記憶部８０に記憶される。なお、以降では、撮像装置１３により取得された画像データを原画像データと記し、原画像データにより表現される標本Ｓの画像を原画像と記す。

図４では、プリント基板を被写体として明視野観察を行う正立顕微鏡として顕微鏡装置１０が図示されているが、顕微鏡装置１０は、倒立顕微鏡であってもよい。また、観察法も明視野観察に限られず、任意の観察法（例えば、暗視野観察、蛍光観察、偏光観察、微分干渉観察など）により被写体の観察が行なわれてもよい。その場合、観察法に応じて、フィルタや光学系は適宜交換される。

ホストシステム２０は、顕微鏡システム１００全体を制御する制御部３０、入力部６０、表示部７０、及び、記憶部８０を備えている。ホストシステム２０は、例えば、ワークステーションやパーソナルコンピュータなどの汎用のコンピュータであってもよく、または、専用装置であってもよい。

制御部３０は、顕微鏡装置１０の駆動を制御する駆動制御部４０と、ＨＤＲ画像を生成する画像処理部５０を含んでいる。制御部３０は、例えば、ＣＰＵ（Central Processing Unit）であり、ＣＰＵが制御プログラムを実行することで、ホストシステム２０は、顕微鏡装置１０の駆動を制御する駆動制御装置として機能するともに、顕微鏡装置１０で取得された複数の原画像を合成してＨＤＲ画像を生成する画像処理装置としても機能する。

駆動制御部４０は、撮像装置制御部４１、光源装置制御部４２、倍率切替機構制御部４３、ＸＹ移動機構制御部４４、及びＺ移動機構制御部４５を含み、これらの各制御部は、それぞれ顕微鏡システム１００の異なる部分を制御する。

撮像装置制御部４１は、撮像素子から出力されるアナログ信号を増幅させるためのアナログゲインの設定、自動露出制御のＯＮ／ＯＦＦの切り替え、露光時間の設定等を行って、撮像装置１３の撮像動作を制御する。

光源装置制御部４２は、光源装置１２を制御して光源装置１２から出射されて標本Ｓに照射される照明光量を調整する。また、光源装置制御部４２は、照明光路上に配置された絞りを制御して絞りの径を変更することで照明光量を調整してもよい。さらに、光源装置制御部４２は、ＮＤフィルタ切り替え装置を制御して照明光路上のＮＤフィルタを切り替えることで照明光量を調整してもよい。

倍率切替機構制御部４３は、レボルバ１５を制御して回転させることで観察に使用する対物レンズを切り替えて観察倍率を変更する。さらに、倍率切替機構制御部４３は、図示しないズーム光学系を制御してズーム光学系の倍率を変更することで観察倍率を変更してもよい。

ＸＹ移動機構制御部４４は、図示しない原点センサによってステージ１４のＸＹ方向における所定の原点位置を検知し、この原点位置を基点としてモータの駆動量を制御する。これにより、ステージ１４を任意のＸＹ位置に移動させて標本Ｓの観察位置を調整する。なお、ステージ１４のＸＹ位置は適宜ＸＹ移動機構制御部４４へ出力される。

Ｚ移動機構制御部４５は、図示しない原点センサによってステージ１４のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータの駆動量を制御する。これにより、ステージ１４を任意のＺ位置に移動させて標本Ｓに対して対物レンズ１６の焦点位置を調節する。Ｚ移動機構制御部４５は、ステージ１４の代わりにレボルバ１５を任意のＺ位置を移動させて、標本Ｓに対して対物レンズ１６の焦点位置を調節してもよい。ステージ１４またはレボルバ１５のＺ位置は適宜Ｚ移動機構制御部４５へ出力される。

顕微鏡システム１００では、駆動制御部４０は、ＨＤＲ画像を生成するために、顕微鏡装置１０の駆動を制御して、顕微鏡装置１０に同一の被写体（標本Ｓ）を異なる撮像条件で画像化した明るさの異なる複数の原画像を取得させる。即ち、顕微鏡装置１０は、駆動制御部４０の制御の下、同一の被写体（標本Ｓ）を異なる撮像条件で画像化して明るさの異なる複数の原画像を取得する画像取得部として機能する。ここで、撮像条件とは、例えば、露光時間の設定、アナログゲインの設定、絞り径の設定、ＮＤフィルタの設定、光源から出射される単位時間当たりの光量の設定など、画像の明るさを異ならせる各種条件のことである。

画像処理部５０は、正規化部５１、画像合成部５２、階調圧縮部５３を含み、これらが連動して、標本Ｓを撮像した明るさの異なる複数の原画像からＨＤＲ画像を生成する。

正規化部５１は、顕微鏡装置１０で取得した明るさの異なる複数の原画像と、それらの撮像条件を取得する。そして、各原画像を撮像条件に基づいて補正することで複数の正規化画像を生成する。例えば、露光時間のみが異なる２枚の原画像がある場合であれば、露光時間に基づいて原画像を補正して正規化画像を取得する。

画像合成部５２は、正規化部５１で生成された複数の正規化画像を合成するＨＤＲ処理により、原画像よりも高いダイナミックレンジを有する合成画像であるＨＤＲ画像を生成する。画像合成部５２の動作の詳細については後述する。

階調圧縮部５３は、画像合成部５２で生成されたＨＤＲ画像の画質を維持しながら画像の階調を圧縮して、表示部７０で表示可能なＨＤＲ画像に変換する。なお、階調圧縮部５３では、既知の任意の圧縮アルゴリズムが利用される。

入力部６０は、例えば、キーボード、マウス、タッチパネル等の、ユーザからの指示を受け付ける手段であり、受け付けた指示に応じた操作信号を制御部３０へ出力する。

表示部７０は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（electroluminescence）ディスプレイ等のディスプレイ装置であり、制御部３０からの信号を基にして画面上にＨＤＲ画像等を表示する。なお、入力部６０と表示部７０は、タッチパネルをディスプレイ装置の画面に重ねて配置するなどして、一体に構成してもよい。

記憶部８０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶装置、ハードディスク等の外部記憶装置を含んでいる。記憶部８０は、さらに、可搬記録媒体駆動装置とそれに挿入される光ディスクやフラッシュメモリ等の可搬記録媒体を含んでもよい。記憶部８０には、顕微鏡システム１００の制御プログラム、及び、画像データを含む制御プログラムの実行中に使用される各種データなどが記憶される。このうち、制御プログラムは、ＲＯＭまたは可搬記録媒体に記録されていて、ＲＡＭ上にロードして実行される。

図４では、入力部６０、表示部７０、記憶部８０がホストシステム２０の内部に設けられた例が示されているが、顕微鏡システム１００は、これらをホストシステム２０に接続される周辺機器として構成してもよい。また、ホストシステム２０には、さらに、外部の装置との通信に用いられる通信装置や、印刷装置などが接続されてもよい。

図５は、本発明の一実施例に係る顕微鏡システム１００に含まれるホストシステム２０で行われる処理のフローチャートであり、図６は、図５に示す処理に含まれる画像合成処理のフローチャートである。図５及び図６を参照しながら、ホストシステム２０による、ＨＤＲ画像を生成して表示する処理について説明する。図５及び図６に示す処理は、記憶部８０のＲＯＭまたは可搬記録媒体に記録されている制御プログラムがＲＡＭにロードされ、制御部３０で実行されることにより行われ、例えば、入力部６０からのユーザの指示によって開始される。

まず、駆動制御部４０は、入力部６０に入力されたユーザの指示に従って撮像条件を設定する（図５のステップＳ１０）。ここで、撮像条件は、明るさの異なる複数の原画像を取得するために、複数設定される。その後、駆動制御部４０（撮像装置制御部４１）は、顕微鏡装置１０に撮像を指示し、ステップＳ１０で設定された複数の撮像条件の各々で顕微鏡装置１０に原画像を取得させる（図５のステップＳ２０）。これにより、顕微鏡装置１０が取得した、標本Ｓを異なる撮像条件で画像化した明るさの異なる複数の原画像は、ホストシステム２０へ送信され、記憶部８０に記憶される。この際、各原画像の撮像条件も記憶部８０に記憶される。
次に、画像処理部５０は、複数の原画像を合成して、原画像より高いダイナミックレンジを有するＨＤＲ画像を生成する（図５のステップＳ３０）。

より詳細には、画像処理部５０は、図６に示すように、記憶部８０から複数の原画像と複数の原画像の撮像条件を読み出す（図６のステップＳ３１、ステップＳ３２）。ここで、複数の原画像を読み出すと同時に明るい順に並べて、最も明るい画像を基準画像として定義する。そして、基準画像に合成する合成対象の原画像（以降、非基準画像と記す）の枚数分のループ処理（以降、第１のループ処理と記す）を開始し（図６のステップＳ３３）、基準画像に対して、非基準画像をより明るい画像から順番に１枚ずつ合成する。

第１のループ処理内では、画像処理部５０（正規化部５１）は、まず、ゲイン算出処理を行う（図６のステップＳ３４）。ゲイン算出処理は、基準画像と各非基準画像との撮像条件の差異を調整するためのゲインを算出する処理であり、ゲインは画像毎に算出される。基準画像と非基準画像との撮像条件の差異が露光時間のみの場合であれば、基準画像を調整するゲインＧ１を任意の定数ａとすると、非基準画像を調整するゲインＧ２は、定数ａ×基準画像の露光時間Ｔ１／非基準画像の露光時間Ｔ２で算出される。従って、各非基準画像の露光時間が基準画像の露光時間の１／２、１／４、１／８、・・・であれば、各非基準画像のゲインは、２ａ、４ａ、８ａ、・・・となる。

次に、画像処理部５０（画像合成部５２）は、重み特性算出処理を行う（図６のステップＳ３５）。重み特性算出処理は、合成する際の基準画像と非基準画像の重み付け、即ち、基準画像と非基準画像の合成比率、を決定するための重み特性を算出する処理である。なお、非基準画像の重み特性ＷＣ２は基準画像の重み特性ＷＣ１に依存している。算出方法は、既存のＨＤＲ処理で用いられている任意の手法を採用し得るので、詳細な説明を省略する。

図７は、ステップＳ３５で算出された重み特性を例示した図であり、横軸は１で規格化した基準画像（または、後述する基準正規化画像）の画素の階調であり、縦軸は重み付けである。実線で示される重み特性ＷＣ１は基準画像の重み特性を示している。一方、破線で示される重み特性ＷＣ２は非基準画像の重み特性であり、基準画像の重み特性ＷＣ１から一意に決定されるものである。具体的には、１と基準画像の重み特性ＷＣ１との差分として算出される。基準画像の飽和している画素の階調を非基準画像の画素の階調によって適切に補正することができるように、基準画像の重み特性ＷＣ１は、基準画像の階調が高いほど基準画像の重み付けが低下するような特性であればよい。従って、基準画像の重み特性ＷＣ１は、例えば、図７（ａ）に示すように、基準画像の所定の階調から最大階調（ここでは、１）までの間で直線的に変化してもよく、図７（ｂ）に示すように、曲線的に変化してもよい。

ゲインと重み特性を算出すると、画像処理部５０は、基準画像の画素数分のループ処理（以降、第２のループ処理と記す）を開始し（図６のステップＳ３６）、基準画像の各画素に対して非基準画像の各画素を合成する。

第２のループ処理内では、画像処理部５０（正規化部５１）は、まず、ゲイン乗算処理を行う（図６のステップＳ３７）。つまり、基準画像の画素にステップＳ３４で算出したゲインＧ１を、非基準画像の画素にステップＳ３４で算出したゲインＧ２を乗じて画素の階調を補正する。この処理を全画素に対して行うことで、異なる撮像条件で取得された基準画像と非基準画像の明るさが撮像条件に基づいて補正され、明るさに関して同じ条件の画像（以降、正規化画像と記す）が生成される。なお、以降では、ステップＳ３７の処理により画像の明るさ、つまり、すべての画素の階調、が補正された画像である正規化画像のうち基準画像に対応する正規化画像を、特に、基準正規化画像と記す。また、基準正規化画像以外の正規化画像を、非基準正規化画像と記す。

ゲイン乗算処理が終了すると、画像処理部５０（画像合成部５２）は、重み付け合成処理を行う（図６のステップＳ３８）。ホストシステム２０の重み付け合成処理は、従来のＨＤＲ処理内で行われる重み付け合成処理と明確に異なっている。ここでは、従来との差異についての理解を容易にするために、まず、従来の重み付け合成処理について説明し、その後、ホストシステム２０の重み付け合成処理について説明する。なお、ホストシステム２０の重み付け合成処理の具体例は、各実施例において詳細に説明する。

図８は、従来の重み付け合成処理のフローチャートである。従来の重み付け合成処理では、まず、ステップＳ３５で算出された重み特性とステップＳ３７で算出された基準正規化画像の画素の階調とに基づいて、基準正規化画像の画素の重み付けと非基準正規化画像の画素の重み付けを算出する（図８のステップＳ１０１）。

その後、ステップＳ１０１で算出した重み付けを用いて、ＨＤＲ画像の画素の階調ｌｖＯｕｔを算出する（図８のステップＳ１０２）。算出式は、基準正規化画像の画素の階調ｌｖ１、非基準正規化画像の画素の階調ｌｖ２、基準正規化画像の画素の重み付けｗｔ１、非基準正規化画像の画素の重み付けｗｔ２を用いて、以下のように表される。
ｌｖＯｕｔ＝ｗｔ１×ｌｖ１＋ｗｔ２×ｌｖ２ ・・・（１）

上記の式（１）から明らかなように、非基準正規化画像の成分（ここでは、ｗｔ２×ｌｖ２）がＨＤＲ画像の画素の階調に影響を及ぼすのは、ｗｔ２が０よりも大きいとき、つまり、図７を参照すると基準正規化画像の画素の階調が高いときであり、これには、飽和するほど高いときも含まれる。このため、通常は、非基準正規化画像の画素の階調ｌｖ２は、基準正規化画像の画素の階調ｌｖ１よりも大きいかまたは同程度であり、従って、ＨＤＲ画像の画素の階調ｌｖＯｕｔも基準正規化画像の画素の階調ｌｖ１よりも大きいかまたは同程度である。

しかしながら、基準正規化画像の画素の階調が飽和するほど高い場合であっても、基準正規化画像と非基準正規化画像の位置がずれているときには、基準正規化画像の明るい画素に非基準正規化画像の暗い画素が重なり、階調ｌｖ２が階調ｌｖ１よりも小さくなることがある。その結果、階調ｌｖＯｕｔも階調ｌｖ１よりも小さく算出されてしまうことがある。このため、白トビや黒つぶれが抑制されるにも関わらず、画質が劣化したＨＤＲ画像が生成されてしまい、ＨＤＲ画像の動画表示中においては、明滅現象が発生してしまう。

これに対して、ホストシステム２０の重み付け合成処理は、基準正規化画像の画素の階調ｌｖ１によって決定される合成比率（重み付けｗｔ１とｗｔ２の比率）に基づいて算出されるＨＤＲ画像の画素の階調ｌｖＯｕｔが基準正規化画像の画素の階調ｌｖ１よりも小さくなるときにＨＤＲ画像の画素の階調ｌｖＯｕｔを基準正規化画像の画素の階調ｌｖ１に近づけるように、基準正規化画像と非基準正規化画像とを合成するというものである。

これにより、ホストシステム２０では、基準画像（または基準正規化画像）の白トビ部分が極端に低い階調で表現されたＨＤＲ画像が生成されることを抑制することができる。このため、位置ずれに起因するＨＤＲ画像の画質の劣化を抑制し、ひいては、ＨＤＲ画像の動画表示中における明滅現象の発生を抑制することができる。

一方で、位置ずれが起こっていない場合は、従来の重み付け合成処理と同等のＨＤＲ画像を出力できる。

図６のステップＳ３８の重み付け合成処理が終了すると、画像処理部５０は、ステップＳ３６に戻って、すべての画素に対してステップＳ３７とステップＳ３８の処理を繰り返し行う。すべての画素に対しての処理が終了し、最も明るい原画像である基準画像と２番目に明るい原画像とを合成したＨＤＲ画像が生成されると、画像処理部５０は、ステップＳ３３に戻って生成されたＨＤＲ画像を改めて基準画像と定義して、基準画像と３番目に明るい原画像とを合成して第２の合成画像であるＨＤＲ画像を生成する（ステップＳ３３からステップＳ３８）。すべての原画像を合成してステップＳ３３のループ処理が終了すると、最終的に得られたＨＤＲ画像を階調圧縮部５３に出力して（図６のステップＳ３９）、図５の画像合成処理を終了する（図５のステップＳ３０）。

その後、階調圧縮部５３は、ＨＤＲ画像の階調数と出力フォーマットの有効ビット数から算出される階調数とが一致しない場合には、ＨＤＲ画像に対して階調圧縮処理を行う（図５のステップＳ４０）。そして、画像処理部５０は、階調圧縮処理により生成された、表示部７０で表示可能なＨＤＲ画像を表示部７０へ出力して、表示部７０に表示させる（図５のステップＳ５０）。なお、ＨＤＲ画像は、必要に応じて記憶部８０に記憶される。

以上のように、ホストシステム２０及びホストシステム２０を備えた顕微鏡システム１００によれば、位置ずれを補正することなく、位置ずれに起因する画質の劣化が抑制されたＨＤＲ画像を生成することができる。従って、従来のＨＤＲ画像を生成する顕微鏡システムに比べて、高速にＨＤＲ画像を生成することが可能であり、よりリアルタイム画像に近いＨＤＲ画像を表示することができる。

また、ホストシステム２０及び顕微鏡システム１００によれば、既存の顕微鏡システムのプログラムを変更するだけで、位置ずれに起因する画質の劣化が抑制されたＨＤＲ画像を生成することができる。さらに、ソフトウェアの規模もほとんど変わらないため、従来程度のスペックのハードウェアでＨＤＲ処理を行うことができる。

また、位置ずれ量の算出処理や位置合わせ処理のような高度な演算処理を使用した場合、例えば、画像的特長が乏しい画像や似たような模様が周期的に現れるような画像が入力されると、ＨＤＲ処理に失敗することがあるが、ホストシステム２０及び顕微鏡システム１００では位置ずれ量の算出処理や位置合わせ処理のような高度な演算処理を要しないため、ＨＤＲ処理が失敗する可能性が極めて低く、従来の顕微鏡システムに比べて極端に画質が劣化したＨＤＲ画像が生成される可能性を低く抑えることができる。なお、ホストシステム２０及び顕微鏡システム１００は、位置ずれを補正してから合成処理を行う従来のＨＤＲ処理と、位置ずれを補正することなく合成処理を行う上述したＨＤＲ処理とを、切り替えて実行してもよい。例えば、従来のＨＤＲ処理で位置ずれの補正に失敗した場合に、上述したＨＤＲ処理を実行してもよい。
以下、ホストシステム２０の重み付け合成処理の具体例を実施例１及び実施例２において詳細に説明する。

図９は、図４に示す顕微鏡システム１００に含まれるホストシステム２０で行われる、本実施例に係る重み付け合成処理のフローチャートである。図９に示す本実施例に係る重み付け合成処理は、非基準正規化画像の画素の階調ｌｖ２が基準正規化画像の画素の階調ｌｖ１に基づいて算出される閾値Ｔｈｌｖ２を下回るときに、画像合成部５２が階調ｌｖ１と閾値Ｔｈｌｖ２とを階調ｌｖ１によって決定される合成比率（重み付けｗｔ１とｗｔ２の比率）で掛け合わせてＨＤＲ画像の画素の階調ｌｖＯｕｔを算出するものである。

まず、画像合成部５２は、図６のステップＳ３５、ステップＳ３７で算出された重み特性ＷＣ１及び重み特性ＷＣ２と基準正規化画像の画素の階調とに基づいて、基準正規化画像の画素の重み付けｗｔ１と非基準正規化画像の画素の重み付けｗｔ２を算出する（図９のステップＳ２０１）。

次に、画像合成部５２は、ステップＳ２０１で算出した重み付けｗｔ２が０よりも大きいか否かを判断し（図９のステップＳ２０２）、重み付けｗｔ２が０以下である場合には、従来の重み付け合成処理と同様の算出式（式（１）を参照）でＨＤＲ画像の画素の階調ｌｖＯｕｔを算出し（図９のステップＳ２０５）、重み付け合成処理を終了する。

重み付けｗｔ２が０よりも大きい場合には、閾値Ｔｈｌｖ２を算出する（図９のステップＳ２０３）。閾値Ｔｈｌｖ２の算出式は、基準正規化画像の画素の階調ｌｖ１、閾値係数Ｋｔｈを用いて、以下のように表される。
Ｔｈｌｖ２＝Ｋｔｈ×ｌｖ１ ・・・（２）
ここで、閾値係数Ｋｔｈは、以下の条件を満たす定数である。
０＜Ｋｔｈ≦１ ・・・（３）

その後、ステップＳ２０１で算出した重み付けとステップＳ２０３で算出した閾値を用いて、ＨＤＲ画像の画素の階調ｌｖＯｕｔを算出し（図９のステップＳ２０４）、重み付け合成処理を終了する。算出式は、基準正規化画像の画素の階調ｌｖ１、非基準正規化画像の画素の階調ｌｖ２、基準正規化画像の画素の重み付けｗｔ１、非基準正規化画像の画素の重み付けｗｔ２、閾値Ｔｈｌｖ２を用いて、以下のように表される。
ｌｖＯｕｔ＝ｗｔ１×ｌｖ１＋ｗｔ２×ＭＡＸ（ｌｖ２，Ｔｈｌｖ２）・・・（４）

ここで、ＭＡＸ関数は、最も大きな引数を返す関数である。従って、ＭＡＸ（ｌｖ２，Ｔｈｌｖ２）は、階調ｌｖ２と閾値Ｔｈｌｖ２のうちより大きな方を返す。即ち、ｌｖ２がＴｈｌｖ２よりも小さい場合には、Ｔｈｌｖ２が返される。

なお、ステップＳ２０２の処理は省略しても良い。ステップＳ２０２がＮＯの場合は、重み付けｗｔ２の値は０であるので、ステップＳ２０４の算出式とステップＳ２０５の算出式との差異はないからである。

図１０は、図９に示す本実施例に係る重み付け合成処理により生成されたプリント基板のＨＤＲ画像を例示した図である。図１１は、図９に示す本実施例に係る重み付け合成処理により異なるタイミングで生成されたプリント基板のＨＤＲ画像を例示した図であり、図１２は、図１１の拡大図である。

本実施例では、非基準正規化画像の画素の階調ｌｖ２が閾値Ｔｈｌｖ２（＝Ｋｔｈ×ｌｖ１）よりも小さい場合には、従来の重み付け合成処理における非基準正規化画像の成分に相当する成分（ここでは、ｗｔ２×ＭＡＸ（ｌｖ２，Ｔｈｌｖ２））は、ｗｔ２×Ｋｔｈ×ｌｖ１となる。つまり、非基準正規化画像の画素の階調ｌｖ２によらず、ｗｔ２×Ｋｔｈ×ｌｖ１以上の値が保証される。このため、基準画像と非基準画像との間の位置ずれにより階調ｌｖ２が階調ｌｖ１よりも極端に小さな値を示す場合であっても、利用者が許容できる画質の劣化に応じて閾値係数Ｋｔｈを設定することで、ＨＤＲ画像の画素の階調ｌｖＯｕｔが極端に小さな値となることを防止して、画質の劣化を許容範囲内に抑えることができる。なお、後述する特殊な原因を除き、位置ずれが発生していなければ階調ｌｖ２は階調ｌｖ１に比べて常に同等以上の値となり、常に階調ｌｖ２≧閾値Ｔｈｌｖ２となる。よって、位置ずれが発生していなければ従来の重み付け合成処理による出力結果と変わらない。

従って、図１０に示すように、本実施例によれば、位置ずれにより本来明部である半田部分１が暗部として画像化される場合であっても、図１（ｃ）に示す位置ずれを補正することなく生成される従来のＨＤＲ画像の半田部分１と比較して、半田部分１の輝度の低下を抑えることができる。このため、位置ずれを補正することなく、位置ずれに起因する画質の劣化を抑制したＨＤＲ画像を生成することができる。なお、顕微鏡システムの観察対象である標本には、輝度差やエッジが乏しいものや周期的なパターンが多く含まれるものなど、画像解析による位置合わせを誤りやすいものも多い。このため、位置ずれを補正する必要がない本実施例に係るＨＤＲ処理は、位置を検出する手段を有しない手動ステージで標本の位置を変化させる顕微鏡システムにおいて、特に好適である。

また、明部が極端に暗く表示されることがないため、図１１及び図１２に示すように、図２及び図３に示す従来の明滅現象と比較して、明滅現象における輝度差を小さくすることができる。このため、動画表示中に観察者に与える不快感や負担を軽減することができる。

さらに、本実施例に係る重み付け合成処理は、位置ずれが生じていない場合は従来の重み付け合成処理と同等の処理となるため、位置ずれが生じていない場合のＨＤＲ画像を損なわずに、位置ずれが生じた場合のＨＤＲ画像の劣化を抑制することができる。

さらに、図９に示すように、本実施例に係る重み付け合成処理は、従来の重み付け合成処理に簡単な計算処理を追加したものであり、位置ずれを補正して合成する場合と比較して計算量の増加は極めて少ない。このため、位置ずれを補正する場合よりも高速にＨＤＲ画像を生成することが可能であり、リアルタイム画像に近いＨＤＲ画像を表示することができる。また、高い性能のハードウェアも必要としないため、従来の装置をそのまま利用することが可能であり、本実施例に係る重み付け合成処理を顕微鏡システムに容易に導入することができる。

ところで、位置ずれが発生していない場合であっても、階調ｌｖ２が階調ｌｖ１よりも小さくなる、つまり、ｌｖ１＞ｌｖ２となる場合がある。これは、例えば、撮像装置制御部４１が設定した露出時間と撮像装置１３の実際の露出時間との間の誤差、制御プログラムの計算精度に起因する誤差などが原因として考えられ、原画像間の撮像条件の違いが大きい場合に特に生じやすい。このような誤差が原因で階調ｌｖ２が階調ｌｖ１よりもわずかに小さくなる場合にまで階調ｌｖ２を閾値Ｔｈｌｖ２によって置換すると、階調ｌｖ２が有する階調情報が失われてしまい、ＨＤＲ画像に反映されない。このため、わずかな誤差によって階調ｌｖ２が階調ｌｖ１を下回った場合には置換が行なわれないように、閾値係数Ｋｔｈを１よりもある程度小さな値、例えば、０．９や０．９５などに設定することが望ましい。つまり、閾値Ｔｈｌｖ２を階調ｌｖ１よりもある程度小さく設定することが望ましい。これにより、階調ｌｖ２が有する階調情報が失われるような事態をできる限り避けつつ、位置ずれによる画質の劣化を抑制することができる。また、階調ｌｖ１と階調ｌｖ２の階調差が小さい場合は位置ずれによる画質の劣化も大きくなく、そのような場合は、階調ｌｖ２の階調情報をＨＤＲ画像に反映させた方がＨＤＲ画像の見栄えがよいという理由からも、閾値係数Ｋｔｈを１よりも小さな値に設定することが望ましい。

なお、図６では、２枚の原画像の合成を繰り返すことですべての原画像を合成する例を示したが、３枚以上の原画像を一度に合成するように変形してもよい。従来技術の手法を参考として、各々の原画像の撮像条件やヒストグラム分布から適当な重み付けを計算して合成してもよい。この場合、図９に示すような階調ｌｖ２を閾値Ｔｈｌｖ２で置換する処理の代わりに、階調ｌｖＯｕｔを閾値Ｔｈｌｖで置換する処理が行われてもよい。３枚合成の場合であれば、例えば、式（５）及び（６）で閾値Ｔｈｌｖを算出し、式（７）で算出した階調ｌｖＯｕｔが閾値Ｔｈｌｖよりも小さいときに、式（８）で示すように、階調ｌｖＯｕｔを閾値Ｔｈｌｖで置換してもよい。
Ｔｈｌｖ＝Ｋｔｈ×ｌｖ１ ・・・（５）
０＜Ｋｔｈ＜１ ・・・（６）
ｌｖＯｕｔ＝ｗｔ１×ｌｖ１＋ｗｔ２×ｌｖ２＋ｗｔ３×ｌｖ３ ・・・（７）
ｌｖＯｕｔ＝ＭＡＸ（ｌｖＯｕｔ、Ｔｈｌｖ） ・・・（８）

図１３は、図４に示す顕微鏡システム１００に含まれるホストシステム２０で行われる、本実施例に係る重み付け合成処理のフローチャートである。実施例１に係る重み付け合成処理が、画素の階調（例えば、階調ｌｖ２、階調ｌｖＯｕｔ）に閾値処理を施すものであるのに対して、本実施例に係る重み付け合成処理は、重み付けを調整するものである点が異なっている。より具体的には、本実施例に係る重み付け合成処理は、図１３に示すように、基準正規化画像の画素の階調ｌｖ１によって決定される合成比率（ｗｔ１、ｗｔ２）に基づいて算出されるＨＤＲ画像の画素の階調ｌｖＯｕｔが基準正規化画像の画素の階調ｌｖ１よりも小さくなるときに非基準正規化画像の重み付けｗｔ２を当初の合成比率によって決定される重み付けよりも小さくして、合成するものである。

画像合成部５２が、図６のステップＳ３５、ステップＳ３７で算出された重み特性ＷＣ１及び重み特性ＷＣ２と基準正規化画像の画素の階調とに基づいて、基準正規化画像の画素の重み付けｗｔ１と非基準正規化画像の画素の重み付けｗｔ２を算出し、算出した重み付けｗｔ２が０よりも大きいか否かを判断する点は、実施例１に係る重み付け合成処理と同様である（図１３のステップＳ３０１、ステップＳ３０２）。また、重み付けｗｔ２が０以下である場合には、従来の重み付け合成処理と同様の算出式（式（１）を参照）でＨＤＲ画像の画素の階調ｌｖＯｕｔを算出し、重み付け合成処理を終了する点も、実施例１に係る重み付け合成処理と同様である（図１３のステップＳ３０５）。

重み付けｗｔ２が０よりも大きい場合には、重み付けｗｔ１と重み付けｗｔ２を補正する（図１３のステップＳ３０３）。まず、比較係数Ｋｌｃを算出する。比較係数Ｋｌｃの算出式は、基準正規化画像の画素の階調ｌｖ１、非基準正規化画像の画素の階調ｌｖ２を用いて、以下のように表される。
Ｋｌｃ＝ＦｌｖＣｍｐｒ（ｌｖ１，ｌｖ２） ・・・（９）
ここで、ＦｌｖＣｍｐｒ関数は、最小値を示す第２引数と最大値を示す第３引数とで第１引数をクリップするＣｌｉｐ関数を用いて、以下のように表される。
ＦｌｖＣｍｐｒ（ｌｖ１，ｌｖ２）＝Ｃｌｉｐ（ｌｖ２／ｌｖ１，０，１）
・・・（１０）

つまり、比較係数Ｋｌｃは、０以上１以下の値であり、ｌｖ２／ｌｖ１が０以下であれば０、１以上であれば１、それ以外であればｌｖ２／ｌｖ１である。従って、位置ずれがない場合には、通常、階調ｌｖ２は階調ｌｖ１に等しいかまたはそれよりも大きくなるので、比較係数Ｋｌｃは１となる。一方、位置ずれなど（数値計算誤差などを含む）が生じて階調ｌｖ２が階調ｌｖ１よりも小さくなった場合には、比較係数Ｋｌｃは１未満の値をとる。また、階調ｌｖ１に対する階調ｌｖ２の相対的な大きさが小さいほど、比較係数Ｋｌｃは小さな値をとる。なお、比較係数Ｋｌｃは、階調ｌｖ１に対する階調ｌｖ２の相対的な大きさが小さいほど小さな値をとる限り、式（９）及び式（１０）に示す算出式の代わりに他の任意の算出式を用いて算出されても良い。

比較係数Ｋｌｃが算出されると、重み付けｗｔ１を補正した補正後の重み付けｗｔ１’と、重み付けｗｔ２を補正した補正後の重み付けｗｔ２’とを算出する。算出式は、比較係数Ｋｌｃ、抑制重み付けｗｔＳ、補正前の重み付けｗｔ２を用いて以下のように表される。
ｗｔ２’＝Ｋｌｃ×ｗｔ２＋（１−Ｋｌｃ）×ｗｔＳ ・・・（１１）
ｗｔ１’＝（１−ｗｔ２’） ・・・（１２）
ここで、抑制重み付けｗｔＳは、重み特性ＷＣ２の最大値を規定するものであり、以下の条件を満たす定数である。
０≦ｗｔＳ≦１ ・・・（１３）

ステップＳ３０３では、位置ずれなどが生じていない場合、つまり、比較係数Ｋｌｃが１であるときには、式（１１）及び式（１２）からｗｔ２’＝ｗｔ２、ｗｔ１’＝ｗｔ１となるため、重み付けは補正されない。このため、重み特性ＷＣ１、重み特性ＷＣ２は、実施例１と同様であり、例えば、図７（ａ）に示すような特性である。

一方、位置ずれなどが生じて比較係数Ｋｌｃが１未満になると、重み付けが補正される。例えば、比較係数Ｋｌｃの大きさが中程度の場合であれば、重み特性ＷＣ１、重み特性ＷＣ２は、図１４（ａ）に示すような特性を示し、補正後の重み付けｗｔ２’の特性である重み特性ＷＣ２の最大値は、抑制重み付けｗｔＳと１の間の値となる。また、比較係数Ｋｌｃが０の場合であれば、重み特性ＷＣ１、重み特性ＷＣ２は、図１４（ａ）に示すような特性を示し、重み特性ＷＣ２の最大値は、抑制重み付けｗｔＳとなる。

その後、ステップＳ３０３で算出した重み付けを用いて、ＨＤＲ画像の画素の階調ｌｖＯｕｔを算出し（図１３のステップＳ３０４）、重み付け合成処理を終了する。算出式は、基準正規化画像の画素の階調ｌｖ１、非基準正規化画像の画素の階調ｌｖ２、基準正規化画像の画素の補正後の重み付けｗｔ１’、非基準正規化画像の画素の補正後の重み付けｗｔ２’を用いて、以下のように表される。
ｌｖＯｕｔ＝ｗｔ１’×ｌｖ１＋ｗｔ２’×ｌｖ２ ・・・（１４）
なお、ステップＳ３０２の処理を省略して、比較係数Ｋｌｃを算出して重み付けを補正する処理を常に行ってもよい。

図１５は、図１３に示す本実施例に係る重み付け合成処理により生成されたプリント基板のＨＤＲ画像を例示した図である。図１６は、図１３に示す本実施例に係る重み付け合成処理により異なるタイミングで生成されたプリント基板のＨＤＲ画像を例示した図であり、図１７は、図１６の拡大図である。

本実施例では、位置ずれなどが生じていない場合には、重み付けは補正されず、式（１４）は従来の重み付け合成処理の算出式（式（１）を参照）と同じものになる。このため、従来と同様の合成結果が得られる。その一方で、位置ずれなどが生じて階調ｌｖ２が階調ｌｖ１よりも小さくなる場合には、それに応じて比較係数Ｋｌｃが小さくなり重み付けｗｔ２’も小さくなる。これにより、階調ｌｖ２が小さな値を示す場合であっても、ＨＤＲ画像の画素の階調ｌｖｏｕｔが極端に小さくなることを防止することができる。

従って、図１５に示すように、本実施例によれば、位置ずれにより本来明部である半田部分１が暗部として画像化される場合であっても、図１（ｃ）に示す位置ずれを補正することなく生成される従来のＨＤＲ画像の半田部分１と比較して、半田部分１の輝度の低下を抑えることができる。このため、実施例１と同様に、位置ずれを補正することなく、位置ずれに起因する画質の劣化を抑制したＨＤＲ画像を生成することができる。また、階調ｌｖ１に対する階調ｌｖ２の大きさに応じて比較係数Ｋｌｃが連続的に変化するため、不自然な階調の変化を防止することが可能であり、閾値処理を行う実施例１よりも自然なＨＤＲ画像を生成することができる。

また、明部が極端に暗く表示されることがないため、図１６及び図１７に示すように、図２及び図３に示す従来の明滅現象と比較して、明滅現象における輝度差を小さくすることができる。このため、実施例１と同様に、動画表示中に観察者に与える不快感や負担を軽減することができる。また、実施例１と同様に、位置ずれが生じていない場合は従来の重み付け合成処理と同等の処理となるため、位置ずれが生じていない場合のＨＤＲ画像を損なわずに、位置ずれが生じた場合のＨＤＲ画像の劣化を抑制することができる。

さらに、階調ｌｖ２が小さいほど階調ｌｖ２の重み付けｗｔ２’が小さくなるが、階調ｌｖ２を閾値で置換する実施例１と異なり、ＨＤＲ画像の画素の階調ｌｖｏｕｔには、階調ｌｖ２が小さいときにも階調ｌｖ２の階調情報が反映される。このため、実施例１では、図１０に示すように、閾値処理が行われた半田部分１の階調の変化が乏しいのに対して、本実施例では、図１５に示すように、半田部分１の階調の変化を捉えて、半田部分１の構造を可視化することができる。また、階調ｌｖｏｕｔに階調ｌｖ２の階調情報が反映されるので、実施例１のような計算誤差などを考慮した閾値の設定も不要である。なお、抑制重み付けｗｔＳは、画質の劣化を抑制するためには小さいほうがよいが、階調ｌｖ２の階調情報をＨＤＲ画像に反映させるためにはある程度大きいほうがよい。従って、抑制重み付けｗｔＳは、例えば、０．５など中程度の値であることが望ましい。

その他、本実施例も、位置ずれを補正して合成する場合と比較して計算量の増加が少ない点、その結果、高速な画像表示が可能な点、高性能のハードウェアを必要としない点、顕微鏡システムへの導入が容易な点などについては、実施例１と同様である。

上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。各実施例に係る顕微鏡システムは、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、つまり、ＨＤＲ画像の画素の階調ｌｖＯｕｔが階調ｌｖ２よりも極端に小さな値となることを防止できる限りにおいて、さまざまな変形、変更が可能である。例えば、明るい画像から順番に合成するのではなく、暗い画像から順番に合成するように、処理を変形してもよい。

１ 半田部分
１０ 顕微鏡装置
１１ 顕微鏡本体
１２ 光源装置
１３ 撮像装置
１４ ステージ
１５ レボルバ
１６ 対物レンズ
１７ ハーフミラー
２０ ホストシステム
３０ 制御部
４０ 駆動制御部
４１ 撮像装置制御部
４２ 光源装置制御部
４３ 倍率切替機構制御部
４４ ＸＹ移動機構制御部
４５ Ｚ移動機構制御部
５０ 画像処理部
５１ 正規化部
５２ 画像合成部
５３ 階調圧縮部
６０ 入力部
７０ 表示部
８０ 記憶部
１００ 顕微鏡システム
Ｓ 標本

Claims (10)

1. 同一の被写体を異なる撮像条件で画像化して得られた明るさの異なる複数の画像の明るさを前記撮像条件に基づいて補正して複数の正規化画像を生成する正規化部と、
   前記複数の正規化画像を合成して合成画像を生成する画像合成部と、を備え、
   前記画像合成部は、
   前記複数の画像のうちの最も明るい画像である基準画像に対応する前記正規化画像を基準正規化画像と定義する場合において、
   前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さくなるときに前記合成画像の画素の階調を前記基準正規化画像の画素の階調に近づけるように、前記基準正規化画像と前記基準正規化画像以外の前記正規化画像である非基準正規化画像とを合成する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像合成部は、前記非基準正規化画像の画素の階調が前記基準正規化画像の画素の階調に基づいて算出される閾値を下回るときに、前記基準正規化画像の画素の階調と前記閾値とを前記基準正規化画像の画素の階調によって決定される合成比率で掛け合わせて前記合成画像の画素の階調を算出する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記画像合成部は、前記合成画像の画素の階調が前記基準正規化画像の画素の階調に基づいて算出される閾値を下回るときに、前記合成画像の画素の階調を前記閾値で置換する
   ことを特徴とする画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置において、
   前記閾値は、前記基準正規化画像の画素の階調よりも小さい
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記画像合成部は、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さくなるときに前記非基準正規化画像の重み付けを前記基準正規化画像の画素の階調によって決定される重み付けよりも小さくして、合成する
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記画像合成部は、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さいほど、前記非基準正規化画像の前記重み付けを小さくする
   ことを特徴とする画像処理装置。
7. 請求項１乃至請求項６のいずれか１項に記載の画像処理装置において、
   前記画像合成部は、前記合成画像を前記基準正規化画像として、さらに、前記合成画像である前記基準正規化画像と非基準正規化画像を合成して、第２の合成画像を生成する
   ことを特徴とする画像処理装置。
8. 請求項１乃至請求項７のいずれか１項に記載の画像処理装置において、さらに、
   同一の被写体を異なる撮像条件で画像化して明るさの異なる前記複数の画像を取得する画像取得部を備える
   ことを特徴とする画像処理装置。
9. 請求項１乃至請求項８のいずれか１項に記載の画像処理装置を備え、
   前記画像合成部で生成された前記合成画像を表示することを特徴とする顕微鏡システム。
10. 同一の被写体を異なる撮像条件で画像化して得られた明るさの異なる複数の画像の明るさを前記撮像条件に基づいて補正して複数の正規化画像を生成するステップと、
    前記複数の正規化画像を合成して合成画像を生成するステップであって、前記複数の画像のうちの最も明るい画像である基準画像に対応する前記正規化画像を基準正規化画像と定義する場合において、前記合成画像の画素の階調が前記基準正規化画像の画素の階調よりも小さくなるときに前記合成画像の画素の階調を前記基準正規化画像の画素の階調に近づけるように、前記基準正規化画像と前記基準正規化画像以外の前記正規化画像である非基準正規化画像とを合成するステップと、を
    コンピュータに実行させることを特徴とするプログラム。