JP6770828B2 - 顕微鏡 - Google Patents

Description

本発明は、画像取得装置に関するものである。

従来、標本を搭載したステージを移動させることにより観察視野を移動させながら標本の撮影を行い、取得された画像を順次貼り合わせて広画角の画像を生成する顕微鏡が知られている（例えば、特許文献１参照。）。
この特許文献１のように画像を貼り合わせる場合に、カメラのＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）あるいはＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）動作によって、画像毎に明るさや色味が変化する。
この課題を解決するために、ＡＧＣ動作を停止するシステムが開示されている（例えば、特許文献２参照。）。

特開２０１４−１１５６０９号公報 特開平１１−９５１２５号公報

しかしながら、広角画像の作成と同時に適正な明るさでライブ画像を観察するためには、ＡＥ動作およびＡＧＣ動作は必要であり、ＡＧＣ動作を停止する特許文献２の手法を採用することはできない。
本発明は上述した事情に鑑みてなされたものであって、不自然な継ぎ目のない貼合せ画像を短時間で生成することができる顕微鏡を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本の貼合せ画像を生成する顕微鏡であって、前記標本を搭載するステージと、該ステージに搭載された前記標本からの光を集光する対物レンズと、該対物レンズの光軸に交差する方向に前記ステージを駆動するステージ駆動部と、前記対物レンズにより集光された光を撮影して前記標本の画像を取得する撮像部と、前記標本の貼合せ画像を記憶する記憶部と、前記撮像部により取得された前記記憶部に記憶される前の前記標本の画像と前記記憶部に記憶されている貼合せ画像とを貼り合わせて新たな貼合せ画像を生成する画像生成部と、前記記憶部に記憶されている前記貼合せ画像と前記記憶部に記憶される前の前記標本の画像との前記画像生成部による貼合せに先だって、前記貼合せ画像の色と、前記記憶部に記憶される前の前記標本の画像の色との相違度を算出する色差算出部と、該色差算出部により算出された前記相違度に基づいて、前記記憶部に記憶される前の前記標本の画像の色を、前記貼合せ画像の色と一致するように補正する色差補正部とを備える顕微鏡を提供する。

本態様によれば、ステージに標本を搭載して、ステージ駆動部を作動させ、標本を対物レンズの光軸に交差する方向に移動させながら、各位置において、撮像部により画像が取得されると、取得された撮像画像の色と、記憶部に記憶されている貼合せ画像の色との相違度が色差算出部において算出され、算出された相違度に基づいて、撮像画像の色が色差補正部により補正されてから、記憶部に記憶されている貼合せ画像と撮像画像との貼合せが画像生成部により行われる。
色差補正部においては、撮像画像の色が、記憶部に記憶されている貼合せ画像の色に一致するように補正されるので、明るさや色味の変化による不自然な継ぎ目のない高品質の貼合せ画像を生成することができる。

上記態様においては、前記色差算出部が、前記記憶部に記憶されている前記貼合せ画像と前記記憶部に記憶される前の前記標本の画像との共通領域について、該共通領域の中心から離れるに従って小さくなる重みを用いて前記相違度を算出してもよい。
このようにすることで、色差算出部による相違度の算出において、共通領域の中心から離れるに従って小さくなる重みを用いることにより、周辺光量低下による影響を低減して相違度を精度よく算出することができる。

また、上記態様においては、前記色差算出部が、前記相違度を算出する都度に、算出に際して生じる丸め誤差を累積加算して記憶しておき、前記相違度の算出に際して、記憶されていた前回の前記丸め誤差の累積加算値を加算して前記相違度を算出してもよい。
このようにすることで、相違度の算出に際して蓄積する丸め誤差を補正することができ、相違度を精度よく算出することができる。

本発明によれば、不自然な継ぎ目のない貼合せ画像を短時間で生成することができるという効果を奏する。

本発明の一実施形態に係る画像取得装置を示す全体構成図である。 図１の画像取得装置による貼合せ画像とフレーム画像との貼合せ処理を説明する図である。 図２に示される貼合せ画像とフレーム画像との共通領域を示す図である。

本発明の一実施形態に係る画像取得装置１について、図面を参照して以下に説明する。
本実施形態に係る画像取得装置１は、図１に示されるように、顕微鏡装置であって、顕微鏡本体２と、演算部３と、顕微鏡インタフェイス部４と、表示部５とを備えている。

顕微鏡本体２は、標本Ａを搭載するステージ６と、該ステージ６を３次元方向に移動させるモータ（ステージ駆動部）７と、ステージ６に搭載された標本Ａの鉛直上方に配置された対物レンズ８と、該対物レンズ８により集光された標本Ａからの光を撮影する撮像部９とを備えている。モータ７はステージ６の位置を検出するエンコーダ１０を備えている。

撮像部９は、ライブ画像および静止画像の撮影および取得に加え、標本Ａに適した明るさ（補正露光）で観察するために、標本Ａに応じて適正な明るさで画像を取得できるように、自動で露光時間を制御するＡＥ機能または自動でゲインを制御するＡＧＣ機能を有している。また、背景部分を無彩色にするように画像の色味を適切に補正するＡＷＢ機能も有している。

撮像部９は、例えば、カラー（ＲＧＢ）画像を取得可能なＣＣＤあるいはＣＭＯＳ等の撮像素子を用いたカメラである。
撮像部９により取得された画像情報は演算部３に送られるようになっている。

演算部３は、例えば、汎用のパーソナルコンピュータ、ワークステーション、組み込みプロセッサあるいはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いた演算装置である。演算部３は、色差算出部１１と、色差補正部１２と、貼合せ画像Ｍを生成する画像生成部１３と、生成された貼合せ画像Ｍを記憶する記憶部１４とを備えている。

色差算出部１１は、図２に示されるように、撮像部９から入力されるライブ画像の各フレーム画像（撮像画像）Ｆについて、記憶部１４に記憶されている貼合せ画像Ｍとの共通領域Ｓについて色（明るさおよび色味）の相違度、すなわち、色差を算出するようになっている。貼合せ画像Ｍ上のフレーム画像Ｆの位置は、後述するステージ位置検出部１５から出力されるステージ位置情報を用いて決定されるようになっている。

色差補正部１２は、撮像部９から入力されるライブ画像の各フレーム画像Ｆの明るさおよび色味を、記憶部１４に記憶されている貼合せ画像Ｍの明るさおよび色味と一致するように、色差算出部１１において算出された相違度を用いて補正するようになっている。
画像生成部１３は、色差補正部１２において補正されたライブ画像の各フレーム画像Ｆについて、ステージ位置検出部１５から出力されたステージ位置情報に基づいて、記憶部１４に記憶されている貼合せ画像Ｍ上に貼り合わせて新たな貼合せ画像Ｍを生成し記憶部１４に記憶するようになっている。
記憶部１４としては、ＨＤＤあるいはＳＳＤ等を挙げることができる。

顕微鏡インタフェイス部４は、モータ７に備えられたエンコーダ１０により検出された検出情報から、ステージ６の位置情報を検出するステージ位置検出部１５を備えている。検出されたステージ６の位置情報は、演算部３の画像生成部１３に送られるようになっている。
表示部５は、撮像部９により取得されたライブ画像および記憶部１４に記憶された貼合せ画像Ｍを表示する、例えば、液晶ディスプレイである。

色差算出部１１および色差補正部１２の処理について、図２を参照して以下に詳細に説明する。
色差算出部１１は、記憶部１４に記憶されている貼合せ画像Ｍと、撮像部９により取得されたフレーム画像Ｆとの共通領域Ｓにおいて、下式（１）により相違度を算出するようになっている。

ΔＲ＝Σ（Ｍｒ（ｘ，ｙ）−Ｆｒ（ｘ，ｙ））／Ｎ
ΔＧ＝Σ（Ｍｇ（ｘ，ｙ）−Ｆｇ（ｘ，ｙ））／Ｎ
ΔＢ＝Σ（Ｍｂ（ｘ，ｙ）−Ｆｂ（ｘ，ｙ））／Ｎ （１）
ここで、ΔＲは赤色の相違度、ΔＧは緑色の相違度、ΔＢは青色の相違度、Ｍｒ（ｘ，ｙ）は、共通領域Ｓ内の位置（ｘ，ｙ）における貼合せ画像Ｍの赤色の画素値、Ｆｒ（ｘ，ｙ）は、共通領域Ｓ内の位置（ｘ，ｙ）におけるフレーム画像Ｆの赤色の画素値、Ｍｇ（ｘ，ｙ）は、共通領域Ｓ内の位置（ｘ，ｙ）における貼合せ画像Ｍの緑色の画素値、Ｆｇ（ｘ，ｙ）は、共通領域Ｓ内の位置（ｘ，ｙ）におけるフレーム画像Ｆの緑色の画素値、Ｍｂ（ｘ，ｙ）は、共通領域Ｓ内の位置（ｘ，ｙ）における貼合せ画像Ｍの青色の画素値、Ｆｂ（ｘ，ｙ）は、共通領域Ｓ内の位置（ｘ，ｙ）におけるフレーム画像Ｆの青色の画素値、Ｎは共通領域Ｓ内の画素数である。

また、色差補正部１２は、色差算出部１１において算出された相違度ΔＲ，ΔＧ，ΔＢを用いて、下式（２）によりフレーム画像Ｆ全体の明るさおよび色味を補正するようになっている。
Ｆ′ｒ（ｘ，ｙ）＝Ｆｒ（ｘ，ｙ）＋ΔＲ
Ｆ′ｇ（ｘ，ｙ）＝Ｆｇ（ｘ，ｙ）＋ΔＧ
Ｆ′ｂ（ｘ，ｙ）＝Ｆｂ（ｘ，ｙ）＋ΔＢ （２）
ここで、Ｆ′ｒ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるフレーム画像Ｆの赤色の補正後の画素値、Ｆ′ｇ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるフレーム画像Ｆの緑色の補正後の画素値、Ｆ′ｂ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるフレーム画像Ｆの青色の補正後の画素値である。

このように、本実施形態に係る画像取得装置１によれば、相違度ΔＲ，ΔＧ，ΔＢに基づいて補正されたフレーム画像Ｆは、貼合せ画像Ｍと明るさおよび色味が一致するように補正されているので、記憶部１４に記憶されている貼合せ画像Ｍと、フレーム画像Ｆとの貼合せ位置において、明るさや色味の違いによる不自然な継ぎ目が発生することを防止することができるという利点がある。

なお、本実施形態においては、ＲＧＢ値を用いて相違度ΔＲ，ΔＧ，ΔＢを算出したが、これに代えて、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊あるいはＨＳＶ等の他の色空間上において相違度を算出および補正することにしてもよい。
また、式（１）および式（２）においては、差分によって相違度ΔＲ，ΔＧ，ΔＢを算出し、その相違度ΔＲ，ΔＧ，ΔＢをフレーム画像Ｆの画素値にそれぞれ加算することにより補正したが、これに代えて、比率によって相違度を算出し、その比率をフレーム画像Ｆの画素値に乗算することにより補正してもよい。

また、本実施形態においては、色差算出部１１が、共通領域Ｓにおける画素値の単純な平均によって、相違度ΔＲ，ΔＧ，ΔＢを算出することとしたが、これに代えて、下式（３）を用いて算出することにしてもよい。
ΔＲ＝Σ（ｗ（ｘ，ｙ）・（Ｍｒ（ｘ，ｙ）−Ｆｒ（ｘ，ｙ）））／ＮΣｗ（ｘ，ｙ）
ΔＧ＝Σ（ｗ（ｘ，ｙ）・（Ｍｇ（ｘ，ｙ）−Ｆｇ（ｘ，ｙ）））／ＮΣｗ（ｘ，ｙ）
ΔＢ＝Σ（ｗ（ｘ，ｙ）・（Ｍｂ（ｘ，ｙ）−Ｆｂ（ｘ，ｙ）））／ＮΣｗ（ｘ，ｙ）
（３）

ここで、ｗ（ｘ，ｙ）は共通領域Ｓ内の座標位置（ｘ，ｙ）における重みであり、式（４）により算出することができる。
ｗ（ｘ，ｙ）＝ｒ_ｍａｘ−ｒ （４）
ここで、ｒ_ｍａｘは、図３に示されるように、共通領域Ｓの中心点ｃ（ｃｘ，ｃｙ）から共通領域Ｓの最遠部までのユークリッド距離であり、図３に示す例では、四角形からなる共通領域Ｓの対角長の半分である。

また、ｒは、中心点ｃ（ｃｘ，ｃｙ）から任意の座標（ｘ，ｙ）までのユークリッド距離であり、次式（５）で表される。
ｒ＝√（（ｘ−ｃｘ）^２＋（ｙ−ｃｙ）^２） （５）
なお、本実施形態においては、重みｗ（ｘ，ｙ）をユーグリッド距離を用いて算出する一例を用いたが、これに代えて、マンハッタン距離（市街地距離）等を用いてもよい。

一般に口径食やコサイン４乗則等により、撮像部９で取得された画像には周辺光量の低下が発生している。上記式（３）により相違度ΔＲ，ΔＧ，ΔＢを算出することにより、周辺光量の低下に起因する相違度ΔＲ，ΔＧ，ΔＢの算出誤差を低減することができ、相違度ΔＲ，ΔＧ，ΔＢを精度よく算出し、フレーム画像Ｆの明るさおよび色味を精度よく補正することができるという利点がある。

また、画像情報は一般に整数値となり、式１または式（３）により算出された相違度ΔＲ，ΔＧ，ΔＢは、下式（６）により整数値に丸められる。
ΔＲ′＝Ｒｏｕｎｄ（ΔＲ）
ΔＧ′＝Ｒｏｕｎｄ（ΔＧ）
ΔＢ′＝Ｒｏｕｎｄ（ΔＢ） （６）
ここで、ΔＲ′、ΔＧ′およびΔＢ′は丸められた相違度である。

そして、色差算出部１１は、下式（７）により、丸め誤差を算出してもよい。
Ｅｒ＝ΔＲ−ΔＲ′
Ｅｇ＝ΔＧ−ΔＧ′
Ｅｂ＝ΔＢ−ΔＢ′ （７）
ここで、Ｅｒ、Ｅｇ、Ｅｂは丸め誤差である。

そして、色差算出部１１においては、式（８）により相違度ΔＲ，ΔＧ，ΔＢを算出することにしてもよい。
ΔＲ＝Σ（Ｍｒ（ｘ，ｙ）−Ｆｒ（ｘ，ｙ））／Ｎ＋Ｅｒ
ΔＧ＝Σ（Ｍｇ（ｘ，ｙ）−Ｆｇ（ｘ，ｙ））／Ｎ＋Ｅｇ
ΔＢ＝Σ（Ｍｂ（ｘ，ｙ）−Ｆｂ（ｘ，ｙ））／Ｎ＋Ｅｂ （８）

相違度ΔＲ，ΔＧ，ΔＢの算出および明るさおよび色味の補正を各フレーム画像Ｆに対して行うごとに、丸め誤差Ｅｒ，Ｅｇ，Ｅｂを加算することにより、誤差の拡散により、算出される相違度ΔＲ，ΔＧ，ΔＢに丸め誤差Ｅｒ，Ｅｇ，Ｅｂが蓄積されることを防止して、フレーム画像Ｆを精度よく補正し、不自然な継ぎ目を有する貼合せ画像Ｍの生成を防止することができる。

１ 画像取得装置
６ ステージ
７ モータ（ステージ駆動部）
８ 対物レンズ
９ 撮像部
１１ 色差算出部
１２ 色差補正部
１３ 画像生成部
１４ 記憶部
Ａ 標本

Claims (3)

1. 標本の貼合せ画像を生成する顕微鏡であって、
   前記標本を搭載するステージと、
   該ステージに搭載された前記標本からの光を集光する対物レンズと、
   該対物レンズの光軸に交差する方向に前記ステージを駆動するステージ駆動部と、
   前記対物レンズにより集光された光を撮影して前記標本の画像を取得する撮像部と、
   前記標本の貼合せ画像を記憶する記憶部と、
   前記撮像部により取得された前記記憶部に記憶される前の前記標本の画像と前記記憶部に記憶されている前記貼合せ画像とを貼り合わせて新たな貼合せ画像を生成する画像生成部と、
   前記記憶部に記憶されている前記貼合せ画像と前記記憶部に記憶される前の前記標本の画像との前記画像生成部による貼合せに先だって、前記貼合せ画像の色と、前記記憶部に記憶される前の前記標本の画像の色との相違度を算出する色差算出部と、
   該色差算出部により算出された前記相違度に基づいて、前記記憶部に記憶される前の前記標本の画像の色を、前記貼合せ画像の色と一致するように補正する色差補正部とを備える顕微鏡。
2. 前記色差算出部が、前記記憶部に記憶されている前記貼合せ画像と前記記憶部に記憶される前の前記標本の画像との共通領域について、該共通領域の中心から離れるに従って小さくなる重みを用いて前記相違度を算出する請求項１に記載の顕微鏡。
3. 前記色差算出部が、前記相違度を算出する都度に、算出に際して生じる丸め誤差を累積加算して記憶しておき、前記相違度の算出に際して、記憶されていた前回の前記丸め誤差の累積加算値を加算して前記相違度を算出する請求項１に記載の顕微鏡。

Images