JP2015035782A - 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】モザイク画像の補間処理を行う際に、ナイキスト周波数に近い高周波帯域であっても偽色の発生を抑制することができる画像処理装置等を提供する。【解決手段】画像処理装置１は、被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得部１１と、単色画像を構成する各画素の信号値に基づき、色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理部１２とを備える。【選択図】図１

Description

本発明は、カラーフィルタを介して撮像された画像を処理する画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムに関する。

ＣＣＤイメージセンサ等の固体撮像素子を用いてカラー画像を取得する場合、固体撮像素子が備えるフォトダイオード(画素)の受光面の前に、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３色を有するカラーフィルタを配置して撮像が行われる。この撮像方法の場合、１画素につき１色の画像情報（色情報）しか得ることができないため、画像全体では、位置に応じた色の色情報を有する画素が配列された所謂モザイク画像となる。このようなモザイク画像に対し、各画素において欠落している色情報を補間することにより、各画素が全ての色成分（例えば３色）を有するカラー画像を生成することができる。このような処理は、デモザイク処理とも呼ばれる。

補間処理としては、例えば、注目画素に対し、補間する色情報と同じ色の色情報を有する注目画素周辺の複数画素の画素値の平均値を算出し、この平均値を注目画素の当該色情報とする線形補間が知られている。しかしながら、線形補間においては、注目画素における色情報の方向性を考慮することなく、周辺画素の色情報を単純平均することにより、変化が滑らかとなるように色情報を推定するため、エッジ部や細部等において偽色が発生してしまう。

このような問題に対し、特許文献１には、モザイク画像において、ある画素を中心とする複数の画素の色情報の相関値から補間方向を判別し、判別された補間方向に並んだ画素の色情報に基づいて補間を行うことで、エッジ部や細部等における偽色を低減する技術が開示されている。

特許第４３５２３３１号公報

上記特許文献１においては、モザイク画像における色情報の連続性に基づいて補間方向の判別を行っている。しかしながら、モザイク画像においては、撮像素子に設けられるカラーフィルタでの各色の配置に対応して、色情報が空間的に不連続（例えば１画素おき）となる。そのため、特に、ナイキスト周波数に近い高周波帯域においては正確に方向判別することができない場合がある。この場合、補間された色情報が不正確となり、その結果得られたカラー画像に偽色が発生してしまうおそれがある。

本発明は、上記に鑑みてなされたものであって、モザイク画像の補間処理を行う際に、ナイキスト周波数に近い高周波帯域であっても偽色の発生を抑制することができる画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得部と、前記単色画像を構成する各画素の信号値に基づき、前記色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理部と、を備えることを特徴とする。

上記画像処理装置において、前記補間処理部は、前記単色画像を構成する各画素の信号値を輝度情報として用いて、前記欠落している色情報を補間することを特徴とする。

上記画像処理装置において、前記色画像は、赤、青、緑のいずれかの色情報を有する複数の画素が配列された画像であり、前記補間処理部は、前記輝度情報を、前記補間画像における緑の色情報として用い、前記単色画像を構成する各画素の信号値と、前記色画像を構成する画素のうち赤の色情報を有する画素の信号値及び青の色情報を有する画素の信号値とを用いて、前記補間画像における赤及び青の色情報をそれぞれ算出する、ことを特徴とする。

上記画像処理装置において、前記色画像は、赤、青、緑のいずれかの色情報を有する複数の画素が配列された画像であり、前記補間処理部は、前記輝度情報を、ＹＣｂＣｒ色空間における輝度成分として用い、前記単色画像を構成する各画素の信号値と、前記色画像を構成する画素のうち、赤の色情報を有する画素の信号値及び青の色情報を有する画素の信号値とを用いて、前記ＹＣｂＣｒ色空間における色差成分を算出する、ことを特徴とする。

上記画像処理装置は、前記単色画像を構成する各画素の信号値に基づき、該単色画像における構造情報を抽出する構造情報抽出部と、前記構造情報に基づき、補間処理を行う際の補間方向を判別する方向判別部と、をさらに備え、前記補間処理部は、前記方向判別部により判別された前記補間方向に従って補間処理を行うことにより、前記欠落している色情報を補間する、ことを特徴とする。

上記画像処理装置において、前記構造情報は、前記単色画像を構成する各画素の信号値と該各画素の周辺画素との信号値の連続性又は勾配を表す情報であることを特徴とする。

本発明に係る撮像装置は、前記画像処理装置と、前記被写体を撮像することにより、前記色画像及び前記単色画像の画像信号を生成して出力する撮像部と、を備えることを特徴とする。

上記撮像装置において、前記撮像部は、入射した光に対応する画像信号を生成する２つの撮像素子と、前記２つの撮像素子のうちの一方の撮像素子の受光面に設けられたカラーフィルタと、前記観察光を分割し、分割された観察光を前記２つの撮像素子の方向にそれぞれ導く、又は、前記観察光を前記２つの撮像素子の方向に順次導く光学系と、を備えることを特徴とする。

上記撮像装置において、前記２つの撮像素子は、互いに等しい画素ピッチを有することを特徴とする。

本発明に係る顕微鏡システムは、前記撮像装置と、前記被写体が載置されるステージと、前記被写体の観察光を前記撮像装置に導く光学系と、を備えることを特徴とする。

本発明に係る画像処理方法は、被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得ステップと、前記単色画像を構成する各画素の信号値に基づき、前記色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得ステップと、前記単色画像を構成する各画素の信号値に基づき、前記色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、単色画像を構成する各画素の信号値に基づき、色画像を構成する各画素において欠落している色情報を補間するので、補間処理に起因する誤差を低減し、ナイキスト周波数に近い高周波帯域であっても偽色の発生を抑制することが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３Ａは、モノクロ画像を示す模式図である。 図３Ｂは、モザイク画像を示す模式図である。 図４Ａは、補間画像のＲ成分を示す模式図である。 図４Ｂは、補間画像のＧ成分を示す模式図である。 図４Ｃは、補間画像のＢ成分を示す模式図である。 図５Ａは、本発明の実施の形態１に係る画像処理方法によりモザイク画像を補間した補間画像を示す拡大写真である。 図５Ｂは、従来の画像処理方法によりモザイク画像を補間した補間画像を示す拡大写真である。 図６は、本発明の実施の形態１の変形例１−３における画像処理を説明するための模式図である。 図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図８は、図７に示す画像処理装置の動作を示すフローチャートである。 図９は、本発明の実施の形態３に係る撮像装置の構成を示す模式図である。 図１０は、本発明の実施の形態３の変形例３−１に係る撮像装置の構成を示す模式図である。 図１１は、本発明の実施の形態３の変形例３−２に係る撮像装置の構成を示す模式図である。 図１２は、本発明の実施の形態４に係る顕微鏡システムの構成を示す模式図である。

以下、本発明に係る画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、本実施の形態１に係る画像処理装置１は、画像処理の対象となる画像を取得する画像取得部１１と、該画像に対して補間処理を施す補間処理部１２を備える。

画像取得部１１は、撮像装置等の外部機器との間で情報の入出力を行うインタフェースであり、複数色からなるカラーフィルタを介して被写体を撮像することにより得られた、複数の色情報を持つ色画像の画像信号と、同じ被写体を、カラーフィルタを介さないで撮像することにより得られた単色画像の画像信号とを取得する。

ここで、カラーフィルタとしては、赤、緑、青等の各色フィルタが所定の配列（例えばベイヤ配列）で並べられたカラーフィルタが用いられる。このようなカラーフィルタを介して撮像された色画像は、各画素が１色の画像情報（以下、色情報という）を有する所謂モザイク画像となる。一方、単色画像は、各画素が輝度情報のみを有する画像である。以下、カラーフィルタを介して撮像された色画像のことをモザイク画像といい、単色画像をモノクロ画像という。

なお、カラーフィルタを構成する色は、上述した赤、緑、青の３原色に限定されず、例えば、イエロー、マゼンダ、シアンの補色であっても良いし、４色以上のマルチバンドであっても良い。また、フィルタの配列としては、ベイヤ配列の他、公知の種々の配列を採用することができる。

モザイク画像及びモノクロ画像は、互いに同じ画素ピッチを有する撮像素子を用いて撮像された画像であることが好ましい。即ち、モザイク画像を構成する画素とモノクロ画像を構成する画素とが１対１で対応していることが好ましい。しかしながら、両画像の画素が１対１で対応していない場合であっても、両画像間での画素の空間的な対応関係を取得することができれば、本実施の形態を適用することができる。この場合、モザイク画像の撮像に用いた撮像素子よりも画素ピッチが小さい撮像素子を用いてモノクロ画像を撮像し、モザイク画像よりもモノクロ画像の画素密度を高くする。

画像取得部１１は、このようなモザイク画像及びモノクロ画像の画像信号を撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。なお、被写体を撮像する撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、一般的なデジタルカメラであっても良い。

また、画像取得部１１は、画像信号をアナログ信号の状態で取得しても良いし、デジタル変換された画像信号（画像データ）を取得しても良い。前者の場合、画像取得部１１は、画像信号をデジタル化して、補間処理部１２に入力する。

補間処理部１２は、画像取得部１１が取得したモノクロ画像を構成する各画素の信号値（画素値）に基づいて、モザイク画像の各画素において欠落している色情報を補間することにより、各画素が全ての色情報（例えば、赤、緑、青の３色）を有する補間画像を作成する。

次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像取得部１１は、同じ被写体像が写ったモノクロ画像及びモザイク画像を取得し、補間処理部１２に入力する。図３Ａは、モノクロ画像を示す模式図であり、図３Ｂはモザイク画像を示す模式図である。以下においては、本実施の形態１における画像処理を理解し易くするために、５×５＝２５画素からなるモノクロ画像Ａ１及びモザイク画像Ａ２を処理対象として説明する。また、以下において、モノクロ画像Ａ１及びモザイク画像Ａ２の各々を構成する画素の座標を（ｘ，ｙ）（図３Ａ及び図３Ｂにおいて、１≦ｘ≦５、１≦ｙ≦５）と記す。

図３Ａに示すマトリックス内に表示された符号Ｍ_xyは、モノクロ画像Ａ１の座標（ｘ，ｙ）に位置する画素の信号値（画素値）を示す。モノクロ画像Ａ１における各画素の信号値は、被写体に関する輝度情報を表す。

図３Ｂに示すマトリックス内に表示された符号Ｒ_xy、Ｇ_xy、Ｂ_xyは、モザイク画像Ａ２の座標（ｘ，ｙ）に位置する画素の信号値（画素値）を示す。このうち、符号Ｒ_xyは赤の色情報（以下、Ｒ信号ともいう）の信号値であり、符号Ｇ_xyは緑の色情報（以下、Ｇ信号ともいう）の信号値であり、符号Ｂ_xyは青の色情報（以下、Ｂ信号ともいう）の信号値である。モザイク画像Ａ２は、一例として、ベイヤ配列のカラーフィルタを使用して取得された画像であり、各画素は、信号値Ｒ_xy、Ｇ_xy、Ｂ_xyのいずれかを有する。

続くステップＳ１１において、補間処理部１２は、モザイク画像Ａ２の各画素において欠落している色情報をモノクロ画像Ａ１の信号値、即ち輝度情報に基づいて補間することにより、各画素が全ての色情報を有する補間画像（デモザイク画像）を作成する。なお、モノクロ画像Ａ１を生成した撮像素子に欠陥画素が存在する場合、当該欠陥画素に対応するモノクロ画像Ａ１上の画素の信号値を、線形補間等の公知技術により予め補間しておく。

図４Ａは、補間画像の赤色成分（以下、Ｒ成分という）を示す模式図であり、図４Ｂは、補間画像の緑色成分（以下、Ｇ成分という）を示す模式図であり、図４Ｃは、補間画像の青色成分（Ｂ成分）を示す模式図である。図４Ａ〜図４Ｃに示すマトリックス内に表示された符号Ｒ’_xy、Ｇ’_xy、Ｂ’_xyは、補間画像の座標（ｘ，ｙ）に位置する画素におけるＲ成分、Ｇ成分、Ｂ成分の信号値をそれぞれ表す。なお、図４Ａ〜図４Ｃにおいては、モザイク画像Ａ２において信号値Ｒ_xy、Ｇ_xy、Ｂ_xyが得られている画素に網掛けを附している。

補間処理部１２は、補間画像のＧ成分として、モノクロ画像Ａ１の信号値Ｍ_xyをそのまま用いる。即ち、Ｇ’_xy＝Ｍ_xyである。これより、全ての画素における信号値Ｇ’_xyが得られる。

また、補間処理部１２は、補間画像のＲ成分、Ｂ成分を、モザイク画像Ａ２において取得されたＲ信号、Ｂ信号と、Ｇ信号の代わりにモノクロ画像Ａ１の信号値とを用いた補間処理により算出する。補間処理としては、公知の種々の手法を用いることができ、本実施の形態１においては、色差補間を行う。

例えば、補間画像のＢ成分の信号値Ｂ’₂₂、Ｂ’₂₃、Ｂ’₃₂、Ｂ’₃₃は、次式（１ａ）〜（１ｄ）によってそれぞれ与えられる。

即ち、座標（２，２）のように、モザイク画像Ａ２において補間対象と同じ色の信号値Ｂ_xyが得られている場合、該信号値Ｂ_xyがそのまま信号値Ｂ’_xyとなる（式（１ａ））。また、座標（２，３）のように、モザイク画像Ａ２においてｘ方向で隣接する画素が補間対象と同じ色の信号を有する場合、Ｇ信号の代わりにモノクロ画像Ａ１の信号値を用いたｘ方向における色差補間により信号値Ｂ’_xyが算出される（式（１ｂ））。また、座標（３，２）のように、モザイク画像Ａ２においてｙ方向で隣接する画素が補間対象と同じ色の信号を有する場合、Ｇ信号の代わりにモノクロ画像Ａ１の信号値を用いたｙ方向における色差補間により信号値Ｂ’_xyが算出される（式（１ｃ））。さらに、座標（３，３）のように、モザイク画像Ａ２においてｘ方向及びｙ方向でそれぞれ隣接する画素が補間対象と同じ色の信号を有する場合、Ｇ信号の代わりにモノクロ画像Ａ１の信号値を用いたｘ方向及びｙ方向における色差補間により信号値Ｂ’_xyが算出される（式（１ｄ））。

補間処理部１２は、補間画像のＲ成分（信号値Ｒ’_xy）についても同様に算出する。
これより、モザイク画像Ａ２において欠落した色情報が全て補間された補間画像が得られる。

続くステップＳ１２において、補間処理部１２は、補間画像を構成する各色成分の信号を、画像処理装置１に接続された表示装置等の外部機器に出力することにより、カラー画像を表示させる。この際、補間処理部１２は、Ｒ成分、Ｇ成分、Ｂ成分の出力強度を色ごとに変化させて、カラー画像における色のバランスを調整しても良い。
その後、画像処理装置１の動作は終了する。

図５Ａは、実施の形態１に係る画像処理方法により作成した補間画像を示す拡大写真である。また、図５Ｂは、従来の画像処理方法により作成した補間画像を示す拡大写真であり、比較のために示すものである。なお、もとのモザイク画像は、縦及び横のラインをそれぞれ等間隔で並べたストライプのパターンを、画像の上から下に向かってピッチが狭くなるように配置したものである。

図５Ｂに示すように、従来の画像処理方法の場合、ストライプのピッチが狭くなるほど偽色の発生が顕著となり、縦及び横のラインが不明瞭になってしまった。それに対し、図５Ａに示すように、実施の形態１に係る画像処理方法の場合には、偽色の発生を十分に低減することができたため、ストライプのピッチを狭くした場合であっても、縦及び横のラインを明瞭に視認することができた。

以上説明したように、実施の形態１によれば、補間画像におけるＧ成分として、全ての画素の情報が揃ったモノクロ画像Ａ１の信号値（輝度情報）を用いるため、Ｇ成分に対する空間的な補間処理が不要となる。従って、Ｇ成分の補間処理に起因する誤差を抑制することができる。また、実施の形態１によれば、補間画像におけるＲ成分及びＢ成分を、モノクロ画像Ａ１の信号値を用いて補間するため、モザイク画像Ａ２の信号値のみを用いて補間する場合と比較して、補間処理に起因する誤差を低減することができる。従って、実施の形態１によれば、ナイキスト周波数に近い高周波帯域であっても偽色の発生を抑制することができ、従来よりも高画質な補間画像を得ることが可能となる。

上記実施の形態１においては、モザイク画像を取得する際にカラーフィルタを用いることにより欠落してしまう色情報を補間する場合を説明したが、本実施の形態１は、モザイク画像を生成した撮像素子に欠陥画素が存在する場合に、当該欠陥画素に対応するモザイク画像上の画素の色情報を補間する際にも適用することができる。

上記実施の形態１においては、ＲＧＢの３色で表現されたモザイク画像において欠落している色情報を色差補間により算出したが、欠落している色情報の算出方法はこれに限定されない。以下、色情報の算出方法の変形例１−１〜１−５を説明する。

（変形例１−１）
本発明の実施の形態１の変形例１−１について説明する。
上記実施の形態１においてはＲＧＢ色空間における補間処理を説明したが、モザイク画像をＹＣｂＣｒ色空間において補間した後でＲＧＢ色空間に変換することにより補間画像を作成しても良い。

この場合、ＹＣｂＣｒ色空間の座標（ｘ，ｙ）における画素の輝度成分Ｙ_xyには、モノクロ画像Ａ１の信号値Ｍ_xyがそのまま用いられる。即ち、Ｙ_xy＝Ｍ_xyである。

また、ＹＣｂＣｒ色空間の座標（ｘ，ｙ）における画素の色差成分Ｃｂ_xy、Ｃｒ_xyは、モザイク画像Ａ２における当該画素及びその周辺画素のＲ信号、Ｂ信号と、Ｇ信号との差分から算出される。この際、本変形例１−１においては、Ｇ信号の代わりに、モノクロ画像Ａ１の信号値が用いられる。

例えば、色差成分Ｃｂ₂₂、Ｃｂ₂₃、Ｃｂ₃₂、Ｃｂ₃₃は、次式（２ａ）〜（２ｄ）により与えられる。

色差成分Ｃｒ_xyについても同様に、モザイク画像Ａ２におけるＲ信号と、Ｇ信号の代わりに用いるモノクロ画像Ａ１の信号値とに基づいて算出される。

このようにＹＣｂＣｒ空間において補間した各画素の輝度成分及び色差成分を、例えばＩＴＵ−Ｒ ＢＴ．６０１で規定される公知の変換式（３ａ）〜（３ｃ）を用いてＲＧＢ信号に変換することにより、補間画像の各色成分が得られる。
Ｒ_xy＝Ｙ_xy＋１．４０２２×Ｃｒ_xy …（３ａ）
Ｇ_xy＝Ｙ_xy−０．３４４１４Ｃｂ_xy−０．７１４１４×Ｃｒ_xy …（３ｂ）
Ｂ_xy＝Ｙ_xy＋１．７７２００×Ｃｂ_xy …（３ｃ）

（変形例１−２）
次に、本発明の実施の形態１の変形例１−２について説明する。
本変形例１−２においては、モザイク画像において欠落している色情報を算出する際に、色差補間の代わりにＡＣＰＩ（Advanced Color Plane Interpolation）補間を用いる。なお、補間画像のＧ成分（信号値Ｇ’_xy）については、上記実施の形態１と同様に、モザイク画像と同じ被写体像が写ったモノクロ画像の信号値をそのまま用いることとする。

ここで、通常のＡＣＰＩ補間においては、補間対象画素の周辺画素の信号値から算出した線形補間値に対し、補間対象画素における高空間周波数成分を加えることにより、当該補間対象画素の信号値を算出する。これに対し、本変形例１−２においては、線形補間値に加える高空間周波数成分を、モノクロ画像Ａ１の信号値Ｍ_xyから算出する。

例えば、補間画像のＢ成分の信号値Ｂ’₂₂、Ｂ’₂₃、Ｂ’₃₂、Ｂ’₃₃は、次式（４ａ）〜（４ｄ）により与えられる。

即ち、座標（２，２）のように、モザイク画像Ａ２において補間対象の色の信号値Ｂ_xyが得られている場合、該信号値Ｂ_xyがそのまま信号値Ｂ’_xyとなる（式（４ａ））。また、座標（２，３）のように、モザイク画像Ａ２においてｘ方向で隣接する画素が補間対象と同じ色の信号を有する場合、該隣接する画素の信号値の平均に対し、モノクロ画像Ａ１における当該画素のｘ方向での高空間周波数成分が加算される（式（４ｂ））。また、座標（３，２）のように、モザイク画像Ａ２においてｙ方向で隣接する画素が補間対象と同じ色の信号を有する場合、該隣接する画素の信号値の平均に対し、モノクロ画像Ａ１における当該画素のｙ方向での高空間周波数成分が加算される（式（４ｃ））。さらに、座標（３，３）のように、モザイク画像Ａ２においてｘ方向及びｙ方向でそれぞれ隣接する画素が補間対象と同じ色の信号値を有する場合、該隣接する画素の信号値の平均に対し、モノクロ画像Ａ１における当該画素のｘ方向及びｙ方向での高空間周波数成分が加算される（式（４ｄ））。
補間画像のＲ成分（信号値Ｒ’_xy）についても同様に算出される。

（変形例１−３）
次に、本発明の実施の形態１の変形例１−３について説明する。本変形例１−３においては、モザイク画像において欠落している色情報を補間する際に、補間処理に用いる周辺画素の信号値を、同じ被写体像が写ったモノクロ画像における輝度差に応じて重み付けする。なお、補間画像のＧ成分（信号値Ｇ’_xy）については、上記実施の形態１と同様に、モザイク画像と同じ被写体像が写ったモノクロ画像の信号値をそのまま用いることとする。

図６は、本変形例１−３における画像処理を説明するための模式図であり、７×７＝４９画素からなるモザイク画像を示している。まず、このモザイク画像Ａ３に対し、補間対象画素を中心とするフィルタ領域Ｆを設定する。以下の説明においては、フィルタ領域Ｆのサイズを５×５画素とするが、フィルタ領域Ｆのサイズは任意に設定して良い。

続いて、このフィルタ領域Ｆ内の各画素に対し、モノクロ画像の輝度に依存する重みを決定する。ここで、補間対象画素の周辺画素が有する色情報であっても、補間対象の色と異なる色の色情報は使用されない。そのため、フィルタ領域Ｆにおいて、該異なる色の色情報を有する画素に与えられる重みはゼロに設定される。例えば、座標（４，５）における画素のＢ成分を補間する場合、信号値Ｒ₃₅を有する画素や信号値Ｇ₃₆を有する画素等の重みはゼロに設定される。

また、重みがゼロ以外の画素に与えられる重みは、当該画素と補間対象画素との輝度差に基づいて算出される。例えば、座標（４，５）における画素のＢ成分を補間する場合、信号値Ｂ₂₄を有する画素に与えられる重みｗ_d(24)は、モノクロ画像における信号値Ｍ₂₄及び信号値Ｍ₄₅を用いて、次式（５）によって与えられる。
式（５）において、符号σ_dは、重みの値を調整するための任意の値である。

フィルタ領域Ｆ内の他の画素についても同様に重みが決定される。
式（５）より明らかなように、座標（ｘ，ｙ）における画素の重みｗ_d(xy)は、補間対象画素との輝度差が小さいほど大きくなり、該輝度差が大きいほど小さくなる。

このようにしてフィルタ領域Ｆ内の各画素の重み（ｗ_d(xy)又はゼロ）を決定した後、フィルタ領域Ｆ内の各画素の信号値を重み付け加算することにより、補間画像における各色成分が算出される。例えば、座標（４，５）における画素のＢ成分の信号値Ｂ’₄₅は、次式（６）によって与えられる。
補間画像におけるＲ成分についても同様に算出される。

以上説明した変形例１−３によれば、補間対象画素とフィルタ領域Ｆ内の各画素との輝度差に基づく重み付け加算を行うので、補間対象画素におけるエッジを保った補間処理を行うことができる。

（変形例１−４）
次に、本発明の実施の形態１の変形例１−４について説明する。本変形例１−４においては、モザイク画像において欠落している色情報を補間する際に、補間処理に用いる周辺画素の信号値を、同じ被写体像が写ったモノクロ画像の輝度差及び空間距離に応じて重み付けする。このような補間対象画素と周辺画素との輝度差及び空間距離による重み付け補間処理は、一般に、バイラテラルフィルタ処理と呼ばれる。なお、補間画像のＧ成分（信号値Ｇ’_xy）については、上記実施の形態１と同様に、モザイク画像と同じ被写体像が写ったモノクロ画像の信号値をそのまま用いることとする。

本変形例１−４においても、変形例１−３と同様に、まず、モザイク画像Ａ３に対し、補間対象画素を中心とするフィルタ領域Ｆを設定する。
続いて、フィルタ領域Ｆ内の各画素に対し、モノクロ画像の輝度及び空間距離に依存する重みを決定する。フィルタ領域Ｆのうち、補間対象の色と異なる色の色情報を有する画素に与えられる重みは、ゼロに設定される。

また、重みがゼロ以外の画素に与えられる重みは、当該画素と補間対象画素との輝度差及び空間距離に基づいて算出される。例えば、座標（４，５）における画素のＢ成分を補間する場合、信号値Ｂ₂₄を有する画素に与えられる重みｗ₂₄は、次式（７）によって与えられる。
ｗ₂₄＝ｗ_d(24)×ｗ_s(24) …（７）

式（７）において、重みｗ_d(24)は当該画素と補間対象画素との輝度差に基づく重みであり、式（５）によって与えられる。一方、重みｗ_s(24)は、当該画素と補間対象画素との空間距離に基づく重みであり、座標（２，４）と座標（４，５）とのｘ方向における空間距離Δｘ_(24〜45)及びｙ方向における空間距離Δｙ_(24〜45)を用いて、次式（８）によって与えられる。
式（８）において、符号σ_sは、重みの値を調整するための任意の値である。

フィルタ領域Ｆ内の他の画素についても同様に重みが決定される。
式（８）より明らかなように、座標（ｘ，ｙ）における画素の重みｗ_s(xy)は、補間対象画素との空間距離が短いほど大きくなり、該空間距離が長いほど小さくなる。

このようにしてフィルタ領域Ｆ内の各画素の重み（ｗ_xy又はゼロ）を決定した後、フィルタ領域Ｆ内の各画素の信号値を重み付け加算することにより、補間画像における各色成分が算出される。例えば、座標（４，５）における画素のＢ成分の信号値Ｂ’₄₅は、次式（９）によって与えられる。
補間画像におけるＲ成分についても同様に算出される。

以上説明した変形例１−４によれば、補間対象画素とフィルタ領域Ｆ内の各画素との輝度差及び空間距離に基づく重み付け加算を行うので、補間対象画素におけるエッジをさらに保った補間処理を行うことができる。

なお、補間対象画素とその周辺画素との輝度差及び空間距離に基づく重み付け補間としては、上述した手法の他にも、より簡易な演算が可能な公知技術であるガイデッドフィルタ処理（例えば、特開２０１２−２３９０３８号公報参照）を適用しても良い。

（変形例１−５）
次に、本発明の実施の形態１の変形例１−５について説明する。
モザイク画像において欠落している色情報を補間する際、補間対象画素が該モザイク画像の端部に位置する場合には、演算に必要な周辺画素の色情報が揃わないため、上述した補間処理を行うことができない。

このような場合、モザイク画像の端部領域については補間処理を行うことなく、色情報を補間することができなかった端部領域をカットしてしまっても良い。或いは、画面端に対する公知の処理により、端部領域における色情報を補間しても良い。例えば、モザイク画像を所定の手法で拡張し、もとのモザイク画像の端部領域の画素の信号値と、拡張した領域の画素の信号値とを用いて補間処理を行っても良い。モザイク画像を拡張する手法としては、例えば、モザイク画像の周囲をゼロ値で埋める手法や、もとのモザイク画像の周囲に同じモザイク画像を複製して周期的に配置する手法や、もとのモザイク画像の周囲に、同じモザイク画像を対称的に配置する手法（ミラーリング）等が知られている。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１に示すように、実施の形態２に係る画像処理装置２は、同じ被写体像が写ったモノクロ画像及びモザイク画像を取得する画像取得部１１と、モノクロ画像における構造情報を抽出する構造情報抽出部２１と、モノクロ画像における構造情報に基づいて、補間処理を行う際の補間方向を判別する方向判別部２２と、該方向判別部２２によって判別された補間方向に従ってモザイク画像に補間処理を施すことにより、補間画像を作成する補間処理部２３とを備える。このうち、画像取得部１１の動作は、実施の形態１と同様である。

次に、画像処理装置２の動作について説明する。図８は、画像処理装置２の動作を示すフローチャートである。
まず、ステップＳ２０において、画像取得部１１は、同じ被写体像が写ったモノクロ画像及びモザイク画像を取得し、モノクロ画像を構造情報抽出部２１に入力し、モザイク画像を補間処理部２３に入力する。以下においては、図３Ａに示すモノクロ画像Ａ１及び図３Ｂに示すモザイク画像Ａ２を処理対象として説明する。

続くステップＳ２１において、構造情報抽出部２１は、モノクロ画像Ａ１から構造情報を抽出する。構造情報としては、例えば輝度の連続性や輝度勾配のように、モノクロ画像Ａ１におけるエッジを表す情報が用いられる。本実施の形態２においては、構造情報として輝度の連続性を用いる。なお、モノクロ画像Ａ１を生成した撮像素子に欠陥画素が存在する場合、当該欠陥画素に対応するモノクロ画像Ａ１上の画素の信号値を、線形補間等の公知技術により、予め補間しておく。

輝度の垂直方向（ｙ方向）における連続性を表す値をα、水平方向（ｘ方向）における連続性を表す値をβとすると、例えば、モノクロ画像Ａ１の座標（３，３）における値α及びβは、次式（１０ａ）及び（１０ｂ）によってそれぞれ与えられる。
これらの値α及びβが小さいほど、当該座標（３，３）における輝度の連続性が高いことを示す。

なお、垂直方向及び水平方向に加えて、斜め方向における輝度の連続性を表す値を算出しても良い。例えば、座標（３，３）の斜め方向における輝度の連続性は、信号値Ｍ₂₂、Ｍ₃₃、Ｍ₄₄、或いは、信号値Ｍ₂₄、Ｍ₃₃、Ｍ₄₂を用いて算出することができる。

続くステップＳ２２において、方向判別部２２は、ステップＳ２１において抽出された構造情報に基づき、補間処理を行う際の補間方向を判別する。本実施の形態２においては、輝度の連続性に応じて、補間方向を、水平方向、垂直方向、又は、方向なしのいずれかに判別する。より詳細には、輝度の連続性が高い方向を補間方向として判別する。

上述したように、輝度の連続性を表す値α及びβは、値が小さいほど連続性が高いことを示す。従って、補間方向は、具体的に、以下のように判別される。
（１）α＞βの場合
水平方向における連続性を表す値βの方が小さいため、水平方向の連続性が高いといえる。従って、補間方向は水平方向と判別される。
（２）α＜βの場合
垂直方向の連続性を表す値αの方が小さいため、垂直方向の連続性が高いといえる。従って、補間方向は垂直方向と判別される。
（３）α＝βの場合
垂直方向及び水平方向の連続性は同程度といえる。従って、補間方向としては、方向なしと判別される。

なお、ステップＳ２１において斜め方向の構造情報を抽出した場合には、補間方向として斜め方向を含めても良い。いずれにしても、連続性の高い方向が補間方向として判別される。

続くステップＳ２３において、補間処理部２３は、ステップＳ２２において判別した補間方向に基づいてモザイク画像Ａ２において欠落している色情報を補間することにより、補間画像（図４Ａ〜図４Ｃ参照）を作成する。

そのために、補間処理部２３は、まず、モザイク画像Ａ２を生成した撮像素子に欠陥画素が存在する場合、当該欠陥画素に対応するモザイク画像Ａ２上の画素の信号値を補間する。

例えば、モザイク画像Ａ２において、座標（３，３）における赤の信号値Ｒ₃₃が欠落している場合、該信号値Ｒ₃₃は、ステップＳ２２において判別された補間方向に応じ、周辺画素における同じ色の信号値を用いて、次式（１１ａ）〜（１１ｃ）のいずれかにより算出される。

続いて補間処理部２３は、補間画像における各色成分を算出する。
補間画像におけるＧ成分の信号値Ｇ’_xyは、モザイク画像Ａ２におけるＧ信号を用いた補間処理により算出される。例えば信号値Ｇ’₃₃は、ステップＳ２２において判別された補間方向に応じて、次式（１２ａ）〜（１２ｃ）により与えられる。

或いは、次式（１３ａ）〜（１３ｃ）に示すように、公知のＡＣＰＩ補間と同様にして、座標（２，３）における高空間周波数成分を加えても良い。

また、補間画像におけるＲ成分、Ｂ成分の信号値Ｒ’_xy、Ｂ’_xyは、モザイク画像Ａ２における同じ色の信号値と、補間画像におけるＧ成分の信号値とを用いた補間処理により算出される。

例えば、Ｂ成分の信号値Ｂ’₂₂、Ｂ’₂₃、Ｂ’₃₂、Ｂ’₃₃は、次式（１４ａ）〜（１４ｄ）によってそれぞれ与えられる。
Ｒ成分についても同様に算出される。

なお、信号値Ｒ’_xy及びＢ’_xyを算出する際には、実施の形態１の変形例１−１〜１−５を適用しても良い。これらの場合、式（２ａ）〜（２ｄ）、（４ａ）〜（４ｄ）、（５）〜（９）における信号値Ｍ_xyは、信号値Ｇ’_xyに読み替えられる。
また、ステップＳ２２において補間方向として斜め方向を含めた場合には、補間対象画素の斜め方向における周辺画素を用いて補間処理を行っても良い。

続くステップＳ２４において、補間処理部２３は、補間画像を構成する各色成分の信号を、画像処理装置２に接続された表示装置等の外部機器に出力することにより、カラー画像を表示させる。なお、この際、補間処理部２３は、Ｒ成分、Ｇ成分、Ｂ成分の出力強度を色ごとに変化させて、カラー画像における色のバランスを調整しても良い。
その後、画像処理装置２の動作は終了する。

以上説明したように、実施の形態２によれば、Ｇ成分の空間的な補間処理を行う方向を、モノクロ画像Ａ１の信号値Ｍ_xyに基づいて判別するので、正確な方向判別が可能となる。従って、ナイキスト周波数に近い高周波帯域であっても、Ｇ成分の補間処理における誤差を低減することができる。また、このように補間処理がなされたＧ成分を用いて、Ｒ成分及びＢ成分の補間処理を行うので、補間画像における偽色の発生を抑制することができ、従来よりも高画質な補間画像を得ることが可能となる。

（変形例２−１）
次に、本発明の実施の形態２の変形例２−１について説明する。
本変形例２−１においては、構造情報として、モノクロ画像Ａ１における輝度勾配を用いる例を説明する。

水平方向における輝度勾配をｄ_h1、ｄ_h2、垂直方向における輝度勾配をｄ_v1、ｄ_v2とすると、輝度勾配ｄ_h1、ｄ_h2、ｄ_v1、ｄ_v2は、注目画素の信号値と各方向における周辺画素の信号値との差分処理により算出される。

例えば、座標（３，３）における画素の輝度勾配ｄ_h1、ｄ_h2、ｄ_v1、ｄ_v2は次式（１５ａ）〜（１５ｄ）により与えられる。
なお、垂直方向及び水平方向に加えて、斜め方向の輝度勾配を算出しても良い。

この場合、モザイク画像Ａ２の補間方向は、輝度勾配が小さい方向と判別される。具体的には、以下のとおりである。
（１）（ｄ_v1＋ｄ_v2）＞（ｄ_h1＋ｄ_h2）の場合
水平方向における輝度勾配の方が小さいため、補間方向は水平方向と判別される。
（２）（ｄ_v1＋ｄ_v2）＜（ｄ_h1＋ｄ_h2）の場合
垂直方向における輝度勾配の方が小さいため、補間方向は垂直方向と判別される。
（３）（ｄ_v1＋ｄ_v2）＝（ｄ_h1＋ｄ_h2）の場合
水平方向及び垂直方向の輝度勾配が等しいため、補間方向の方向性はないと判別される。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図９は、本発明の実施の形態３に係る撮像装置の構成例を示す模式図である。図９に示すように、実施の形態３に係る撮像装置は、画像処理装置１又は２と、被写体の観察光（照明光を被写体に照射した際の、被写体からの反射光及び透過光等）に基づく画像信号を生成して該画像処理装置１又は２に入力する撮像部３とを備える。なお、画像処理装置１又は２の構成及び動作は、実施の形態１又は２と同様である。

撮像部３は、２つの撮像素子３１、３２と、被写体の観察光を分割して撮像素子３１、３２の方向にそれぞれ導く光学系としてのプリズム３３と、一方の撮像素子３２に設けられたカラーフィルタ３４とを備える。

撮像素子３１、３２は、例えばＣＣＤイメージセンサ等からなる固体撮像素子であり、互いに等しいピッチで配列された複数の画素を有する。撮像素子３１、３２は、各々が備える受光面において受光した被写体の観察光を光電変換することにより画像信号を生成し、画像処理装置１又は２に出力する。これらの撮像素子３１、３２は、好ましくは同時に撮像動作を実行するように制御されている。

なお、撮像素子３１、３２は、光電変換により生成した画像信号を増幅する増幅部を内部に備えていても良いし、撮像素子３１、３２の後段に増幅部を別途設けても良い。また、撮像素子３１、３２の後段にＡ／Ｄ変換部を設け、画像信号をデジタル化した画像データを画像処理装置１又は２に入力しても良いし、アナログの画像信号を画像処理装置１又は２に入力し、画像処理装置１又は２側で該画像信号をデジタル化しても良い。

カラーフィルタ３４は、各色フィルタが撮像素子３２の画素と対応する位置に配列された光学部材であり、撮像素子３２の受光面に設けられている。撮像素子３２は、カラーフィルタ３４を介して観察光を受光することにより、画素ごとに決まった色の色情報を表す画像信号を出力する。

カラーフィルタ３４としては、公知の種々のカラーフィルタを用いることができる。具体的には、２行２列の画素領域に１つの赤色フィルタと、２つの緑色フィルタと、１つの青色フィルタとが配置されたベイヤ配列型カラーフィルタや、２行２列の画素領域にシアン、マゼンダ、イエロー、緑の各色フィルタが１つずつ配列された補色フィルタや、４行４列の画素領域に、８個の緑色フィルタと、２個のシアンフィルタと、２個のオレンジフィルタと、２個の青色フィルタと、２個の赤色フィルタとが配置されたマルチバンドフィルタ（例えば、特開２０１２−２３９０３８号公報参照）等が挙げられる。

撮像部３に入射した観察光をプリズム３３により分割し、分割された一方の観察光を撮像素子３１に入射させ、他方の観察光をカラーフィルタ３４を介して撮像素子３２に入射させる。それにより、撮像素子３１においてモノクロ画像の画像信号が生成され、撮像素子３２においてモザイク画像の画像信号が生成されて、共に画像処理装置１又は２に向けて出力される。

なお、モノクロ画像の画像信号を生成する撮像素子３１の画素ピッチを、モザイク画像の画像信号を生成する撮像素子３２の画素ピッチに対して小さくしても良い。この場合、撮像素子３２の各画素に対応する撮像素子３１の１つ以上の画素との空間的な対応関係を予め取得しておく。
また、プリズム３３の代わりにハーフミラーを用いて観察光を分割しても良い。

（変形例３−１）
次に、本発明の実施の形態３の変形例３−１について説明する。画像処理装置１又は２に入力される画像信号を生成する撮像部の構成は、実施の形態３において説明した撮像部３の構成に限定されない。

図１０は、本変形例３−１に係る撮像装置の構成を示す模式図である。図１０に示すように、本変形例３−１に係る撮像装置は、画像処理装置１又は２と、被写体の観察光に基づく画像信号を生成して該画像処理装置１又は２に入力する撮像部４とを備える。

撮像部４は、２つの撮像素子３１、３２と、被写体の観察光を撮像素子３１、３２に時分割で導く光学系としての反射ミラー４１及びミラー駆動部４２と、撮像素子３２に設けられたカラーフィルタ３４とを備える。このうち、撮像素子３１、３２の構成及び動作並びにカラーフィルタ３４の構成及び作用は、実施の形態３と同様である。

ミラー駆動部４２は、反射ミラー４１を所定の周期で駆動することにより、撮像部４に入射して直進する観察光の光路に反射ミラー４１を配置した状態と、該光路から反射ミラー４１を外した状態とを切り替える。

実線で示すように、反射ミラー４１が観察光の光路に配置されている場合、観察光は反射ミラー４１に反射されて撮像素子３１に入射する。一方、破線で示すように、反射ミラー４１が観察光の光路から外れている場合観察光は直進し、カラーフィルタ３４を介して撮像素子３２に入射する。

撮像部３に入射した観察光を反射ミラー４１及びミラー駆動部４２により、撮像素子３１及び撮像素子３２に順次入射させることにより、モノクロ画像の画像信号と、モザイク画像の画像信号とが順次生成され、撮像部４から画像処理装置１又は２に向けて順次出力される。

（変形例３−２）
次に、本発明の実施の形態３の変形例３−２について説明する。本変形例３−２においては、画像処理装置１又は２に入力される画像信号を生成する撮像部のさらに別の構成を説明する。

図１１は、本変形例３−２に係る撮像素子の構成を示す模式図である。図１１に示すように、本変形例３−２に係る撮像装置は、画像処理装置１又は２と、被写体の観察光に基づく画像信号を生成して該画像処理装置１又は２に入力する撮像部５とを備える。

撮像部５は、撮像素子３２と、該撮像素子３２の受光面の上流側に挿脱可能に設けられたカラーフィルタ３４と、該カラーフィルタ３４を駆動するフィルタ駆動部５１とを備える。このうち、撮像素子３２の構成並びにカラーフィルタ３４の構成及び作用は、実施の形態３と同様である。

フィルタ駆動部５１は、カラーフィルタ３４を所定の周期で観察光の光路から挿脱する。なお、図１１は、カラーフィルタ３４が観察光の光路に挿入された状態を示している。カラーフィルタ３４が観察光の光路に挿入されている場合、撮像素子３２はカラーフィルタ３４を介して観察光を受光することにより、モザイク画像の画像信号を生成する。一方、カラーフィルタ３４が観察光の光路から脱出している場合、撮像素子３２は観察光をそのまま受光することにより、モノクロ画像の画像信号を生成する。

このようなフィルタ駆動部５１の動作により、撮像素子３２においてモノクロ画像の画像信号とモザイク画像の画像信号とが順次生成され、撮像部５から画像処理装置１又は２に向けて出力される。

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１２は、本発明の実施の形態４に係る顕微鏡システムの構成を示す図である。図１２に示すように、本実施の形態４に係る顕微鏡システム６は、撮像部３が取り付けられた顕微鏡装置７と、撮像部３において生成された画像に画像処理を施す画像処理装置８と、該画像処理装置８において画像処理が施された画像を表示する表示装置９とを備える。このうち、撮像部３の構成及び動作は、実施の形態３と同様である（図９参照）。なお、撮像部３の代わりに撮像部４（図１０参照）や撮像部５（図１１参照）を適用しても良い。

顕微鏡装置７は、落射照明ユニット７１及び透過照明ユニット７２が設けられた略Ｃ字形のアーム７０と、該アーム７０に取り付けられ、観察対象である標本ＳＰが載置される標本ステージ７３と、鏡筒７５の一端側に三眼鏡筒ユニット７７を介して標本ステージ７３と対向するように設けられた対物レンズ７４と、標本ステージ７３を移動させるステージ位置変更部７６と、ユーザが標本ＳＰを直接観察する際に用いられる接眼レンズユニット７８とを備える。撮像部３は、鏡筒７５の他端側に設けられており、三眼鏡筒ユニット７７は、対物レンズ７４から入射した標本ＳＰの観察光を、撮像部３と接眼レンズユニット７８とに分岐する。

落射照明ユニット７１は、落射照明用光源７１１及び落射照明光学系７１２を備え、標本ＳＰに対して落射照明光を照射する。落射照明光学系７１２は、落射照明用光源７１１から出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

透過照明ユニット７２は、透過照明用光源７２１及び透過照明光学系７２２を備え、標本ＳＰに対して透過照明光を照射する。透過照明光学系７２２は、透過照明用光源７２１から出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

対物レンズ７４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ７４、７４’）を保持可能なレボルバ７９に取り付けられている。このレボルバ７９を回転させて、標本ステージ７３と対向する対物レンズ７４、７４’を変更することにより、撮像倍率を変化させることができる。

鏡筒７５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。

ステージ位置変更部７６は、例えばモータ７６１を含み、標本ステージ７３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部７６には、標本ステージ７３をＺ軸に沿って移動させることにより、対物レンズ７４の焦点を標本ＳＰに合わせる。

画像処理装置８は、画像取得部８１と、記憶部８２と、画像処理部８３と、出力部８４とを備える。このうち、画像取得部８１の構成及び動作は、図１に示す画像取得部１１と同様である。

記憶部８２は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置を含む記録装置等によって構成される。記憶部８２は、当該画像処理装置８の動作を制御する制御プログラム並びに該制御プログラムの実行中に使用される各種パラメータ及び設定情報や、画像取得部８１が取得したモノクロ画像及びモザイク画像の画像信号や、画像処理部８３により画像処理が施された画像（補間画像等）の画像信号等を記憶する。

画像処理部８３は、実施の形態１において説明したように、画像取得部８１が取得したモノクロ画像及びモザイク画像の画像信号に基づいて補間画像を生成する補間処理部１２を備える。或いは、画像処理部８３を、実施の形態２と同様に、構造情報抽出部２１と、方向判別部２２と、補間処理部２３とによって構成しても良い。

実施の形態４において、画像処理部８３は、専用のハードウェアによって構成しても良いし、ＣＰＵ等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、記憶部８２は、さらに、補間画像の生成処理を含む画像処理を画像処理部８３に実行させるための画像処理プログラム並びに該画像処理プログラムの実行中に使用される各種パラメータ及び設定情報を記憶する。

出力部８４は、画像処理装置８に表示装置９等の外部機器を接続するための外部インタフェースである。
表示装置９は、例えば、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、画像処理装置８から出力された補間画像の画像データに基づくカラー画像を表示する。

本発明は、上述した各実施の形態１〜４並びに変形例そのままに限定されるものではなく、各実施の形態１〜４並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜４並びに変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良い。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成しても良い。

１、２、８ 画像処理装置
３、４、５ 撮像部
６ 顕微鏡システム
７ 顕微鏡装置
９ 表示装置
１１、８１ 画像取得部
１２、２３ 補間処理部
２１ 構造情報抽出部
２２ 方向判別部
３１、３２ 撮像素子
３３ プリズム
３４ カラーフィルタ
４１ 反射ミラー
４２ ミラー駆動部
５１ フィルタ駆動部
７０ アーム
７１ 落射照明ユニット
７２ 透過照明ユニット
７３ 標本ステージ
７４ 対物レンズ
７５ 鏡筒
７６ ステージ位置変更部
７７ 三眼鏡筒ユニット
７８ 接眼レンズユニット
７９ レボルバ
８２ 記憶部
８３ 画像処理部
８４ 出力部
７１１ 落射照明用光源
７１２ 落射照明光学系
７２１ 透過照明用光源
７２２ 透過照明光学系
７６１ モータ

Claims (12)

1. 被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得部と、
   前記単色画像を構成する各画素の信号値に基づき、前記色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記補間処理部は、前記単色画像を構成する各画素の信号値を輝度情報として用いて、前記欠落している色情報を補間することを特徴とする請求項１に記載の画像処理装置。
3. 前記色画像は、赤、青、緑のいずれかの色情報を有する複数の画素が配列された画像であり、
   前記補間処理部は、
   前記輝度情報を、前記補間画像における緑の色情報として用い、
   前記単色画像を構成する各画素の信号値と、前記色画像を構成する画素のうち赤の色情報を有する画素の信号値及び青の色情報を有する画素の信号値とを用いて、前記補間画像における赤及び青の色情報をそれぞれ算出する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記色画像は、赤、青、緑のいずれかの色情報を有する複数の画素が配列された画像であり、
   前記補間処理部は、
   前記輝度情報を、ＹＣｂＣｒ色空間における輝度成分として用い、
   前記単色画像を構成する各画素の信号値と、前記色画像を構成する画素のうち、赤の色情報を有する画素の信号値及び青の色情報を有する画素の信号値とを用いて、前記ＹＣｂＣｒ色空間における色差成分を算出する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記単色画像を構成する各画素の信号値に基づき、該単色画像における構造情報を抽出する構造情報抽出部と、
   前記構造情報に基づき、補間処理を行う際の補間方向を判別する方向判別部と、
   をさらに備え、
   前記補間処理部は、前記方向判別部により判別された前記補間方向に従って補間処理を行うことにより、前記欠落している色情報を補間する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記構造情報は、前記単色画像を構成する各画素の信号値と該各画素の周辺画素との信号値の連続性又は勾配を表す情報であることを特徴とする請求項５に記載の画像処理装置。
7. 請求項１〜６のいずれか１項に記載の画像処理装置と、
   前記被写体を撮像することにより、前記色画像及び前記単色画像の画像信号を生成して出力する撮像部と、
   を備えることを特徴とする撮像装置。
8. 前記撮像部は、
   入射した光に対応する画像信号を生成する２つの撮像素子と、
   前記２つの撮像素子のうちの一方の撮像素子の受光面に設けられたカラーフィルタと、
   前記観察光を分割し、分割された観察光を前記２つの撮像素子の方向にそれぞれ導く、又は、前記観察光を前記２つの撮像素子の方向に順次導く光学系と、
   を備えることを特徴とする請求項７に記載の撮像装置。
9. 前記２つの撮像素子は、互いに等しい画素ピッチを有することを特徴とする請求項８に記載の撮像装置。
10. 請求項７〜９のいずれか１項に記載の撮像装置と、
    前記被写体が載置されるステージと、
    前記被写体の観察光を前記撮像装置に導く光学系と、
    を備えることを特徴とする顕微鏡システム。
11. 被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得ステップと、
    前記単色画像を構成する各画素の信号値に基づき、前記色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理ステップと、
    を含むことを特徴とする画像処理方法。
12. 被写体を撮像することにより得られた、単色画像の画像信号と、少なくとも複数の色情報を持つ色画像の画像信号と、を取得する画像取得ステップと、
    前記単色画像を構成する各画素の信号値に基づき、前記色画像を構成する各画素において欠落している色情報を補間することにより、補間画像を作成する補間処理ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。