JP2009135598A - 画像読み取り表示装置 - Google Patents

Abstract

【課題】画像データを転送する際の帯域幅が制限される場合に、フレームレートと画質を両立させる。
【解決手段】画像読み取り装置は、撮像部と、前記撮像部からの画像信号をデジタル化してＲＡＷ画像データに変換するＲＡＷ画像データ生成部と、前記ＲＡＷ画像データを補正して１次カラー画像データを生成する１次カラー画像データ生成部と、前記１次カラー画像データを間引き処理して２次カラー画像データを生成する２次カラー画像データ生成部と、前記ＲＡＷ画像データ，前記１次カラー画像データ，前記２次カラー画像データのいずれかを出力データとして選択するデータ選択部と、前記出力データを出力するデジタルインターフェイスとで構成され、画像表示装置は、前記出力データを入力するデジタルインターフェースと、前記出力データの種類に応じた復元方法で画像を再構築する画像処理部と、前記再構築した画像を表示する表示部とを設けた。
【選択図】 図１

Description

本発明は、読み取った画像データを転送して表示する装置に関する。

撮像素子などで読み取った画像データをパソコンなど別の装置に転送して、パソコンの画面に表示する画像読み取り表示装置の例として、カメラ付きの顕微鏡にパソコンを接続して、パソコンの画面で被検物の観察を行う顕微鏡システムが知られている。

ところが、顕微鏡からパソコンに画像データを転送するインターフェースの帯域幅や画像データ自体の容量との関係で、画像データの転送に時間が掛かる場合がある。

そこで、画像データを転送する際の帯域幅が不足する場合に、転送する画像を圧縮したり、転送する画像自体を削除することによって帯域幅の不足に対応する方法が検討されていた（例えば、特許文献１参照）。
特開平２００３−２１９３３７号公報

例えば、画像を転送するインターフェースとして、ＵＳＢインターフェース（ＵＳＢ２．０規格）を用いた場合の伝送帯域幅は、論理上４８０Ｍｂｐｓ（＝６０ＭＢｙｔｅ／ｓｅｃ）であるが、実際にはオーバーヘッドなど冗長部分を考えると、実質的な伝送帯域幅はその半分程度の約３０ＭＢｙｔｅ／ｓｅｃになる。

一方、１２８０×１０２４サイズのＲＧＢ画像データを転送する際のデータ量は、ＲＧＢ３色で各色１Ｂｙｔｅとして、１２８０×１０２４×３＝３．９ＭＢｙｔｅとなる。伝送帯域幅が３０ＭＢｙｔｅ／ｓｅｃの場合、先のＳＸＧＡサイズの画像は、１秒間に約７．６フレーム（＝３０，０００，０００／（１２８０×１０２４×３））しか転送できない計算になる。

ところが、近年のＣＣＤ撮像素子の高速化によりＳＸＧＡサイズの画像を撮像できるＣＣＤ撮像素子は１秒間に３０フレーム以上の動作が可能となっており、上記のような７．６フレーム／秒のフレームレートでは高解像かつ高速表示のニーズに対応することができない。

また、画像を圧縮して転送すると、画像を復元する際の処理速度の問題や画質が劣化するなどの問題が生じる。また、帯域幅に応じて転送する画像自体を削除する場合も、フレーム数が少なくなってしまうという問題が生じる。

上記課題に鑑み、本発明の目的は、画像データを転送する際の帯域幅が制限される場合でも、画質をあまり損なうことなく効率よく画像転送を行い、高速表示を可能にすることができる画像読み取り表示装置を提供することである。

本発明に係る画像読み取り表示装置は、読み取った画像データを外部に転送する画像読み取り装置と、前記画像読み取り装置が転送した画像データを表示する画像表示装置とからなる画像読み取り表示装置において、前記画像読み取り装置は、結像された被写体像を電気信号に変換する撮像部と、前記撮像素子で電気信号に変換された画像信号をデジタル化してＲＡＷ画像データに変換するＲＡＷ画像データ生成部と、前記ＲＡＷ画像データ生成部が生成したＲＡＷ画像データを補正して１次カラー画像データを生成する１次カラー画像データ生成部と、前記１次カラー画像データ生成部が生成した１次カラー画像データを間引き処理を行って２次カラー画像データを生成する２次カラー画像データ生成部と、前記ＲＡＷ画像データ，前記１次カラー画像データ，前記２次カラー画像データのいずれかを出力データとして選択するデータ選択部と、前記データ選択部が選択した出力データを外部に出力するデジタルインターフェイスとで構成され、前記画像表示装置は、前記画像読み取り装置から転送される画像データを入力するデジタルインターフェースと、前記デジタルインターフェースを介して入力した画像データの種類に応じた復元方法で画像を再構築する画像処理部と、前記画像処理部が再構築した画像を表示する表示部とで構成されることを特徴とする。

特に、前記１次カラー画像データ生成部は、ＲＧＢカラー画像データを生成し、前記２次カラー画像データ生成部は、前記ＲＧＢカラー画像データからＹＵＶカラー画像データを生成した後、Ｙ画素を千鳥状に間引く処理を行うことを特徴とする。

また、前記画像表示装置の前記画像処理部は、前記デジタルインターフェースを介して入力した画像データが２次カラー画像データである場合に、２次カラー画像データによる画像を構成する画素間の輝度変化の方向判定を行って、間引かれた画素の補間を行うことを特徴とする。

特に、前記画像表示装置の前記画像処理部は、前記間引かれた画素の上下の画素間または左右の画素間いずれかの差分値が規定値以上の場合に、上下の画素または左右の画素の平均値で間引かれた画素の補間を行い、前記間引かれた画素の上下の画素間および左右の画素間の両方の差分値が規定値以上の場合に、上下左右の画素の平均値で間引かれた画素の補間を行うことを特徴とする。

また、前記デジタルインターフェースは、ＵＳＢなどの汎用インターフェースで構成されることを特徴とする。

さらに、前記画像表示装置は、パソコンであることを特徴とする。

本発明によれば、画像データを転送する際の帯域幅が制限される場合でも、画質をあまり損なうことなく効率よく画像転送を行い、且つ表示することができる。

（第１の実施形態）
第１の実施形態に係る画像読み取り表示装置１０１について、図面を用いて詳しく説明する。図１において、画像読み取り表示装置１０１は、画像読み取り装置１０２と、画像表示装置に相当するパソコン１０３とで構成される。

画像読み取り装置１０２は、Ｃマウント１０５を介して顕微鏡１０４に取り付けられた撮像部１０６と、ケーブル１０７を介して撮像部１０６で撮像された画像信号を入力する制御部１０８とで構成される。また、画像読み取り装置１０２のＵＳＢインターフェース１０９から転送される画像データは、ＵＳＢケーブル１１０を介してパソコン１０３に送られる。尚、本実施形態ではＵＳＢインターフェース１０９を用いているが、ＩＥＥＥ１３９４規格のインターフェースやＬＡＮインターフェースなど、これ以外のデジタルインターフェースを用いても構わない。

図１に示したように、本実施形態では、顕微鏡１０４で観察する画像を画像読み取り装置１０２が読み取って画像データをパソコン１０３に転送し、パソコン１０３の画面に被検物１５１の画像を表示して観察する顕微鏡システムの一例である。

図１において、顕微鏡１０４は、鏡脚１１１と、ステージ１１２と、フォーカスハンドル１１３と、対物レンズ１１４と、鏡体１１５とで構成される。観察者は、パソコン１０３の画面に表示される観察画像を見ながら、顕微鏡１０４のフォーカスハンドル１１３を回してステージ１１２を上下させ、被検物１５１にフォーカスを合わせて観察する。

次に、画像読み取り装置１０２の構成について、図２を用いて詳しく説明する。図２は、図１で説明した撮像部１０６と制御部１０８の構成例を示すブロック図である。

図２において、例えば、図１の撮像部１０６は、ＣＣＤ撮像素子２０１と、ＡＦＥ（アナログフロントエンド）２０２とで構成される。図１の制御部１０８は、画像処理部２０３と、バッファ２０４と、ＴＧ（タイミングジェネレータ）２０５と、システムバス２０６と、ＣＰＵ２０７と、ＲＯＭ２０８と、ＲＡＭ２０９と、ＵＳＢインターフェース１０９とで構成される。尚、ＴＧ２０５は、撮像部１０６に含めても構わない。また、図２に示した画像読み取り表示装置１０１の構成は一例であり、例えば、顕微鏡１０４の鏡体１１５に装着可能なＣマウント１０５に対応するカメラと、そのカメラで撮影した画像を入力するための画像入力インターフェースを有するパソコンとで構成しても構わない。

制御部１０８は、システムバス２０６を介してＣＰＵ２０７によって制御される。また、ＣＰＵ２０７はＲＯＭ２０８に予め記憶されたプログラムに従って動作する。さらに、ＣＰＵ２０７は、ＵＳＢインターフェース１０９およびＵＳＢケーブル１１０を介して接続されるパソコン１０３から送られてくる制御コマンドに応じて制御部１０８の各部を制御する。また、ＲＡＭ２０９は、ＣＰＵ２０７によって用いられ、動作のための設定値などを記憶したり、バッファ２０４に記憶された画像データや画像処理部２０３から読み出した画像データなどを記憶する。

図２において、顕微鏡１０４で観察する被検物１５１の画像は、ＣＣＤ撮像素子２０１で電気信号に変換されてＡＦＥ２０２に出力される。この時、ＴＧ２０５からＣＣＤ撮像素子２０１に画像信号を出力するタイミングを与える。

ＡＦＥ２０２は、ＣＣＤ撮像素子２０１から読み出された画像信号に、相関二重サンプリング回路（ＣＤＳ回路）を通してノイズ除去を行ったり、適正レベルに増幅した後、Ａ／Ｄ変換器によってデジタル画像データに変換して画像処理部２０３に出力する。尚、これらの処理もＴＧ２０５から与えられるタイミング信号に従って行われる。

画像処理部２０３は、ＡＦＥ２０２から入力した画像データに対して、色変換処理などを行う。ここで、ＣＣＤ撮像素子２０１で撮影されてＡＦＥ２０２から出力される画像データはＲＡＷ画像データと呼ばれ、ＣＣＤ撮像素子２０１の受光面にマトリクス状に配置された画素毎に読み出された生の（未処理の）画像データである。尚、画像処理部２０３がＣＣＤ撮像素子２０１からＲＡＷ画像データを入力するタイミングはＴＧ２０５から与えられる。

ここで、ＲＡＷ画像データについて詳しく説明する。一般に知られているＪＰＥＧ規格などのカラー画像は、ＲＧＢ各色の諧調は８ｂｉｔ（２５６階調）に制限されているのに対し、ＲＡＷ画像データの場合は、ＣＣＤ撮像素子２０１のハード的な諧調に応じて決まる。例えば、ＣＣＤ撮像素子２０１が１２ｂｉｔ入力に対応している場合は、ＲＧＢ各色の諧調が１２ｂｉｔ（４，０９６諧調）のＲＡＷ画像データが得られるので、ビット落ちなどが少ない高精度な色補正を行うことができる。

次にＲＡＷ画像データの画素配置について説明する。図３（ａ）はＣＣＤ撮像素子２０１の画素配置を示した図で、分かり易いように、列Ｃ１〜列Ｃ４，行Ｒ１〜行Ｒ４の４×４画素を描いてある。ベイヤー配列と呼ばれる方法でＲＧＢ各色のカラーフィルタが所定の規則に従って各画素に配置されている。例えば、行Ｒ１と行Ｒ３の奇数行では、列Ｃ１はＲフィルタ、列Ｃ２はＧフィルタ、列Ｃ３はＲフィルタ、列Ｃ４はＧフィルタのようにＲとＧのカラーフィルタが交互に配置されている。同様に、行Ｒ２と行Ｒ４の偶数行では、列Ｃ１はＧフィルタ、列Ｃ２はＢフィルタ、列Ｃ３はＧフィルタ、列Ｃ４はＢフィルタのようにＧとＢのカラーフィルタが交互に配置されている。

一方、図３（ｂ）は、表示モニタ１１１に表示する際の画素配置を示した図である。尚、実際には、図３（ａ）のＣＣＤ撮像素子２０１の画素配置と同様に、表示モニタ１１１にもＲＧＢ各色のカラーフィルタ毎に画素が配置されているが、図３（ｂ）ではＲＧＢで表現できる１単位を表示モニタ１１１の１画素として描いてある。特に、図３（ｂ）では、分かり易いように、表示モニタ１１１の画素配置をＣＣＤ撮像素子２０１の画素配置と同じ、列Ｃ１〜列Ｃ４，行Ｒ１〜行Ｒ４の４×４画素として描いてある。以降、列Ｃ１〜列Ｃ４，行Ｒ１〜行Ｒ４の各画素を（行番号，列番号）で示し、ＣＣＤ撮像素子２０１の画素を撮像画素、表示モニタ１１１の画素を表示画素と称する。

図３（ｂ）において、行Ｒ２で列Ｃ２の位置にある表示画素（Ｒ２，Ｃ２）は、色の３原色であるＲＧＢの各色データが含まれた画素で様々な色を表示できる画素であるが、表示画素（Ｒ２，Ｃ２）に対応するＣＣＤ撮像素子２０１の撮像画素（Ｒ２，Ｃ２）は、Ｂのみである。そこで、画像処理部２０３は、ＲＡＷ／ＲＧＢ変換部２１１を有し、ＣＣＤ撮像素子２０１から読み出したＲＡＷ画像データをＲＧＢ画像データに変換する処理を行う。

ＲＡＷ画像データをＲＧＢ画像データに変換する処理は、例えば、表示画素（Ｒ２，Ｃ２）に対応するＣＣＤ撮像素子２０１の撮像画素（Ｒ２，Ｃ２）の周辺の８つの撮像画素（Ｒ１，Ｃ１），（Ｒ１，Ｃ２），（Ｒ１，Ｃ３），（Ｒ２，Ｃ１），（Ｒ２，Ｃ３），（Ｒ３，Ｃ１），（Ｒ３，Ｃ２），（Ｒ３，Ｃ３）から、ＲデータとＧデータとを求めて、表示画素（Ｒ２，Ｃ２）のＲＧＢデータとする変換処理が行われる。変換処理の一例を示すと、Ｒデータは、Ｒフィルタが配置された撮像画素（Ｒ１，Ｃ１），（Ｒ１，Ｃ３），（Ｒ３，Ｃ１），（Ｒ３，Ｃ３）の４つの画素のデータを平均して表示画素（Ｒ２，Ｃ２）のＲデータとし、同様に、Ｇデータは、Ｒフィルタが配置された撮像画素（Ｒ１，Ｃ２），（Ｒ２，Ｃ１），（Ｒ２，Ｃ３），（Ｒ３，Ｃ２）の４つの画素のデータを平均して表示画素（Ｒ２，Ｃ２）のＧデータとする。このような処理を繰り返すことによって、ＣＣＤ撮像素子２０１のＲＡＷ画素データから、表示モニタ１１１に表示するＲＧＢ画素データに変換することができる。尚、ＲＡＷ画像データをＲＧＢ画像データに変換する際に、上記のように周辺画素の平均ではなく、周辺画素の位置に応じて重み付けを行ったり、或いは計算に用いる周辺画素の数や位置を変えても構わない。

このように、図２に示した画像処理部２０３のＲＡＷ／ＲＧＢ変換部２１１は、ＣＣＤ撮像素子２０１から読み出したＲＡＷ画像データをＲＧＢ画像データに変換して、バッファ２０４に一時的に記憶する。尚、これらの一連の処理を、１次カラー画像データ生成処理と称する。

また、画像処理部２０３は、ＲＡＷ／ＲＧＢ変換部２１１が生成したＲＧＢ画像データをＹＵＶ信号と呼ばれる輝度色差信号に変換するＲＧＢ／ＹＵＶ変換部２１２を有する。

ＲＧＢ／ＹＵＶ変換部２１２は、ＲＧＢ画像データから輝度信号（Ｙ）と２つの色差信号（ＵおよびＶ）とに変換する。変換式を（式１），（式２），（式３）に示す。
Ｙ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …（式１）
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ …（式２）
Ｖ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ …（式３）
上記の（式１），（式２），（式３）に示したように、ＹＵＶ画像データは、ＲＧＢ画像データのＲ，Ｇ，Ｂデータに所定の係数を掛けて加減算して求めることができる。

ここで、ＲＧＢ画像データからＹＵＶ画像データへ変換する利点について簡単に説明しておく。一般に、人間の眼は輝度信号に敏感で詳細な形状まで判別できるが、色信号には鈍感で詳細な形状は知覚しにくいという性質がある。ＲＧＢ画像データのままだと、Ｒデータ，Ｇデータ，Ｂデータの全てに輝度信号情報が含まれているので、例えば、ＲＧＢいずれかのデータの階調数を少なくすると輝度信号の階調数も少なくなってしまう。これに対して、例えば、ＹＵＶ画像データのＹデータの階調数は変えずに、ＵデータおよびＶデータの階調数を少なくしても、Ｙデータの解像度は維持されるため、画質の劣化が分かりにくく、扱う画像データ量を少なくすることができる。

次に、ＲＧＢ画像データからＹＵＶ画像データへの変換例について図４を用いて説明する。図４は、図３（ｂ）で説明した列Ｃ１〜列Ｃ４，行Ｒ１〜行Ｒ４の４×４画素各画素のＲＧＢ画像データを（式１），（式２），（式３）に代入してＹＵＶ画像データに変換した後の様子をＹＵＶそれぞれについて描いた図である。図４（ａ）は（式１）に従って求めた輝度信号Ｙの画素配置を示し、図４（ｂ）は（式２）に従って求めた色差信号Ｕの画素配置を示し、図４（ｃ）は（式３）に従って求めた色差信号Ｖの画素配置を示している。尚、実際に画面に表示される１画素は、同じ画素位置の輝度信号Ｙと色差信号Ｕと色差信号Ｖとで表示される。例えば、表示画素（Ｒ１，Ｃ１）は、輝度信号Ｙ00と色差信号Ｕ00と色差信号Ｖ00とで表示される。

また、ＹＵＶ画像データからＲＧＢ画像データへ戻す場合は、（式１），（式２），（式３）の逆の計算をすればよい。変換式を（式４），（式５），（式６）に示す。
Ｒ＝ １．０００Ｙ ＋１．４０２Ｖ …（式４）
Ｇ＝ １．０００Ｙ−０．３４４Ｕ−０．７１４Ｖ …（式５）
Ｂ＝ １．０００Ｙ＋１．７７２Ｕ …（式６）
上記の（式４），（式５），（式６）に示したように、ＲＧＢ画像データは、ＹＵＶ画像データのＹ，Ｕ，Ｖデータに所定の係数を掛けて加減算して求めることができる。

このようにして、図３（ｂ）のＲＧＢ画像データを再生できる。但し、上記の場合は、ＲＧＢ画像データを画素毎にＹＵＶ画像データに変換して、再び、同じ画素毎にＹＵＶ画像データをＲＧＢ画像データに変換し直しただけで、ＹＵＶ画像データの階調数や画素数などを変更しない限り可逆性がある。

次に、ＹＵＶ画像データの間引きについて説明する。図５は、ＹＵＶ４２２と呼ばれている間引き方法を示した図である。尚、図５は、図４と同様に、図５（ａ），図５（ｂ），図５（ｃ）の順に、輝度信号Ｙ，色差信号Ｕ，色差信号Ｖの画素配置を示している。

図５では、輝度信号Ｙの画素数は変えずに、色差信号ＵおよびＶの画素数を１／２に少なくする。例えば、図５（ａ）の輝度信号Ｙは４×４の１６画素であるが、図５（ｂ）の色差信号Ｕおよび図５（ｃ）の色差信号Ｖは２×４の８画素に間引かれている。この場合、図３（ｂ）の行Ｒ２と行Ｒ４の色差信号Ｕ10，Ｕ11，Ｕ12，Ｕ13およびＵ30，Ｕ31，Ｕ32，Ｕ33を間引いて、行Ｒ１と行Ｒ３の色差信号Ｕ00，Ｕ01，Ｕ02，Ｕ03およびＵ20，Ｕ21，Ｕ22，Ｕ23で置き換え、図４（ｂ）に示すように、行Ｒ１と行Ｒ２および行Ｒ２と行Ｒ４はそれぞれ同じ色差信号を用いている。また、色差信号Ｖについても、図５（ｃ）に示すように、色差信号Ｃの場合と同様に、行Ｒ１と行Ｒ２および行Ｒ２と行Ｒ４はそれぞれ同じ色差信号を用いている。

このように、色差信号ＵおよびＶの画素数を１／２に間引くことによって、図４の画像データ量に比べて、２／３に少なくすることができる。尚、図５では、色差信号ＵおよびＶの列方向の２画素を１画素に間引く場合を示したが、行方向の２画素を１画素に間引いても構わない。

次に、ＹＵＶ４１１と呼ばれる間引き方法について、図６を用いて説明する。尚、図６は、図４および図５と同様に、図６（ａ），図６（ｂ），図６（ｃ）の順に、輝度信号Ｙ，色差信号Ｕ，色差信号Ｖの画素配置を示している。

図６では、輝度信号Ｙの画素数は変えずに、色差信号ＵおよびＶの画素数を１／４に少なくする。例えば、図６（ａ）の輝度信号Ｙは４×４の１６画素であるが、図６（ｂ）の色差信号Ｕおよび図６（ｃ）の色差信号Ｖは２×２の４画素に間引かれている。この場合、図３（ｂ）の行Ｒ２と行Ｒ４および列Ｃ２と列Ｃ４の色差信号Ｕ10，Ｕ11，Ｕ12，Ｕ13，Ｕ30，Ｕ31，Ｕ32，Ｕ33，Ｕ01，Ｕ21，Ｕ03，Ｕ23とを間引いて、色差信号Ｕ00，Ｕ02，Ｕ20，Ｕ22で置き換え、図６（ｂ）に示すように、４画素を１つの色差信号で表す。また、色差信号Ｖについても、図６（ｃ）に示すように、色差信号Ｃの場合と同様に、４画素を１つの色差信号で表す。

このように、色差信号ＵおよびＶの画素数を１／４に間引くことによって、図４の画像データ量に比べて、１／２に少なくすることができる。

以上、説明したように、ＹＵＶ４２２やＹＵＶ４１１による間引きによって、転送する画像データ量を少なくすることができるが、伝送路の帯域幅によってはさらに画像データ量を少なくする必要が生じる。

次に、本実施形態の特徴である間引き方法について、図７を用いて説明する。尚、図７は、図４，図５，図６と同様に、図７（ａ），図７（ｂ），図７（ｃ）の順に、輝度信号Ｙ，色差信号Ｕ，色差信号Ｖの画素配置を示している。

図７において、図７（ｂ）の色差信号Ｕおよび図７（ｃ）の色差信号Ｖは、図６（ｂ）の色差信号Ｕおよび図６（ｃ）の色差信号Ｖと全く同じである。図６のＹＵＶ４１１の場合と異なるのは、図６（ａ）輝度信号Ｙの画素数を１／２に少なくしていることである。つまり、図６（ａ）の輝度信号Ｙは４×４の１６画素であるが、図７（ａ）の輝度信号Ｙは、図６（ａ）と同じ４×４の配置になっているが、輝度信号Ｙ01，Ｙ04，Ｙ10，Ｙ30，Ｙ21，Ｙ23，Ｙ30，Ｙ32が間引かれている。このように、輝度信号Ｙの画素配置を千鳥状に１／２に間引くことによって、図４の画像データ量に比べて、１／３に少なくすることができる。特に、輝度信号Ｙの画素サイズは、色差信号ＵおよびＶの画素サイズのように大きくしていないので、輝度信号Ｙの解像度をできるだけ高く維持することができる。つまり、輝度信号Ｙは千鳥状に間引いているので、斜め方向の画素ピッチの解像度を維持している。

尚、上記の説明では、分かり易いように、４×４の１６画素で説明したが、ｎ行ｋ列の画素数の場合でも、図８に示すように、千鳥状に間引くことができる。

次に、本実施形態に係る画像読み取り表示装置１０１の画像転送時の処理について、図９のフローチャートを用いて詳しく説明する。尚、この処理は、図１に示したように、画像読み取り装置１０２は、撮像部１０６が顕微鏡１０４の鏡体１１５にＣマウント１０５を介して装着されている。また、画像読み取り装置１０２のＵＳＢインターフェース１０９にはＵＳＢケーブル１１０を介してパソコン１０３が接続され、パソコン１０３は顕微鏡画像を表示する画像表示ソフトウェアが立ち上げられている。以下のフローチャートは、パソコン１０３の画像表示ソフトウェアを中心とした処理である。

（ステップＳ２０１）パソコン１０３の画像表示ソフトウェア上で画像転送処理を開始する。

（ステップＳ２０２）パソコン１０３の画面で表示する画像の表示サイズを入力する。例えば、６４０×４８０（ＶＧＡ）や１２８０×１０２４（ＳＸＧＡ）などを入力する。この時、パソコン１０３側では、画像読み取り装置１０２が接続されているＵＳＢインターフェースの伝送帯域幅（伝送速度）をシステム情報として把握できるので、画像の表示サイズが入力されると、これに対応する画像データを転送した場合のフレームレートを予測することができる。

例えば、ＳＸＧＡサイズの画像の場合、ＲＧＢ画像データのデータ量は、ＲＧＢ３色で各色１Ｂｙｔｅとして、１２８０×１０２４×３＝３．９ＭＢｙｔｅとなる。

一方、ＵＳＢインターフェースの伝送帯域幅は、例えばＵＳＢ２．０規格の場合は論理上４８０Ｍｂｐｓ（＝６０ＭＢｙｔｅ／ｓｅｃ）であるが、実際にはオーバーヘッドなど冗長部分を考えると、実質的な伝送帯域幅はその半分程度の約３０ＭＢｙｔｅ／ｓｅｃである。

これらの情報から、パソコン１０３の画像表示ソフトウェアは、伝送路の帯域幅が３０ＭＢｙｔｅ／ｓｅｃの場合、先のＳＸＧＡサイズの画像は、１秒間に約７．６フレーム（＝３０，０００，０００／（１２８０×１０２４×３））のフレームレートになると計算することができる。

（ステップＳ２０３）予め設定された希望フレームレート（本実施形態では例えば初期値を１５フレーム／秒とする）に応じて、転送する画像モードを選択する。画像モードの種類は、例えば、ＲＡＷ画像データ，ＲＧＢ画像データ，ＹＵＶ４２２画像データ，ＹＵＶ４１１画像データ，ＹＵＶ４１１間引き画像データの５種類の画像モードからフレームレートに応じてパソコン１０３の画像表示ソフトウェアが自動的に選択する。

例えば、ＳＸＧＡ画像サイズでＵＳＢインターフェースの伝送帯域幅が３０ＭＢｙｔｅの場合は、先に述べたように約７．６フレーム／秒になるので、ＹＵＶ４２２画像データを選択すると約１１．４フレーム／秒になり、ＹＵＶ４１１画像データを選択すると約１５．２フレーム／秒になり、ＹＵＶ４１１間引き画像データを選択すると約２２．８フレーム／秒になることが予測できる。例えば、パソコン１０３の画像表示ソフトウェアは、希望フレームレートが１５フレーム／秒以上に設定されていた場合はＹＵＶ４１１画像データを自動的に選択し、希望フレームレートが２０フレーム／秒以上に設定されていた場合はＹＵＶ４１１間引き画像データを自動的に選択する。ここでは、希望フレームレートの初期値が１５フレーム／秒なので、ＹＵＶ４１１画像データが選択される。

（ステップＳ２０４）パソコン１０３の画像表示ソフトウェアは、ＹＵＶ４１１画像データで転送するように、ＵＳＢケーブル１１０を介して画像読み取り装置１０２にコマンドを送る。ＵＳＢインターフェース１０９を介してこのコマンドを受け取った画像読み取り装置１０２のＣＰＵ２０７は、画像処理部２０３のＲＧＢ／ＹＵＶ変換部２１２にＹＵＶ４１１間引き画像データを生成するよう指令する。さらに、ＣＰＵ２０７は、ＲＧＢ／ＹＵＶ変換部２１２が生成してバッファ２０４に出力したＹＵＶ４１１画像データを読み出して、パソコン１０３に転送する。

（ステップＳ２０５）パソコン１０３の画像表示ソフトウェアは、パソコン１０３の画面に表示する画像のフレームレートを確認する。フレームレートが所定値以下になった場合はステップＳ２０６に進み、フレームレートが所定値より大きい場合はステップＳ２０４に戻る。例えば、ステップＳ２０３でＹＵＶ４１１画像データを選択して転送中に、伝送帯域幅が一時的に狭くなったり、画像読み取り装置１０２またはパソコン１０３の処理が追いつかなくなって、フレームレートが１５フレーム／秒より小さくなった場合は、ステップＳ２０６に進む。

（ステップＳ２０６）パソコン１０３の画像表示ソフトウェアは、フレームレートが所定値以下になったため、転送する画像データ量が少ない画像モードに切り替えるよう画像読み取り装置１０２にコマンドを送り、フレームレートが上がる方向に調整する。例えば、ＲＧＢ画像データの場合はＹＵＶ４２２画像データに切り替え、ＹＵＶ４２２画像データの場合はＹＵＶ４１１画像データに切り替え、ＹＵＶ４１１画像データの場合はＹＵＶ４１１間引き画像データに切り替える。

例えば、ステップＳ２０３でＹＵＶ４１１画像データを選択して転送中に、フレームレートが１５フレーム／秒より小さくなった場合は、画像モードをＹＵＶ４１１間引き画像データに切り替えるよう画像読み取り装置１０２にコマンドを送り、ステップＳ２０４に戻る。

尚、ＲＡＷ画像データは階調数が同じ場合はＲＧＢ画像データの１／３のデータ量であるが、パソコン１０３の画像表示ソフトウェア側でＲＡＷ画像データからＲＧＢ画像データへの変換処理を行う必要がある。

このように、本実施形態に係る画像読み取り表示装置１０１は、画像データを転送する際の帯域幅に応じて、希望フレームレートになるように、転送する画像データの画像モード切り替えるので、フレームレートを損なうことなく画像データを転送することができる。

次に、画像読み取り装置１０２からＵＳＢインターフェース１０９およびＵＳＢケーブル１１０を介して転送されてきた画像データをパソコン１０３側で画面に表示する場合の処理について説明する。尚、ここでは、画像モードがＹＵＶ４１１間引き画像データで送られてきた場合の表示処理について説明する。ＲＡＷ画像データ，ＲＧＢ画像データ，ＹＵＶ４２２画像データ，ＹＵＶ４１１画像データの各画像モードで送られてきた場合の表示処理は、図３〜図６で説明したように表示用の画素が構成されるだけなので、詳細な説明については省略する。ＹＵＶ４１１間引き画像データは、図７で説明したように、輝度信号Ｙの画素が千鳥状に間引かれているので、パソコン１０３の画面に表示する前に、間引かれた画素の輝度信号をパソコン１０３の画像表示ソフトウェア側で復元する必要がある。

図１０は、画像モードがＹＵＶ４１１間引き画像データの場合に、間引かれた画素の輝度信号を復元するための方向判定処理を示したフローチャートである。尚、方向判定処理とは、間引かれた画素の上下または左右方向のレベル差が規定値より大きいか否かを判定して、その判定結果に応じて間引かれた画素の補間方法を切り替える処理である。

（ステップＳ３０１）輝度信号Ｙの方向判定処理を開始する。

（ステップＳ３０２）判定フラグ（Ｙ＿ＨＶ＿ＧＬＧＡ）を初期化する。つまり、Ｙ＿ＨＶ＿ＧＬＧＡ＝００００ｂとする。尚、ｂはバイナリデータを示し、４ビットの判定フラグ（Ｙ＿ＨＶ＿ＧＬＧＡ）の最下位ビット（１ビット目）は上下方向の判定結果を示し、３ビット目は左右方向の判定結果を示す。また、各ビットが０の場合は、規定値より小さいことを示す。

（ステップＳ３０３）間引かれた画素の上下方向の差分（ここでは、差の絶対値とする）を算出する。つまり、間引かれた画素Ｙ(n,k)の上側の画素Ｙ((n-1),k)と下側の画素Ｙ((n+1),k)との差分を求める。例えば、図８において、間引かれた画素Ｙ12の値を復元する場合に、画素Ｙ12の上下方向の画素Ｙ02と画素Ｙ22との差分を求める。尚、分かり易いようにＹ(n,k)と記載したがこれはＹnkと同じものを意味し、ｎ＝１でｋ＝２の場合はＹ(1,2)＝Ｙ12となり、この場合のＹ((n+1),k)はＹ22となる。

（ステップＳ３０４）ステップＳ３０３で求めた上下方向の差分が規定値ａ以上か否かを判別する。上下方向の差分が規定値ａ以上の場合はステップＳ３０５に進み、規定値ａより小さい場合はステップＳ３０６に進む。

（ステップＳ３０５）判定フラグ（Ｙ＿ＨＶ＿ＧＬＧＡ）の上下方向ビットを１にする。つまり、Ｙ＿ＨＶ＿ＧＬＧＡ＝０００１ｂとする。処理後、ステップＳ３０６に進む。

（ステップＳ３０６）間引かれた画素の左右方向の差分（ここでは、差の絶対値とする）を算出する。つまり、間引かれた画素Ｙ(n,k)の左側の画素Ｙ(n,(k-1))と右側の画素Ｙ(n,(k+1))との差分を求める。例えば、図８において、間引かれた画素Ｙ12の値を復元する場合に、画素Ｙ12の左右方向の画素Ｙ11と画素Ｙ13との差分を求める。

（ステップＳ３０７）ステップＳ３０６で求めた左右方向の差分が規定値ｂ以上か否かを判別する。左右方向の差分が規定値ｂ以上の場合はステップＳ３０８に進み、規定値ｂより小さい場合はステップＳ３０９に進む。

（ステップＳ３０８）判定フラグ（Ｙ＿ＨＶ＿ＧＬＧＡ）の左右方向ビットを１にする。つまり、Ｙ＿ＨＶ＿ＧＬＧＡ＝０１００ｂとする。処理後、ステップＳ３０９に進む。

（ステップＳ３０９）判定フラグ（Ｙ＿ＨＶ＿ＧＬＧＡ）の上下方向ビットの判定を行う。上下方向ビットが１の場合はステップＳ３１０へ進み、上下方向ビットが０の場合はステップＳ３１１へ進む。

（ステップＳ３１０）間引かれた画素の値を間引かれた画素の上下方向の画素の平均値とする。つまり、間引かれた画素Ｙ(n,k)の上側の画素Ｙ((n-1),k)と下側の画素Ｙ((n+1),k)との平均値を（式７）より求める。処理後、ステップＳ３１４に進む。
Ｙ(n,k)＝（Ｙ((n-1),k)＋Ｙ((n+1),k)／２ …（式７）
（ステップＳ３１１）判定フラグ（Ｙ＿ＨＶ＿ＧＬＧＡ）の左右方向ビットの判定を行う。左右方向ビットが１の場合はステップＳ３１２へ進み、左右方向ビットが０の場合はステップＳ３１３へ進む。

（ステップＳ３１２）間引かれた画素の値を間引かれた画素の左右方向の画素の平均値とする。つまり、間引かれた画素Ｙ(n,k)の左側の画素Ｙ(n,(k-1))と右側の画素Ｙ(n,(k+1))との平均値を（式８）より求める。処理後、ステップＳ３１４に進む。
Ｙ(n,k)＝（Ｙ(n,(k-1))＋Ｙ(n,(k+1))／２ …（式８）
（ステップＳ３１３）間引かれた画素の上下方向の画素間の差分または左右方向の画素間の差分のいずれにおいても規定値より小さかった場合は、間引かれた画素の周囲の画素（間引かれた画素の上下左右の４つの画素）の平均値を間引かれた画素の値とする。つまり、間引かれた画素Ｙ(n,k)の上側の画素Ｙ((n-1),k)と下側の画素Ｙ((n+1),k)と左側の画素Ｙ(n,(k-1))と右側の画素Ｙ(n,(k+1))との平均値を（式９）より求める。
Ｙ(n,k)＝（Ｙ((n-1),k)＋Ｙ((n+1),k)＋Ｙ(n,(k-1))＋Ｙ(n,(k+1))／４ …（式９）
（ステップＳ３１４）輝度信号Ｙの方向判定処理を終了する。

このように、ＹＵＶ４１１間引き画像データを用いることで、画像データを転送する際の伝送路（ＵＳＢインターフェースなど）の帯域幅が制限される場合でも、画質をあまり損なうことなく効率よく画像転送を行い、極端にフレームレートを落とすことなく、パソコン１０３の画面に高速表示することができる。また、間引かれた画素の輝度信号Ｙを復元する際に、方向判定処理を行うことにより、精度の高い画像の復元が可能となり、画質劣化を少なくすることができる。

尚、本実施形態では、間引かれた画素の上下画素および左右画素の４つの周辺画素の値から方向判定を行って補間するようにしたが、上方向に２画素，下方向に２画素，左方向に２画素，右方向に２画素など、同方向の複数画素の値を用いても構わない。また、この場合は、平均値ではなく、間引かれた画素に近い画素の値の寄与度を重くするなど、重み付けを行っても求めるようにしても構わない。例えば、図８において、間引かれた画素Ｙ21の右方向の２つの画素Ｙ22と画素Ｙ24とを用いる場合、間引かれた画素Ｙ21に近い画素Ｙ22を０．７で重み付けし、画素Ｙ22より遠い画素Ｙ24を０．３で重み付けする。右方向や上下方向についても同様に重み付けする。このように重み付け処理することで、処理量は増加するがより高精度に間引かれた画素の値を復元することができる。

第１の実施形態に係る画像読み取り表示装置１０１を用いた顕微鏡システムの構成図である。 第１の実施形態に係る画像読み取り装置１０２のブロック図である。 ＲＡＷ画像データとＲＧＢ画像データとの関係を示す説明図である。 ＹＵＶ画像データの画素配置を示す説明図である。 ＹＵＶ４２２画像データの画素配置を示す説明図である。 ＹＵＶ４１１画像データの画素配置を示す説明図である。 ＹＵＶ４１１間引き画像データの画素配置を示す説明図である。 ＹＵＶ４１１間引き画像データの輝度信号Ｙの配置を示す説明図である。 第１の実施形態に係る画像読み取り表示装置１０１の画像転送時の処理を示すフローチャートである。 第１の実施形態に係る画像読み取り表示装置１０１の方向判定処理を示すフローチャートである。

符号の説明

１０１・・・画像読み取り表示装置 １０２・・・画像読み取り装置
１０３・・・パソコン １０４・・・顕微鏡
１０６・・・撮像部 １０８・・・制御部
１０９・・・ＵＳＢインターフェース １１０・・・ＵＳＢケーブル
１１３・・・フォーカスハンドル １５１・・・被検物
２０１・・・ＣＣＤ撮像素子 ２０３・・・画像処理部
２０７・・・ＣＰＵ ２１１・・・ＲＡＷ／ＲＧＢ変換部
２１２・・・ＲＧＢ／ＹＵＶ変換部

Claims (6)

1. 読み取った画像データを外部に転送する画像読み取り装置と、前記画像読み取り装置が転送した画像データを表示する画像表示装置とからなる画像読み取り表示装置において、
   前記画像読み取り装置は、
   結像された被写体像を電気信号に変換する撮像部と、
   前記撮像素子で電気信号に変換された画像信号をデジタル化してＲＡＷ画像データに変換するＲＡＷ画像データ生成部と、
   前記ＲＡＷ画像データ生成部が生成したＲＡＷ画像データを補正して１次カラー画像データを生成する１次カラー画像データ生成部と、
   前記１次カラー画像データ生成部が生成した１次カラー画像データを間引き処理を行って２次カラー画像データを生成する２次カラー画像データ生成部と、
   前記ＲＡＷ画像データ，前記１次カラー画像データ，前記２次カラー画像データのいずれかを出力データとして選択するデータ選択部と、
   前記データ選択部が選択した出力データを外部に出力するデジタルインターフェイスと
   で構成され、
   前記画像表示装置は、
   前記画像読み取り装置から転送される画像データを入力するデジタルインターフェースと、
   前記デジタルインターフェースを介して入力した画像データの種類に応じた復元方法で画像を再構築する画像処理部と、
   前記画像処理部が再構築した画像を表示する表示部と
   で構成される
   ことを特徴とする画像読み取り表示装置。
2. 請求項１に記載の画像読み取り表示装置において、
   前記１次カラー画像データ生成部は、ＲＧＢカラー画像データを生成し、
   前記２次カラー画像データ生成部は、前記ＲＧＢカラー画像データからＹＵＶカラー画像データを生成した後、Ｙ画素を千鳥状に間引く処理を行う
   ことを特徴とする画像読み取り表示装置。
3. 請求項１または２に記載の画像読み取り表示装置において、
   前記画像表示装置の前記画像処理部は、前記デジタルインターフェースを介して入力した画像データが２次カラー画像データである場合に、２次カラー画像データによる画像を構成する画素間の輝度変化の方向判定を行って、間引かれた画素の補間を行う
   ことを特徴とする画像読み取り表示装置。
4. 請求項３に記載の画像読み取り表示装置において、
   前記画像表示装置の前記画像処理部は、前記間引かれた画素の上下の画素間または左右の画素間いずれかの差分値が規定値以上の場合に、上下の画素または左右の画素の平均値で間引かれた画素の補間を行い、前記間引かれた画素の上下の画素間および左右の画素間の両方の差分値が規定値以上の場合に、上下左右の画素の平均値で間引かれた画素の補間を行う
   ことを特徴とする画像読み取り表示装置。
5. 請求項１から４のいずれか一項に記載の画像読み取り表示装置において、
   前記デジタルインターフェースは、ＵＳＢなどの汎用インターフェースで構成されることを特徴とする画像読み取り表示装置。
6. 請求項１から５のいずれか一項に記載の画像読み取り表示装置において、
   前記画像表示装置は、パソコンであることを特徴とする画像読み取り表示装置。
   

Images