JP5901854B2 - 撮像装置 - Google Patents

Description

本発明は、画素信号を加算してビニング画素信号を得るビニング処理を行う撮像装置に関する。

近年の撮像素子は高画素化、高密度化が図られていて、特に電子内視鏡システムに採用される撮像素子は小型化も図られているために、１つの画素の面積が小さくなってきており、画像の明るさを十分に確保することが難しい場合がある。

これに対して、画像の明るさを増加させる技術として、隣接する複数の画素から得られた画素値を加算することにより１ピクセル分の画素値を得るビニングと呼ばれる技術が提案されている。

例えば日本国特開２００８−７２５０１号公報には、撮像素子から出力されデジタルに変換された映像信号に対して、注目画素に同色の周辺画素を加算（単純加算、または周辺画素に１以下の比率を掛けて足す比率加算）する技術が記載されている。該公報にはさらに、加算対象となる注目画素および周辺画素の数である加算画素数を、輝度分布に応じて変更する技術が記載されている。

具体的に、該公報に記載の画素加算方式は、画面の白とびまたは黒潰れを軽減するために、画像を複数の領域に分割して各領域毎の注目画素の明るさを検出し、この明るさの検出結果に基づいてビニング処理における加算画素数を決定するものとなっており、このときに、領域の輝度が所定の閾値以上である場合には画素加算処理を行わない（すなわち、注目画素のみとする）ようにしている。

しかしながら、上記日本国特開２００８−７２５０１号公報に記載の技術では、画面の白とびまたは黒潰れを軽減することはできるものの、加算画素数が自然数（１（加算せず注目画素のみ），２（周辺１画素を注目画素に加算），３（周辺２画素を注目画素に加算），…）的に変化するものであるために、例えば加算画素数１の領域に隣接して加算画素数２の領域が配置される場合、領域の境界において画像に解像度的な段差が生じ、不自然な画像として観察されていた。

本発明は上記事情に鑑みてなされたものであり、画素信号を領域毎に加算した場合にも自然な画像を得ることができる撮像装置を提供することを目的としている。

本発明のある態様による撮像装置は、光を光電変換して光電変換画素信号を生成する光電変換画素が二次元状に複数設けられた撮像部と、スコープ個体情報を記憶する個体情報記憶部と、を有する内視鏡と、複数の前記画素信号により構成される画像を、１つの領域が複数の前記画素信号を含むように複数の領域に分割して、該領域に属する複数の前記画素信号を加算してビニング画素信号を得るビニング処理部と、前記領域の明るさを検出するビニング用明るさ検出部と、前記ビニング用明るさ検出部により検出される前記明るさに基づいて前記領域における重みを設定し、該重みに基づき前記領域における前記画素信号と前記ビニング画素信号とを合成することにより合成画像を生成する合成部と、前記スコープ個体情報に応じて前記ビニング処理部を制御する制御部と、を具備する。

本発明の実施形態１における撮像装置が適用された内視鏡システムの構成を示すブロック図。 上記実施形態１における第２画像処理部の構成例を示すブロック図。 上記実施形態１において、ビニング処理部およびブレンド処理部近傍の構成例をより詳細に示すブロック図。 上記実施形態１において、画素の明るさに応じて重みαを異ならせる例を示す図表。 上記実施形態１において、画素の明るさに応じて決定される重みαの例を示す線図。 上記実施形態１において、重み付け加算によるビニング処理の一例を示す図。 上記実施形態１において、ビニング処理時の加算重みｘ，ｙ，ｚ，ｔを画素の明るさに応じて設定する例を示す線図。 上記実施形態１において、ビニング処理のオン／オフに伴うノイズ低減処理およびエンハンス処理の制御例を示す図。 上記実施形態１における光電変換画素の配列を示す図。 上記実施形態１において、４つの光電変換画素を撮像素子ビニングにより加算して得られる画素を示す図。 上記実施形態１において、撮像素子ビニング後のビニング画素の配列を示す図。 上記実施形態１において、撮像素子ビニング後の４つのビニング画素を画像処理ビニングにより加算して得られる画素を示す図。 上記実施形態１において、適用部位が肺であるときの画像例を示す図。 上記実施形態１において、適用部位が胃であるときの画像例を示す図。 上記実施形態１において、適用部位に応じた撮像素子ビニングと画像処理ビニングとの使い分けの例を示す図表。 上記実施形態１において、撮像素子ビニングと画像処理ビニングの有無に応じた明るさ検出領域サイズの変更の様子を示す図表。 上記実施形態１において、ビニング処理部の後段に画素欠陥補正部を配置する構成例を示すブロック図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１７は本発明の実施形態１を示したものであり、図１は撮像装置が適用された内視鏡システムの構成を示すブロック図である。

この内視鏡システム１は、被検体に挿入部を挿入して画像を撮像する内視鏡２と、内視鏡２から手元側に延設されるユニバーサルケーブル内に後述するライトガイド１１と共に配設されている集合ケーブル３と、集合ケーブル３の基端側が接続され、内視鏡２により取得された画像に画像処理を施すとともに内視鏡システム１全体の動作を統括的に制御する画像処理装置４と、内視鏡２の先端から出射する照明光を発生する光源部である光源装置６と、画像処理装置４が処理した画像を表示する表示装置７と、を備えている。

内視鏡２は、ライトガイド１１と、照明光学系１２と、光学系１３と、撮像部１４と、を備えている。

ライトガイド１１は、光源装置６から発生された光を基端側において入射し、内視鏡２の挿入部の先端部へ伝送するものであり、例えば光学ファイババンドル等により構成されている。

照明光学系１２は、ライトガイド１１の先端に配設されていて、ライトガイド１１により伝送された照明光を被検体へ向けて射出するものである。

光学系１３は、被検体からの光を受けて、被検体の光学像を撮像部１４の後述する撮像素子１５に結像する対物光学系である。

撮像部１４は、光学系１３により結像された被検体の光学像を光電変換して画像信号として出力するものである。

この撮像部１４は、撮像素子１５と、アナログフロントエンド部１６と、Ｐ／Ｓ変換部２１と、タイミングジェネレータ２２と、撮像制御部２４と、を備えている。

撮像素子１５は、受光部１７と、読出部１８と、を有し、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサとして構成されている。

受光部１７は、光を光電変換して光電変換画素信号を生成する光電変換画素（以下、適宜「画素」と略称する）が二次元状に複数設けられている。光電変換画素は、具体的には、光量に応じた電荷を蓄積するフォトダイオードと、フォトダイオードが蓄積した電荷を増幅する増幅器と、を備えて構成されている。さらに、受光部１７には、例えばベイヤー配列のＲＧＢカラーフィルタ、または補色系のカラーフィルタが設けられていて、カラー画像を取得することができるようになっている。なお、受光部１７にはカラーフィルタを設けずに、時系列的に順次出射されたＲＧＢの照明光で撮像されるＲＧＢ画像を合成することによってカラー画像を取得する面順次方式であってもよい。

読出部１８は、受光部１７に配列された複数の画素から光電変換画素信号を読み出すものである。１回の撮像（例えば１フレームの撮像）において１つの画素が１つの光電変換画素信号を生成するために、読出部１８により読み出される画像信号は複数の光電変換画素信号により構成される。この読出部１８は、さらに、撮像制御部２４の制御に基づいて、必要に応じて光電変換画素信号を撮像部１４内においてビニング処理するビニング処理部１８ａ（撮像素子ビニング処理部）としての機能も果たすようになっている。すなわち、読出部１８は、受光部１７から読み出した複数の画素信号により構成される画像を、１つの領域が複数の画素信号を含むように複数の領域に分割して、領域に属する複数の画素信号を加算してビニング画素信号を得るビニング処理を行うビニング処理部１８ａとして機能し得る。

アナログフロントエンド部１６は、ノイズ低減部１９と、Ａ／Ｄ変換部２０と、を有している。

ノイズ低減部１９は、例えば相関二重サンプリング（Correlated Double Sampling）を行うことにより、光電変換画素信号からノイズを低減する。

Ａ／Ｄ変換部２０は、ノイズ低減部１９によりノイズが低減されたアナログの光電変換画素信号をＡ／Ｄ変換してデジタル信号を出力する。

Ｐ／Ｓ変換部２１は、アナログフロントエンド部１６から出力されるパラレルのデジタル信号をパラレル／シリアル変換して、シリアル信号として出力する。

タイミングジェネレータ２２は、画像処理装置４から受信したタイミング信号に基づいて、撮像素子１５を駆動するための駆動タイミングパルスと、アナログフロントエンド部１６およびＰ／Ｓ変換部２１における各種信号処理用のパルスと、を発生する。

撮像制御部２４は、画像処理装置４の後述する制御部４８と通信を行い、制御部４８から受信した設定データに従って、内視鏡２の各種動作を制御する。撮像制御部２４は、さらに、スコープ個体情報を不揮発に記憶するメモリ２３を備えている。このメモリ２３が記憶するスコープ個体情報には、内視鏡２の機種名を示す情報や製造個体番号、撮像部１４に設けられた光電変換画素の数である画素数、光電変換画素の内の欠陥がある欠陥画素の画素位置情報（欠陥画素アドレス）、撮像素子１５の暗電流ノイズ情報（固定パターンノイズ情報）、撮像素子１５がＣＭＯＳイメージセンサであるかＣＣＤイメージセンサであるかを識別する情報、及び撮像素子１５の受光部１７に設けられたカラーフィルタの情報（ＲＧＢフィルタか、補色系フィルタか、またはカラーフィルタが設けられていないか）などが含まれている。

集合ケーブル３は、内視鏡２と画像処理装置４との間で電気信号の送受信を行う複数の信号線が束ねられたケーブルである。複数の信号線には、撮像部１４が出力した画像信号を画像処理装置４へ伝送する信号線、画像処理装置４の後述する駆動信号生成部４２が出力したタイミング信号を内視鏡２のタイミングジェネレータ２２へ伝送する信号線、画像処理装置４の制御部４８が出力する設定データを撮像制御部２４へ伝送する信号線などが含まれている。この集合ケーブル３は、上述したライトガイド１１と共に、例えばユニバーサルケーブルとして一体的に構成されている。

画像処理装置４は、Ｓ／Ｐ変換部３１と、第１画像処理部３２と、第２画像処理部３３と、読出アドレス設定部４１と、駆動信号生成部４２と、明るさ検出部４３と、調光部４４と、基準クロック生成部４５と、入力部４６と、記憶部４７と、制御部４８とを備えている。

Ｓ／Ｐ変換部３１は、内視鏡２からシリアル通信により受信したデジタルの画像信号をシリアル／パラレル変換してパラレル信号にし、第１画像処理部３２へ出力する。

第１画像処理部３２は、画素欠陥補正部３４と、ビニング処理部３５と、ブレンド処理部３６と、ビニング用明るさ検出部３７と、を備えている。

画素欠陥補正部３４は、画像信号中の欠陥画素からの画素信号を、欠陥画素の近傍の通常画素の画素信号に基づいて補間する処理を行う。ここに、制御部４８は、メモリ２３に記憶されている撮像素子１５の欠陥画素アドレスを取得して、取得した欠陥画素の画素信号を補正するように画素欠陥補正部３４を制御するようになっている。

欠陥画素が存在する場合に、欠陥画素から得られた画素信号を用いてそのままビニング処理を行うと、生成されるビニング画素信号は欠陥画素の影響を引き継いで不適切なレベルの信号となってしまい、画質劣化の原因となる。そこで、この図１に示すように、画素欠陥補正部３４をビニング処理部３５よりも前段に配置して、ビニング処理を行う際には画素欠陥が既に補正された状態となるようにしている。

ビニング用明るさ検出部３７は、画素欠陥補正後の画像の明るさを領域（ビニング処理部３５におけるビニング処理によって、処理後に１ピクセルとなるように加算する対象の画素集合でなる領域）毎に検出するものである。具体的に、ビニング用明るさ検出部３７は、領域が下記に説明する例のように２×２画素である場合には、領域の明るさを、その領域に属する複数の画素信号（２×２画素の画素信号）に基づいて、例えば平均値や中央値などにより算出するようになっている。このビニング用明るさ検出部３７が検出した明るさは、ブレンド処理部３６と制御部４８とへ出力される。

ビニング処理部３５は、内視鏡２から出力される複数の画素信号を、画像処理の一部としてビニング処理する画像処理ビニング処理部である。すなわち、ビニング処理部３５は、複数の画素信号により構成される画素欠陥補正後の画像を、１つの領域が複数の画素信号を含むように複数の領域に分割して、領域に属する複数の画素信号を加算してビニング画素信号を得るビニング処理を行う。より具体的に、ビニング処理部３５は、例えば２×２画素の領域（あるいは３×３画素の領域、４×４画素の領域等であっても構わないし、正方領域でなくても良いし、画像の明るさに応じて領域の大きさを適応的に変更しても良い）毎に画素信号を加算して、ビニング処理を行う。ここで、メモリ２３に記憶された固体情報に基づいて、受光部１７にカラーフィルタが設けられていることが識別された場合には、カラーフィルタの配列を考慮し、同色の画素ごとに画素信号を加算する。

ブレンド処理部３６は、ビニング用明るさ検出部３７により検出された明るさに基づいて、領域における重みαを設定し、重みαに基づき領域における画素信号（画素欠陥補正後の画素信号）とビニング画素信号とを合成する処理を、一画像分の領域について行うことにより合成画像を生成する合成部である。ここに、重みαは、画素信号とビニング画素信号とを合成する際の信号の比率を示す量であり、領域毎に異なるローカルな量となっている。

ここで図３〜図５を参照して、ビニング処理部３５およびブレンド処理部３６の処理について説明する。図３はビニング処理部３５およびブレンド処理部３６近傍の構成例をより詳細に示すブロック図、図４は画素の明るさに応じて重みαを異ならせる例を示す図表、図５は画素の明るさに応じて決定される重みαの例を示す線図である。

ブレンド処理部３６には、画素欠陥補正部３４からの画像（この画像は、撮像素子１５から出力された画素数の原画像である場合もあるが、ビニング処理部１８ａによりビニング処理されて画素数が減少した画像である場合もある）と、ビニング処理部３５からのビニング画像と、が入力されるようになっている。

このとき、画素欠陥補正部３４からの画像は画素数変換部３８により、ビニング処理部３５からのビニング画像は画素数変換部３９により、それぞれ画素数変換が行われ、同一の画素数に変換されるようになっている。画素数変換部３８，３９による変換後の画素数は、原画像の画素数に合わせても良いし、ビニング画像の画素数に合わせても良いし、表示装置７の画素数に合わせても良いし、その他の任意の画素数に合わせるようにしても構わない。

例えば、画素数変換部３８，３９による変換後の画素数を原画像に合わせた場合には、後段の画像処理を画素数に応じて変更する必要がなく、処理を複雑にすることなく原画像に対する処理と同一の処理を適用可能となり、画素数を切り替えることによる処理の遅延も防止することができる利点がある。従って、ビニング処理が行われたときには原画像のサイズに戻るように、画素数変換処理を自動的に実行するようにしても構わない。なお、ビニング処理部１８ａにより変更された画素数は画素数変換部３８により原画像の画素数に戻すことができ、ビニング処理部１８ａおよびビニング処理部３５により変更された画素数は画素数変換部３９により原画像の画素数に戻すことができるが、図３に示した配置に限らず、画素数変換部をビニング処理部１８ａ内およびビニング処理部３５内にそれぞれ設けるようにしても構わない。

また、変換後の画素数をビニング画像に合わせる場合には、処理対象の画素数が少なくなるために、その後の画像処理の負荷が軽減される。

さらに、変換後の画素数を表示装置７の画素数に合わせる場合には、その後の表示装置７へ至る処理経路上において再度の画素数変換が不要になる利点がある。

ブレンド処理部３６は、ビニング用明るさ検出部３７により検出された領域の明るさに基づいて、その領域における重みαを設定する。この重みαは、図４に示すように、領域の明るさが、明るいほど大きな値をとり、暗いほど小さな値をとるように決定される。

より具体的にブレンド処理部３６は、例えば図５に示すように、領域の明るさが、所定の下限閾値Ｔｈｄ未満であるときには重みαが０となり、下限閾値Ｔｈｄ以上で所定の上限閾値Ｔｈｂ未満であるときには重みαが領域の明るさに従って単調増加し、上限閾値Ｔｈｂ以上であるときには重みαが１となるように設定する。

そしてブレンド処理部３６は、乗算部３６ａにより画素数変換部３８からの画素信号に重みαを乗算し、乗算部３６ｂにより画素数変換部３９からのビニング画素信号に重み（１−α）を乗算して、加算部３６ｃにより対応する領域毎に加算することで合成画像を生成し出力する。従って、画素数変換部３８からの画素信号をＡ、画素数変換部３９からのビニング画素信号をＢとすると、ブレンド処理部３６から出力される画素信号はα×Ａ＋（１−α）×Ｂとなる。

このような処理を行うことにより、画素信号とビニング画素信号との比率は、明るさが下限閾値Ｔｈｄ未満であるときには０：１（つまり、ビニング画像のみ）となり、明るさが下限閾値Ｔｈｄ以上で上限閾値Ｔｈｂ未満であるときにはα：（１−α）（つまり、ビニング画像と例えば原画像とのブレンド画像）となり、明るさが上限閾値Ｔｈｂ以上であるときには１：０（つまり、例えば原画像のみ）となる。

こうしてブレンド処理部３６により設定される重みαは、領域の明るさが暗くなるに従って、画素信号に対するビニング画素信号の比率が単調増加して大きくなるように設定されている。

なお、ビニング処理部３５は、上述では、例えば２×２画素の領域に含まれる全画素の画素値を単純加算して、ビニング画素の画素値を得ることを想定していた。具体的に、２×２画素の画素値がそれぞれａ，ｂ，ｃ，ｄである場合には、ビニング処理によって得られる画素値が（ａ＋ｂ＋ｃ＋ｄ）となる場合を想定していた。しかしこれに代えて、例えば重み付け加算を行うようにしても構わない。

図６は、重み付け加算によるビニング処理の一例を示す図である。

ｍおよびｎを整数としたときに、２×２画素の領域において、座標（２ｎ＋１，２ｍ＋１）における画素値をａ、重みをｘ、座標（２ｎ＋１，２ｍ＋２）における画素値をｂ、重みをｙ、座標（２ｎ＋２，２ｍ＋１）における画素値をｃ、重みをｚ、座標（２ｎ＋２，２ｍ＋２）における画素値をｄ、重みをｔとすると、ビニング処理部３５は、（ａ×ｘ＋ｂ×ｙ＋ｃ×ｚ＋ｄ×ｔ）をビニング処理によって得られる画素値とするようにしても良い。

ここに、ビニング処理時の加算重みｘ，ｙ，ｚ，ｔは、所望の固定値を用いても良いが、適応的に変更しても構わない。図７は、ビニング処理時の加算重みｘ，ｙ，ｚ，ｔを画素の明るさに応じて設定する例を示す線図である。

図７は、画素の明るさが明るい場合や暗い場合には、明るさが中庸である場合に比して重みを小さくする設定例となっている。

このようにビニング処理時の加算重みｘ，ｙ，ｚ，ｔを設定すると、２×２画素の領域に含まれる画素の内の、他の画素よりも特段に明るい画素、あるいは他の画素よりも特段に暗い画素は、ビニング加算における寄与が小さくなる。従って、ビニング処理により得られる結果から、白飛び画素や黒つぶれ画素の影響を軽減することが可能となる。

図１の説明に戻って、第２画像処理部３３は、第１画像処理部３２から出力された画像信号から、表示装置７が表示する画像を生成する。

図２は第２画像処理部３３の構成例を示すブロック図である。

第２画像処理部３３は、例えば、ホワイトバランス調整部５１と、ノイズ低減部５２と、ゲイン調整部５３と、エンハンス部５４と、モニタ用画素数変換部５５と、静止画像用メモリ５６と、γ（ガンマ）補正部５７と、Ｄ／Ａ変換部５８と、フォーマット変更部５９と、を備えている。

ホワイトバランス調整部５１は、画像信号を構成するＲＧＢ各色成分のゲインを調整することにより、ホワイトバランスを調整する。ここにホワイトバランス調整部５１によるホワイトバランス調整には２種類あり、１つは内視鏡２と画像処理装置４とが初めて組み合わされたとき（もしくは内視鏡システム１が起動される毎）に行われる基本ホワイトバランス調整処理、他の１つは動画撮像中にホワイトバランス調整を自動的に随時行うオートホワイトバランス調整処理である。

基本ホワイトバランス調整処理を行う場合には、撮像素子１５の異なる読出チャンネルから読み出される、暗電流ノイズレベルが異なる画素値同士が加算されることは望ましくないために、ビニング処理を経ていない信号値を取得するべく、ビニング処理部１８ａによる撮像素子ビニングおよびビニング処理部３５による画像処理ビニングを制御部４８が強制的にオフにする。

また、オートホワイトバランス調整処理を行う場合にも、撮像素子ビニングおよび画像処理ビニングの両方を強制的にオフにすることが望ましい。なお、ホワイトバランス調整は、画像全体に対して行うとは限らず、画像内の特定領域に対して行うことが考えられるために、ビニング処理を強制的にオフすることにより、特定領域の画素位置を示すアドレスがずれてしまうのを未然に防ぐことができる利点もある。

ノイズ低減部５２は、画像信号から暗電流ノイズ成分を低減する。ここに、撮像素子１５には、光学系１３からの被写体光が照射される領域以外に、光学的に光を遮断されたＯＢ（Optical Black）領域が設けられている。そして、このＯＢ領域から読み出された信号から暗電流ノイズ成分が取得されるために、ＯＢ領域からの読み出し信号についてはビニング処理部１８ａによる撮像素子ビニングおよびビニング処理部３５による画像処理ビニングを制御部４８が強制的にオフにするようにしている。

こうして、内視鏡２と画像処理装置４とが初めての組み合わせで接続されたときに、撮像素子ビニングおよび画像処理ビニングの両方をオフした状態でＯＢ領域から取得された暗電流ノイズ情報は、画像処理装置４が内視鏡２のメモリ２３にスコープ個体情報として記憶させるようになっている。こうして暗電流ノイズ情報は、画像処理装置４と内視鏡２とが初めて組み合わされたときに（つまり、新しい組み合わせが生じる毎に）取得処理が実行され、一旦取得されると、その後はメモリ２３に記憶されている暗電流ノイズ情報を読み出して暗電流ノイズを除去する処理を行うようになっている。

なお、ノイズ低減部５２は、ここでは第２画像処理部３３内に設けられた例を示したが、この配置に限定されるものではなく、Ｓ／Ｐ変換部３１以降であれば、表示装置７へ出力する画像信号の伝送系路上のどこに配置されていても構わない（ただし、ノイズ低減をデジタル処理により行う場合には、Ｄ／Ａ変換部５８以前に配置する必要がある）。

ゲイン調整部５３は、制御部４８から受信したゲイン調整値に基づいて、画像信号の増幅を行う。

エンハンス部５４は、画像のエッジ強調などのエンハンス処理を行う。

モニタ用画素数変換部５５は、画像の画素数を、表示装置７における表示用の画素数に変換する。

静止画像用メモリ５６は、静止画像表示用の画像信号を記憶する。内視鏡２にはフリーズボタン等が設けられており、このフリーズボタンが操作されたときには静止画像用メモリ５６に記憶されている静止画像表示用の画像信号を表示装置７に表示するようになっている。一方、フリーズボタンが操作されていないときには、画像処理装置４は動画像を生成し、表示装置７には動画像が表示される。

γ補正部５７は、表示装置７の表示特性に対応して画像信号を階調補正（γ補正）する。

Ｄ／Ａ変換部５８は、γ補正部５７により階調補正された画像信号をアナログ信号に変換する。

フォーマット変更部５９は、アナログ信号に変換された画像信号を表示装置７に対応する信号形式に変更して出力する。

図１の説明に戻って、読出アドレス設定部４１は、所定の読み出し順序に従って、撮像素子１５から読み出す画素の読出アドレスを設定する。ここで設定された読出アドレスは、駆動信号生成部４２へ出力されると共に、読み出し順序に応じた信号処理を行うために第１画像処理部３２へ出力される。

駆動信号生成部４２は、読出アドレス設定部４１から受信した読出アドレスと、基準クロック生成部４５から受信した基準クロック信号と、に基づいて、撮像部１４を駆動するためのタイミング信号を生成し、内視鏡２のタイミングジェネレータ２２へ送信する。

明るさ検出部４３は、調光のために、第１画像処理部３２から出力される画像の明るさを検出するものである。ここに、ビニング処理が行われると画像の明るさが変化するために、明るさ検出部４３が検出する画像はビニング処理後（さらには合成後）の画像となっている。明るさ検出部４３は、検出した明るさに基づいて、ゲイン調整値と光照射量とを算出し、ゲイン調整値を制御部４８を介してゲイン調整部５３へ出力すると共に、光照射量を調光部４４へ出力する。

調光部４４は、観察モードに応じた制御部４８の制御の下に光源装置６が発生する光の種別、基本光量、発光タイミング等を設定し、さらに、明るさ検出部４３から受信した光照射量に基づいて基本光量を調整して調整後の光量を設定し、設定したこれらの条件を含む光源同期信号を光源装置６へ送信する。

基準クロック生成部４５は、この内視鏡システム１の動作タイミングの基準となる基準クロック信号を生成して各部へ供給する。

入力部４６は、各種の操作スイッチやタッチパネル等を有して構成されており、内視鏡システム１の動作を指示する操作入力を受けるものである。

記憶部４７は、例えばフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて構成されており、内視鏡システム１を動作させるための各種の処理プログラム、および内視鏡システム１の動作に必要な各種のパラメータを含むデータなどを記憶する。

制御部４８は、ＣＰＵ（Central Processing Unit）等を用いて構成されており、画像処理装置４を含む内視鏡システム１の各部を統合的に制御するものである。例えば、制御部４８は、撮像制御のための設定データを内視鏡２の撮像制御部２４へ送信する。また、制御部４８は、第１画像処理部３２を制御するものであり、メモリ２３から読み出した光電変換画素の画素数が所定の閾値以上の場合にのみ、ビニング処理部３５（あるいはさらにビニング処理部１８ａ）、ビニング用明るさ検出部３７、およびブレンド処理部３６の動作を許可するようになっている。

次に、光源装置６は、白色光源６１と、特殊光光源６２と、光源制御部６３と、ＬＥＤ（Light Emitting Diode）ドライバ６４と、を備えている。なお、上記面順次方式の場合には、白色光源６１から出射される照明光からＲ，Ｇ，Ｂの光を順次透過するフィルタを設けてもよい。また、Ｒ，Ｇ，Ｂの単色ＬＥＤを同時に発光させることにより白色光を得るものであっても、Ｒ，Ｇ，Ｂの単色ＬＥＤを順次発光させることにより面順次方式の照明を得るものであってもよい。

白色光源６１は、例えばＬＥＤを光源として含み、白色照明光を発光する。

特殊光光源６２も例えばＬＥＤを光源として含み、白色照射光とは波長帯域が異なる特殊光を発光する。ここに、特殊光光源６２が発生する特殊光としては、コラーゲンなどの蛍光物質からの自家蛍光を観察するための励起光（３９０〜４７０ｎｍ）と血液中のヘモグロビンに吸収される波長（５４０〜５６０ｎｍ）の光とを含むＡＦＩ（蛍光観察：Auto Fluorescence Imaging）照明光、血液中のヘモグロビンに吸収され易いように狭帯域化された青色光および緑色光を含むＮＢＩ（狭帯域光観察：Narrow Band Imaging）照明光、赤外光が吸収されやすいＩＣＧ（インドシアニングリーン）を注入した被検体に対して照射される２つの赤外光（７９０〜８２０ｎｍ／９０５〜９７０ｎｍ）を含むＩＲＩ（赤外光観察：Infra Red Imaging）照明光などが幾つかの例として挙げられる。これらの内のＡＦＩは、自家蛍光として得られる光が極めて微弱な光であるために、画像の明るさを増大させる技術と組み合わせる必要度が高い。

光源制御部６３は、調光部４４から送信された光源同期信号に従って、ＬＥＤドライバ６４から白色光源６１または特殊光光源６２に供給する電流量を制御する。

ＬＥＤドライバ６４は、光源制御部６３の制御に基づいて、白色光源６１または特殊光光源６２に電流を供給して光を発生させる。こうして白色光源６１または特殊光光源６２により発生された光は、ライトガイド１１を介して伝送され、内視鏡２の挿入部の先端から被検体へ向けて照射される。

表示装置７は、画像処理装置４から出力された画像を表示する。

次に、図８はビニング処理のオン／オフに伴うノイズ低減処理およびエンハンス処理の制御例を示す図である。

上述した処理においては、明るさが上限閾値Ｔｈｂ以上であるときにはブレンド処理部３６から出力される画像は画素欠陥補正部３４からの画像（例えば原画像）のみとなるためにビニング処理が自動的にオフになるのと実質的に同等の処理が行われ、逆に、明るさが上限閾値Ｔｈｂ未満であるときにはビニング処理が自動的にオンになるのと実質的に同等の処理が行われていた。

そこで、明るさが上限閾値Ｔｈｂ未満であるか以上であるかに応じて、ビニング処理のオン／オフを自動的に実際に切り替えるようにして、処理負荷を軽減し消費電力を低減するようにしても良い。

ビニング処理を実質的にオン／オフする場合、あるいは実際にオン／オフする場合の何れにおいても、ノイズ低減部５２によるノイズ低減処理とエンハンス部５４によるエンハンス処理とを、図８に示すように制御すると良い。

すなわち、ビニング処理がオフであるときに行っているノイズ低減処理およびエンハンス処理を通常処理であるとすると、ビニング処理がオンであるときにはノイズ低減処理を弱めると共にエンハンス処理を強めると良い。すなわち、ビニング処理を行うと画像が平滑化されることになるために、平滑化が過度に行われないようにノイズ低減処理を弱めると共に、細部がぼけないようにエンハンス処理を強めている。これにより、ビニング処理を行った場合であっても、被検体の構造をより明瞭に観察することが可能となる。

なお、図１に示した構成例では、画像処理装置４ではビニング処理およびブレンド処理を行い、撮像部１４内ではビニング処理のみを行っているが、撮像部１４内においてさらにブレンド処理も行うように構成しても構わない。撮像部１４内におけるブレンド処理を行う場合には、重みαを決定するために利用する画像の各領域（例えば２×２画素）の明るさは、１フレーム前の画像に対して取得したものを使用すれば（つまり、フィードバック処理するようにすれば）良い。

また、図１に示した構成においては、撮像素子１５のビニング処理部１８ａによる撮像素子ビニングと、画像処理装置４のビニング処理部３５による画像処理ビニングと、の２種類が存在し、これらのビニング処理部１８ａ，３５は、例えば個別にオン／オフを制御可能となっている。そして、ビニング処理部１８ａ，３５によるビニング処理を行ったときの画素加算の様子は図９〜図１２に示すようになる。ここに、図９は光電変換画素の配列を示す図、図１０は４つの光電変換画素を撮像素子ビニングにより加算して得られる画素を示す図、図１１は撮像素子ビニング後のビニング画素の配列を示す図、図１２は撮像素子ビニング後の４つのビニング画素を画像処理ビニングにより加算して得られる画素を示す図である。

まず、受光部１７により光電変換して得られる光電変換画素Ｐ０の配列において、図９の１〜４に示す画素Ｐ０を撮像素子ビニングにより加算すると、図１０のＡに示す画素Ｐ１が得られる。さらに、図１０のＡの画素Ｐ１の近傍の画素についても同様に撮像素子ビニングを行って図１１のＡ〜Ｄの画素Ｐ１が得られているものとする。このときに、図１１のＡ〜Ｄの画素Ｐ１を画像処理ビニングにより加算すると、図１１のαに示す画素Ｐ２が得られる。なお、受光部１７にカラーフィルタが設けられている場合、同色画素同士で４画素の加算を行うものとする。

これら図９〜図１２に示した例においては、撮像素子ビニングにより４倍の感度が得られ、画像処理ビニングにより同様に４倍の感度が得られることになるために、両方のビニング処理を行った場合には１６倍の感度が得られることになる。

しかし、実使用時において常に１６倍の感度が求められるわけではないために、ここでは撮像素子ビニングと画像処理ビニングとの使い分けの例について説明する。図１３は適用部位が肺であるときの画像例を示す図、図１４は適用部位が胃であるときの画像例を示す図、図１５は適用部位に応じた撮像素子ビニングと画像処理ビニングとの使い分けの例を示す図表である。

適用部位が肺であるときに得られる画像８１の一例は、図１３に示すように、狭い管腔において中央部に照明光があまり届かない暗い部分が写る例であり、中央部を除いては比較的十分な光量が得られている。

この図１３の場合には、図１５の中段に示すように、画像処理ビニングを不要として例えばオフにし、撮像素子ビニングのみを適宜用いることが考えられる。

一方、適用部位が胃であるときに得られる画像８２の一例は、図１４に示すように、送気等を行って胃を膨らませた状態となっているために胃の内部空間が広く、照明光が弱い照度で胃の内壁に到達して暗い部分が比較的広い面積で写る例であり、全体的に光量が不足している。

この図１４の場合には、図１５の下段に示すように、撮像素子ビニングを必須として利用すると共に、さらに画像処理ビニングを適宜必要とすることが考えられる。

上述したように、内視鏡２のメモリ２３にはスコープ個体情報として内視鏡２の機種名を示す情報が記憶されている。そこで、内視鏡２の機種名に応じて、適用部位が肺であるか胃であるかあるいはその他の部位等であるかを判定し、判定結果に基づいて撮像素子ビニングと画像処理ビニングとを自動的に使い分けるように設定することができる。

こうして、制御部４８は、スコープ個体情報に応じて、ビニング処理部１８ａのオン／オフと、ビニング処理部３５のオン／オフと、を制御するようになっている。そして、適用部位に応じてビニング処理を適切に使い分けることにより、常に撮像素子ビニングと画像処理ビニングとの両方を行う場合のような画像解像度の低下を、適切に抑制することができる。

なお、図１５に示す例においては撮像素子ビニングを画像処理ビニングよりも優先的に利用しているが、これに限るものではなく、画像処理ビニングを撮像素子ビニングよりも優先的に利用するようにしても構わない。

ここに、撮像素子ビニングを優先して用いる場合には、画素加算をアナログ加算により行うことができるために、加算画素数をＮとしたときにランダムノイズの大きさを例えば１／√Ｎ倍に低減することができる利点がある。また、撮像素子１５からの読み出し画素数が少なくなるために、高速読み出しが可能となる。さらに、画素数が少ないために、後段の処理、つまりアナログフロントエンド部１６や画像処理装置４における処理の負荷が軽い利点もある。

一方、画像処理ビニングを優先して用いる場合には、ビニング処理の加算画素数（２×２画素、３×３画素、４×４画素、…）を可変にすることができるなどの、処理の自由度が高い利点がある。

ところで、調光を行うために画像の明るさを検出する明るさ検出部４３は、画像全体の平均的な明るさを検出するとは限らず、例えば、画像の中央部分の明るさを重視した明るさ検出、あるいは画像の特定部分の明るさを重視した明るさ検出を行う。そして明るさ検出部４３は、上述したように、第１画像処理部３２から出力される画像の明るさ、つまり、ビニング処理後（さらにはブレンド処理後）の画像の明るさを検出するものである。

このときの中央部分、あるいは特定部分等は、画像の画素配列におけるアドレスを指定することにより行われるが、ビニング処理を行うと画素数が変化するために、ビニング処理前のアドレスをそのまま利用することはできない。そこで、ビニング処理の有無に応じて、明るさ検出部４３は、明るさを検出する領域のサイズやアドレスを調整するようになっている。

図１６は撮像素子ビニングと画像処理ビニングの有無に応じた明るさ検出領域サイズの変更の様子を示す図表である。

図示のように、明るさ検出部４３による検出領域のアドレスやサイズの変更は、撮像素子ビニングと画像処理ビニングとの少なくとも一方が実施される場合には、必ず行われるようになっている。

具体的に、ビニング処理を行わないときの検出領域の開始アドレスが（ｘ，ｙ）、検出領域サイズが（ａ，ｂ）であり、撮像素子ビニングが２×２画素加算、画像処理ビニングも２×２画素加算である場合を考える。このときには、撮像素子ビニングと画像処理ビニングとの一方のみが行われるときには開始アドレスが（ｘ／２，ｙ／２）で検出領域サイズが（ａ／２，ｂ／２）となる。また、撮像素子ビニングと画像処理ビニングとの両方が行われるときには開始アドレスが（ｘ／４，ｙ／４）で検出領域サイズが（ａ／４，ｂ／４）となる。

このような処理を行うことにより、ビニング処理を実行した場合であっても例えば処置具の細かいハレーションを検出する際の精度低下を防ぐことができ、ビニング処理を実行しない場合と同様の精度で調光制御を行うことが可能となる。

なお、こうした検出領域の開始アドレスや領域サイズは、実施毎に計算して求めるに限るものではなく、例えばメモリ２３や記憶部４７に予めパラメータとして記憶しておき、設定されているビニングの種類に応じて適切なパラメータを制御部４８がメモリ２３や記憶部４７から読み出して調光部４４に設定するようにしても良い。

また、ビニング処理を行うと画像が明るくなるために、明るさ検出部４３の領域サイズ以外に変更すると良い調光パラメータとして、明るさ検出部４３における明るさ判定の閾値や、ゲイン調整部５３のゲインなどが挙げられる。

図１７はビニング処理部３５の後段に画素欠陥補正部３４を配置する構成例を示すブロック図である。

上述したように、欠陥画素の影響がビニング画素に及ばないように、画素欠陥補正部３４はビニング処理部３５の前段に配置することが好ましく、図１にその構成例を示した。しかし、構成上の何らかの理由により、図１７に示すように、ビニング処理部３５の後段に画素欠陥補正部３４を配置することになる場合も考えられる。

この場合には、制御部４８に欠陥画素アドレス変換部４８ａの機能を備えさせて、ビニング処理がオンの際には、メモリ２３から読み出した欠陥画素アドレスをビニング処理後に該当するアドレスに変換して、変換後のアドレスにより画素欠陥補正部３４に画素欠陥補正処理を行わせるようにすれば良い。

また、読出部１８がビニング処理部１８ａとして機能した場合、つまり画素欠陥補正部３４が受信する画素信号が既にビニング処理されたビニング画素信号である場合にも同様に、制御部４８は、メモリ２３から読み出した欠陥画素アドレスを、ビニング処理後アドレスに変換してから画素欠陥補正部３４を制御することになる。

なお、画像の明るさに応じてビニング処理のオン／オフを切り替える場合には、まずビニング処理をオフにした状態で調光部４４により調整された出射光量で照射された被写体の画像信号を取得し、取得した画像信号の明るさが明るい場合にはビニング処理をオフ、暗い場合にはビニング処理をオンに設定することになる。

このような実施形態１によれば、画像（例えば原画像）とビニング画像とを、領域の明るさに応じて領域毎に合成（ブレンド処理）するようにしたために、ビニング画像のみの場合よりも解像度の低下を抑制することができる。そして、画像（例えば原画像）とビニング画像との合成比率が領域の明るさに応じて変更されるために、例えばビニングなし領域と２×２画素ビニング領域とが段階的（不連続的）に切り替わることはなく、境界領域が滑らかに接続されるために、画像の不自然さを軽減してより自然な画像を得ることができる。

また、明るい領域については原画像等を利用しているために、解像度を保持することができる。

そして、図１に示したように画素欠陥補正部３４をビニング処理部３５の前段に配置した場合には、欠陥画素の影響がビニング後の画素に及ぼす影響を未然に低減することができ、画質の劣化が抑制された適切な画像を得ることができる。

加えて、スコープ個体情報に応じて、ビニング処理部１８ａ，３５を適切に制御することが可能となる。具体的に、撮像部１４の画素数が所定の閾値以上の場合にのみビニング処理を許可することにより、画像解像度の大幅な低下を抑制することができる。また、内視鏡２の機種名に応じて、ビニング処理部１８ａとビニング処理部３５とを適切に使い分けることができる。

なお、上述では主として撮像装置について説明したが、撮像装置の作動方法であっても良いし、コンピュータに撮像装置の作動方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１３年１２月５日に日本国に出願された特願２０１３−２５２１４３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (5)

1. 光を光電変換して光電変換画素信号を生成する光電変換画素が二次元状に複数設けられた撮像部と、スコープ個体情報を記憶する個体情報記憶部と、を有する内視鏡と、
   複数の前記画素信号により構成される画像を、１つの領域が複数の前記画素信号を含むように複数の領域に分割して、該領域に属する複数の前記画素信号を加算してビニング画素信号を得るビニング処理部と、
   前記領域の明るさを検出するビニング用明るさ検出部と、
   前記ビニング用明るさ検出部により検出される前記明るさに基づいて前記領域における重みを設定し、該重みに基づき前記領域における前記画素信号と前記ビニング画素信号とを合成することにより合成画像を生成する合成部と、
   前記スコープ個体情報に応じて前記ビニング処理部を制御する制御部と、
   を具備することを特徴とする撮像装置。
2. 前記合成部は、前記明るさが暗くなるに従って、前記画素信号に対する前記ビニング画素信号の比率が単調増加して大きくなるように、前記重みを設定することを特徴とする請求項１に記載の撮像装置。
3. 前記合成部は、さらに、前記画素信号と前記ビニング画素信号との比率が、前記明るさが所定の下限閾値未満であるときには０：１となり、前記明るさが所定の上限閾値以上であるときには１：０となるように、前記重みを設定することを特徴とする請求項２に記載の撮像装置。
4. 前記スコープ個体情報は、前記撮像部に設けられた前記光電変換画素の数である画素数を含み、
   前記制御部は、さらに、前記ビニング用明るさ検出部および前記合成部を制御するものであり、前記画素数が所定の閾値以上の場合にのみ、前記ビニング処理部、前記ビニング用明るさ検出部、および前記合成部の動作を許可することを特徴とする請求項１に記載の撮像装置。
5. 前記ビニング処理部は、前記光電変換画素信号を前記撮像部内においてビニング処理する撮像素子ビニング処理部と、前記内視鏡から出力される複数の前記画素信号を、画像処理の一部としてビニング処理する画像処理ビニング処理部とを含み、
   前記制御部は、前記スコープ個体情報に応じて、前記撮像素子ビニング処理部のオン／オフと、前記画像処理ビニング処理部のオン／オフと、を制御することを特徴とする請求項１に記載の撮像装置。

Images