JP4058373B2 - 固体撮像素子ビデオカメラおよびそのための輝度制御 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、特許請求の範囲の請求項１および請求項１１の前提部に従う固体撮像素子ビデオカメラおよびそのための輝度制御方法に関する。
【０００２】
【従来の技術】
医療および内視鏡検査技術における良好ではない光状態で通常的に用いられる内視鏡固体撮像素子ビデオカメラは、ピクセルの露出時間がステップごとに制御されるシャッター制御モードから、ピクセルの増幅が制御されるゲイン制御モードへと変わる。ゲイン動作モードにおいて十分な画像輝度を可能にするために、結果として画像のノイズを招くことを避けられない増幅率が必要となる。このノイズは、画像解像度および細部の認識に、良くない影響を与える。さらに、ユーザに煩わしい思いをさせる。
【０００３】
これを抑制するために、いわゆるインテグレーションモード(integration mode)を有する内視鏡固体撮像素子ビデオカメラもある。インテグレーションモードにおいて、１ビデオフレームシーケンス（１／５０秒につき２フレーム）で画像センサが２度読み取られることはなく、１回のみであり、これは２倍の露出時間に相当する。必要に応じて、露出時間は、このフレーム露出時間の倍数として増加させていくことができる。このやり方は、ノイズ要素を増幅することなく、集積した画像数にしたがって輝度を上げ得る。しかし、画像の繰り返しレートは、それに応じて低下する。画像の繰り返し周波数の低下は、動きのスローモーション型ジャンプという影響を与え、他方、動いている被写体に対しては広範囲で焦点が合わなくなることが多く、これは、長いシャッター速度での写真撮影においてよく知られた事象である。
【０００４】
画像の集積によって、時間的且つ空間的解像度が内視鏡の動きシーケンスで失われる。極端な場合には、意味のある内視鏡検査ができなくなる。
【０００５】
医療内視鏡検査に共通の従来の固体撮像素子ビデオカメラの一例および輝度制御の機能について、図４および図５を参照して説明する。図４のブロック図中、符号２０で示される従来の固体撮像素子ビデオカメラは、画像センサ２２、ＣＤＳ／ゲインユニット２３、Ａ／Ｄ変換器２４、デジタル信号プロセッサ２５、時間制御ユニット２６、マイクロコントローラ２８、Ｄ／Ａ変換器ユニット３１、デコーダ３２および出力回路３３を備えている。
【０００６】
図４に示される従来の固体撮像素子ビデオカメラ２０のデジタル信号プロセッサ２５は、デジタルビデオ信号処理を実行する。マイクロコントローラ２８は、カメラ制御の機能と、信号プロセッサと協働して輝度制御の機能をもつ。加えて図４には、オプションのメモリユニット２７が示されている。これは、露出延長を実行する場合に必要である。マイクロコントローラ２８は、デジタル信号プロセッサ２５、メモリユニット２７、時間制御ユニット２６およびＣＤＳ／ゲインユニット２３と接続される。
【０００７】
固体撮像素子ビデオカメラのビデオ画像の輝度制御では、平均値、ピーク値認識、ヒストグラム評価、または、これらの方法の組み合わせによって、ビデオ画像の調整可能な測定ウインドウから得られた読取値を使用し、調整可能な基準値と継続して比較することによって画像輝度を加減する。
【０００８】
図５は、従来の内視鏡カメラの輝度制御の過程をグラフで概略的に示したものである。図中、左垂直軸に増幅ファクタ(factor)が示され、右垂直軸にはシャッター時間が示されている。水平軸は、関連ユニットの（測定された）被写体輝度を示す。
【０００９】
実線によって示されるステップ機能は、シャッターモードＭ２の制御機能である。ステップごとのシャッター制御は、たとえば６ｄＢステップで行われる。シャッター制御Ｍ２のステップ機能は、図中左側の被写体輝度が強く短いシャッター速度から最長シャッター速度１／５０秒（ＮＴＳＣ標準では１／６０秒）へと続いている。シャッター速度をさらに延ばすことは、従来のビデオカメラではできない。
【００１０】
ダイナミクスがさらに増大されると、被写体輝度のしきい値Ｓ２からカメラの増幅が開始される。このいわゆるゲイン制御モードＭ３は図５で点線によって示してある。オプションとして、図５に示してあるように、より高いしきい値Ｓ３で早期に画像集積を開始することもできる。この輝度制御Ｍ４は、図５で一点鎖線で例示されている。画像集積は６ｄＢステップで行われる。図５において画像集積は、制御モードＭ４によって、たとえば４画像に限定される。次いで、輝度制御モードＭにしたがう増幅機能が開始される。
【００１１】
シャッター制御（モードＭ２）とゲイン制御（モードＭ３）の組み合わせは図５に示されていないが、シャッター制御Ｍ２に起因する輝度の急変が増幅制御Ｍ３によって補償される。転換点でなめらかとなるように個別動作モードをお互いに組み合わせるのは同様に良く知られている。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、概略説明した画像集積の上記不利点およびゲイン制御のノイズ要素増幅について、リアルタイム表示を損なうことなく回避することができるようにし、医療および内視鏡検査技術に適切な固体撮像素子ビデオカメラおよびそのための輝度制御方法を可能とすることにある。言い換えれば、本発明の目的は、ゲイン制御および画像集積の不利点が解消されて内視鏡検査に適した固体撮像素子ビデオカメラ用のさらなる輝度制御モードを提供するとともに、このさらなる動作モードをカメラの制御に組み入れることを可能とすることにある。
【００１３】
【課題を解決するための手段】
この目的は、請求項１および請求項１１に記載された特徴により解決される。また、さらなる有益な特徴が従属請求項に特定されている。
【００１４】
本発明によれば、内視鏡固体撮像素子ビデオカメラの画像輝度または感度を上げるために、隣接するピクセルの輝度情報が互いにグループ化され、一つのピクセルに割り当てられる。これが画像輝度を上げ、さらに当該ピクセルにおけるノイズ要素を減少させる。このために、「ピクセル加算」動作モードとカメラの増幅制御を連携させることが提案され、各種状況において増幅制御がピクセル加算のために発生する輝度の急変を調整し、これを補償し、そしてこれによってユーザに対し、輝度の顕著な急変のない、なめらかな転換を作り出すようにする。
【００１５】
本発明によれば、加算動作へのジャンプで増幅が減少し、加算のノイズ減少効果に加えて画像のノイズを減少させ、したがって画質がさらに改良される。
【００１６】
動作モードの「ピクセル加算」は、それ自体はすでに知られている。この技術は、プログレッシブスキャンカメラおよびＣＭＯＳカメラで感度を上げるために使用され、これらのカメラの仕様書では「ピクセルビニング(pixel binning)」として使われている。これによると、たとえば水平方向または垂直方向における数ピクセルの情報が互いにグループ化され、新しいピクセルに割り当てられる。結果として得られたピクセルマトリクスは、加算に対応して小さく、より低い解像度を有する。この既知の動作モード「ピクセルビニング」はしかし静的であり、すなわち、スイッチでオンオフされるもので、制御アルゴリズムに組み入れられたものではない。
【００１７】
この既知の「ピクセルビニング」機能の一態様が図６に示されている。同図のＸラインは、例として、本来のセンサ情報の画像ラインを表し、Ｙラインは、それから２ピクセルビニングを経て決定された画像ラインを表す。ピクセル解像度がこの方法によって半分にされるのは明らかである。
【００１８】
これとは対照的に、本発明による態様では、加えるピクセルグループを固定するのではなく、信号処理の方向でピクセルごとに２以上の隣接ピクセルを互いにグループ化する途切れのないピクセル加算アルゴリズムを適応することが好ましい。このために、当例に限定される訳ではないが、ピクセル加算のペア手法の一態様が図７に示されている。この態様の本質的な利点は、この手順のやり方から得られる解像度が、本来の画像解像度からわずかに落ちるのみである一方、画像輝度増加の十分な効果が達成されるということである。
【００１９】
【発明の実施の形態】
図面を参照して、本発明の１つの好適な実施形態およびその変形例を詳細に説明する。
【００２０】
まず、図１のブロック図を参照すると、固体撮像素子ビデオカメラ１の好適な実施形態が概略的に示されている。同図において、ユニット２〜８，１１〜１３は、それぞれ図４に示される従来の固体撮像素子ビデオカメラのブロック２２〜２８，３１〜３３に相当する。
【００２１】
図４の構成に加えて、本発明に係る図１の固体撮像素子ビデオカメラ１は、マイクロコントローラ８によって制御されるピクセル加算ロジック１０を備える。本発明による固体撮像素子ビデオカメラに組み入れられ連携するピクセル加算モードＭ１、シャッターモードＭ２、ゲイン制御モードＭ３およびオプションの画像集積Ｍ４などの制御モードは、マイクロコントローラ８で実行される制御アルゴリズムまたはプログラムによって実現される。このために、マイクロコントローラ８は、ＣＤＳ／ゲインユニット３、デジタル信号プロセッサ５、時間制御ユニット６およびピクセル加算ロジック１０に接続されている。図１には、オプションで設けられ、マイクロコントローラ８によって制御される画像メモリユニット７がさらに示されている。
【００２２】
マイクロコントローラ８で実行される輝度制御ユニットが、本発明にしたがって設けられたＣＤＳ／ゲインユニット３、時間制御ユニット６、デジタル信号プロセッサ５およびピクセル加算ロジック１０と協働して、第１の（ピクセル加算）輝度制御モードＭ１を可能にする。
【００２３】
当該輝度制御ユニットはさらに、第２の輝度制御モードＭ２、具体的にはシャッターモードを実行し、これは、所定の時間ステップにおけるピクセルの露出時間を制御する。次いで、シャッターモードＭ２の可能最長シャッター時間（たとえば１／５０秒）で測定された被写体輝度が第１のしきい値Ｓ１を下回るようになると、輝度制御ユニットはピクセル加算ロジック１０を自動的に作動させる。
【００２４】
さらに、ピクセル加算ロジック１０の作動後に測定される被写体輝度信号が、第１のしきい値Ｓ１と第２のしきい値Ｓ２との間にある第３のしきい値Ｓ３を下回ると、輝度制御ユニットは、第３の輝度制御モードＭ３、具体的にはゲイン制御を作動させる。
【００２５】
効果的な実施形態として、ピクセル加算ロジック１０の加算ステップ数をセットすることが可能で、各場合に第１の輝度制御モードＭ１となる輝度制御ユニットは、ビデオカメラにセットされた加算ステップを作動させる。
【００２６】
さらに、第１の輝度制御モードＭ１から第４の輝度制御モードＭ４までのシーケンスをビデオカメラ１に設定してもよい。あるいは、第３の輝度制御モードＭ３として認識されるようにした画像集積を、第１の輝度制御モードＭ１として認識されるようにしたピクセル加算の前にスイッチオンまたは作動させるようにしてもよい。しかしながら、画像集積をまったく除いておくことも可能である。
【００２７】
図２は、本発明による制御の過程をグラフで例示したもので、オプションの画像集積を組み入れてある。図５のグラフでも説明したように、左垂直軸に増幅ファクタが示され、右垂直軸にはシャッター時間が示される。水平軸は、関連ユニットの被写体輝度を示す。
【００２８】
図５で説明した従来の方法と同様に、被写体輝度が減少するとまず、実線Ｍ２で示すようにシャッター時間がステップごとに増加する。一例として従来同様の６ｄＢステップを示してある。シャッター時間がそれ以上延びなくなった後に（最長シャッター時間は１／５０または１／６０秒）、測定された被写体輝度がさらに下がり、被写体輝度が第１のしきい値Ｓ１に達しなくなると、輝度制御ユニットすなわちマイクロコントローラ８は、実線Ｍ１で表されるようにピクセル加算を作動させる。ピクセル加算の作動は、画像集積へ切り換わる前に行われる。本例では、２段階の画像加算ステップが例示され、各場合に６ｄＢだけ画像輝度が増加する。ノイズ要素の減少も達成されるそのダイナミックスコープのゲインは、二重矢印Ｇとして表されている。
【００２９】
測定された被写体輝度がさらに減少する場合には、第２のしきい値Ｓ２に達しなくなった後、ゲイン制御モードＭ３が開始される（図２の点線）。ここでオプションとして、被写体輝度信号が、第１のしきい値Ｓ１と第２のしきい値Ｓ２との間にある第３のしきい値Ｓ３に達しなくなったときに、ゲイン制御Ｍ３の作動前に画像集積（一点鎖線Ｍ４で示す）を作動させることもできる。
【００３０】
各場合に、ゲイン制御による増幅機能の鋸歯適用によって輝度の急変を補償する方法により、図３に示す本発明に係る輝度制御機能のさらなる実施形態のように、いっそうの改良が可能である。この好適な実施形態において、シャッターステップ、加算ステップおよび画像集積ステップの切り替りのために発生する輝度の急変の間で連続増幅機能を調整できるように、点線で示されるゲイン制御Ｍ３が、実線のシャッター制御Ｍ２およびピクセル加算による制御Ｍ１と組み合わされ、さらには、オプションの画像集積による制御Ｍ４とも組み合わされる。この例によれば、ダイナミックレンジ全体に対する高解像で連続した画像輝度の制御が達成される。
【図面の簡単な説明】
【図１】マイクロコントローラによって制御されるピクセル加算ロジックを備えた本発明の固体撮像素子ビデオカメラのブロック図。
【図２】図１の固体撮像素子ビデオカメラにおける輝度制御の過程をグラフで概略的に表した図。
【図３】連続制御された輝度転換が実現されるように、シャッター制御とピクセル加算とオプションの長期露出とに増幅制御を組み合わせた輝度制御の別の実施形態をグラフで概略的に表した図。
【図４】従来の固体撮像素子ビデオカメラのブロック図。
【図５】図４に示された固体撮像素子カメラの輝度制御の従来過程をグラフで概略的に表した図。
【図６】従来の「ピクセルビニング」機能の例を示した説明図。
【図７】本発明に係る一対のピクセル加算についての説明図。
【符号の説明】
１ 固体撮像素子ビデオカメラ
２ 画像センサ
３ ＣＤＳ／ゲインユニット
４ Ａ／Ｄ変換器
５ デジタル信号プロセッサ
６ 時間制御ユニット
７ 画像メモリユニット
８ マイクロコントローラ
１０ ピクセル加算ロジック
１１ Ｄ／Ａ変換器
１２ デコーダ
１３ 出力回路

Claims (15)

1. ビデオ画像で測定された輝度信号に基づいて、輝度基準値にしたがい画像輝度を制御し、複数の輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）を有する輝度制御ユニット（８）を備えた固体撮像素子ビデオカメラにおいて、
   前記輝度制御ユニット（８）に接続され、数個の隣接するピクセルの輝度情報を加算するピクセル加算ロジック（１０）を備え、
   輝度制御ユニット（８）は、測定された輝度信号が第１のしきい値（Ｓ１）に達しないときに、第１の輝度制御モード（Ｍ１）として前記ピクセル加算ロジック（１０）を作動させ、当該ピクセル加算ロジック（１０）の作動後、測定された輝度信号が前記第１のしきい値（Ｓ１）よりも小さい第２のしきい値（Ｓ２）に達しないときに、第３の輝度制御モード（Ｍ３）としてゲイン制御を作動させることを特徴とする固体撮像素子ビデオカメラ。
2. ピクセル加算アルゴリズムがフローティングアルゴリズム(floating algorithm)として設計される請求項１記載の固体撮像素子ビデオカメラ。
3. 前記輝度制御ユニット（８）は、測定された輝度信号が、第２の輝度制御モードとしてのシャッターモード（Ｍ２）で可能な最長シャッター時間で前記第１のしきい値（Ｓ１）に達しないときに、前記ピクセル加算ロジック（１０）を自動的に作動させる請求項１又は請求項２のいずれか１項に記載の固体撮像素子ビデオカメラ。
4. 前記輝度制御ユニット（８）は、前記ピクセル加算ロジック（１０）の作動後、測定された輝度信号が前記第１のしきい値（Ｓ１）と前記第２のしきい値（Ｓ２）との間にある第３のしきい値（Ｓ３）に達しないときに、第４の制御モード（Ｍ４）として画像集積を作動させる請求項１〜３のいずれか１項に記載の固体撮像素子ビデオカメラ。
5. 前記輝度制御ユニット（８）は、前記輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）の互いの転換時および／または前記輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）の中で、輝度急変が回避されるように前記輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）を組み合わせる請求項１記載の固体撮像素子ビデオカメラ。
6. 前記ピクセル加算ロジック（１０）が数段階の加算ステップをもち、前記第１の輝度制御モード（Ｍ１）で前記輝度制御ユニット（８）によって作動される前記加算ステップの数が当該ビデオカメラ（１）でセット可能とされている請求項１〜５のいずれか１項に記載の固体撮像素子ビデオカメラ。
7. 前記輝度制御ユニット（８）を実行するマイクロコントローラを備える請求項１〜６のいずれか１項に記載の固体撮像素子ビデオカメラ。
8. 長期露出を実行するための画像メモリ（７）を備える請求項１〜７のいずれか１項に記載の固体撮像素子ビデオカメラ。
9. 前記ピクセル加算ロジック（１０）は、ビデオ信号の経路における前記画像メモリ（７）の後に接続される請求項８記載の固体撮像素子ビデオカメラ。
10. 固体撮像素子画像センサによって記録されたビデオ画像から画像輝度の読取値を取得し、複数の輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）に基づいて前記画像輝度を基準値に照らし合わせる固体撮像素子ビデオカメラ（１）の輝度制御方法において、
    測定された輝度信号が第１のしきい値（Ｓ１）に達しないときに、ビデオ信号の数個の隣接ピクセルの輝度情報を加算する第１の輝度制御モード（Ｍ１）を作動させ、該第１の輝度制御モード（Ｍ１）の作動後、測定された輝度信号が第１のしきい値（Ｓ１）よりも小さい第２のしきい値（Ｓ２）に達しないときに、第３の輝度制御モード（Ｍ３）としてゲイン制御を作動させることを特徴とする輝度制御方法。
11. 第２の輝度制御モード（Ｍ２）としてシャッターモードをもち、該シャッターモードにおいてピクセルの露出時間をステップ設定することによって画像輝度を制御する請求項１０に記載の輝度制御方法。
12. 前記第２の輝度制御モード（Ｍ２）における画像輝度の制御で、最長シャッター時間で測定された輝度信号が前記第１のしきい値（Ｓ１）に達しないときに、前記第１の輝度制御モード（Ｍ１）を自動的に作動させる請求項１１記載の輝度制御方法。
13. 前記第１の輝度制御モード（Ｍ１）の作動後、測定された輝度信号が前記第１のしきい値（Ｓ１）と前記第２のしきい値（Ｓ２）との間に設けられる第３のしきい値（Ｓ３）に達しないときに、第４の輝度制御モード（Ｍ４）として画像集積を作動させる請求項１０〜１２のいずれか１項に記載の輝度制御方法。
14. 前記輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）の互いの転換時および／または前記輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）の中で、輝度急変が回避されるように前記輝度制御モード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）が組み合わせられる請求項１０記載の輝度制御方法。
15. 数段階の加算ステップによりピクセル加算が実行され、前記第１の輝度制御モード（Ｍ１）で作動される前記加算ステップ数がセット可能になっている請求項１０〜１４のいずれか１項に記載の輝度制御方法。

Images