JP5379932B1 - 撮像システム、撮像方法 - Google Patents

Abstract

全ライン露光期間（Ｔａ）と非全ライン露光期間（Ｔｒ）とが生じるようにローリングシャッタ方式の撮像制御を行い、第１調光モードにおいて、全ライン露光期間（Ｔａ）中の第１期間（Ｔ１）における照明光の光量を所定のレベルに維持しながら、第１期間（Ｔ１）以外の全ライン露光期間（Ｔａ）および非全ライン露光期間（Ｔｒ）でなる第２期間（Ｔ２）中における照明光の光量を直前の第２期間（Ｔ２）に比して増減させる（ＣＩ１，ＣＩ２）ように照明光の光源を制御する撮像システム。

Description

本発明は、撮像素子の露光を水平ライン毎に順次行うローリングシャッタ方式の撮像システム、撮像方法に関する。

撮像装置では、従来よりＣＣＤ型イメージセンサが広範に用いられていたが、近年ではＣＭＯＳ型イメージセンサ（以下、単にＣＭＯＳという）も広く使用されるようになってきている。このＣＭＯＳは、低消費電力で、周辺回路を同一基板上に形成することが可能であるという利点を有しており、電子内視鏡の分野においても、ＣＭＯＳを使用した内視鏡システムが提案されてきている。

ところで、ＣＭＯＳは、一般に、１水平ライン毎に順に画素信号の読み出しが行われるローリングシャッタ方式が採用されている。

このようなローリングシャッタ方式のＣＭＯＳを使用した撮像装置としては、例えば、特開２００９−１２４２６０号公報に記載されたものが挙げられる。また、内視鏡装置におけるＣＭＯＳの適用例としては、特開２０１１−３０９８５号公報に記載されたものが挙げられる。

ところで、ローリングシャッタ方式の場合には、同一の時点で露光中のラインと非露光中のラインとが存在する状態が発生するが、このような時点でフラッシュ発光（閃光発光）を行うと、照明光により照明された被写体が露光されるラインと、被写体が照明光により照明されることなく露光されるラインとが発生し、１画面中に明暗縞が生じてしまうことになる。

そこで、上述した特開２００９−１２４２６０号公報や特開２０１１−３０９８５号公報に記載の技術では、全ラインに共通する露光期間（全ライン露光期間、あるいはグローバル露光期間）に照明光を照射して撮影を行うように制御している。

しかし、フラッシュ発光（閃光発光）ではない通常のランプ（キセノンランプやハロゲンランプ等）、あるいはＬＥＤ等を用いた照明光では、全ライン露光期間にのみ発光を行うと、全ライン露光期間以外の非全ライン露光期間にも発光を行う場合に比して、最大照明光量が低くなってしまう。

そこで、非全ライン露光期間にも発光を行った場合に生じる明暗縞を目立たなくする技術として、撮像のタイミングに対して光量変化を比較的緩やか（最速でも１０Ｈｚ程度）にすることが考えられる。こうした緩やかな光量変化は、例えば、メカニカル絞り機構のような調光機構を有する光源装置において行われており、明暗縞が生じたとしても実用上問題のないレベルに抑制することが可能となっている。

メカニカル絞り機構による緩やかな光量変化に代えて、光源（例えばＬＥＤ光源）を緩やか（例えば１０Ｈｚ程度）に電流調光することも考えられる。しかし、電流調光だけでは広いダイナミックレンジの調光を行うことが困難である（特に、内視鏡光源で使用するような大電力ＬＥＤドライバでは、電流調光のみで達成し得る最小光量は、最大光量の例えば数十分の一程度である）。

従って、電流調光に加えて、さらにＰＷＭ調光、あるいはメカニカル絞り機構などを併用した調光が必要になると考えられる。

例えば、特開２００７−３１８５８１号公報には、ＣＭＯＳ等の撮像素子と、撮像素子の露光および読出駆動をローリングシャッタ方式で制御する撮像素子駆動制御手段と、フレーム周期を制御するフレーム周期制御手段と、ＬＥＤライト等で構成される撮影補助光源と、この撮影補助光源をＰＷＭ駆動で制御する補助光源駆動制御手段と、を備える撮像装置が記載されている。該公報に記載の技術では、ローリングシャッタによる各ライン毎の露光開始期間に同期して、ＬＥＤライトをパルス発光させ、かつ発光パルスをＰＷＭ制御することにより発光量を調整している（ライン調光：該公報の例えば図３等参照）。

この特開２００７−３１８５８１号公報に記載の技術は、１水平ライン期間毎に発光パルスをＰＷＭ調光する技術であるために、さらに電流調光を併用することも可能である。

ところで、一般的に１水平ライン期間は数１０μｓ程度である。これに対して、内視鏡光源で使用するような大電力ＬＥＤドライバは、生成可能な最小パルス幅が数μｓ程度であるために、上述した特開２００７−３１８５８１号公報に記載の技術をもってしても、広いダイナミックレンジの調光を行うことは依然として困難である（例えば、ＰＷＭ調光と電流調光を併用したとしても、達成し得る最小光量は、最大光量の例えば数百分の一程度である）。

光源装置の調光ダイナミックレンジはより広いことが望ましく、特に内視鏡光源としては、最大光量の数千分の一のオーダーの最小光量が得られることが望ましい。

本発明は上記事情に鑑みてなされたものであり、水平ライン毎に順次露光を行う撮像素子を用いる撮像システム、撮像方法において、画像の明暗縞を抑制しながら、調光のダイナミックレンジを広くすることができる撮像システム、撮像方法を提供することを目的としている。

本発明の第１の態様による撮像システムは、光電変換を行う複数の画素が水平ライン単位で２次元状に配列された撮像素子と、全水平ラインの読み出しに要する期間よりも所定の露光期間が長くなるように設定して、前記撮像素子の露光を前記水平ライン毎に順次開始させ、最後の水平ラインの露光を開始させた後に、露光開始から前記所定の露光期間が経過した水平ライン毎に順次読出を行わせることにより、前記全水平ラインが同時に露光される全ライン露光期間と、何れかの水平ラインが露光される期間における前記全ライン露光期間以外の非全ライン露光期間と、が生じるように制御する撮像制御部と、前記撮像素子による撮像の対象である被写体へ出射する照明光を発光する光源と、前記光源を、前記照明光の光量を調節可能に駆動する光源駆動部と、第１調光モードにおいて、前記全ライン露光期間中の第１期間における前記照明光の光量を所定のレベルに維持しながら、前記第１期間以外の前記全ライン露光期間および前記非全ライン露光期間でなる第２期間中における前記照明光の光量を直前の第２期間に比して増減させるように前記光源駆動部を制御する調光制御部と、を具備している。

本発明の第２の態様による撮像方法は、光電変換を行う複数の画素が水平ライン単位で２次元状に配列された撮像素子の撮像制御に際して、全水平ラインの読み出しに要する期間よりも所定の露光期間が長くなるように設定し、前記撮像素子による撮像の対象である被写体へ出射する照明光を光源から発光し、前記撮像素子の露光を前記水平ライン毎に順次開始し、最後の水平ラインの露光を開始した後に、露光開始から前記所定の露光期間が経過した水平ライン毎に順次読出を行い、第１調光モードにおいて、前記全水平ラインが同時に露光される全ライン露光期間中の第１期間における前記照明光の光量を所定のレベルに維持しながら、何れかの水平ラインが露光される期間における前記全ライン露光期間以外の非全ライン露光期間および前記第１期間以外の前記全ライン露光期間でなる第２期間中における前記照明光の光量を直前の第２期間に比して増減する方法である。

本発明の実施形態１の内視鏡システムの構成を示す図。 上記実施形態１において、ＣＭＯＳの露光タイミングと光源装置の調光動作とを示すタイミングチャート。 上記実施形態１の各調光モードにおける電流制御およびパルス幅制御の様子を示す線図。 上記実施形態１において、光源装置の制御部による調光制御の処理を示すフローチャート。 上記実施形態１において、図４のステップＳ２における光量減少処理の詳細を示すフローチャート。 上記実施形態１において、図４のステップＳ４における光量増加処理の詳細を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図６は本発明の実施形態１を示したものであり、図１は内視鏡システムの構成を示す図である。

本実施形態は、撮像システムの一例として、内視鏡システム１を挙げたものとなっている。ただし、撮像システムは内視鏡システム１に限定されるものではなく、撮像機能を備えたシステムに広く適用することが可能である。

内視鏡システム１は、スコープ（内視鏡）２と、光源装置３と、ビデオプロセッサ４と、モニタ５と、通信ケーブル６とを備えている。

光源装置３は、制御部２１と、ＬＥＤ駆動部２２と、白色ＬＥＤ（図中、Ｗ−ＬＥＤと記載する）２３と、光学系２４と、操作パネル２５と、を備えている。

白色ＬＥＤ２３は、照明光として白色光を発光する発光素子であり光源である。

ＬＥＤ駆動部２２は、白色ＬＥＤ２３に電流を供給して駆動する光源駆動部である。このＬＥＤ駆動部２２は、例えば供給する電流を制御することにより、白色ＬＥＤ２３から発光する照明光の光量を調節することが可能となっている。ここに、ＬＥＤ駆動部２２による電流制御としては、電流値の制御と、電流の印加パルス幅の制御（つまり、ＰＷＭ制御）と、の両方が可能である。前者の電流値の制御は、白色ＬＥＤ２３の発光輝度を制御することであり、後者のＰＷＭ制御は、白色ＬＥＤ２３の発光時間を制御することである。

制御部２１は、ＬＥＤ駆動部２２から白色ＬＥＤ２３へ供給する電流を制御することにより、白色ＬＥＤ２３から発光する照明光の光量を調節する調光制御部である。この制御部２１の制御は、通信ケーブル６を介してビデオプロセッサ４と通信を行って取得した絞り制御信号に基づき、または操作パネル２５を介したユーザからの照明光の明るさ設定に基づき、行われる。

光学系２４は、白色ＬＥＤ２３から発光された照明光を伝送して、スコープ２の後述するライトガイド１１の基端の入射端面に集光するものである。

操作パネル２５は、光源装置３に対する操作をユーザが行うためのものであり、光源装置３の電源オン／オフ操作や、照明光の明るさ設定操作等を行うことができるようになっている。

このような光源装置３から照明光の供給を受ける内視鏡であるスコープ２は、ライトガイド１１と、照明レンズ１２と、対物レンズ１３と、ＣＭＯＳ型イメージセンサ（ＣＭＯＳ）１４と、信号線１５と、ライトガイドコネクタ１６と、ビデオコネクタ１７と、を備えている。

ライトガイド１１は、ライトガイドコネクタ１６から基端が延出しており、ライトガイドコネクタ１６を光源装置３に接続したときに、ライトガイド１１の基端の入射端面に上述した白色ＬＥＤ２３からの光が光学系２４により集光される。

ライトガイド１１はスコープ２の挿入部内を先端部まで挿通されており、先端の射出面から照明光を射出する。スコープ２の先端におけるこの照明光の光路上には、照明レンズ１２が配設されている。こうして、ライトガイド１１内を伝達された光源装置３からの照明光は、照明レンズ１２を介して挿入部の先端から、ＣＭＯＳ１４による撮像の対象である被写体へ出射される。

照明光を照射された被写体の光学像は、スコープ２の挿入部先端に配設された対物レンズ１３を介して取り込まれ、撮像素子であるＣＭＯＳ１４上に結像する。このＣＭＯＳ１４は、光電変換を行う複数の画素が水平ライン単位で２次元状に配列され、この画素配列上に例えば原色ベイヤー配列のカラーフィルタアレイがさらに配設されている単板のカラー撮像素子である。そして、ＣＭＯＳ１４は、被写体の光学像を電気信号に変換する撮像を行い、信号線１５を介して、ビデオコネクタ１７が接続されたビデオプロセッサ４へ電気信号（単板カラー画像）を送信する。

ビデオプロセッサ４は、ＣＭＯＳ１４の１フレーム期間（あるいは１フィールド期間などの、１枚の画像を撮像する期間）における露光を水平ライン毎に順次開始させ、露光開始から所定の露光期間（いわゆるシャッタ速度）が経過した水平ライン毎に順次読出を行わせる（すなわち、いわゆるローリングシャッタによる露光制御を行う）撮像制御部である。このビデオプロセッサ４は、さらに、全水平ラインの読み出しに要する期間よりも所定の露光期間が長くなるように設定する。これにより、最初の水平ラインの読み出しは、最後の水平ラインの露光が開始した後となる。従って、ビデオプロセッサ４は、全水平ラインが同時に露光される全ライン露光期間と、何れかの水平ラインが露光される期間における全ライン露光期間以外の非全ライン露光期間と、が生じるように制御している。

そして、ビデオプロセッサ４は、ＣＭＯＳ１４から受信した単板カラー画像をデモザイキング（同時化）してカラー画像（つまり、各画素についてＲＧＢ３色の色信号が揃ったいわゆる三板カラー画像）を生成し、生成したカラー画像のカラーバランス調整やガンマ変換、色変換等の画像処理を行った後に、モニタ５に表示するための信号形式に変換してモニタ５へ出力する。ここにモニタ５は、カラーモニタである。これにより、モニタ５には被写体の画像がカラーで表示される。

また、ビデオプロセッサ４には、明暗補正部３１が設けられている。光源装置３は、後で詳しく説明するように、発光量の制御、すなわち調光を、幾つかの異なる調光モード（具体的には、図３に示すように、最大調光モード、第１調光モード、第２調光モード）に分類して行うようになっている。そして、これらの内の第１調光モードで調光を行う場合には、ＣＭＯＳ１４によるローリングシャッタと併用すると、被写体に緩やかなグラデーションが発生する。そこで、明暗補正部３１は、第１調光モードの照明下でＣＭＯＳ１４により露光して得られた画像（緩やかなグラデーションがある画像）を、画像を露光したときの各水平ラインに対応する照明光の光量に基づいて、各水平ラインに対応する照明光の光量が同一であるときの画像（グラデーションがない画像）に近付けるように補正するものである。

さらに、ビデオプロセッサ４は、上述したカラー画像から例えば輝度信号を抽出して、抽出した輝度信号に基づき絞り制御信号を生成する。また、ビデオプロセッサ４は、全水平ライン中の最後の水平ラインの露光が開始された時点でハイレベルとなり、全水平ライン中の最初の水平ラインの露光が終了した時点でローレベルとなる全ライン露光信号も生成する。こうしてビデオプロセッサ４により生成された絞り制御信号および全ライン露光信号は、ビデオプロセッサ４と光源装置３とを接続する通信ケーブル６を介して、光源装置３の制御部２１へ送信される。

制御部２１は、受信した絞り制御信号と全ライン露光信号とに基づき、ＬＥＤ駆動部２２を制御して白色ＬＥＤ２３から発光する照明光の光量調節を行う。

一方、光源装置３の制御部２１は、照明光の光量調節情報を、通信ケーブル６を介してビデオプロセッサ４へ送信する。上述した明暗補正部３１は、受信した照明光の光量調節情報に基づき、水平ライン毎の露光時の照明光の光量の相違に基づく画像の明るさの相違を補正する。

次に、図２はＣＭＯＳ１４の露光タイミングと光源装置３の調光動作とを示すタイミングチャートである。

ＣＭＯＳ１４は、各画素を水平ライン毎に順にリセットすること（リセットタイミングＲＳＴ）により露光が開始され、所定の露光期間（図２に示す（Ｔｒ＋Ｔａ））が経過した水平ラインから画素データを順に読み出すこと（読出タイミングＲＤ）により露光が終了する。

なお、露光期間（Ｔｒ＋Ｔａ）は、１フレーム期間Ｔｆｌと等しいか、それよりも短い期間（図２に示した例は、１フレーム期間Ｔｆｌよりもやや短い期間）となっている。

そして、ビデオプロセッサ４は、上述したように、露光期間（Ｔｒ＋Ｔａ）が全水平ラインの読出に要する期間Ｔｒよりも長くなるように制御しているために、全水平ラインが同時に露光される全ライン露光期間Ｔａは正（Ｔａ＞０）である。これにより、最初に露光が開始された水平ラインの読み出しが開始される前に、最後の水平ラインの露光が開始されることになる。そして、少なくとも１つの水平ラインが露光されているが全ライン露光期間Ｔａではない期間（例えば、上記期間Ｔｒ）は、非全ライン露光期間である。

ビデオプロセッサ４は、全ライン露光期間Ｔａにおいて例えばハイレベルとなり、全ライン露光期間Ｔａ以外の期間において例えばローレベルとなる信号を、上述した全ライン露光信号として生成して、光源装置３の制御部２１へ送信する。

また、ビデオプロセッサ４は、絞り制御信号（例えば、照明光の光量を現状に維持する信号、あるいは照明光の光量を現状からどれだけ減少させるかを示す信号、さらにあるいは照明光の光量を現状からどれだけ増加させるかを示す信号等）を生成して、図２に示すように、例えば全ライン露光期間Ｔａが開始されてから幾らかの時間が経過した時点で制御部２１へ送信する。

光源装置３は、ビデオプロセッサから全ライン露光信号および絞り制御信号を受けて、照明光の光量調節（調光）を行う。この調光について、図３も参照して説明する。図３は各調光モードにおける電流制御およびパルス幅制御の様子を示す線図である。

まず、上述した図２に示す調光の例は、最大光量で照明を行っている時点（最大調光モードの時点）から、光量を徐々に減少させていくときの様子を示している。

最大調光モードのときには、図３に示すように、全ライン露光期間Ｔａ中の第１期間Ｔ１に印加する電流ＡＩも、第１期間Ｔ１以外の全ライン露光期間Ｔａおよび非全ライン露光期間Ｔｒでなる第２期間Ｔ２に印加する電流ＮＡＩも共に、電流Ｉとして供給し得る最大電流（最大定格電流）Ｉｍａｘである。

この最大調光モードから照明光の光量を減少させると、まず、第１調光モードに入る。この第１調光モードは、第１期間Ｔ１に印加する電流ＡＩを最大電流Ｉｍａｘに維持したまま（すなわち、全ライン露光期間Ｔａ中の第１期間Ｔ１における照明光の光量を所定のレベルに維持しながら）、第２期間Ｔ２に印加する電流ＮＡＩだけを目標とする光量に近付くように直前の第２期間Ｔ２に比して増減する（ただし、１つの第２期間Ｔ２内においては、電流ＮＡＩを変化させることなく一定値に維持する）モードである（なお、ここでいう「増減」は、現状維持、すなわち０増加、あるいは０減少も含むものとする、以下同様）。すなわち、第１調光モードは、第２期間Ｔ２に光源である白色ＬＥＤ２３へ供給する単位時間当たりの電力量を、制御部２１がＬＥＤ駆動部２２に調整させることにより、照明光の光量を直前の第２期間Ｔ２に比して増減させるモードである。これにより、第２期間Ｔ２中における照明光の光量（例えば、矢印ＣＩ２参照）は、直前の第２期間Ｔ２における照明光の光量（矢印ＣＩ１参照）に比して増減されることになる。

なお、図２に示す例においては、タイミング制御のズレ等を考慮して余裕を持たせるために、第１期間Ｔ１を全ライン露光期間Ｔａの全期間よりも開始時点側および終了時点側にやや短くしているが、タイミング制御のズレを考慮しなくても良いのであれば、第１期間Ｔ１を全ライン露光期間Ｔａに一致させると良い。

この第１調光モードは、第２期間Ｔ２に印加する電流ＮＡＩが０になった時点（図２における矢印ＣＩ２参照）で終了し、さらに照明光の光量を減少させると、次に、第２調光モードに入る。この第２調光モードは、第２期間Ｔ２に印加する電流ＮＡＩを０に維持したまま（すなわち、第２期間Ｔ２中における照明光の光量をゼロに維持したまま）、第１期間Ｔ１に印加する電流ＡＩを直前の第１期間Ｔ１に比して増減させる電流制御（図２における矢印ＣＩ３参照）と（ただし、１つの第１期間Ｔ１内においては、電流ＡＩを変化させることなく一定値に維持する）、第１期間Ｔ１中の電流ＡＩの印加期間を直前の第１期間Ｔ１に比して増減させるパルス幅制御（ＰＷＭ制御）（図２における矢印ＰＷＭ参照）と、を併用するモードである。すなわち、第２調光モードは、第１期間Ｔ１に光源である白色ＬＥＤ２３へ供給する単位時間当たりの電力量の調整と、第１期間Ｔ１内における電力供給期間（パルス幅）の調整とを併用して、制御部２１がＬＥＤ駆動部２２に行わせるモードである。従って、この第２調光モードでは、第１期間Ｔ１中における照明光の光量が、第１調光モードにおける所定のレベル（最大電流Ｉｍａｘが印加されたときの光量）以下の範囲で直前の第１期間Ｔ１に比して増減されることになる。

図３に示す例では、この第２調光モードに入ると、ＰＷＭ制御におけるパルス幅（電力供給期間）ＡＰＷを最大パルス幅ＡＰＷｍａｘ（この最大パルス幅ＡＰＷｍａｘは、第１期間Ｔ１の全部に対応するパルス幅である）に維持したまま、まず電流制御のみを行う。この電流制御は、電流ＡＩが最小電流Ｉｍｉｎに到達したところで停止し、続いてＰＷＭ制御に移行する。このＰＷＭ制御は、第１期間Ｔ１における電流ＡＩのパルス幅ＡＰＷを、最大パルス幅ＡＰＷｍａｘと最小パルス幅（例えばパルス幅０）との間で制御することにより行われる。

なお、図３に示す例においては、第１調光モードから第２調光モードに入ったときに、まず電流制御を優先して行い、電流制御による調整範囲の限界に達したところでＰＷＭ制御に移行するようにしたが、これに限るものではない。例えば、ＰＷＭ制御を優先して行い、その後に電流制御に移行するようにしても良いし、ＰＷＭ制御と電流制御とを同時並行的に行うようにしても構わない。また、ＰＷＭ制御と電流制御とは、ステップ幅をもった段階的なレベル調整により行うようにしても良いことは言うまでもない。

また、電流制御においては最小電流Ｉｍｉｎを非ゼロとし、ＰＷＭ制御においては最小パルス幅をゼロとしたが、これに限るものでもない。すなわち、最小電流Ｉｍｉｎをゼロとしても良いし、ＰＷＭ制御における最小パルス幅を非ゼロとしても構わない。そして、最小電流Ｉｍｉｎのゼロ／非ゼロと、最小パルス幅のゼロ／非ゼロとは、任意に組み合わせ可能である。

次に、図４は光源装置３の制御部２１による調光制御の処理を示すフローチャートである。

この調光制御の処理を開始すると、制御部２１は、ビデオプロセッサ４から受信した絞り制御信号に基づき、光量を減少させることが必要であるか否かを判定する（ステップＳ１）。

ここで、光量を減少させることが必要であると判定した場合には、制御部２１は、図５に示す光量減少処理を行う（ステップＳ２）。

この光量減少処理が終了するか、またはステップＳ１において光量を減少させることは不要であると判定した場合には、制御部２１は、光量を増加させることが必要であるか否かを判定する（ステップＳ３）。

ここで、光量を増加させることが必要であると判定した場合には、制御部２１は、図６に示す光量増加処理を行う（ステップＳ４）。

この光量増加処理が終了するか、またはステップＳ３において光量を増加させることは不要であると判定した場合には、この調光制御の処理を終了して、図示しないメインルーチン等へ復帰する。

続いて、図５は図４のステップＳ２における光量減少処理の詳細を示すフローチャートである。

この光量減少処理に入ると、制御部２１は、現在、最大調光モードであるか否かを判定する（ステップＳ１１）。

ここで、現在最大調光モードであると判定した場合には、制御部２１は、ＬＥＤ駆動部２２を介して、白色ＬＥＤ２３を最大電流ＩｍａｘでＣＷ（Continuous Wave：無変調連続波）点灯する（ステップＳ１２）。

また、ステップＳ１１において現在最大調光モードでないと判定した場合には、制御部２１はさらに、現在、第１調光モードであるか否かを判定する（ステップＳ１３）。

上述したステップＳ１２の処理が終了するか、またはステップＳ１３において現在第１調光モードであると判定した場合には、制御部２１は、第２期間Ｔ２のみ電流ＮＡＩを減少させる第１調光モードの処理を行う（ステップＳ１４）。

その後、制御部２１は、目標光量に達したか否かを判定する（ステップＳ１５）。

ここで、目標光量に達していないと判定した場合には、制御部２１は、第２期間Ｔ２の電流ＮＡＩが０になったか否かを判定する（ステップＳ１６）。

ここで、電流ＮＡＩがまだ０になっていないと判定した場合には、制御部２１は、ステップＳ１４へ戻って引き続き第１調光モードの処理を行う。

一方、ステップＳ１６において電流ＮＡＩが０になったと判定した場合、または上述したステップＳ１３において現在第１調光モードでないと判定した場合には、第１期間Ｔ１内の電流制御とＰＷＭ制御とを併用して光量を減少させる第２調光モードの処理を行う（ステップＳ１７）。

その後、制御部２１は、目標光量に達したか否かを判定する（ステップＳ１８）。

ここで、目標光量に達していないと判定した場合には、制御部２１は、ステップＳ１７へ戻って引き続き第２調光モードの処理を行う。

また、ステップＳ１５あるいはステップＳ１８において目標光量に達したと判定した場合には、この光量減少処理から図４に示した調光制御の処理へリターンする。

さらに、図６は図４のステップＳ４における光量増加処理の詳細を示すフローチャートである。

この光量増加処理に入ると、制御部２１は、現在、第２調光モードであるか否かを判定する（ステップＳ２１）。

ここで、現在第２調光モードであると判定した場合には、制御部２１は、第１期間Ｔ１内の電流制御とＰＷＭ制御とを併用して光量を増加させる第２調光モードの処理を行う（ステップＳ２２）。

続いて、制御部２１は、目標光量に達したか否かを判定する（ステップＳ２３）。

ここで、目標光量に達していないと判定した場合には、制御部２１は、第１期間Ｔ１の電流ＡＩが最大電流Ｉｍａｘ、かつＰＷＭ制御におけるパルス幅が最大パルス幅ＡＰＷｍａｘであるか否かを判定する（ステップＳ２４）。

このステップＳ２４において、電流ＡＩが最大電流Ｉｍａｘでないか、またはパルス幅が最大値でないと判定した場合には、制御部２１は、ステップＳ２２へ戻って引き続き第２調光モードの処理を行う。

また、上述したステップＳ２１において現在第２調光モードでないと判定した場合には、制御部２１はさらに、現在、第１調光モードであるか否かを判定する（ステップＳ２５）。

そして、ステップＳ２４において電流ＡＩが最大電流Ｉｍａｘであり、かつパルス幅が最大値であると判定した場合、またはステップＳ２５において現在第１調光モードであると判定した場合には、制御部２１は、第２期間Ｔ２のみ電流ＮＡＩを増加させる第１調光モードの処理を行う（ステップＳ２６）。

その後、制御部２１は、目標光量に達したか否かを判定する（ステップＳ２７）。

ここで、目標光量に達していないと判定した場合には、制御部２１はさらに、最大調光モードに達したか否かを判定する（ステップＳ２８）。

最大調光モードに達していないと判定した場合には、制御部２１は、ステップＳ２６へ戻って引き続き第１調光モードの処理を行う。

こうして、ステップＳ２３あるいはステップＳ２７において目標光量に達したと判定した場合、ステップＳ２８において最大調光モードに達したと判定した場合、またはステップＳ２５において現在第１調光モードでない（つまり最大調光モードである）と判定した場合には、この光量増加処理から図４に示した調光制御の処理へリターンする。

このような処理により得られる画像における明暗は、次のようになる。

まず、最大調光モードの照明下で露光して得られた画像は、最大電流Ｉｍａｘの連続的な印加により、連続的な最大光量で照明された被写体の画像となるために、環境光（自然光など）の影響を除外すれば（以下同様）、明暗縞やグラデーション等が発生することはない。

また、第２調光モードの照明下で露光して得られた画像は、全ライン露光期間Ｔａ内における第１期間Ｔ１のみにおいて照明された被写体の画像となるために、同様に、明暗縞やグラデーション等が発生することはない。

一方、第１調光モードの照明下で露光して得られた画像は、第１期間Ｔ１に被写体に照射される照明光量は何れの水平ラインであっても一定であるが、第１期間Ｔ１の前後の第２期間Ｔ２における照明光量が異なるために、この第１期間Ｔ１の直前の第２期間Ｔ２の照明光量と直後の第２期間Ｔ２の照明光量とがどのようなバランスで照射された被写体を露光した水平ラインであるかに応じて、グラデーションが生じることになる（ただし、明確な明暗縞が発生することはない）。

具体的に、図２において、直前の第２期間Ｔ２の照明光量が矢印ＣＩ１で示す照明光、直後の第２期間Ｔ２の照明光量が矢印ＣＩ２で示す照明光となる場合には、最も上の水平ラインに対応する照明光量が最も多く、下へ行くにつれて照明光量が徐々に減少し、最も下の水平ラインに対応する照明光量が最も少なくなる。従って、画像の上側が明るめ、下側が暗めの緩やかなグラデーションが生じる。

このグラデーションは、調光を例えば１０Ｈｚ程度の周期の変化速度で行えば、実使用上、ほとんど違和感を感じないレベルとすることができる（このような調光を行うのであれば、明暗補正部３１を省略することも可能である）。

しかし、より厳密にグラデーションを除去したい場合、あるいは調光を１０Ｈｚ程度よりも短い周期の変化速度で行う場合に、グラデーションを補正する処理を行うのがビデオプロセッサ４内に設けた明暗補正部３１である。

すなわち、明暗補正部３１は、制御部２１から取得した照明光の光量調節情報に基づいて、第１調光モードの照明下で露光して得られた画像に対して発生する上述したようなグラデーションを、例えば水平ライン毎にゲイン調整して相殺するような補正処理（すなわち、各水平ラインに対応する照明光の光量が同一であるときの画像に近付けるような補正処理）を行う。

なお、明暗補正部３１は、制御部２１から照明光の光量調節情報を取得して補正処理を行うに限るものではく、ビデオプロセッサ４から制御部２１へ送信する絞り制御信号に基づいて１画像中において発生するグラデーションを予測して、補正処理を行うようにしても良い。この場合には、制御部２１からの調光結果の通信を待つ必要がないために、より速く処理結果を得る（つまり、より速い調光応答性を得る）ことが可能となる。

このような実施形態１によれば、水平ライン毎に順次露光を行う撮像素子を用いる撮像システムにおいて、照明光量に応じて複数の調光モードに分けて上述したような調光制御を行うことにより、画像の明暗縞を抑制しながら、広いダイナミックレンジの調光（光量絞り込み）を行うことが可能となる。具体的には、第１調光モードでの調光制御を行うことにより、最大調光モードでの調光に漸近する調光が可能となり、最大光量を確保しながら画像の明暗縞を抑制することができる。さらに、第２調光モードでの調光制御を行うことにより、広いダイナミックレンジ（例えば、最小光量が、最大光量の例えば数千分の一程度）の調光を行うことが可能となる。

また、第２調光モードは、全ライン露光期間Ｔａ内における第１期間Ｔ１の発光光量のみを制御するモードであるために、明暗縞が発生することはなく、高い自由度で制御を行うことができる。

さらに、緩やかなグラデーションが発生する可能性のある第１調光モードの場合であっても、第１期間Ｔ１は所定レベルの光量（例えば最大光量）で点灯している（すなわち、画像全体の明るさが比較的明るい）ために、第２期間Ｔ２の照明光量が水平ライン毎に幾らか変化したとしても明るさに対するその寄与度は低く、グラデーションがより一層目立たなくなる利点がある。

従って、第１調光モードにおいて、第１期間Ｔ１中に維持する照明光の光量の所定レベルは、最大電流Ｉｍａｘが印加されたときの光量レベルであることが望ましいが、これに限らず、最大電流Ｉｍａｘよりも幾らか低い電流が印加されたときの光量レベルとしても構わない。

なお、上述では主として撮像システムについて説明したが、撮像システムを上述したように制御して撮像を行う撮像方法であっても良いし、コンピュータに撮像システムを上述したように制御させるための制御プログラム、該制御プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１２年４月１６日に日本国に出願された特願２０１２−０９３１４４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (6)

1. 光電変換を行う複数の画素が水平ライン単位で２次元状に配列された撮像素子と、
   全水平ラインの読み出しに要する期間よりも所定の露光期間が長くなるように設定して、前記撮像素子の露光を前記水平ライン毎に順次開始させ、最後の水平ラインの露光を開始させた後に、露光開始から前記所定の露光期間が経過した水平ライン毎に順次読出を行わせることにより、前記全水平ラインが同時に露光される全ライン露光期間と、何れかの水平ラインが露光される期間における前記全ライン露光期間以外の非全ライン露光期間と、が生じるように制御する撮像制御部と、
   前記撮像素子による撮像の対象である被写体へ出射する照明光を発光する光源と、
   前記光源を、前記照明光の光量を調節可能に駆動する光源駆動部と、
   第１調光モードにおいて、前記全ライン露光期間中の第１期間における前記照明光の光量を所定のレベルに維持しながら、前記第１期間以外の前記全ライン露光期間および前記非全ライン露光期間でなる第２期間中における前記照明光の光量を直前の第２期間に比して増減させるように前記光源駆動部を制御する調光制御部と、
   を具備したことを特徴とする撮像システム。
2. 前記調光制御部は、さらに、前記第２期間中における前記照明光の光量がゼロとなった第２調光モードにおいて、前記第１期間中における前記照明光の光量を、前記所定のレベル以下の範囲で直前の第１期間に比して増減させるように前記光源駆動部を制御することを特徴とする請求項１に記載の撮像システム。
3. 前記調光制御部は、前記第１調光モードにおいては、前記第２期間に前記光源へ供給する単位時間当たりの電力量を前記光源駆動部に調整させることにより、前記照明光の光量を直前の第２期間に比して増減させるように制御し、前記第２調光モードにおいては、前記第１期間に前記光源へ供給する単位時間当たりの電力量の調整と、該第１期間内における電力供給期間の調整と、を併用して前記光源駆動部に行わせることにより、前記照明光の光量を、前記所定のレベル以下の範囲で直前の第１期間に比して増減させるように制御することを特徴とする請求項２に記載の撮像システム。
4. 前記第１調光モードの照明下で前記撮像素子により露光して得られた画像を、該画像を露光したときの各水平ラインに対応する前記照明光の光量に基づいて、各水平ラインに対応する前記照明光の光量が同一であるときの画像に近付けるように補正する明暗補正部をさらに具備したことを特徴とする請求項１に記載の撮像システム。
5. 前記第１期間は、前記全ライン露光期間と等しいことを特徴とする請求項１に記載の撮像システム。
6. 光電変換を行う複数の画素が水平ライン単位で２次元状に配列された撮像素子の撮像制御に際して、全水平ラインの読み出しに要する期間よりも所定の露光期間が長くなるように設定し、
   前記撮像素子による撮像の対象である被写体へ出射する照明光を光源から発光し、
   前記撮像素子の露光を前記水平ライン毎に順次開始し、
   最後の水平ラインの露光を開始した後に、露光開始から前記所定の露光期間が経過した水平ライン毎に順次読出を行い、
   第１調光モードにおいて、前記全水平ラインが同時に露光される全ライン露光期間中の第１期間における前記照明光の光量を所定のレベルに維持しながら、何れかの水平ラインが露光される期間における前記全ライン露光期間以外の非全ライン露光期間および前記第１期間以外の前記全ライン露光期間でなる第２期間中における前記照明光の光量を直前の第２期間に比して増減する
   ことを特徴とする撮像方法。

Images