JP2012095828A - 撮像装置、内視鏡装置及び画像生成方法 - Google Patents

Abstract

【課題】被写界深度とダイナミックレンジが拡大された画像を生成可能な撮像装置、内視鏡装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、画像取得部と、露光量調整部２４０と、合成画像生成部を含む。画像取得部は、近点被写体にピントが合った近点画像と、近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得する。露光量調整部２４０は、遠点画像の露光量に対する近点画像の露光量の比率を調整する。合成画像生成部は、比率が調整された露光量により取得された近点画像と遠点画像に基づいて合成画像を生成する。
【選択図】図１

Description

本発明は、撮像装置、内視鏡装置及び画像生成方法等に関する。

内視鏡等の撮像装置では、ドクターの診断に支障をきたさないようにするために、パンフォーカス（deep focus）の画像が求められる。このため、内視鏡等の撮像装置では、比較的Ｆナンバーが大きい光学系を使用して被写界深度を深くすることで、パンフォーカスの性能を達成している。

特開２０００−２７６１２１号公報 特開平５−６４０７５号公報

近年、内視鏡システムにおいても、数十万画素程度の高画素の撮像素子が使用されるようになっている。撮像装置の被写界深度は許容錯乱円の大きさによって決定されるが、高画素の撮像素子では、画素ピッチが小さくなるに従って許容錯乱円も小さくなるため撮像装置の被写界深度は狭くなる。この場合、光学系の絞りをさらに小さくし、光学系のＦナンバーを増大させることで被写界深度を維持する手法が考えられる。

しかしながら、この手法では、光学系が暗くなるとノイズが増加するため画質が劣化してしまう。また、Ｆナンバーが大きくなると回折の影響が大きくなり、結像性能が劣化する。そのため、撮像素子を高画素化しても高い解像力の画像が得られなくなってしまう。このような場合に被写界深度を拡大する技術として、例えばピント位置の異なる複数枚の画像を取得し、画像のピントが合っている部分だけを合成して被写界深度が拡大された合成画像を生成する手法が知られている（例えば特許文献１）。

また、高画素の撮像素子では、画素ピッチが小さくなるに従って画素の飽和レベルも小さくなる。そのため、撮像素子のダイナミックレンジが小さくなり、画像内に含まれる明部と暗部の輝度差が大きい場合に両部を適切な露出で撮影することが困難になってしまう。このような場合にダイナミックレンジを拡大する技術として、例えば露光量の異なる複数枚の画像を取得し、適切な露出が得られている部分だけを合成してダイナミックレンジが拡大された合成画像を生成する手法が知られている（例えば特許文献２）。

さて、内視鏡装置等の撮像装置では、パンフォーカスと適切な露出での観察を可能にするために、被写界深度とダイナミックレンジの両方を拡大するという課題がある。例えば、ピント位置と露光量の両方を変化させて取得された複数枚の画像を入力画像群とし、その入力画像群から、被写界深度とダイナミックレンジの両方が拡大された合成画像を生成する場合を考える。このような合成画像を生成するためには、入力画像群は、少なくとも被写体の一部に対してピントと露出が適切な状態で取得されている画像の集合となる必要がある。しかしながら、このような入力画像群の取得方法や、取得した入力画像群を用いた合成画像の生成方法については、上述の手法では説明されていない。

本発明の幾つかの態様によれば、被写界深度とダイナミックレンジが拡大された画像を生成可能な撮像装置、内視鏡装置及び画像生成方法等を提供できる。

本発明の一態様は、近点被写体にピントが合った近点画像と、前記近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得する画像取得部と、前記遠点画像の露光量に対する前記近点画像の露光量の比率を調整する露光量調整部と、前記近点画像と前記遠点画像に基づいて合成画像を生成する合成画像生成部と、を含み、前記合成画像生成部は、前記比率が調整された露光量により取得された前記近点画像と前記遠点画像に基づいて前記合成画像を生成する撮像装置に関係する。

本発明の一態様によれば、遠点画像の露光量に対する近点画像の露光量の比率が調整され、その露光量の比率が調整された近点画像と遠点画像が取得され、その取得された近点画像と遠点画像に基づいて合成画像が生成される。これにより、被写界深度とダイナミックレンジが拡大された合成画像を生成可能になる。

また、本発明の他の態様は、近点被写体にピントが合った近点画像と、前記近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得する画像取得部と、前記遠点画像の露光量に対する前記近点画像の露光量の比率を調整する露光量調整部と、前記近点画像と前記遠点画像に基づいて合成画像を生成する合成画像生成部と、を含み、前記合成画像生成部は、前記比率が調整された露光量により取得された前記近点画像と前記遠点画像に基づいて前記合成画像を生成する内視鏡装置に関係する。

また、本発明のさらに他の態様は、近点被写体にピントが合った近点画像と、前記近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得し、前記遠点画像の露光量に対する前記近点画像の露光量の比率を調整し、前記近点画像と前記遠点画像に基づいて合成画像を生成する場合に、前記比率が調整された露光量により取得された前記近点画像と前記遠点画像に基づいて前記合成画像を生成する画像生成方法に関係する。

内視鏡システムの第１の構成例。 ベイヤ配列の色フィルタの例。 図３（Ａ）は、近点画像の被写界深度についての説明図である。図３（Ｂ）は、遠点画像の被写界深度についての説明図。 画像処理部の詳細な構成例。 合成画像生成部の詳細な構成例。 鮮鋭度算出処理における局所領域の設定例。 通常観察状態についての説明図。 図８（Ａ）は、通常観察状態で取得される近点画像の模式図である。図８（Ｂ）は、通常観察状態で取得される遠点画像の模式図である。図８（Ｃ）は、通常観察状態における合成画像の模式図である。 内視鏡システムの第２の構成例。 拡大観察状態についての説明図。 図１１（Ａ）は、α＝０．５の場合に拡大観察状態で取得される近点画像の模式図である。図１１（Ｂ）は、α＝０．５の場合に拡大観察状態で取得される遠点画像の模式図である。図１１（Ｃ）は、α＝０．５の場合に拡大観察状態における合成画像の模式図である。 図１２（Ａ）は、α＝１の場合に拡大観察状態で取得される近点画像の模式図である。図１２（Ｂ）は、α＝１の場合に拡大観察状態で取得される遠点画像の模式図である。図１２（Ｃ）は、α＝１の場合に拡大観察状態における合成画像の模式図である。 内視鏡システムの第３の構成例。 合成画像生成部の第２の詳細な構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
まず、図７と図８（Ａ）〜図８（Ｃ）を用いて、本実施形態の概要について説明する。図７に示すように、消化管の内壁を被写体として内視鏡により撮像する場合、消化管の内壁を照明して撮影を行う。そのため、撮像部から遠い被写体ほど暗く写り、被写体の視認性が劣化する場合がある。例えば、撮像部に近い被写体は露出オーバーとなって白飛びしたり、撮像部から遠い被写体は露出アンダーとなってＳ／Ｎが悪化してしまう。

また、視認性を劣化させる原因として、パンフォーカスが得られない場合が考えられる。パンフォーカスは、画像全体でピントが合っている状態のことである。例えば、撮像素子の高画素化による画素ピッチの減少や回折限界などによって高いＦナンバーが実現できない場合、撮像部の被写界深度が狭くなる。被写界深度が狭くなると、撮像部から近い被写体や遠い被写体がピンぼけになり、画像の一部でしかピントが合っていない状態になってしまう。

このように、撮像部に近い被写体から遠い被写体まで視認性を向上するためには、適切な露出を得られる範囲であるダイナミックレンジを広げ、被写体にピントが合っている範囲である被写界深度を広げる必要がある。

そこで本実施形態では、図７に示すように、被写界深度ＤＦ１でピントが合っている近点画像と、被写界深度ＤＦ２でピントが合っている遠点画像を撮影する。このとき、撮像部から近いほど明るく照明されるため、被写界深度ＤＦ２よりもＤＦ１の方が明るく撮像される。図８（Ａ）に示すように、近点画像では、ピントが合った被写界深度ＤＦ１に対応する領域１を適正露出で撮像する。一方、図８（Ｂ）に示すように、遠点画像では、ピントが合った被写界深度ＤＦ２に対応する領域２を適正露出で撮像する。この露出調整は、近点画像を遠点画像よりも小さい露光量で撮像することで行う。そして、図８（Ｃ）に示すように、近点画像の領域１と遠点画像の領域２を合成することで、被写界深度とダイナミックレンジが拡大された合成画像を生成する。

２．内視鏡システム
以下では、上記の本実施形態について詳細に説明する。図１に、内視鏡システムの第１の構成例を示す。内視鏡システム（内視鏡装置）は、光源部１００と、撮像部２００と、制御装置３００（処理部）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。

光源部１００は、白色光を発生する白色光源１１０と、その白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を有する。

撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被写体に照射する照明レンズ２２０を有する。また撮像部２００は、被写体から戻る反射光を集光する対物レンズ２３０と、集光した反射光を分割する露光量調整部２４０と、第１撮像素子２５０と、第２撮像素子２６０を有する。

第１撮像素子２５０と第２撮像素子２６０は、図２に示すように、ベイヤ配列の色フィルタを持つ撮像素子である。ここで、色フィルタＧｒと色フィルタＧｂは、同じ分光特性である。露光量調整部２４０は、第１撮像素子２５０と第２撮像素子２６０により取得される画像の露光量を調整する。具体的には、露光量調整部２４０は、第２撮像素子２６０の露光量に対する第１撮像素子２５０の露光量の比率が所定の値αとなるように反射光を分割する。例えば、露光量調整部２４０はビームスプリッター（広義には分割部）であり、α＝０．５となるように被写体からの反射光を分割する。なお、αの値は０．５に限らず、任意の値に設定可能であることは言うまでもない。

制御装置３００（処理部）は、内視鏡システムの各構成要素の制御や画像処理を行う。制御装置３００は、Ａ／Ｄ変換部３１０，３２０と、近点画像記憶部３３０と、遠点画像記憶部３４０と、画像処理部６００と、制御部３６０を有する。

Ａ／Ｄ変換部３１０，３２０は、それぞれ第１撮像素子２５０と第２撮像素子２６０から出力されるアナログ信号を、デジタル信号に変換して出力する。近点画像記憶部３３０は、Ａ／Ｄ変換部３１０から出力されたデジタル信号を近点画像として記憶する。遠点画像記憶部３４０は、Ａ／Ｄ変換部３２０から出力されたデジタル信号を遠点画像として記憶する。画像処理部６００は、記憶された近点画像と遠点画像から表示用の画像を生成し、表示部４００に出力する。画像処理部６００の詳細については後述する。表示部４００は、例えば液晶モニタ等の表示装置であり、画像処理部６００から出力される画像を表示する。制御部３６０は、近点画像記憶部３３０、遠点画像記憶部３４０、画像処理部６００と双方向に接続されており、これらの制御を行う。

外部Ｉ／Ｆ部５００は、内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを有する。外部Ｉ／Ｆ部５００は、ユーザーから入力された情報を制御部３６０に出力する。

次に、図３（Ａ）、図３（Ｂ）を用いて、第１撮像素子２５０と第２撮像素子２６０で取得される画像の被写界深度について説明する。図３（Ａ）に示すように、Ｚｎ’は、対物レンズ２３０の後側焦点位置から第１撮像素子２５０までの距離である。図３（Ｂ）に示すように、Ｚｆ’は、対物レンズ２３０の後側焦点位置から第２撮像素子２６０までの距離である。本実施形態では、第１撮像素子２５０と第２撮像素子２６０は、露光量調整部２４０を介して例えばＺｎ’＞Ｚｆ’で配置されている。そのため、第１撮像素子２５０で取得される近点画像の被写界深度範囲ＤＦ１は、第２撮像素子２６０で取得される遠点画像の被写界深度範囲ＤＦ２に比較して対物レンズ２３０に近い範囲となる。Ｚｎ’とＺｆ’の値を調整することで、それぞれの画像の被写界深度の範囲を調整できる。

３．画像処理部
次に、被写界深度とダイナミックレンジが拡大された合成画像を出力する画像処理部６００について詳細に説明する。図４に、画像処理部６００の詳細な構成例を示す。画像処理部６００は、画像取得部６１０と、前処理部６２０と、合成画像生成部６３０と、後処理部６４０を有する。

画像取得部６１０は、近点画像記憶部３３０に記憶された近点画像と、遠点画像記憶部３４０に記憶された遠点画像を読み出して、近点画像と遠点画像を取得する。前処理部６２０は、取得された近点画像と遠点画像のそれぞれに対して、例えばＯＢ処理やホワイトバランス処理、デモザイク処理、色変換処理等の前処理を行い、前処理後の近点画像と遠点画像を合成画像生成部６３０に対して出力する。なお、前処理部６２０は、必要に応じて歪曲収差や倍率色収差といった光学収差の補正処理やノイズ低減処理等を行ってもよい。

合成画像生成部６３０は、前処理部６２０から出力された近点画像と遠点画像を用いて、被写界深度が拡大された１枚の合成画像を生成し、その合成画像を後処理部６４０に対して出力する。後処理部６４０は、合成画像生成部６３０から出力された合成画像に対して、例えば階調変換処理やエッジ強調処理、拡縮処理等の処理を行い、処理後の合成画像を表示部４００に対して出力する。

４．合成画像生成部
図５に、合成画像生成部６３０の詳細な構成例を示す。合成画像生成部６３０は、鮮鋭度算出部６３１と、画素値決定部６３２を有する。なお以下では、合成画像生成部６３０に入力される近点画像をＩｎとし、遠点画像をＩｆとする。また、合成画像生成部６３０から出力される合成画像をＩｃとする。

鮮鋭度算出部６３１は、前処理部６２０から出力された近点画像Ｉｎと遠点画像Ｉｆの鮮鋭度を算出する。具体的には、鮮鋭度算出部６３１は、近点画像Ｉｎの座標（ｘ，ｙ）に位置する処理対象画素Ｉｎ（ｘ，ｙ）（注目画素）の鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ）と、遠点画像Ｉｆの座標（ｘ，ｙ）に位置する処理対象画素Ｉｆ（ｘ，ｙ）の鮮鋭度Ｓ＿Ｉｆ（ｘ，ｙ）を算出する。そして、鮮鋭度算出部６３１は、処理対象画素の画素値Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）と、算出した鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）を、画素値決定部６３２に対して出力する。

例えば、鮮鋭度算出部６３１は、処理対象画素とその任意の周辺画素との勾配を鮮鋭度として算出する。また、鮮鋭度算出部６３１は、任意のＨＰＦ（ハイパスフィルタ）を用いてフィルタ処理を行い、処理対象画素の位置における出力値の絶対値を鮮鋭度として算出してもよい。

また、図６に示すように、鮮鋭度算出部６３１は、処理対象画素Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）に対して、例えば座標（ｘ，ｙ）を中心とした５×５画素の領域をそれぞれの画像の局所領域として設定し、この局所領域全体の画素値を用いて処理対象画素の鮮鋭度を算出してもよい。この場合に鮮鋭度を算出する手法として、例えば処理対象画素Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）に対して設定した局所領域のすべての画素に対して、Ｇチャンネルの画素値を用いて上下左右に隣接する４画素との勾配Δｕ，Δｄ，Δｌ，Δｒを算出する。そして、局所領域のすべての画素における４方向の勾配の平均値Δａｖｅ＿Ｉｎ，Δａｖｅ＿Ｉｆを算出し、これらを処理対象画素の鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）とする。また、上記の局所領域を設定した場合に鮮鋭度を算出する他の手法として、例えば局所領域のすべての画素に対して任意のＨＰＦを用いてフィルタ処理を行い、その出力値の絶対値の平均値を鮮鋭度として算出してもよい。

図５に示す画素値決定部６３２は、鮮鋭度算出部６３１から出力された処理対象画素の画素値Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）と、鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）から、例えば下式（１）を用いて合成画像の画素値を決定する。
Ｓ＿Ｉｎ（ｘ，ｙ）≧Ｓ＿Ｉｆ（ｘ，ｙ）の場合
Ｉｃ（ｘ，ｙ）＝Ｉｎ（ｘ，ｙ），
Ｓ＿Ｉｎ（ｘ，ｙ）＜Ｓ＿Ｉｆ（ｘ，ｙ）の場合
Ｉｃ（ｘ，ｙ）＝Ｉｆ（ｘ，ｙ） ・・・ （１）

鮮鋭度算出部６３１と画素値決定部６３２は、処理対象画素の座標（ｘ，ｙ）を順次移動し、画像上のすべての画素に対して上記処理を行うことで、合成画像Ｉｃを生成する。そして、画素値決定部６３２は、生成した合成画像Ｉｃを後処理部６４０に対して出力する。

次に、図７〜図８（Ｃ）を用いて、画素値決定部６３２で生成される合成画像について説明する。図７に、本実施形態の内視鏡システムにおける消化管の通常観察状態を示す。また、図８（Ａ）、図８（Ｂ）に、通常観察状態で取得される近点画像と遠点画像を模式的に示し、図８（Ｃ）に、合成画像を模式的に示す。

図８（Ａ）に示すように、近点画像では、領域１で示される画像の周辺の領域ではピントが合っており、領域２で示される画像の中心の領域ではピントがボケている。一方、図８（Ｂ）に示すように、遠点画像では、領域１で示される画像の周辺の領域ではピントがボケており、領域２で示される画像の中心の領域ではピントが合っている。領域１は、図７に示す被写界深度ＤＦ１に対応する領域であり、被写体が撮像部に対して近い位置にある領域である。また、領域２は、図７に示す被写界深度ＤＦ２に対応する領域であり、被写体が撮像部に対して遠い位置にある領域である。

上述のように、近点画像を取得する第１撮像素子２５０の露光量は、遠点画像を取得する第２撮像素子２６０の露光量の半分（α＝０．５）となるように露光量が調整されている。そのため図８（Ａ）に示すように、近点画像は遠点画像に比べて露光量が比較的小さくなり、領域１で示される画像の周辺の領域では適切な明るさが得られるが、領域２で示される画像の中心の領域では露光量が足りず、黒くつぶれたような画像となる。一方図８（Ｂ）に示すように、遠点画像は露光量が比較的大きいため、領域１で示される画像の周辺の領域では露光量が多すぎて白トビしている画像となるが、領域２で示される画像の中心の領域では適切な明るさが得られた画像となる。

この結果、図８（Ｃ）に示すように、近点画像と遠点画像のピントが合っている部分を合成することで、画像全体で適切な明るさが得られることになる。このようにして、被写界深度とダイナミックレンジの両方が拡大された合成画像を生成することができる。

次に、合成画像の画素値を算出する手法の第１の変形例について説明する。図７に示すように、被写体が撮像部に近い位置から遠い位置まで連続的に変化する場合、Ｘで表す被写界深度の境界付近（合成画像の領域１と領域２の境界付近）において、合成画像に不連続な明るさの変化が発生する可能性がある。このような場合、画素値決定部６３２は、近点画像と遠点画像の鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）を用いて、例えば下式（２）を用いて合成画像の画素値を算出してもよい。
Ｉｃ（ｘ，ｙ）＝［Ｓ＿Ｉｎ（ｘ，ｙ）＊Ｉｎ（ｘ，ｙ）＋
Ｓ＿Ｉｆ（ｘ，ｙ）＊Ｉｆ（ｘ，ｙ）］／
［Ｓ＿Ｉｎ（ｘ，ｙ）＋Ｓ＿Ｉｆ（ｘ，ｙ）］ ・・・ （２）

このような処理を行うことで、被写界深度の境界付近でも合成画像の明るさを連続的に変化させることができる。また、被写界深度の境界付近では、ピントが合った領域とピンぼけした領域の境界付近であり、近点画像と遠点画像の解像力がほぼ等しくなる。そのため、上式（２）のように、鮮鋭度で重み付けして合成画像を算出しても解像力の劣化はほとんど発生しない。

次に、合成画像の画素値を算出する手法の第２の変形例について説明する。第２の変形例では、近点画像と遠点画像の鮮鋭度の差｜Ｓ＿Ｉｎ（ｘ，ｙ）−Ｓ＿Ｉｆ（ｘ，ｙ）｜と閾値Ｓ＿ｔｈの比較を行う。そして、差｜Ｓ＿Ｉｎ（ｘ，ｙ）−Ｓ＿Ｉｆ（ｘ，ｙ）｜が閾値Ｓ＿ｔｈ以上である場合には、上式（１）のように、鮮鋭度が高い方の画像の画素値を合成画像の画素値として選択する。一方、差｜Ｓ＿Ｉｎ（ｘ，ｙ）−Ｓ＿Ｉｆ（ｘ，ｙ）｜が閾値Ｓ＿ｔｈ以下である場合には、上式（２）あるいは下式（３）により合成画像の画素値を算出する処理を行う。
Ｉｃ（ｘ，ｙ）＝［Ｉｎ（ｘ，ｙ）＋Ｉｆ（ｘ，ｙ）］／２ ・・・ （３）

なお、上記の実施形態では内視鏡システムを例に説明したが、本実施形態はこれに限定されない。例えば、本実施形態は、フラッシュ等の照明を用いて撮像するスチールカメラ等の撮像装置に適用可能である。

さて上述のように、撮像部に近い被写体から遠い被写体まで視認性を向上するためには、適切な露出を得られる範囲であるダイナミックレンジを広げ、被写体にピントが合っている範囲である被写界深度を広げる必要があるという課題がある。

この点、本実施形態の撮像装置は、図１と図４に示すように、画像取得部６１０と、露光量調整部２４０と、合成画像生成部６３０を含む。画像取得部６１０は、近点被写体にピントが合った近点画像と、近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得する。露光量調整部２４０は、遠点画像の露光量に対する近点画像の露光量の比率αを調整する。合成画像生成部６３０は、近点画像と遠点画像に基づいて合成画像を生成する。この場合に、合成画像生成部６３０は、比率αが調整された露光量により取得された近点画像と遠点画像に基づいて、合成画像を生成する。

これにより、被写界深度とダイナミックレンジが拡大された画像の取得が可能になる。すなわち、図８（Ａ）〜図８（Ｃ）で上述のように、比率αが調整されることで、近点画像においてピントが合った領域１と遠点画像においてピントが合った領域２を適正な露出にすることが可能になる。これにより、近点被写体と遠点被写体の両方にピントが合っており、両方が適正露出の画像を取得できる。

ここで、近点被写体とは、図３（Ａ）に示すように、対物レンズの後側焦点位置から距離Ｚｎ’に位置する撮像素子の被写界深度ＤＦ１の範囲内に存在する被写体である。また、遠点被写体とは、図３（Ｂ）に示すように、対物レンズの後側焦点位置から距離Ｚｆ’に位置する撮像素子の被写界深度ＤＦ２の範囲内に存在する被写体である。

また本実施形態では、図８（Ａ）〜図８（Ｃ）に示すように、露光量調整部２４０は、比率αを調整することにより、近点画像のピントが合っている第１領域（領域１）の露光量と、遠点画像のピントが合っている第２領域（領域２）の露光量とを近づける露光量調整を行う。そして、合成画像生成部６３０は、近点画像のピントが合っている第１領域と遠点画像のピントが合っている第２領域を合成して合成画像を生成する。

このようにすれば、図７に示すように、撮像部２００からの距離に応じて明るさが異なる被写界深度ＤＦ１，ＤＦ２の露光量を、比率αを調整することで近づけることができる。これにより、近点画像における被写界深度ＤＦ１（領域１）と遠点画像における被写界深度ＤＦ２（領域２）の両方をより適正な露出状態にすることが可能になる。

また、本実施形態では、露光量調整部２４０は、遠点画像の露光量に対する近点画像の露光量の比率αを所定の基準値以下に調整することで、近点画像の露光量を小さくする調整を行い、近点画像のピントが合っている第１領域の露光量と遠点画像のピントが合っている第２領域の露光量を近づける。

例えば、本実施形態では、近点画像の露光量を小さくするために、所定の基準値として１以下の値に比率αを設定する。すなわち、所定の基準値とは、照明光の明るさが撮像部から遠くなるに従って暗くなる場合に、近点画像の露光量が遠点画像の露光量よりも小さくなる値であればよい。

このようにすれば、図８（Ａ）〜図８（Ｃ）に示すように、撮像部に近いため明るく照明される近点画像の領域１の露光量を小さくし、遠点画像の領域２の露光量に近づけることができる。

また、本実施形態では図１に示すように、露光量調整部２４０は分割部（例えばハーフミラー）を有する。分割部は、照明光を被写体に照射することにより得られる被写体からの反射光を、近点画像に対応する第１反射光ＲＬ１と遠点画像に対応する第２反射光ＲＬ２に分割する。分割部は、第１反射光ＲＬ１の光量に対する第２反射光ＲＬ２の光量を比率αで分割する。そして、分割部は、分割部から第１距離Ｄ１に配置された第１撮像素子２５０に対して第１反射光ＲＬ１を出射し、分割部から第１距離Ｄ１とは異なる第２距離Ｄ２に配置された第２撮像素子２６０に対して第２反射光ＲＬ２を出射する。画像取得部６１０は、第１撮像素子２５０の撮像により得られた近点画像を取得し、第２撮像素子２６０の撮像により得られた遠点画像を取得する。

このようにすれば、第１反射光ＲＬ１の光量に対する第２反射光ＲＬ２の光量を比率αで分割することで、露光量の比率αを調整できる。そして、第１撮像素子２５０に対して第１反射光ＲＬ１を出射し、第２撮像素子２６０に対して第２反射光ＲＬ２を出射することで、露光量と被写界深度が異なる近点画像と遠点画像を取得できる。

ここで、距離Ｄ１，Ｄ２は、分割部の反射面（または透過面）から撮像素子までの距離であり、撮像光学系の光軸上における距離である。図３（Ａ）、図３（Ｂ）に示すように、距離Ｄ１，Ｄ２は、対物レンズ２３０の後側焦点位置から撮像素子までの距離がＺｎ’，Ｚｆ’である場合の、分割部の反射面から撮像素子までの距離に対応する。

また、本実施形態では図５に示すように、合成画像生成部６３０は、鮮鋭度算出部６３１と、画素値決定部６３２を有する。鮮鋭度算出部６３１は、近点画像と遠点画像の処理対象画素Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）についての鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）を算出する。画素値決定部６３２は、合成画像の処理対象画素の画素値Ｉｃ（ｘ，ｙ）を、鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）と近点画像の画素値Ｉｎ（ｘ，ｙ）と遠点画像の画素値Ｉｆ（ｘ，ｙ）に基づいて決定する。

より具体的には、上式（１）に示すように、画素値決定部６３２は、近点画像の処理対象画素の鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ）が、遠点画像の処理対象画素の鮮鋭度Ｓ＿Ｉｆ（ｘ，ｙ）よりも大きい場合には、近点画像の処理対象画素の画素値Ｉｎ（ｘ，ｙ）を合成画像の処理対象画素の画素値Ｉｃ（ｘ，ｙ）とする。一方、画素値決定部６３２は、画素値決定部６３２は、遠点画像の処理対象画素の鮮鋭度Ｓ＿Ｉｆ（ｘ，ｙ）が、近点画像の処理対象画素の鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ）よりも大きい場合には、遠点画像の処理対象画素の画素値Ｉｆ（ｘ，ｙ）を合成画像の処理対象画素の画素値Ｉｃ（ｘ，ｙ）とする。

このようにすれば、鮮鋭度を用いることで、近点画像と遠点画像のピントが合った領域を合成できる。すなわち、鮮鋭度が大きい方を選択することで、ピントが合った領域を判定して合成することができる。

また、本実施形態では上式（２）に示すように、画素値決定部６３２は、近点画像と遠点画像の処理対象画素の画素値Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）を鮮鋭度Ｓ＿Ｉｎ（ｘ，ｙ），Ｓ＿Ｉｆ（ｘ，ｙ）に基づいて加重平均して、合成画像の処理対象画素の画素値Ｉｃ（ｘ，ｙ）を算出してもよい。

このようにすれば、鮮鋭度に基づいて画素値を加重平均することで、近点画像と遠点画像のピントが合った領域の境界において、合成画像の明るさを滑らかに変化させることができる。

また、本実施形態では上式（３）に示すように、画素値決定部６３２は、近点画像と遠点画像の処理対象画素の鮮鋭度の差分値の絶対値｜Ｓ＿Ｉｎ（ｘ，ｙ）−Ｓ＿Ｉｆ（ｘ，ｙ）｜が閾値Ｓ＿ｔｈよりも小さい場合、近点画像と遠点画像の処理対象画素の画素値Ｉｎ（ｘ，ｙ），Ｉｆ（ｘ，ｙ）を平均して、合成画像の処理対象画素の画素値Ｉｃ（ｘ，ｙ）を算出してもよい。

このようにすれば、｜Ｓ＿Ｉｎ（ｘ，ｙ）−Ｓ＿Ｉｆ（ｘ，ｙ）｜が閾値Ｓ＿ｔｈよりも小さい領域を判定することで、近点画像と遠点画像のピントが合った領域の境界を判定できる。そして、その境界において画素値を平均することで、合成画像の明るさを滑らかに変化させることができる。

また、本実施形態では露光量調整部２４０は、固定された比率α（例えば０．５）により露光量を調整する。より具体的には図１に示すように、露光量調整部２４０は、照明光を被写体に照射することにより得られる被写体からの反射光を第１反射光ＲＬ１と第２反射光ＲＬ２に分割する少なくとも１つのビームスプリッターを有する。少なくとも１つのビームスプリッターは、第２反射光ＲＬ２に対する第１反射光ＲＬ２の光量を固定された比率α（例えば０．５）で分割する。

このようにすれば、遠点画像の露光量に対する近点画像の露光量の比率を、固定された比率αに調整できる。すなわち、第１撮像素子２５０と第２撮像素子２６０への入射光量を固定比率αにすることで、露光量の比率を固定比率αにできる。なお、本実施形態では、１つのビームスプリッターにより反射光を分割してもよく、２以上のビームスプリッターを組み合わせて反射光を分割してもよい。

５．内視鏡システムの第２の構成例
上記の実施形態では、固定の比率αにより露光量調整を行ったが、本実施形態では可変の比率αにより露光量調整を行ってもよい。図９に、この場合の内視鏡システムの第２の構成例を示す。図９に示す内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、本実施形態において特に記載のない部分については、上述の第１の構成例と同様である。

撮像部２００は、光源部で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバにより先端まで導かれてきた光を拡散させて被写体に照射する照明レンズ２２０と、被写体から戻る反射光を集光する対物レンズ２３０を有する。また、撮像部２００は、通常観察と拡大観察を切り替えるためのズームレンズ２８０と、ズームレンズ２８０を駆動するレンズ駆動部２７０と、集光した反射光を分割する露光量調整部２４０と、第１撮像素子２５０と、第２撮像素子２６０を有する。

レンズ駆動部２７０は、例えばステッピングモーターなどで構成されており、制御部３６０からの制御信号に応じてズームレンズ２８０を駆動する。例えば、本実施形態の内視鏡システムでは、ユーザーが外部Ｉ／Ｆ部５００を用いて入力した観察モード情報に応じてズームレンズ２８０の位置を制御することで、通常観察と拡大観察が切り替えられる。

なお、観察モード情報は、観察モードを設定するための情報であり、例えば通常観察モードと拡大観察モードに対応する情報である。例えば、観察モード情報は、ピント調整ノブによって調整されるピント位置の情報である。例えば、ピント調整範囲のうち撮像部から最も遠いピント位置の場合には、低倍率の通常観察モードに設定される。一方、通常観察モードのピント位置よりも撮像部に近いピント位置の場合には、高倍率の拡大観察モードに設定される。

露光量調整部２４０は、例えばマグネシウム・ニッケル系合金の薄膜で作成された調光ミラーであり、制御部３６０からの制御信号に応じて第２撮像素子２６０の露光量に対する第１撮像素子２５０の露光量の比率αを任意に変化させる。例えば、本実施形態の内視鏡システムでは、ユーザーが外部Ｉ／Ｆ部５００を用いて入力した観察モード情報に応じてαの値を制御する。

次に、図１０〜図１２（Ｃ）を用いて、画素値決定部６３２で生成される合成画像について説明する。図１０に、本実施形態の内視鏡システムにおける消化管の拡大観察状態を示す。内視鏡の拡大観察では、光学設計の仕様により通常観察に比べて対物レンズの画角が狭くなると共に、近点画像と遠点画像の被写界深度は通常観察に比べて非常に狭くなる。このため、図１０に示すように、内視鏡の拡大観察では消化管の内壁に正対しながら病変に近接して観察を行っており、画角内での撮像部から被写体までの距離の変化が非常に小さくなる傾向にある。この結果、近点画像及び遠点画像の画像内での明るさは画像上の位置によらずほぼ一定となる。

図１１（Ａ）、図１１（Ｂ）に、第２撮像素子２６０の露光量に対する第１撮像素子２５０の露光量の比率αを０．５とした場合に、上記の拡大観察状態で取得される近点画像と遠点画像を模式的に示す。図１１（Ａ）に示すように、近点画像では、領域１で示される画像の中心の領域ではピントが合っており、領域２で示される画像の周辺の領域ではピントがボケている。一方、図１１（Ｂ）に示すように、遠点画像では、領域１で示される画像の中心の領域ではピントがボケており、領域２で示される画像の周辺の領域ではピントが合っている。領域１は、図１０に示す被写界深度ＤＦ１に対応する領域であり、被写体が撮像部に対して比較的近い位置にある領域である。また、領域２は、図１０に示す被写界深度ＤＦ２に対応する領域であり、被写体が撮像部に対して比較的遠い位置にある領域である。

このとき、α＝０．５で取得された近点画像で適切な明るさが得られているとする。そうすると、遠点画像は近点画像の２倍の露光量であるため、図１１（Ｂ）に示すように遠点画像は画像全面で白トビしたような画像となる。この結果、図１１（Ｃ）に示すように、近点画像と遠点画像のピントが合っている部分を合成すると、画像の中心の領域では適切な明るさが得られているが、画像の周辺の領域では白トビしているといった不自然な画像となってしまう。

本実施形態では、このような現象を防ぐために、例えばユーザーが外部Ｉ／Ｆ部５００を用いて入力した観察モード情報に応じて、第２撮像素子２６０の露光量に対する第１撮像素子２５０の露光量の比率αをズームレンズ２８０の位置と同時に制御する。例えば、通常観察モードではα＝０．５、拡大観察モードではα＝１に設定する制御を行う。図１２（Ｂ）に示すように、α＝１に設定すると、近点画像と遠点画像の両方において適切な露光量が得られる。そのため、図１２（Ｃ）に示すように、画像全体で適切な明るさが得られた合成画像が生成される。

なお、本実施形態では、αは上述の値に限らず、任意の値に設定可能であることは言うまでもない。

また、本実施形態では、露光量調整部２４０は上述の調光ミラーに限定されない。例えば、調光ミラーの代わりにビームスプリッターを用いてα＝１となるように被写体からの反射光を分割し、ビームスプリッターと第１の撮像素子２５０の間の光路に、透過率を制御可能な液晶シャッターや絞りの内径を制御可能な可変絞りなどの光量調整部材を挿入することでαの値を任意に変化させることが可能である。また、ビームスプリッターと第１の撮像素子２５０の間の光路と、ビームスプリッターと第２の撮像素子２６０の間の光路との両方に、光量調整部材を挿入することも可能であることは言うまでもない。

また、上記の実施形態では、通常観察モードと拡大観察モードを切り替えることで、２つのαの値のどちらか一方を選択するように制御しているが、本実施形態はこれに限定されない。例えば、本実施形態では、ズームレンズ２８０の位置が連続的に変化する場合には、ズームレンズ２８０の位置に応じてαの値が連続的に変化するような制御を行ってもよい。

また、上記の実施形態では、ズームレンズ２８０の位置とαの値を同時に制御したが、本実施形態では、拡大観察の機能（ズームレンズ２８０及び駆動部２７０）は必ずしも必須ではない。例えば、本実施形態では、筒状物体観察モードと平面物体観察モードなどを設定し、被写体の形状に応じてαの値だけを制御するような構成にしてもよい。あるいは、本実施形態では、近点画像のうちピントが合っている領域として選択された画素の平均輝度Ｙｎと、遠点画像のうちピントが合っている領域として選択された画素の平均輝度Ｙｆを算出し、そのＹｎとＹｆの差が所定の閾値以上の場合は、ＹｎとＹｆの差が小さくなるようにαの値を制御してもよい。

上記の実施形態によれば、図９に示すように、露光量調整部２４０は可変の比率αにより露光量を調整する。具体的には、露光量調整部２４０は、比率αを観察状態に応じて調整する。例えば、観察状態は、近点画像と遠点画像のピント位置に応じて設定され、露光量調整部２４０は、ピント位置に応じて比率αを調整する。すなわち、露光量調整部２４０は、通常観察状態では比率αを第１比率（例えば０．５）に設定し、通常観察状態におけるピント位置よりも近いピント位置の拡大観察状態では、第１比率よりも大きい第２比率（例えば１）に比率αを設定する。

観察状態とは、被写体を観察するときの撮像状態であり、例えば撮像部と被写体の相対的な位置関係である。本実施形態の内視鏡システムでは、図７に示すように、消化管の内壁を消化管に沿った方向に撮像する通常観察状態と、図１０に示すように、消化管の内壁に正対して撮像する拡大観察状態がある。本実施形態では、ピント位置によって設定される通常観察モードと拡大観察モードにおいて、それぞれ通常観察状態と拡大観察状態で被写体を観察することが一般的であるため、観察モードに応じて比率αを調整している。

このようにすれば、観察状態に応じて適切な露光量調整を行うことが可能になる。すなわち、図１１（Ａ）〜図１２（Ｃ）で上述のように、通常観察状態に比べて拡大観察状態では近点被写体と遠点被写体の距離に差がない。そのため、第２比率を大きくすることで、近点被写体と遠点被写体がほぼ同じ明るさで照明される拡大観察状態でも、適正な露出を実現できる。

また、本実施形態では、露光量調整部２４０は、近点画像のピントが合っている領域の平均輝度と、遠点画像のピントが合っている領域の平均輝度との差が小さくなるように比率αを調整してもよい。

このようにすれば、近点被写体と遠点被写体の照明光の明るさが観察状態に応じて変化した場合であっても、平均輝度に基づいて比率αを自動制御することで、近点被写体と遠点被写体の露光量を近づけることができる。

また、本実施形態では図９に示すように、露光量調整部２４０は、照明光を被写体に照射することにより得られる被写体からの反射光を第１反射光と第２反射光に分割する少なくとも１つの調光ミラーを有する。少なくとも１つの調光ミラーは、第２反射光に対する第１反射光の光量を可変の比率αで分割する。なお、本実施形態では、１つの調光ミラーにより反射光を分割してもよく、２以上の調光ミラーを組み合わせて反射光を分割してもよい。

また、本実施形態では、露光量調整部２４０は、照明光を被写体に照射することにより得られる被写体からの反射光を第１反射光と第２反射光に分割する分割部と、第２反射光に対する第１反射光の光量を可変の比率αに調整する少なくとも１つの可変絞りと、を有してもよい。なお、本実施形態では、１つの可変絞りにより反射光量を調整してもよく、２以上の可変絞りを組み合わせて反射光量を調整してもよい。

また、本実施形態では、露光量調整部２４０は、照明光を被写体に照射することにより得られる被写体からの反射光を第１反射光と第２反射光に分割する分割部と、第２反射光に対する第１反射光の光量を可変の比率αに調整する少なくとも１つの液晶シャッターと、を有してもよい。なお、本実施形態では、１つの液晶シャッターにより反射光量を調整してもよく、２以上の液晶シャッターを組み合わせて反射光量を調整してもよい。

このようにすれば、露光量を可変の比率αで調整することが可能になる。すなわち、調光ミラーや可変絞り、液晶シャッターを用いて第１反射光の光量を調整することで、比率αを可変にすることができる。

なお上記の実施形態では、通常観察状態と拡大観察状態において、近点画像と遠点画像の両方を用いて合成画像を生成する場合を例に説明したが、本実施形態はこれに限定されない。例えば、通常観察状態では近点画像と遠点画像を用いて合成画像を生成し、拡大観察状態では合成処理を行わず近点画像をそのまま出力してもよい。

６．内視鏡システムの第３の構成例
上記の実施形態では、２つの撮像素子を用いて近点画像と遠点画像を撮像したが、本実施形態では、１つの撮像素子を用いて近点画像と遠点画像を時分割で撮像してもよい。図１３に、この場合の内視鏡システムの第３の構成例を示す。図１３に示す内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、本実施形態において特に記載のない部分については、上述の第１の構成例と同様である。

光源部１００は、被写体に照射する照明光を出射する。光源部１００は、白色光を発生する白色光源１１０と、白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、露光量調整部１３０を有する。

白色光源１１０は、例えばＬＥＤ光源である。露光量調整部１３０は、画像の露光量を時分割に制御して、遠点画像の露光量に対する近点画像の露光量の比率αを調整する。例えば、露光量調整部１３０は、制御部３６０からの制御信号に従って白色光源１１０の発光時間を制御することで、画像の露光量を調整する。

撮像部２００は、光源部で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバにより先端まで導かれてきた光を拡散させて被写体に照射する照明レンズ２２０と、被写体から戻る反射光を集光する対物レンズ２３０を有する。また、撮像部２００は、撮像素子２５１と、ピント位置調整部２７１を有する。

ピント位置調整部２７１は、画像のピント位置を時分割に調整する。ピント位置が時分割に調整されることで、近点画像と遠点画像が異なるピント位置で撮像される。例えば、ピント位置調整部２７１は、ステッピングモーターなどで構成され、制御部３６０からの制御信号に応じて撮像素子２５１の位置を制御することで、取得される画像のピント位置を調整する。

制御装置３００（処理部）は、内視鏡システムの各構成要素の制御を行う。制御装置３００は、Ａ／Ｄ変換部３２０と、近点画像記憶部３３０と、遠点画像記憶部３４０と、画像処理部６００と、制御部３６０を有する。

Ａ／Ｄ変換部３２０は、撮像素子２５０から出力されるアナログ信号を、デジタル信号に変換して出力する。近点画像記憶部３３０は、制御部３６０からの制御信号に従って、第１のタイミングで取得された画像を近点画像として記憶する。遠点画像記憶部３４０は、制御部３６０からの制御信号に従って、第２のタイミングで取得された画像を遠点画像として記憶する。そして、画像処理部６００は、上述の第１の構成例等と同様に、近点画像と遠点画像のピントが合った領域を合成する処理を行うことで、被写界深度とダイナミックレンジの両方が拡大された合成画像を生成する。

図３（Ａ）、図３（Ｂ）を用いて、画像が取得されるタイミングと被写界深度の関係について説明する。図３（Ａ）に示すように、第１のタイミングにおいてピント位置調整部２７１は、後側焦点位置から撮像素子２５１までの距離がＺｎ’となるように撮像素子２５１の位置を制御する。一方、図３（Ｂ）に示すように、第２のタイミングにおいてピント位置調整部２７１は、後側焦点位置から撮像素子２５１までの距離がＺｆ’となるように撮像素子２５１の位置を制御する。この結果、第１のタイミングで取得された画像の被写界深度範囲は、第２のタイミングで取得された画像被写界深度範囲に比較して対物レンズに近い範囲となる。すなわち、第１のタイミングでは近点画像が取得され、第２のタイミングでは遠点画像が取得される。

次に、画像が取得されるタイミングと露光量の関係について説明する。露光量調整部１３０は、第１のタイミングでの白色光源１１０の発光時間を第２のタイミングでの白色光源１１０の発光時間の例えば０．５倍に制御する。この制御により、露光量調整部１３０は、第２のタイミングで取得された遠点画像の露光量に対する第１のタイミングで取得された近点画像の露光量の比率αを０．５に制御する。

以上の制御を行うことで、第１のタイミングで取得された近点画像と第２のタイミングで取得された遠点画像は、上述の第１の構成例における第１撮像素子２５０で取得された近点画像と第２撮像素子２６０で取得された遠点画像と同様の画像になる。そして、その近点画像と遠点画像を合成することで、被写界深度とダイナミックレンジが拡大された合成画像を生成できる。

なお、上記の実施形態では、ピント位置調整部２７１が撮像素子２５１の位置を制御することで画像のピント位置を調整したが、本実施形態はこれに限定されない。例えば、本実施形態では、対物レンズ２３０がピント位置調整用のレンズを備える構成とし、ピント位置調整部２７１が撮像素子２５１の代わりにピント位置調整用のレンズの位置を制御することで画像のピント位置を調整してもよい。

また、上記の実施形態ではα＝０．５の場合を例に説明したが、本実施形態ではこれに限らず、任意の値に設定可能であることは言うまでもない。また、上記の実施形態では、白色光源１１０の発光時間により比率αを制御する場合を例に説明したが、本実施形態はこれに限定されない。例えば、露光量調整部１３０は、第１のタイミングでの白色光源１１０の光量を第２のタイミングでの白色光源１１０の光量の０．５倍に制御することで、比率αを０．５に設定してもよい。

７．合成画像生成部の第２の詳細な構成例
ここで、本実施形態では、上述のように近点画像と遠点画像が異なるタイミングで取得される。このため、被写体あるいは撮像部２００が動いている場合は、近点画像と遠点画像で画像上の被写体の位置が異なることになり、合成画像が不自然な画像となる。このような場合に本実施形態では、近点画像と遠点画像の動き補償を行ってもよい。

図１４に、動き補償を行う場合の合成画像生成部６３０の詳細な構成例を示す。図１４に示す合成画像生成部６３０は、動き補償処理部６３３（位置合わせ処理部）と、鮮鋭度算出部６３１と、画素値決定部６３２を有する。

動き補償処理部６３３は、例えば公知の動き補償（位置合わせ）技術を用いて、前処理部６２０から出力される近点画像と遠点画像の動き補償処理を行う。例えば、動き補償処理として、ＳＳＤ（Sum of Squared Difference）等のマッチング処理を用いることができる。そして、鮮鋭度算出部６３１と画素値決定部６３２は、動き補償された近点画像と遠点画像から合成画像を生成する。

なお、近点画像と遠点画像ではピントが合っている領域が異なるため、マッチング処理を行うことが困難となることも考えられる。このような場合、例えば近点画像と遠点画像のそれぞれに対して水平、垂直方向に隣り合う２×２画素分の信号値を加算するなどの縮小処理を行う。そして、このような縮小処理により同一の被写体に対する近点画像と遠点画像の解像力の差を小さくした上で、マッチング処理を行ってもよい。

上記の実施形態によれば、撮像装置は、ピント位置を制御するピント位置制御部を有する。図３（Ａ）、図３（Ｂ）に示すように、画像取得部６１０は、第１ピント位置Ｐｎに設定される第１タイミングにおいて得られた画像を近点画像として取得し、第１ピント位置Ｐｎとは異なる第２ピント位置Ｐｆに設定される第２タイミングにおいて得られた画像を遠点画像として取得する。例えば、図１３に示すように、制御部３６０の制御によりピント位置調整部２７１が撮像素子２５１の位置を駆動することで、ピント位置を制御する。

また、本実施形態では、露光量調整部１３０は、被写体を照明する照明光の光量を、第１のタイミングと第２のタイミングにおいて異なる光量に制御することで、遠点画像の露光量に対する近点画像の露光量の比率αを調整する。

このようにすれば、被写界深度と露光量が時分割に変更されるため、被写界深度と露光量が異なる近点画像と遠点画像を時分割に撮像できる。これにより、被写界深度とダイナミックレンジが拡大された合成画像を生成することができる。

ここで、図３（Ａ）、図３（Ｂ）に示すように、ピント位置とは、撮像素子に被写体が合焦する場合における対物レンズ２３０から被写体までの距離Ｐｎ，Ｐｆである。ピント位置Ｐｎ，Ｐｆは、距離Ｚｎ’，Ｚｆ’や対物レンズ２３０の焦点距離などにより決まる。

また、本実施形態では図１４に示すように、合成画像生成部６３０は、近点画像と遠点画像の動き補償処理を行う動き補償処理部６３３を有する。合成画像生成部６３０は、動き補償処理後の近点画像と遠点画像に基づいて、合成画像を生成する。

このようにすれば、時分割に取得された近点画像と遠点画像において、消化管の動き等によって被写体の位置にズレが生じた場合であっても、近点画像と遠点画像の被写体の位置を合わせることができる。これにより、合成画像における被写体の歪み等を抑制できる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（内視鏡システム、処理部、分割部等）と共に記載された用語（内視鏡装置、制御装置、ビームスプリッター等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、１３０ 露光量調整部、
２００ 撮像部、２１０ ライトガイドファイバ、２２０ 照明レンズ、
２３０ 対物レンズ、２４０ 露光量調整部、２５０ 撮像素子、２５１ 撮像素子、
２６０ 撮像素子、２７０ レンズ駆動部、２７１ ピント位置調整部、
２８０ ズームレンズ、３００ 制御装置、３１０，３２０ Ａ／Ｄ変換部、
３３０ 近点画像記憶部、３４０ 遠点画像記憶部、３６０ 制御部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、６１０ 画像取得部、６２０ 前処理部、
６３０ 合成画像生成部、６３１ 鮮鋭度算出部、６３２ 画素値決定部、
６３３ 動き補償処理部、６４０ 後処理部、
Ｄ１ 第１距離、Ｄ２ 第２距離、ＤＦ１，ＤＦ２ 被写界深度、
Ｇｒ，Ｇｂ，Ｒ，Ｂ 色フィルタ、Ｐｎ，Ｐｆ ピント位置、ＲＬ１ 第１反射光、
ＲＬ２ 第２反射光、Ｓ＿Ｉｎ，Ｓ＿Ｉｆ 鮮鋭度、Ｓ＿ｔｈ 閾値、
Ｙｎ，Ｙｆ 平均輝度、Ｚｎ，Ｚｆ 後側焦点位置からの距離、α 比率

Claims (24)

1. 近点被写体にピントが合った近点画像と、前記近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得する画像取得部と、
   前記遠点画像の露光量に対する前記近点画像の露光量の比率を調整する露光量調整部と、
   前記近点画像と前記遠点画像に基づいて合成画像を生成する合成画像生成部と、
   を含み、
   前記合成画像生成部は、
   前記比率が調整された露光量により取得された前記近点画像と前記遠点画像に基づいて前記合成画像を生成することを特徴とする撮像装置。
2. 請求項１において、
   前記露光量調整部は、
   前記比率を調整することにより、前記近点画像のピントが合っている第１領域の露光量と、前記遠点画像のピントが合っている第２領域の露光量とを近づける露光量調整を行い、
   前記合成画像生成部は、
   前記近点画像のピントが合っている前記第１領域と前記遠点画像のピントが合っている前記第２領域を合成して前記合成画像を生成することを特徴とする撮像装置。
3. 請求項２において、
   前記露光量調整部は、
   前記遠点画像の露光量に対する前記近点画像の露光量の前記比率を所定の基準値以下に調整することで、前記近点画像の露光量を小さくする調整を行い、前記近点画像のピントが合っている前記第１領域の露光量と前記遠点画像のピントが合っている前記第２領域の露光量を近づけることを特徴とする撮像装置。
4. 請求項３において、
   前記露光量調整部は、
   照明光を被写体に照射することにより得られる前記被写体からの反射光を、前記近点画像に対応する第１反射光と前記遠点画像に対応する第２反射光に分割する分割部を有し、
   前記分割部は、
   前記第１反射光の光量に対する前記第２反射光の光量を前記比率で分割し、前記分割部から第１距離に配置された第１撮像素子に対して前記第１反射光を出射し、前記分割部から前記第１距離とは異なる第２距離に配置された第２撮像素子に対して前記第２反射光を出射し、
   前記画像取得部は、
   前記第１撮像素子の撮像により得られた前記近点画像を取得し、前記第２撮像素子の撮像により得られた前記遠点画像を取得することを特徴とする撮像装置。
5. 請求項１において、
   前記合成画像生成部は、
   前記近点画像と前記遠点画像の処理対象画素についての鮮鋭度を算出する鮮鋭度算出部と、
   前記合成画像の前記処理対象画素の画素値を、前記鮮鋭度と前記近点画像の画素値と前記遠点画像の画素値に基づいて決定する画素値決定部と、
   を有することを特徴とする撮像装置。
6. 請求項５において、
   画素値決定部は、
   前記近点画像の前記処理対象画素の前記鮮鋭度が、前記遠点画像の前記処理対象画素の前記鮮鋭度よりも大きい場合には、前記近点画像の前記処理対象画素の画素値を前記合成画像の前記処理対象画素の画素値とし、
   前記遠点画像の前記処理対象画素の前記鮮鋭度が、前記近点画像の前記処理対象画素の前記鮮鋭度よりも大きい場合には、前記遠点画像の前記処理対象画素の画素値を前記合成画像の前記処理対象画素の画素値とすることを特徴とする撮像装置。
7. 請求項５において、
   前記画素値決定部は、
   前記近点画像と前記遠点画像の前記処理対象画素の画素値を前記鮮鋭度に基づいて加重平均して、前記合成画像の前記処理対象画素の画素値を算出することを特徴とする撮像装置。
8. 請求項５において、
   前記画素値決定部は、
   前記近点画像と前記遠点画像の前記処理対象画素の前記鮮鋭度の差分値の絶対値が閾値よりも小さい場合、前記近点画像と前記遠点画像の前記処理対象画素の画素値を平均して、前記合成画像の前記処理対象画素の画素値を算出することを特徴とする撮像装置。
9. 請求項１において、
   前記露光量調整部は、
   照明光を被写体に照射することにより得られる前記被写体からの反射光を分割する分割部を有し、
   前記画像取得部は、
   前記分割部から第１距離に配置された前記第１撮像素子の撮像により前記近点画像を取得し、前記分割部から前記第１距離とは異なる第２距離に配置された前記第２撮像素子の撮像により前記遠点画像を取得することを特徴とする撮像装置。
10. 請求項１において、
    前記露光量調整部は、
    固定された前記比率により露光量を調整することを特徴とする撮像装置。
11. 請求項１０において、
    前記露光量調整部は、
    照明光を被写体に照射することにより得られる前記被写体からの反射光を第１反射光と第２反射光に分割する少なくとも１つのビームスプリッターを有し、
    前記少なくとも１つのビームスプリッターは、
    前記第２反射光に対する前記第１反射光の光量を前記固定された比率で分割することを特徴とする撮像装置。
12. 請求項１において、
    前記露光量調整部は、
    可変の前記比率により露光量を調整することを特徴とする撮像装置。
13. 請求項１２において、
    前記露光量調整部は、
    前記比率を観察状態に応じて調整することを特徴とする撮像装置。
14. 請求項１３において、
    前記観察状態は前記近点画像と遠点画像のピント位置に応じて設定され、
    前記露光量調整部は、
    前記ピント位置に応じて前記比率を調整することを特徴とする撮像装置。
15. 請求項１４において、
    前記露光量調整部は、
    通常観察状態では、前記比率を第１比率に設定し、
    前記通常観察状態における前記ピント位置よりも近いピント位置の拡大観察状態では、前記第１比率よりも大きい第２比率に前記比率を設定することを特徴とする撮像装置。
16. 請求項１２において、
    前記露光量調整部は、
    前記近点画像のピントが合っている領域の平均輝度と、前記遠点画像のピントが合っている領域の平均輝度との差が小さくなるように前記比率を調整することを特徴とする撮像装置。
17. 請求項１２において、
    前記露光量調整部は、
    照明光を被写体に照射することにより得られる前記被写体からの反射光を第１反射光と第２反射光に分割する少なくとも１つの調光ミラーを有し、
    前記少なくとも１つの調光ミラーは、
    前記第２反射光に対する前記第１反射光の光量を前記可変の比率で分割することを特徴とする撮像装置。
18. 請求項１２において、
    前記露光量調整部は、
    照明光を被写体に照射することにより得られる前記被写体からの反射光を第１反射光と第２反射光に分割する分割部と、
    前記第２反射光に対する前記第１反射光の光量を前記可変の比率に調整する少なくとも１つの可変絞りと、
    を有することを特徴とする撮像装置。
19. 請求項１２において、
    前記露光量調整部は、
    照明光を被写体に照射することにより得られる前記被写体からの反射光を第１反射光と第２反射光に分割する分割部と、
    前記第２反射光に対する前記第１反射光の光量を前記可変の比率に調整する少なくとも１つの液晶シャッターと、
    を有することを特徴とする撮像装置。
20. 請求項１において、
    ピント位置を制御するピント位置制御部を含み、
    前記画像取得部は、
    第１ピント位置に設定される第１タイミングにおいて得られた画像を前記近点画像として取得し、前記第１ピント位置とは異なる第２ピント位置に設定される第２タイミングにおいて得られた画像を前記遠点画像として取得することを特徴とする撮像装置。
21. 請求項２０において、
    前記露光量調整部は、
    被写体を照明する照明光の光量を、第１のタイミングと第２のタイミングにおいて異なる光量に制御することで、前記遠点画像の露光量に対する前記近点画像の露光量の前記比率を調整することを特徴とする撮像装置。
22. 請求項２０において、
    前記合成画像生成部は、
    前記近点画像と前記遠点画像の動き補償処理を行う動き補償処理部を有し、
    前記合成画像生成部は、
    前記動き補償処理後の前記近点画像と前記遠点画像に基づいて、前記合成画像を生成することを特徴とする撮像装置。
23. 近点被写体にピントが合った近点画像と、前記近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得する画像取得部と、
    前記遠点画像の露光量に対する前記近点画像の露光量の比率を調整する露光量調整部と、
    前記近点画像と前記遠点画像に基づいて合成画像を生成する合成画像生成部と、
    を含み、
    前記合成画像生成部は、
    前記比率が調整された露光量により取得された前記近点画像と前記遠点画像に基づいて前記合成画像を生成することを特徴とする内視鏡装置。
24. 近点被写体にピントが合った近点画像と、前記近点被写体よりも遠い遠点被写体にピントが合った遠点画像を取得し、
    前記遠点画像の露光量に対する前記近点画像の露光量の比率を調整し、
    前記近点画像と前記遠点画像に基づいて合成画像を生成する場合に、
    前記比率が調整された露光量により取得された前記近点画像と前記遠点画像に基づいて前記合成画像を生成することを特徴とする画像生成方法。

Images