WO2018021035A1 - 画像処理装置および方法、内視鏡システム、並びにプログラム - Google Patents

Abstract

本技術は、より高精度に動きを検出することができるようにする画像処理装置および方法、内視鏡システム、並びにプログラムに関する。 内視鏡システムは、パルス発光可能な光源と、光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、撮像画像を撮像する撮像部と、撮像画像上における被写体の動きを検出する動き検出部とを有している。本技術は内視鏡システムに適用することができる。

Description

画像処理装置および方法、内視鏡システム、並びにプログラム

　本技術は画像処理装置および方法、内視鏡システム、並びにプログラムに関し、特に、より高精度に動きを検出することができるようにした画像処理装置および方法、内視鏡システム、並びにプログラムに関する。

　従来、内視鏡装置では、より精度の高い観察を行うために被写体の撮像とともに動き検出が併用されることがある。

　例えば、動き検出を用いる技術として、被写体およびカメラの動きを検出して手振れ補正に利用するものや、拍動等の被写体の周期的な動きを検出し、その検出結果に基づいて位相の一致した画像を取得することで同位相のぶれの無い画像を出力表示するものなどがある。また、被写体の動きを検出して、その検出結果をシーン認識に応用するものなども提案されている。

　このような動き検出を行う技術として、過去の複数のフレームの画像から動きを検出し、その検出結果を画像化して表示させる方法が提案されている（例えば、特許文献１参照）。

特開２０１１－１７２７８３号公報

　しかしながら、上述した技術では、高精度に動きを検出することは困難であった。

　例えば複数フレームの画像を用いる方法では、動きを求めるためには過去２フレーム以上の情報が必要となるので、得られる動き情報は２フレーム前などの比較的古い情報から求まるものとなり、十分な精度で現フレームの動きを推定することができない。すなわち、手振れ補正などの画像補正処理に動き情報を用いる場合、検出した動きと、動きの検出結果が適用される現フレームにおける実際の動きとの間でずれが生じてしまう。

　また、複数フレームの画像を用いる方法では、フレーム間隔と比べて高速に変化する動きや速い周期で振動するような動きに対しては、動き検出を行うことができない。さらに、フレーム間での検出が可能な動きについても、その動きが高速な場合には画像上では動きぼけが生じるため、フレーム間での画像のマッチングがとれず、動き検出の精度が低下してしまう。

　本技術は、このような状況に鑑みてなされたものであり、より高精度に動きを検出することができるようにするものである。

　本技術の第１の側面の画像処理装置は、光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、前記撮像画像上における被写体の動きを検出する動き検出部とを備える。

　前記撮像画像を生体の画像とすることができる。

　前記動き検出部には、１つの前記撮像画像に基づいて、前記動きとして動きベクトルの各成分の大きさを検出させることができる。

　前記光源制御部には、各前記パルス発光時に同じ波長成分の光が出力されるように前記光源を制御させることができる。

　前記動き検出部には、複数の前記撮像画像に基づいて、前記動きとして前記動きベクトルの方向をさらに検出させることができる。

　画像処理装置には、前記動きの検出結果に基づいて、前記撮像画像に対する動き補正を行う動き補正部をさらに設けることができる。

　画像処理装置には、前記動きの検出結果に基づいて、前記動きのない時刻の前記撮像画像から前記被写体の画像を生成する画像生成部をさらに設けることができる。

　前記光源制御部には、継続して前記波長成分の光が出力される露光期間と、複数回の前記パルス発光が行われる露光期間とが設けられるように前記光源を制御させることができる。

　前記動き検出部には、複数回の前記パルス発光が行われる露光期間の前記撮像画像に基づいて前記動きを検出させ、前記動きの検出結果に基づいて、継続して前記波長成分の光が出力される露光期間の前記撮像画像に対する動き補正を行う動き補正部をさらに設けることができる。

　前記光源制御部には、継続して前記波長成分の光が出力される露光期間と、複数回の前記パルス発光が行われる露光期間とが交互に設けられるように前記光源を制御させることができる。

　前記光源制御部には、複数回の前記パルス発光が行われる露光期間が不等間隔に設けられるように前記光源を制御させることができる。

　前記光源制御部には、複数回の前記パルス発光のそれぞれにおいて、互いに異なる波長成分の光が出力されるように前記光源を制御させることができる。

　前記動き検出部には、１つの前記撮像画像から得られる前記波長成分ごとの画像に基づいて、前記動きとして動きベクトルを検出させることができる。

　前記光源制御部には、前記撮像画像とは異なる前記被写体の入力画像の露光期間中、継続して所定波長成分の光が出力されるように前記光源とは異なる他の光源を制御させるとともに、前記入力画像の露光期間の少なくとも一部を含む期間において複数回のパルス発光により前記所定波長成分とは異なる他の波長成分の光が出力されるように前記光源を制御させ、前記撮像画像を撮像する第１の撮像部と、前記入力画像を撮像する第２の撮像部と、前記被写体からの光を光学的に分離させ、分離させた前記光の一部を前記第１の撮像部に入射させるとともに、分離させた前記光の他の一部を前記第２の撮像部に入射させる分離素子とをさらに設けることができる。

　画像処理装置には、前記動きの検出結果に基づいて、前記入力画像に対する動き補正を行う動き補正部をさらに設けることができる。

　前記光源制御部には、パルス発光の周期を変化させながら、複数の異なる周期で前記光源をパルス発光させ、前記動き検出部には、前記複数の異なる周期ごとに得られた前記撮像画像のコントラストの度合いに基づいて、前記被写体の振動の周期を前記動きとして検出させることができる。

　前記光源制御部には、前記動きの検出後、前記動きの検出結果に応じた周期で前記光源をパルス発光させることができる。

　本技術の第１の側面の画像処理方法またはプログラムは、光源を制御して撮像画像の露光期間に複数回パルス発光させ、前記撮像画像上における被写体の動きを検出するステップを含む。

　本技術の第１の側面においては、光源が制御されて撮像画像の露光期間に複数回パルス発光され、前記撮像画像上における被写体の動きが検出される。

　本技術の第２の側面の内視鏡システムは、パルス発光可能な光源と、前記光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、前記撮像画像を撮像する撮像部と、前記撮像画像上における被写体の動きを検出する動き検出部とを備える。

　本技術の第２の側面においては、光源が制御されて撮像画像の露光期間に複数回パルス発光され、前記撮像画像が撮像され、前記撮像画像上における被写体の動きが検出される。

　本技術の第１の側面および第２の側面によれば、より高精度に動きを検出することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

内視鏡システムの構成例を示す図である。 内視鏡システムの機能的な構成例を示す図である。 パルス発光について説明する図である。 入力画像に基づく動き検出について説明する図である。 動きの方向について説明する図である。 動き検出による動き情報の生成について説明する図である。 撮像処理を説明するフローチャートである。 １フレーム期間における各色のパルス発光について説明する図である。 プレーン画像を用いた動き検出について説明する図である。 撮像処理を説明するフローチャートである。 １フレーム期間における通常発光とパルス発光について説明する図である。 撮像処理を説明するフローチャートである。 通常発光とパルス発光について説明する図である。 撮像処理を説明するフローチャートである。 １フレーム期間における通常発光とパルス発光について説明する図である。 撮像部の構成例を示す図である。 撮像処理を説明するフローチャートである。 内視鏡システムの機能的な構成例を示す図である。 声帯を被写体とした入力画像のぶれについて説明する図である。 撮像処理を説明するフローチャートである。 出力画像の他の例について説明する図である。 内視鏡手術システムの構成例を示す図である。 コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈内視鏡システムの構成例〉
　図１は、本技術を適用した内視鏡システムの一実施の形態の構成例を示す図である。

　図１に示す内視鏡システム１１は、スコープ２１、カメラヘッド２２、光源装置２３、カメラコントロールユニット２４、操作入力装置２５、およびモニタ２６を有している。なお、以下では、カメラコントロールユニット２４を、適宜、CCU(Camera Control Unit)２４とも称することとする。

　この内視鏡システム１１は、主に医療用に用いられるものであり、被験者の内部にスコープ２１を挿入して、被験者内部の任意の部位（術部）の画像を術野の画像として撮像する内視鏡装置として機能するシステムである。なお、以下では被写体が患者等の被験者である場合を例として説明するが、内視鏡システム１１での撮像対象となる被写体は人以外の生体であっても勿論よい。

　スコープ２１は、例えば対物レンズなどのレンズからなる光学系を有する、被験者内部に挿入される鏡筒部であり、光源装置２３から入力された照明光を被写体に照射するとともに、被写体から入射した反射光を集光してカメラヘッド２２へと導く。

　すなわち、スコープ２１から被写体に照明光が照射されると、その照明光が被写体で反射されて反射光となる。スコープ２１は、この反射光を集光してカメラヘッド２２へと入射させる。なお、スコープ２１は軟性の鏡筒であってもよいし、硬性の鏡筒であってもよい。

　カメラヘッド２２は、スコープ２１と一体的に設けられており、例えばカメラ、すなわち撮像素子などからなる。カメラヘッド２２は、CCU２４の制御に従ってスコープ２１から入射した反射光を受光して光電変換することで被写体を撮像し、その結果得られた入力画像の画像データをCCU２４に供給する。このような入力画像は、例えば患者等の生体を被写体とする、手術等を行うときの術野の画像である。

　光源装置２３は、例えばレーザ光源やLED(Light Emitting Diode)光源などからなり、CCU２４の制御に従って特定波長帯域の光を照明光として出力し、スコープ２１に入射させる。例えば光源装置２３では、照明光として白色光などが出力されるようになされている。

　CCU２４は、内視鏡システム１１全体の動作を制御する。CCU２４は、光源制御装置３１、信号処理回路３２、検出部３３、およびメモリ３４を有している。

　光源制御装置３１は、信号処理回路３２の制御に従って光源装置２３による照明光の照射、つまり照明光の点灯および消灯を制御する。具体的には、例えば光源制御装置３１により、照明光の照射タイミングや照射期間、照明光の光量などの制御が行われる。

　また、光源制御装置３１は、光源装置２３による照明動作と、カメラヘッド２２による撮像動作とを同期させるための同期信号をカメラヘッド２２に供給する。

　信号処理回路３２は、カメラヘッド２２から供給された入力画像を検出部３３に供給して所定の特徴を検出させるとともに、検出部３３から供給された検出結果と、メモリ３４に記録されているデータとに基づいて適切な信号処理パラメータを生成する。さらに、信号処理回路３２は、信号処理パラメータに基づいてカメラヘッド２２から供給された入力画像に対して所定の信号処理を施し、その結果得られた出力画像をモニタ２６に供給する。

　検出部３３は、信号処理回路３２から供給された入力画像から、所定の特徴、例えば入力画像上の被写体の動きなどを検出し、その検出結果を信号処理回路３２に供給する。

　メモリ３４は、予め用意された変換パラメータ等の各種のデータや、信号処理回路３２から供給された信号処理結果等を記録したり、記録しているデータ等を信号処理回路３２に供給したりする。

　操作入力装置２５は、例えばボタンやスイッチ、モニタ２６に重畳されたタッチパネルなどからなり、内視鏡システム１１を操作する使用者により操作される。操作入力装置２５は、使用者の操作に応じた信号を信号処理回路３２や光源制御装置３１に供給する。

　モニタ２６は、例えば液晶表示パネルなどからなり、信号処理回路３２から供給された出力画像を表示する。

〈内視鏡システムの機能的な構成例〉
　次に、図１に示した内視鏡システム１１の機能的な構成例について説明する。図２は、内視鏡システム１１の機能的な構成例を示す図である。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２に示す内視鏡システム１１は、光源制御部６１、光源装置２３、撮像部６２、動き検出部６３、出力画像生成部６４、モニタ２６、およびレコーダ６５を有している。

　光源制御部６１は、例えば図１に示した光源制御装置３１に対応し、照明光の照射や入力画像の撮像のタイミングをとるための同期信号を光源装置２３および撮像部６２に供給する。

　光源装置２３は、光源制御部６１から供給された同期信号に基づいて、所定のタイミングでパルス発光し、被写体へと照明光を照射する。被写体へと照明光が照射されると、その照明光は被写体で反射されて反射光となり、撮像部６２で受光される。

　撮像部６２は、図１に示したカメラヘッド２２からなり、光源制御部６１から供給された同期信号に基づいて、被写体の撮像画像を入力画像として撮像し、動き検出部６３および出力画像生成部６４に供給する。すなわち、撮像部６２は、カメラを構成する撮像素子を有しており、被写体からの反射光を受光して光電変換することにより入力画像を得る。

　動き検出部６３は、撮像部６２から供給された入力画像に基づいて、その入力画像上における被写体の動きを検出し、その結果得られた動きベクトル等を、被写体の動きの検出結果を示す動き情報として出力画像生成部６４に供給する。動き検出部６３は、例えば図１の検出部３３により実現される。

　出力画像生成部６４は、動き検出部６３から供給された動き情報に基づいて、撮像部６２から供給された入力画像に対して手ぶれ補正等の動き補正を行い、その結果得られた出力画像をモニタ２６およびレコーダ６５に供給する。出力画像生成部６４は、例えば図１の信号処理回路３２により実現される。このように出力画像生成部６４が手ぶれ補正等の動き補正を行うときには、出力画像生成部６４は動き補正部として機能することになる。

　レコーダ６５は、例えば図１の信号処理回路３２に接続される不揮発性の記録部（図１においては不図示）などからなり、出力画像生成部６４から供給された出力画像を記録する。また、モニタ２６は、出力画像生成部６４から供給された出力画像を表示する。

〈内視鏡システムの処理について〉
　続いて、図２に示した内視鏡システム１１のより具体的な処理の例について説明する。

　例えば光源装置２３としては、パルス発光が可能なRGB白色光を発光するレーザ光源が用いられる。

　そのような場合、光源装置２３はＲ（赤）の波長成分の狭波長光を出力するＲ光源、Ｇ（緑）の波長成分の狭波長光を出力するＧ光源、Ｂ（青）の波長成分の狭波長光を出力するＢ光源、およびそれらの光源から出力された光を合成して出力する合成光学系を有する。

　したがって、光源装置２３から白色光が照明光として出力される場合、Ｒ光源、Ｇ光源、およびＢ光源から同時に光が出力され、それらの出力されたＲ成分の光、Ｇ成分の光、およびＢ成分の光が合成光学系により合成されて白色光とされ、光源装置２３から出力される。なお、ここでは光源装置２３から出力される所定波長成分の照明光が、白色光である例について説明するが、照明光はどのような波長帯域の光であってもよい。

　光源装置２３は、例えば図３に示すように入力画像の１フレーム分の期間に２回発光する。なお、図３において横軸は時間を示しており、図３中の下向きの矢印は、光源装置２３の発光タイミング、すなわち被写体への照明光の照射タイミングを表している。

　この例では、例えば期間Ｔ１が入力画像の１フレーム分の期間、つまり１フレーム分の入力画像を撮像するための露光期間を示しており、１フレーム分の期間Ｔ１内のうち、時刻ｔ１と時刻ｔ２のそれぞれの時刻に光源装置２３がパルス発光する。

　特にこの例においては、各パルス発光時には光源装置２３からは同じ波長成分の光、すなわちここでは白色光が出力されるようになされている。また、光源装置２３が一定時間間隔、すなわち一定周期でパルス発光するように発光制御が行われており、各フレームの期間で２回ずつ光源装置２３によるパルス発光が等間隔に行われる。

　例えば、60Pの動画像を入力画像として撮像する場合、入力画像の１フレーム期間は1/60sであるので、光源装置２３は1/120sに一度のタイミングで発光することになる。

　光源装置２３は、光源制御部６１から供給される同期信号に従って1/120s間隔で白色光を照明光としてパルス発光する。照明光が被写体に照射されると、被写体から反射光が撮像部６２に入射するので、撮像部６２は光源制御部６１からの同期信号により示されるタイミングで照明光を受光して光電変換する撮像動作を行う。

　この場合、撮像部６２は、例えば期間Ｔ１を露光期間としてその期間Ｔ１に対応するフレームの入力画像を撮像し、その結果得られた入力画像の画像データを動き検出部６３および出力画像生成部６４に供給する。

　動き検出部６３は、撮像部６２から供給された入力画像に対して動き検出を行い、その結果得られた動きベクトル等の動き情報を出力画像生成部６４に供給する。

　具体的には、図３に示したように入力画像の１フレーム期間に２度、照明光が照射される場合、入力画像上で動いている被写体があるときには、例えば図４に示すように被写体の像は２重像となる。

　なお、入力画像上で被写体が動く場合として、被写体自体が動いている場合、つまり被写体が動きのある動被写体である場合や、手振れ等により被写体に対して撮像部６２が動いている場合がある。すなわち、入力画像に対する動き検出の結果として得られる入力画像上における被写体の動きは、被写体自体の動き、撮像部６２の被写体に対する動き、またはそれらの両方の動きとなる。

　図４の例では、入力画像上には同一の被写体の像である被写体像MH11-1と被写体像MH11-2が写っている。なお、以下、被写体像MH11-1および被写体像MH11-2を特に区別する必要のない場合、単に被写体像MH11とも称する。

　例えば図４の入力画像が図３に示した期間Ｔ１に撮像されたものであるとすると、２つの被写体像MH11のうちの一方は、図３に示した時刻ｔ１のタイミングで撮像部６２に入射した反射光による像であり、他方の被写体像MH11は時刻ｔ２のタイミングで撮像部６２に入射した反射光による像である。

　このように露光期間に光源装置２３が２度パルス発光する場合、入力画像には同じ被写体の像が２つ含まれることになるが、これらの２つの被写体像のうちのどちらがどの時刻のものであるかは区別することができない。

　動き検出部６３は、処理対象のフレームの入力画像における所望の１つの領域を注目領域AR11とし、その注目領域AR11を中心とする所定の矩形の領域を探索範囲SR11とする。すなわち、注目領域AR11に対して、図中、上下左右の検出対象とする動き範囲分の矩形領域がサーチ領域である探索範囲SR11とされる。

　動き検出部６３は、探索範囲SR11内における各位置の注目領域AR11と同じ大きさの領域を比較領域とし、比較領域を移動させながらサーチ（探索）を行う。

　この例では、探索範囲SR11内の図中、左上の比較領域CR11-1から、探索範囲SR11内の図中、右下の比較領域CR11-2までラスタスキャン順にサーチが行われる。なお、以下、比較領域CR11-1や比較領域CR11-2など、探索範囲SR11内の比較領域を特に区別する必要のない場合、単に比較領域CR11とも称することとする。

　動き検出部６３は、各比較領域CR11について、注目領域AR11と比較領域CR11との自己相関係数を求める。

　具体的には、注目領域AR11内のi番目の画素の画素値をXiとし、比較領域CR11内のi番目の画素の画素値をYiとすると、動き検出部６３は次式（１）を計算することで自己相関係数Ｒを算出する。

　なお、式（１）において、Xaは注目領域AR11内の全画素の画素値の平均値を示しており、Yaは比較領域CR11内の全画素の画素値の平均値を示している。

　このような自己相関係数Ｒを探索範囲SR11内の全ての比較領域CR11に対して求めると、注目領域AR11と同じ領域が比較領域CR11となったときに自己相関係数Ｒは最大値、つまり自己相関係数Ｒ＝１となる。

　また、自己相関係数Ｒが２番目に大きい極大値となる比較領域CR11が、注目領域AR11にある被写体と同じ被写体が写っている領域となる。すなわち、注目領域AR11から、その注目領域AR11内の被写体の動きを示す動きベクトルの分だけずれた先の領域となる。

　この例では、注目領域AR11と比較領域CR11-3との組み合わせの自己相関係数Ｒが２番目に大きい極大値となる。そのため、注目領域AR11の中心と、比較領域CR11-3の中心とを結ぶ矢印（ベクトル）、つまり注目領域AR11と比較領域CR11-3との間の位置の変位が注目領域AR11についての動きベクトルとなる。

　このようにして動き検出部６３は、処理対象のフレームの入力画像における注目領域について被写体の動きを算出する。

　但し、入力画像に含まれる同一の被写体の像、つまり被写体の２重像から動きを求める場合、２次元動きベクトルの各成分の大きさは求めることができるが、動きベクトルの方向を求めることはできない。

　例えば図５に示すように、注目領域AR11に対して、自己相関係数Ｒが２番目に大きい極大値となる領域として比較領域CR11-3が求められたとする。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　この場合、注目領域AR11と比較領域CR11-3とを結ぶベクトルが動きベクトルとなる。しかし、１フレーム分の入力画像からは、矢印MV11に示すように、被写体が注目領域AR11の位置から比較領域CR11-3の位置へと移動したのか、または矢印MV12に示すように、被写体が比較領域CR11-3の位置から注目領域AR11の位置へと移動したのかを判別することができない。

　そこで、動き情報として動きの方向が必要である場合には、複数のフレームの入力画像、具体的には、例えば処理対象のフレームの入力画像と、その処理対象のフレームの直前のフレームの入力画像とを用いて動きの方向を求めるようにすればよい。そのような場合には、一般的なフレーム間の動きベクトル検出における場合と同様の方式を利用して動きの方向を求めることが可能である。

　例えば図６に示すように、最も新しい時刻のフレームであるframe2と、そのframe2の直前のフレームであるframe1とがあるとする。

　これらのframe1とframe2とでは、動き検出部６３は、それぞれフレーム内での動き検出を行って、それらの各フレームの入力画像における被写体の動きベクトルの大きさ、つまり動きベクトルのｘ方向やｙ方向といった各方向の成分の大きさを求める。

　これに対して動き検出部６３は、例えばframe1とframe2の各フレームの入力画像を用いてフレーム間でブロックマッチング等の動き検出を行い、その結果得られた動きベクトルの方向（向き）を、最新のframe2における被写体の動きの方向とする。

　そして、動き検出部６３は、このようにして得られた動きベクトルの大きさ、つまり各方向の成分の大きさと、動きベクトルの方向（向き）とから求まる動きベクトルを、検出された動きを示す動き情報とする。

　通常、入力画像に対して動き検出を行い、その結果得られた動き情報を用いて手ぶれ補正等の動き補正を行う場合、frame1とframe2の間の動きを検出し、その検出結果をframe2の次のフレーム（以下、frame3と称する）に適用することになる。しかし、この場合、frame3とは時間的に離れたframe1の情報が用いられるため、高精度に動きを検出することができない。

　これに対して、内視鏡システム１１では、動き検出の結果の適用先となるframe3の直前のframe2のみから動きを検出するため、直近の２フレームを用いる場合と比べて、より新しい情報を用いて動きを検出していることになる。例えばframe3における動きを推定する場合、そのframe3により近いフレームの情報を用いた方が動きの推定精度は高くなる。このことから、直近の２フレームを用いる場合よりもframe2のみから動きを検出する場合の方が、より高精度に動きを検出可能であることが分かる。

　なお、動き情報として動きベクトルを得る場合には、内視鏡システム１１においても動きベクトルの方向を検出するためにframe2だけでなく、その前のframe1も用いられる。しかし、動きベクトルの向きは急に逆になることは稀であるので、動きベクトルの方向を求めるためにframe1とframe2を用いたとしても、結果的に動き情報として得られる動きベクトルの検出精度が低下してしまうことはない。

　内視鏡システム１１では、急激に変化することが殆どない動きベクトルの方向（向き）については直近２フレームを用いて検出し、検出精度に対する影響が大きい動きベクトルの各成分の大きさ、つまり細かい動きの変化については最新のフレームのみを用いて検出を行うことで、より高精度な動き検出を実現することができる。

　なお、以上においては入力画像上の１つの注目領域に対する動きベクトルを動き情報として求める例について説明したが、入力画像全体に対して複数の領域ごとに動きベクトルを求めて動き情報とするようにしてもよい。また、入力画像全体に対して１つの動きベクトルを求めて動き情報とするようにしてもよい。

　さらに以上においては動きベクトルを求める方法として、自己相関係数を算出する方法を例として説明したが、その他、例えば勾配法など、他のマッチング方式により動きベクトルを求めるようにしてもよい。

　動き検出部６３は、以上のようにして求めた動きベクトルを動き情報として出力画像生成部６４に供給する。

　出力画像生成部６４は、動き検出部６３から供給された動き情報を用いて、例えば撮像部６２から供給された入力画像に対して、動き情報から求まる動き量分を補正する動き補正を行うことで出力画像を生成する。例えば動き補正として手ぶれ補正などが行われる。

　具体的には、例えば出力画像生成部６４は、処理対象のフレームの直前のフレームで得られた動き情報としての動きベクトルから推定される、処理対象のフレームにおける動きベクトルに基づいて入力画像に対する手ぶれ補正を行う。この場合、例えば処理対象のフレームの入力画像が、動きベクトルの向きと反対の方向に、その動きベクトルの大きさの分だけずらされて出力画像とされる。

　また、その他、入力画像に含まれる２重像に対する補正が動き補正として行われるようにしてもよい。上述したように入力画像の撮像動作は、２度のパルス発光が行われる多重露光となっているため、被写体に動きがある場合には、入力画像にはその被写体の像が２つ含まれている。そこで、出力画像生成部６４は、動き情報を用いて入力画像に含まれる同一被写体の２つの像のうちの一方を除去する画像処理を入力画像に対して施し、出力画像とするようにしてもよい。

　出力画像生成部６４は、このようにして生成した出力画像をレコーダ６５に供給して記録させたり、モニタ２６に供給して表示させたりする。

　以上のように内視鏡システム１１では、動き情報としての動きベクトルの各成分の大きさについては、最新の１フレーム分の入力画像、すなわち１つの入力画像から求めることができる。これにより、より高精度に入力画像上の被写体の動きを検出することができる。

　また、内視鏡システム１１では、求めた動き情報を直ちに次フレームの動き補正処理に利用することができ、遅延を最小限に抑えて出力画像を得ることができる。

　さらに、別の例として動き検出部６３で得られた注目領域の動き情報から、出力画像生成部６４において被写体の動きのない時刻（フレーム）を検出し、被写体の動きのない時刻に撮像された入力画像から、被写体の観察用の画像である出力画像を生成するようにしてもよい。また、被写体の動きのない状態が検出されたときに、信号処理回路３２が撮像部６２を制御して、直ちに被写体が動いていない状態で通常発光等により入力画像を新たに撮像させ、得られた入力画像から観察用の出力画像を生成するようにしてもよい。

　これらの場合、入力画像において被写体の像が２重になることはないため動き補正は不要であり、出力画像としてぶれのない静止画像を得ることができる。

　例えば動きのない時刻は、動き情報としての動きベクトルが０または略０となる時刻である。そのような時刻は、例えば自己相関係数が２番目に大きい極大値となる比較領域がない時刻や、自己相関係数の２番目に大きい極大値が所定の閾値以下となる時刻である。

　また、被写体の動きのない状態の出力画像を得たい場合には、動きの有無のみが分かればよいので動きの方向については不要である。したがって、そのような場合には、動きベクトルの各成分の大きさのみが動き情報として検出されるようにしてもよい。

　動きのない時刻を検出して出力画像を生成する方法は、例えば診断に用いるぶれのない静止画像を取得する場合などに特に有効である。

　以上のような内視鏡システム１１は、特に手ぶれ補正処理を行う場合や、動きのない静止画像を取得する場合に効果的である。

　被写体の動きが大きい場合、通常の動き検出では動きぼけによって検出精度が低下するが、内視鏡システム１１では、露光時にパルス発光を行うので、動きぼけの少ない入力画像を取得することができ、速い動きに対しても高精度に動き検出が可能である。また、パルス発光を行うことで、実質的な露光時間が短くなるため、高速で変化する動きや速い周期で振動するような動きについても、その動きを高精度に検出することが可能である。

〈撮像処理について〉
　次に、図７のフローチャートを参照して、内視鏡システム１１が出力画像を生成する処理の流れについて説明する。すなわち、以下、図７のフローチャートを参照して、内視鏡システム１１による撮像処理について説明する。

　ステップＳ１１において、光源装置２３は、光源制御部６１の制御に従ってパルス発光を行う。すなわち、光源装置２３は、光源制御部６１からの同期信号により示されるタイミングで、１フレーム期間に２回ずつパルス発光を行う。

　ステップＳ１２において、撮像部６２は光源制御部６１から供給された同期信号に基づいて入力画像の撮像を行う。

　すなわち、撮像部６２は、入射した反射光を受光して光電変換し、入力画像を得る。この例では、１フレーム期間、つまり露光期間に２度のパルス発光が行われるので、入力画像は、各パルス発光時の被写体の像を含む多重露光画像となる。撮像部６２は、得られた入力画像を動き検出部６３および出力画像生成部６４に供給する。

　ステップＳ１３において、動き検出部６３は、撮像部６２から供給された１フレーム分の入力画像に基づいてフレーム内動き検出を行う。

　すなわち、動き検出部６３は、入力画像の注目領域について上述した式（１）の計算を行うことで、２番目に大きい極大値となる比較領域を検出し、処理対象のフレームの動きベクトルの各成分の大きさを求める。

　ステップＳ１４において、動き検出部６３は、処理対象フレームの入力画像と、処理対象フレームの直前のフレームの入力画像とに基づいてフレーム間動き検出を行う。

　すなわち、動き検出部６３は、直近２フレーム分の入力画像に基づいてブロックマッチング等を行うことにより、動きベクトルの向き（方向）を検出する。なお、ここでは直近２フレーム分の入力画像を用いて、入力画像上における被写体の動きとしての動きベクトルの方向を検出する例について説明した。しかし、この例に限らず複数の異なるフレーム、つまり複数の異なる時刻の入力画像を用いて動きベクトルの方向を検出すればよい。

　これらのステップＳ１３およびステップＳ１４の処理により、処理対象フレームについての動きベクトルが得られる。動き検出部６３は、このようにして得られた動きベクトルを動き情報として出力画像生成部６４に供給する。

　なお、より詳細には、ステップＳ１３およびステップＳ１４の処理は同時に、つまり並行して行われる。

　ステップＳ１５において、出力画像生成部６４は、動き検出部６３から供給された動き情報に基づいて、撮像部６２から供給された入力画像に対して動き補正を行い、出力画像を生成する。

　例えばステップＳ１５では、処理対象のフレームの直前のフレームについて得られた動き情報に基づいて、処理対象のフレームの入力画像に対する手ぶれ補正処理が動き補正として行われ、出力画像が生成される。この場合、ステップＳ１３およびステップＳ１４で求められた動き情報は、次のフレームで用いられるので、これらのステップＳ１３およびステップＳ１４の処理と同時にステップＳ１５の処理が行われるようにしてもよい。また、ステップＳ１３およびステップＳ１４の処理が行われる前にステップＳ１５の処理が行われるようにしてもよい。なお、リアルタイム性が要求されない場合には、処理対象フレームについて得られた動き情報が用いられて、その処理対象フレームの入力画像に対する動き補正が行われるようにしてもよい。

　ステップＳ１６において、出力画像生成部６４は、ステップＳ１５の処理により得られた出力画像をレコーダ６５やモニタ２６に出力し、撮像処理は終了する。これにより、出力画像がレコーダ６５に記録されたり、出力画像がモニタ２６に表示されたりする。

　以上のようにして内視鏡システム１１は、１フレーム期間に複数回のパルス発光を行って１フレーム分の入力画像から動き、特に動きベクトルの各成分の大きさを検出する。これにより、少ない遅延でより高精度に動きを検出することができる。

〈第２の実施の形態〉
〈動き検出について〉
　また、第１の実施の形態では、光源装置２３としてRGB白色光を発光するレーザ光源を用いる例について説明した。しかし、光源装置２３は、例えばR、G、およびBの各色成分のレーザを順次パルス発光可能なレーザ光源などとされてもよい。

　そのような場合、例えば図８に示すように、光源装置２３は１フレームの期間にＲ（赤）、Ｇ（緑）、およびＢ（青）の各色成分の光を１度ずつ順番にパルス発光する。換言すれば、１フレームの期間内の複数回のパルス発光のそれぞれにおいて、互いに異なる色成分の光、つまり互いに異なる波長成分の光が光源装置２３から出力されるように光源制御部６１による発光制御が行われる。なお、図８において横方向は時間を示している。

　この実施の形態では、光源装置２３はＲ光源、Ｇ光源、およびＢ光源を有しており、それらの光源を独立して順番にパルス発光させることで、Ｒ成分の光、Ｇ成分の光、およびＢ成分の光を順番に照明光として射出することができるようになされている。

　図８では、矢印Ｑ１１に示す部分は入力画像のフレームの同期信号を示している。すなわち、矢印Ｑ１１に示す部分において図中、下に突となっている部分がフレームの境界位置となっている。

　また、矢印Ｑ１２乃至矢印Ｑ１４に示す部分のそれぞれは、Ｒ成分の光、Ｇ成分の光、およびＢ成分の光のそれぞれについての露光のタイミングを示している。例えば矢印Ｑ１２に示す部分では、図中、上に突となっている期間がＲ成分の光についての１フレーム分の露光期間となっている。特に、この例では各フレームにおいてＲ成分の光、Ｇ成分の光、およびＢ成分の光のそれぞれの露光タイミングは同じとなっている。

　さらに、矢印Ｑ１５に示す部分は、光源装置２３によるパルス発光の発光タイミングを示している。特に実線で描かれた部分はＲ光源によるＲ成分の光の発光タイミングを示しており、点線で描かれた部分はＧ光源によるＧ成分の光の発光タイミングを示しており、一点鎖線で描かれた部分はＢ光源によるＢ成分の光の発光タイミングを示している。

　この例では、例えば期間Ｔ２１が入力画像の１フレーム分の期間を示しており、この期間Ｔ２１内に３度のパルス発光が行われる。すなわち、まず時刻ｔ２１にパルス発光によりＲの色の光、つまりＲ成分の照明光が出力され、続いて時刻ｔ２２にパルス発光によりＧ成分の照明光が出力され、その後、時刻ｔ２３にパルス発光によりＢ成分の照明光が出力される。

　例えば60Pの動画像を入力画像として撮像する場合、入力画像の１フレーム期間は1/60sであるので、光源装置２３は1/180sに一度のタイミングでＲ、Ｂ、およびＧの順に発光することになる。特に各色成分の光に注目すると、同じ色の光は1/60sに一度のタイミングで発光されることになる。

　また、撮像部６２では、光源装置２３の発光タイミングに合わせて露光が行われるが、例えば撮像部６２がベイヤ配列の単板センサである場合、撮像部６２の撮像面にはＲ、Ｇ、およびＢの各色成分の光のみを透過させるカラーフィルタが画素ごとに設けられている。すなわち、撮像部６２の撮像面には、Ｒ成分の光のみを受光するＲ画素、Ｇ成分の光のみを受光するＧ画素、およびＢ成分の光のみを受光するＢ画素が設けられている。

　図８の例では、各色成分の露光タイミングは全て同じであり、１フレーム分の露光によって得られる画像はＲ画素、Ｇ画素、およびＢ画素が含まれる、いわゆるローデータと呼ばれる画像（以下、ロー画像と称する）となる。

　そのため、ロー画像からＲ画素を抽出して適宜、補間処理等を行うと、Ｒ画素のみからなる、つまりＲ成分のみの値を有するＲ画像が得られる。同様に、ロー画像からＧ画素を抽出して適宜、補間処理等を行うとＧ画素のみからなるＧ画像が得られ、ロー画像からＢ画素を抽出して適宜、補間処理等を行うとＢ画素のみからなるＢ画像が得られる。

　換言すれば、ロー画像の撮像によって、Ｒ画素から出力された画素信号であるＲ信号からＲ画像が得られ、Ｇ画素から出力された画素信号であるＧ信号からＧ画像が得られ、Ｂ画素から出力された画素信号であるＢ信号からＢ画像が得られる。つまり１つのロー画像に対してデモザイク処理を行うことで、そのロー画像からＲ、Ｇ、およびＢの色成分ごとにＲ画像、Ｇ画像、およびＢ画像というプレーン画像が得られる。

　このように撮像部６２が各色成分の画素を有する場合、各色成分の光の発光タイミングは異なるが、各色成分の露光期間は、例えば１フレーム分の期間など、同じ期間とすることができる。すなわち、１フレーム期間内で色成分ごとに異なるタイミングでパルス発光を行うことで、撮像された１フレーム分のロー画像から、互いに異なる時刻の像を含む色成分ごとのプレーン画像を得ることができる。

　なお、図８では説明を簡単にするため、撮像部６２において全画素一斉に露光が行われるグローバルシャッタで撮像が行われる例について説明した。しかし、画素行ごとに露光と読み出しを行うローリングシャッタで撮像が行われる場合においても同様にしてＲ画像、Ｇ画像、およびＢ画像を得ることができる。

　このようにして１フレーム分のロー画像から得られた３つの色成分ごとのプレーン画像の実質的な撮像時刻は、それぞれ1/3フレーム分の時間ずつずれている。そこで、動き検出部６３では、これらの同じフレームのＲ画像、Ｇ画像、およびＢ画像を用いてフレーム内動き検出を行い、注目領域の被写体の動きを検出する。

　この場合、例えば図９に示すように１フレーム分の期間での撮像により、３つのプレーン画像であるＲ画像Ｐ１１、Ｇ画像Ｐ１２、およびＢ画像Ｐ１３が得られる。

　この例では、Ｒ画像Ｐ１１では被写体像MH21-1が観察されており、Ｇ画像Ｐ１２では被写体像MH21-2が観察されており、Ｂ画像Ｐ１３では被写体像MH21-3が観察されている。これらの被写体像MH21-1乃至被写体像MH21-3は、同じ被写体の異なる時刻の像となっている。なお、以下、被写体像MH21-1乃至被写体像MH21-3を特に区別する必要のない場合、単に被写体像MH21とも称することとする。

　Ｒ画像Ｐ１１乃至Ｂ画像Ｐ１３は互いに異なる時刻の像の画像であるので、それらの画像を重ね合わせると、例えば図中、下側に示すように各画像で観察される被写体像MH21が少しずつずれていることが分かる。

　動き検出部６３は、Ｒ画像Ｐ１１乃至Ｂ画像Ｐ１３を用いて、例えば一般的な動き検出手法により注目領域AR21の動きベクトルを求める。

　すなわち、例えば動き検出部６３は、Ｒ画像Ｐ１１上の所望の注目領域AR21に対して、その注目領域AR21との自己相関係数が最大となる比較領域を、Ｇ画像Ｐ１２およびＢ画像Ｐ１３のそれぞれから検出する。

　そして、動き検出部６３は、Ｒ画像Ｐ１１上の注目領域AR21と、Ｇ画像Ｐ１２上の自己相関係数が最大となる比較領域と、Ｂ画像Ｐ１３上の自己相関係数が最大となる比較領域との位置関係から、注目領域AR21の被写体の動きベクトルを求める。

　なお、この例ではＲ画像Ｐ１１乃至Ｂ画像Ｐ１３のそれぞれに含まれる被写体像の時刻の順序関係が既知であるため、動きベクトルの各成分の大きさだけでなく動きの方向も得ることができ、１フレーム分の情報のみから動きベクトルを算出することができる。

〈撮像処理について〉
　次に、内視鏡システム１１においてＲ、Ｇ、およびＢの各色成分の光を順番にパルス発光する場合に行われる処理について説明する。すなわち、以下、図１０のフローチャートを参照して、内視鏡システム１１による撮像処理について説明する。

　ステップＳ４１において、光源装置２３は、光源制御部６１の制御に従ってＲ、Ｇ、およびＢの色成分ごとにパルス発光を行う。

　すなわち、光源装置２３は、光源制御部６１からの同期信号により示されるタイミングで、１フレーム期間にＲ、Ｂ、およびＧの順番に各色につき１回ずつ、合計３回のパルス発光を行う。

　ステップＳ４２において、撮像部６２は光源制御部６１から供給された同期信号に基づいて入力画像の撮像を行う。すなわち、撮像部６２は、入射した反射光を受光して光電変換することで、ロー画像を入力画像として撮像する。そして、撮像部６２はロー画像に基づいて、Ｒ画素のみからなるＲ画像、Ｇ画素のみからなるＧ画像、およびＢ画素のみからなるＢ画像をプレーン画像として得て、それらの各色成分のプレーン画像を最終的な入力画像として動き検出部６３および出力画像生成部６４に供給する。なお、ロー画像が入力画像として出力され、後段の出力画像生成部６４等において、ロー画像から各色成分のプレーン画像が生成されるようにしてもよい。

　ステップＳ４３において、動き検出部６３は、撮像部６２から供給された１フレーム分の入力画像、すなわち１フレーム分のＲ画像、Ｇ画像、およびＢ画像に基づいてフレーム内動き検出を行って動きベクトルを算出し、その動きベクトルを動き情報として出力画像生成部６４に供給する。

　動き情報が得られると、その後、ステップＳ４４およびステップＳ４５の処理が行われて撮像処理は終了するが、これらの処理は図７のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。

　但し、ステップＳ４４では、例えば入力画像としての各色成分のプレーン画像のそれぞれに対して、動き補正として手ぶれ補正処理が行われ、手振れ補正が行われた各色成分のプレーン画像が合成されたＲ、Ｇ、およびＢの各色成分の画素を有するカラーの出力画像が生成される。

　以上のようにして内視鏡システム１１は、１フレーム期間に複数の色ごとに異なるタイミングでパルス発光を行い、１フレーム分の入力画像から動きを検出して、その検出結果を用いて出力画像を生成する。これにより、少ない遅延でより高精度に動きを検出することができる。

〈第３の実施の形態〉
〈動き検出について〉
　ところで、以上においては、観察用の出力画像を生成するための入力画像から被写体の動きを検出する例について説明したが、出力画像を生成するための入力画像と、動き検出に用いる画像（以下、検出用画像とも称する）とを異なる画像とするようにしてもよい。より詳細には、入力画像と検出用画像とを同じ動画像の異なる時刻の画像としてもよい。

　そのような場合、例えば図１１に示すように動き検出用の期間、つまり検出用画像のためのフィールドと、通常光用の期間、つまり入力画像のためのフィールドとをシーケンシャルに分けるようにすればよい。

　なお、図１１において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また図１１において横方向は時間を示しており、図１１中の下向きの矢印は、光源装置２３の発光タイミングを示している。

　図１１に示す例では、入力画像（出力画像）の１フレーム分の期間が連続する２つのフィールドに分割されている。すなわち、例えば期間Ｔ３１は入力画像の１フレーム分の期間となっており、その期間Ｔ３１が２つの期間Ｔ４１と期間Ｔ４２とに分けられている。

　ここで、期間Ｔ４１は入力画像を得るための１フィールド分の期間、つまり入力画像の露光のための期間とされ、期間Ｔ４１の間、光源装置２３は白色光を通常発光する。すなわち、光源装置２３は、期間Ｔ４１の間継続して白色光を被写体に照射し続ける。

　この例では、光源装置２３は第１の実施の形態と同様に、白色光を発光するレーザ光源とされているが、通常発光時の照明光を発光する光源と、動き検出のための照明光をパルス発光する光源とを異なる光源とするようにしてもよい。

　例えば光源装置２３によりパルス発光を行って入力画像を撮像すると、露光期間中、継続して白色光を発光した場合と比べて光量が少なくなるため、入力画像上で被写体を観察するには明るさが不足してしまうことがある。

　そこで、図１１に示す例では入力画像の１フレーム分の期間Ｔ３１のうちの半分の期間Ｔ４１を１フィールドの期間とし、この１フィールド分の期間中、継続して光源装置２３から白色光を出力させるとともに、期間Ｔ４１を入力画像の露光のための期間としている。

　また、期間Ｔ４１に続く期間Ｔ４２では、第１の実施の形態と同様に光源装置２３を２度パルス発光させる１フィールド分の期間とされる。すなわち、期間Ｔ４２では、まず時刻ｔ３１に光源装置２３をパルス発光させて白色光を被写体に照射させ、その後、時刻ｔ３２に再び光源装置２３をパルス発光させて白色光を被写体に照射させる。

　このように２度のパルス発光が行われる１フィールド分の期間Ｔ４２は、入力画像の露光期間ではなく、被写体（注目領域）の動きを検出するための検出用画像の露光期間とされる。

　したがって、例えば出力画像のフレームレートが60fpsである場合、１フレーム分の期間Ｔ３１の長さは1/60sとされ、期間Ｔ４１と期間Ｔ４２は、それぞれ1/120sなどとされる。

　見方を変えると、この例では１フレーム分の期間に所定波長成分の光、つまり白色光を継続して出力する第１の露光期間と、白色光を複数回パルス発光する第２の露光期間とを設け、その１フレーム分の期間に２つの画像を撮像しているということができる。そして、第１の露光期間で得られた画像が出力画像を生成するための入力画像として用いられ、第２の露光期間で得られた画像が動きを検出するための検出用画像として用いられる。

　なお、ここでは１フレーム期間を２つのフィールドに分割する例について説明するが、入力画像を得るための期間と、検出用画像を得るための期間とをそれぞれ１フレーム期間とし、それらの期間を交互に設けるようにしてもよい。

　この場合、撮像された動画像を構成する複数のフレームのうち、白色光を継続して出力する第１の露光期間のフレームが入力画像として用いられ、白色光を複数回パルス発光する第２の露光期間のフレームが検出用画像として用いられる。

　図１１に示す例では、入力画像を得るための１フィールド分の期間と、その期間に続く、検出用画像を得るための１フィールド分の期間とからなる１フレーム分の期間が連続して時間方向に並ぶように発光制御と撮像制御が行われる。換言すれば、入力画像を得るためのフィールドと、検出用画像を得るためのフィールドとが交互に並ぶように発光制御と撮像制御が行われる。

　この場合、通常の発光が行われるフィールドでは、撮像部６２により撮像された画像が入力画像とされて出力画像生成部６４に供給される。これに対して、パルス発光を行うフィールドでは、撮像部６２により撮像された画像が検出用画像として動き検出部６３に供給される。

　そして、動き検出部６３では、供給された検出用画像から第１の実施の形態における場合と同様にして動きベクトルが算出され、得られた動きベクトルが動き情報として出力画像生成部６４に供給される。

　さらに、出力画像生成部６４では、適宜、動き検出部６３から供給された動き情報に基づいて、撮像部６２から供給された入力画像に対して手ぶれ補正処理等の動き補正が行われ、出力画像が生成される。

〈撮像処理について〉
　次に、内視鏡システム１１において１フレーム期間を入力画像を得るためのフィールドと、検出用画像を得るためのフィールドとに分ける場合に行われる処理について説明する。すなわち、以下、図１２のフローチャートを参照して、内視鏡システム１１による撮像処理について説明する。

　ステップＳ７１において、光源装置２３は、光源制御部６１の制御に従って通常発光を行う。すなわち、光源装置２３は、光源制御部６１からの同期信号により示されるタイミングで、１フィールド分の期間、継続して発光し、白色光を被写体に照射する。

　ステップＳ７２において、撮像部６２は光源制御部６１から供給された同期信号に基づいて入力画像の撮像を行い、得られた入力画像を出力画像生成部６４に供給する。

　ステップＳ７３において、光源装置２３は、光源制御部６１の制御に従ってパルス発光を行う。すなわち、ステップＳ７３では図７のステップＳ１１と同様の処理が行われて、１フィールド期間の間に２度のパルス発光が行われる。

　ステップＳ７４において、撮像部６２は光源制御部６１から供給された同期信号に基づいて検出用画像の撮像を行う。

　すなわち、撮像部６２は、パルス発光を行う１フィールド期間の全部または一部の期間を露光期間として入射した反射光を受光して光電変換し、検出用画像を得る。この例では、１フィールド期間に２度のパルス発光が行われるので、検出用画像は、各パルス発光時の被写体の像を含む多重露光画像となる。撮像部６２は、得られた検出用画像を動き検出部６３に供給する。

　このようにして１フレーム分の期間において、入力画像と検出用画像が得られると、その後、ステップＳ７５乃至ステップＳ７８の処理が行われて撮像処理は終了するが、これらの処理は図７のステップＳ１３乃至ステップＳ１６の処理と同様であるので、その説明は省略する。

　但し、ステップＳ７５およびステップＳ７６では、検出用画像に基づいてフレーム内動き検出とフレーム間動き検出が行われて、動き情報が求められる。また、ステップＳ７５とステップＳ７６の処理は並行して行われる。さらにステップＳ７７では、入力画像に対して動き補正が行われ、出力画像が生成される。

　以上のようにして内視鏡システム１１は、１フレーム期間のうちの前半の１フィールドの期間に通常発光を行って入力画像を得るとともに、１フレーム期間の後半の１フィールドの期間にパルス発光を行って検出用画像を得る。そして、内視鏡システム１１は、検出用画像から動きを検出して、その検出結果と入力画像とを用いて出力画像を生成する。これにより、少ない遅延でより高精度に動きを検出することができる。

〈第４の実施の形態〉
〈動き検出について〉
　また、通常発光を行って入力画像を得る期間と、パルス発光を行って検出用画像を得る期間とを分ける場合、基本的には通常発光を行い、必要に応じて一時的にパルス発光を行うようにしてもよい。

　そのような場合、例えば図１３に示すように通常発光とするか、またはパルス発光とするかをフレーム単位で切り替え、パルス発光とするフレームでは補間処理により入力画像を得るようにしてもよい。なお、図１３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また図１３において横方向は時間を示しており、図１３中の下向きの矢印は、光源装置２３の発光タイミングを示している。

　図１３に示す例では、白色光を継続して出力する第１の露光期間と、白色光を複数回パルス発光する第２の露光期間とが設けられている。そして、撮像された動画像を構成する複数のフレームのうち、第１の露光期間のフレームの画像が入力画像として用いられ、第２の露光期間のフレームの画像が検出用画像として用いられている。

　このように内視鏡システム１１では、撮像された動画像の一部のフレームが入力画像として用いられ、他の一部のフレームが検出用画像として用いられるが、以下では、各フレームで入力画像や検出用画像を撮像するとも称することとする。

　図１３では、所定の１フレーム分の期間Ｔ５１では、例えば図１１の期間Ｔ４１と同様に光源装置２３が白色光を継続して発光（通常発光）し、この期間Ｔ５１が入力画像の露光のための期間とされる。つまり、期間Ｔ５１が終了すると、１フレーム分の入力画像が得られる。

　また、期間Ｔ５１に続く１フレーム分の期間Ｔ５２では、図１１の期間Ｔ４２と同様に光源装置２３が２度パルス発光し、検出用画像が撮像される。換言すれば、期間Ｔ５２は露光期間中に２度のパルス発光が行われる期間とされ、この期間Ｔ５２で得られた１フレーム分の画像が検出用画像として用いられる。

　期間Ｔ５２に続く４つの１フレーム分の各期間では、それぞれ光源装置２３が白色光を通常発光し、各フレームの入力画像が撮像され、その後の１フレーム分の期間Ｔ５３では、期間Ｔ５２と同様に光源装置２３が２度パルス発光し、検出用画像が撮像される。

　このように図１３に示す例では、通常発光が行われるフレームの間に部分的にパルス発光が行われるフレームが挿入されている。なお、通常発光を行うフレームの間に挿入されるパルス発光を行うフレーム（露光期間）の間隔は等間隔でもよいし、不等間隔でもよい。

　例えば複数回のパルス発光を行うフレームを不等間隔に並べて設ける場合、信号処理回路３２が使用者の操作入力等に応じて撮像部６２や光源制御部６１を制御し、任意のタイミングでパルス発光を行うフレームを挿入することができるようにしてもよい。すなわち、信号処理回路３２が任意のタイミングで入力画像を撮像するか、または検出用画像を撮像するかを切り替えることができるようにしてもよい。

　このような場合、例えば期間Ｔ５１など、通常発光を行うフレームでは、出力画像生成部６４は、撮像により得られた１フレーム分の入力画像から出力画像を生成する。

　また、例えば期間Ｔ５２など、パルス発光を行うフレームでは、動き検出部６３は、第１の実施の形態と同様の方法により、検出用画像から動きベクトルを求めて動き情報とする。動きの方向を求める際には、例えば処理対象となっているパルス発光を行うフレームに最も近い、パルス発光を行った過去のフレームの検出用画像を用いてもよいし、処理対象となっているパルス発光を行うフレームに時間的に隣接する通常発光を行うフレームの入力画像を用いてもよい。

　さらに、期間Ｔ５２など、パルス発光を行うフレームでは入力画像が得られないため、このフレームでは少なくとも直前のフレームの入力画像と、動き情報とから動き補償が行われて補間処理により入力画像が生成される。

　具体的には、例えば出力画像生成部６４は、動き検出部６３から供給された期間Ｔ５２のフレームで得られた動き情報を用いて、期間Ｔ５１のフレームの入力画像に対して動き補償を行い、期間Ｔ５２のフレームの入力画像を生成する。

　なお、期間Ｔ５２のフレームの入力画像の生成は、そのフレームの前後に隣接する複数のフレームの入力画像を用いて行うようにしてもよい。例えば期間Ｔ５１のフレームの入力画像と、期間Ｔ５２のフレームの直後のフレームの入力画像とから動き情報を用いた動き補償、つまり補間処理を行って、期間Ｔ５２のフレームの入力画像を生成してもよい。

　また、各フレームの入力画像について動き補正を行う場合には、そのフレームの動き情報、またはそのフレームに最も近い、過去のフレームの動き情報が用いられる。

〈撮像処理について〉
　次に、内視鏡システム１１において通常発光を行うフレームの間に、適宜、パルス発光を行うフレームを挿入する場合に行われる処理について説明する。すなわち、以下、図１４のフローチャートを参照して、内視鏡システム１１による撮像処理について説明する。

　ステップＳ１０１において、光源制御部６１は、処理対象となっている現フレームが動き検出用のフレームであるか否か、すなわちパルス発光を行うフレームであるか否かを判定する。

　ステップＳ１０１において動き検出用のフレームであると判定された場合、処理はステップＳ１０２に進み、ステップＳ１０２乃至ステップＳ１０５の処理が行われて、検出用画像の撮像と動き情報の生成が行われる。なお、これらのステップＳ１０２乃至ステップＳ１０５の処理は、図１２のステップＳ７３乃至ステップＳ７６の処理と同様であるので、その説明は省略する。

　ステップＳ１０６において、出力画像生成部６４は、処理対象の現フレームについてステップＳ１０５で得られた動き情報と、撮像部６２から供給された入力画像とに基づいて補間処理を行って処理対象の現フレームの入力画像を生成し、出力画像とする。

　例えば補間処理では、少なくとも現フレームの直前のフレームの入力画像が用いられる。このようにして出力画像が得られると、その後、処理はステップＳ１１０へと進む。

　また、ステップＳ１０１において、動き検出用のフレームではない、つまり通常発光を行うフレームであると判定された場合、処理はステップＳ１０７に進む。

　そして、ステップＳ１０７乃至ステップＳ１０９の処理が行われて、処理対象の現フレームの出力画像が生成される。なお、これらのステップＳ１０７乃至ステップＳ１０９の処理は、図１２のステップＳ７１、ステップＳ７２、およびステップＳ７７の処理と同様であるのでその説明は省略する。

　但し、ステップＳ１０９では、処理対象の現フレームよりも前にある最も時間的に近いパルス発光を行うフレームで得られた、つまり最後に行われたステップＳ１０５の処理で得られた動き情報が用いられて動き補正が行われる。

　ステップＳ１０９で動き補正が行われ、出力画像が得られると、その後、処理はステップＳ１１０へと進む。

　ステップＳ１０９またはステップＳ１０６の処理が行われて出力画像が得られると、ステップＳ１１０において、出力画像生成部６４は、得られた出力画像をレコーダ６５やモニタ２６に出力し、撮像処理は終了する。これにより、出力画像がレコーダ６５に記録されたり、出力画像がモニタ２６に表示されたりする。

　以上のようにして内視鏡システム１１は、通常のフレームでは通常発光を行って入力画像を得るとともに、適宜挿入されたフレームではパルス発光を行って検出用画像を得る。そして内視鏡システム１１は、検出用画像から動きを検出して、その検出結果と入力画像を用いて出力画像を生成する。これにより、少ない遅延でより高精度に動きを検出することができる。

〈第５の実施の形態〉
〈動き検出について〉
　なお、以上においてはフレームごとやフィールドごとに、通常発光を行うか、またはパルス発光を行うかを切り替える例について説明した。しかし、例えば通常発光により出力する光と、パルス発光により出力する光とを異なる波長成分の光とすれば、同時に発光を行うことが可能である。

　すなわち、例えば図１５に示すように各フレームの期間において、継続して通常発光が行われるとともに、１フレームにつき２回のパルス発光が行われるようにすることができる。なお、図１５において横方向は時間を示しており、図１５中の下向きの矢印は、光源装置２３の発光タイミングを示している。

　この場合、例えば光源装置２３は、通常発光を行って白色光を照明光として出力するレーザ光源、すなわちＲ光源、Ｇ光源、およびＢ光源からなるRGBレーザ光源と、パルス発光を行って動き検出用の赤外光を出力する赤外レーザ光源とを有するように構成される。

　赤外レーザ光源は、例えば波長が850nmの赤外光をパルス発光可能なレーザ光源とされる。また、照明光としての白色光には赤外光成分は含まれておらず、そのような白色光を出力するレーザ光源は、RGBレーザ光源に限らず、キセノン光源やLED光源など、他の光源であってもよい。

　図１５に示す例では、例えば期間Ｔ６１が入力画像と検出用画像の１フレーム分の期間となっており、この期間Ｔ６１の間、継続して白色光の通常発光が行われる。また、期間Ｔ６１では、赤外光の２度のパルス発光も行われる。この例では、時刻ｔ６１と時刻ｔ６２の２つの各時刻にパルス発光が行われ、赤外光が被写体に照射される。

　このように１フレーム期間に白色光の通常発光と赤外光のパルス発光とが行われる場合には、撮像部６２側、つまりカメラヘッド２２側では、それらの白色光と赤外光を分離させる光学系や、白色光と赤外光のそれぞれを受光するセンサ（撮像部）が必要となる。

　そのため、１フレーム期間に白色光の通常発光と赤外光のパルス発光とが行われる場合、撮像部６２は、より詳細には例えば図１６に示す構成とされる。なお、図１６において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１６に示す例では、撮像部６２には分離素子１０１、ミラー１０２、可視光センサ１０３、および赤外センサ１０４が設けられている。

　この例では、各フレームの期間において、通常発光による白色光の反射光と、パルス発光による赤外光の反射光とが被写体から分離素子１０１に入射してくる。

　分離素子１０１は、例えばプリズムやダイクロイックミラー、ハーフミラーなどからなり、被写体から入射した反射光を光学的に分離させる。また、ミラー１０２は、例えば全反射ミラーなどからなり、分離素子１０１から入射した光を反射させて赤外センサ１０４に入射させる。

　可視光センサ１０３は、可視光を受光して光電変換する複数の画素を有するイメージセンサからなり、分離素子１０１から入射した白色光を受光して光電変換することで入力画像を撮像し、得られた入力画像を出力画像生成部６４に供給する。この可視光センサ１０３は、観察用の出力画像を得るための入力画像を撮像する撮像部として機能する。

　可視光センサ１０３の各画素には、赤外光を遮断する赤外カットフィルタが設けられており、可視光センサ１０３に入射してきた光のうちの可視光成分、つまり白色光の成分のみが画素のフォトダイオードで受光されるようになされている。

　また、赤外センサ１０４は、赤外光を受光して光電変換する複数の画素を有するイメージセンサからなり、ミラー１０２から入射した赤外光を受光して光電変換することで検出用画像を撮像し、得られた検出用画像を動き検出部６３に供給する。この赤外センサ１０４は、動き検出に用いられる検出用画像を撮像する撮像部として機能する。

　赤外センサ１０４の各画素には、可視光を遮断する可視光カットフィルタが設けられており、赤外センサ１０４に入射してきた光のうちの赤外光成分のみが画素のフォトダイオードで受光されるようになされている。

　例えば分離素子１０１がプリズムやダイクロイックミラーからなる場合、分離素子１０１は、被写体から入射した反射光のうちの白色光の成分、つまり可視光成分を透過させて可視光センサ１０３に入射させるとともに、被写体から入射した反射光のうちの赤外光の成分を反射させる。そして、分離素子１０１で反射されてミラー１０２へと入射した赤外光はミラー１０２で反射されて赤外センサ１０４に入射する。

　これにより、可視光センサ１０３により可視光の入力画像が得られるとともに、赤外センサ１０４で赤外光の検出用画像が得られる。

　また、例えば分離素子１０１がハーフミラーからなる場合、分離素子１０１は被写体から入射した光の一部を透過させて可視光センサ１０３に入射させるとともに、残りの光、つまり入射してきた光の他の一部の光を反射する。このとき、分離素子１０１で反射されてミラー１０２へと入射した光はミラー１０２で反射されて赤外センサ１０４に入射する。

　この場合、可視光センサ１０３には、白色光成分と赤外光成分とを有する光が入射するが、可視光センサ１０３の各画素に設けられた赤外カットフィルタにより赤外光が遮断され、白色光のみが可視光センサ１０３で受光される。これにより、可視光センサ１０３では可視光の入力画像が得られる。

　また、赤外センサ１０４にも白色光成分と赤外光成分とを有する光が入射するが、赤外センサ１０４の各画素に設けられた可視光カットフィルタにより可視光が遮断され、赤外光のみが赤外センサ１０４で受光される。これにより、赤外センサ１０４では赤外光の検出用画像が得られる。

〈撮像処理について〉
　次に、内視鏡システム１１において１フレーム期間に通常発光とパルス発光を行う場合に行われる処理について説明する。すなわち、以下、図１７のフローチャートを参照して、内視鏡システム１１による撮像処理について説明する。

　ステップＳ１４１において、光源装置２３は、１フレーム期間の間、通常発光を行って継続して白色光を照明光として被写体に照射するとともに、１フレーム期間における所定のタイミングで２度のパルス発光を行い、赤外光を被写体に照射する。

　すなわち、光源制御部６１は、光源装置２３としてのRGBレーザ光源を制御して、入力画像の露光期間中、継続して白色光を出力させるとともに、光源装置２３としての赤外レーザ光源を制御して、検出用画像の露光期間中、２度のパルス発光により白色光とは波長成分の異なる赤外光を出力させる。ここでは、基本的には入力画像の露光期間と検出用画像の露光期間は同じ期間とされるが、検出用画像の露光期間、つまり２度のパルス発光が行われる期間は、RGBレーザ光源による通常発光が行われる入力画像の露光期間の少なくとも一部を含む期間であればよい。

　このような発光制御により、１フレーム期間の各時刻において白色光のみ、または白色光と赤外光が被写体に照射されることになる。被写体に白色光や赤外光を照射することで生じた反射光は、撮像部６２の分離素子１０１に入射し、例えば反射光のうちの白色光は、分離素子１０１を透過して可視光センサ１０３に入射する。また、反射光のうちの赤外光は、分離素子１０１およびミラー１０２で反射して赤外センサ１０４に入射する。

　ステップＳ１４２において、撮像部６２の可視光センサ１０３は、入射した白色光を受光して光電変換することで入力画像の撮像を行い、得られた入力画像を出力画像生成部６４に供給する。

　ステップＳ１４３において、撮像部６２の赤外センサ１０４は、入射した赤外光を受光して光電変換することで検出用画像の撮像を行い、得られた検出用画像を動き検出部６３に供給する。なお、これらのステップＳ１４２およびステップＳ１４３の処理は、同時に行われる。

　入力画像および検出用画像が得られると、その後、ステップＳ１４４乃至ステップＳ１４７の処理が行われて撮像処理は終了するが、これらの処理は図１２のステップＳ７５乃至ステップＳ７８の処理と同様であるので、その説明は省略する。但し、ステップＳ１４４およびステップＳ１４５の処理は並行して行われ、ステップＳ１４６では、検出用画像から得られた動き情報に基づいて、入力画像に対する動き補正が行われる。

　以上のようにして内視鏡システム１１は、１フレーム期間において通常発光とパルス発光を同時に行って入力画像および検出用画像を得る。そして内視鏡システム１１は、検出用画像から動きを検出して、その検出結果と入力画像とを用いて出力画像を生成する。これにより、少ない遅延でより高精度に動きを検出することができる。

〈第６の実施の形態〉
〈内視鏡システムの機能的な構成例〉
　ところで、本技術を適用した内視鏡システム１１は声帯観察を行う場合にも有用である。

　一般に声帯は数百Ｈｚの周波数で振動するため、通常観察では声帯部分の静止した画像を取得することができない。これに対してストロボ光源により照明光を声帯の振動周期に合わせて照射することで、声帯を静止させて観察する喉頭ストロボスコピーがある。

　しかし、喉頭ストロボスコピーでは、声帯の振動周期を検出するためには被験者により発せられた音声を取得する必要があり、内視鏡システムの構成が煩雑になってしまう。また、被検者は一定の高さの音声を一定時間発声し続けなければならない。

　そこで、内視鏡システム１１では、被写体としての声帯にパルス発光により照明光を照射し、声帯を撮像して得られた入力画像に基づいて声帯の振動周期、つまり振動の周波数を検出することで静止した声帯の画像を出力画像として得られるようにした。

　この場合、検出された声帯の振動の周期と同じ周期で、つまり声帯の振動に同期させて光源装置２３をパルス発光させ、ストロボ照射を行うことで、静止した声帯の画像をより簡単に得ることができる。

　このような声帯観察を行う場合、内視鏡システム１１の機能的な構成は、例えば図１８に示すようになる。なお、図１８において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１８に示す例では、内視鏡システム１１は光源制御部６１、光源装置２３、撮像部６２、周期検出部１４１、および出力画像生成部１４２を有している。

　また、この例では光源制御部６１は、例えば図１に示した光源制御装置３１に対応し、撮像部６２は、図１に示したカメラヘッド２２に対応する。さらに、周期検出部１４１は図１の検出部３３により実現され、出力画像生成部１４２は図１の信号処理回路３２により実現される。

　光源装置２３は、光源制御部６１の制御に従って所定の周期でパルス発光し、パルス光を照明光として被写体に照射する。特に光源装置２３は、入力画像の１フレーム期間に複数回パルス発光するように制御される。

　光源装置２３により被写体としての声帯に照明光が照射されると、その照明光が声帯で反射して反射光となり、撮像部６２に入射する。

　撮像部６２は、声帯からの反射光を受光して光電変換することで、声帯を被写体とする入力画像を撮像し、得られた入力画像を周期検出部１４１および出力画像生成部１４２に供給する。

　周期検出部１４１は、撮像部６２から供給された各時刻の入力画像に基づいて声帯の振動周期、つまり声帯の振動の周波数を被写体の動きとして検出し、その検出結果を声帯の動きの検出結果を示す動き情報として光源制御部６１に供給する。

　例えば光源装置２３は入力画像の１フレーム期間に複数回パルス発光を行い、また声帯も１フレーム期間に複数回振動する。したがって、入力画像の撮像時には多重露光が行われることになり、入力画像には同一被写体の像が複数含まれることになる。

　そのため、光源装置２３によるパルス発光の周期、つまり照明光を点灯および消灯させる点滅の周波数と、声帯の振動の周波数とが一致している場合、例えば図１９に示すようにコントラストの高い入力画像Ｐ４１が得られる。

　図１９に示す入力画像Ｐ４１は、被写体である声帯の像にぶれのないコントラストの高い画像となっている。換言すれば、被写体としての声帯があたかも静止しているような状態で撮像された入力画像Ｐ４１が得られる。

　これは、パルス発光の周波数と、声帯の振動の周波数とが一致する場合、入力画像Ｐ４１上の各時刻、つまり各パルス発光時の声帯の像が重なることになるので、被写体の像にぶれが生じないからである。

　これに対して、光源装置２３によるパルス発光の周波数と、声帯の振動の周波数とにずれがあると、入力画像上の声帯（被写体）の像の位置にもずれが生じるので、例えば図１９の入力画像Ｐ４２のようなコントラストの低い画像が得られる。

　パルス発光の周波数と、声帯の振動の周波数とが一致していないと、１フレーム期間に複数回のパルス発光を行った場合、各パルス発光のタイミングにおける声帯の位置は異なる位置となるので、入力画像Ｐ４２上における声帯の像の位置も異なることになる。すなわち、入力画像Ｐ４２として多重像を含む、ぶれが生じたコントラストの低い画像が得られることになる。

　図１８の説明に戻り、周期検出部１４１では、このような周波数の一致度合いと、入力画像のコントラストとの関係を利用して声帯の動き、つまり声帯の周波数が検出される。

　具体的には、例えば周期検出部１４１はパルス発光の周波数ごとに得られた入力画像のコントラストの度合いを示すコントラスト評価値を算出し、各周波数について得られたコントラスト評価値から、コントラスト評価値のピーク値を検出する。そして、周期検出部１４１は、コントラスト評価値がピーク値となるときのパルス発光の周波数を、声帯の振動の周波数とし、その周波数または周期を示す情報を、被写体としての声帯の動きの検出結果である動き情報として光源制御部６１に供給する。光源制御部６１は、周期検出部１４１から供給された動き情報に応じてパルス発光の周波数、すなわち周期を変更し、変更後の周期で光源装置２３に発光動作を行わせる。

　特に、内視鏡システム１１では、ストロボ照射、つまりパルス発光の周波数（周期）を徐々に変化させながら、複数の異なる周期で光源装置２３によるパルス発光が行われる。そして、複数の異なる周波数（周期）ごとに得られたコントラスト評価値から声帯の周波数が検出される。このようなパルス発光の制御方法は、レンズを動かしてコントラストの評価値がピークとなるレンズ位置を検出するコントラスト方式のオートフォーカス制御と同様の制御方法であり、この制御方法を採用すれば、高精度に声帯の振動の周波数を検出可能である。

　以上のようにして声帯の周波数が検出されると、その後、内視鏡システム１１は、動き情報により示される、検出された周波数と同じ周波数でパルス発光を行って入力画像を撮像し、ぼけのない静止した声帯の出力画像を得る。

　すなわち、被写体としての声帯の動きが検出された後、撮像部６２により撮像された入力画像が出力画像生成部１４２に供給される。出力画像生成部１４２は、撮像部６２から供給された入力画像に対してゲイン調整処理等の所定の処理を施すことで出力画像を生成し、出力する。このようにして得られた出力画像は、ぼけのない静止した声帯の画像となる。

〈撮像処理について〉
　次に、声帯観察を行う場合に内視鏡システム１１により行われる処理について説明する。すなわち、以下、図２０のフローチャートを参照して、内視鏡システム１１による撮像処理について説明する。

　ステップＳ１８１において、光源制御部６１は、これまでのパルス発光の周波数に基づいて、新たなパルス発光の周波数を決定する。

　例えば最初に発光するときには、予め定められた所定の周波数がパルス発光の周波数とされる。また、例えばこれまで徐々にパルス発光の周波数を高くしてきたが、まだ動き情報が供給されていない場合、つまりまだ声帯の周波数が検出されていない場合、さらに高い周波数が新たなパルス発光の周波数とされる。

　ステップＳ１８２において光源装置２３はパルス発光を行う。すなわち、光源制御部６１は、ステップＳ１８１で決定した周波数でパルス発光が行われるように光源装置２３を制御し、光源装置２３は光源制御部６１の制御に従って、所定の周波数でパルス発光を行う。これにより、入力画像の１フレームの期間において、周期的に照明光が被写体である声帯に照射されることになる。この照明光は声帯で反射されて反射光となり、撮像部６２へと入射する。なお、このとき被験者は継続して一定の高さの音を発生する。

　ステップＳ１８３において撮像部６２は、声帯から入射した反射光を受光して光電変換することにより、例えば１フレーム分の入力画像の撮像を行う。撮像部６２は、撮像により得られた入力画像を周期検出部１４１に供給する。

　ステップＳ１８４において、周期検出部１４１は撮像部６２から供給された入力画像に基づいて、被写体である声帯の動きを検出する。

　具体的には、周期検出部１４１は、入力画像に基づいてコントラスト評価値を算出するとともに、これまでに算出したコントラスト評価値からコントラスト評価値のピーク値を検出する。

　ステップＳ１８５において、周期検出部１４１は、ステップＳ１８４における動きの検出結果、つまりコントラスト評価値のピーク値の検出結果に基づいて、声帯の周波数が検出されたか否かを判定する。例えばコントラスト評価値のピーク値が検出された場合、声帯の周波数が検出されたと判定される。

　ステップＳ１８５において、まだ声帯の周波数が検出されていないと判定された場合、処理はステップＳ１８１に戻り、上述した処理が繰り返し行われる。この場合、パルス発光の周波数が変更されて撮像が行われ、コントラスト評価値が算出されることになる。

　これに対して、ステップＳ１８５において声帯の周波数が検出されたと判定された場合、周期検出部１４１は、ピーク値となるコントラスト評価値が得られた時のパルス発光の周波数を、声帯の周波数、より詳細には声帯の振動の周波数とする。そして、周期検出部１４１は、その声帯の振動の周波数を示す情報を動きの検出結果を示す動き情報として光源制御部６１に供給し、処理はステップＳ１８６へと進む。なお、周期検出部１４１では、各時刻における光源装置２３でのパルス発光の周波数が既知となっている。

　ステップＳ１８６において、光源制御部６１は、これから行うパルス発光の周波数を、動き情報により示される声帯の周波数として、その周波数でパルス発光が行われるように光源装置２３を制御する。

　そして、ステップＳ１８７において、光源装置２３は光源制御部６１の制御に従ってパルス発光を行う。これにより、声帯の振動の周波数と一致した周波数で照明光のパルス発光が行われることになる。

　ステップＳ１８８において、撮像部６２は、声帯から入射した反射光を受光して光電変換することで入力画像を撮像し、得られた入力画像を出力画像生成部１４２に供給する。

　ステップＳ１８９において、出力画像生成部１４２は、撮像部６２から供給された入力画像に基づいて出力画像を生成して出力し、撮像処理は終了する。例えば入力画像に対して、適宜、ホワイトバランス調整やゲイン調整などの必要な処理が行われて出力画像とされる。出力画像生成部１４２から出力された出力画像は、例えばモニタ２６に表示されたり、レコーダに記録されたりする。

　以上のようにして内視鏡システム１１は、周波数を変化させながら１フレーム期間に複数回のパルス発光を行い、撮像により得られた入力画像のコントラスト評価値を求めて声帯の振動の周波数を検出する。そして内視鏡システム１１は、検出された周波数でパルス発光を行って入力画像を撮像することで、動きのない静止した声帯の出力画像を得る。

　このように周波数を変化させながらパルス発光を行い、コントラスト評価値を算出することで、より簡単かつ高精度に被写体である声帯の動きを検出することができる。

　特に、内視鏡システム１１では、被験者の発した音声を収音する必要がなく、また画像のコントラストから声帯の振動の周波数を検出するので、簡単な構成で、簡単かつ高精度に声帯の振動の周波数を検出することができる。

　しかも、内視鏡システム１１では、被検者が音声の高さを途中で変化させた場合でも、入力画像を撮像しながら再度、声帯の振動の周波数の検出を行い、パルス発光の周波数を調整することで、被検者の音声の高さの変化に追従することが可能である。

　ところで、以上においては、パルス発光の周波数を声帯の振動の周波数と一致させることで、声帯が静止した状態の出力画像を生成する例について説明した。

　しかし、パルス発光の周波数を声帯の振動の周波数から少しずらすようにすれば、例えば図２１に示すように声帯がゆっくりと振動しているかのような動画像、つまり声帯の振動の様子をスロー再生するような動画像を出力画像として得ることができる。なお、図２１において横軸は時間を示しており、縦軸は声帯の位置を示している。

　図２１に示す例では、曲線Ｌ１１は各時刻における声帯の位置を示している。また、図２１中の各円はパルス発光のタイミングを示しており、曲線Ｌ１２は出力画像上で観察される声帯の各時刻における位置を示している。

　この例では、曲線Ｌ１１から被験者の声帯が一定の周期で、つまり一定の周波数で振動していることが分かる。これに対して、各円の位置から分かるように、内視鏡システム１１では、声帯の周波数とは異なる一定の周波数でパルス発光が行われている。

　これにより、入力画像上における声帯の位置は、曲線Ｌ１１における各円の位置により示される位置となり、その結果、動画像である出力画像上で観察される各時刻における声帯の位置は、曲線Ｌ１２に示される位置となる。したがって、曲線Ｌ１２は、出力画像上における声帯の見かけ上の振動の周期（周波数）を表す曲線であるということができる。

　以上のようにパルス発光の周波数を声帯の振動の周波数と少しずらすようにすると、各円により示されるタイミングでのみ入力画像の露光が行われる。そのため、本来は曲線Ｌ１１により示される周期で振動する声帯が、あたかも曲線Ｌ１２により示される周期で振動しているかのような出力画像を得ることができる。つまり、声帯の動きをスロー再生しているかのような動画像を出力画像として得ることができる。

　この場合、図２０を参照して説明した撮像処理のステップＳ１８６において、検出された声帯の周波数から所定値だけずれた周波数をパルス発光の周波数とすればよい。このとき、パルス発光の周波数を適切に制御することで、出力画像上で再生される声帯の動きの速さを所望の速さに調整することが可能である。

　以上のように内視鏡システム１１を用いて声帯観察、つまり喉頭ストロボスコピーを行なえば、被験者の音声を収音して、その音声の周波数を検出するような構成を用いることなく、静止した声帯や、ゆっくりと動く声帯の観察が可能である。また、被験者が途中で音程を変化させても追随可能な観察が可能である。

　さらに、以上において説明した本技術は、フレーム間隔の時間と比べてはるかに速い動きに対して、例えば血管拍動の伝播速度の検出や、レーザによるスペックルイメージングの動き検出等にも有効である。

〈内視鏡手術システムの構成例〉
　また、本技術は、例えば図１に示した内視鏡システム１１を用いて内視鏡手術を行う内視鏡手術システムにも適用することができる。そのような場合、内視鏡手術システムは、例えば図２２に示すように構成される。すなわち、図２２は、本開示に係る技術が適用され得る内視鏡手術システム５００の概略的な構成の一例を示す図である。

　図２２では、術者（医師）５６７が、内視鏡手術システム５００を用いて、患者ベッド５６９上の患者５７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５００は、内視鏡５０１と、その他の術具５１７と、内視鏡５０１を支持する支持アーム装置５２７と、内視鏡下手術のための各種の装置が搭載されたカート５３７と、から構成される。

　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５２５ａ乃至５２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５２５ａ乃至５２５ｄから、内視鏡５０１の鏡筒５０３や、その他の術具５１７が患者５７１の体腔内に挿入される。図示する例では、その他の術具５１７として、気腹チューブ５１９、エネルギー処置具５２１及び鉗子５２３が、患者５７１の体腔内に挿入されている。また、エネルギー処置具５２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１７はあくまで一例であり、術具５１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

　内視鏡５０１によって撮像された患者５７１の体腔内の術部の画像が、表示装置５４１に表示される。術者５６７は、表示装置５４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５２１や鉗子５２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１９、エネルギー処置具５２１及び鉗子５２３は、手術中に、術者５６７又は助手等によって支持される。

　（支持アーム装置）
　支持アーム装置５２７は、ベース部５２９から延伸するアーム部５３１を備える。図示する例では、アーム部５３１は、関節部５３３ａ、５３３ｂ、５３３ｃ、及びリンク５３５ａ、５３５ｂから構成されており、アーム制御装置５４５からの制御により駆動される。アーム部５３１によって内視鏡５０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５０１の安定的な位置の固定が実現され得る。

　（内視鏡）
　内視鏡５０１は、先端から所定の長さの領域が患者５７１の体腔内に挿入される鏡筒５０３と、鏡筒５０３の基端に接続されるカメラヘッド５０５と、から構成される。図示する例では、硬性の鏡筒５０３を有するいわゆる硬性鏡として構成される内視鏡５０１を図示しているが、内視鏡５０１は、軟性の鏡筒５０３を有するいわゆる軟性鏡として構成されてもよい。

　鏡筒５０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５０１には光源装置５４３が接続されており、当該光源装置５４３によって生成された光が、鏡筒５０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５７１の体腔内の観察対象に向かって照射される。なお、内視鏡５０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

　カメラヘッド５０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５３９に送信される。なお、カメラヘッド５０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５０５には撮像素子が複数設けられてもよい。この場合、鏡筒５０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

　（カートに搭載される各種の装置）
　ＣＣＵ５３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５０１及び表示装置５４１の動作を統括的に制御する。具体的には、ＣＣＵ５３９は、カメラヘッド５０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５３９は、当該画像処理を施した画像信号を表示装置５４１に提供する。また、ＣＣＵ５３９は、カメラヘッド５０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

　表示装置５４１は、ＣＣＵ５３９からの制御により、当該ＣＣＵ５３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５４１が設けられてもよい。

　光源装置５４３は、例えばＬＥＤ等の光源から構成され、術部を撮影する際の照射光を内視鏡５０１に供給する。

　アーム制御装置５４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５２７のアーム部５３１の駆動を制御する。

　入力装置５４７は、内視鏡手術システム５００に対する入力インタフェースである。ユーザは、入力装置５４７を介して、内視鏡手術システム５００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５４７を介して、アーム部５３１を駆動させる旨の指示や、内視鏡５０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５２１を駆動させる旨の指示等を入力する。

　入力装置５４７の種類は限定されず、入力装置５４７は各種の公知の入力装置であってよい。入力装置５４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５５７及び／又はレバー等が適用され得る。入力装置５４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５４１の表示面上に設けられてもよい。

　あるいは、入力装置５４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

　処置具制御装置５４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５２１の駆動を制御する。気腹装置５５１は、内視鏡５０１による視野の確保及び術者の作業空間の確保の目的で、患者５７１の体腔を膨らめるために、気腹チューブ５１９を介して当該体腔内にガスを送り込む。レコーダ５５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

　また、図２２に示した内視鏡手術システム５００と図１に示した内視鏡システム１１との対応関係は、以下のようになる。すなわち、鏡筒５０３はスコープ２１に対応し、カメラヘッド５０５はカメラヘッド２２に対応する。また、光源装置５４３は光源装置２３に対応し、カメラコントロールユニット５３９はカメラコントロールユニット２４に対応し、入力装置５４７は操作入力装置２５に対応し、表示装置５４１はモニタ２６に対応する。

　以上、本開示に係る技術が適用され得る内視鏡手術システム５００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、ＣＰＵ６０１，ＲＯＭ（Read Only Memory）６０２，ＲＡＭ（Random Access Memory）６０３は、バス６０４により相互に接続されている。

　バス６０４には、さらに、入出力インターフェース６０５が接続されている。入出力インターフェース６０５には、入力部６０６、出力部６０７、記録部６０８、通信部６０９、及びドライブ６１０が接続されている。

　入力部６０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記録部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインターフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体６１１を駆動する。

　以上のように構成されるコンピュータでは、ＣＰＵ６０１が、例えば、記録部６０８に記録されているプログラムを、入出力インターフェース６０５及びバス６０４を介して、ＲＡＭ６０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（ＣＰＵ６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体６１１をドライブ６１０に装着することにより、入出力インターフェース６０５を介して、記録部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記録部６０８にインストールすることができる。その他、プログラムは、ＲＯＭ６０２や記録部６０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、
　前記撮像画像上における被写体の動きを検出する動き検出部と
　を備える画像処理装置。
（２）
　前記撮像画像は生体の画像である
　（１）に記載の画像処理装置。
（３）
　前記動き検出部は、１つの前記撮像画像に基づいて、前記動きとして動きベクトルの各成分の大きさを検出する
　（１）または（２）に記載の画像処理装置。
（４）
　前記光源制御部は、各前記パルス発光時に同じ波長成分の光が出力されるように前記光源を制御する
　（３）に記載の画像処理装置。
（５）
　前記動き検出部は、複数の前記撮像画像に基づいて、前記動きとして前記動きベクトルの方向をさらに検出する
　（４）に記載の画像処理装置。
（６）
　前記動きの検出結果に基づいて、前記撮像画像に対する動き補正を行う動き補正部をさらに備える
　（４）また（５）に記載の画像処理装置。
（７）
　前記動きの検出結果に基づいて、前記動きのない時刻の前記撮像画像から前記被写体の画像を生成する画像生成部をさらに備える
　（３）または（４）に記載の画像処理装置。
（８）
　前記光源制御部は、継続して前記波長成分の光が出力される露光期間と、複数回の前記パルス発光が行われる露光期間とが設けられるように前記光源を制御する
　（４）または（５）に記載の画像処理装置。
（９）
　前記動き検出部は、複数回の前記パルス発光が行われる露光期間の前記撮像画像に基づいて前記動きを検出し、
　前記動きの検出結果に基づいて、継続して前記波長成分の光が出力される露光期間の前記撮像画像に対する動き補正を行う動き補正部をさらに備える
　（８）に記載の画像処理装置。
（１０）
　前記光源制御部は、継続して前記波長成分の光が出力される露光期間と、複数回の前記パルス発光が行われる露光期間とが交互に設けられるように前記光源を制御する
　（８）または（９）に記載の画像処理装置。
（１１）
　前記光源制御部は、複数回の前記パルス発光が行われる露光期間が不等間隔に設けられるように前記光源を制御する
　（８）または（９）に記載の画像処理装置。
（１２）
　前記光源制御部は、複数回の前記パルス発光のそれぞれにおいて、互いに異なる波長成分の光が出力されるように前記光源を制御する
　（１）または（２）に記載の画像処理装置。
（１３）
　前記動き検出部は、１つの前記撮像画像から得られる前記波長成分ごとの画像に基づいて、前記動きとして動きベクトルを検出する
　（１２）に記載の画像処理装置。
（１４）
　前記光源制御部は、前記撮像画像とは異なる前記被写体の入力画像の露光期間中、継続して所定波長成分の光が出力されるように前記光源とは異なる他の光源を制御するとともに、前記入力画像の露光期間の少なくとも一部を含む期間において複数回のパルス発光により前記所定波長成分とは異なる他の波長成分の光が出力されるように前記光源を制御し、
　前記撮像画像を撮像する第１の撮像部と、
　前記入力画像を撮像する第２の撮像部と、
　前記被写体からの光を光学的に分離させ、分離させた前記光の一部を前記第１の撮像部に入射させるとともに、分離させた前記光の他の一部を前記第２の撮像部に入射させる分離素子と
　をさらに備える（１）乃至（３）の何れか一項に記載の画像処理装置。
（１５）
　前記動きの検出結果に基づいて、前記入力画像に対する動き補正を行う動き補正部をさらに備える
　（１４）に記載の画像処理装置。
（１６）
　前記光源制御部は、パルス発光の周期を変化させながら、複数の異なる周期で前記光源をパルス発光させ、
　前記動き検出部は、前記複数の異なる周期ごとに得られた前記撮像画像のコントラストの度合いに基づいて、前記被写体の振動の周期を前記動きとして検出する
　（１）または（２）に記載の画像処理装置。
（１７）
　前記光源制御部は、前記動きの検出後、前記動きの検出結果に応じた周期で前記光源をパルス発光させる
　（１６）に記載の画像処理装置。
（１８）
　光源を制御して撮像画像の露光期間に複数回パルス発光させ、
　前記撮像画像上における被写体の動きを検出する
　ステップを含む画像処理方法。
（１９）
　光源を制御して撮像画像の露光期間に複数回パルス発光させ、
　前記撮像画像上における被写体の動きを検出する
　ステップを含む処理をコンピュータに実行させるプログラム。
（２０）
　パルス発光可能な光源と、
　前記光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、
　前記撮像画像を撮像する撮像部と、
　前記撮像画像上における被写体の動きを検出する動き検出部と
　を備える内視鏡システム。

　１１　内視鏡システム，　２１　スコープ，　２２　カメラヘッド，　２３　光源装置，　２４　カメラコントロールユニット，　２６　モニタ，　３１　光源制御装置，　３２　信号処理回路，　３３　検出部，　６１　光源制御部，　６２　撮像部，　６３　動き検出部，　６４　出力画像生成部，　１４１　周期検出部，　１４２　出力画像生成部

Claims (20)

1. 　光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、
   　前記撮像画像上における被写体の動きを検出する動き検出部と
   　を備える画像処理装置。
2. 　前記撮像画像は生体の画像である
   　請求項１に記載の画像処理装置。
3. 　前記動き検出部は、１つの前記撮像画像に基づいて、前記動きとして動きベクトルの各成分の大きさを検出する
   　請求項１に記載の画像処理装置。
4. 　前記光源制御部は、各前記パルス発光時に同じ波長成分の光が出力されるように前記光源を制御する
   　請求項３に記載の画像処理装置。
5. 　前記動き検出部は、複数の前記撮像画像に基づいて、前記動きとして前記動きベクトルの方向をさらに検出する
   　請求項４に記載の画像処理装置。
6. 　前記動きの検出結果に基づいて、前記撮像画像に対する動き補正を行う動き補正部をさらに備える
   　請求項４に記載の画像処理装置。
7. 　前記動きの検出結果に基づいて、前記動きのない時刻の前記撮像画像から前記被写体の画像を生成する画像生成部をさらに備える
   　請求項３に記載の画像処理装置。
8. 　前記光源制御部は、継続して前記波長成分の光が出力される露光期間と、複数回の前記パルス発光が行われる露光期間とが設けられるように前記光源を制御する
   　請求項４に記載の画像処理装置。
9. 　前記動き検出部は、複数回の前記パルス発光が行われる露光期間の前記撮像画像に基づいて前記動きを検出し、
   　前記動きの検出結果に基づいて、継続して前記波長成分の光が出力される露光期間の前記撮像画像に対する動き補正を行う動き補正部をさらに備える
   　請求項８に記載の画像処理装置。
10. 　前記光源制御部は、継続して前記波長成分の光が出力される露光期間と、複数回の前記パルス発光が行われる露光期間とが交互に設けられるように前記光源を制御する
    　請求項８に記載の画像処理装置。
11. 　前記光源制御部は、複数回の前記パルス発光が行われる露光期間が不等間隔に設けられるように前記光源を制御する
    　請求項８に記載の画像処理装置。
12. 　前記光源制御部は、複数回の前記パルス発光のそれぞれにおいて、互いに異なる波長成分の光が出力されるように前記光源を制御する
    　請求項１に記載の画像処理装置。
13. 　前記動き検出部は、１つの前記撮像画像から得られる前記波長成分ごとの画像に基づいて、前記動きとして動きベクトルを検出する
    　請求項１２に記載の画像処理装置。
14. 　前記光源制御部は、前記撮像画像とは異なる前記被写体の入力画像の露光期間中、継続して所定波長成分の光が出力されるように前記光源とは異なる他の光源を制御するとともに、前記入力画像の露光期間の少なくとも一部を含む期間において複数回のパルス発光により前記所定波長成分とは異なる他の波長成分の光が出力されるように前記光源を制御し、
    　前記撮像画像を撮像する第１の撮像部と、
    　前記入力画像を撮像する第２の撮像部と、
    　前記被写体からの光を光学的に分離させ、分離させた前記光の一部を前記第１の撮像部に入射させるとともに、分離させた前記光の他の一部を前記第２の撮像部に入射させる分離素子と
    　をさらに備える請求項１に記載の画像処理装置。
15. 　前記動きの検出結果に基づいて、前記入力画像に対する動き補正を行う動き補正部をさらに備える
    　請求項１４に記載の画像処理装置。
16. 　前記光源制御部は、パルス発光の周期を変化させながら、複数の異なる周期で前記光源をパルス発光させ、
    　前記動き検出部は、前記複数の異なる周期ごとに得られた前記撮像画像のコントラストの度合いに基づいて、前記被写体の振動の周期を前記動きとして検出する
    　請求項１に記載の画像処理装置。
17. 　前記光源制御部は、前記動きの検出後、前記動きの検出結果に応じた周期で前記光源をパルス発光させる
    　請求項１６に記載の画像処理装置。
18. 　光源を制御して撮像画像の露光期間に複数回パルス発光させ、
    　前記撮像画像上における被写体の動きを検出する
    　ステップを含む画像処理方法。
19. 　光源を制御して撮像画像の露光期間に複数回パルス発光させ、
    　前記撮像画像上における被写体の動きを検出する
    　ステップを含む処理をコンピュータに実行させるプログラム。
20. 　パルス発光可能な光源と、
    　前記光源を制御して撮像画像の露光期間に複数回パルス発光させる光源制御部と、
    　前記撮像画像を撮像する撮像部と、
    　前記撮像画像上における被写体の動きを検出する動き検出部と
    　を備える内視鏡システム。

Images