JP2015171450A

JP2015171450A - 画像処理装置、画像処理方法、プログラム、および内視鏡装置

Info

Publication number: JP2015171450A
Application number: JP2014048336A
Authority: JP
Inventors: 白木　寿一; Juichi Shiraki; 寿一白木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-03-12
Filing date: 2014-03-12
Publication date: 2015-10-01
Also published as: US10306147B2; US20150264264A1; US20180309933A1; US10021306B2; CN104915920A

Abstract

【課題】時分割で撮像された通常フレームと特殊フレームとを正確に位置合わせして合成する。
【解決手段】本開示の一側面である画像処理装置は、所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部とを備える。本開示は、例えば、内視鏡装置に適用できる。
【選択図】図３

Description

本開示は、画像処理装置、画像処理方法、プログラム、および内視鏡装置に関し、特に、例えば、人体に白色光などの通常光を照射して撮像した通常画像と、特殊な光を照射して撮像することにより得られる血管の位置を表す特殊画像と合成して表示できるようにした画像処理装置、画像処理方法、プログラム、および内視鏡装置に関する。

従来、例えば、医療現場に用いることを目的として、内視鏡装置によって撮像される臓器などの通常画像に、当該通常画像では見分けにくい血管や腫瘍などの病変の位置を表す特殊画像を合成して表示するさまざま技術が提案されている。

例えば、特許文献１には、通常画像と特殊画像とを時分割に撮像することが記載されている。また例えば、特許文献２には、通常画像と特殊画像を合成表示することが記載されている。

ここで、通常画像とは、被写体となる臓器などに白色光などの通常光を照射して撮像した画像を指す。以下、通常画像を通常フレームとも称する。特殊画像とは、通常光とは異なる所定の波長の特殊光を照射して撮像した画像を指す。以下、特殊画像を特殊フレームとも称する。なお、特殊画像を撮像する際には、被写体となる血管（血液）や病変には特殊光の照射に反応する蛍光剤などを混入または塗布することがある。

特開２００７−３１３１７１号公報特開２０１２−２４２８３号公報

時分割で撮像された通常フレームと特殊フレームとを合成する場合、撮像タイミングにずれが生じているので、手振れや被写体に動きがあった場合、両者の位置合わせを正確にできない可能性がある。

なお、時分割で撮像された通常フレームと特殊フレームとの間の動きベクトルを検出し、この動きベクトルに基づいて動き補正を行ってから合成する技術も存在する。ただし、通常フレームと特殊フレームとの撮像条件は異なっており、動きベクトルを検出するに際してのブロックマッチングに誤差が生じやすく、正確な動きベクトルを検出することが困難であった。

本開示はこのような状況に鑑みてなされたものであり、時分割で撮像された通常フレームと特殊フレームとを正確に位置合わせして合成できるようにするものである。

本開示の第１の側面である画像処理装置は、所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部とを備える。

本開示の第１の側面である画像処理装置は、前記特殊フレームに対して特徴抽出処理を行うことにより、特徴抽出フレームを生成する特徴抽出処理部をさらに備えることができ、前記動き補正部は、さらに、検出された前記動きベクトルに基づき、前記特徴抽出フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行うことができ、前記合成部は、前記通常フレームに対して、動き補正された前記特徴抽出フレームに基づく画像合成処理を行うことができる。

前記特徴抽出処理部は、前記特殊フレームに対して微分フィルタ処理を行うことにより、特徴抽出フレームとして微分フィルタフレームを生成することができる。

前記合成部は、前記通常フレームに対して、前記画像合成処理として、重畳合成処理またはマーキング合成処理を行うことができる。

前記合成部は、前記重畳合成処理として、前記通常フレームに対し、動き補正された前記特徴抽出フレームに応じて、動き補正された前記特殊フレームを加算することができる。

前記合成部は、前記マーキング合成処理として、前記通常フレームに対し、動き補正された前記特徴抽出フレームに応じて、色変換処理を行うことができる。

前記合成部は、ユーザの選択に応じて、前記通常フレームに対して、前記画像合成処理として、重畳合成処理またはマーキング合成処理を行うことができる。

本開示の第１の側面である画像処理装置は、連続的に検出された複数の前記動きベクトルに基づいて、検出された前記動きベクトルを補正する動きベクトル補正部をさらに備えることができる。

本開示の第１の側面である画像処理方法は、画像処理装置の画像処理方法において、前記画像処理装置による、所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力ステップと、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出ステップと、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正ステップと、前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成ステップとを含む。

本開示の第１の側面であるプログラムは、コンピュータを、所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部として機能させる。

本開示の第１の側面においては、所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとが入力され、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルが検出され、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正が行われ、前記通常フレームに対して前記特殊フレームに基づく画像合成処理が行われる。

本開示の第２の側面である内視鏡装置は、被写体に対して通常光または特殊光を照射する光源部と、前記被写体に対して前記通常光を照射した状態の通常フレームと、前記被写体に対して前記特殊光を照射した状態の特殊フレームとを、所定のフレーム周期に従い、所定の割合で連続的に撮像する撮像部と、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部とを備える。

本開示の第２の側面においては、被写体に対して通常光または特殊光が照射され、前記被写体に対して前記通常光を照射した状態の通常フレームと、前記被写体に対して前記特殊光を照射した状態の特殊フレームとが、所定のフレーム周期に従い、所定の割合で連続的に撮像され、撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルが検出され、検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正が行われ、前記通常フレームに対して前記特殊フレームに基づく画像合成処理が行われる。

本開示の第１の側面によれば、時分割で撮像された通常フレームと特殊フレームとを正確に位置合わせして合成することができる。

また、本開示の第２の側面によれば、通常フレームと特殊フレームを時分割で撮像し、これらを正確に位置合わせして合成することができる。

本開示を適用した内視鏡装置の構成例を示すブロック図である。通常フレームと特殊フレームの撮像タイミングを示す図である。図１の画像処理部の詳細な構成例を示すブロック図である。図３の動きベクトル検出部の詳細な構成例を示すブロック図である。画像合成処理を説明するフローチャートである。動き補正量推定の他の例を説明する図である。一連の動きベクトルに基づいて動きベクトルのばらつきを補正するイメージを示す図である。重畳合成処理のイメージを示す図である。コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜内視鏡装置の構成例＞
図１は、通常フレームと特殊フレームを時分割で撮像し、これらを正確に位置合わせして合成し、その結果得られる合成フレームを表示する、本開示の実施の形態である内視鏡装置の構成例を示している。

この内視鏡装置１０は、光源部１１、撮像部１２、現像部１３、画像処理部１４、および表示部１５から構成される。

光源部１１は、撮像されるフレーム毎に、白色光などの通常光または所定の波長を有する特殊光を切り替えて被写体（体内の臓器など）に照射する。また、光源部１１は、撮像されるフレーム毎に、通常光または特殊光のどちらを照射したのかを示す照射識別信号を画像処理部１４に出力する。なお、特殊光を照射するには、通常光の光路に所定の波長のみを透過する光学フィルタを設ければよい。

撮像部１２は、光源部１１から通常光または特殊光が照射されている状態の被写体を撮像し、その結果得られる画像信号を現像部１３に出力する。現像部１３は、撮像部１２から入力される画像信号に対してモザイク処理などの現像処理を行い、処理結果の画像信号（通常光照射時の通常フレーム、または特殊光照射時の特殊フレーム）を画像処理部１４に出力する。

ここで、特殊フレームは、血管、腫瘍などの病変が通常フレームに比較してより明確になっているが、その反面、フレーム全体の明るさが暗く、ノイズが多いものとなる。一方、通常フレームは、特殊フレームに比較してフレーム全体の明るさが明るく、ノイズが少ないが、その反面、血管や腫瘍などの病変が見分けにくいものとなる。

画像処理部１４は、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出する。また、画像処理部１４は、特殊フレームに微分フィルタ処理を行うことによって、画像内のエッジ部分（具体的には、例えば血管や病変の輪郭など）が強調されたフレーム（以下、微分フィルタフレームと称する）を生成する。さらに、画像処理部１４は、通常フレームから検出した動きベクトルに基づき、特殊フレームと微分フィルタフレームそれぞれの動き補正を行い、通常フレーム、並びに動き補正した特殊フレームおよび微分フィルタフレームを合成し、その結果得られた合成フレームを表示部１５に出力する。

表示部１５は、合成フレームを表示する。

＜通常フレームと特殊フレームの撮像タイミング＞
次に、図２は、通常フレームと特殊フレームの撮像タイミングの一例を示している。

内視鏡装置１０においては、数フレーム連続して通常フレームを撮像し、その間に定期的に特殊フレームを撮像するようにする。例えば、図２に示されるように、通常フレームと特殊フレームの撮像の割合を４：１とする。

ただし、この割合は４：１に限定されるものではなく、変更可能してもよい。同図におけるTaは特殊フレームが撮像される１フレーム前に通常フレームが撮像されたタイミングを、Tbは特殊フレームが撮像されるタイミングを、Tc，Td，Teは、それぞれ特殊フレームが撮像された１，２，３フレーム後に通常フレームが撮像されたタイミングを示している。Ta乃至Teは、後述する動きベクトルの検出の説明に使用する。

＜画像処理部１４の構成例＞
次に、図３は、画像処理部１４の構成例を示している。

画像処理部１４は、切り替え部２１、動きベクトル検出部２２、補正量推定部２３、フレームメモリ２４、微分フィルタ処理部２５、動き補正部２６、および合成部２７から構成される。

画像処理部１４において、前段の現像部１３から入力される通常フレームおよび特殊フレームは切り替え部２１に入力され、光源部１１からの照射識別信号は切り替え部２１、動きベクトル検出部２２、および補正量推定部２３に入力される。

切り替え部２１は、照射識別信号に基づき、現像部１３からの入力が特殊フレームであるか否かを判別し、特殊フレームではない（通常フレームである）場合には動きベクトル検出部２２および合成部２７に出力し、特殊フレームである場合にはフレームメモリ２４に出力する。

動きベクトル検出部２２は、フレーム周期毎に、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出し、検出した動きベクトルを補正量推定部２３に出力する。

補正量推定部２３は、動きベクトル検出部２２で検出された動きベクトルに基づき、特殊フレームおよび微分フィルタフレームの動き補正量を推定し、推定した動き補正量を動き補正部２６に出力する。なお、補正量推定部２３は、連続して検出された動きベクトルに基づき、誤検出されている可能性がある動きベクトルを補正することができ、補正した動きベクトルに基づいて動き補正量を推定できる。

フレームメモリ２４は、切り替え部２１から入力された特殊フレームを保持し、フレーム周期毎に、保持する特殊フレームを微分フィルタ処理部２５および動き補正部２６に供給する。また、フレームメモリ２４は、切り替え部２１から次の特殊フレームは入力された場合、保持する特殊フレームを更新する。

微分フィルタ処理部２５は、フレームメモリ２４から供給される特殊フレームに、微分フィルタ処理（例えば、Sobelフィルタ処理）を行うことにより、画像内の特徴が強調された特徴抽出フレームを生成して動き補正部２６に出力する。なお、微分フィルタ処理の場合には、特徴抽出フレームとしてエッジ部分が強調された微分フィルタフレームが生成される。上述したように、フレームメモリ２４は、フレーム周期毎に、保持する特殊フレームを供給してくるので、同一の特殊フレームが連続して供給されることになる。その場合、微分フィルタ処理部２５は、微分フィルタ処理を省略し、前回の微分フィルタ処理の結果を動き補正部２６に出力するようにしてもよい。

なお、上述したように微分フィルタ処理による微分フィルタフレームを生成する代わりに、例えば、微小ブロック内の例えば(3x3)の分散やダイナミックレンジが閾値以上の領域を抽出し、抽出結果を表す特徴抽出フレームを生成する処理を実行してもよい。また例えば、画素の信号レベルが特定の閾値内の領域、すなわち特定のRGBレベルを持つ領域を抽出し、抽出結果を表す特徴抽出フレームを生成する処理を実行してもよい。また例えば、（腫瘍などに相当する）閉領域に対してSNAKE等の輪郭検出処理を行い、その結果を表す特徴抽出フレームを生成するようにしてもよい。

動き補正部２６は、動き補正量推定部２３から入力される動き補正量に基づき、フレームメモリ２４からの特殊フレームの動き補正を行うとともに、微分フィルタ処理部２５からの微分フィルタフレームの動き補正を行い、動き補正後の特殊フレームおよび微分フィルタフレームを合成部２７に出力する。

合成部２７は、重畳部２８およびマーキング部２９を有し、通常フレーム、並びに動き補正後の特殊フレームおよび微分フィルタフレームを入力として、ユーザからの選択に応じて、重畳部２８による重畳合成処理、またはマーキング部２９によるマーキング合成処理を行うことによって合成フレームを生成して後段の表示部１５に出力する。

＜動きベクトル検出部２２の構成例＞
次に、図４は、動きベクトル検出部２２の構成例を示している。動きベクトル検出部２２は、フレームメモリ３１および３２、フレーム選択部３３、ブロックマッチング部３４、並びにベクトル補正部３５から構成される。

動きベクトル検出部２２において、前段の切り替え部２１から入力される通常フレームはフレームメモリ３１およびフレーム選択部３３に入力される。

フレームメモリ３１は、フレーム周期毎に、それまで保持していた通常フレームをフレームメモリ３２およびフレーム選択部３３に出力するとともに、保持するデータを前段の切り替え部２１から入力される通常フレームにより更新する。同様に、フレームメモリ３２は、フレーム周期毎に、終えまで保持していた通常フレームをフレーム選択部３３に出力するとともに、保持するデータを前段のフレームメモリ３１から入力される通常フレームにより更新する。

ただし、フレーム周期のうち、動きベクトル検出部２２に通常フレームが入力されないタイミングでは、フレームメモリ３１は、それまで保持していた通常フレームを後段に出力するとともに、それまで保持していたデータをクリアする。

その次のタイミングでは、フレームメモリ３１は、保持しているデータがないので、後段への出力は行わない。フレームメモリ３２は、それまで保持していた通常フレームを後段に出力するとともに、それまで保持していたデータをクリアする。

したがって、フレーム選択部３３には、撮像タイミングが異なる２枚または３枚の通常フレームが同時に入力されることになる。

フレーム選択部３３は、同時に２枚の通常フレームが入力された場合、該２枚の通常フレームをブロックマッチング部３４に出力する。また、フレーム選択部３３は、同時に３枚の通常フレームが入力された場合、フレームメモリ３１および３２から入力された２枚の通常フレームをブロックマッチング部３４に出力する。ブロックマッチング部３４は、ブロックマッチング処理によって２枚の通常フレーム間の動きベクトルを検出する。

ベクトル補正部３５は、照射識別信号に基づいて、動きベクトルに用いられた２枚の通常フレームの関係を判断し、その関係に基づいて、検出された動きベクトルを補正して動きベクトルを補正量推定部２３に出力する。

ベクトル補正部３５による動きベクトルの補正について具体的に説明する。フレームメモリ３１からの出力を基準とすれば、基準の撮像タイミングが図２に示されるTaである場合、フレーム選択部３３に対して、フレームメモリ３２から基準よりも１フレーム前の通常フレームと、フレームメモリ３１から基準の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部３５は動きベクトルの補正を行わない。

基準の撮像タイミングが図２に示されるTbである場合、Tbは特殊フレームの撮像タイミングであるので、フレームメモリ３１は出力しない。そして、フレーム選択部３３に対して、フレームメモリ３２から基準よりも１フレーム前の通常フレームと、切り替え部２１から基準よりも１フレーム後の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、検出された動きベクトルは２フレーム分離れた通常フレーム間のものであるので、ベクトル補正部３５は検出された動きベクトルの縦横それぞれの成分に１／２を乗算する。

基準の撮像タイミングが図２に示されるTcである場合、フレーム選択部３３に対して、フレームメモリ３１から基準の通常フレームと、切り替え部２１から基準よりも１フレーム後の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、検出された動きベクトルの方向が反対しているので、ベクトル補正部３５は検出された動きベクトルの縦横それぞれの成分に−１を乗算する。

基準の撮像タイミングが図２に示されるTdである場合、フレーム選択部３３に対しては、フレームメモリ３２から基準よりも１フレーム前の通常フレームと、フレームメモリ３１から基準の通常フレームと、切り替え部２１から基準よりも１フレーム後の通常フレームとが入力され、フレームメモリ３１および３２からの２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部３５は動きベクトルの補正を行わない。

基準の撮像タイミングが図２に示されるTeである場合、フレーム選択部３３に対しては、フレームメモリ３２から基準よりも１フレーム前の通常フレームと、フレームメモリ３１から基準の通常フレームと、切り替え部２１から基準よりも１フレーム後の通常フレームとが入力され、フレームメモリ３１および３２からの２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部３５は動きベクトルの補正を行わない。

以上のようにして補正された動きベクトルがベクトル補正部３５から後段の補正量推定部２３に出力される。

＜画像処理部１４による画像合成処理＞
次に、画像処理部１４による画像合成処理について図５を参照して説明する。

図５は、画像合成処理を説明するフローチャートである。この画像合成処理はフレーム周期毎に実行される。

ステップＳ１において、切り替え部２１は、照射識別信号に基づき、現像部１３からの入力が特殊フレームであるか否かを判別し、特殊フレームであると判別した場合、該特殊フレームをフレームメモリ２４に出力する。反対に、特殊フレームではない（通常フレームである）と判別した場合、該通常フレームを動きベクトル検出部２２および合成部２７に出力する。

ステップＳ２において、フレームメモリ２４は、それまで保持していた特殊フレームを微分フィルタ処理部２５および動き補正部２６に供給する。なお、切り替え部２１から特殊フレームが入力された場合には、保持する特殊フレームを更新する。

ステップＳ３において、微分フィルタ処理部２５は、フレームメモリ２４から供給される特殊フレームに、微分フィルタ処理（例えば、次式（１）に示されるようなSobelフィルタ処理）を行うことにより、画像内のエッジ部分が強調された微分フィルタフレームを生成して動き補正部２６に出力する。

・・・（１）

なお、式（１）におけるＲ，Ｇ，Ｂは特殊フレームのＲ，Ｇ，Ｂプレーンのレベルに相当する。

ステップＳ４において、動きベクトル検出部２２は、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出し補正量推定部２３に出力する。ステップＳ５において、補正量推定部３は、検出された動きベクトルが所定の閾値以下であるか否かを判定し、所定の閾値以下である場合には、その動きベクトルを動き補正に利用するために処理をステップＳ６に進める。反対に、検出された動きベクトルが所定の閾値よりも大きい場合には、その動きベクトルを動き補正に利用しない。この場合、今回の撮像タイミングに対応する画像合成処理は終了される。

ステップＳ６においては、補正量推定部２３は、動きベクトル検出部２２で検出された動きベクトルに基づき、特殊フレームおよび微分フィルタフレームの動き補正量を推定し、推定した動き補正量を動き補正部２６に出力する。具体的には、例えば、次式（２）に示されるように動きの補正量Ｈ_ｘ，Ｈ_ｙを演算する。

・・・（２）

式（２）においてＶ_ｘ，Ｖ_ｙは、検出、補正された動きベクトルであり、Ｎは、補正を行う特殊フレームの撮像タイミングｔ＝０に対する、動きベクトルを検出した通常フレームの撮像タイミングｔ＝Ｎを表す。

なお、補正量推定部２３では、他の動き補正量の推定方法として、以下に説明するように、一連の動きベクトルに基づいて動きベクトルのばらつきを補正した後に動き補正量を推定することもできる。

図６は、一連の動きベクトルに基づいて動きベクトルのばらつきを補正した後に動き補正量を推定する処理の流れを示している。図７は、一連の動きベクトルに基づいて動きベクトルのばらつきを補正するイメージを示している。

具体的には、次式（３）に示されるように、撮像タイミングｔに対する動きベクトル（V'_x,t，V'_y,t）を推定する。

・・・（３）

そして、推定した動きベクトル（V'_x,t，V'_y,t）により、式（２）の動きベクトルを置換して次式（４）により、動きの補正量Ｈ_ｘ，Ｈ_ｙを演算する。

・・・（４）

なお、式（３）における係数（a_x,b_x,c_x,d_x）と（a_y,b_y,c_y,d_y）は、検出された動きベクトル（V_x,1，V_y,1），・・・，（V_x,t，V_y,t）を使って最小二乗法により算出できる。

以上のようにして動き補正量が推定された後、処理はステップＳ７に進められる。

ステップＳ７において、動き補正部２６は、動き補正量推定部２３から入力される動き補正量に基づき、フレームメモリ２４からの特殊フレームの動き補正を行うとともに、微分フィルタ処理部２５からの微分フィルタフレームの動き補正を行い、動き補正後の特殊フレームおよび微分フィルタフレームを合成部２７に出力する。合成部２７に入力された通常フレームと、特殊フレームと、微分フィルタフレームは、それぞれにおける被写体が正確に位置合わせされたものとなる。

ステップＳ８において、合成部２７は、通常フレーム、並びに動き補正後の特殊フレームおよび微分フィルタフレームを、ユーザからの選択に応じ、重畳合成処理またはマーキング合成処理を行うことによって合成フレームを生成して後段の表示部１５に出力する。

重畳合成処理について説明する。重畳合成処理では、次式（５）に示されるように、通常フレームに対して、動き補正後の微分フィルタフレームと特殊フレームの乗算結果が加算される。

・・・（５）

式（５）において、O(x,y)は合成フレームの画素値、N(x,y)は通常フレームの画素値、Sobel(x,y)は動き補正後の微分フィルタフレームの画素値、I(x,y)は動き補正後の特殊フレームの画素値である。C₀，C₁は、重畳の度合いを制御する係数であり、ユーザが任意に設定できる。

図８は、上述した重畳合成処理のイメージを示している。重畳合成処理では、通常フレームに対して特殊フレームと微分フィルタフレームを正確に位置合わせされ、注目したい部位（血管、病変など）のエッジが強調されて重畳されている合成フレームを得ることができる。

次に、マーキング合成処理について説明する。マーキング合成処理では、次式（６）に示されるように、通常フレームに対して、微分フィルタフレームの画素値を掛け合わせた色変換係数Ｃによるカラーマトリックス処理によって擬似的な色変換が行われる。

・・・（６）

式（６）において、O(x,y)は合成フレームの画素値、N(x,y)は通常フレームの画素値、Sobel(x,y)は動き補正後の微分フィルタフレームの画素値、Ｃは色変換係数である。

式（６）から明らかなように、マーキング重畳合成処理では動き補正後の特殊フレームは利用されない。

マーキング重畳合成処理によれば、微分フィルタフレームの画素値に応じて色変換の度合いが制御されるので、血管などのエッジはより強く色変換が行われ、その他の領域はあまり色変換が行われない。よって、血管などのエッジだけが目立ちやすい合成フレームを得ることができる。

以上で、画像合成処理の説明を終了する。

以上説明したように、本実施の形態である内視鏡装置１０によれば、通常フレームのみを使って動きベクトルを検出し、検出した動きベクトルを補正してから動き補正量を推定するので、特殊フレームおよび微分フィルタフレームの動き補正を正確に実行できる。これにより、通常フレームに対して、血管や腫瘍などの特殊フレームの情報を正確に位置合わせできるので、ユーザ（手術を行う医師など）に対し、切除すべき腫瘍部分と、切除してはいけない血管部分を正確かつ明確に視認させることができる。

ユーザに提示される合成フレームは、通常フレームをベースに作られているので、特殊フレームに比べて、明るくノイズ少ない合成フレームをユーザに提示できる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１００は、例えばインターネットを介して接続される、いわゆる、クラウドコンピュータであってもよい。

なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本開示は以下のような構成も取ることができる。
（１）
所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部と
を備える画像処理装置。
（２）
前記特殊フレームに対して特徴抽出処理を行うことにより、特徴抽出フレームを生成する特徴抽出処理部を
さらに備え、
前記動き補正部は、さらに、検出された前記動きベクトルに基づき、前記特徴抽出フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行い、
前記合成部は、前記通常フレームに対して、動き補正された前記特徴抽出フレームに基づく画像合成処理を行う
前記（１）に記載の画像処理装置。
（３）
前記特徴抽出処理部は、前記特殊フレームに対して微分フィルタ処理を行うことにより、特徴抽出フレームとして微分フィルタフレームを生成する
前記（２）に記載の画像処理装置。
（４）
前記合成部は、前記通常フレームに対して、前記画像合成処理として、重畳合成処理またはマーキング合成処理を行う
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記合成部は、前記重畳合成処理として、前記通常フレームに対し、動き補正された前記特徴抽出フレームに応じて、動き補正された前記特殊フレームを加算する
前記（４）に記載の画像処理装置。
（６）
前記合成部は、前記マーキング合成処理として、前記通常フレームに対し、動き補正された前記特徴抽出フレームに応じて、色変換処理を行う
前記（４）に記載の画像処理装置。
（７）
前記合成部は、ユーザの選択に応じて、前記通常フレームに対して、前記画像合成処理として、重畳合成処理またはマーキング合成処理を行う
前記（４）から（６）のいずれかに記載の画像処理装置。
（８）
連続的に検出された複数の前記動きベクトルに基づいて、検出された前記動きベクトルを補正する動きベクトル補正部を
さらに備える前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置の画像処理方法において、
前記画像処理装置による、
所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力ステップと、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出ステップと、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正ステップと、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成ステップと
を含む画像処理方法。
（１０）
コンピュータを、
所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部と
して機能させるプログラム。
（１１）
被写体に対して通常光または特殊光を照射する光源部と、
前記被写体に対して前記通常光を照射した状態の通常フレームと、前記被写体に対して前記特殊光を照射した状態の特殊フレームとを、所定のフレーム周期に従い、所定の割合で連続的に撮像する撮像部と、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部と
を備える内視鏡装置。

１０内視鏡装置，１１光源部，１２撮像部，１３現像部，１４画像処理部，１５表示部，２１切り替え部，２２動きベクトル検出部，２３補正量推定部，２４フレームメモリ，２５微分フィルタ処理部，２６動き補正部，２７合成部，２８重畳部，２９マーキング部，３１，３２フレームメモリ，３３フレーム選択部，３４ブロックマッチング部，３５ベクトル補正部，１００コンピュータ，１０１ CPU

Claims

所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部と
を備える画像処理装置。
前記特殊フレームに対して特徴抽出処理を行うことにより、特徴抽出フレームを生成する特徴抽出処理部を
さらに備え、
前記動き補正部は、さらに、検出された前記動きベクトルに基づき、前記特徴抽出フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行い、
前記合成部は、前記通常フレームに対して、動き補正された前記特徴抽出フレームに基づく画像合成処理を行う
請求項１に記載の画像処理装置。
前記特徴抽出処理部は、前記特殊フレームに対して微分フィルタ処理を行うことにより、特徴抽出フレームとして微分フィルタフレームを生成する
請求項２に記載の画像処理装置。
前記合成部は、前記通常フレームに対して、前記画像合成処理として、重畳合成処理またはマーキング合成処理を行う
請求項２に記載の画像処理装置。
前記合成部は、前記重畳合成処理として、前記通常フレームに対し、動き補正された前記特徴抽出フレームに応じて、動き補正された前記特殊フレームを加算する
請求項４に記載の画像処理装置。
前記合成部は、前記マーキング合成処理として、前記通常フレームに対し、動き補正された前記特徴抽出フレームに応じて、色変換処理を行う
請求項４に記載の画像処理装置。
前記合成部は、ユーザの選択に応じて、前記通常フレームに対して、前記画像合成処理として、重畳合成処理またはマーキング合成処理を行う
請求項４に記載の画像処理装置。
連続的に検出された複数の前記動きベクトルに基づいて、検出された前記動きベクトルを補正する動きベクトル補正部を
さらに備える請求項２に記載の画像処理装置。
画像処理装置の画像処理方法において、
前記画像処理装置による、
所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力ステップと、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出ステップと、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正ステップと、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成ステップと
を含む画像処理方法。
コンピュータを、
所定のフレーム周期に従い、所定の割合で連続的に撮像された、被写体に対して通常光を照射した状態の通常フレームと、前記被写体に対して特殊光を照射した状態の特殊フレームとを入力する入力部と、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部と
して機能させるプログラム。
被写体に対して通常光または特殊光を照射する光源部と、
前記被写体に対して前記通常光を照射した状態の通常フレームと、前記被写体に対して前記特殊光を照射した状態の特殊フレームとを、所定のフレーム周期に従い、所定の割合で連続的に撮像する撮像部と、
撮像タイミングが異なる複数の前記通常フレームから前記被写体の動きベクトルを検出する検出部と、
検出された前記動きベクトルに基づき、前記特殊フレームに対して、前記通常フレームの撮像タイミングに対応した動き補正を行う動き補正部と、
前記通常フレームに対して前記特殊フレームに基づく画像合成処理を行う合成部と
を備える内視鏡装置。