図面を参照し、本発明の実施形態を説明する。以下では、画像処理装置を有する内視鏡装置の例を説明する。内視鏡装置が備える内視鏡は、医療用内視鏡と工業用内視鏡とのどちらであってもよい。本発明の実施形態は内視鏡装置に限らない。本発明の実施形態は、顕微鏡などであってもよい。観察者が立体画像を見ながら観察対象に道具で処置を施す場合に、本発明の各態様の画像処理方法および画像処理装置を使用することができる。観察者は、医師、技師、研究者、または装置管理者などである。
(第1の実施形態)
図1は、本発明の第1の実施形態の内視鏡装置1の構成を示す。図1に示す内視鏡装置1は、電子内視鏡2、光源装置3、画像処理装置4、およびモニター5を有する。
電子内視鏡2は、撮像素子12(図2)を有し、被写体の画像を取得する。光源装置3は、電子内視鏡2に照明光を供給する光源を有する。画像処理装置4は、電子内視鏡2の撮像素子12によって取得された画像を処理し、映像信号を生成する。モニター5は、画像処理装置4から出力された映像信号に基づいて画像を表示する。
電子内視鏡2は、先端部10、挿入部21、操作部22、およびユニバーサルコード23を有する。挿入部21は、細長く構成され、かつ柔軟性を有する。先端部10は、挿入部21の先端に配置されている。先端部10は、硬質である。操作部22は、挿入部21の後端に配置されている。ユニバーサルコード23は、操作部22の側部から出ている。コネクタ部24がユニバーサルコード23の端部に配置されている。コネクタ部24は、光源装置3への装着と光源装置3からの取り外しとが可能に構成されている。接続コード25がコネクタ部24から出ている。電気コネクタ部26が接続コード25の端部に配置されている。電気コネクタ部26は、画像処理装置4への装着と画像処理装置4からの取り外しとが可能に構成されている。
図2は、先端部10の概略的な構成を示す。内視鏡装置1は、第1の光学系11L、第2の光学系11R、撮像素子12、および処置具13を有する。第1の光学系11L、第2の光学系11R、および撮像素子12は先端部10の内部に配置されている。
第1の光学系11Lは、左目に対応する。第2の光学系11Rは、右目に対応する。第1の光学系11Lの光軸と第2の光学系11Rの光軸とは、互いに所定距離だけ離れている。そのため、第1の光学系11Lおよび第2の光学系11Rは、互いに視差を有する。第1の光学系11Lおよび第2の光学系11Rの各々は、対物レンズなどの光学部品を有する。撮像素子12は、イメージセンサである。
第1の光学系11Lおよび第2の光学系11Rが被写体からの光を取り込むための窓が先端部10の端面に形成されている。電子内視鏡2が2眼タイプの内視鏡である場合、2つの窓が先端部10の端面に形成されている。2つの窓の一方は第1の光学系11Lの前方に形成され、かつ2つの窓の他方は第2の光学系11Rの前方に形成されている。電子内視鏡2が1眼タイプの内視鏡である場合、1つの窓が、先端部10の端面において第1の光学系11Lおよび第2の光学系11Rの前方に形成されている。
処置具13が挿入部21の内部に挿入されている。処置具13は、レーザーファイバーまたは鉗子などの道具である。処置具13を通すための空間(チャネル)が挿入部21の内部に形成されている。処置具13は、先端部10の端面から前方に出る。処置具13は前方に進行することができ、あるいは後方に後退することができる。2つ以上のチャネルが挿入部21に形成され、かつ2つ以上の処置具が挿入部21に挿入されてもよい。
光源装置3によって生成された照明光は被写体に照射される。被写体で反射した光は、第1の光学系11Lおよび第2の光学系11Rに入射する。第1の光学系11Lを通った光は、被写体の第1の光学像を撮像素子12の撮像面に形成する。第2の光学系11Rを通った光は、被写体の第2の光学像を撮像素子12の撮像面に形成する。
撮像素子12は、第1の光学像に基づいて第1の画像を生成し、かつ第2の光学像に基づいて第2の画像を生成する。第1の光学像および第2の光学像は同時に撮像素子12の撮像面上に形成され、撮像素子12は、第1の画像および第2の画像を含む画像(撮像信号)を生成する。第1の画像および第2の画像は、観察対象および道具の画像である。第1の画像および第2の画像は、互いに視差を有する。撮像素子12は、撮像を連続的に実行し、かつ動画像を生成する。その動画像は、2つ以上のフレームの第1の画像および第2の画像を含む。撮像素子12は、生成された画像を出力する。
第1の光学像および第2の光学像は順次に撮像素子12の撮像面上に形成されてもよい。例えば、先端部10は、第1の光学系11Lおよび第2の光学系11Rの一方を通る光を遮蔽するシャッターを有する。シャッターは、第1の位置と第2の位置との間で移動することができる。シャッターが第1の位置に配置されたとき、シャッターは第2の光学系11Rを通る光を遮蔽する。このとき、第1の光学像が撮像素子12の撮像面上に形成され、撮像素子12は第1の画像を生成する。シャッターが第2の位置に配置されたとき、シャッターは第1の光学系11Lを通る光を遮蔽する。このとき、第2の光学像が撮像素子12の撮像面上に形成され、撮像素子12は第2の画像を生成する。撮像素子12は、第1の画像および第2の画像を順次に出力する。
上記の例では、第1の光学像は、第1の光学系11Lを通った光によって形成される。第1の画像は、第1の光学像に基づいて生成される。また、上記の例では、第2の光学像は、第2の光学系11Rを通った光によって形成される。第2の画像は、第2の光学像に基づいて生成される。第1の画像が第2の光学像に基づいて生成され、かつ第2の画像が第1の光学像に基づいて生成されてもよい。
撮像素子12から出力された画像は、画像処理装置4に伝送される。図2において、先端部10以外の挿入部21、操作部22、ユニバーサルコード23、コネクタ部24、接続コード25、および電気コネクタ部26は省略されている。画像処理装置4は、撮像素子12から出力された画像に含まれる第1の画像および第2の画像を処理する。画像処理装置4は、処理された第1の画像および第2の画像を映像信号としてモニター5に出力する。
モニター5は、第1の画像および第2の画像に基づいて立体画像(3次元画像)を表示する表示装置である。例えば、モニター5は、液晶ディスプレイ(LCD)、有機ELディスプレイ(OLED)、またはプラズマディスプレイなどのようなフラットパネルディスプレイである。モニター5は、画像をスクリーンに投影するプロジェクターであってもよい。立体画像を表示する方法として、円偏光方式またはアクティブシャッターなどを利用することができる。これらの方法では専用眼鏡が使用される。円偏光方式では同期の不要な軽量の専用めがねを使用することができる。
図3は、画像処理装置4の構成を示す。図3に示す画像処理装置4は、プロセッサ41およびROM(Read Only Memory)42を有する。
例えば、プロセッサ41は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、またはGPU(Graphics Processing Unit)などである。プロセッサ41は、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)などで構成されてもよい。画像処理装置4は、1つまたは複数のプロセッサ41を含むことができる。
第1の画像および第2の画像は、撮像素子12から出力され、かつプロセッサ41に入力される。プロセッサ41は、画像取得ステップにおいて、第1の画像および第2の画像を撮像素子12(第1の装置)から取得する。撮像素子12から出力された第1の画像および第2の画像は、図3に示されていない記憶装置に記憶されてもよい。プロセッサ41は、第1の画像および第2の画像をその記憶装置から取得してもよい。プロセッサ41は、立体画像において道具の光学像が表示される位置を調整するために、画像処理ステップにおいて第1の画像および第2の画像の少なくとも一方を処理する。プロセッサ41が実行する画像処理の詳細については、後述する。プロセッサ41は、第1の画像出力ステップにおいて、処理された第1の画像および第2の画像をモニター5に出力する。
操作部22は、観察者(操作者)によって操作される部品を有する入力装置である。例えば、その部品はボタンまたはスイッチなどである。観察者は、操作部22を操作することにより、内視鏡装置1を制御するための様々な情報を入力することができる。操作部22は、操作部22に入力された情報をプロセッサ41に出力する。プロセッサ41は、操作部22に入力された情報に基づいて、撮像素子12、光源装置3、およびモニター5などを制御する。
ROM42は、プロセッサ41の動作を規定する命令を含むプログラムを保持する。プロセッサ41は、プログラムをROM42から読み込み、かつ読み込まれたプログラムを実行する。プロセッサ41の機能はソフトウェアで実現することができる。上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク(通信網)および電話回線等の通信回線(通信線)を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル(差分プログラム)であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
図2および図3に示す例では、撮像素子12および画像処理装置4は、挿入部21などを通る信号線で接続されている。撮像素子12および画像処理装置4は、無線で接続されてもよい。つまり、撮像素子12は、第1の画像および第2の画像を無線で送信する送信機を有してもよく、画像処理装置4は、第1の画像および第2の画像を無線で受信する受信機を有してもよい。撮像素子12と画像処理装置4との間の通信は、LAN(Local Area Network)などのネットワークを経由して実行されてもよい。その通信は、クラウド上の機器を経由して実行されてもよい。
図1および図3に示す例では、画像処理装置4およびモニター5は、信号線で接続されている。画像処理装置4およびモニター5は、無線で接続されてもよい。つまり、画像処理装置4は、第1の画像および第2の画像を無線で送信する送信機を有してもよく、モニター5は、第1の画像および第2の画像を無線で受信する受信機を有してもよい。画像処理装置4とモニター5との間の通信は、LANなどのネットワークを経由して実行されてもよい。
図3に示す例では、プロセッサ41は、第1の画像および第2の画像をモニター5(表示装置)に出力する。プロセッサ41は、第1の画像および第2の画像を直接モニター5に出力しなくてもよい。図4は、画像処理装置4とモニター5との他の接続例を示す。プロセッサ41は、第1の画像および第2の画像を受信装置6(通信装置)に出力する。受信装置6は、画像処理装置4から出力された第1の画像および第2の画像を受信する。受信装置6は、受信された第1の画像および第2の画像をモニター5に出力する。画像処理装置4および受信装置6は、信号線で接続されてもよいし、あるいは無線で接続されてもよい。受信装置6およびモニター5は、信号線で接続されてもよいし、あるいは無線で接続されてもよい。受信装置6は、ハードディスクドライブまたはフラッシュメモリなどのような記憶装置に置き換えられてもよい。
図5を参照し、第1の画像および第2の画像を説明する。2つの画像は互いに視差を有するが、2つの画像の構図が大きく異なることはない。図5は、第1の画像の例を示す。以下で説明する事項は第2の画像に同様に適用できる。
図5に示す第1の画像200は、観察対象210および処置具13の画像である。観察対象210は、観察者が注目する領域(注目領域)である。例えば、観察対象210は、生体内の部位(臓器または血管など)の患部である。例えば、患部は、癌などの腫瘍である。患部は、病変部と呼ばれる場合がある。観察対象210の周辺は、その部位(被写体)の一部である。処置具13は、被写体上に表示される。処置具13は、観察対象210に処置を施す。処置具13は、鉗子130およびシース131を有する。鉗子130は、観察対象210と接触し、かつ観察対象210に処置を施す。シース131は、鉗子130を支持する支持部である。鉗子130は、シース131に固定されている。処置具13は、鉗子130以外にスネアまたはITナイフ等を有してもよい。
第1の画像200は、第1の領域R10および第2の領域R11を含む。破線L10は、第1の領域R10と第2の領域R11との境界を示す。第1の領域R10は破線L10の内側の領域であり、第2の領域R11は破線L10の外側の領域である。第1の領域R10は第1の画像200の中心C10を含む。観察対象210が第1の領域R10に写っている。第2の領域R11は第1の画像200の少なくとも1つの端部を含む。図5に示す例では、第2の領域R11は第1の画像200の4つの端部を含む。処置具13が第2の領域R11に写っている。処置具13は、第1の画像200の下側の端部を含む領域に写っている。
処置具13の一部が第1の領域R10に写っていてもよい。図5に示す例では、処置具13の先端部(鉗子130)が第1の領域R10に写っており、処置具13の根元側の部分(シース131)が第2の領域R11に写っている。鉗子130は観察対象210の手前にあり、観察対象210の一部を隠す。第1の画像200における処置具13の根元は、第1の画像200の下側の端部に写っているシース131の部分である。観察対象210の一部が第2の領域R11に写っていてもよい。つまり、観察対象210の一部が第1の領域R10に写り、かつ観察対象210の残りが第2の領域R11に写っていてもよい。
第2の画像は、第1の画像200と同様に、第1の領域および第2の領域を含む。第2の画像の第1の領域は第2の画像の中心を含む。観察対象が第2の画像の第1の領域に写っている。第2の画像の第2の領域は第2の画像の少なくとも1つの端部を含む。処置具13が第2の画像の第2の領域に写っている。
第1の領域および第2の領域は、観察対象が写っている領域と、処置具13が写っている領域とを区別するために定義された領域である。第1の領域および第2の領域は、図5に示す破線L10のような一定の形状を持つ線で明確に定義されるとは限らない。
第1の画像および第2の画像は、第1の領域および第2の領域のいずれとも異なる第3の領域を含んでもよい。観察対象と異なる何らかの被写体が第3の領域に写っていてもよい。観察対象または処置具13の一部が第3の領域に写っていてもよい。第3の領域は、第1の領域と第2の領域との間の領域であってもよい。第3の領域は、処置具13が写っている画像の端部と異なる端部を含んでもよい。第3の領域は、処置具13が写っている画像の端部の一部を含んでもよい。
処置具13は、挿入部21を経由して体内に挿入される。処置具13以外の処置具が、処置具13が挿入される挿入部21を経由せずに体内に挿入されてもよい。図6は、第1の画像の他の例を示す。図6に示す第1の画像201は、観察対象210、処置具14、および処置具15の画像である。処置具14および処置具15は、挿入部21を経由せずに体内に挿入される。例えば、内視鏡装置1は、処置具13に加えて、処置具14および処置具15の少なくとも一方を有する。図1に示す内視鏡装置1とは異なる内視鏡装置が処置具14および処置具15の少なくとも一方を有してもよい。処置具14および処置具15によって施される処置の種類は、互いに異なっていてもよい。内視鏡装置1が処置具13を有していなくてもよい。
図5に示す例では1つの処置具が画像に写っており、図6に示す例では2つの処置具が画像に写っている。3つ以上の処置具が画像に写っていてもよい。処置具14および処置具15の少なくとも一方と処置具13とが画像に写っていてもよい。
図7を参照し、立体画像における被写体の光学像の位置を説明する。図7は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す例では、プロセッサ41が撮像素子12から出力された第1の画像および第2の画像に視差量の変更を施さないことを想定している。視差量の変更については後述する。
視点VLは、観察者の左目に対応する。視点VRは、観察者の右目に対応する。観察者は、視点VLおよび視点VRで被写体の光学像を捉える。視点VLと視点VRとの中間の点VCが観察者の視点として定義されてもよい。以下の例では、観察者の視点と被写体の光学像との間の距離は、点VCと被写体の光学像との間の距離として定義される。
第1の光学系11Lの光軸と第2の光学系11Rの光軸とが交差する点は、クロスポイントと呼ばれる。クロスポイントは、コンバージェンスポイントまたはゼロポイントなどと呼ばれる場合がある。クロスポイント上の被写体の領域において、第1の画像と第2の画像との間の視差量は0である。立体画像が表示される場合、観察者が立体画像を見やすくなるようにクロスポイントの位置が設定される。例えば、図7に示すように、クロスポイントCPはスクリーン面SC上に設定される。スクリーン面SCは、ディスプレイ面、モニター面、またはゼロプレーンなどと呼ばれる場合がある。スクリーン面SCはモニター5の画面5a(図1)に対応する。図7に示す例では、スクリーン面SCは、クロスポイントCPを含み、観察者の視点に正対する平面である。クロスポイントCPはスクリーン面SC上の位置でなくてもよい。クロスポイントCPはスクリーン面SCの手前側の位置、またはスクリーン面SCの奥側の位置であってもよい。
図7に示す例では、観察者が視認できる領域に物体OB1の光学像および物体OB2の光学像が存在する。物体OB1の光学像は、クロスポイントCPの奥側の領域R20(スクリーン面SCの奥側の領域)に位置する。例えば、物体OB1は観察対象である。観察者の視点と物体OB1の光学像との間の距離はD1である。観察対象の大部分は領域R20に位置する。例えば、観察対象の50%以上は領域R20に位置する。観察対象の全てが領域R20に位置してもよい。
物体OB2の光学像は、クロスポイントCPの手前側の領域R21(スクリーン面SCの手前側の領域)に位置する。物体OB2の光学像は、観察者の視点とスクリーン面SCとの間に位置する。例えば、物体OB2は処置具13の根元側の部分である。観察者の視点と物体OB2の光学像との間の距離はD2である。距離D2は、距離D1よりも小さい。全ての物体の光学像が領域R20に位置する場合もある。
立体画像においてクロスポイントCPの奥側に位置する物体が写っている第1の画像および第2の画像の領域は正の視差量を持つと定義される。例えば、第1の画像において物体OB1が写っている領域と、第2の画像において物体OB1が写っている領域との間の視差量は正の値である。物体OB1が観察対象210である場合、図5に示す第1の画像200の第1の領域R10の少なくとも一部と、第2の画像の第1の領域の少なくとも一部との間の視差量は正の値である。観察者の視点と物体OB1の光学像との間の距離D1が大きくなるほど、視差量の絶対値は大きくなり、かつ物体OB1の光学像は観察者の視点から遠ざかる。
立体画像においてクロスポイントCPの手前側に位置する物体が写っている第1の画像および第2の画像の領域は負の視差量を持つと定義される。例えば、第1の画像において物体OB2が写っている領域と、第2の画像において物体OB2が写っている領域との間の視差量は負の値である。物体OB2が処置具13の根元側の部分である場合、図5に示す第1の画像200の第2の領域R11の少なくとも一部と、第2の画像の第2の領域の少なくとも一部との間の視差量は負の値である。観察者の視点と物体OB2の光学像との間の距離D2が小さくなるほど、視差量の絶対値は大きくなり、かつ物体OB2の光学像は観察者の視点に近づく。物体OB2の光学像が観察者の視点に近い場合、観察者は物体OB2が大きく飛び出しているように見える。その場合、輻輳角が大きく、観察者の目が疲労しやすい。
プロセッサ41が実行する視差量の変更について説明する。プロセッサ41は、第1の画像および第2の画像に基づいて表示される立体画像において観察者の視点と道具の光学像との間の距離が大きくなるように、第1の画像および第2の画像の少なくとも一方における第2の領域を含む処理領域に画像処理を施し、処理領域の視差量を変更する。この立体画像は、プロセッサ41が視差量の変更を実行した後に第1の画像および第2の画像に基づいて表示される立体画像である。例えば、プロセッサ41は、図5に示す第1の画像200の第2の領域R11を含む処理領域を設定し、かつその処理領域の視差量を変更する。
例えば、プロセッサ41が視差量の変更を実行する前、観察者の視点と物体OB2の光学像との間の距離はD2である。プロセッサ41は、第1の画像および第2の画像の少なくとも一方に画像処理を施し、処理領域の視差量を正方向に変化させる。処置具13が写っている第2の領域の視差量が負の値である場合、プロセッサ41は、第2の領域を含む処理領域の視差量を増加させる。プロセッサ41は、処理領域の視差量を0に変更してもよく、または処理領域の視差量を正の値に変更してもよい。プロセッサ41が視差量の変更を実行した後、観察者の視点と物体OB2の光学像との間の距離はD2よりも大きい。その結果、輻輳角が小さくなり、観察者の目の疲労が軽減される。
図8を参照し、プロセッサ41が実行する処理を説明する。図8は、プロセッサ41が実行する処理の手順を示す。
プロセッサ41は、第2の領域を含む処理領域を設定する(ステップS100)。ステップS100の詳細を説明する。第1の画像および第2の画像の各々の全体の大きさは既知である。ステップS100が実行される前、第2の領域の位置を示す領域情報が、図3に示されていないメモリに記憶されている。領域情報は、第2の領域の大きさおよび形状の少なくとも一方を示す情報を含んでもよい。プロセッサ41は、ステップS100において領域情報をメモリから読み出す。プロセッサ41は、領域情報に基づいて第2の領域の位置を判断する。プロセッサ41は、第2の領域を含む処理領域を設定する。処理領域は2つ以上の画素を含む。例えば、処理領域は第2の領域と同じであり、第1の領域は処理領域に含まれない。プロセッサ41は、2つ以上の処理領域を設定してもよい。プロセッサ41は、処理領域の情報を保持することにより、処理領域を設定する。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
ステップS105の後、プロセッサ41は、第1の画像および第2の画像を撮像素子12から取得する(ステップS105(画像取得ステップ))。ステップS105およびステップS100が実行される順番は、図8に示す順番と異なっていてもよい。つまり、ステップS105が実行された後、ステップS100が実行されてもよい。
ステップS100の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域の画像データを変更することにより視差量を変更する(ステップS110(画像処理ステップ))。プロセッサ41は、第1の画像のみにおける処理領域の視差量を変更してもよい。プロセッサ41は、第2の画像のみにおける処理領域の視差量を変更してもよい。プロセッサ41は、第1の画像および第2の画像の各々における処理領域の視差量を変更してもよい。
ステップS110の詳細を説明する。例えば、プロセッサ41は、処理領域の光学像が平面になるように処理領域の視差量を変更する。これにより、プロセッサ41は、処置具13の光学像が平面になるように処理領域の視差量を変更する。具体的には、プロセッサ41は、第1の画像における処理領域に含まれる各画素のデータを、第1の画像の各画素と対応する第2の画像に含まれる各画素のデータで置き換える。そのため、2つの画像の同じ画素は、同じデータを持つ。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータを、第2の画像の各画素と対応する第1の画像に含まれる各画素のデータで置き換えてもよい。
図9は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
処理領域に写っている処置具13の光学像が図9に示されている。第1の領域に写っている処置具13の光学像は図9では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図9に示されている。
プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、その処理領域と、その処理領域に対応する第2の画像の領域との間の視差量は0である。処理領域に写っている処置具13の光学像13bは、立体画像においてクロスポイントCPを含む平面として表示される。例えば、光学像13bは、スクリーン面SC内に表示される。光学像13bは観察者の視点から遠ざかる。
プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域とそれ以外の領域との境界において視差量の不連続が生じる。つまり、第1の領域と第2の領域との境界において視差量の不連続が生じる。プロセッサ41は、その不連続をなくすために、その境界の周辺におけるデータの変化が滑らかになるような画像処理を実行してもよい。これにより、その境界が目立ちにくくなり、画像の見え方が自然になる。
プロセッサ41は、処理領域の視差量を変更し、かつ第1の画像および第2の画像の少なくとも一方における第1の領域の視差量を変更してもよい。第1の領域の視差量を変更する方法は、処理領域の視差量を変更する方法と異なる。例えば、プロセッサ41は、観察対象の光学像がクロスポイントの奥側に遠ざかるように第1の領域の視差量を変更してもよい。第1の領域の視差量が変更される場合、第1の領域の視差量の変更量は、処理領域の視差量の変更量の最大値よりも小さくてもよい。
ステップS110の後、プロセッサ41は、処理領域の視差量が変更された画像を含む第1の画像および第2の画像をモニター5に出力する(ステップS115(第1の画像出力ステップ))。例えば、プロセッサ41は、ステップS110において処理領域の視差量が変更された第1の画像と、ステップS105において取得された第2の画像とをモニター5に出力する。
ステップS105、ステップS110、およびステップS115において、動画像に含まれる1フレームに対応する画像が処理される。プロセッサ41は、ステップS105、ステップS110、およびステップS115を繰り返し実行することにより動画像を処理する。最初のフレームに適用される処理領域が設定された後、その処理領域が残りの1つ以上のフレームにも適用されてもよい。この場合、ステップS100は1回実行され、ステップS105、ステップS110、およびステップS115は2回以上実行される。
プロセッサ41が領域情報に基づいて処理領域を設定するため、処理領域の位置は固定される。プロセッサ41は、処理領域を容易に設定することができる。
領域情報は、第1の領域の位置を示してもよい。領域情報は、第1の領域の位置を示す情報に加えて、第1の領域の大きさおよび形状の少なくとも一方を示す情報を含んでもよい。プロセッサ41は、領域情報に基づいて第1の領域の位置を判断し、かつ画像において第1の領域を除く領域を第2の領域とみなしてもよい。第1の領域が観察対象の全体を含む場合、観察対象は処理領域の視差量の変更に影響されない。そのため、観察者が処置具13を使用して観察対象に処置を施しやすい。
図5に示す例では、第1の領域R10の形状は円である。第1の画像および第2の画像の形状が円であり、かつ第1の領域の形状が円である場合、観察者が画像に違和感を覚えにくい。第1の領域の形状は楕円または多角形であってもよい。多角形は、4つ以上の頂点を有する。第1の領域の形状は、8つ以上の頂点を有する多角形であってもよい。
第1の実施形態において、プロセッサ41は、立体画像における観察者の視点と道具の光学像との間の距離が大きくなるように、第2の領域を含む処理領域の視差量を変更する。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
(第1の実施形態の第1の変形例)
本発明の第1の実施形態の第1の変形例を説明する。処置具13の光学像が平面になるように視差量を変更する他の方法を説明する。
プロセッサ41は、ステップS110において、第1の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、画像の水平方向に平行な方向である。所定の方向は、負の視差量が正方向に変化する方向である。第1の画像が第1の光学系11Lによって捉えられた光学像に対応する場合、所定の方向は左方向である。第1の画像が第2の光学系11Rによって捉えられた光学像に対応する場合、所定の方向は右方向である。
プロセッサ41は、ステップS110において、処理領域に含まれる各画素における被写体の光学像がスクリーン面から距離A1だけ離れた位置に移動するように各画素のデータの位置をずらす。プロセッサ41は、この処理を実行することにより、処理領域に含まれる各画素の視差量をB1だけ変更する。プロセッサ41は、距離A1に基づいて、視差量の変更量B1を算出することができる。
各画素のデータの位置をずらす方法を説明する。プロセッサ41は、処理領域に含まれる各画素のデータを、所定の方向と反対の方向に距離C1だけ離れた画素のデータで置き換える。距離C1は視差量の変更量B1と同じであってもよいし、あるいは視差量の変更量B1に基づいて算出されてもよい。第1の画像の画素から所定の方向と反対の方向に距離C1だけ離れた位置が第1の画像に含まれない場合、プロセッサ41は、その画素のデータを補間する。例えば、第1の画像の画素の右方向に距離C1だけ離れた位置が第1の画像に含まれない場合、プロセッサ41は、その位置に対応する第2の画像の画素のデータを使用することによりデータを補間する。第1の画像の画素から所定の方向に距離C1だけ離れた位置が第1の画像に含まれない場合、プロセッサ41は、その位置のデータを生成しない。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
図10は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
処理領域に写っている処置具13の光学像が図10に示されている。第1の領域に写っている処置具13の光学像は図10では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図10に示されている。
プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像13bは、スクリーン面SCから距離A1だけ離れた仮想的な平面PL1上に表示される。平面PL1は、観察者の視点に正対する。光学像13bは観察者の視点から遠ざかる。
図10に示す例では、平面PL1はスクリーン面SCの奥側に位置する。平面PL1はスクリーン面SCの手前側に位置してもよい。
ステップS110が実行される前、距離A1を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110においてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
プロセッサ41は、第1の画像および第2の画像の少なくとも一方に基づいて距離A1を算出してもよい。例えば、距離A1は、第1の領域の最も外側の画素における被写体の光学像とスクリーン面との間の距離と同じであってもよい。この場合、処理領域とそれ以外の領域との境界における視差量の不連続が生じにくい。つまり、第1の領域と第2の領域との境界における視差量の不連続が生じにくい。そのため、その境界が目立ちにくくなり、画像の見え方が自然になる。
観察者が距離A1を指定できてもよい。例えば、観察者が操作部22を操作し、距離A1を入力してもよい。プロセッサ41は、操作部22に入力された距離A1を使用してもよい。
プロセッサ41が処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像は、立体画像においてスクリーン面から距離A1だけ離れた平面として表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。道具の光学像がスクリーン面の奥側に表示される場合、目の疲労を軽減する効果が高まる。
(第1の実施形態の第2の変形例)
本発明の第1の実施形態の第2の変形例を説明する。処置具13の光学像が観察者の視点から遠ざかるように視差量を変更する他の方法を説明する。
処理領域は2つ以上の画素を含む。プロセッサ41は、画像処理ステップにおいて、その2つ以上の画素に対応する光学像の2つ以上の点が、観察者の視点から遠ざかる方向(スクリーン面に向かう方向)に移動するように視差量を変更する。2つ以上の点が移動する距離は、互いに等しい。
プロセッサ41は、ステップS110において、第1の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、第1の実施形態の第1の変形例で説明した方向と同じである。
プロセッサ41は、ステップS110において、処理領域に含まれる各画素における被写体の光学像が各光学像の位置から距離A2だけ奥側に離れた位置に移動するように各画素のデータの位置をずらす。プロセッサ41は、この処理を実行することにより、処理領域に含まれる各画素の視差量をB2だけ変更する。これにより、処理領域に含まれる全ての画素における被写体の光学像が同じ距離A2だけ移動する。プロセッサ41は、距離A2に基づいて、視差量の変更量B2を算出することができる。
例えば、処理領域は、第1の画素および第2の画素を含む。第1の画素における被写体の光学像が移動する距離A2は、第2の画素における被写体の光学像が移動する距離A2と同じである。
各画素のデータの位置をずらす方法を説明する。プロセッサ41は、処理領域に含まれる各画素のデータを、所定の方向と反対の方向に距離C2だけ離れた画素のデータで置き換える。距離C2は視差量の変更量B2と同じであってもよいし、あるいは視差量の変更量B2に基づいて算出されてもよい。プロセッサ41は、第1の実施形態の第1の変形例で説明した方法と同様の方法を使用することにより、各画素のデータを他の画素のデータで置き換える。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
図11は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
処理領域に写っている処置具13の光学像が図11に示されている。第1の領域に写っている処置具13の光学像は図11では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図11に示されている。
プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像13bは、光学像13aから距離A2だけ奥側に離れた位置に表示される。光学像13bは観察者の視点から遠ざかる。
図11に示す例では、処置具13の光学像13bは、スクリーン面SCの奥側に位置する部分と、スクリーン面SCの手前側に位置する部分とを含む。光学像13bの全体がスクリーン面SCの奥側またはスクリーン面SCの手前側に位置してもよい。
ステップS110が実行される前、距離A2を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110においてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
観察者が距離A2を指定できてもよい。例えば、観察者が操作部22を操作し、距離A2を入力してもよい。プロセッサ41は、操作部22に入力された距離A2を使用してもよい。
プロセッサ41が処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像は、立体画像において実際の位置から距離A2だけ奥側に離れた位置に表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
処理領域に含まれる全ての画素における被写体の光学像は、同じ距離A2だけ移動する。そのため、処理領域において相対的な深さの情報が維持される。その結果、観察者が処置具13を操作しやすい。
(第1の実施形態の第3の変形例)
本発明の第1の実施形態の第3の変形例を説明する。処置具13の光学像が観察者の視点から遠ざかるように視差量を変更する他の方法を説明する。
処理領域は2つ以上の画素を含む。プロセッサ41は、画像処理ステップにおいて、その2つ以上の画素に対応する光学像の2つ以上の点が、観察者の視点から遠ざかる方向(スクリーン面に向かう方向)に移動するように視差量を変更する。2つ以上の画素の各々と第1の領域との間の距離が大きいほど、2つ以上の点の各々が移動する距離は大きい。
処置具13と第1の領域との間の距離が大きいほど、処置具13は手前に大きく飛び出す傾向がある。そのため、処置具13が第1の領域から離れるほど、処置具13が実際の位置から奥側に移動する距離が大きくなる必要がある。2つ以上の画素の各々と画像の端部との間の距離が小さいほど、処置具13の光学像の2つ以上の点の各々が移動する距離は大きくてもよい。
プロセッサ41は、ステップS110において、第1の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、第1の実施形態の第1の変形例で説明した方向と同じである。
プロセッサ41は、ステップS110において、処理領域に含まれる各画素における被写体の光学像が移動する距離A3を算出する。距離A3は、各画素と第1の領域の基準位置との間の2次元距離に応じた値である。例えば、基準位置は、処理領域に含まれる各画素に最も近い第1の領域の画素である。第1の領域のその画素は、第1の領域の端部にある。基準位置は、第1の領域の中心または第1の画像の中心であってもよい。プロセッサ41は、処理領域に含まれる各画素における被写体の光学像が各光学像の位置から距離A3だけ奥側に離れた位置に移動するように各画素のデータの位置をずらす。プロセッサ41は、この処理を実行することにより、処理領域に含まれる各画素の視差量をB3だけ変更する。これにより、処理領域に含まれる各画素における被写体の光学像が、各画素の位置に応じた距離A3だけ移動する。プロセッサ41は、距離A3に基づいて、視差量の変更量B3を算出することができる。
例えば、処理領域は、第1の画素および第2の画素を含む。第2の画素と第1の領域との間の距離は、第1の画素と第1の領域との間の距離よりも大きい。第2の画素における被写体の光学像が移動する距離A3は、第1の画素における被写体の光学像が移動する距離A3よりも大きい。
処理領域に含まれ、かつ第1の領域と接する画素における被写体の光学像が移動する距離A3は0であってもよい。処理領域に含まれる画素が第1の領域に近い場合、その画素における被写体の光学像が移動する距離A3は非常に小さくてもよい。距離A3は、処理領域に含まれる画素と第1の領域との間の距離に基づいて指数関数的に増加してもよい。
各画素のデータの位置をずらす方法を説明する。プロセッサ41は、処理領域に含まれる各画素のデータを、所定の方向と反対の方向に距離C3だけ離れた画素のデータで置き換える。距離C3は視差量の変更量B3と同じであってもよいし、あるいは視差量の変更量B3に基づいて算出されてもよい。プロセッサ41は、第1の実施形態の第1の変形例で説明した方法と同様の方法を使用することにより、各画素のデータを他の画素のデータで置き換える。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
図12は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。
処理領域に写っている処置具13の光学像が図12に示されている。第1の領域に写っている処置具13の光学像は図12では省略されている。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図12に示されている。
プロセッサ41が第1の画像における処理領域の視差量を変更する前、処理領域に写っている処置具13の光学像13aは、スクリーン面SCの手前側に表示される。プロセッサ41が第1の画像における処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像13bは、光学像13aから奥側に離れた位置に表示される。第1の領域から最も遠い光学像13aの点は距離A3aだけ移動する。第1の領域に最も近い光学像13aの点は移動しない。その点は、距離A3aよりも小さい距離だけ移動してもよい。光学像13bは観察者の視点から遠ざかる。
図12に示す例では、処置具13の光学像13bはスクリーン面SCの手前側に位置する。光学像13bの少なくとも一部がスクリーン面SCの奥側に位置してもよい。
ステップS110が実行される前、距離A3を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110においてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
プロセッサ41が処理領域の視差量を変更した後、処理領域に写っている処置具13の光学像は、立体画像において実際の位置から距離A3だけ奥側に離れた位置に表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
処理領域に含まれ、かつ第1の領域と接する画素における被写体の光学像が移動しない場合、第1の領域と処理領域との境界において視差量の不連続は生じにくい。そのため、観察者が違和感を覚えにくい。プロセッサ41は、第1の領域と処理領域との境界の周辺におけるデータの変化が滑らかになるような画像処理を実行しなくてもよい。
(第1の実施形態の第4の変形例)
本発明の第1の実施形態の第4の変形例を説明する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類との少なくとも一方に基づいて処理領域を設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
処置具13が画像に写る位置は、挿入部21におけるチャネルの数および位置に応じて異なる。そのチャネルの数および位置は、電子内視鏡2の種類に応じて異なることが多い。また、チャネルに挿入される処置具13の種類が固定されている場合がある。処置具13の大きさまたは形状などは、処置具の種類に応じて異なることが多い。したがって、処置具13が画像に写る位置は、電子内視鏡2の種類および処置具13の種類に応じて異なることが多い。
例えば、ステップS100が実行される前、電子内視鏡2の種類、処置具13の種類、および処理領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS100において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
図13は、領域情報の例を示す。領域情報は、情報E1、情報E2、および情報E3を含む。情報E1は、電子内視鏡2の種類を示す。情報E2は、処置具13の種類を示す。情報E3は、処理領域の位置を示す。情報E3は、処理領域の大きさおよび形状の少なくとも1つを示す情報を含んでもよい。処理領域の大きさが常に固定されている場合、情報E3は、処理領域の大きさを示す情報を含まなくてもよい。処理領域の形状が常に固定されている場合、情報E3は、処理領域の形状を示す情報を含まなくてもよい。
図13に示す例では、電子内視鏡F1、処置具G1、および処理領域H1が関連付けられている。図13に示す例では、電子内視鏡F2、処置具G2、および処理領域H2が関連付けられている。図13に示す例では、電子内視鏡F3、処置具G3、処置具G4、および処理領域H3が関連付けられている。図13に示す例では、電子内視鏡F3の挿入部21は2つのチャネルを有する。処置具G3が一方のチャネルに挿入され、処置具G4が他方のチャネルに挿入される。電子内視鏡F3が使用される場合、処置具G3が写っている第1の処理領域と、処置具G4が写っている第2の処理領域とが設定されてもよい。
領域情報は、情報E1および情報E3のみを含んでもよい。あるいは、領域情報は、情報E2および情報E3のみを含んでもよい。
プロセッサ41は、使用されている電子内視鏡2の種類と、使用されている処置具13の種類とを判断する。例えば、観察者が操作部22を操作し、電子内視鏡2の種類および処置具13の種類を示す情報を入力してもよい。プロセッサ41は、その情報に基づいて電子内視鏡2の種類および処置具13の種類を判断してもよい。
電子内視鏡2と画像処理装置4とが接続されたとき、プロセッサ41は、電子内視鏡2の種類および処置具13の種類を示す情報を電子内視鏡2から取得してもよい。内視鏡装置1はコード読み取り器を有し、コード読み取り器は2次元コードを読み取り、かつプロセッサ41はその2次元コードの情報をコード読み取り器から取得してもよい。その2次元コードは、電子内視鏡2の種類および処置具13の種類を示す。その2次元コードが電子内視鏡2の表面に貼付されていてもよい。
プロセッサ41は、使用されている電子内視鏡2および処置具13の組み合わせに対応する処理領域の情報を領域情報から抽出する。例えば、電子内視鏡F2および処置具G2が使用されている場合、プロセッサ41は、処理領域H2の情報を抽出する。プロセッサ41は、抽出された情報に基づいて処理領域を設定する。
図14は、第1の画像の例を示す。図14に示す第1の画像202は、観察対象210および処置具13の画像である。第1の画像202は、第1の領域R12および第2の領域R13を含む。破線L11は、第1の領域R12と第2の領域R13との境界を示す。第1の領域R12は破線L11の上側の領域であり、第2の領域R13は破線L11の下側の領域である。第1の領域R12は第1の画像202の中心C11を含む。観察対象210が第1の領域R12に写っている。第2の領域R13は第1の画像202の下側の端部を含む。処置具13が第2の領域R13に写っている。プロセッサ41は、第2の領域R13を処理領域として設定する。
特定の種類の電子内視鏡2が使用される場合、処置具13は第1の画像202の下側の領域のみに写る。その場合、プロセッサ41は、図5に示す第2の領域R11の代わりに、図14に示す第2の領域R13を処理領域として設定することができる。第2の領域R13は、第2の領域R11よりも小さい。
プロセッサ41は、電子内視鏡2の種類および処置具13の種類に適した処理領域を設定することができる。そのため、処理領域が小さくなり、視差量を変更する処理におけるプロセッサ41の負荷が減る。
(第2の実施形態)
本発明の第2の実施形態を説明する。第2の実施形態において、処理領域は第1の領域および第2の領域を含む。例えば、処理領域は第1の画像の全体または第2の画像の全体である。
処理領域は2つ以上の画素を含む。プロセッサ41は、観察者の視点と、その2つ以上の画素に対応する光学像の2つ以上の点の各々との間の距離が所定値以上になるように処理領域の視差量を変更する。
図15を参照し、プロセッサ41が実行する処理を説明する。図15は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
プロセッサ41は、図8に示すステップS100を実行しない。ステップS105の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域の視差量を変更する(ステップS110a(画像処理ステップ))。ステップS110aの後、ステップS115が実行される。
ステップS110aは、図8に示すステップS110と異なる。ステップS110aの詳細を説明する。以下では、プロセッサ41が第1の画像の視差量を変更する例を説明する。プロセッサ41は、以下の方法と同様の方法を使用することにより、第2の画像の視差量を変更してもよい。
プロセッサ41は、第1の画像に含まれる各画素の視差量を算出する。プロセッサ41は、第1の画像に含まれる全ての画素にこの処理を実行する。例えば、プロセッサ41は、ステレオマッチングを使用することにより各画素の視差量を算出する。
プロセッサ41は、第1の画像に含まれる全ての画素に以下の処理を実行する。プロセッサ41は、画素の視差量と所定量B4とを比較する。画素の視差量が所定量B4よりも小さい場合、観察者の視点と、その画素における被写体の光学像との間の距離はA4よりも小さい。観察者はその被写体が大きく飛び出しているように見える。第1の画像に含まれる画素の視差量が所定量B4よりも小さい場合、プロセッサ41は、その画素の視差量を所定量B4に変更する。第1の画像に含まれる画素の視差量が所定量B4以上である場合、プロセッサ41は、その画素の視差量を変更しない。プロセッサ41は、距離A4に基づいて、視差の所定量B4を算出することができる。プロセッサ41は、上記の処理を実行することにより、観察者の視点と処置具13の光学像との間の距離が所定値以上になるように処理領域の視差量を変更する。
プロセッサ41は、第1の画像に含まれる全ての画素の少なくとも一部のデータの位置を所定の方向にずらす。これにより、プロセッサ41は、処理領域の視差量を変更する。所定の方向は、第1の実施形態の第1の変形例で説明した方向と同じである。
第1の画像に含まれる画素の視差量が所定量B4よりも小さい場合、プロセッサ41は、その画素のデータを、所定の方向と反対の方向に距離C4だけ離れた画素のデータで置き換える。距離C4はその画素の視差量と所定量B4との差と同じであってもよいし、あるいはその差に基づいて算出されてもよい。プロセッサ41は、第1の実施形態の第1の変形例で説明した方法と同様の方法を使用することにより、各画素のデータを他の画素のデータで置き換える。プロセッサ41は、第2の画像における処理領域に含まれる各画素のデータの位置を所定の方向にずらしてもよい。
観察対象を含む第1の領域に含まれる画素の視差量は所定量B4以上であることが多い。第1の領域の一部に含まれる画素の視差量が所定量B4よりも小さい場合がある。その場合、プロセッサ41は、上記の処理を実行することにより、第1の領域に含まれる画素の視差量を変更する。その視差量の変更量は、第2の領域に含まれる画素の視差量の変更量の最大値よりも小さい。
図16は、第1の画像および第2の画像に基づいて立体画像がモニター5に表示されたときに観察者が視覚的に認識する被写体の光学像の位置を示す。図7に示す部分と同じ部分の説明を省略する。第1の画像および第2の画像において処置具13が画像の中心の右側に写っている例が図16に示されている。
プロセッサ41が第1の画像の視差量を変更する前、観察者の視点と処置具13の光学像13aの一部との間の距離は、A4よりも小さい。プロセッサ41が第1の画像の視差量を変更した後、観察者の視点と処置具13の光学像13bとの間の距離の最小値はA4になる。観察者の視点側に大きく飛び出す処置具13の光学像13aの領域は、観察者の視点から距離A4だけ奥側に離れた位置に表示される。
図16に示す例では、距離A4に対応する視差量の所定量B4は正の値である。そのため、処置具13の光学像13bはスクリーン面SCの奥側に位置する。所定量B4は負の値であってもよい。この場合、光学像13bの少なくとも一部はスクリーン面SCの手前側に位置する。所定量B4は0であってもよい。この場合、光学像13bの少なくとも一部は、クロスポイントCPを含む平面(スクリーン面SC)内に位置する。
ステップS110aが実行される前、距離A4を示す情報が、図3に示されていないメモリに記憶されてもよい。プロセッサ41は、ステップS110aにおいてその情報をメモリから読み出してもよい。プロセッサ41は、その情報を内視鏡装置1と異なる装置から取得してもよい。
観察者が距離A4を指定できてもよい。例えば、観察者が操作部22を操作し、距離A4を入力してもよい。プロセッサ41は、操作部22に入力された距離A4を使用してもよい。
プロセッサ41が処理領域の視差量を変更した後、処置具13の光学像は、立体画像において観察者の視点から距離A4以上奥側に離れた位置に表示される。そのため、画像処理装置4は、道具の使いやすさを損なうことなく、道具の画像が観察者の目に生じさせる疲労を軽減することができる。
視差量が変更されない領域における処置具13の光学像は移動しない。その領域において相対的な深さの情報が維持される。その結果、観察者が処置具13を操作しやすい。
(第2の実施形態の第1の変形例)
本発明の第2の実施形態の第1の変形例を説明する。観察者の視点と処置具13の光学像との間の距離が所定値以上になるように処理領域の視差量を変更する他の方法を説明する。
ステップS110aが実行される前、視差量の変更量を示す視差情報が、図3に示されていないメモリに記憶されている。図17は、視差情報の例を示す。図17において、視差情報はグラフによって示されている。視差情報は、第1の視差量と第2の視差量との関係を示す。第1の視差量は、プロセッサ41が視差量を変更する前に各画素が持つ視差量である。第2の視差量は、プロセッサ41が視差量を変更した後に各画素が持つ視差量である。第1の視差量がA4a以上である場合、第1の視差量と第2の視差量とは同じである。第1の視差量がA4aよりも小さい場合、第2の視差量は第1の視差量と異なる。第1の視差量がA4aよりも小さい場合、第2の視差量はB4以上である。
図17に示す第2の視差量B4は正の値である。そのため、処置具13の光学像は、スクリーン面の奥側に表示される。第2の視差量B4は負の値であってもよい。
プロセッサ41は、ステップS110aにおいて視差情報をメモリから読み出す。プロセッサ41は、視差情報に基づいて、第1の画像に含まれる各画素の視差量を変更する。プロセッサ41は、第1の画像に含まれる全ての画素にこの処理を実行する。プロセッサ41は、視差情報に基づいて、第2の画像に含まれる各画素の視差量を変更してもよい。プロセッサ41は、視差情報を内視鏡装置1と異なる装置から取得してもよい。
例えば、図17に示す第1の視差量がA4aよりも小さい領域において、グラフは曲線で示される。この場合、第2の実施形態で説明した方法と比較して、観察者が画像に違和感を覚えにくい。
(第2の実施形態の第2の変形例)
本発明の第2の実施形態の第2の変形例を説明する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類との少なくとも一方に基づいて処理領域を設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
プロセッサ41が処理領域を設定する方法は、第1の実施形態の第4の変形例において説明した方法と同じである。プロセッサ41は、観察者の視点と処置具13の光学像との間の距離が所定値以上になるように処理領域の視差量を変更する。
プロセッサ41は、電子内視鏡2の種類および処置具13の種類に適した処理領域を設定することができる。そのため、処理領域が小さくなり、視差量を変更する処理におけるプロセッサ41の負荷が減る。
(第3の実施形態)
本発明の第3の実施形態を説明する。画像処理ステップの前に、プロセッサ41は、道具検出ステップにおいて、処置具13を第1の画像および第2の画像の少なくとも一方から検出する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、処置具13が検出された領域を処理領域として設定する。
図18を参照し、プロセッサ41が実行する処理を説明する。図18は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
プロセッサ41は、図8に示すステップS100を実行しない。ステップS105の後、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方から検出する(ステップS120(道具検出ステップ))。ステップS120の後、プロセッサ41は、処置具13が検出された領域を処理領域として設定する(ステップS100a(領域設定ステップ))。ステップS100aの後、ステップS110が実行される。
ステップS120が実行される前、処置具13の2つ以上の画像が、図3に示されていないメモリに記憶されている。処置具13が様々な角度で各画像に写っている。観察者は、過去に撮像素子12によって生成された画像において処置具13が写っている領域を指定してもよい。その領域の画像がメモリに記憶されてもよい。
プロセッサ41は、ステップS120において処置具13の各画像をメモリから読み出す。プロセッサ41は、第1の画像と処置具13の各画像とを照合する。あるいは、プロセッサ41は、第2の画像と処置具13の各画像とを照合する。これにより、プロセッサ41は、第1の画像または第2の画像において処置具13が写っている領域を特定する。プロセッサ41は、ステップS100aにおいて、処置具13が写っている領域のみを処理領域として設定する。
プロセッサ41は、第1の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。あるいは、プロセッサ41は、第2の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。
プロセッサ41は、処置具13が写っている領域を処理領域として設定し、かつその領域の視差量を変更する。プロセッサ41は、処置具13が写っていない領域を処理領域として設定せず、かつその領域の視差量を変更しない。そのため、観察者が、立体画像において処置具13が写っていない領域に違和感を覚えにくい。
(第3の実施形態の第1の変形例)
本発明の第3の実施形態の第1の変形例を説明する。プロセッサ41は、道具検出ステップにおいて、処置具13を第1の画像および第2の画像の少なくとも一方から検出する。プロセッサ41は、領域設定ステップにおいて、処置具13が検出された領域において処置具13の先端を含む先端領域を検出する。プロセッサ41は、処置具13が検出された領域から先端領域を除いた領域を処理領域として設定する。
プロセッサ41は、前述した方法を使用することにより、ステップS120において、第1の画像または第2の画像において処置具13が写っている領域を特定する。また、プロセッサ41は、その領域において処置具13の先端を含む先端領域を検出する。例えば、先端領域は、処置具13の先端と、その先端から根元に向かって所定の距離だけ離れた位置との間の領域である。先端領域は、鉗子130のみを含む領域であってもよい。プロセッサ41は、処置具13が写っている領域から先端領域を除いた領域を処理領域として設定する。処理領域は、シース131のみを含む領域であってもよい。
第1の画像または第2の画像において処置具13の先端側の領域の視差量は変更されない。そのため、その領域において相対的な深さの情報が維持される。その結果、観察者が処置具13を操作しやすい。
(第3の実施形態の第2の変形例)
本発明の第3の実施形態の第2の変形例を説明する。プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類との少なくとも一方に基づいて処理領域を設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
プロセッサ41は、ステップS120を実行しない。プロセッサ41は、ステップS100aにおいて、電子内視鏡2の種類、処置具13の種類、および処理領域の位置を関連付ける領域情報に基づいて処理領域を設定する。処理領域は、処置具13の全体から処置具13の先端を含む先端領域を除いた領域である。処理領域は、シース131のみを含む領域であってもよい。プロセッサ41が処理領域を設定する方法は、第1の実施形態の第4の変形例において説明した方法と同じである。
プロセッサ41が第1の画像または第2の画像から処置具13を検出する必要はない。そのため、プロセッサ41が処置具13を検出するための画像処理を実行する場合と比較して、プロセッサ41の負荷が減る。
(第3の実施形態の第3の変形例)
本発明の第3の実施形態の第3の変形例を説明する。プロセッサ41は、道具検出ステップにおいて、処置具13の先端を含む先端領域を除いた処置具13の領域を第1の画像および第2の画像の少なくとも一方から検出する。プロセッサ41は、領域設定ステップにおいて、検出された領域を処理領域として設定する。
例えば、処置具13の先端領域を除いた処置具13の部分は、所定の色を持つ。所定の色は、臓器または血管などのような被写体の色と異なり、かつ観察対象の色と異なる。例えば、シース131の根元を含む部分は、所定の色を持つ。シース131の全体が所定の色を持ってもよい。プロセッサ41は、ステップS120において、第1の画像および第2の画像の少なくとも一方において所定の色を持つ領域を検出する。プロセッサ41は、ステップS100aにおいて、検出された領域を処理領域として設定する。
処置具13の先端領域を除いた処置具13の部分にマークが付けられていてもよい。マークの形状は問わない。マークは文字または記号などであってもよい。2つ以上のマークが付けられていてもよい。プロセッサ41は、第1の画像および第2の画像の少なくとも一方においてマークを検出し、かつ検出されたマークを含む領域を処理領域として設定してもよい。
処置具13の先端領域を除いた処置具13の部分に所定の模様が付けられていてもよい。処置具13は、根元を含み模様が付けられている部分と、模様が付けられていない部分とを有してもよい。処置具13は、根元を含み第1の模様が付けられている部分と、第1の模様と異なる第2の模様が付けられている部分とを有してもよい。模様が付けられている部分は、シース131の全体または一部であってもよい。プロセッサ41は、第1の画像および第2の画像の少なくとも一方において所定の模様を検出し、かつ検出された模様を含む領域を処理領域として設定してもよい。
処置具13の先端領域を除いた処置具13の部分は、処置具13の他の部分と区別できるように構成されている。そのため、プロセッサ41が処理領域として設定する処置具13の領域を検出する精度が高まる。
(第4の実施形態)
本発明の第4の実施形態を説明する。プロセッサ41は、観察の状況に応じて異なる第1の領域の位置を判断する。
例えば、画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、第1の画像および第2の画像を生成する画像生成装置の種類に基づいて第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。画像生成装置は、第1の画像および第2の画像を生成する撮像素子12を有する装置である。図1に示す例では、画像生成装置は電子内視鏡2である。
観察対象の位置は、被写体である部位に応じて異なる場合がある。部位の種類と、その部位に挿入できる電子内視鏡2の種類とは、固定されていることが多い。したがって、観察対象の位置は、電子内視鏡2の種類に応じて異なることが多い。
図19を参照し、プロセッサ41が実行する処理を説明する。図19は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
プロセッサ41は、図8に示すステップS100を実行しない。プロセッサ41は、第1の領域の位置を判断し、かつ第1の領域を除く領域を処理領域として設定する(ステップS125(領域設定ステップ))。ステップS125の後、ステップS105が実行される。ステップS125およびステップS105が実行される順番は、図8に示す順番と異なっていてもよい。つまり、ステップS105が実行された後、ステップS125が実行されてもよい。
ステップS125の詳細を説明する。ステップS125が実行される前、電子内視鏡2の種類および第1の領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS125において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
図20は、領域情報の例を示す。領域情報は、情報E1および情報E4を含む。情報E1は、電子内視鏡2の種類を示す。情報E4は、第1の領域の位置を示す。情報E4は、第1の領域の大きさおよび形状の少なくとも1つを示す情報を含んでもよい。第1の領域の大きさが常に固定されている場合、情報E4は、第1の領域の大きさを示す情報を含まなくてもよい。第1の領域の形状が常に固定されている場合、情報E4は、第1の領域の形状を示す情報を含まなくてもよい。
図20に示す例では、電子内視鏡F1および第1の領域I1が関連付けられている。図20に示す例では、電子内視鏡F2および第1の領域I2が関連付けられている。図20に示す例では、電子内視鏡F3および第1の領域I3が関連付けられている。
プロセッサ41は、第1の実施形態の第4の変形例で説明した方法を使用することにより、使用されている電子内視鏡2の種類を判断する。プロセッサ41は、使用されている電子内視鏡2に対応する第1の領域の情報を領域情報から抽出する。例えば、電子内視鏡F2が使用されている場合、プロセッサ41は、第1の領域I2の情報を抽出する。プロセッサ41は、抽出された情報が示す位置を第1の領域の位置とみなし、かつ第1の領域を除く領域を処理領域として設定する。
プロセッサ41は、第1の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。あるいは、プロセッサ41は、第2の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。
プロセッサ41は、電子内視鏡2の種類に応じて異なる第1の領域の位置に基づいて処理領域を適切な位置に設定することができる。
(第4の実施形態の変形例)
本発明の第4の実施形態の変形例を説明する。第1の領域の位置を判断する他の方法を説明する。
プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と撮像倍率とに基づいて第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。
前述したように、観察対象の位置は、電子内視鏡2の種類に応じて異なることが多い。また、観察対象の大きさは、撮像倍率に応じて異なる。撮像倍率が高いとき、観察対象は大きく画像に写る。撮像倍率が低いとき、観察対象は小さく画像に写る。
例えば、ステップS125が実行される前、電子内視鏡2の種類、撮像倍率、および第1の領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS125において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
図21は、領域情報の例を示す。領域情報は、情報E1、情報E5、および情報E4を含む。情報E1は、電子内視鏡2の種類を示す。情報E5は、撮像倍率を示す。情報E4は、第1の領域の位置を示す。例えば、情報E4は、撮像倍率に応じて異なる第1の領域の外周の位置を示す情報を含む。情報E4は、第1の領域の形状を示す情報を含んでもよい。第1の領域の形状が常に固定されている場合、情報E4は、第1の領域の形状を示す情報を含まなくてもよい。
図21に示す例では、電子内視鏡F1、撮像倍率J1、および第1の領域I4が関連付けられている。図21に示す例では、電子内視鏡F1、撮像倍率J2、および第1の領域I5が関連付けられている。図21に示す例では、電子内視鏡F2、撮像倍率J1、および第1の領域I6が関連付けられている。図21に示す例では、電子内視鏡F2、撮像倍率J2、および第1の領域I7が関連付けられている。
領域情報は、図21に示す情報に加えて、処置具13の種類を示す情報を含んでもよい。領域情報は、電子内視鏡2の種類を示す情報を含まずに処置具13の種類を示す情報と撮像倍率とを含んでもよい。プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類と撮像倍率との少なくとも1つに基づいて第1の領域の位置を判断してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか1つのみに基づいて第1の領域の位置を判断してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか2つの組み合わせに基づいて第1の領域の位置を判断してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率との全てに基づいて第1の領域の位置を判断してもよい。
第1の実施形態の第4の変形例または第2の実施形態の第2の変形例において、プロセッサ41は、領域設定ステップにおいて、画像生成装置の種類と道具の種類と撮像倍率との少なくとも1つに基づいて処理領域を設定してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか1つのみに基づいて処理領域を設定してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率とのいずれか2つの組み合わせに基づいて処理領域を設定してもよい。プロセッサ41は、画像生成装置の種類と道具の種類と撮像倍率との全てに基づいて処理領域を設定してもよい。
プロセッサ41は、第1の実施形態の第4の変形例で説明した方法を使用することにより、使用されている電子内視鏡2の種類を判断する。また、プロセッサ41は、使用されている撮像倍率の情報を撮像素子12から取得する。
プロセッサ41は、使用されている電子内視鏡2および撮像倍率に対応する第1の領域の情報を領域情報から抽出する。例えば、電子内視鏡F2および撮像倍率J1が使用されている場合、プロセッサ41は、第1の領域I6の情報を抽出する。プロセッサ41は、抽出された情報が示す位置を第1の領域の位置とみなし、かつ第1の領域を除く領域を処理領域として設定する。
プロセッサ41は、電子内視鏡2の種類および撮像倍率に応じて異なる第1の領域の位置に基づいて処理領域を適切な位置に設定することができる。
(第5の実施形態)
本発明の第5の実施形態を説明する。第1の領域の位置に基づいて処理領域を設定する他の方法を説明する。
画像処理ステップの前に、プロセッサ41は、観察対象検出ステップにおいて、観察対象を第1の画像および第2の画像の少なくとも一方から検出する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、観察対象が検出された領域を第1の領域とみなし、かつ第1の領域を除く領域を処理領域として設定する。
図22を参照し、プロセッサ41が実行する処理を説明する。図22は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
プロセッサ41は、図8に示すステップS100を実行しない。ステップS105の後、プロセッサ41は、観察対象を第1の画像および第2の画像の少なくとも一方から検出する(ステップS130(観察対象検出ステップ))。ステップS130の詳細を説明する。プロセッサ41は、第1の画像に含まれる各画素の視差量を算出する。プロセッサ41は、第1の画像に含まれる全ての画素にこの処理を実行する。例えば、プロセッサ41は、ステレオマッチングを使用することにより各画素の視差量を算出する。
プロセッサ41は、各画素の視差量に基づいて観察対象が写っている画素を検出する。例えば、観察対象が凸部または凹部である場合、観察対象が写っている画素の視差量は、観察対象の周辺の被写体が写っている画素の視差量と異なる。プロセッサ41は、第1の画像に含まれる全ての画素の視差量の分布に基づいて、観察対象が写っている画素を検出する。プロセッサ41は、第1の画像の周辺部を除く領域のみに含まれる画素の視差量の分布に基づいて、観察対象が写っている画素を検出してもよい。
プロセッサ41は、検出された画素を含む領域を第1の領域とみなす。例えば、第1の領域は、観察対象が写っている領域と、その周辺の領域とを含む。例えば、観察対象の周辺の領域は、観察対象の外周から所定の距離以内にある画素を含む。
プロセッサ41は、上記の視差量の分布に基づいて、処置具13が写っている画素を検出してもよい。処置具13が写っている画素の視差量は、処置具13の周辺の被写体が写っている画素の視差量と異なる。処置具13は観察対象の手前に位置しているため、処置具13が写っている画素の視差量と、観察対象の周辺の被写体が写っている画素の視差量との差は大きい。そのため、プロセッサ41は、観察対象と処置具13とを区別することができる。プロセッサ41は、第1の領域から、処置具13が写っている画素を除いてもよい。
処置具13が先端部10の端面から出ていないとき、処置具13は第1の画像および第2の画像に写っていない。このとき、プロセッサ41は、観察対象を第1の画像から検出してもよい。プロセッサ41は、上記の処理と同様の処理を実行することにより、観察対象を第2の画像から検出してもよい。
ステップS130の後、プロセッサ41は、第1の領域を除く領域を処理領域として設定する(ステップS100b(領域設定ステップ))。ステップS100bの後、ステップS110が実行される。
プロセッサ41は、第1の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。あるいは、プロセッサ41は、第2の実施形態およびその各種変形例で説明した方法を使用することによりステップS110を実行することができる。
プロセッサ41は、観察対象を検出し、かつ観察対象の位置に基づいて処理領域を設定する。プロセッサ41は、観察対象に適した処理領域を設定することができる。
(第5の実施形態の第1の変形例)
本発明の第5の実施形態の第1の変形例を説明する。観察対象を検出する他の方法を説明する。
プロセッサ41は、観察対象検出ステップにおいて、第1の画像に含まれる全ての画素の色の分布を生成する。観察対象の色合いは、観察対象の周辺の被写体の色合いと異なっていることが多い。プロセッサ41は、生成された分布に基づいて、観察対象が写っている画素を検出する。プロセッサ41は、第1の画像の周辺部を除く領域のみに含まれる画素の色の分布に基づいて、観察対象が写っている画素を検出してもよい。
プロセッサ41は、上記の色の分布に基づいて、処置具13が写っている画素を検出してもよい。処置具13が、観察対象の色と異なる所定の色を持つ場合、プロセッサ41は、観察対象と処置具13とを区別することができる。プロセッサ41は、第1の領域から、処置具13が写っている画素を除いてもよい。プロセッサ41は、上記の処理と同様の処理を実行することにより、観察対象を第2の画像から検出してもよい。
プロセッサ41は、画像における色の情報に基づいて観察対象を検出する。プロセッサ41が視差量の分布に基づいて観察対象を検出する場合と比較して、観察対象を検出する処理におけるプロセッサ41の負荷が減る。プロセッサ41は、処置具13が写っている画素を第1の領域から除くことができる。
(第5の実施形態の第2の変形例)
本発明の第5の実施形態の第1の変形例を説明する。観察対象を検出する他の方法を説明する。
内視鏡装置1は、特殊光観察の機能を有する。内視鏡装置1は、所定の狭い幅の波長を含む波長帯域の光(狭帯域光)を生体の粘膜組織に照射する。内視鏡装置1は、生体組織において所望の深さにある組織の情報を得る。例えば、特殊光観察において観察対象が癌組織である場合、組織の表層の観察に適した青色の狭帯域光が粘膜組織に照射される。このとき、内視鏡装置1は、組織の表層の微細血管を詳細に観察することができる。
ステップS105が実行される前、光源装置3の光源は青の狭帯域光を発生する。例えば、青の狭帯域の中心波長は、405nmである。撮像素子12は、狭帯域光が照射された被写体を撮像し、第1の画像および第2の画像を生成する。プロセッサ41は、ステップS105において、第1の画像および第2の画像を撮像素子12から取得する。ステップS105が実行された後、光源装置3は白色光を発生してもよい。
ステップS130が実行される前、観察対象である患部の血管パターンを示すパターン情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS130においてパターン情報をメモリから読み出す。プロセッサ41は、パターン情報を内視鏡装置1と異なる装置から取得してもよい。
癌が発症すると、患部の微細血管などにおいて、健常な部位には見られない特有の血管が生成される。癌に起因して生成される血管の形状は、癌の進達度に応じた特有のパターンを持つ。パターン情報は、このようなパターンを示す。
プロセッサ41は、ステップS130において、パターン情報が示すパターンと類似するパターンを持つ領域を第1の画像から検出する。プロセッサ41は、検出された領域を観察対象とみなす。プロセッサ41は、上記の処理と同様の処理を実行することにより、観察対象を第2の画像から検出してもよい。
プロセッサ41は、患部の血管パターンに基づいて観察対象を検出する。そのため、プロセッサ41は、観察対象を高精度に検出することができる。
(第6の実施形態)
本発明の第6の実施形態を説明する。第1の領域の位置に基づいて処理領域を設定する他の方法を説明する。画像処理ステップの前に、プロセッサ41は、領域設定ステップにおいて、観察者によって操作部22に入力された情報に基づいて第1の領域の位置を判断し、かつ第1の領域を除く領域を処理領域として設定する。
前述した図19を参照し、プロセッサ41が実行する処理を説明する。図8に示す処理と同じ処理の説明を省略する。
観察者は、操作部22を操作し、第1の領域の位置を入力する。観察者は、第1の領域の位置に加えて、第1の領域の大きさまたは形状を入力してもよい。第1の領域の位置が固定されている場合、観察者は第1の領域の大きさまたは形状のみを入力してもよい。観察者は、操作部22以外の部分を操作することにより、必要な情報を入力してもよい。例えば、内視鏡装置1がタッチスクリーンを有する場合、観察者はそのタッチスクリーンを操作してもよい。画像処理装置4が操作部を有する場合、観察者はその操作部を操作してもよい。
プロセッサ41は、ステップS125において、操作部22に入力された情報に基づいて、第1の領域の位置を判断する。観察者が第1の領域の位置を入力した場合、プロセッサ41は、入力された位置を第1の領域の位置とみなす。第1の領域の大きさおよび形状が固定されている場合、プロセッサ41は、第1の領域が、観察者によって指定された位置にあると判断することができる。
観察者が第1の領域の位置および大きさを入力した場合、プロセッサ41は、入力された位置を第1の領域の位置とみなし、かつ入力された大きさを第1の領域の大きさとみなす。第1の領域の形状が固定されている場合、プロセッサ41は、第1の領域が、観察者によって指定された位置にあり、かつ観察者によって指定された大きさを持つと判断することができる。
観察者が第1の領域の位置および形状を入力した場合、プロセッサ41は、入力された位置を第1の領域の位置とみなし、かつ入力された形状を第1の領域の形状とみなす。第1の領域の大きさが固定されている場合、プロセッサ41は、第1の領域が、観察者によって指定された位置にあり、かつ観察者によって指定された形状を持つと判断することができる。
プロセッサ41は、上記の方法を使用することにより、第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。
プロセッサ41は、ステップS125において、操作部22に入力された情報に基づいて、第1の領域の大きさを判断してもよい。例えば、観察者は第1の領域の大きさのみを入力し、プロセッサ41は、入力された大きさを第1の領域の大きさとみなしてもよい。第1の領域の位置および形状が固定されている場合、プロセッサ41は、第1の領域が観察者によって指定された大きさを持つと判断することができる。
プロセッサ41は、ステップS125において、操作部22に入力された情報に基づいて、第1の領域の形状を判断してもよい。例えば、観察者は第1の領域の形状のみを入力し、プロセッサ41は、入力された形状を第1の領域の形状とみなしてもよい。第1の領域の位置および大きさが固定されている場合、プロセッサ41は、第1の領域が観察者によって指定された形状を持つと判断することができる。
観察者が入力できる情報は、位置、大きさ、および形状に限らない。上記の説明に示されていない項目を観察者が入力できてもよい。
ステップS125が実行される前、プロセッサ41は、第1の画像および第2の画像を撮像素子12から取得し、かつ第1の画像および第2の画像をモニター5に出力してもよい。観察者は、表示された立体画像において第1の領域の位置を確認し、かつその位置を操作部22に入力してもよい。
プロセッサ41は、操作部22に入力された情報に基づいて第1の領域の位置を判断し、かつその位置に基づいて処理領域を設定する。プロセッサ41は、観察者の要望または観察の状況に適した処理領域を設定することができる。プロセッサ41は、観察者が処置を施しやすくなるように画像を処理することができる。
(第6の実施形態の変形例)
本発明の第6の実施形態の変形例を説明する。観察者によって操作部22に入力された情報に基づいて第1の領域の位置を判断する他の方法を説明する。
観察者は、操作部22を操作し、様々な情報を入力する。例えば、観察者は、体内の部位、患部の種類、患者の年齢、および患者の性別を入力する。プロセッサ41は、操作部22に入力された情報を取得する。
例えば、ステップS125が実行される前、体内の部位、患部の種類、患者の年齢、患者の性別、および第1の領域の位置を関連付ける領域情報が図3に示されていないメモリに記憶されている。プロセッサ41は、ステップS125において領域情報をメモリから読み出す。プロセッサ41は、領域情報を内視鏡装置1と異なる装置から取得してもよい。
図23は、領域情報の例を示す。領域情報は、情報E6、情報E7、情報E8、情報E9、および情報E4を含む。情報E6は、観察対象を含む部位を示す。情報E7は、観察対象である患部の種類を示す。情報E8は、患者の年齢を示す。情報E9は、患者の性別を示す。情報E4は、第1の領域の位置を示す。情報E4は、第1の領域の大きさおよび形状の少なくとも1つを示す情報を含んでもよい。第1の領域の大きさが常に固定されている場合、情報E4は、第1の領域の大きさを示す情報を含まなくてもよい。第1の領域の形状が常に固定されている場合、情報E4は、第1の領域の形状を示す情報を含まなくてもよい。
図23に示す例では、部位K1、患部の種類L1、患者の年齢M1、患者の性別N1、および第1の領域I8が関連付けられている。図23に示す例では、部位K2、患部の種類L2、患者の年齢M2、患者の性別N1、および第1の領域I9が関連付けられている。図23に示す例では、部位K3、患部の種類L3、患者の年齢M3、患者の性別N2、および第1の領域I10が関連付けられている。
プロセッサ41は、操作部22に入力された情報に対応する第1の領域の情報を領域情報から抽出する。例えば、部位K2、患部の種類L2、患者の年齢M2、および患者の性別N1が操作部22に入力された場合、プロセッサ41は、第1の領域I9の情報を抽出する。プロセッサ41は、抽出された情報に基づいて第1の領域の位置を判断する。プロセッサ41は、第1の領域を除く領域を処理領域として設定する。
観察者が入力できる情報は、図23に示す情報に限らない。上記の説明に示されていない項目を観察者が入力できてもよい。
プロセッサ41は、操作部22に入力された様々な情報に基づいて第1の領域の位置を判断し、かつその位置に基づいて処理領域を設定する。プロセッサ41は、観察の状況に適した処理領域を設定することができる。観察者が電子内視鏡2の操作に慣れていない場合、あるいは処置具13を使用する処置に慣れていない場合であっても、プロセッサ41は、観察者が処置を施しやすくなるように画像を処理することができる。
(第7の実施形態)
本発明の第7の実施形態を説明する。第7の実施形態の画像処理装置4は、2つの画像処理モードを有する。画像処理装置4は、疲労軽減モード(第1のモード)および通常モード(第2のモード)のいずれか1つで動作する。プロセッサ41は、モード選択ステップにおいて、疲労軽減モードおよび通常モードの一方を選択する。以下の例では、プロセッサ41は、観察者によって操作部22に入力された情報に基づいて疲労軽減モードおよび通常モードの一方を選択する。
図24を参照し、プロセッサ41が実行する処理を説明する。図24は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。例えば、内視鏡装置1の電源がオンになったとき、プロセッサ41は、図24に示す処理を実行する。
プロセッサ41は、通常モードを選択する(ステップS140(モード選択ステップ))。通常モードを示す情報が、図3に示されていないメモリに記憶される。プロセッサ41は、その情報に従って、通常モードで規定されている処理を実行する。
ステップS140の後、プロセッサ41は、第1の画像および第2の画像を撮像素子12から取得する(ステップS145(画像取得ステップ))。
ステップS145の後、プロセッサ41は、ステップS145において取得された第1の画像および第2の画像をモニター5に出力する(ステップS150(第2の画像出力ステップ))。プロセッサ41は、第1の画像および第2の画像を、図4に示す受信装置6に出力してもよい。プロセッサ41がステップS140において通常モードを選択した場合、ステップS145およびステップS150が実行される。プロセッサ41は、処理領域の視差量を変更しない。
ステップS140およびステップS145が実行される順番は、図24に示す順番と異なっていてもよい。つまり、ステップS145が実行された後、ステップS140が実行されてもよい。
観察者は、操作部22を操作することにより、画像処理モードの変更を示す情報を入力することができる。例えば、挿入部21が体内に挿入され、先端部10が観察対象の近傍に配置されたとき、観察者は処置を開始するために、画像処理モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
ステップS150の後、プロセッサ41は、操作部22を監視し、かつ画像処理モードの変更が指示されたか否かを判断する(ステップS155)。画像処理モードの変更を示す情報が操作部22に入力された場合、プロセッサ41は、画像処理モードの変更が指示されたと判断する。画像処理モードの変更を示す情報が操作部22に入力されていない場合、プロセッサ41は、画像処理モードの変更が指示されていないと判断する。
画像処理モードの変更が指示されていないとプロセッサ41がステップS155において判断した場合、ステップS145が実行される。画像処理モードの変更が指示されたとプロセッサ41がステップS155において判断した場合、プロセッサ41は、疲労軽減モードを選択する(ステップS160(モード選択ステップ))。疲労軽減モードを示す情報が、図3に示されていないメモリに記憶される。プロセッサ41は、その情報に従って、疲労軽減モードで規定されている処理を実行する。ステップS160の後、ステップS100が実行される。プロセッサ41がステップS160において疲労軽減モードを選択した場合、ステップS100、ステップS105、ステップS110、およびステップS115が実行される。
ステップS160、ステップS100、およびステップS105が実行される順番は、図24に示す順番と異なっていてもよい。つまり、ステップS105が実行された後、ステップS160およびステップS100が実行されてもよい。
例えば、処置具13を使用する処置が終了したとき、観察者は挿入部21を引き抜くために、画像処理モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
ステップS115の後、プロセッサ41は、操作部22を監視し、かつ画像処理モードの変更が指示されたか否かを判断する(ステップS165)。ステップS165は、ステップS155と同じである。
画像処理モードの変更が指示されていないとプロセッサ41がステップS165において判断した場合、ステップS105が実行される。画像処理モードの変更が指示されたとプロセッサ41がステップS165において判断した場合、ステップS140が実行される。プロセッサ41は、ステップS140において通常モードを選択する。
上記の例では、観察者は、操作部22を操作することにより、画像処理モードの変更を画像処理装置4に指示する。観察者は、上記の方法と異なる方法を使用することにより、画像処理モードの変更を画像処理装置4に指示してもよい。例えば、観察者は、音声入力を使用することにより、画像処理モードの変更を画像処理装置4に指示してもよい。
図24に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図24に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図24に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図24に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
プロセッサ41が疲労軽減モードを選択した場合、プロセッサ41は、処理領域の視差量の変更を実行する。そのため、観察者の目に生じる疲労は軽減される。プロセッサ41が通常モードを選択した場合、プロセッサ41は、処理領域の視差量の変更を実行しない。そのため、観察者は、見慣れた画像を観察に使用することができる。処理領域の視差量の変更が必要なときのみ、プロセッサ41は、処理領域の視差量を変更する。そのため、プロセッサ41の負荷が減る。
(第7の実施形態の第1の変形例)
本発明の第7の実施形態の第1の変形例を説明する。プロセッサ41は、モード選択ステップにおいて、疲労軽減モードおよび通常モードの一方を自動で選択する。
内視鏡装置1は、2つの表示モードを有する。内視鏡装置1は、3D表示モードと2D表示モードとの一方で画像を表示する。3D表示モードは、立体画像(3次元画像)をモニター5に表示するモードである。2D表示モードは、2次元画像をモニター5に表示するモードである。内視鏡装置1が3D表示モードで動作している場合、プロセッサ41は疲労軽減モードを選択する。内視鏡装置1が2D表示モードで動作している場合、プロセッサ41は通常モードを選択する。
図25を参照し、プロセッサ41が実行する処理を説明する。図25は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。例えば、内視鏡装置1の電源がオンになったとき、プロセッサ41は、図25に示す処理を実行する。このとき、内視鏡装置1は、2D表示モードで動作を開始する。
ステップS145の後、プロセッサ41は、ステップS145において取得された第1の画像をモニター5に出力する(ステップS150a)。モニター5は、第1の画像を表示する。
プロセッサ41は、ステップS150aにおいて第2の画像をモニター5に出力してもよい。この場合、モニター5は、第2の画像を表示する。プロセッサ41は、ステップS150aにおいて第1の画像および第2の画像をモニター5に出力してもよい。この場合、例えばモニター5は第1の画像および第2の画像を横方向または縦方向に並べて表示する。
撮像素子12が第1の画像および第2の画像を順次に出力する場合、プロセッサ41はステップS145において第1の画像を取得し、かつステップS150aにおいて第1の画像をモニター5に出力してもよい。あるいは、プロセッサ41はステップS145において第2の画像を取得し、かつステップS150aにおいて第2の画像をモニター5に出力してもよい。
観察者は、操作部22を操作することにより、表示モードの変更を示す情報を入力することができる。例えば、挿入部21が体内に挿入され、先端部10が観察対象の近傍に配置されたとき、観察者は、立体画像を使用する観察を開始するために、表示モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
ステップS150aの後、プロセッサ41は、表示モードが3Dモードに変更されたか否かを判断する(ステップS155a)。表示モードの変更を示す情報が操作部22に入力された場合、プロセッサ41は、表示モードが3Dモードに変更されたと判断する。表示モードの変更を示す情報が操作部22に入力されていない場合、プロセッサ41は、表示モードが3Dモードに変更されていないと判断する。
表示モードが3Dモードに変更されていないとプロセッサ41がステップS155aにおいて判断した場合、ステップS145が実行される。表示モードが3Dモードに変更されたとプロセッサ41がステップS155aにおいて判断した場合、ステップS160が実行される。
例えば、処置具13を使用する処置が終了したとき、観察者は、2次元画像を使用する観察を開始するために、表示モードの変更を示す情報を操作部22に入力する。操作部22は、入力された情報をプロセッサ41に出力する。
ステップS115の後、プロセッサ41は、表示モードが2Dモードに変更されたか否かを判断する(ステップS165a)。表示モードの変更を示す情報が操作部22に入力された場合、プロセッサ41は、表示モードが2Dモードに変更されたと判断する。表示モードの変更を示す情報が操作部22に入力されていない場合、プロセッサ41は、表示モードが2Dモードに変更されていないと判断する。
表示モードが2Dモードに変更されていないとプロセッサ41がステップS165aにおいて判断した場合、ステップS105が実行される。表示モードが2Dモードに変更されたとプロセッサ41がステップS165aにおいて判断した場合、ステップS140が実行される。
上記の例では、観察者は、操作部22を操作することにより、表示モードの変更を内視鏡装置1に指示する。観察者は、上記の方法と異なる方法を使用することにより、表示モードの変更を内視鏡装置1に指示してもよい。例えば、観察者は、音声入力を使用することにより、表示モードの変更を内視鏡装置1に指示してもよい。
図25に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図25に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図25に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図25に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
プロセッサ41は、表示モードの設定に基づいて、疲労軽減モードおよび通常モードの一方を選択する。そのため、プロセッサ41は、画像処理モードを適切なタイミングで切り替えることができる。
(第7の実施形態の第2の変形例)
本発明の第7の実施形態の第2の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
プロセッサ41は、第1の動き検出ステップにおいて、撮像素子12の動きの状態を検出する。プロセッサ41は、モード選択ステップにおいて、撮像素子12の動きの状態に基づいて疲労軽減モードおよび通常モードの一方を選択する。
通常モードが選択された場合、観察者は見慣れた画像を観察することができる。観察者が、目を疲労させる処置具13を使用して処置を施すとき、疲労軽減モードが必要である。疲労軽減モードが必要なときのみ、プロセッサ41は疲労軽減モードを選択する。挿入部21が体内で固定されたとき、観察者が処置具13を使用して処置を施す可能性が高い。挿入部21が体内で固定されたとき、撮像素子12が被写体に対して相対的に静止する。撮像素子12が静止したとき、プロセッサ41は画像処理モードを通常モードから疲労軽減モードに切り替える。
処置具13を使用する処置が完了した後、観察者は挿入部21を引き抜く可能性が高い。そのため、挿入部21は体内で移動する可能性が高い。挿入部21が体内で移動しているとき、撮像素子12は被写体に対して相対的に移動する。撮像素子12が移動し始めたとき、プロセッサ41は画像処理モードを疲労軽減モードから通常モードに切り替える。
図26を参照し、プロセッサ41が実行する処理を説明する。図26は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。
ステップS145の後、プロセッサ41は撮像素子12の動きの状態を検出する(ステップS170(第1の動き検出ステップ))。ステップS170の詳細を説明する。例えば、プロセッサ41は、連続する2フレームの第1の画像または第2の画像の間の動き量を算出する。その動き量は、撮像素子12の動きの状態を示す。撮像素子12が動いている場合、その動き量は大きい。撮像素子12が静止している場合、その動き量は小さい。プロセッサ41は、所定時間内の動き量の合計を算出してもよい。ステップS170の後、ステップS150が実行される。
ステップS170およびステップS150が実行される順番は、図26に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS170が実行されてもよい。
ステップS150の後、プロセッサ41は、撮像素子12が静止しているか否かを判断する(ステップS175)。ステップS170において算出された動き量が所定量よりも小さい場合、プロセッサ41は、撮像素子12が静止していると判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。ステップS170において算出された動き量が所定量以上である場合、プロセッサ41は、撮像素子12が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。例えば、所定量は、撮像素子12が静止している状態と、撮像素子12が動いている状態とを区別できるような小さな正の値である。ステップS170において算出された動き量が所定量以上である状態が所定時間以上継続した場合のみ、プロセッサ41は、撮像素子12が静止していると判断してもよい。
撮像素子12が動いているとプロセッサ41がステップS175において判断した場合、ステップS145が実行される。撮像素子12が静止しているとプロセッサ41がステップS175において判断した場合、ステップS160が実行される。
ステップS105の後、プロセッサ41は撮像素子12の動きの状態を検出する(ステップS180(第1の動き検出ステップ))。ステップS180は、ステップS170と同じである。ステップS180の後、ステップS110が実行される。
ステップS180およびステップS110が実行される順番は、図26に示す順番と異なっていてもよい。つまり、ステップS110が実行された後、ステップS180が実行されてもよい。ステップS180およびステップS115が実行される順番は、図26に示す順番と異なっていてもよい。つまり、ステップS115が実行された後、ステップS180が実行されてもよい。
ステップS115の後、プロセッサ41は、撮像素子12が動いているか否かを判断する(ステップS185)。ステップS180において算出された動き量が所定量よりも大きい場合、プロセッサ41は、撮像素子12が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。ステップS180において算出された動き量が所定量以下である場合、プロセッサ41は、撮像素子12が静止していると判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。例えば、ステップS185において使用される所定量は、ステップS175において使用される所定量と同じである。
撮像素子12が静止しているとプロセッサ41がステップS185において判断した場合、ステップS105が実行される。撮像素子12が動いているとプロセッサ41がステップS185において判断した場合、ステップS140が実行される。
上記の例では、プロセッサ41は、第1の画像および第2の画像の少なくとも一方に基づいて撮像素子12の動きの状態を検出する。プロセッサ41は、上記の方法と異なる方法を使用することにより、撮像素子12の動きの状態を検出してもよい。例えば、先端部10の加速度を検出する加速度センサが先端部10の内部に配置されてもよい。プロセッサ41は、加速度センサによって検出された加速度に基づいて撮像素子12の動きの状態を検出してもよい。挿入部21は、患者の口に配置されたマウスピースから体内に挿入される場合がある。挿入部21が挿入されるマウスピース等に、挿入部21の動きを検出するエンコーダが配置されてもよい。プロセッサ41は、エンコーダによって検出された挿入部21の動きに基づいて撮像素子12の動きの状態を検出してもよい。
図26に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図26に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図26に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図26に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
プロセッサ41は、撮像素子12の動きの状態に基づいて、疲労軽減モードおよび通常モードの一方を選択する。そのため、プロセッサ41は、画像処理モードを適切なタイミングで切り替えることができる。
(第7の実施形態の第3の変形例)
本発明の第7の実施形態の第3の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
プロセッサ41は、探索ステップにおいて、処置具13を第1の画像および第2の画像の少なくとも一方において探索する。プロセッサ41が探索ステップにおいて処置具13を第1の画像および第2の画像の少なくとも一方から検出できた場合、プロセッサ41は、モード選択ステップにおいて疲労軽減モードを選択する。プロセッサ41が探索ステップにおいて処置具13を第1の画像および第2の画像の少なくとも一方から検出できなかった場合、プロセッサ41は、モード選択ステップにおいて通常モードを選択する。
処置具13によって処置が施されているときに挿入部21が移動する必要がある場合がある。そのため、撮像素子12が動いている場合であっても、処置の実施が継続している可能性がある。プロセッサ41は、処置具13が第1の画像または第2の画像に写っているか否かに応じて、画像処理モードを切り替える。
図27を参照し、プロセッサ41が実行する処理を説明する。図27は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。
処置具13において処置具13の先端を含む先端領域にマークが付けられている。マークの形状は問わない。マークは文字または記号などであってもよい。2つ以上のマークが付けられていてもよい。
ステップS145の後、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方において探索する(ステップS190(探索ステップ))。例えば、プロセッサ41は、ステップS190において、処置具13に付けられたマークを第1の画像において探索する。プロセッサ41は、そのマークを第2の画像において探索してもよい。ステップS190の後、ステップS150が実行される。
ステップS190およびステップS150が実行される順番は、図27に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS190が実行されてもよい。
ステップS150の後、プロセッサ41は、処置具13が画像において検出されたか否かを判断する(ステップS195)。例えば、処置具13に付けられたマークが第1の画像に写っている場合、プロセッサ41は、処置具13が画像において検出されたと判断する。その場合、処置具13を使用する処置が準備されている、またはその処置が実施されている可能性が高い。
処置具13に付けられたマークが第2の画像に写っている場合、プロセッサ41は、処置具13が画像において検出されたと判断してもよい。そのマークが第1の画像および第2の画像に写っている場合、プロセッサ41は、処置具13が画像において検出されたと判断してもよい。
処置具13に付けられたマークが第1の画像に写っていない場合、プロセッサ41は、処置具13が画像において検出されないと判断する。その場合、処置具13が使用されていない可能性が高い。処置具13に付けられたマークが第2の画像に写っていない場合、プロセッサ41は、処置具13が画像において検出されないと判断してもよい。そのマークが第1の画像および第2の画像に写っていない場合、プロセッサ41は、処置具13が画像において検出されないと判断してもよい。
処置具13が画像において検出されないとプロセッサ41がステップS195において判断した場合、ステップS145が実行される。処置具13が画像において検出されたとプロセッサ41がステップS195において判断した場合、ステップS160が実行される。
ステップS105の後、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方において探索する(ステップS200(探索ステップ))。ステップS200は、ステップS190と同じである。ステップS200の後、ステップS110が実行される。
ステップS115の後、プロセッサ41は、処置具13が画像において検出されたか否かを判断する(ステップS205)。ステップS205は、ステップS195と同じである。処置具13を使用する処置が終了した後、観察者は処置具13を挿入部21内に戻すことが多い。そのため、処置具13は画像に写らない。
処置具13が画像において検出されたとプロセッサ41がステップS205において判断した場合、ステップS105が実行される。その場合、処置具13を使用する処置が実施されている可能性が高い。そのため、プロセッサ41は、疲労軽減モードにおける処理を継続する。処置具13が画像において検出されないとプロセッサ41がステップS205において判断した場合、ステップS140が実行される。その場合、処置具13を使用する処置が終了した可能性が高い。そのため、プロセッサ41は、ステップS140において通常モードにおける処理を開始する。
上記の例では、プロセッサ41は、処置具13に付けられたマークを第1の画像および第2の画像の少なくとも一方において探索する。処置具13の先端領域は、所定の色を持ってもよい。所定の色は、臓器または血管などのような被写体の色と異なる。プロセッサ41は、所定の色を第1の画像および第2の画像の少なくとも一方において探索してもよい。処置具13の先端領域に所定の模様が付けられていてもよい。プロセッサ41は、処置具13に付けられた模様を第1の画像および第2の画像の少なくとも一方において探索してもよい。プロセッサ41は、鉗子130の形状を第1の画像および第2の画像の少なくとも一方において探索してもよい。
図27に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図27に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図27に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図27に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処置具13の状態に基づいて、疲労軽減モードおよび通常モードの一方を選択する。処置具13を使用する処置が実施されているとき、プロセッサ41は疲労軽減モードを確実に選択することができる。
(第7の実施形態の第4の変形例)
本発明の第7の実施形態の第4の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
プロセッサ41は、距離算出ステップにおいて、第1の画像および前記第2の画像の一方における基準位置と処置具13との間の距離を算出する。プロセッサ41は、モード選択ステップにおいて、その距離に基づいて疲労軽減モードおよび通常モードの一方を選択する。
疲労軽減モードが設定されているとき、処置具13の光学像は立体画像において実際の位置よりも奥側に表示される。そのため、観察者は処置具13の実際の位置を判断しにくいことがある。疲労軽減モードが設定されている場合、観察者が処置具13を観察対象に近づけることが難しいことがある。処置具13が観察対象に十分近づいた場合、プロセッサ41は疲労軽減モードを選択する。
図28を参照し、プロセッサ41が実行する処理を説明する。図28は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。
処置具13において処置具13の先端を含む先端領域にマークが付けられている。マークの形状は問わない。マークは文字または記号などであってもよい。2つ以上のマークが付けられていてもよい。
ステップS145の後、プロセッサ41は、第1の画像または第2の画像における基準位置と処置具13との間の距離を算出する(ステップS210(距離算出ステップ))。例えば、その基準位置は、第1の画像または第2の画像の中心である。プロセッサ41は、ステップS210において、処置具13に付けられたマークを第1の画像において検出し、かつ第1の画像の基準位置とそのマークとの間の2次元距離を算出する。プロセッサ41は、ステップS210において、処置具13に付けられたマークを第2の画像において検出し、かつ第2の画像の基準位置とそのマークとの間の2次元距離を算出してもよい。ステップS210の後、ステップS150が実行される。
ステップS210およびステップS150が実行される順番は、図28に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS210が実行されてもよい。
ステップS150の後、プロセッサ41は、処置具13が観察対象に近づいたか否かを判断する(ステップS215)。例えば、ステップS210において算出された距離が所定値よりも小さい場合、プロセッサ41は、処置具13が観察対象に近づいたと判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。ステップS210において算出された距離が所定値以上である場合、プロセッサ41は、処置具13が観察対象に近づいていないと判断する。その場合、処置具13が使用されていない可能性が高い。例えば、所定値は、撮像素子12が観察対象に近づいた状態と、撮像素子12が観察対象から離れている状態とを区別できるような小さな正の値である。
処置具13が第1の画像および第2の画像に写っていない場合、プロセッサ41は、ステップS210において距離を算出することができない。その場合、プロセッサ41は、ステップS215において、処置具13が観察対象に近づいていないと判断してもよい。
処置具13が観察対象に近づいていないとプロセッサ41がステップS215において判断した場合、ステップS145が実行される。処置具13が観察対象に近づいたとプロセッサ41がステップS215において判断した場合、ステップS160が実行される。
ステップS105の後、プロセッサ41は、第1の画像または第2の画像における基準位置と処置具13との間の距離を算出する(ステップS220(距離算出ステップ))。ステップS220は、ステップS210と同じである。ステップS220の後、ステップS110が実行される。
ステップS115の後、プロセッサ41は、処置具13が観察対象から離れたか否かを判断する(ステップS225)。例えば、ステップS220において算出された距離が所定値よりも大きい場合、プロセッサ41は、処置具13が観察対象から離れたと判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。ステップS220において算出された距離が所定値以下である場合、プロセッサ41は、処置具13が観察対象から離れていないと判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。例えば、ステップS225において使用される所定値は、ステップS215において使用される所定値と同じである。
処置具13が第1の画像および第2の画像に写っていない場合、プロセッサ41は、ステップS220において距離を算出することができない。その場合、プロセッサ41は、ステップS225において、処置具13が観察対象から離れたと判断してもよい。
処置具13が観察対象から離れていないとプロセッサ41がステップS225において判断した場合、ステップS105が実行される。処置具13が観察対象から離れたとプロセッサ41がステップS225において判断した場合、ステップS140が実行される。
上記の例では、プロセッサ41は、処置具13に付けられたマークを第1の画像または第2の画像において検出する。また、プロセッサ41は、そのマークが検出された領域と基準位置との間の距離を算出する。
処置具13の先端領域は、所定の色を持ってもよい。所定の色は、臓器または血管などのような被写体の色と異なる。プロセッサ41は、所定の色を第1の画像または第2の画像において検出してもよい。プロセッサ41は、所定の色が検出された領域と基準位置との間の距離を算出してもよい。
処置具13の先端領域に所定の模様が付けられていてもよい。プロセッサ41は、処置具13に付けられた模様を第1の画像または第2の画像において検出してもよい。プロセッサ41は、その模様が検出された領域と基準位置との間の距離を算出してもよい。
プロセッサ41は、鉗子130の形状を第1の画像または第2の画像において検出してもよい。プロセッサ41は、鉗子130の先端と基準位置との間の距離を算出してもよい。
図28に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図28に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図28に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図28に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
プロセッサ41は、第1の画像および第2の画像の一方における基準位置と処置具13との間の距離に基づいて、疲労軽減モードおよび通常モードの一方を選択する。処置具13が観察対象に近づいたとき、プロセッサ41は疲労軽減モードを確実に選択することができる。
(第7の実施形態の第5の変形例)
本発明の第7の実施形態の第5の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
図29は、画像処理装置4の周辺の構成を示す。図3に示す構成と同じ構成の説明を省略する。
内視鏡装置1は、エンコーダ16をさらに有する。エンコーダ16は、挿入部21の内部に配置されている。エンコーダ16は、挿入部21の軸方向に沿ったシース131の動きを検出する。例えば、エンコーダ16は、シース131の移動距離を所定の時間間隔で検出することにより、シース131の速さを検出する。エンコーダ16は、検出された速さをプロセッサ41に出力する。
プロセッサ41は、第2の動き検出ステップにおいて、処置具13の動きの状態を検出する。プロセッサ41は、モード選択ステップにおいて、処置具13の動きの状態に基づいて疲労軽減モードおよび通常モードの一方を選択する。
図30を参照し、プロセッサ41が実行する処理を説明する。図30は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。例えば、処置具13が挿入部21内のチャネルに挿入されたとき、プロセッサ41は、図30に示す処理を実行する。プロセッサ41は、エンコーダ16によって検出されたシース131の速さに基づいて、そのチャネルへの処置具13の挿入を検出することができる。
ステップS145の後、プロセッサ41はシース131の速さをエンコーダ16から取得する(ステップS230(第2の動き検出ステップ))。ステップS230の後、ステップS150が実行される。
ステップS230およびステップS145が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS230が実行された後、ステップS145が実行されてもよい。ステップS230およびステップS150が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS150が実行された後、ステップS230が実行されてもよい。
ステップS150の後、プロセッサ41は、処置具13が静止しているか否かを判断する(ステップS235)。ステップS230において取得されたシース131の速さが所定値よりも小さい場合、プロセッサ41は、処置具13が静止していると判断する。その場合、処置具13が観察対象に十分近づき、処置が実施されている可能性が高い。ステップS230において取得されたシース131の速さが所定値以上である場合、プロセッサ41は、処置具13が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。例えば、所定値は、処置具13が静止している状態と、処置具13が動いている状態とを区別できるような小さな正の値である。
処置具13が動いているとプロセッサ41がステップS235において判断した場合、ステップS145が実行される。処置具13が静止しているとプロセッサ41がステップS235において判断した場合、ステップS160が実行される。
ステップS105の後、プロセッサ41はシース131の速さをエンコーダ16から取得する(ステップS240(第2の動き検出ステップ))。ステップS240は、ステップS230と同じである。ステップS240の後、ステップS110が実行される。
ステップS240およびステップS105が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS240が実行された後、ステップS105が実行されてもよい。ステップS240およびステップS110が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS110が実行された後、ステップS240が実行されてもよい。ステップS240およびステップS115が実行される順番は、図30に示す順番と異なっていてもよい。つまり、ステップS115が実行された後、ステップS240が実行されてもよい。
ステップS115の後、プロセッサ41は、処置具13が動いているか否かを判断する(ステップS245)。ステップS240において取得されたシース131の速さが所定値よりも大きい場合、プロセッサ41は、処置具13が動いていると判断する。その場合、処置具13を使用する処置が実施されていない可能性が高い。ステップS240において取得されたシース131の速さが所定値以下である場合、プロセッサ41は、処置具13が静止していると判断する。その場合、処置具13を使用する処置が実施されている可能性が高い。例えば、ステップS245において使用される所定値は、ステップS235において使用される所定値と同じである。
処置具13が静止しているとプロセッサ41がステップS245において判断した場合、ステップS105が実行される。処置具13が動いているとプロセッサ41がステップS245において判断した場合、ステップS140が実行される。
上記の例では、プロセッサ41は、エンコーダ16によって検出されたシース131の速さに基づいて処置具13の動きの状態を検出する。プロセッサ41は、上記の方法と異なる方法を使用することにより、処置具13の動きの状態を検出してもよい。例えば、プロセッサ41は、処置具13を第1の画像および第2の画像の少なくとも一方から検出してもよい。プロセッサ41は、連続する2フレーム以上における処置具13の動き量を算出することにより、処置具13の動きの状態を検出してもよい。
図30に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図30に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図30に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図30に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
プロセッサ41は、処置具13の動きの状態に基づいて、疲労軽減モードおよび通常モードの一方を選択する。そのため、プロセッサ41は、画像処理モードを適切なタイミングで切り替えることができる。エンコーダ16がシース131の速さを検出するため、プロセッサ41は、処置具13を検出するために画像処理を実行する必要がない。そのため、プロセッサ41の負荷が減る。
(第7の実施形態の第6の変形例)
本発明の第7の実施形態の第6の変形例を説明する。疲労軽減モードおよび通常モードを切り替える他の方法を説明する。
疲労軽減モードが設定されているとき、処置具13の光学像は立体画像において実際の位置よりも奥側に表示される。そのため、観察者は処置具13の実際の位置を判断しにくいことがある。疲労軽減モードが設定されている場合、観察者が処置具13を観察対象に近づけることが難しいことがある。観察者が処置具13を観察対象に近づけるとき、画像処理モードは通常モードであってもよい。一方、処置具13が観察対象から離れるとき、画像の見やすさは操作に影響を与えにくい。そのとき、画像処理モードは疲労軽減モードであってもよい。以下の例では、処置具13が観察対象に近づくときと、処置具13が観察対象から離れるときとで、画像処理モードを切り替えるための条件が異なる。
図31を参照し、プロセッサ41が実行する処理を説明する。図31は、プロセッサ41が実行する処理の手順を示す。図24に示す処理と同じ処理の説明を省略する。例えば、内視鏡装置1の電源がオンになったとき、プロセッサ41は、図31に示す処理を実行する。このとき、内視鏡装置1は、2D表示モードで動作を開始する。
ステップS145の後、プロセッサ41は、第1の画像または第2の画像における基準位置と処置具13との間の距離を算出する(ステップS210)。図31に示すステップS210は、図28に示すステップS210と同じである。
ステップS150の後、プロセッサ41は、処置具13が観察対象に近づいたか否かを判断する(ステップS215)。図31に示すステップS215は、図28に示すステップS215と同じである。
処置具13が観察対象に近づいていないとプロセッサ41がステップS215において判断した場合、ステップS145が実行される。処置具13が観察対象に近づいたとプロセッサ41がステップS215において判断した場合、ステップS160が実行される。
観察者は、処置具13を観察対象に近づけた後、操作部22を操作し、表示モードを3Dモードに変更する。その後、観察者は、処置具13を使用して処置を施す。処置が完了した後、観察者は、操作部22を操作し、表示モードを2Dモードに変更する。
ステップS115の後、プロセッサ41は、表示モードが2Dモードに変更されたか否かを判断する(ステップS165a)。図31に示すステップS165aは、図25に示すステップS165aと同じである。
表示モードが2Dモードに変更されていないとプロセッサ41がステップS165aにおいて判断した場合、ステップS105が実行される。表示モードが2Dモードに変更されたとプロセッサ41がステップS165aにおいて判断した場合、ステップS140が実行される。
図31に示すステップS100、ステップS105、およびステップS110は、図15に示すステップS105およびステップS110aで置き換えられてもよい。図31に示すステップS100およびステップS105は、図18に示すステップS105、ステップS120、およびステップS100aで置き換えられてもよい。図31に示すステップS100は、図19に示すステップS125で置き換えられてもよい。図31に示すステップS100およびステップS105は、図22に示すステップS105、ステップS130、およびステップS100bで置き換えられてもよい。
処置具13が観察対象に近づいたとき、プロセッサ41は疲労軽減モードを選択する。表示モードが3Dモードから2Dモードに変更されたとき、プロセッサ41は通常モードを選択する。そのため、処置具13の操作のしやすさと、観察者の目の疲労の軽減とがバランスよく実現される。
(第8の実施形態)
本発明の第8の実施形態を説明する。プロセッサ41は、第1の画像および第2の画像に基づいて表示される立体画像において処理領域における被写体の光学像がぼけるように処理領域を処理する。
図32を参照し、プロセッサ41が実行する処理を説明する。図32は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
ステップS105の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域をぼかす(ステップS250(画像処理ステップ))。ステップS250の後、ステップS115が実行される。
ステップS250の詳細を説明する。例えば、プロセッサ41は、第1の画像の処理領域に含まれる各画素の色を平均化する。具体的には、プロセッサ41は、対象画素の周辺の2つ以上の画素の信号値の平均を算出し、かつその対象画素の信号値をその平均で置き換える。プロセッサ41は、第1の画像の処理領域に含まれる全ての画素にこの処理を実行する。プロセッサ41は、上記の処理と同様の処理を実行することにより、第2の画像の処理領域に含まれる各画素の色を平均化する。
プロセッサ41は、第1の画像の処理領域に含まれる各画素の色を平均化した後、第2の画像の処理領域に含まれる各画素の信号値を第1の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。プロセッサ41は、第2の画像の処理領域に含まれる各画素の色を平均化した後、第1の画像の処理領域に含まれる各画素の信号値を第2の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。
図15に示すステップS110aは、ステップS250で置き換えられてもよい。図18、図19、図22、図24、図25、図26、図27、図28、図30、および図31に示すステップS110は、ステップS250で置き換えられてもよい。
プロセッサ41が処理領域をぼかした後、観察者は、処理領域に写っている処置具13の光学像に焦点を合わせにくい。そのため、観察者の目の疲労が軽減される。プロセッサ41が視差量を変更する場合と比較して、プロセッサ41の負荷が減る。
(第8の実施形態の変形例)
本発明の第8の実施形態の変形例を説明する。プロセッサ41は、モザイク処理を処理領域に施す。
図33を参照し、プロセッサ41が実行する処理を説明する。図33は、プロセッサ41が実行する処理の手順を示す。図8に示す処理と同じ処理の説明を省略する。
ステップS105の後、プロセッサ41は、第1の画像および第2の画像の少なくとも一方における処理領域にモザイク処理を施す(ステップS255(画像処理ステップ))。ステップS255の後、ステップS115が実行される。
ステップS255の詳細を説明する。例えば、プロセッサ41は、第1の画像の処理領域を2つ以上の部分領域に分割する。例えば、部分領域は、9個または16個の画素を含む。部分領域に含まれる画素の数は、9または16に限らない。例えば、部分領域の形状は正方形である。部分領域の形状は正方形に限らない。プロセッサ41は、1つの部分領域に含まれる全ての画素の色を同じ色にする。つまり、プロセッサ41は、1つの部分領域に含まれる全ての画素の信号値を同じ値にする。プロセッサ41は、1つの部分領域に含まれる全ての画素の信号値の平均を算出し、かつその部分領域に含まれる全ての画素の信号値をその平均で置き換えてもよい。プロセッサ41は、全ての部分領域に上記の処理を実行する。プロセッサ41は、上記の処理と同様の処理を実行することにより、第2の画像の処理領域にモザイク処理を施す。
プロセッサ41は、第1の画像の処理領域にモザイク処理を施した後、第2の画像の処理領域に含まれる各画素の信号値を第1の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。プロセッサ41は、第2の画像の処理領域にモザイク処理を施した後、第1の画像の処理領域に含まれる各画素の信号値を第2の画像の処理領域に含まれる各画素の信号値で置き換えてもよい。
図15に示すステップS110aは、ステップS255で置き換えられてもよい。図18、図19、図22、図24、図25、図26、図27、図28、図30、および図31に示すステップS110は、ステップS255で置き換えられてもよい。
プロセッサ41がモザイク処理を処理領域に施した後、観察者は、処理領域に写っている処置具13の光学像に焦点を合わせにくい。そのため、観察者の目の疲労が軽減される。プロセッサ41が視差量を変更する場合と比較して、プロセッサ41の負荷が減る。
(付記)
上記の全ての実施形態は、以下の内容を含むことができる。内視鏡装置1は、特殊光観察の機能を有する。処置具13によって処置が施される前に、光源装置3の光源は狭帯域光を発生する。例えば、狭帯域の中心波長は、630nmである。撮像素子12は、狭帯域光が照射された被写体を撮像し、第1の画像および第2の画像を生成する。プロセッサ41は、ステップS105において、第1の画像および第2の画像を撮像素子12から取得する。
狭帯域光が観察対象に照射されたとき、粘膜下層または固有筋層を走行する血管が第1の画像および第2の画像において強調される。第1の画像および第2の画像に基づいて立体画像が表示されたとき、観察者はその血管を認識しやすい。そのため、観察者は、処置具13を使用して処置を施しやすい。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。