JP6485694B2 - 情報処理装置および方法 - Google Patents

Description

本技術は、情報処理装置および方法に関し、特に、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることができるようにした情報処理装置および方法に関する。

従来、内視鏡を用いて手術を行う内視鏡手術があった。内視鏡手術の場合、術者は、内視鏡において撮像された術野の画像をモニタで確認しながら作業を行っていた。このような内視鏡について、術者がより作業をし易くなるように様々な工夫が考えられた（例えば特許文献１参照）。

例えば、特許文献１においては、内視鏡カメラ筐体の外側面に設けられた突起によって筐体の対象物に対する位置決めおよび保持を行うことにより、内視鏡カメラによる映像の取り込み軸とモニタの画面表示部の軸との不一致を低減し、術者の直感的な作業を可能とする方法が開示されている。

特許第５４９９４２６号

しかしながら、特許文献１に記載の内視鏡を含む従来の内視鏡においては、異常の発生を監視することは行われていなかった。そのため、例えば手術部位周辺において出血等の異常が発生した場合、術者は、その異常の発生をモニタに表示された術野の画像において目視で発見するしかなかった。

しかしながら、一般的に、手術部位は非常に小さく、術者は細かな作業が必要になるため、術者がより容易に作業することができるように、モニタには内視鏡において撮像された術野の画像が拡大して表示されることが多かった。つまり、術者の、内視鏡を介した視野の範囲は、手術部位近傍の非常に狭い範囲に限られている場合が多かった。そのため、術者は、その異常の発生を発見することが困難であったり、遅れたりするおそれがあった。また、作業が細かいので術者はよく作業に集中する必要がある場合が多く、そのため、術野内で発生した異常が単にモニタに表示されるだけでは、術者がその異常に気付くことが困難であったり、遅れたりするおそれがあった。

このように、異常の発生を発見することが困難であったり、遅れたりすることにより、発生した異常に対して術者が適切な処置を施すことができないおそれがあった。

本技術は、このような状況に鑑みて提案されたものであり、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることを目的とする。

本技術の一側面は、内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて、前記視野外領域における、出血の発生、術具の温度異常の発生、臓器の温度異常の発生、および、術具と臓器の接触の発生の内の少なくともひとつを、状態の変化として検出する異常検出部と、前記異常検出部により検出された前記状態の変化に関する通知を行う通知情報を生成する通知情報生成部と、前記通知情報を視野内領域の大きさを変えずに出力する出力部とを備える情報処理装置である。

前記通知情報生成部は、前記異常検出部により検出された前記状態の変化の発生場所に関する通知を行う通知情報を生成することができる。

前記センシング領域は、前記内視鏡の視野内領域の少なくとも一部も含み、前記異常検出部は、前記センシング領域のセンシングの結果に基づいて、前記視野内領域における前記状態の変化をさらに検出することができる。

前記通知情報生成部は、前記状態の変化の発生場所の位置が前記視野内領域内であるか否かに応じた方法で、前記状態の変化の発生場所に関する通知を行う通知情報を生成することができる。

前記通知情報生成部は、前記状態の変化の発生場所の位置が前記視野内領域内である場合、前記通知情報として、前記視野内領域の画像上において前記状態の変化の発生場所を示す画像、若しくは、前記状態の変化の発生場所を示す音声を生成することができる。

前記通知情報生成部は、前記状態の変化の発生場所の位置が前記視野外領域内である場合、前記通知情報として、前記視野内領域の画像上において前記状態の変化の発生場所の方向を示す画像、若しくは、前記状態の変化の発生場所の方向を示す音声を生成することができる。

前記通知情報生成部は、前記状態の変化の発生場所の位置を、前記視野内領域の位置からの相対位置として特定し、特定した前記状態の変化の発生場所の位置が前記視野内領域内であるか否かの判定を行い、前記判定の結果に応じた方法で、前記状態の変化の発生場所に関する通知を行う通知情報を生成することができる。

前記視野内領域の位置を推定する視野位置推定部をさらに備え、前記通知情報生成部は、前記状態の変化の発生場所の位置を、前記視野位置推定部により推定された前記視野内領域の位置からの相対位置として特定することができる。

前記通知情報生成部は、前記視野内領域内で作業を行う術者以外の監視者に対して、前記異常検出部により検出された前記状態の変化に関する通知を行う監視者用通知情報をさらに生成することができる。

前記通知情報生成部は、前記監視者用通知情報として、前記状態の変化が検出されたことに関する通知を行う画像若しくは音声を生成することができる。

前記通知情報生成部は、前記監視者用通知情報として、前記状態の変化の内容に関する通知を行う画像若しくは音声を生成することができる。

前記通知情報生成部は、前記監視者用通知情報として、前記状態の変化の発生場所に関する通知を行う画像若しくは音声を生成することができる。

前記内視鏡の撮像部により撮像されて得られた撮像画像の一部を抽出して表示用画像とし、前記撮像画像の全体を前記センシングの結果として前記異常検出部による前記状態の変化の発生の検出に利用される監視対象画像とする画像生成部をさらに備えることができる。

前記画像生成部は、前記内視鏡の撮像部により撮像されて得られた撮像画像の一部を抽出して拡大画像の表示用画像とし、前記撮像画像の前記拡大画像の表示用画像よりも広範囲を、前記拡大画像の表示用画像の一部に重畳させて表示される俯瞰画像の表示用画像とし、前記撮像画像の全体を、前記センシングの結果として前記異常検出部による前記状態の変化の発生の検出に利用される監視対象画像とすることができる。

所定の術具の位置に応じて、前記撮像部による撮像の画角を制御することにより、前記画像生成部により生成される前記俯瞰画像の表示用画像の画角を制御する画角制御部をさらに備えることができる。

前記センシング領域に対して、画像、光、電気、音、振動、加速度、速度、角速度、姿勢、力、温度、湿度、流量、磁気、化学物質、および匂いの内、少なくともいずれか１つをセンシングするセンサ部をさらに備え、前記異常検出部は、前記センサ部による前記センシングの結果に基づいて前記状態の変化を検出することができる。

本技術の一側面は、また、内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて、前記視野外領域における、出血の発生、術具の温度異常の発生、臓器の温度異常の発生、および、術具と臓器の接触の発生の内の少なくともひとつを、状態の変化として検出し、検出された前記状態の変化に関する通知を行う通知情報を生成し、前記通知情報を視野内領域の大きさを変えずに出力する情報処理方法である。

本技術の一側面においては、内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて、その視野外領域における、出血の発生、術具の温度異常の発生、臓器の温度異常の発生、および、術具と臓器の接触の発生の内の少なくともひとつが、状態の変化として検出され、その検出された状態の変化に関する通知を行う通知情報が生成され、その通知情報が視野内領域の大きさを変えずに出力される。

本技術によれば、情報を処理することが出来る。また本技術によれば、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることができる。

内視鏡手術支援システムの主な構成例を示す図である。 内視鏡の視野範囲について説明する図である。 監視装置等の主な構成例を示すブロック図である。 異常検出部が有する主な機能の例を示す機能ブロック図である。 通知情報生成部が有する主な機能の例を示す機能ブロック図である。 内視鏡制御処理の流れの例を説明するフローチャートである。 監視処理の流れの例を説明するフローチャートである。 異常検出処理の流れの例を説明するフローチャートである。 通知情報生成処理の流れの例を説明するフローチャートである。 表示用画像の例を説明する図である。 監視装置等の主な構成例を示すブロック図である。 異常検出部が有する主な機能の例を示す機能ブロック図である。 異常検出処理の流れの例を説明するフローチャートである。 監視装置等の主な構成例を示すブロック図である。 通知情報生成部が有する主な機能の例を示す機能ブロック図である。 内視鏡制御処理の流れの例を説明するフローチャートである。 監視処理の流れの例を説明するフローチャートである。 通知情報生成処理の流れの例を説明するフローチャートである。 通知情報出力処理の流れの例を説明するフローチャートである。 監視用画像の例を説明する図である。 撮像画像と表示用画像とセンシング範囲の例を説明する図である。 撮像画像と表示用画像とセンシング範囲の例を説明する図である。 監視装置等の主な構成例を示すブロック図である。 異常検出部が有する主な機能の例を示す機能ブロック図である。 内視鏡制御処理の流れの例を説明するフローチャートである。 監視処理の流れの例を説明するフローチャートである。 異常検出処理の流れの例を説明するフローチャートである。 通知情報生成処理の流れの例を説明するフローチャートである。 表示用画像の例を説明する図である。 俯瞰画像の範囲の例を説明する図である。 内視鏡制御処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（内視鏡手術支援システム）
２．第２の実施の形態（内視鏡手術支援システム）
３．第３の実施の形態（内視鏡手術支援システム）
４．第４の実施の形態（内視鏡手術支援システム）
５．第５の実施の形態（内視鏡手術支援システム）
６．第６の実施の形態（コンピュータ）

＜１．第１の実施の形態＞
＜手術部位周辺における異常の発生＞
従来、内視鏡を用いて手術を行う内視鏡手術（例えば腹腔鏡手術等）があった。内視鏡手術の場合、手術を行う術者は、内視鏡において撮像された術野（作業を行う場所である手術部位を含む視野）の画像をモニタで確認しながら作業を行っていた。

しかしながら、従来の内視鏡では、異常の発生を監視することは行われていなかった。そのため、例えば手術部位周辺において出血等の異常が発生した場合、術者は、その異常の発生をモニタに表示された術野の画像において目視で発見するしかなかった。

しかしながら、一般的に、手術部位は非常に小さく、術者は細かな作業が必要になる。そのため、術者がより容易に作業することができるように、モニタには内視鏡において撮像された術野の画像が拡大して表示されることが多かった。つまり、術者の内視鏡を介した視野の範囲は、手術部位近傍の非常に狭い範囲に限られている場合が多かった。そのため、術者は、その異常の発生を発見することが困難であったり、遅れたりするおそれがあった。

例えば、出血等の異常は、術具が不要に臓器に接触する等して出血が発生する場合がある。これに対して、上述したように内視鏡を介した術者の視野の範囲が狭いため、全ての術具をその範囲内に位置させることは困難である。すなわち、その範囲外において術具が不要に臓器に接触する等して出血が発生する可能性があった。このような場合、出血の発生がモニタに表示されないので、術者はその出血を発見することが困難であった。

例えば、出血した血液がモニタに表示される範囲内に流れ込み、術者がその出血を発見することも考えられるが、その場合であっても、術者が出血を発見するのが遅れてしまうおそれがあった。

またその場合、術者は、出血を発見した後、内視鏡の撮像範囲を移動させて出血場所を確認しなければならず、その確認ために煩雑な作業と時間を必要とするおそれがあった。さらに、その確認に失敗する場合も考えられた。また、その出血場所を確認する間、術者は、手術部位への作業を止めなければならなかった。

このように異常の発生を発見することが困難であったり、遅くなったりすることにより、発生した異常に対して術者が適切な処置を施すことができないおそれがあった。

なお、術者がより広範囲の異常発生を発見することができるように、内視鏡の画角を広げることも考えられるが、その場合、モニタに表示される術野の画像において、術者が注目したい手術部位の画像が小さくなってしまい、見づらくなり、結果として作業がし難くなる（つまり、内視鏡の利便性が低減する）おそれがあった。

また、作業が細かいので術者はよく作業に集中する必要がある場合が多い。そのため、仮に、異常の発生位置が表示範囲内であったとしても（つまり、異常がモニタに表示されるとしても）、その異常が単にモニタに表示されるだけでは、術者がその異常に気付くことが困難であったり、遅れたりするおそれがあった。

そこで、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることができるようにする。

＜内視鏡手術支援システム＞
図１は、本技術を適用した情報処理装置の一実施の形態である監視装置を含む内視鏡手術支援システムの主な構成例を示す図である。

図１において、内視鏡手術支援システム１００は、内視鏡手術（例えば腹腔鏡手術等）において術者等により用いられる、手術を支援するシステムである。内視鏡手術は、手術を行う患者の人体（例えば腹部等）に小さな穴を数箇所あけて、そこから内視鏡等を入れて、モニタを見ながら作業を行う手術である。内視鏡手術は、開腹手術と比較して低侵襲であり、患者への負荷が少なく、早期回復を望める等の特徴を有する。

患者ベッド１４１の上には、内視鏡手術を受ける患者１５１が横たわっており、その患者１５１の手術部位付近の体表に小さな穴があけれられ、各開口部に開孔器具であるトロッカが取り付けられて開いた状態が保たれている。図１の例の場合、患者１５１の体には穴が５箇所あけられ、トロッカ１３１−１乃至トロッカ１３１−５が取り付けられている。以下において、トロッカ１３１−１乃至トロッカ１３１−５を互いに区別して説明する必要が無い場合、トロッカ１３１と称する。

内視鏡手術では、手術に用いる術具（例えば、電気メス、剪刀、鑷子、鉗子等）がこのトロッカ１３１により開口された穴に挿入される。図１の例では、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５が術具として使用されている。

内視鏡１２１は、上述したように、手術部位等を撮像する装置である。内視鏡１２１は、光源装置１１２から供給される光を患者１５１の体内（手術部位およびその周辺）に照射し、その光を利用して撮像を行う。内視鏡１２１は、撮像して得られた撮像画像に関する情報（例えば撮像画像データ等）をCCU１１１に供給する。図１の例では、内視鏡１２１は、トロッカ１３１−１により開口された穴から患者１５１の体内に挿入されている。

エナジーデバイス１２２は、例えば電気メス等の、電気エネルギーを利用する術具である。例えば電気メスの場合、エナジーデバイス１２２は、手術部位に高周波電流を流して、このときの負荷もしくは接触抵抗によってジュール熱を発生させることができる。この熱が瞬時に細胞を加熱し爆発・蒸散することによって切開作用を生じさせる。また、この熱が細胞の水分を蒸発させタンパク質を凝固させることによって凝固作用を生じさせる。図１の例では、エナジーデバイス１２２は、トロッカ１３１−２により開口された穴から患者１５１の体内に挿入されている。

鉗子１２３は、組織を把持する器具である。鉗子１２３は、はさみのような外見で、例えば、手元にストッパーがついており挟んだままにすることができる。挟む、牽引する、つぶす、開く、すくう、遮断する、など様々な用途に用いられる。図１の例では、鉗子１２３は、トロッカ１３１−３により開口された穴から患者１５１の体内に挿入されている。

気腹針１２４は、気体（炭酸ガス等）を患者１５１の体内に送気したり、患者１５１の体内の気体を吸気したりする。気腹針１２４は、所定の管を介して気腹装置１１６に接続されており、患者１５１の体内に送気する気体は、例えば、気腹装置１１６から供給される。また、患者１５１の体内から吸気した気体は、例えば、気腹装置１１６に供給される。図１の例では、気腹針１２４は、トロッカ１３１−４により開口された穴から患者１５１の体内に挿入されている。

監視用センサ１２５は、対象領域における異常の発生をセンシング（検出）する。このセンシングを行う領域（対象領域）をセンシング領域とも称する。監視用センサ１２５は、そのセンシングの結果に関する情報（例えばセンシングにより得られたデータ等）を監視装置１１３に供給する。図１の例では、監視用センサ１２５は、トロッカ１３１−５により開口された穴から患者１５１の体内に挿入されている。つまり、患者１５１の体内の所定の範囲（例えば手術部位およびその周辺等）がセンシングの対象領域とされている。

監視用センサ１２５が備えるセンサの種類や数は任意である。つまり、監視用センサ１２５は、任意のパラメータについて異常の発生をセンシングすることができる。例えば、監視用センサ１２５が、画像、光、電気、音、振動、加速度、速度、角速度、力、温度、湿度、流量、磁気、化学物質、および匂いの内、少なくともいずれか１つについて、異常発生のセンシングを行うようにしてもよい。また、監視用センサ１２５が、１つのパラメータについて複数のセンサでセンシングを行うようにしてもよい。また、監視用センサ１２５が、さらに、監視用センサ１２５の姿勢をセンシングするようにしてもよい。

図１に示されるように、内視鏡手術支援システム１００は、例えば、CCU（Camera Control Unit）１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、気腹装置１１６等を有する。

CCU１１１は、内視鏡１２１の駆動を制御する。例えば、CCU１１１は、内視鏡１２１に対して制御に関する情報を供給し、内視鏡１２１の観察光学系（例えばレンズ、絞り、撮像素子等）の駆動を制御する。また、CCU１１１は、内視鏡１２１の観察光学系を通じて撮像された患者１５１の体内（例えば、手術部位およびその周辺）の撮像画像に関する情報を取得することもできる。また、CCU１１１は、取得した情報に含まれる撮像画像データに対して画像処理等の信号処理を施すこともできる。例えば、CCU１１１と内視鏡１２１とが所定のケーブルを介して電気的に接続され、そのケーブルを介して互いに通信（有線通信）を行うようにし、その有線通信を利用して各種情報の授受を行うようにしてもよい。また、CCU１１１と内視鏡１２１とが互いに無線通信を行うようにし、無線通信を利用して各種情報の授受を行うようにしてもよい。その場合、上述したケーブルは省略するようにしてもよいし、有線通信と無線通信の両方を利用するようにしてもよい。

光源装置１１２は、ライトガイドケーブルを介して内視鏡１２１に接続されており、内視鏡１２１による撮像に必要とされる光源を、そのライトガイドケーブルを介して内視鏡１２１に供給する。

光源装置１１２は、さまざまな波長の光を切り替えて発することができる。例えば、光源装置１１２は、通常光に加えて、患部を特に識別できるような特殊光（例えば、狭帯域光や赤外光等）を発することもできる。したがって、内視鏡１２１は、通常光による画像信号（撮像画像）の他、特殊光による画像信号（撮像画像）を得ることも可能である。

監視装置１１３は、患者１５１の体内における異常の発生を監視する装置である。監視装置１１３は、例えば、内視鏡１２１の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいてその視野外領域における異常の発生を検出し、その検出された異常に関する通知を行う通知情報を生成する。このように、異常の発生に関する通知情報を生成して提供することにより、監視装置１１３は、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることができる。視野内領域や視野外領域については後述する。

このようなセンシングは、例えば、監視用センサ１２５により行う。監視装置１１３は、監視用センサ１２５からそのセンシングの結果に関する情報を取得する。また、監視装置１１３が、監視用センサ１２５に制御に関する情報を供給し、監視用センサ１２５によるセンシングを制御することができるようにしてもよい。

例えば、監視装置１１３と監視用センサ１２５とが所定のケーブルを介して電気的に接続され、そのケーブルを介して互いに通信（有線通信）を行うようにし、その有線通信を利用して各種情報の授受を行うようにしてもよい。また、監視装置１１３と監視用センサ１２５とが互いに無線通信を行うようにし、無線通信を利用して各種情報の授受を行うようにしてもよい。その場合、上述したケーブルは省略するようにしてもよいし、有線通信と無線通信の両方を利用するようにしてもよい。

また、例えば、内視鏡１２１においても所定のセンシングが行われるようにし、監視装置１１３が、その内視鏡１２１において得られたセンシングの結果に関する情報を取得するようにしてもよい。また、監視装置１１３が、内視鏡１２１に制御に関する情報を供給し、内視鏡１２１によるセンシングを制御することができるようにしてもよい。

例えば、監視装置１１３と内視鏡１２１とが所定のケーブルを介して電気的に接続され、そのケーブルを介して互いに通信（有線通信）を行うようにし、その有線通信を利用して各種情報の授受を行うようにしてもよい。また、監視装置１１３と内視鏡１２１とが互いに無線通信を行うようにし、無線通信を利用して各種情報の授受を行うようにしてもよい。その場合、上述したケーブルは省略するようにしてもよいし、有線通信と無線通信の両方を利用するようにしてもよい。

出力装置１１４は、他の装置から供給される情報を出力する。例えば、出力装置１１４が、監視装置１１３から供給される異常の発生に関する通知情報を出力するようにしてもよい。例えば、出力装置１１４が、画像を表示する表示部であるモニタを備え、監視装置１１３から供給される異常の発生に関する通知情報の画像をそのモニタに表示するようにしてもよい。また、出力装置１１４が、監視装置１１３から供給される視野内領域の画像をそのモニタにさらに表示するようにしてもよい。また、出力装置１１４が、監視装置１１３から供給されるセンシングの結果に関する画像をそのモニタにさらに表示するようにしてもよい。

例えば、出力装置１１４が、音声を出力する音声出力部であるスピーカを備え、監視装置１１３から供給される異常の発生に関する通知情報の音声をそのスピーカから出力するようにしてもよい。また、出力装置１１４が、監視装置１１３から供給されるセンシングの結果に関する音声をそのスピーカからさらに出力するようにしてもよい。

術具制御装置１１５は、エナジーデバイス１２２の駆動を制御する。例えば、術具制御装置１１５とエナジーデバイス１２２とが所定のケーブルを介して電気的に接続されており、術具制御装置１１５は、その所定のケーブルを介して、高周波電流等をエナジーデバイス１２２に供給し、エナジーデバイス１２２がその電気熱によって患部を切除等することができるようにする。

気腹装置１１６は、気体（例えば炭酸ガス等）を、所定の管を介して気腹針１２４に供給し、その気腹針１２４から患者１５１の体内に供給して（送気して）体内（手術部位周辺）を膨張させる。これにより、体内（手術部位周辺）に作業可能な空間を確保することができる。また、気腹装置１１６は、その所定の管を介して、その気腹針１２４から患者１５１の体内の気体（例えば炭酸ガス等）を吸い取る（吸気する）こともできる。

なお、内視鏡手術に用いる術具は任意であり、上述した例に限定されない。また、上述した術具の一部を用いなくてもよい。さらに、使用する術具の数も任意である。同じ術具を複数用いるようにしてもよい。

内視鏡手術支援システム１００を構成する装置も任意であり、上述した例に限定されない。また、上述した装置の一部が含まれなくてもよい。また、装置の数も任意である。同じ装置を複数用いるようにしてもよい。

＜内視鏡の視野とセンシングの範囲＞
次に、内視鏡１２１の視野の範囲とセンシングの範囲について説明する。内視鏡手術の場合、術者は、内視鏡により撮像され、モニタに表示された画像を見ながら手術（作業）を行う。つまり、この内視鏡（の撮像部）により撮像されてモニタに表示された画像が、内視鏡を介した術者の視野（内視鏡の視野とも称する）となる。

したがって、内視鏡の視野の範囲は、有限（内視鏡による撮像の範囲以下）ある。例えば、モニタが撮像画像の部分画像を拡大して（デジタルズームして）表示する場合、内視鏡の視野の範囲は撮像の範囲よりも狭くなる。この内視鏡の視野の範囲内の（内視鏡の視野となる）領域、すなわち、内視鏡により撮像されてモニタに表示される領域を視野内領域と称する。そして、視野内領域以外の領域を視野外領域と称する。例えば、視野外領域には、内視鏡（の撮像部）が撮像した範囲（撮像領域とも称する）の内のモニタに表示されない領域が含まれる。また、内視鏡が撮像のために照射する光の照射範囲（光照射領域とも称する）が、撮像領域外も含む場合、視野外領域には、その光照射領域の内の撮像領域外となる領域も含まれる。さらに、視野外領域には、それらの領域（光照射領域や撮像領域）外の領域も含まれる。

図２は、視野内領域と視野外領域の例を示す図である。図２の例の場合、視野内領域１６２は、術者が作業を行う対象である患部１６１とその近傍の領域であり、視野外領域１６３は、その視野内領域１６２以外の領域である。上述したように、手術部位をモニタにより大きく表示させる必要があるため、視野内領域１６２は、図２の例のように、非常に狭い範囲に設定される。換言するに、視野内領域１６２が狭くなるほど、視野外領域１６３がより広くなる。その分、出血等の異常が発生する位置が視野外領域１６３となる可能性が高くなり、術者が目視で異常の発生を検出することがより困難になる。

そこで、視野外領域１６３の異常の発生を検出することができるようにする。つまり、監視装置１１３が、内視鏡１２１の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいてその視野外領域における異常の発生を検出し、その検出された異常に関する通知を行う通知情報を生成するようにする。視野外領域１６３のセンシングは、例えば監視用センサ１２５を用いて行う。

監視用センサ１２５は、異常の発生の検出に用いられるので、内視鏡１２１の撮像部１７１のように高精度（高解像度）にする必要はない。そのため、監視用センサ１２５のセンシングの範囲は、例えば広角レンズを用いる等して、容易に、撮像部１７１の撮像範囲よりも広範囲にすることができる。また、監視用センサ１２５のセンシング領域は、内視鏡１２１の視野外領域の少なくとも一部を含んでいればよく、その領域の広さや形状等は任意である。例えば、そのセンシング領域が、内視鏡１２１の視野内領域の一部若しくは全部を含むようにしてもよい。つまり、視野外領域１６３だけでなく、視野内領域１６２もセンシングするようにすることもできる。換言するに、監視用センサ１２５のセンシング領域が、内視鏡１２１の撮像領域の一部若しくは全部を含むようにしてもよいし、内視鏡１２１の光照射領域の一部若しくは全部を含むようにしてもよい。また、センシング領域が、それらの領域（視野内領域、撮像領域、光照射領域等）以外の領域の一部若しくは全部を含むようにしてもよい。

なお、視野内領域の広さや形状等は任意である。図２の例の視野内領域１６２は円形の領域として示されているが、例えば多角形や楕円形等であってもよい。また、例えば、視野内領域が立体形状であってもよい。さらに、例えば、視野内領域の少なくとも一部が、球面や曲面等、平面以外により構成されるようにしてもよい。また、図２においては円形として説明しているが、視野外領域は視野内領域以外の領域であるので、その広さや形状等は任意である。さらに、撮像領域や光照射領域も、その広さや形状等は任意である。

図２の例においては視野内領域１６２の中心付近に患部１６１が位置しているが、内視鏡１２１は、任意の位置および方向を撮像することができる。つまり、内視鏡１２１は、患部１６１以外の部分を撮像することもでき、その場合、視野内領域１６２内に患部１６１が位置しないことも有り得る。換言するに、術者等は、内視鏡１２１の位置や向きを制御することにより、患部１６１以外の部分を視野内領域１６２内に収め、モニタに表示させることができる。

＜監視装置等の主な構成例＞
図３は、監視装置１１３等の主な構成例を示すブロック図である。図３の例において、内視鏡１２１は、撮像部１７１およびジャイロセンサ１７２を有する。

撮像部１７１は、所謂イメージセンサであり、入射光を光電変換する画素を複数有する。内視鏡１２１は、光源装置１１２から供給される光を光照射領域に対して照射する。撮像部１７１は、被写体で反射したその照射光を複数の画素において光電変換することにより、被写体の画像（撮像領域の撮像画像）を得る。つまり、光照射領域と撮像領域は略同位置の領域である。もちろん、撮像領域と光照射領域の広さや形状が互いに一致していなくてもよい。このように、撮像部１７１は、被写体を撮像し、その被写体の画像の画像信号（撮像画像データ）を得る。撮像部１７１により得られた撮像画像に関する情報は、内視鏡１２１とCCU１１１との通信により、CCU１１１に供給される。撮像部１７１は、CCU１１１に制御されて駆動し、このような撮像を行う。

ジャイロセンサ１７２は、内視鏡１２１の姿勢に関する情報についてセンシングを行う。例えば、ジャイロセンサ１７２は、内視鏡１２１の各方向の角速度や角度の変化量（すなわち、内視鏡１２１の各方向についての傾きやその傾きの変化量）をセンシングする。ジャイロセンサ１７２によるセンシングの結果に関する情報は、内視鏡１２１と監視装置１１３との通信により、監視装置１１３に供給される。このセンシングの結果に関する情報は、後述するように、内視鏡１２１の視野内領域の位置を推定するのに利用される。

ジャイロセンサ１７２は、例えば、外部の装置（例えば、CCU１１１や監視装置１１３）に制御されて駆動するようにしてもよいし、術者等により制御されて駆動するようにしてもよいし、それらに制御されずに駆動するようにしてもよい。

図３の例において、監視用センサ１２５は、サーモセンサ１８１およびジャイロセンサ１８２を有する。

サーモセンサ１８１は、センシング領域の温度に関する情報についてセンシングを行う。例えば、サーモセンサ１８１は、センシング領域における温度分布をセンシングする。なお、この温度は、絶対値でもよいし、所定の基準に対する相対的な値であってもよい。サーモセンサ１８１により得られたセンシングの結果に関する情報は、監視用センサ１２５と監視装置１１３との通信により、監視装置１１３に供給される。

ジャイロセンサ１８２は、監視用センサ１２５の姿勢に関する情報についてセンシングを行う。そのセンシングについては、ジャイロセンサ１７２の場合と同様である。ジャイロセンサ１８２によるセンシングの結果に関する情報は、監視用センサ１２５と監視装置１１３との通信により、監視装置１１３に供給される。ジャイロセンサ１７２の場合と同様に、このセンシングの結果に関する情報は、内視鏡１２１の視野内領域の位置を推定するのに利用される。

監視用センサ１２５（サーモセンサ１８１およびジャイロセンサ１８２）は、例えば、外部の装置（例えば、監視装置１１３）に制御されて駆動するようにしてもよいし、術者等により制御されて駆動するようにしてもよいし、それらに制御されずに駆動するようにしてもよい。

なお、内視鏡１２１の視野内領域の位置の推定に内視鏡１２１や監視用センサ１２５の姿勢に関する情報を利用しない場合、若しくは、内視鏡１２１の視野内領域の位置の推定を行わない場合、ジャイロセンサ１７２やジャイロセンサ１８２は、省略するようにしてもよい。

図３の例において、監視装置１１３は、視野位置推定部１９１、異常検出部１９２、通知情報生成部１９３、および出力制御部１９４を有する。

視野位置推定部１９１は、内視鏡１２１の視野内領域の位置を推定する。視野位置推定部１９１は、例えば、監視用センサ１２５から、サーモセンサ１８１が行ったセンシングの結果に関する情報を取得し、その情報に基づいて、視野内領域の位置を推定する。つまり、この場合、視野位置推定部１９１は、センシング領域内において、視野内領域の位置を推定する。

このようなセンシング領域内における視野内領域の位置の推定において、視野位置推定部１９１は、まず、センシングの結果における視野内領域を特定する。視野位置推定部１９１は、例えば、サーモセンサ１８１により得られる温度分布において、周囲よりも温度が高い領域を内視鏡１２１の視野内領域として特定する。

例えば、上述したように、撮像部１７１は、内視鏡１２１が照射した光の反射光を利用して撮像を行う。つまり、視野内領域の位置と光照射領域の位置とが略一致し、視野内領域には、内視鏡１２１からの光が照射される。そのため、視野内領域は、その照射光の熱により、視野外領域よりも温度が上昇すると推定することができる。視野位置推定部１９１は、これを利用して内視鏡１２１の視野内領域を特定する。なお、この手法の場合、厳密には、温度分布からは光照射領域しか特定できないため、撮像領域や視野内領域を正確に特定することは困難であるが、より正確に視野内領域を特定することができるように、視野位置推定部１９１が、任意の手法を利用してこの特定を行うようにしてもよい。また、例えば、撮像領域と視野内領域とが一致しない場合は、視野位置推定部１９１は視野内領域の特定において、その設定を反映させるのが望ましい。

なお、視野外領域の温度分布が一様であるとは限らず、周囲よりも温度が高い領域が視野内領域以外にも存在する（つまり、周囲よりも温度が高い領域が複数存在し、視野内領域の候補が複数存在する）場合も考えられる。これに対しては、視野位置推定部１９１が、内視鏡１２１から照射される光による温度上昇の特徴に基づいて、候補の絞り込みを行うようにしてもよい。

例えば、視野位置推定部１９１が、周囲に比べて温度が高い領域を視野内領域の候補として特定し、さらに、領域の大きさや形状が内視鏡１２１による撮像の範囲の大きさや形状に一致若しくは近似することを条件として、候補の絞り込みを行うようにしてもよい。また、例えば、視野位置推定部１９１が、周囲に比べて温度が高い領域を視野内領域の候補として特定し、さらに、領域の温度が内視鏡１２１による撮像の範囲の温度（つまり、照射光による被写体の温度として設定された所定の温度）に一致若しくは近似することを条件として、候補の絞り込みを行うようにしてもよい。このように候補の絞り込みを行うことにより、視野内領域の特定の精度を向上させることができる。

なお、絞り込みの条件として用いられるパラメータ（内視鏡１２１の視野内領域の大きさ、形状、温度等）は、視野位置推定部１９１に予め設定されるようにしてもよいし、監視装置１１３において適宜設定することができるようにしてもよいし、監視装置１１３の外部（例えば、内視鏡１２１、CCU１１１、光源装置１１２等）から適宜供給されるようにしてもよい。このパラメータの設定を可変とすることにより、内視鏡１２１の設定（例えば撮像の画角や照射光の種類等）が可変の場合も、より正確に視野内領域１６２を特定することができる。

また、絞り込みの条件は任意であり、上述した例に限定されない。また、視野内領域の特定の精度向上のための手法も任意であり、上述した例に限定されない。

センシングの結果における視野内領域を特定すると、視野位置推定部１９１は、その特定した視野内領域の位置、すなわち、視野内領域および視野外領域を含む全領域（センシング領域でもよい）における視野内領域の位置を推定する。換言するに、視野位置推定部１９１は、視野内領域と視野外領域との位置関係を推定する。つまり、視野内領域の座標と視野外領域の座標との位置合わせ（対応付け）が行われる。

なお、この「位置合わせ」には、座標の位置合わせだけでなく、視野内領域と視野外領域の向き（座標の向き）の対応付け（向き合わせ）も含まれるようにしてもよい。つまり、視野位置推定部１９１が、視野内領域と視野外領域の向きの関係性の推定（すなわち、両領域の座標の向きの対応付け）を行うようにしてもよい。

一般的に、内視鏡１２１と監視用センサ１２５は、患者１５１の体内において任意の向きに設置することができ、内視鏡１２１により得られる撮像画像における上下左右（座標の向き）と、監視用センサ１２５により得られるセンシングの結果における上下左右（座標の向き）とが一致するとは限らない。

したがって、視野位置推定部１９１が、視野位置推定として、内視鏡１２１の視野内領域と視野外領域との座標の位置だけでなく向きも対応付けることにより、視野内領域を基準とする視野外領域の各場所の相対位置（位置や方向）をより正確に求めることができる。したがって、例えば、視野外領域において発生した異常の場所の向きをより正確に通知することができるようになる。

視野位置推定部１９１は、例えば、ジャイロセンサ１７２のセンシングの結果とジャイロセンサ１８２のセンシングの結果に基づいて、内視鏡１２１と監視用センサ１２５との相対姿勢（互いの相対的な姿勢）を求め、その相対姿勢に基づいて、撮像画像とセンシングの結果との向きの関係性を求める（つまり、視野内領域と視野外領域の向きの関係性を推定する）。

視野位置推定部１９１は、以上のように推定した視野内領域の位置（視野内領域と視野外領域の向きの関係も含む）に関する情報を、通知情報生成部１９３に供給する。

なお、上述した視野内領域の特定やその位置の推定方法は任意であり、上述した例に限定されない。例えば、視野位置推定部１９１が、ジャイロセンサ１７２やジャイロセンサ１８２のセンシングの結果を用いずに、視野内領域の特定やその位置の推定を行うようにしてもよい。

例えば、内視鏡１２１からの光が、被写体（臓器など）において、三角形等のように内視鏡１２１（視野内領域）の向き（座標の向き）が識別可能な形状に照射されるようにし、視野位置推定部１９１が、監視用センサ１２５において得られる温度分布においてその形状を特定し、その形状から視野内領域と視野外領域の向きの関係を推定するようにしてもよい。

また、例えば、視野位置推定部１９１が、CCU１１１から内視鏡１２１において得られた撮像画像に関する情報を取得し、その情報と、監視用センサ１２５から供給されるセンシングの結果に関する情報とに基づいて、視野内領域の特定やその位置の推定を行うようにしてもよい。より具体的には、例えば、センシングの結果を画像化し、その画像の中で撮像画像に一致若しくは近似する領域を視野内領域として特定し、その位置（向きも含む）を推定するようにしてもよい。

異常検出部１９２は、内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて視野外領域における異常の発生を検出する。例えば、異常検出部１９２は、監視用センサ１２５から、サーモセンサ１８１が行ったセンシングの結果に関する情報を取得し、その情報に基づいて、センシング領域における異常の発生を検出する。異常検出部１９２が検出する異常の内容は任意である。異常検出部１９２は、検出した異常の発生に関する情報を通知情報生成部１９３に供給する。なお、異常検出部１９２が、さらに、センシングの結果に関する情報を通知情報生成部１９３に供給するようにしてもよい。

通知情報生成部１９３は、異常検出部１９２により検出された異常に関する通知を行う通知情報を生成する。例えば、通知情報生成部１９３は、異常検出部１９２による異常の検出に関する通知を行う通知情報や、異常検出部１９２により検出された異常の発生場所に関する通知を行う通知情報を生成するようにしてもよい。

例えば、通知情報生成部１９３は、視野位置推定部１９１や異常検出部１９２から供給される情報に基づいて、その通知情報を生成する。例えば、通知情報生成部１９３は、異常の発生場所の位置を、視野位置推定部１９１により推定された内視鏡１２１の視野内領域からの相対位置として特定し、特定した異常の発生場所の位置に応じた方法で、異常に関する通知を行う通知情報を生成するようにしてもよい。

通知情報生成部１９３は、生成した通知情報を出力制御部１９４に供給する。なお、通知情報生成部１９３が、さらに、センシングの結果に関する情報を出力制御部１９４に供給するようにしてもよい。

出力制御部１９４は、情報の出力を制御する。例えば、出力制御部１９４は、CCU１１１から供給される撮像画像から表示用画像（つまり視野内領域の画像）を生成し、その表示用画像を、出力装置１１４に供給して表示させる。また、例えば、出力制御部１９４は、通知情報生成部１９３から供給される通知情報（画像や音声等）を出力装置１１４に供給し、出力させる。なお、出力制御部１９４が、さらに、通知情報生成部１９３から供給されるセンシングの結果に関する情報（画像や音声等）を出力装置１１４に供給し、出力させるようにしてもよい。

出力制御部１９４による情報の出力方法は任意であり、上述した例に限定されない。例えば、出力制御部１９４が、通知情報生成部１９３から供給される通知情報の画像を、CCU１１１から供給される撮像画像に重畳させて出力装置１１４に供給し、表示させることができるようにしてもよい。また、出力制御部１９４が、各種情報を出力装置１１４以外の装置に供給することができるようにしてもよい。

図３の例において、出力装置１１４は、モニタ２０１およびスピーカ２０２を有する。モニタ２０１は、例えば、出力制御部１９４から供給される表示用画像（視野内領域の画像）、通知情報の画像、センシングの結果に関する画像等を表示する。スピーカ２０２は、出力制御部１９４から供給される通知情報の音声、センシングの結果に関する音声等を出力する。

出力装置１１４の構成は任意である。例えば、モニタ２０１若しくはスピーカ２０２が省略されるようにしてもよい。また、例えば、出力装置１１４が、モニタ２０１を複数備えるようにしてもよいし、スピーカ２０２を複数備えるようにしてもよい。さらに、例えば、出力装置１１４が、モニタ２０１およびスピーカ２０２以外の出力デバイスを備えるようにしてもよい。

以上のように、監視装置１１３は、異常検出部１９２および通知情報生成部１９３を有するので、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることができる。

なお、視野位置推定部１９１および出力制御部１９４は、省略するようにしてもよい。換言するに、監視装置１１３は、視野位置推定部１９１を備えることにより、その視野位置推定部１９１により推定される視野内領域の位置に関する情報を用いて、異常に関する通知をより多様な方法で行うことができる。また、監視装置１１３は、出力制御部１９４を備えることにより、通知情報をより多様な方法で出力させることができる。

また、内視鏡１２１および監視装置１１３を１つの装置としてもよい。その場合、内視鏡１２１と監視装置１１３とが、１つの筐体として構成されるようにしてもよいし、別体として構成されるようにしてもよい。監視用センサ１２５、CCU１１１、光源装置１１２、出力装置１１４についても内視鏡１２１の場合と同様に、監視装置１１３とともに１つの装置としてもよい。もちろん、内視鏡１２１、監視用センサ１２５、CCU１１１、光源装置１１２、出力装置１１４の内の複数を、監視装置１１３とともに１つの装置としてもよい。さらに、その他の装置も、監視装置１１３とともに１つの装置としてもよい。

＜異常検出部＞
図４は、異常検出部１９２が有する主な機能の例を示す機能ブロック図である。図４の例において、異常検出部１９２は、出血検出部２１１、術具温度異常検出部２１２、および臓器温度異常検出部２１３を有する。

出血検出部２１１は、センシングの結果に関する情報に基づいて、出血の発生を異常の発生として検出する。例えば、出血検出部２１１は、サーモセンサ１８１により得られるセンシング領域の温度分布から、そのセンシング領域内における出血の発生を検出する。より具体的には、出血検出部２１１は、出血が発生したことを検出するとともに、センシングの結果におけるその発生場所を特定する。

内視鏡手術の場合、空気に触れている臓器表面（手術部位やその近傍）に比べて、血管中の血液の方が温度が高い。つまり、出血したての血液は、その周囲よりも温度が高い。そして、出血した血液は、出血した場所から周囲に徐々に広がっていく。そのため、サーモセンサ１８１によるセンシングの結果である温度分布においては、周囲より高温の点が出現し、その高温の部分が周囲に徐々に広がっていくといった変化がおきる。出血検出部２１１は、例えば温度分布におけるこのような変化を、出血の発生として検出し、その高温の点が出現した場所を出血の発生場所として特定する。もちろん、出血の発生の検出方法は任意であり、この例に限定されない。

流出した血液は出血直後から徐々に温度が低減するため、出血の発生場所は、その周囲に流出した血液よりも高温となる。したがって、サーモセンサ１８１によるセンシングの結果である温度分布から出血の発生を検出することにより、出血検出部２１１は、流出した血液により出血場所が隠れているような場合でも、より正確に出血の発生場所を特定することができる。

なお、出血検出部２１１は、出血の発生を検出するのに用いる情報は任意であり、温度分布以外であってもよい。例えば、出血検出部２１１が撮像画像に所定の画像解析を行い、出血の発生を検出するようにしてもよい。つまり、監視用センサ１２５がサーモセンサ１８１以外のセンサを有し、温度分布以外のセンシングの結果を得る場合であっても、出血検出部２１１が、その監視用センサ１２５において得られるセンシングの結果に基づいて、出血の発生を検出するようにしてもよい。なお、異常の発生として出血の発生を検出しない場合、出血検出部２１１は省略することができる。

術具温度異常検出部２１２は、センシングの結果に関する情報に基づいて、術具の温度異常の発生を異常の発生として検出する。例えば、術具温度異常検出部２１２は、サーモセンサ１８１により得られるセンシング領域の温度分布から、そのセンシング領域内に位置する術具の温度異常の発生を検出する。より具体的には、術具温度異常検出部２１２は、術具の温度異常が発生したことを検出するとともに、センシングの結果におけるその発生場所を特定する。

例えば、作業に使用していないエナジーデバイス１２２が不必要に高温になると、そのエナジーデバイス１２２が臓器に接触した際に臓器を不要に損傷してしまうおそれがある。特に視野外領域１６３においては術者の視野外となるため、エナジーデバイス１２２の管理が不十分になり、臓器に接触させてしまうおそれが高くなる。

そこで、術具温度異常検出部２１２は、センシング領域内に位置する術具の温度を監視し、温度異常の発生を検出する。この温度異常の発生の検出方法は任意である。例えば、温度分布から低温の術具を検出し、その先端部が所定の温度以上になるかを監視するようにしてもよいし、単純にセンシング領域内において所定の温度以上になる部分が発生するかを監視するようにしてもよい。

なお、術具温度異常検出部２１２が、術具の温度異常の発生を検出するのに用いる情報は任意であり、温度分布以外であってもよい。つまり、監視用センサ１２５がサーモセンサ１８１以外のセンサを有し、温度分布以外のセンシングの結果を得る場合であっても、術具温度異常検出部２１２が、その監視用センサ１２５において得られるセンシングの結果に基づいて、術具の温度異常の発生を検出するようにしてもよい。なお、異常の発生として術具の温度異常の発生を検出しない場合、術具温度異常検出部２１２は省略することができる。

臓器温度異常検出部２１３は、センシングの結果に関する情報に基づいて、臓器の温度異常の発生を異常の発生として検出する。例えば、臓器温度異常検出部２１３は、サーモセンサ１８１により得られるセンシング領域の温度分布から、そのセンシング領域内に位置する臓器の温度異常の発生を検出する。より具体的には、臓器温度異常検出部２１３は、臓器の温度異常が発生したことを検出するとともに、センシングの結果におけるその発生場所を特定する。

例えば、エナジーデバイス１２２が臓器に接触する等して臓器を損傷させるような場合、仮に出血が発生しなくても、その部分は臓器の周囲の部分よりも高温となる。また、術者がエナジーデバイス１２２を使用中の場合（意図的にエナジーデバイス１２２を臓器に接触させている場合）であっても、その使用（接触）が過剰となると、臓器が必要以上に高温になったり、高温の部分が必要以上に拡がったりするおそれがある。

臓器温度異常検出部２１３は、臓器の温度を監視することにより、このような臓器の温度異常の発生を検出する。この温度異常の発生の検出方法は任意である。例えば、単純にセンシング領域内において所定の温度以上になる部分が発生するかを監視するようにしてもよいし、さらに、温度分布から各臓器を識別したり、臓器と術具との位置関係を考慮したりするようにしてもよい。また、異常として検出する際の温度や温度分布の様子等、任意の情報に応じて、どのような異常であるか（例えば、術具が臓器に接触したのか、体調の変化なのか等）をさらに識別するようにしてもよい。

なお、臓器温度異常検出部２１３が、臓器の温度異常の発生を検出するのに用いる情報は任意であり、温度分布以外であってもよい。つまり、監視用センサ１２５がサーモセンサ１８１以外のセンサを有し、温度分布以外のセンシングの結果を得る場合であっても、臓器温度異常検出部２１３が、その監視用センサ１２５において得られるセンシングの結果に基づいて、臓器の温度異常の発生を検出するようにしてもよい。なお、異常の発生として臓器の温度異常の発生を検出しない場合、臓器温度異常検出部２１３は省略することができる。

異常検出部１９２は、これらの各機能ブロックの検出結果に関する情報を通知情報生成部１９３に供給する。

なお、異常検出部１９２が実現する機能は任意であり、図４の例に限定されない。つまり、異常検出部１９２は、図４の例の機能ブロック以外の機能ブロックを有するようにしてもよい。

＜通知情報生成部＞
上述したように、通知情報生成部１９３は、異常に関する通知を行う通知情報を生成する。例えば、この異常に関する通知を行う通知情報として、通知情報生成部１９３が、異常検出部１９２による異常の検出に関する通知を行う通知情報を生成するようにしてもよい。

図５は、通知情報生成部１９３が有する主な機能の例を示す機能ブロック図である。図５の例において、通知情報生成部１９３は、異常発生通知生成部２２１を有する。

異常発生通知生成部２２１は、異常に関する通知を行う通知情報として、異常検出部１９２による異常の検出に関する通知を行う通知情報を生成する。例えば、異常発生通知生成部２２１が、異常が検出されたことに関する通知を行う通知情報を生成するようにしてもよい。より具体的には、例えば、異常発生通知生成部２２１が、異常が検出されたことに関する通知を行う通知情報として、その異常が検出されたことに関する通知を行う画像および音声の少なくともいずれか一方を生成するようにしてもよい。このような通知を行うことにより、通知された術者等は、異常が発生したことをより容易に把握することができる。

また、例えば、異常発生通知生成部２２１が、異常検出部１９２により検出された異常の内容に関する通知を行う通知情報を生成するようにしてもよい。より具体的には、異常発生通知生成部２２１が、異常の内容に関する通知を行う通知情報として、例えば、その異常の内容に関する通知を行う画像および音声の少なくともいずれか一方を生成するようにしてもよい。異常の内容は、任意であるが、例えば、出血や、術具や臓器の温度異常等である。このような通知を行うことにより、通知された術者等は、異常の内容をより容易に把握することができる。

なお、このような異常の検出に関する通知や検出された異常の内容に関する通知を行わない場合、通知情報生成部１９３において異常発生通知生成部２２１を省略することができる。

また、例えば、この異常に関する通知を行う通知情報として、通知情報生成部１９３が、異常検出部１９２により検出された異常の発生場所に関する通知を行う通知情報を生成するようにしてもよい。その際、通知情報生成部１９３が、その異常の発生場所の位置に応じた方法で、その異常の発生場所に関する通知を行う通知情報を生成するようにしてもよい。例えば、通知情報生成部１９３が、その異常の発生場所の位置が内視鏡１２１の視野内であるか否かに応じた方法で、その異常の発生場所に関する通知を行う通知情報を生成するようにしてもよい。

例えば、通知情報生成部１９３が、異常の発生場所の位置が視野内領域内である場合、その異常の発生場所を示す画像や音声を通知情報として生成するようにしてもよい。また、例えば、通知情報生成部１９３が、異常の発生場所の位置が視野内領域外（つまり視野外領域内）である場合、その異常の発生場所の方向を示す画像や音声を通知情報として生成するようにしてもよい。

図５の例において、通知情報生成部１９３は、さらに、異常発生位置特定部２２２、異常発生場所通知生成部２２３、および異常発生方向通知生成部２２４を有する。

異常発生位置特定部２２２は、異常検出部１９２から供給される情報に基づいて、（センシング領域内における）その異常の発生場所の位置を特定する。例えば、異常発生位置特定部２２２が、さらに、特定したその異常の発生場所の位置が内視鏡１２１の視野内領域内であるか否かの判定を行うようにしてもよい。

なお、異常発生位置特定部２２２が、異常の発生場所の位置を特定する際に、その異常の発生場所の位置を、内視鏡１２１の視野内領域の位置からの相対位置として特定するようにしてもよい。その場合、異常発生位置特定部２２２が、その内視鏡１２１の視野内領域の位置として、視野位置推定部１９１により推定された位置を用いるようにしてもよい。

このように異常の発生場所の位置を特定することにより、通知情報生成部１９３は、その異常の発生場所の位置に応じた方法で通知を行う通知情報を生成することができる。

異常発生場所通知生成部２２３は、異常発生位置特定部２２２により特定された異常の発生場所の位置が内視鏡１２１の視野内領域内である場合、その異常の発生場所に関する通知を行う通知情報を生成する。より具体的には、例えば、異常発生場所通知生成部２２３が、異常の発生場所に関する通知を行う通知情報として、その異常の発生場所を示す画像を生成するようにしてもよい。例えば、異常発生場所通知生成部２２３が、視野内領域の画像上においてその異常の発生場所を示す画像を生成するようにしてもよい。また、例えば、異常発生場所通知生成部２２３が、異常の発生場所に関する通知を行う通知情報として、その異常の発生場所を示す音声を生成するようにしてもよい。

このように異常の発生場所の位置が視野内領域内である場合、その異常の発生場所に関する通知を行う通知情報を生成するようにすることにより、通知情報生成部１９３は、視野内領域内において異常が発生した場合に、通知を受ける術者等がその異常についてより容易に把握させる通知情報を生成することができる。

異常発生方向通知生成部２２４は、異常発生位置特定部２２２により特定された異常の発生場所の位置が内視鏡１２１の視野内領域の外（視野外領域内）である場合、その異常の発生場所の方向に関する通知を行う通知情報を生成する。より具体的には、例えば、異常発生方向通知生成部２２４が、異常の発生場所に関する通知を行う通知情報として、その異常の発生場所の方向を示す画像を生成するようにしてもよい。例えば、異常発生方向通知生成部２２４が、視野内領域の画像上においてその異常の発生場所の方向を示す画像を生成するようにしてもよい。また、例えば、異常発生方向通知生成部２２４が、異常の発生場所に関する通知を行う通知情報として、その異常の発生場所の方向を示す音声を生成するようにしてもよい。

このように異常の発生場所の位置が視野外領域内である場合、その異常の発生場所の方向に関する通知を行う通知情報を生成するようにすることにより、通知情報生成部１９３は、視野外領域内において異常が発生した場合に、通知を受ける術者等がその異常についてより容易に把握させる通知情報を生成することができる。

なお、異常の発生場所の位置を特定しない場合、通知情報生成部１９３において異常発生位置特定部２２２を省略することができる。また、異常の発生場所に関する通知を行わない場合、通知情報生成部１９３において異常発生場所通知生成部２２３を省略することができる。さらに、異常の発生場所の方向に関する通知を行わない場合、通知情報生成部１９３において異常発生方向通知生成部２２４を省略することができる。

＜内視鏡制御処理の流れ＞
次に、以上のような内視鏡手術支援システム１００において実行される処理について説明する。図６のフローチャートを参照して、内視鏡手術支援システム１００において実行される内視鏡制御処理の流れの例を説明する。

内視鏡制御処理が開始されると、ステップＳ１０１において、内視鏡１２１はジャイロセンサ１７２を駆動し、監視用センサ１２５はジャイロセンサ１８２を駆動し、それぞれの姿勢のセンシングを開始する。

ステップＳ１０２において、光源装置１１２は、内視鏡１２１から照射される光（照明光）を発光し、内視鏡１２１に供給する。これにより、内視鏡１２１から撮像の画角内（被写体）に向かって光が照射される。

ステップＳ１０３において、内視鏡１２１の撮像部１７１は、内視鏡１２１の視野内（すなわち、視野内領域１６２）を撮像する。

ステップＳ１０４において、出力制御部１９４は、その撮像部１７１により撮像された撮像画像に関する情報を、CCU１１１を介して取得し、その情報を出力装置１１４に供給する。出力装置１１４のモニタ２０１は、その供給された情報に基づいて、その撮像画像を内視鏡視野内画像（視野内領域の画像）として表示する。

ステップＳ１０５において、監視装置１１３は、監視用センサ１２５のセンシング領域内（例えば内視鏡１２１の視野内および視野周辺）を監視する。

ステップＳ１０６において、監視装置１１３は、内視鏡制御処理を終了するか否かを判定する。終了しないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理の実行が繰り返される。ステップＳ１０６において、内視鏡制御処理を終了すると判定された場合、内視鏡制御処理が終了する。

＜監視処理の流れ＞
次に、図６のステップＳ１０５において実行される監視処理の流れの例を、図７のフローチャートを参照して説明する。監視処理が開始されると、視野位置推定部１９１は、ステップＳ１２１において、センシングの結果に関する情報等に基づいて、内視鏡視野位置（内視鏡１２１の視野内領域の位置）を推定する。

ステップＳ１２２において、監視装置１１３は、監視用センサ１２５（サーモセンサ１８１）を制御し、センシング領域の（例えば内視鏡１２１の視野内および視野周辺を対象として）センシングを行わせる。監視用センサ１２５のサーモセンサ１８１は、その制御に基づいて、センシング領域の（例えば内視鏡１２１の視野内および視野周辺を対象として）センシングを行う。

ステップＳ１２３において、異常検出部１９２は、ステップＳ１２２の処理により得られたセンシングの結果に関する情報に基づいて、異常の発生を検出する。

ステップＳ１２４において、通知情報生成部１９３は、ステップＳ１２３の処理結果に基づいて異常が発生したか否かを判定する。異常の発生が検出された（すなわち、異常が発生した）と判定された場合、処理はステップＳ１２５に進む。

ステップＳ１２５において、通知情報生成部１９３は、その異常の発生に関する通知を行う通知情報を生成する。ステップＳ１２６において、出力制御部１９４は、ステップＳ１２５において生成された通知情報を出力装置１１４に供給し、出力させる。

出力装置１１４は、供給された通知情報を出力する。ステップＳ１２６の処理が終了すると、処理はステップＳ１２７に進む。また、ステップＳ１２４において、異常の発生が検出されていない（すなわち、異常が発生していない）と判定された場合、処理はステップＳ１２７に進む。

ステップＳ１２７において、監視装置１１３は、監視を終了するか否かを判定する。監視を終了しないと判定された場合、処理はステップＳ１２１に戻り、それ以降の処理の実行が繰り返される。

ステップＳ１２７において、監視を終了すると判定された場合、監視処理が終了し、処理は図６に戻る。

＜異常検出処理の流れ＞
次に、図７のステップＳ１２３において実行される異常検出処理の流れの例を、図８のフローチャートを参照して説明する。

異常検出処理が開始されると、出血検出部２１１は、ステップＳ１４１において、監視用センサ１２５（サーモセンサ１８１）のセンシングの結果に基づいて、出血の発生を検出する。

ステップＳ１４２において、術具温度異常検出部２１２は、監視用センサ１２５（サーモセンサ１８１）のセンシングの結果に基づいて、術具の温度異常を検出する。

ステップＳ１４３において、臓器温度異常検出部２１３は、監視用センサ１２５（サーモセンサ１８１）のセンシングの結果に基づいて、臓器の温度異常を検出する。

それぞれの監視対象のパラメータについて異常の検出が終了すると、異常検出処理が終了し、処理は図７に戻る。

＜通知情報生成処理の流れ＞
次に、図７のステップＳ１２５において実行される通知情報生成処理の流れの例を、図９のフローチャートを参照して説明する。

通知情報生成処理が開始されると、通知情報生成部１９３の異常発生通知生成部２２１は、ステップＳ１６１において、異常検出部１９２による異常の検出に関する通知を行う（例えば、異常が検出されたことに関する通知を行う）通知情報である異常発生通知を生成する。

ステップＳ１６２において、異常発生位置特定部２２２は、異常発生場所の、内視鏡１２１の視野内領域からの相対位置を特定する。

ステップＳ１６３において、異常発生位置特定部２２２は、ステップＳ１６２において特定された異常発生場所の位置が、内視鏡１２１の視野内領域内であるか否かを判定する。異常発生場所の位置が視野内領域１６２内であると判定された場合、処理はステップＳ１６４に進む。

ステップＳ１６４において、異常発生場所通知生成部２２３は、異常の発生場所に関する通知を行う通知情報である異常発生場所通知を生成する。異常発生場所通知が生成されると、通知情報生成処理が終了し、処理は図７に戻る。

また、図９のステップＳ１６３において、異常発生場所の位置が内視鏡１２１の視野外領域内であると判定された場合、処理はステップＳ１６５に進む。

ステップＳ１６５において、異常発生方向通知生成部２２４は、異常の発生場所の方向に関する通知を行う通知情報である異常発生方向通知を生成する。異常発生方向通知が生成されると、通知情報生成処理が終了し、処理は図７に戻る。

以上のように各処理を実行することにより、監視装置１１３は、内視鏡の視野内領域または視野外領域において発生する異常をより容易に把握させることができる。

＜通知情報の出力例＞
次に、図１０は、例えば出力装置１１４のモニタ２０１に表示される表示用画像の例を説明する図である。図１０に示されるように、モニタ２０１には、内視鏡１２１の撮像部１７１において撮像された撮像画像から生成された内視鏡視野内画像２３０が表示されている。この内視鏡視野内画像２３０は内視鏡１２１の視野内領域の撮像画像であり、手術部位となる患部２３１とその近傍が表示されている。

図１０Ａの例の場合、患部２３１の近傍（つまり視野内領域内）において出血が発生し、血だまり２３２が発生している。

そして、その内視鏡視野内画像２３０に重畳して、画面右上に、異常発生通知生成部２２１により生成された異常発生通知の画像である異常発生通知画像２３３が表示されている。図１０Ａの例の場合、この異常発生通知画像２３３として、異常が検出されたことに関する通知である「注意」のメッセージが表示されている。このようにすることにより、通知を受ける術者等に、異常が検出されたことをより容易に把握させることができる。

また、図１０Ａの例の場合、この異常発生通知画像２３３として、異常の内容に関する通知である「出血発生」のメッセージが表示されている。このようにすることにより、通知を受ける術者等に、異常の発生だけでなく、その異常の内容についてもより容易に把握させることができる。

もちろん、「注意」のメッセージのみを表示して、異常が検出されたことに関する通知のみを行うようにしてもよい。また、「出血発生」のメッセージのみを表示するようにし、そのメッセージが、異常が検出されたことに関する通知と異常の内容に関する通知の両方を兼ねるようにしてもよい。

さらに、この異常発生通知画像２３３が、点滅したり、移動したり、変形したりするようにしてもよい。このようにすることにより、通知対象である術者等をこの通知により注目させることができる。

また、以上のような異常発生通知画像２３３をモニタ２０１に表示させるとともに、スピーカ２０２から警告音等の異常が検出されたことに関する通知を行う音声を出力させるようにしてもよい。このようにすることにより、通知対象である術者等をこの通知により注目させることができる。さらに、異常の内容に関する通知を行う音声も出力させるようにしてもよい。このようにすることにより、通知を受ける術者等に、異常の内容をより容易に把握させることができる。

また、内視鏡視野内画像２３０に重畳して、異常発生場所通知生成部２２３により生成された異常発生場所通知の画像である異常発生場所通知画像２３４が表示されている。図１０Ａの例の場合、この異常発生場所通知画像２３４として、異常が発生した場所に、その位置が異常が発生した場所であることを示す点が表示されている。このような表示を行うことにより、通知を受ける術者等に、視野内領域内で発生した異常の発生場所をより容易かつより正確に把握させることができる。

もちろん、この異常発生場所通知画像２３４が点滅したり、移動したり、変形したりするようにしてもよい。このようにすることにより、通知対象である術者等をこの通知により注目させることができる。

また、この異常発生場所通知画像２３４をモニタ２０１に表示させるとともに、スピーカ２０２から異常の発生場所に関する通知を行う音声も出力させるようにしてもよい。このようにすることにより、通知を受ける術者等に、視野内で発生した異常の発生場所をより容易かつより正確に把握させることができる。

なお、異常発生場所通知画像２３４の絵柄は任意であり、点以外であってもよい。また、異常発生場所通知画像２３４において異常発生場所の位置を示す方法は任意であり、異常発生場所通知画像２３４が異常発生場所以外に表示されるようにしてもよい。

図１０Ｂの例の場合、内視鏡１２１の視野外領域内において臓器の温度異常が発生している。

そして、図１０Ｂの例の場合、その内視鏡視野内画像２３０に重畳して、画面右上に、異常発生通知画像２３３として、異常が検出されたことに関する通知である「注意」のメッセージとともに、異常の内容に関する通知である「臓器温度異常発生」のメッセージが表示されている。このようにすることにより、通知を受ける術者等に、異常の発生とその異常の内容についてより容易に把握させることができる。

また、内視鏡視野内画像２３０に重畳して、異常発生方向通知生成部２２４により生成された異常発生方向通知の画像である異常発生方向通知画像２３５が表示されている。図１０Ｂの例の場合、この異常発生方向通知画像２３５として、異常が発生した方向を示す矢印が表示されている。このような表示を行うことにより、通知を受ける術者等に、視野外領域内で発生した異常の発生場所の方向をより容易かつより正確に把握させることができる。

もちろん、この異常発生方向通知画像２３５が点滅したり、移動したり、変形したりするようにしてもよい。このようにすることにより、通知対象である術者等をこの通知により注目させることができる。

また、この異常発生方向通知画像２３５をモニタ２０１に表示させるとともに、スピーカ２０２から異常の発生場所の方向に関する通知を行う音声も出力させるようにしてもよい。このようにすることにより、通知を受ける術者等に、視野外で発生した異常の発生場所の方向をより容易かつより正確に把握させることができる。

なお、異常発生方向通知画像２３５の絵柄は任意であり、例えば三角形等、矢印以外であってもよい。また、異常発生方向通知画像２３５の表示位置は任意である。例えば、異常の発生場所の方向に応じて異常発生方向通知画像２３５の表示位置が変化するようにしてもよい。

以上のように、異常発生通知、異常発生場所通知、異常発生方向通知等を出力することにより、通知を受ける術者等に対して、内視鏡視野内画像２３０を提示したまま（その画像の大きさも変えずに）、通知を行うことができる。つまり、術野の妨げになることを抑制しながら、通知を行うことができる。したがって、術者は、作業を行いながら、より容易に内視鏡の視野内領域または視野外領域において発生する異常を把握することができる。

＜２．第２の実施の形態＞
＜監視装置等の主な構成例＞
異常の内容は任意であり、上述した例に限定されない。例えば、術具と臓器の接触を検出するようにしてもよい。その場合、例えば、ステレオカメラ画像等から術具や臓器の奥行き情報を得て、それらの位置関係から接触の検出を行うようにしてもよい。

図１１は、このような検出を行う場合の、監視装置１１３等の主な構成例を示すブロック図である。この場合、監視用センサ１２５は、さらにステレオカメラ２４１を有する。それ以外の構成は図３の場合と同様である。

ステレオカメラ２４１は、複数のイメージセンサよりなり、センシング領域内（例えば視野内領域や視野外領域）を撮像し、そのセンシング領域のステレオ画像を得る。ステレオ画像とは、互いに異なる位置から略同一の被写体を撮像した撮像画像対である。つまり、ステレオ画像は、互いに視差を有する２枚の撮像画像により構成される。このステレオ画像は、例えば立体視用の画像として利用される。このステレオ画像を構成する撮像画像は、イメージセンサから得られる撮像画像であってもよいし、イメージセンサから得られる撮像画像から生成される仮想的な撮像画像であってもよい。

このステレオ画像は、異常の発生の検出に用いるため、内視鏡１２１の撮像部１７１のように高精度（高解像度）にする必要はない。そのため、ステレオカメラ２４１のセンシングの範囲は、例えば広角レンズを用いる等して、容易に、撮像部１７１の撮像範囲よりも広範囲にすることができる。

ステレオカメラ２４１により得られたステレオ画像に関する情報は、監視用センサ１２５と監視装置１１３との通信により、監視装置１１３に供給される。

監視装置１１３の異常検出部１９２は、サーモセンサ１８１のセンシングの結果に関する情報と、このステレオ画像に関する情報に基づいて、異常の発生を検出する。

＜異常検出部＞
図１２は、この場合の異常検出部１９２が有する主な機能の例を示す機能ブロック図である。図１２の例において、異常検出部１９２は、図４の例の出血検出部２１１乃至臓器温度異常検出部２１３の他に、さらに接触検出部２５１を有する。

接触検出部２５１は、術具と臓器の接触の発生を異常の発生として検出する。例えば、接触検出部２５１は、サーモセンサ１８１により得られるセンシング領域（例えば、視野内領域や視野外領域）の温度分布、並びに、そのセンシング領域の立体視用画像（ステレオ画像）に基づいて、術具と臓器との接触の発生を検出する。

例えば、接触検出部２５１は、温度分布を用いて術具や臓器の特定し、さらに、ステレオ画像に基づいて術具や臓器の奥行き情報を求め、センシングの範囲を３次元空間とし、その３次元空間において術具や臓器の位置を特定し、術具と臓器の接触を検出する。このように温度分布だけでなく、ステレオ画像も用いることにより、接触検出部２５１は、より正確に術具と臓器の接触を検出することができる。

接触検出部２５１は、術具と臓器との接触が発生したことを検出するとともに、センシングの結果におけるその発生場所を特定する。

＜異常検出処理の流れ＞
この場合も内視鏡制御処理、監視処理、通知情報生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の異常検出処理の流れの例を、図１３のフローチャートを参照して説明する。

この場合の異常検出処理において、図１３のステップＳ２０１乃至ステップＳ２０３の各処理は、図８のステップＳ１４１乃至ステップＳ１４３の各処理と同様に実行される。

ステップＳ２０４において、接触検出部２５１は、監視用センサ１２５（サーモセンサ１８１およびステレオカメラ２４１）のセンシングの結果に基づいて、術具と臓器の接触を検出する。

それぞれの監視対象のパラメータについて異常の検出が終了すると、異常検出処理が終了し、処理は図７に戻る。

以上のように異常検出処理を行うことにより、監視用センサ１２５においてセンシング領域のステレオ画像を撮像し、そのステレオ画像を用いて術具と臓器の接触を検出することができる。これにより、異常検出部１９２は、内視鏡の視野内領域または視野外領域において発生する異常（術具と臓器の接触）をより正確に検出することができる。

＜３．第３の実施の形態＞
＜監視装置等の主な構成例＞
異常の発生についての通知は、作業を行う術者以外に対して行うようにしてもよい。例えば、術者だけでなく、異常の発生を監視する監視者が、ユーザとして、この内視鏡手術支援システム１００を利用するようにし、内視鏡手術支援システム１００が、その監視者に対して異常の発生についての通知を行うようにしてもよい。もちろん、術者と監視者の両方に通知を行うようにしてもよい。また、その場合、術者に対する通知方法と監視者に対する通知方法とが互いに異なるようにしてもよい。

＜監視装置等の主な構成例＞
図１４は、この場合の、監視装置１１３等の主な構成例を示すブロック図である。この場合、通知情報生成部１９３は、術者等に対する通知情報である術者用通知情報と、監視者に対する通知情報である監視者用通知情報とを生成する。また、この場合、出力装置１１４の代わりに、術者用出力装置３０１と監視者用出力装置３０２とが設けられている。

術者用出力装置３０１は、出力装置１１４と同様、術者等に対して画像や音声等の情報を出力する装置である。例えば、術者用出力装置３０１は、通知情報生成部１９３により生成された、術者等に対する通知情報である術者用通知情報を出力する。図１４の例の場合、術者用出力装置３０１は、術者等に対して提示する（術者用の）画像を表示するモニタ３１１、および、術者等に対して提示する（術者用の）音声を出力するスピーカ３１２を有する。

例えば、このモニタ３１１が、術者用通知情報の画像を表示するようにしてもよい。また、例えば、このモニタ３１１が、内視鏡１２１の視野内領域の画像をさらに表示するようにしてもよい。さらに、例えば、このモニタ３１１が、術者等に対して提示する（術者用の）センシングの結果に関する画像をさらに表示するようにしてもよい。

また、例えば、このスピーカ３１２が、術者用通知情報の音声を出力するようにしてもよい。また、例えば、このスピーカ３１２が、術者等に対して提示する（術者用の）センシングの結果に関する音声をさらに出力するようにしてもよい。

もちろん、術者用出力装置３０１の構成は任意である。例えば、モニタ３１１若しくはスピーカ３１２が省略されるようにしてもよい。また、例えば、術者用出力装置３０１が、モニタ３１１を複数備えるようにしてもよいし、スピーカ３１２を複数備えるようにしてもよい。さらに、例えば、術者用出力装置３０１が、モニタ３１１およびスピーカ３１２以外の出力デバイスを備えるようにしてもよい。

監視者用出力装置３０２は、監視者等に対して画像や音声等の情報を出力する装置である。例えば、監視者用出力装置３０２は、通知情報生成部１９３により生成された、監視者等に対する通知情報である監視者用通知情報を出力する。図１４の例の場合、監視者用出力装置３０２は、監視者等に対して提示する（監視者用の）画像を表示するモニタ３２１、および、監視者等に対して提示する（監視者用の）音声を出力するスピーカ３２２を有する。

例えば、このモニタ３２１が、監視者用通知情報の画像を表示するようにしてもよい。また、例えば、このモニタ３２１が、内視鏡１２１の視野内領域の画像をさらに表示するようにしてもよい。さらに、例えば、このモニタ３２１が、監視者等に対して提示する（監視者用の）センシングの結果に関する画像をさらに表示するようにしてもよい。

また、例えば、このスピーカ３２２が、監視者用通知情報の音声を出力するようにしてもよい。また、例えば、このスピーカ３２２が、監視者等に対して提示する（監視者用の）センシングの結果に関する音声をさらに出力するようにしてもよい。

もちろん、監視者用出力装置３０２の構成は任意である。例えば、モニタ３２１若しくはスピーカ３２２が省略されるようにしてもよい。また、例えば、監視者用出力装置３０２が、モニタ３２１を複数備えるようにしてもよいし、スピーカ３２２を複数備えるようにしてもよい。さらに、例えば、監視者用出力装置３０２が、モニタ３２１およびスピーカ３２２以外の出力デバイスを備えるようにしてもよい。

また、図１４において、監視装置１１３の出力制御部１９４は、術者用出力装置３０１と監視者用出力装置３０２の両方に対して、画像や音声等の情報を出力する。例えば、出力制御部１９４が、内視鏡１２１の視野内領域の画像を術者用出力装置３０１に供給し、モニタ３１１に表示させるようにしてもよい。また、例えば、出力制御部１９４が、その視野内領域の画像を監視者用出力装置３０２にも供給し、モニタ３２１に表示させるようにしてもよい。さらに、例えば、出力制御部１９４が、センシングの結果に関する通知を行う通知情報を監視者用出力装置３０２に供給し、その画像をモニタ３２１に表示させたり、その音声をスピーカ３２２から出力させたりするようにしてもよい。

＜通知情報生成部＞
図１５は、この場合の通知情報生成部１９３が有する主な機能の例を示す機能ブロック図である。この場合、通知情報生成部１９３は、術者に対する通知情報である術者用通知情報と、内視鏡１２１の視野内領域内で作業を行う術者以外の監視者に対して、異常検出部１９２により検出された異常に関する通知を行う通知情報である監視者用通知情報とを生成する。その監視者用通知情報は、術者用通知情報と異なる画像若しくは音声または両方により、異常に関する通知を行う通知情報であるようにしてもよい。

図１５の例において、通知情報生成部１９３は、異常発生通知生成部２２１乃至異常発生方向通知生成部２２４、並びに、センシング結果通知生成部３３１を有する。

異常発生通知生成部２２１は、監視者用通知情報として、監視者等に対して異常が検出されたことに関する通知を行う画像および音声の少なくともいずれか一方を生成する。また、異常発生通知生成部２２１は、監視者用通知情報として、監視者等に対して異常の内容に関する通知を行う画像および音声の少なくともいずれか一方を生成する。さらに、異常発生通知生成部２２１は、術者用通知情報として、術者等に対して異常が検出されたことに関する通知を行う画像および音声の少なくともいずれか一方を生成する。また、異常発生通知生成部２２１は、術者用通知情報として、術者等に対して異常の内容に関する通知を行う画像および音声の少なくともいずれか一方を生成する。

異常発生位置特定部２２２は、図５の場合と同様の処理を行う。

異常発生場所通知生成部２２３は、監視者用通知情報として、監視者等に対して異常の発生場所に関する通知を行う画像および音声の少なくともいずれか一方を生成する。また、異常発生場所通知生成部２２３は、術者用通知情報として、術者等に対して異常の発生場所に関する通知を行う画像および音声の少なくともいずれか一方を生成する。

なお、作業を行わない監視者等に対しては、視野内領域１６２の画像を表示する必要はない。換言するに、監視者に対して視野外領域の画像を提示しても、術者の作業の妨げとはなり難い。したがって、監視者等に対しては、センシング領域の画像を提示するようにしてもよい。そして、監視者等に対しては、異常発生場所の位置に関わらずその場所に関する通知を行うようにし、異常発生場所の方向に関する通知は行わないようにしてもよい。

その場合、異常発生方向通知生成部２２４は、図５の場合と同様に、術者用通知情報としてのみ、異常の発生場所の方向に関する通知を行う通知情報を生成する。

センシング結果通知生成部３３１は、監視者等に対してセンシングの結果に関する通知を行う通知情報であるセンシング結果通知を生成する。例えば、センシング結果通知生成部３３１は、このセンシング結果通知として、センシングの結果に関する通知を行う画像および音声の少なくともいずれか一方を生成する。

なお、図５の場合と同様に、異常発生通知生成部２２１乃至異常発生方向通知生成部２２４は、適宜省略することができる。また、監視者等に対してセンシングの結果に関する通知を行わない場合、通知情報生成部１９３においてセンシング結果通知生成部３３１を省略することができる。

なお、術者に対する通知を省略するようにしてもよい。その場合、例えば、術者用出力装置３０１は省略することができる。また、その場合、例えば、出力制御部１９４は、監視者用出力装置３０２に対してのみ情報を出力する。また、例えば、通知情報生成部１９３の異常発生通知生成部２２１と異常発生場所通知生成部２２３は、術者用の通知情報の生成を省略することができる。また、例えば、異常発生方向通知生成部２２４を省略することもできる。

＜内視鏡制御処理の流れ＞
次に、図１６のフローチャートを参照して、この場合の内視鏡制御処理の流れの例を説明する。この場合の内視鏡制御処理において、図１６のステップＳ３０１乃至ステップＳ３０３の各処理は、図６のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

ステップＳ３０４において、出力制御部１９４は、撮像部１７１により撮像された撮像画像に関する情報を、CCU１１１を介して取得し、その情報を術者用出力装置３０１に供給する。術者用出力装置３０１のモニタ３１１は、その供給された情報に基づいて、その撮像画像を内視鏡視野内画像（視野内領域の画像）として（術者等に対して）表示する。

ステップＳ３０５において、監視装置１１３は、センシング領域内（例えば、内視鏡１２１の視野内および視野周辺）を監視する。

ステップＳ３０６において、監視装置１１３は、内視鏡制御処理を終了するか否かを判定する。終了しないと判定された場合、処理は、ステップＳ３０１に戻り、それ以降の処理の実行が繰り返される。ステップＳ３０６において、内視鏡制御処理を終了すると判定された場合、内視鏡制御処理が終了する。

＜監視処理の流れ＞
次に、図１６のステップＳ３０５において実行されるこの場合の監視処理の流れの例を、図１７のフローチャートを参照して説明する。この場合の監視処理において、図１７のステップＳ３２１およびステップＳ３２２の各処理は、図７のステップＳ１２１およびステップＳ１２２の各処理と同様に実行される。

ステップＳ３２３において、センシング結果通知生成部３３１は、ステップＳ３２２において行われたセンシングの結果に関する通知を行う通知情報であるセンシング結果通知（例えば、サーモセンサ１８１により得られたセンシング結果であるセンシング領域の温度分布を表す画像や音声等）を生成する。

ステップＳ３２４において、出力制御部１９４は、撮像部１７１により撮像された撮像画像に関する情報を監視者用出力装置３０２に供給する。監視者用出力装置３０２のモニタ３２１は、その供給された情報に基づいて、その撮像画像を内視鏡視野内画像（視野内領域の画像）として（監視者等に対して）表示する。

また、ステップＳ３２５において、出力制御部１９４は、ステップＳ３２３において生成されたセンシング結果通知を監視者用出力装置３０２に供給する。監視者用出力装置３０２は、その供給されたセンシング結果通知を（監視者等に対して）出力する。例えば、モニタ３２１が、そのセンシング結果通知の画像を表示するようにしてもよい。また、例えば、スピーカ３２２が、そのセンシング結果通知の音声を出力するようにしてもよい。

図１７のステップＳ３２６乃至ステップＳ３３０の各処理は、図７のステップＳ１２３乃至ステップＳ１２７の各処理と同様に実行される。ただし、ステップＳ３２８およびステップＳ３２９の各処理の詳細については後述する。

ステップＳ３３０において、監視を終了しないと判定された場合、処理はステップＳ３２１に戻り、それ以降の処理の実行が繰り返される。ステップＳ３３０において、監視を終了すると判定された場合、監視処理が終了し、処理は図１６に戻る。

＜通知情報生成処理の流れ＞
次に、図１７のステップＳ３２８において実行されるこの場合の通知情報生成処理の流れの例を、図１８のフローチャートを参照して説明する。

この場合の通知情報生成処理が開始されると、通知情報生成部１９３の異常発生通知生成部２２１は、ステップＳ３５１において、監視者用の異常発生通知を生成する。

ステップＳ３５２において、異常発生場所通知生成部２２３は、監視者用の異常発生場所通知を生成する。

ステップＳ３５３において、異常発生通知生成部２２１は、術者用の異常発生通知を生成する。

ステップＳ３５４において、異常発生位置特定部２２２は、異常発生場所の、内視鏡１２１の視野内領域からの相対位置を特定する。

ステップＳ３５５において、異常発生位置特定部２２２は、ステップＳ３５４において特定された異常発生場所の位置が、内視鏡１２１の視野内領域内であるか否かを判定する。異常発生場所の位置が視野内領域内であると判定された場合、処理はステップＳ３５６に進む。

ステップＳ３５６において、異常発生場所通知生成部２２３は、術者用の異常発生場所通知を生成する。術者用の異常発生場所通知が生成されると、通知情報生成処理が終了し、処理は図１７に戻る。

また、図１８のステップＳ３５５において、異常発生場所の位置が内視鏡１２１の視野内領域外（すなわち、視野外領域内）であると判定された場合、処理はステップＳ３５７に進む。

ステップＳ３５７において、異常発生方向通知生成部２２４は、術者用の異常発生方向通知を生成する。術者用の異常発生方向通知が生成されると、通知情報生成処理が終了し、処理は図１７に戻る。

＜通知情報出力処理の流れ＞
次に、図１７のステップＳ３２９において実行されるこの場合の通知情報出力処理の流れの例を、図１９のフローチャートを参照して説明する。

通知情報出力処理が開始されると、ステップＳ３７１において、出力制御部１９４は、監視者用の異常発生通知を通知情報生成部１９３から取得し、それを監視者用出力装置３０２に供給する。監視者用出力装置３０２は、供給された監視者用の異常発生通知を（監視者等に対して）出力する。

ステップＳ３７２において、出力制御部１９４は、監視者用の異常発生場所通知を通知情報生成部１９３から取得し、それを監視者用出力装置３０２に供給する。監視者用出力装置３０２は、供給された監視者用の異常発生場所通知を（監視者等に対して）出力する。

ステップＳ３７３において、出力制御部１９４は、術者用の異常発生通知を通知情報生成部１９３から取得し、それを術者用出力装置３０１に供給する。術者用出力装置３０１は、供給された術者用の異常発生通知を（術者等に対して）出力する。

ステップＳ３７４において、出力制御部１９４は、通知情報生成部１９３から供給される情報に基づいて、異常発生位置が内視鏡１２１の視野内領域内であるか否かを判定する。視野内領域内であると判定された場合、処理はステップＳ３７５に進む。

ステップＳ３７５において、出力制御部１９４は、術者用の異常発生場所通知を通知情報生成部１９３から取得し、それを術者用出力装置３０１に供給する。術者用出力装置３０１は、供給された術者用の異常発生場所通知を（術者等に対して）出力する。

ステップＳ３７５の処理が終了すると、通知情報出力処理が終了し、処理は図１７に戻る。また、図１９のステップＳ３７４において、異常発生位置が内視鏡１２１の視野外領域内であると判定された場合、処理はステップＳ３７６に進む。

ステップＳ３７６において、出力制御部１９４は、術者用の異常発生方向通知を通知情報生成部１９３から取得し、それを術者用出力装置３０１に供給する。術者用出力装置３０１は、供給された術者用の異常発生方向通知を（術者等に対して）出力する。

以上のように各処理を実行することにより、監視装置１１３は、内視鏡の視野内領域または視野外領域において発生する異常を、監視者等に対しても、より容易に把握させることができる。

＜通知情報の出力例＞
術者用の情報の表示方法は、第１の実施の形態の場合と同様としてもよい。図２０は、監視者用出力装置３０２のモニタ３２１に表示される表示用画像（監視用画像）の例を説明する図である。図２０の例の表示用画像には、センシング領域全体が表示されている。このセンシング領域は、内視鏡の視野内領域全体と視野外領域の一部を含む。視野内領域３４２は、患部３４１とその近傍を含む領域であり、視野外領域３４３は、その視野内領域３４２の周辺の領域である。

このようなセンシング領域に対して、例えば、点線枠３５１のように、センシング領域全体のセンシング結果を画像化し、それをセンシング結果通知の画像として監視者用出力装置３０２のモニタ３２１に表示させるようにしてもよい。つまり、この場合、センシング領域全体のセンシング結果が画像として示される。

また、例えば、点線枠３５２のように、視野内領域３４２全体と視野外領域３４３の一部のセンシング結果を画像化し、それをセンシング結果通知の画像として監視者用出力装置３０２のモニタ３２１に表示させるようにしてもよい。つまり、この場合、視野内領域３４２全体を含むセンシング領域の一部のセンシング結果が画像として示される。

さらに、例えば、点線枠３５３のように、異常の発生場所とその近傍を含む一部の領域のセンシング結果を画像化し、それをセンシング結果通知の画像として監視者用出力装置３０２のモニタ３２１に表示させるようにしてもよい。つまり、この場合、視野内領域３４２や視野外領域３４３とは独立した、視野内領域３４２の一部を含むセンシング領域の一部のセンシング結果が画像として示される。

なお、表示されるセンシング結果通知の画像は、複数であってもよい。例えば、センシングの範囲内の複数箇所の領域が、センシング結果通知の画像として表示されるようにしてもよい。

また、センシング結果通知の画像の範囲（の大きさ、位置、形状、数等）は可変としてもよい。例えば、センシング結果通知の画像の範囲が、点線枠３５１になったり、点線枠３５２になったり、点線枠３５３になったりするようにしてもよい。

その場合、センシング結果通知の画像の範囲の変化は、状況に応じて適宜行われるようにしてもよいし、ユーザ等の指示に応じて行われるようにしてもよい。

図２０に示されるように、異常（出血）の発生場所の近傍には、異常発生通知画像３６１が表示され、異常（出血）の発生場所には、異常発生場所通知画像３６２が表示されている。この異常発生通知画像３６１や異常発生場所通知画像３６２の表示位置や絵柄は任意である。

もちろん、これらの表示とともに異常発生通知や異常発生場所通知等に関する音声を出力するようにしてもよい。また、監視者用の画像と術者用の画像とを同一にしてもよい。

以上のように、監視者等に対して各種通知を行うことにより、術者以外の監視者等に対して、より容易に内視鏡の視野内および視野周辺において発生する異常を把握させることができる。

＜４．第４の実施の形態＞
＜内視鏡によるセンシング＞
異常の発生を検出するためのセンシングは、任意のセンサにより行うことができる。例えば、内視鏡１２１の撮像部１７１を用いてそのセンシングを行うようにしてもよい。

例えば、図２１Ａに示されるように、撮像部１７１において得られる撮像画像４０１のアスペクト比が４：３とし、モニタ２０１に表示される表示用画像のアスペクト比を１６：９とすると、モニタ２０１は、撮像画像４０１の一部の領域（例えば領域４０２）しか表示することができない。つまり、領域４０３や領域４０４は表示されない。

そこで、図２１Ａに示されるように、撮像画像４０１全体をセンシング領域とし、撮像画像４０１内に収まる円４０５内を光の照射領域とする。この場合、モニタ２０１に表示可能な領域４０２の円４０５内の領域が視野内領域であり、それ以外の領域（すなわち、斜線で示される領域４０３および領域４０４、並びに、領域４０２内の円４０５外の領域）が視野外領域である。

また、図２１Ｂに示されるように、撮像画像４０１全体をセンシング領域とし、モニタ２０１に表示可能な領域４０２全体を含む円４０５内を光の照射領域としてもよい。この場合、領域４０２全体が視野内領域となり、それ以外の領域（すなわち、斜線で示される領域４０３および領域４０４）が視野外領域となる。

つまり、この場合、センシング領域には、内視鏡１２１の視野内領域全体と、視野外領域の一部が含まれる。したがって、このようにすることにより、撮像部１７１を用いて、視野内画像を生成するだけでなく、内視鏡１２１の視野内および視野周辺のセンシングを実現することができる。

その場合、監視用センサ１２５を省略することができる。

また、撮像部１７１が複数のイメージセンサにより構成されるようにしてもよい。例えば、図２２Ａの場合、撮像部１７１が３つのイメージセンサにより構成され、撮像画像４０１−１乃至撮像画像４０１−３を撮像する。そして、図２１Ｂの場合と同様に、モニタ２０１に表示可能な領域４０２全体を含む円４０５内が光の照射領域とされている。この場合、領域４０２全体が視野内領域となり、領域４０３および領域４０４の円４０５内の領域、並びに、撮像画像４０１−２および撮像画像４０１−３の円４０５内の領域が視野外領域となる。つまり、図２１Ｂの場合と比べて、視野外領域がより広くなっている（より広範囲をセンシングすることができる）。

なお、複数のイメージセンサを適切に配置して、円４０５内の全ての領域を、センシング領域とするようにしてもよい。

また、撮像画像４０１やモニタ２０１に表示可能な領域４０２のアスペクト比や大きさは任意である。また、それらが可変であってもよい。例えば、図２２Ｂのように、撮像画像４０１のより狭い領域（例えば領域４１２）が拡大されて表示されるようにしてもよい。このようにすることにより、例えば、患部の拡大画像を表示させることができる。

なお、以下においては、説明の便宜上、光の照射領域（円４０５内）についての説明は省略する。つまり、撮像画像の全体に光が照射されているものとする。また、この場合、センシングされる情報は画像情報であるので、撮像画像の内、モニタ２０１に表示させる部分を表示用画像とも称し、センシングの対象とする画像（つまり、センシング領域全体の画像）を監視対象画像とも称する。

＜監視装置等の主な構成例＞
図２３は、この場合の監視装置１１３等の主な構成例を示すブロック図である。図２３の例において、図３の例の監視用センサ１２５は省略されている。また、内視鏡１２１のジャイロセンサ１７２も省略されている。さらに、監視装置１１３は、視野位置推定部１９１の代わりに、画像生成部４２１を有する。

画像生成部４２１は、CCU１１１を介して、内視鏡１２１の撮像部１７１により撮像されて得られた撮像画像を取得する。画像生成部４２１は、その撮像画像を用いて、内視鏡１２１の視野内領域の画像としてモニタ２０１に表示される表示用画像と、センシングの結果として異常検出部１９２による異常の発生の検出に利用される監視対象画像とを生成する。

例えば、画像生成部４２１が、その撮像画像の一部を抽出して表示用画像とするようにしてもよい。また、画像生成部４２１が、その撮像画像の全体を監視対象画像とするようにしてもよい。

画像生成部４２１は、生成した表示用画像を出力制御部１９４に供給する。なおこの表示用画像は、通知情報生成部１９３にも供給されるようにしてもよい。画像生成部４２１は、また、生成した監視対象画像を異常検出部１９２に供給する。

異常検出部１９２は、画像生成部４２１から供給される監視対象画像を解析し、その画像内における異常の発生を検出する。異常検出部１９２は、検出した異常の発生に関する情報を通知情報生成部１９３に供給する。なお、異常検出部１９２が、さらに、監視対象画像を通知情報生成部１９３に供給するようにしてもよい。

通知情報生成部１９３は、異常検出部１９２により検出された異常に関する通知を行う通知情報を生成する。なお、通知情報生成部１９３が、さらに、異常検出部１９２から供給される監視対象画像や、画像生成部４２１から供給される表示用画像を利用して、通知情報を生成するようにしてもよい。

通知情報生成部１９３は、生成した通知情報を出力制御部１９４に供給する。なお、通知情報生成部１９３が、さらに、監視対象画像を出力制御部１９４に供給するようにしてもよい。なお、通知情報生成部１９３が有する機能ブロックは、図５の例と同様であるのでその説明は省略する。

出力制御部１９４は、例えば、画像生成部４２１から供給される表示用画像を出力装置１１４に供給してモニタ２０１に表示させる。また、出力制御部１９４は、例えば、通知情報生成部１９３から供給される通知情報（画像や音声等）を出力装置１１４に供給し、出力させる。なお、出力制御部１９４が、さらに、通知情報生成部１９３から供給される監視対象画像を出力装置１１４に供給しモニタ２０１に表示させるようにしてもよい。

このようにすることにより、内視鏡１２１の撮像部１７１を用いて、内視鏡１２１の視野内領域の画像生成と、内視鏡１２１の視野内および視野周辺のセンシングの両方を実現することができる。

なお、撮像部１７１が複数のイメージセンサにより構成されるようにしてもよい。換言するに、内視鏡１２１が複数の撮像部を有するようにしてもよい。そして、画像生成部４２１に供給される撮像画像が、内視鏡１２１が有する複数の撮像部により撮像されて得られた複数の撮像画像により構成されるようにしてもよい。

＜異常検出部＞
図２４は、この場合の異常検出部１９２が有する主な機能の例を示す機能ブロック図である。図１２の例において、異常検出部１９２は、出血検出部２１１と接触検出部２５１を有する。

この場合の出血検出部２１１は、監視対象画像を画像解析して出血の発生を検出する。また、接触検出部２５１も、監視対象画像を画像解析して術具と臓器の接触を検出する。

もちろん、上述した機能ブロックは一例である。異常検出部１９２が有することができる機能は任意であり、これらに限定されない。例えば、異常検出部１９２が、出血検出部２１１と接触検出部２５１以外の機能ブロックを有し、出血検出部２１１と接触検出部２５１とが実現する機能以外の機能を実現するようにしてもよい。また、例えば、出血検出部２１１と接触検出部２５１との内、いずれか一方、若しくは、両方を省略するようにしてもよい。

＜内視鏡制御処理の流れ＞
図２５のフローチャートを参照して、この場合の内視鏡手術支援システム１００において実行される内視鏡制御処理の流れの例を説明する。

内視鏡制御処理が開始されると、ステップＳ４０１において、光源装置１１２は、内視鏡１２１から照射される光（照明光）を発光し、内視鏡１２１に供給する。これにより、内視鏡１２１から撮像の画角内（被写体）に向かって光が照射される。

ステップＳ４０２において、内視鏡１２１の撮像部１７１は、内視鏡１２１の視野内領域を含む撮像領域を撮像する。

ステップＳ４０３において、画像生成部４２１は、ステップＳ４０２において得られた撮像画像の一部を表示用画像として抽出し、さらに、撮像画像全体を監視対象画像とする。

ステップＳ４０４において、出力制御部１９４は、ステップＳ４０３の処理により得られた表示用画像を出力装置１１４に供給する。出力装置１１４のモニタ２０１は、その表示用画像を内視鏡視野内画像（視野内領域の画像）として表示する。

ステップＳ４０５において、監視装置１１３は、ステップＳ４０３の処理により得られた監視対象画像を監視する。

ステップＳ４０６において、監視装置１１３は、内視鏡制御処理を終了するか否かを判定する。終了しないと判定された場合、処理は、ステップＳ４０１に戻り、それ以降の処理の実行が繰り返される。ステップＳ４０６において、内視鏡制御処理を終了すると判定された場合、内視鏡制御処理が終了する。

＜監視処理の流れ＞
次に、図２５のステップＳ４０５において実行される、この場合の監視処理の流れの例を、図２６のフローチャートを参照して説明する。監視処理が開始されると、異常検出部１９２は、ステップＳ４２１において、監視対象画像を用いて、その画像内における異常の発生を検出する。

ステップＳ４２２において、通知情報生成部１９３は、ステップＳ４２１の処理結果に基づいて異常が発生したか否かを判定する。異常の発生が検出された（すなわち、異常が発生した）と判定された場合、処理はステップＳ４２３に進む。

ステップＳ４２３において、通知情報生成部１９３は、その異常の発生に関する通知を行う通知情報を生成する。ステップＳ４２４において、出力制御部１９４は、ステップＳ４２３において生成された通知情報を出力装置１１４に供給し、出力させる。出力装置１１４は、供給された通知情報を出力する。

ステップＳ４２４の処理が終了すると、処理はステップＳ４２５に進む。また、ステップＳ４２２において、異常の発生が検出されていない（すなわち、異常が発生していない）と判定された場合、処理はステップＳ４２５に進む。

ステップＳ４２５において、監視装置１１３は、監視を終了するか否かを判定する。監視を終了しないと判定された場合、処理はステップＳ４２１に戻り、それ以降の処理の実行が繰り返される。

ステップＳ４２５において、監視を終了すると判定された場合、監視処理が終了し、処理は図２５に戻る。

＜異常検出処理の流れ＞
次に、図２６のステップＳ４２１において実行される、この場合の異常検出処理の流れの例を、図２７のフローチャートを参照して説明する。

異常検出処理が開始されると、出血検出部２１１は、ステップＳ４４１において、監視対象画像を解析し、出血の発生を検出する。

ステップＳ４４２において、接触検出部２５１は、監視対象画像を解析し、術具と臓器の接触を検出する。

それぞれの監視対象のパラメータについて異常の検出が終了すると、異常検出処理が終了し、処理は図２６に戻る。

＜通知情報生成処理の流れ＞
次に、図２６のステップＳ４２３において実行される、この場合の通知情報生成処理の流れの例を、図２８のフローチャートを参照して説明する。

通知情報生成処理が開始されると、通知情報生成部１９３の異常発生通知生成部２２１は、ステップＳ４６１において異常発生通知を生成する。

ステップＳ４６２において、異常発生位置特定部２２２は、異常発生場所の、撮像画像における表示用画像の位置（すなわち、視野内領域の位置）からの相対位置を特定する。

ステップＳ４６３において、異常発生位置特定部２２２は、ステップＳ４６２において特定された異常発生場所の位置が、表示用画像内（すなわち視野内領域内）であるか否かを判定する。異常発生場所の位置が表示用画像内であると判定された場合、処理はステップＳ４６４に進む。

ステップＳ４６４において、異常発生場所通知生成部２２３は、異常発生場所通知を生成する。異常発生場所通知が生成されると、通知情報生成処理が終了し、処理は図２６に戻る。

また、図２８のステップＳ４６３において、異常発生場所の位置が表示用画像の外であると判定された場合、処理はステップＳ４６５に進む。

ステップＳ４６５において、異常発生方向通知生成部２２４は、異常発生方向通知を生成する。異常発生方向通知が生成されると、通知情報生成処理が終了し、処理は図２６に戻る。

以上のように各処理を実行することにより、監視装置１１３は、内視鏡１２１の撮像部１７１において得られる撮像画像を用いて、内視鏡１２１の視野内画像の表示と、内視鏡１２１の視野内および視野周辺のセンシングの両方を実現することができる。つまり、監視装置１１３は、内視鏡の視野内および視野周辺において発生する異常をより容易に把握させることができる。

＜５．第５の実施の形態＞
＜拡大画像と俯瞰画像の表示＞
なお、図２２Ｂにおいて、撮像画像４０１の一部の領域４１２を拡大して表示する場合について説明したが、このように拡大画像を表示させる場合、その拡大画像とともに、撮像画像４０１の、その拡大画像の領域４１２よりも広範囲の領域の画像を俯瞰画像として表示させるようにしてもよい。

このように、拡大画像と俯瞰画像の両方を表示させる場合、例えば、俯瞰画像を拡大画像のピクチャインピクチャとして表示させるようにしてもよい。

図２９にこの場合の表示用画像の例を示す。図２９の例の場合、表示用画像５０１全体に、撮像画像の一部が切り出されて拡大された拡大画像５０２が表示される。この表示用画像５０１の右下の領域には、俯瞰画像５０３がピクチャインピクチャとして表示される。

例えば、図２９の例のように患部５１２を拡大して表示させると、拡大画像５０２には、臓器５１１の一部分しか表示されなくなるなど、より狭い範囲しか表示されなくなる。図２９の例のように、表示用画像５０１内において俯瞰画像５０３も表示させることにより、術者等は、拡大した部分の位置をより正確に把握することができ、異常の発生場所の位置をより正確に把握することができる。

なお、この俯瞰画像５０３において、拡大画像に相当する部分を例えば点線枠や強調表示等で表現するようにしてもよい。このようにすることにより、術者等は、より容易に拡大した領域の位置や大きさ等を把握することができる。

また、この表示用画像５０１の場合、異常発生通知、異常発生場所通知、異常発生方向通知等の各種通知は、拡大画像５０２上において表示されるようにしてもよいし、俯瞰画像５０３上において表示されるようにしてもよい。

なお、拡大画像５０２と俯瞰画像５０３とを互いに異なる領域に表示させるようにしてもよい。例えば、拡大画像５０２と俯瞰画像５０３とを互いに異なるモニタに表示させるようにしてもよい。

この俯瞰画像５０３は、撮像画像の、拡大画像の領域よりも広範囲の領域の画像であればよい。したがって、撮像画像から切り出される部分画像を俯瞰画像５０３としてもよいし、撮像画像全体を俯瞰画像５０３としてもよい。また、例えば、撮像画像内の表示可能な最大範囲の画像（非拡大画像）としてもよい。例えば、図２１Ｂの例のような場合、領域４０２全体を俯瞰画像５０３としてもよい。

例えば、俯瞰画像５０３の範囲を可変とするようにしてもよい。例えば、所定の術具の位置に応じてこの俯瞰画像５０３の範囲が決定されるようにしてもよい。例えば、鉗子の先端が含まれるように、この俯瞰画像５０３の範囲が決定されるようにしてもよい。

例えば、図３０Ａ乃至図３０Ｃの例の場合、俯瞰画像５０３の画枠５３１乃至画枠５３３は、鉗子５２１と鉗子５２２の先端が含まれるように、それらの位置に応じて設定されている。図２９の例のように、表示用画像５０１において俯瞰画像５０３をピクチャインにピクチャとして表示させる場合、俯瞰画像５０３の表示領域は広くないので、俯瞰画像５０３の範囲を過剰に広範囲にすると、画像の縮小率が過剰に大きくなり（画像が小さくなりすぎて）、術者等にとって見づらくなってしまうおそれがある。そこで、術者がこの俯瞰画像５０３を図３０の例のように容易に任意に設定することができるようにすることにより、表示用画像５０１における俯瞰画像５０３の範囲（画像の縮小率）をより適切にすることができ、俯瞰画像５０３をより見やすくすることができる。

なお、このように、俯瞰画像５０３の画枠５３１（範囲）を可変とする場合、図３０Ａと図３０Ｂの例のように、そのアスペクト比を固定としてもよい。また、図３０Ｃの例のように、そのアスペクト比を可変としてもよい。

＜監視装置等の主な構成例＞
この場合の監視装置等の構成は、図２３の例と同様である。例えば、監視装置１１３が画像生成部４２１を有し、その画像生成部４２１が、撮像画像の一部を抽出して拡大画像の表示用画像とし、撮像画像の拡大画像の表示用画像よりも広範囲を俯瞰画像の表示用画像とし、撮像画像の全体を監視対象画像とするようにすればよい。このようにすることにより、拡大画像５０２だけでなく、俯瞰画像５０３も表示させることができる。

例えば、画像生成部４２１が、撮像画像において、拡大画像５０２の表示用画像の領域を含み、かつ、拡大画像５０２の表示用画像の領域よりも広範囲の領域を設定し、設定したその領域を俯瞰画像５０３の表示用画像として抽出するようにしてもよい。このようにすることにより、俯瞰画像５０３の範囲を可変とすることができる。

また、例えば、画像生成部４２１が、所定の術具の位置に応じて、その俯瞰画像５０３の表示用画像として抽出する領域を設定するようにしてもよい。例えば、画像生成部４２１が、鉗子の先端が含まれるように、俯瞰画像５０３の表示用画像として抽出する領域を設定するようにしてもよい。また、例えば、画像生成部４２１が、アスペクト比を固定して、俯瞰画像５０３の表示用画像として抽出する領域を設定するようにしてもよい。

このようにすることにより、術者はより容易に俯瞰画像５０３の範囲を設定することができる。

また、出力制御部１９４が、図２９の例のように、俯瞰画像の表示用画像を拡大画像の表示用画像の一部に重畳させて（ピクチャインピクチャとして）表示させるようにしてもよい。

なお、この場合の各処理の流れは、内視鏡制御処理のステップＳ４０３において、撮像画像より拡大画像の表示用画像と、俯瞰画像の表示用画像を抽出し、ステップＳ４０４において、拡大画像の表示用画像に、ピクチャインピクチャとして、俯瞰画像の表示用画像を合成する点以外は、第４の実施の形態において説明した場合と同様であるので、その説明は省略する。

また、撮像画像における俯瞰画像５０３の範囲を固定とし、撮像画像の範囲、すなわち、撮像部１７１による撮像の画角を制御することにより、俯瞰画像５０３の範囲を制御するようにしてもよい。例えば、CCU１１１が、撮像部１７１による撮像の画角を制御することにより、画像生成部４２１により生成される俯瞰画像５０３の表示用画像の範囲を制御するようにしてもよい。

その場合、例えば、CCU１１１が、所定の術具の位置に応じて、撮像部１７１による撮像の画角を制御するようにしてもよい。また、例えば、CCU１１１が、俯瞰画像５０３に鉗子の先端が含まれるように、撮像部１７１による撮像の画角を制御するようにしてもよい。さらに、例えば、CCU１１１が、俯瞰画像５０３の範囲のアスペクト比が固定されるように、撮像部１７１による撮像の画角を制御するようにしてもよい。

＜監視装置等の主な構成例＞
このように撮像の画角を制御する場合も、監視装置等の構成は、図２３の例と同様である。

＜内視鏡制御処理の流れ＞
このように撮像の画角を制御する場合の内視鏡制御処理の流れの例を、図３１のフローチャートを参照して説明する。ただし、説明の便宜上、俯瞰画像の範囲を撮像画像全体として説明する。

内視鏡制御処理が開始されると、ステップＳ５０１において、光源装置１１２は、内視鏡１２１から照射される光（照明光）を発光し、内視鏡１２１に供給する。これにより、内視鏡１２１から撮像の画角内（被写体）に向かって光が照射される。

ステップＳ５０２において、CCU１１１は、内視鏡１２１の撮像部１７１の画角を制御する。ステップＳ５０３において、内視鏡１２１の撮像部１７１は、内視鏡１２１の視野内を撮像する。

ステップＳ５０４において、画像生成部４２１は、ステップＳ５０３において得られた撮像画像の一部を拡大画像５０２として抽出し、さらに、撮像画像全体を、俯瞰画像５０３および監視対象画像とする。

ステップＳ５０５において、出力制御部１９４は、ステップＳ５０４の処理により得られた俯瞰画像を拡大画像のピクチャインピクチャとして表示される表示用画像を生成し、その表示用画像を出力装置１１４に供給する。出力装置１１４のモニタ２０１は、その表示用画像を表示する。

ステップＳ５０６において、監視装置１１３は、ステップＳ５０４の処理により得られた監視対象画像を監視する。

ステップＳ５０７において、監視装置１１３は、内視鏡制御処理を終了するか否かを判定する。終了しないと判定された場合、処理は、ステップＳ５０１に戻り、それ以降の処理の実行が繰り返される。ステップＳ５０７において、内視鏡制御処理を終了すると判定された場合、内視鏡制御処理が終了する。

その他の処理は、第４の実施の形態において説明した場合と同様であるので、その説明は省略する。

以上のように各処理を実行することにより、術者はより容易に俯瞰画像５０３の範囲を設定することができる。

＜６．第６の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図３２に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

例えば、本技術は、内視鏡装置、内視鏡装置とともに利用される手術支援装置、それらの装置を制御するコンピュータ、内視鏡手術を支援する情報処理システム、またはそのソフトウェア・モジュール等に適用することができる。

なお、本技術は以下のような構成も取ることができる。
（１） 内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて前記視野外領域における異常の発生を検出する異常検出部と、
前記異常検出部により検出された異常に関する通知を行う通知情報を生成する通知情報生成部と
を備える情報処理装置。

（２） 前記通知情報生成部は、前記異常検出部により検出された異常の発生場所に関する通知を行う通知情報を生成する
（１）に記載の情報処理装置。
（３） 前記センシング領域は、前記内視鏡の視野内領域の少なくとも一部も含み、
前記異常検出部は、前記センシング領域のセンシングの結果に基づいて、前記視野内領域における異常の発生をさらに検出する
（２）に記載の情報処理装置。
（４） 前記通知情報生成部は、前記異常の発生場所の位置に応じた方法で、前記異常の発生場所に関する通知を行う通知情報を生成する
（３）に記載の情報処理装置。
（５） 前記通知情報生成部は、前記異常の発生場所の位置が前記視野内領域内であるか否かに応じた方法で、前記異常の発生場所に関する通知を行う通知情報を生成する
（４）に記載の情報処理装置。

（６） 前記通知情報生成部は、前記異常の発生場所の位置が前記視野内領域内である場合、前記異常の発生場所に関する通知を行う通知情報を生成する
（５）に記載の情報処理装置。
（７） 前記通知情報生成部は、前記異常の発生場所に関する通知を行う通知情報として、前記視野内領域の画像上において前記異常の発生場所を示す画像を生成する
（６）に記載の情報処理装置。
（８） 前記通知情報生成部は、前記異常の発生場所に関する通知を行う通知情報として、前記異常の発生場所を示す音声を生成する
（６）に記載の情報処理装置。

（９） 前記通知情報生成部は、前記異常の発生場所の位置が前記視野外領域内である場合、前記異常の発生場所の方向に関する通知を行う通知情報を生成する
（５）に記載の情報処理装置。
（１０） 前記通知情報生成部は、前記異常の発生場所の方向に関する通知を行う通知情報として、前記視野内領域の画像上において前記異常の発生場所の方向を示す画像を生成する
（９）に記載の情報処理装置。
（１１） 前記通知情報生成部は、前記異常の発生場所の方向に関する通知を行う通知情報として、前記異常の発生場所の方向を示す音声を生成する
（９）に記載の情報処理装置。

（１２） 前記通知情報生成部は、前記異常の発生場所の位置を特定し、特定した前記異常の発生場所の位置に応じた方法で、前記異常の発生場所に関する通知を行う通知情報を生成する
（４）に記載の情報処理装置。
（１３） 前記通知情報生成部は、特定した前記異常の発生場所の位置が前記視野内領域内であるか否かの判定を行い、前記判定の結果に応じた方法で、前記異常の発生場所に関する通知を行う通知情報を生成する
（１２）に記載の情報処理装置。
（１４） 前記通知情報生成部は、前記異常の発生場所の位置を、前記視野内領域の位置からの相対位置として特定する
（１２）に記載の情報処理装置。

（１５） 前記通知情報生成部は、前記異常検出部による異常の検出に関する通知を行う通知情報を生成する
（１）に記載の情報処理装置。
（１６） 前記通知情報生成部は、前記異常が検出されたことに関する通知を行う通知情報を生成する
（１５）に記載の情報処理装置。
（１７） 前記通知情報生成部は、前記異常が検出されたことに関する通知を行う通知情報として、前記異常が検出されたことに関する通知を行う画像を生成する
（１６）に記載の情報処理装置。
（１８） 前記通知情報生成部は、前記異常が検出されたことに関する通知を行う通知情報として、前記異常が検出されたことに関する通知を行う音声を生成する
（１６）に記載の情報処理装置。
（１９） 前記通知情報生成部は、検出された前記異常の内容に関する通知を行う通知情報を生成する
（１５）に記載の情報処理装置。
（２０） 前記通知情報生成部は、前記異常の内容に関する通知を行う通知情報として、前記異常の内容に関する通知を行う画像を生成する
（１９）に記載の情報処理装置。
（２１） 前記通知情報生成部は、前記異常の内容に関する通知を行う通知情報として、前記異常の内容に関する通知を行う音声を生成する
（１９）に記載の情報処理装置。

（２２） 前記異常検出部は、出血の発生を前記異常の発生として検出する
（１）に記載の情報処理装置。
（２３） 前記異常検出部は、前記センシングの結果として得られる前記センシング領域の温度分布に基づいて、前記出血の発生を検出する
（２２）に記載の情報処理装置。

（２４） 前記異常検出部は、術具の温度異常の発生を前記異常の発生として検出する
（１）に記載の情報処理装置。
（２５） 前記異常検出部は、前記センシングの結果として得られる前記センシング領域の温度分布に基づいて、前記術具の温度異常の発生を検出する
（２４）に記載の情報処理装置。

（２６） 前記異常検出部は、臓器の温度異常の発生を前記異常の発生として検出する
（１）に記載の情報処理装置。
（２７） 前記異常検出部は、前記センシングの結果として得られる前記センシング領域の温度分布に基づいて、前記臓器の温度異常の発生を検出する
（２６）に記載の情報処理装置。

（２８） 前記視野内領域の位置を推定する視野位置推定部をさらに備える
（１）に記載の情報処理装置。
（２９） 前記視野位置推定部は、前記センシングの結果に基づいて、前記視野内領域の位置を推定する
（２８）に記載の情報処理装置。
（３０） 前記視野位置推定部は、さらに前記内視鏡の姿勢や前記センシングを行うセンサ部の姿勢に基づいて、前記視野内領域の位置を推定する
（２９）に記載の情報処理装置。
（３１） 前記視野位置推定部は、さらに前記視野内領域の画像に基づいて、前記視野内領域の位置を推定する
（２９）に記載の情報処理装置。
（３２） 前記通知情報生成部は、前記異常の発生場所の位置を、前記視野位置推定部により推定された前記視野内領域の位置からの相対位置として特定し、特定した前記異常の発生場所の位置に応じた方法で、前記異常に関する通知を行う通知情報を生成する
（２８）に記載の情報処理装置。

（３３） 前記通知情報生成部により生成された前記通知情報を出力する出力部をさらに備える
（１）に記載の情報処理装置。
（３４） 前記出力部は、前記通知情報の画像を表示する表示部を備える
（３３）に記載の情報処理装置。
（３５） 前記表示部は、前記視野内領域の画像をさらに表示する
（３４）に記載の情報処理装置。
（３６） 前記表示部は、前記センシングの結果に関する画像をさらに表示する
（３４）に記載の情報処理装置。
（３７） 前記出力部は、前記通知情報の音声を出力する音声出力部を備える
（３３）に記載の情報処理装置。
（３８） 前記音声出力部は、前記センシングの結果に関する音声をさらに出力する
（３６）に記載の情報処理装置。

（３９） 前記センシング領域に対して前記センシングを行うセンサ部をさらに備え、
前記異常検出部は、前記センサ部による前記センシングの結果に基づいて前記異常の発生を検出する
（１）に記載の情報処理装置。
（４０） 前記センサ部は、画像、光、電気、音、振動、加速度、速度、角速度、姿勢、力、温度、湿度、流量、磁気、化学物質、および匂いの内、少なくともいずれか１つをセンシングする
（３９）に記載の情報処理装置。
（４１） 前記センサ部は、さらに、前記センサ部の姿勢をセンシングする
（４０）に記載の情報処理装置。

（４２） 前記内視鏡をさらに備える
（１）に記載の情報処理装置。

（４３） 前記異常検出部は、術具と臓器の接触の発生を前記異常の発生として検出する
（１）に記載の情報処理装置。
（４４） 前記異常検出部は、前記センシングの結果として得られる前記センシング領域の温度分布、並びに、前記センシング領域の立体視用画像に基づいて、前記接触の発生を検出する
（４３）に記載の情報処理装置。

（４５） 前記通知情報生成部は、前記視野内領域内で作業を行う術者以外の監視者に対して、前記異常検出部により検出された異常に関する通知を行う監視者用通知情報をさらに生成する
（１）に記載の情報処理装置。
（４６） 前記監視者用通知情報は、前記通知情報と異なる画像若しくは音声または両方により、前記異常検出部により検出された異常に関する通知を行う情報である
（４５）に記載の情報処理装置。

（４７） 前記通知情報生成部は、前記監視者用通知情報として、前記異常が検出されたことに関する通知を行う画像を生成する
（４５）に記載の情報処理装置。
（４８） 前記通知情報生成部は、前記監視者用通知情報として、前記異常が検出されたことに関する通知を行う音声を生成する
（４５）に記載の情報処理装置。
（４９） 前記通知情報生成部は、前記監視者用通知情報として、前記異常の内容に関する通知を行う画像を生成する
（４５）に記載の情報処理装置。
（５０） 前記通知情報生成部は、前記監視者用通知情報として、前記異常の内容に関する通知を行う音声を生成する
（４５）に記載の情報処理装置。

（５１） 前記通知情報生成部は、前記監視者用通知情報として、前記異常の発生場所に関する通知を行う画像を生成する
（４５）に記載の情報処理装置。
（５２） 前記通知情報生成部は、前記監視者用通知情報として、前記異常の発生場所に関する通知を行う音声を生成する
（４５）に記載の情報処理装置。

（５３） 前記通知情報生成部により生成された前記監視者用通知情報を出力する監視者用出力部をさらに備える
（４５）に記載の情報処理装置。
（５４） 前記監視者用出力部は、前記監視者用通知情報の画像を表示する表示部を備える
（５３）に記載の情報処理装置。
（５５） 前記表示部は、前記視野内領域の画像と、前記センシングの結果に関する画像とをさらに表示する
（５４）に記載の情報処理装置。
（５６） 前記監視者用出力部は、前記監視者用通知情報の音声を出力する音声出力部を備える
（５３）に記載の情報処理装置。
（５７） 前記音声出力部は、前記センシングの結果に関する音声をさらに出力する
（５６）に記載の情報処理装置。

（５８） 前記内視鏡の撮像部により撮像されて得られた撮像画像を用いて、表示用画像と、前記センシングの結果として前記異常検出部による前記異常の発生の検出に利用される監視対象画像とを生成する画像生成部をさらに備える
（１）に記載の情報処理装置。
（５９） 前記画像生成部は、前記撮像画像の一部を抽出して前記表示用画像とする
（５８）に記載の情報処理装置。
（６０） 前記画像生成部は、前記撮像画像の全体を前記監視対象画像とする
（５８）に記載の情報処理装置。
（６１） 前記撮像画像は、前記内視鏡が有する複数の撮像部により撮像されて得られた複数の撮像画像により構成される
（５８）に記載の情報処理装置。

（６２） 前記異常検出部は、前記画像生成部により生成された前記監視対象画像を解析して、出血の発生を前記異常の発生として検出する
（５８）に記載の情報処理装置。

（６３） 前記異常検出部は、前記画像生成部により生成された前記監視対象画像を解析して、術具と臓器の接触の発生を前記異常の発生として検出する
（５８）に記載の情報処理装置。

（６４） 前記画像生成部は、前記撮像画像の一部を抽出して拡大画像の表示用画像とし、前記撮像画像の前記拡大画像の表示用画像よりも広範囲を俯瞰画像の表示用画像とし、前記撮像画像の全体を前記監視対象画像とする
（５８）に記載の情報処理装置。
（６５） 前記画像生成部は、前記撮像画像において、前記拡大画像の表示用画像の領域を含み、かつ、前記拡大画像の表示用画像の領域よりも広範囲の領域を設定し、設定した前記領域を前記俯瞰画像の表示用画像として抽出する
（６４）に記載の情報処理装置。
（６６） 前記画像生成部は、所定の術具の位置に応じて、前記領域を設定する
（６５）に記載の情報処理装置。
（６７） 前記画像生成部は、鉗子の先端が含まれるように、前記領域を設定する
（６５）に記載の情報処理装置。
（６８） 前記画像生成部は、アスペクト比を固定して、前記領域を設定する
（６５）に記載の情報処理装置。

（６９） 前記俯瞰画像の表示用画像を前記拡大画像の表示用画像の一部に重畳させて表示させる出力制御部をさらに備える
（６４）に記載の情報処理装置。

（７０） 前記撮像部による撮像の画角を制御することにより、前記画像生成部により生成される前記俯瞰画像の表示用画像の画角を制御する画角制御部をさらに備える
（６４）に記載の情報処理装置。
（７１） 前記画角制御部は、所定の術具の位置に応じて、前記撮像部による撮像の画角を制御する
（７０）に記載の情報処理装置。
（７２） 前記画角制御部は、鉗子の先端が撮像されるように、前記撮像部による撮像の画角を制御する
（７０）に記載の情報処理装置。
（７３） 前記画角制御部は、アスペクト比を固定して、前記撮像部による撮像の画角を制御する
（７０）に記載の情報処理装置。

（７４） 内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて前記視野外領域における異常の発生を検出し、
検出された異常に関する通知を行う通知情報を生成する
情報処理方法。

１００ 内視鏡手術支援システム， １１１ CCU， １１２ 光源装置， １１３ 監視装置， １１４ 出力装置， １１５ 術具制御装置， １１６ 気腹装置， １２１ 内視鏡， １２２ エナジーデバイス， １２３ 鉗子， １２４ 気腹針， １２５ 監視用センサ， １３１ トロッカ， １４１ 患者ベッド， １５１ 患者， １６１ 患部， １６２ 視野内領域， １６３ 視野外領域， １７１ 撮像部， １７２ ジャイロセンサ， １８１ サーモセンサ， １８２ ジャイロセンサ， １９１ 視野位置推定部， １９２ 異常検出部， １９３ 通知情報生成部， １９４ 出力制御部， ２０１ モニタ， ２０２ スピーカ， ２１１ 出血検出部， ２１２ 術具温度異常検出部， ２１３ 臓器温度異常検出部， ２２１ 異常発生通知生成部， ２２２ 異常発生位置特定部， ２２３ 異常発生場所通知生成部， ２２４ 異常発生方向通知生成部， ２３０ 内視鏡視野内画像， ２３１ 患部， ２３２ 血だまり， ２３３ 異常発生通知画像， ２３４ 異常発生場所通知画像， ２３５ 異常発生方向通知画像， ２４１ ステレオカメラ， ２５１ 接触検出部， ３０１ 術者用出力装置， ３０２ 監視者用出力装置， ３１１ モニタ， ３１２ スピーカ， ３２１ モニタ， ３２２ スピーカ， ３３１ センシング結果通知生成部， ３４１ 患部， ３４２ 視野内領域， ３４３ 視野外領域， ３６１ 異常発生通知画像， ３６２ 異常発生場所通知画像， ４０１ 撮像画像， ４２１ 画像生成部， ５０１ 表示用画像， ５０２ 拡大画像， ５０３ 俯瞰画像， ５１１ 臓器， ５１２ 患部， ５２１および５２２ 鉗子， ５３１乃至５３３ 画枠， ９００ コンピュータ

Claims (17)

1. 内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて、前記視野外領域における、出血の発生、術具の温度異常の発生、臓器の温度異常の発生、および、術具と臓器の接触の発生の内の少なくともひとつを、状態の変化として検出する異常検出部と、
   前記異常検出部により検出された前記状態の変化に関する通知を行う通知情報を生成する通知情報生成部と、
   前記通知情報を視野内領域の大きさを変えずに出力する出力部と
   を備える情報処理装置。
2. 前記通知情報生成部は、前記異常検出部により検出された前記状態の変化の発生場所に関する通知を行う通知情報を生成する
   請求項１に記載の情報処理装置。
3. 前記センシング領域は、前記内視鏡の視野内領域の少なくとも一部も含み、
   前記異常検出部は、前記センシング領域のセンシングの結果に基づいて、前記視野内領域における前記状態の変化をさらに検出する
   請求項２に記載の情報処理装置。
4. 前記通知情報生成部は、前記状態の変化の発生場所の位置が前記視野内領域内であるか否かに応じた方法で、前記状態の変化の発生場所に関する通知を行う通知情報を生成する
   請求項３に記載の情報処理装置。
5. 前記通知情報生成部は、前記状態の変化の発生場所の位置が前記視野内領域内である場合、前記通知情報として、前記視野内領域の画像上において前記状態の変化の発生場所を示す画像、若しくは、前記状態の変化の発生場所を示す音声を生成する
   請求項４に記載の情報処理装置。
6. 前記通知情報生成部は、前記状態の変化の発生場所の位置が前記視野外領域内である場合、前記通知情報として、前記視野内領域の画像上において前記状態の変化の発生場所の方向を示す画像、若しくは、前記状態の変化の発生場所の方向を示す音声を生成する
   請求項４または請求項５に記載の情報処理装置。
7. 前記通知情報生成部は、前記状態の変化の発生場所の位置を、前記視野内領域の位置からの相対位置として特定し、特定した前記状態の変化の発生場所の位置が前記視野内領域内であるか否かの判定を行い、前記判定の結果に応じた方法で、前記状態の変化の発生場所に関する通知を行う通知情報を生成する
   請求項４乃至請求項６のいずれかに記載の情報処理装置。
8. 前記視野内領域の位置を推定する視野位置推定部をさらに備え、
   前記通知情報生成部は、前記状態の変化の発生場所の位置を、前記視野位置推定部により推定された前記視野内領域の位置からの相対位置として特定する
   請求項７に記載の情報処理装置。
9. 前記通知情報生成部は、前記内視鏡の視野内領域内で作業を行う術者以外の監視者に対して、前記異常検出部により検出された前記状態の変化に関する通知を行う監視者用通知情報をさらに生成する
   請求項１乃至請求項８のいずれかに記載の情報処理装置。
10. 前記通知情報生成部は、前記監視者用通知情報として、前記状態の変化が検出されたことに関する通知を行う画像若しくは音声を生成する
    請求項９に記載の情報処理装置。
11. 前記通知情報生成部は、前記監視者用通知情報として、前記状態の変化の内容に関する通知を行う画像若しくは音声を生成する
    請求項９または請求項１０に記載の情報処理装置。
12. 前記通知情報生成部は、前記監視者用通知情報として、前記状態の変化の発生場所に関する通知を行う画像若しくは音声を生成する
    請求項９乃至請求項１１のいずれかに記載の情報処理装置。
13. 前記内視鏡の撮像部により撮像されて得られた撮像画像の一部を抽出して表示用画像とし、前記撮像画像の全体を前記センシングの結果として前記異常検出部による前記状態の変化の検出に利用される監視対象画像とする画像生成部をさらに備える
    請求項１乃至請求項１２のいずれかに記載の情報処理装置。
14. 前記画像生成部は、前記内視鏡の撮像部により撮像されて得られた撮像画像の一部を抽出して拡大画像の表示用画像とし、前記撮像画像の前記拡大画像の表示用画像よりも広範囲を、前記拡大画像の表示用画像の一部に重畳させて表示される俯瞰画像の表示用画像とし、前記撮像画像の全体を、前記センシングの結果として前記異常検出部による前記状態の変化の検出に利用される監視対象画像とする
    請求項１３に記載の情報処理装置。
15. 所定の術具の位置に応じて、前記撮像部による撮像の画角を制御することにより、前記画像生成部により生成される前記俯瞰画像の表示用画像の画角を制御する画角制御部をさらに備える
    請求項１４に記載の情報処理装置。
16. 前記センシング領域に対して、画像、光、電気、音、振動、加速度、速度、角速度、姿勢、力、温度、湿度、流量、磁気、化学物質、および匂いの内、少なくともいずれか１つをセンシングするセンサ部をさらに備え、
    前記異常検出部は、前記センサ部による前記センシングの結果に基づいて前記状態の変化を検出する
    請求項１乃至請求項１５のいずれかに記載の情報処理装置。
17. 内視鏡の視野外領域の少なくとも一部を含むセンシング領域のセンシングの結果に基づいて、前記視野外領域における、出血の発生、術具の温度異常の発生、臓器の温度異常の発生、および、術具と臓器の接触の発生の内の少なくともひとつを、状態の変化として検出し、
    検出された前記状態の変化に関する通知を行う通知情報を生成し、
    前記通知情報を視野内領域の大きさを変えずに出力する
    情報処理方法。

Images