WO2024096084A1

WO2024096084A1 - 医療支援装置、内視鏡、医療支援方法、及びプログラム

Info

Publication number: WO2024096084A1
Application number: PCT/JP2023/039521
Authority: WO
Inventors: 美沙紀後藤
Original assignee: 富士フイルム株式会社
Priority date: 2022-11-04
Filing date: 2023-11-01
Publication date: 2024-05-10

Abstract

医療支援装置は、プロセッサを備える。プロセッサは、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得し、ボリュームデータから、基準部位に関する２基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得し、第１基準部位情報と第２基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した３次元走行方向画像を生成し、撮像画像を画面に表示し、撮像画像内に前記３次元走行方向画像を表示する。

Description

医療支援装置、内視鏡、医療支援方法、及びプログラム

　本開示の技術は、医療支援装置、内視鏡、医療支援方法、及びプログラムに関する。

　特開２０２２－１０５６８５号公報には、内視鏡画像取得部、仮想内視鏡画像取得部、仮想内視鏡画像再構成部、及び診断サポート情報出力部を備える内視鏡用プロセッサが開示されている。

　特開２０２２－１０５６８５号公報に記載の内視鏡用プロセッサにおいて、内視鏡画像取得部は、内視鏡から患者の内視鏡画像を取得する。仮想内視鏡画像取得部は、患者を予め撮影した３次元医用画像に基づいて再構成された仮想内視鏡画像を取得する。仮想内視鏡画像再構成部は、仮想内視鏡画像取得部が取得した仮想内視鏡画像と、内視鏡画像取得部が取得した内視鏡画像との一致度に基づき、内視鏡画像に最も一致する補正後の仮想内視鏡画像を再構成する。診断サポート情報出力部は、内視鏡画像取得部が取得した内視鏡画像を、仮想内視鏡画像再構成部が再構成した補正後の仮想内視鏡画像により得られる距離画像に内視鏡画像の各画素を対応させて、これに応じて補正した特徴パラメータに基づいた診断サポート情報を出力する。

　本開示の技術に係る一つの実施形態は、撮像画像を観察しているユーザに対して、十二指腸に通じる管の走行方向を、撮像画像を通して視覚的に認識させることができる医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得し、ボリュームデータから、基準部位に関する第２基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得し、第１基準部位情報と第２基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した走行方向画像を生成し、撮像画像を画面に表示し、撮像画像内に走行方向画像を表示する、医療支援装置である。

　本開示の技術に係る第２の態様は、第１基準部位情報が、基準部位が３次元画像として表現された第１画像領域であり、第２基準部位情報が、基準部位が３次元画像として表現された第２画像領域であり、プロセッサが、第１画像領域と第２画像領域とを位置合わせすることにより調整された方向情報に基づいて走行方向画像を生成する、第１の態様に係る医療支援装置である。

　本開示の技術に係る第３の態様は、プロセッサが、撮像画像に基づいて、十二指腸が３次元画像として表現された十二指腸画像を生成し、十二指腸画像から第１基準部位情報を取得する、第１の態様又は第２の態様に係る医療支援装置である。

　本開示の技術に係る第４の態様は、十二指腸画像が、複数の距離画像に基づいて生成された３次元画像である、第３の態様に係る医療支援装置である。

　本開示の技術に係る第５の態様は、指定されたフレーム数単位で撮像画像が更新される毎に、プロセッサが、更新された撮像画像に基づいて十二指腸画像を生成し、十二指腸画像を生成する毎に方向情報に基づいて走行方向画像を生成し、更新された撮像画像を画面に表示し、走行方向画像を生成する毎に、生成した走行方向画像を撮像画像内に表示する、第４の態様に係る医療支援装置である。

　本開示の技術に係る第６の態様は、方向情報が、走行方向が３次元画像で表現された３次元方向画像あり、走行方向画像が、３次元方向画像が撮像画像に投影されることによって得られた２次元画像に基づく画像である、第１の態様から第５の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第７の態様は、撮像画像が、十二指腸乳頭を示す乳頭画像を含み、走行方向画像が、乳頭画像に関連付けられた状態で表示される、第１の態様から第６の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第８の態様は、管が、十二指腸乳頭内の開口に通じており、走行方向画像が、開口を基点として管に沿った第１方向を示す画像である、第７の態様に係る医療支援装置である。

　本開示の技術に係る第９の態様は、第１方向が、管に挿入する医療器具の挿入方向に相当する方向である、第８の態様に係る医療支援装置である。

　本開示の技術に係る第１０の態様は、基準部位が、十二指腸乳頭、医用マーカ、及び／又は襞である、第１の態様から第９の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１１の態様は、プロセッサが、内視鏡スコープから腸壁までの距離とボリュームデータとに基づいて方向情報のスケールを調整する、第１の態様から第１０の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１２の態様は、管が、胆管及び／又は膵管である、第１の態様から第１０の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１３の態様は、撮像画像内に表示される走行方向画像はリアルタイムで更新される、第１の態様から第１２の態様の何れか１つの態様に係る医療支援装置である。

　本開示の技術に係る第１４の態様は、第１の態様から第１３の態様の何れか１つの態様に係る医療支援装置と、内視鏡スコープと、を備える、内視鏡である。

　本開示の技術に係る第１５の態様は、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得すること、ボリュームデータから、基準部位に関する第２基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得すること、第１基準部位情報と第２基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した走行方向画像を生成すること、撮像画像を画面に表示すること、及び、撮像画像内に走行方向画像を表示することを含む、医療支援方法である。

　本開示の技術に係る第１６の態様は、コンピュータに、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得すること、ボリュームデータから、基準部位に関する第２基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得すること、第１基準部位情報と第２基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した走行方向画像を生成すること、撮像画像を画面に表示すること、及び、撮像画像内に走行方向画像を表示することを含む処理を実行させるためのプログラムである。

十二指腸鏡システムが用いられている態様の一例を示す概念図である。十二指腸鏡システムの全体構成の一例を示す概念図である。十二指腸鏡システムの電気系のハードウェア構成の一例を示すブロック図である。十二指腸、胆管、及び膵管の態様の一例を示す概念図である。内視鏡に含まれるプロセッサの要部機能の一例、及びＮＶＭに格納されている情報の一例を示すブロック図である。第１取得部の処理内容の一例を示す概念図である。第２取得部の処理内容の一例を示す概念図である。調整部の第１処理内容の一例を示す概念図である。調整部の第２処理内容の一例を示す概念図である。合成部の処理内容の一例を示す概念図である。第３取得部の第１処理内容の一例を示す概念図である。第３取得部の第２処理内容の一例を示す概念図である。制御部の第１処理内容の一例を示す概念図である。制御部の第２処理内容の一例を示す概念図である。医療支援処理の流れの一例を示すフローチャートである。図１５Ａに示すフローチャートの続きである。第１取得部の処理内容の変形例を示す概念図である。第３取得部の処理内容の変形例を示す概念図である。画像処理装置又は制御装置からネットワークを介してサーバ及び／又はプリンタに情報が出力される態様の一例を示す概念図である。

　以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。ＴＯＦとは、“Time Of Flight”の略称を指す。ＲＮＮ－ＳＬＡＭとは、“Reccurent Neural Network - Simultaneous Localization and Mapping”の略称を指す。ＶＡＥとは、“Variational Autoencoder”の略称を指す。ＧＡＮとは、“Generative Adversarial Networks”の略称を指す。ＣＴとは、“Computed Tomography”の略称を指す。ＭＲＩとは、“Magnetic Resonance Imaging”の略称を指す。３Ｄとは、“Three Dimensions”の略称を指す。

　一例として図１に示すように、十二指腸鏡システム１０は、十二指腸鏡１２及び表示装置１３を備えている。十二指腸鏡１２は、内視鏡検査において医師１４によって用いられる。十二指腸鏡１２は、本開示の技術に係る「内視鏡」の一例である。

　十二指腸鏡１２は、通信装置（図示省略）と通信可能に接続されており、十二指腸鏡１２によって得られた情報は、通信装置に送信される。通信装置は、十二指腸鏡１２から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に記録する処理）を実行する。

　十二指腸鏡１２は、十二指腸鏡本体１８（換言すると、内視鏡スコープ）を備えている。十二指腸鏡１２は、十二指腸鏡本体１８を用いて被検体２０（例えば、患者）の体内に含まれる観察対象２１（例えば、十二指腸）に対する診療を行うための装置である。観察対象２１は、医師１４によって観察される対象である。

　十二指腸鏡本体１８は、被検体２０の体内に挿入される。十二指腸鏡１２は、被検体２０の体内に挿入された十二指腸鏡本体１８に対して、被検体２０の体内の観察対象２１を撮像させ、かつ、必要に応じて観察対象２１に対して医療的な各種処置を行う。

　十二指腸鏡１２は、被検体２０の体内を撮像することで体内の態様を示す画像を取得して出力する。本実施形態において、十二指腸鏡１２は、体内で光を照射することにより観察対象２１で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。

　十二指腸鏡１２は、制御装置２２、光源装置２４、及び画像処理装置２５を備えている。制御装置２２、光源装置２４、及び画像処理装置２５は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、画像処理装置２５、制御装置２２、及び光源装置２４が設置されている。また、ワゴン３４の最上段の台には、表示装置１３が設置されている。

　制御装置２２は、十二指腸鏡１２の全体を制御する。画像処理装置２５は、制御装置２２の制御下で、十二指腸鏡本体１８によって観察対象２１が撮像されることで得られた画像に対して各種の画像処理を行う。

　表示装置１３は、画像を含めた各種情報を表示する。表示装置１３の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１３に代えて、又は、表示装置１３と共に、ディスプレイ付きのタブレット端末を用いてもよい。

　表示装置１３には、複数の画面が並べて表示される。図１に示す例では、複数の画面の一例として、画面３６Ａ～３６Ｃが示されている。

　画面３６Ａには、十二指腸鏡１２によって得られた撮像画像４０が表示される。撮像画像４０には、観察対象２１が写っている。撮像画像４０は、被検体２０の体内で十二指腸鏡本体１８によって観察対象２１が撮像されることによって得られた画像である。観察対象２１としては、十二指腸の腸壁が挙げられる。以下では、説明の便宜上、撮像画像４０の一例として腸壁画像を例示に挙げて説明する。腸壁画像とは、観察対象２１として十二指腸の腸壁が撮像されることで得られた画像を指す。なお、十二指腸は、あくまでも一例に過ぎず、十二指腸鏡１２によって撮像可能な領域であればよい。十二指腸鏡１２によって撮像可能な領域としては、例えば、食道、又は胃等が挙げられる。撮像画像４０は、本開示の技術に係る「撮像画像」の一例である。

　画面３６Ａには、時系列に沿った複数フレームの撮像画像４０を含んで構成される動画像が表示される。つまり、画面３６Ａには、時系列に沿った複数フレームの撮像画像４０が既定のフレームレート（例えば、数十フレーム／秒）で表示される。画面３６Ａは、本開示の技術に係る「画面」の一例である。

　画面３６Ａがメイン画面であるのに対し、画面３６Ｂ及び画面３６Ｃはサブ画面であり、画面３６Ｂ及び画面３６Ｃには、医師１４による十二指腸鏡１２を用いた手技を支援する各種情報が表示される。

　一例として図２に示すように、十二指腸鏡本体１８は、操作部４２及び挿入部４４を備えている。挿入部４４は、操作部４２が操作されることにより部分的に湾曲する。挿入部４４は、医師１４による操作部４２の操作に従って、観察対象２１の形状（例えば、十二指腸の形状）に応じて湾曲しながら挿入される。

　挿入部４４の先端部４６には、カメラ４８、測距センサ４９、照明装置５０、処置用開口５１、及び起立機構５２が設けられている。カメラ４８及び照明装置５０は、先端部４６の側面に設けられている。すなわち、十二指腸鏡１２は、側視鏡として構成されており、十二指腸の腸壁を観察しやすくしている。

　カメラ４８は、被検体２０の体内を撮像することにより医用画像として撮像画像４０を取得する装置である。カメラ４８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。カメラ４８は、本開示の技術に係る「内視鏡スコープ」の一例である。

　測距センサ４９は、光学式の測距センサである。例えば、測距センサ４９は、カメラ４８による撮像タイミングと同期して測距（すなわち、距離の計測）を行う。測距センサ４９の一例としては、ＴＯＦカメラを含む装置が挙げられる。ＴＯＦカメラは、ＴＯＦ方式で３次元情報を計測するカメラである。なお、ここでは、カメラ４８と測距センサ４９とを別体としているが、カメラ４８にＴＯＦカメラの機能が搭載されていてもよく、この場合、カメラ４８は、撮像画像４０と同時に深度情報も得ることが可能となる。

　照明装置５０は、照明窓５０Ａを有する。照明装置５０は、照明窓５０Ａを介して光を照射する。照明装置５０から照射される光の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５０は、照明窓５０Ａを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ４８は、被検体２０の体内で照明装置５０によって光が照射された状態で、被検体２０の体内を光学的手法で撮像する。

　処置用開口５１は、処置具５４を先端部４６から突出させる処置具突出口、血液及び体内汚物等を吸引する吸引口、並びに流体を送出する送出口として用いられる。

　処置用開口５１からは、医師１４の操作に従って、処置具５４が突出する。処置具５４は、処置具挿入口５８から挿入部４４内に挿入される。処置具５４は、処置具挿入口５８を介して挿入部４４内を通過して処置用開口５１から被検体２０の体内に突出する。図２に示す例では、処置具５４として、カニューレ５４Ａが処置用開口５１から突出している。カニューレ５４Ａは、処置具５４の一例に過ぎず、処置具５４の他の例としては、カテーテル、ガイドワイヤ、パピロトミーナイフ、又はスネア等が挙げられる。処置具５４は、本開示の技術に係る「医療器具」の一例である。

　起立機構５２は、処置用開口５１から突出した処置具５４の突出方向を変化させる。起立機構５２は、ガイド５２Ａを備えており、ガイド５２Ａが処置具５４の突出方向に対して起き上がることで、処置具５４の突出方向がガイド５２Ａに沿って変化する。これにより、処置具５４を腸壁に向かって突出させることが容易となる。図２に示す例では、起立機構５２によって、処置具５４の突出方向が、先端部４６の進行方向に対して直交する方向に変化している。起立機構５２は、医師１４によって操作部４２を介して操作される。これにより、処置具５４の突出方向の変化の度合いが調整される。

　十二指腸鏡本体１８は、ユニバーサルコード６０を介して制御装置２２及び光源装置２４に接続されている。制御装置２２には、受付装置６２が接続されている。また、制御装置２２には、画像処理装置２５が接続されている。また、画像処理装置２５には、表示装置１３が接続されている。すなわち、制御装置２２は、画像処理装置２５を介して表示装置１３に接続されている。

　なお、ここでは、制御装置２２で行われる機能を拡張させるための外付け装置という位置付けで画像処理装置２５を例示しているため、制御装置２２と表示装置１３とが画像処理装置２５を介して間接的に接続されている形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、表示装置１３は、制御装置２２に直接接続されていてもよい。この場合、例えば、画像処理装置２５の機能が制御装置２２に搭載されているか、或いは、画像処理装置２５によって実行される処理（例えば、後述する医療支援処理）と同じ処理をサーバ（図示省略）に対して実行させ、サーバによる処理結果を受信して使用する機能が制御装置２２に搭載されていればよい。

　受付装置６２は、ユーザ（例えば、医師１４）からの指示を受け付け、受け付けた指示を電気信号として制御装置２２に出力する。受付装置６２の一例として、キーボード、マウス、タッチパネル、フットスイッチ、及びマイクロフォン等が挙げられる。

　制御装置２２は、光源装置２４を制御したり、カメラ４８との間で各種信号の授受を行ったり、画像処理装置２５との間で各種信号の授受を行ったりする。

　光源装置２４は、制御装置２２の制御下で発光し、光を照明装置５０に供給する。照明装置５０には、ライトガイドが内蔵されており、光源装置２４から供給された光はライトガイドを経由して照明窓５０Ａから照射される。制御装置２２は、カメラ４８に対して撮像を行わせ、カメラ４８から撮像画像４０（図１参照）を取得して既定の出力先（例えば、画像処理装置２５）に出力する。

　画像処理装置２５は、制御装置２２から入力された撮像画像４０に対して各種の画像処理を行う。画像処理装置２５は、各種の画像処理を施した撮像画像４０を既定の出力先（例えば、表示装置１３）へ出力する。

　なお、ここでは、制御装置２２から出力された撮像画像４０が、画像処理装置２５を介して、表示装置１３へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。制御装置２２と表示装置１３とが接続されており、画像処理装置２５で画像処理が施された撮像画像４０が、制御装置２２を介して表示装置１３に表示される態様であってもよい。

　一例として図３に示すように、制御装置２２は、コンピュータ６４、バス６６、及び外部Ｉ／Ｆ６８を備えている。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えている。プロセッサ７０、ＲＡＭ７２、ＮＶＭ７４、及び外部Ｉ／Ｆ６８は、バス６６に接続されている。

　例えば、プロセッサ７０は、ＣＰＵ及びＧＰＵを有しており、制御装置２２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。

　ＲＡＭ７２は、一時的に情報が格納されるメモリであり、プロセッサ７０によってワークメモリとして用いられる。ＮＶＭ７４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７４の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。

　外部Ｉ／Ｆ６８は、制御装置２２の外部に存在する１つ以上の装置（以下、「第１外部装置」とも称する）とプロセッサ７０との間の各種情報の授受を司る。外部Ｉ／Ｆ６８の一例としては、ＵＳＢインタフェースが挙げられる。

　外部Ｉ／Ｆ６８には、第１外部装置の１つとしてカメラ４８が接続されており、外部Ｉ／Ｆ６８は、カメラ４８とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ６８を介してカメラ４８を制御する。また、プロセッサ７０は、カメラ４８によって被検体２０の体内が撮像されることで得られた撮像画像４０（図１参照）を外部Ｉ／Ｆ６８を介して取得する。

　外部Ｉ／Ｆ６８には、第１外部装置の１つとして測距センサ４９が接続されており、外部Ｉ／Ｆ６８は、測距センサ４９とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、測距センサ４９を制御し、かつ、測距センサ４９によって行われた測距の結果（例えば、測距センサ４９によって計測された距離又は３次元情報）を取得する。

　外部Ｉ／Ｆ６８には、第１外部装置の１つとして光源装置２４が接続されており、外部Ｉ／Ｆ６８は、光源装置２４とプロセッサ７０との間の各種情報の授受を司る。光源装置２４は、プロセッサ７０の制御下で、照明装置５０に光を供給する。照明装置５０は、光源装置２４から供給された光を照射する。

　外部Ｉ／Ｆ６８には、第１外部装置の１つとして受付装置６２が接続されており、プロセッサ７０は、受付装置６２によって受け付けられた指示を、外部Ｉ／Ｆ６８を介して取得し、取得した指示に応じた処理を実行する。

　画像処理装置２５は、コンピュータ７６及び外部Ｉ／Ｆ７８を備えている。コンピュータ７６は、プロセッサ８０、ＲＡＭ８２、及びＮＶＭ８４を備えている。プロセッサ８０、ＲＡＭ８２、ＮＶＭ８４、及び外部Ｉ／Ｆ７８は、バス８６に接続されている。ここで、画像処理装置２５は、本開示の技術に係る「医療支援装置」の一例であり、コンピュータ７６は、本開示の技術に係る「コンピュータ」の一例であり、プロセッサ８０は、本開示の技術に係る「プロセッサ」の一例である。

　なお、コンピュータ７６のハードウェア構成（すなわち、プロセッサ８０、ＲＡＭ８２、及びＮＶＭ８４）は、コンピュータ６４のハードウェア構成と基本的に同じなので、ここでは、コンピュータ７６のハードウェア構成に関する説明は省略する。

　外部Ｉ／Ｆ７８は、画像処理装置２５の外部に存在する１つ以上の装置（以下、「第２外部装置」とも称する）とプロセッサ８０との間の各種情報の授受を司る。外部Ｉ／Ｆ７８の一例としては、ＵＳＢインタフェースが挙げられる。

　外部Ｉ／Ｆ７８には、第２外部装置の１つとして制御装置２２が接続されている。図３に示す例では、外部Ｉ／Ｆ７８に、制御装置２２の外部Ｉ／Ｆ６８が接続されている。外部Ｉ／Ｆ７８は、画像処理装置２５のプロセッサ８０と制御装置２２のプロセッサ７０との間の各種情報の授受を司る。例えば、プロセッサ８０は、制御装置２２のプロセッサ７０から外部Ｉ／Ｆ６８及び７８を介して撮像画像４０（図１参照）を取得し、取得した撮像画像４０に対して各種の画像処理を行う。

　外部Ｉ／Ｆ７８には、第２外部装置の１つとして表示装置１３が接続されている。プロセッサ８０は、外部Ｉ／Ｆ７８を介して表示装置１３を制御することにより、表示装置１３に対して各種情報（例えば、各種の画像処理が行われた撮像画像４０等）を表示させる。

　ところで、十二指腸鏡１２を用いた十二指腸に対する処置の１つとして、ＥＲＣＰ（内視鏡的逆行性胆管膵管造影）検査と呼ばれる処置が知られている。一例として図４に示すように、ＥＲＣＰ検査においては、例えば、先ず、十二指腸鏡１２が、食道、及び胃を介して、十二指腸８８まで挿入される。この場合、十二指腸鏡１２の挿入状態は、Ｘ線撮像によって得られたＸ線画像を用いて確認されてもよい。そして、十二指腸鏡１２の先端部４６が、十二指腸８８の腸壁に存在する十二指腸乳頭９０（以下、単に「乳頭９０」とも称する）の付近へ到達する。

　ＥＲＣＰ検査では、例えば、十二指腸８８側から乳頭９０に処置具５４の一種であるカニューレ５４Ａを挿入する。ここで、乳頭９０は、十二指腸８８の腸壁から***した部位である。乳頭９０の先端部である乳頭***９０Ａには、内臓（例えば、胆嚢及び膵臓）に通じる１つ以上の管９２の端部、すなわち、管９２に通じる開口９０Ａ１が存在している。換言すると、管９２は、乳頭***９０Ａに存在する開口９０Ａ１に通じている。

　１つ以上の管９２の一例としては、胆管９２Ａ及び膵管９２Ｂが挙げられる。開口９０Ａ１は、胆管９２Ａ及び膵管９２Ｂのそれぞれに対して個別に存在している場合もあれば、胆管９２Ａ及び膵管９２Ｂに対して共通に存在している場合もある。胆管９２Ａは、本開示の技術に係る「胆管」の一例であり、膵管９２Ｂは、本開示の技術に係る「膵管」の一例である。以下では、説明の便宜上、胆管９２Ａと膵管９２Ｂとを区別して説明する必要がない場合、「管９２」と称する。

　ＥＲＣＰ検査では、開口９０Ａ１を介して造影剤を管９２に注入した状態でＸ線撮像が行われる。ここで、医師１４は、管９２にカニューレ５４Ａを挿入する場合、管９２の走行方向９４を正確に把握する必要がある。特に、開口９０Ａ１付近の走行方向９４は、開口９０Ａ１に対するカニューレ５４Ａの挿入方向とほぼ一致するので、医師１４に対して、開口９０Ａ１付近の走行方向９４を視覚的に把握させることは非常に重要である。

　管９２の走行方向９４の一例としては、胆管９２Ａの走行方向９４Ａと膵管９２Ｂの走行方向９４Ｂとが挙げられる。胆管９２Ａに対してカニューレ５４Ａを挿入する場合は、医師１４に対して走行方向９４Ａを視覚的に把握させることが有効であり、膵管９２Ｂに対してカニューレ５４Ａを挿入する場合は、医師１４に対して走行方向９４Ｂを視覚的に把握させることが有効である。ここでは、カニューレ５４Ａが開口９０Ａ１に挿入される例を挙げているが、処置具５４としてカテーテル又はガイドワイヤが管９２に挿入される場合であっても、処置具５４としてパピロトミーナイフを開口９０Ａ１に接触させる場合であっても、医師１４に対して走行方向９４を視覚的に把握させることは非常に有効である。

　そこで、このような事情に鑑み、本実施形態では、一例として図５に示すように、画像処理装置２５のプロセッサ８０によって医療支援処理が行われる。

　ＮＶＭ８４には、医療支援プログラム９６が格納されている。医療支援プログラム９６は、本開示の技術に係る「プログラム」の一例である。プロセッサ８０は、ＮＶＭ８４から医療支援プログラム９６を読み出し、読み出した医療支援プログラム９６をＲＡＭ８２上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ８０がＲＡＭ８２上で実行する医療支援プログラム９６に従って、第１取得部８０Ａ、第２取得部８０Ｂ、第３取得部８０Ｃ、調整部８０Ｄ、合成部８０Ｅ、及び制御部８０Ｆとして動作することによって実現される。

　ＮＶＭ８４には、３Ｄ構築モデル９８、乳頭検出モデル１００、種類予測モデル１０２、及び支援情報テーブル１０４が格納されている。詳しくは後述するが、３Ｄ構築モデル９８は、第１取得部８０Ａによって用いられ、乳頭検出モデル１００は、調整部８０Ｄによって用いられ、種類予測モデル１０２及び支援情報テーブル１０４は、制御部８０Ｆによって用いられる。

　一例として図６に示すように、第１取得部８０Ａは、時系列画像群１０６に基づいて第１十二指腸画像１０８を取得する。第１十二指腸画像１０８の取得は、例えば、３Ｄ構築モデル９８によって第１十二指腸画像１０８が生成されることによって実現される。

　第１十二指腸画像１０８の生成を実現するために、先ず、第１取得部８０Ａは、カメラ４８によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された撮像画像４０をカメラ４８から１フレーム単位で取得する。１フレーム単位は、本開示の技術に係る「指定されたフレーム数単位」の一例である。なお、ここでは、１フレーム単位を例示しているが、これは、あくまでも一例に過ぎず、２フレーム以上の指定されたフレーム数単位であってもよい。

　第１取得部８０Ａは、時系列画像群１０６を保持する。時系列画像群１０６は、観察対象２１が写っている時系列に沿った複数フレームの撮像画像４０である。時系列画像群１０６には、例えば、一定フレーム数（例えば、数十～数百フレームの範囲内で事前に定められたフレーム数）の撮像画像４０が含まれている。また、一定フレーム数の撮像画像４０のうちの１フレーム以上の撮像画像４０には、乳頭９０が写っている。すなわち、１フレーム以上の撮像画像４０には、乳頭９０を示す乳頭画像１１０が含まれている。

　第１取得部８０Ａは、カメラ４８から撮像画像４０を取得する毎に、ＦＩＦＯ方式で時系列画像群１０６を更新する。

　ここでは、第１取得部８０Ａによって時系列画像群１０６が保持されて更新される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、時系列画像群１０６は、ＲＡＭ８２等のように、プロセッサ８０に接続されているメモリに保持されて更新されるようにしてもよい。

　３Ｄ構築モデル９８は、ニューラルネットワークを用いた生成モデルであり、時系列画像群１０６に基づいて、３次元画像である第１十二指腸画像１０８を生成する。３Ｄ構築モデル９８は、時系列画像群１０６に相当する複数の画像を教師データとして用いた機械学習をニューラルネットワーク（例えば、リカレントニューラルネットワーク）に対して行うことで得られた学習済みモデルである。３Ｄ構築モデル９８の一例としては、ＲＮＮ－ＳＬＡＭが挙げられる。なお、ＲＮＮ－ＳＬＡＭは、あくまでも一例に過ぎず、３Ｄ構築モデル９８は、ＶＡＥ又はＧＡＮ等のオートエンコーダであってもよく、第１十二指腸画像１０８を生成可能な学習済みの生成ネットワークであればよい。

　第１取得部８０Ａは、時系列画像群１０６を３Ｄ構築モデル９８に入力する。これに応じて、３Ｄ構築モデル９８は、時系列画像群１０６に基づいて第１十二指腸画像１０８を生成して出力する。第１取得部８０Ａは、３Ｄ構築モデル９８から出力された第１十二指腸画像１０８を取得する。

　第１十二指腸画像１０８には、第１乳頭領域１０８Ａが含まれている。第１乳頭領域１０８Ａは、十二指腸８８に含まれる乳頭９０を３次元で特定可能な情報である。図６に示す例では、第１乳頭領域１０８Ａの一例として、乳頭９０が３次元画像として表現された画像領域が示されている。第１十二指腸画像１０８は、第１取得部８０Ａによって１フレーム単位で撮像画像４０が取得されて時系列画像群１０６が更新される毎に生成される。

　本実施形態において、乳頭９０は、本開示の技術に係る「基準部位」及び「十二指腸乳頭」の一例である。第１乳頭領域１０８Ａは、本開示の技術に係る「第１基準部位情報」及び「第１画像領域」の一例である。

　一例として図７に示すように、ＮＶＭ８４には、ボリュームデータ１１２が格納されている。ボリュームデータ１１２は、モダリティによって被検体２０が撮像されることで得られた複数の２次元スライス画像１１４が積み重ねられてボクセルＶに分割されることで得られた画像である。モダリティの一例としては、ＣＴ装置が挙げられる。ＣＴ装置は、一例に過ぎず、モダリティの他の例としては、ＭＲＩ装置又は超音波診断装置等が挙げられる。３次元画像を規定している全てのボクセルＶの各々の位置は３次元座標で特定される。

　第２取得部８０Ｂは、ボリュームデータ１１２から、観察対象部位に関する情報を取得する。図７に示す例では、観察対象部位に関する情報として、観察対象部位を示す３次元画像である観察対象部位画像１１６が示されている。すなわち、第２取得部８０Ｂは、ボリュームデータ１１２から、観察対象部位に関する情報として観察対象部位画像１１６を取得する。

　観察対象部位は、乳頭９０を含む十二指腸８８と管９２である（図４参照）。観察対象部位（すなわち、第２取得部８０Ｂによってボリュームデータ１１２から取得される観察対象部位画像１１６）は、例えば、受付装置６２によって受け付けられた指示に従って選択される。

　第２取得部８０Ｂによってボリュームデータ１１２から取得された観察対象部位画像１１６には、第２十二指腸画像１１８及び管画像１２０が含まれている。第２十二指腸画像１１８は、十二指腸８８を示す３次元画像である。第２十二指腸画像１１８には、第２乳頭領域１１８Ａが含まれている。第２乳頭領域１１８Ａは、乳頭９０が３次元画像として表現された画像領域である。管画像１２０は、管９２が３次元画像として表現された画像領域である。管画像１２０は、胆管画像１２０Ａと膵管画像１２０Ｂとを含む。胆管画像１２０Ａは、胆管９２Ａが３次元画像として表現された画像領域であり、膵管画像１２０Ｂは、膵管９２Ｂが３次元画像として表現された画像領域である。本実施形態において、第２乳頭領域１１８Ａは、本開示の技術に係る「第２基準部位情報」及び「第２画像領域」の一例である。

　一例として図８に示すように、調整部８０Ｄは、撮像画像４０に対して、乳頭検出モデル１００を用いた物体検出処理を行うことにより、撮像画像４０内の乳頭画像１１０を検出する。乳頭検出モデル１００は、ＡＩ方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第１教師データを用いた機械学習が行われることによって最適化されている。第１教師データは、第１例題データと第１正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）である。第１例題データは、撮像画像４０に相当する画像である。第１正解データは、第１例題データに対する正解データ（すなわち、アノテーション）である。第１正解データの一例としては、乳頭９０が写っている画像領域を特定可能なアノテーションが挙げられる。

　調整部８０Ｄは、カメラ４８から撮像画像４０を取得し、取得した撮像画像４０を乳頭検出モデル１００に入力する。これにより、乳頭検出モデル１００は、入力された撮像画像４０から乳頭画像１１０を検出し、検出した乳頭画像１１０を特定可能な特定情報１２２（例えば、撮像画像４０内での乳頭画像１１０の位置を示す複数の座標等）を出力する。調整部８０Ｄは、乳頭検出モデル１００から出力された特定情報１２２を取得する。

　調整部８０Ｄは、乳頭検出モデル１００に入力された撮像画像４０を得るために行われたカメラ４８による撮像と同期して測距センサ４９によって計測された距離１２５を取得する。距離１２５は、例えば、基準位置（ここでは、一例として、乳頭検出モデル１００に入力された撮像画像４０を得るために撮像が行われたカメラ４８の撮像面の位置）から、十二指腸８８内の乳頭９０を含む腸壁８８Ａまでの距離を指す。図８に示す例では、基準位置の一例として、幽門が挙げられている。測距センサ４９は、基準位置から腸壁８８Ａ内の複数の箇所までの複数の距離１２５を計測する。

　調整部８０Ｄは、特定情報１２２により特定される乳頭画像１１０により示される乳頭９０までの距離である第１基準距離１２６を算出する。例えば、特定情報１２２により特定される乳頭画像１１０により示される乳頭９０内に複数の計測箇所が存在する場合、複数の計測箇所についての複数の距離１２５の平均値が第１基準距離１２６として算出される。なお、ここでは、乳頭９０内の複数の計測箇所についての複数の距離１２５の平均値を例示したが、乳頭９０内の複数の計測箇所についての複数の距離１２５の中央値、最頻値、又は最大値等の統計値であってもよい。

　調整部８０Ｄは、第２取得部８０Ｂによって取得された観察対象部位画像１１６に含まれる第２十二指腸画像１１８を用いて、基準位置（ここでは、一例として、幽門）から、第２乳頭領域１１８Ａにより示される乳頭９０までの距離を第２基準距離１２８として計測する。

　一例として図９に示すように、調整部８０Ｄは、第１基準距離１２６と第２基準距離１２８との相違度１２９を算出する。相違度１２９の一例としては、第１基準距離１２６に対する第２基準距離１２８の割合、又は、第１基準距離１２６と第２基準距離１２８との差分の絶対値等が挙げられる。

　調整部８０Ｄは、第２取得部８０Ｂによって取得された観察対象部位画像１１６のスケールを、相違度１２９を参照して調整する。例えば、調整部８０Ｄは、相違度１２９そのものを倍率として用いることで、観察対象部位画像１１６のスケールを調整したり、相違度１２９に基づいて算出された倍率で、観察対象部位画像１１６のスケールを調整したりする。相違度１２９に基づいて算出された倍率の一例としては、相違度１２９を独立変数とし、倍率を従属変数とした演算式から導出された倍率が挙げられる。

　一例として図１０に示すように、合成部８０Ｅは、第１取得部８０Ａによって取得された第１十二指腸画像１０８と、調整部８０Ｄによってスケールが調整された観察対象部位画像１１６とに基づいて合成画像１２３を生成する。合成画像１２３を生成するために、先ず、合成部８０Ｅは、第１取得部８０Ａによって取得された第１十二指腸画像１０８に含まれる第１乳頭領域１０８Ａと調整部８０Ｄによってスケールが調整された観察対象部位画像１１６に含まれる第２乳頭領域１１８Ａとを整合させることにより管画像１２０を調整する。例えば、合成部８０Ｅは、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとを基準にして観察対象部位画像１１６と第１十二指腸画像１０８との位置合わせを行う。すなわち、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとを一致させるように観察対象部位画像１１６を第１十二指腸画像１０８に対して位置合わせする。ここでは、第１十二指腸画像１０８に対して観察対象部位画像１１６の位置合わせが行われるが、これは、例えば、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとの間で共通する複数の特徴点を位置合わせすることにより実現される。

　このようにして観察対象部位画像１１６が第１十二指腸画像１０８に対して位置合わせされた状態で、合成部８０Ｅは、管画像１２０を第１十二指腸画像１０８に合成することにより合成画像１２３を生成する。すなわち、合成部８０Ｅは、第１乳頭領域１０８Ａ内の第２乳頭領域１１８Ａと対応する位置（すなわち、第２乳頭領域１１８Ａに繋がっている管画像１２０の位置に対応する位置）に管画像１２０を付与することで、管画像１２０を第１十二指腸画像１０８に合成する。

　一例として図１１に示すように、第３取得部８０Ｃは、合成部８０Ｅによって生成された合成画像１２３に基づいて、十二指腸８８（図４参照）に通じる管９２の走行方向９４に関する情報として３次元走行方向画像１２４を取得する。３次元走行方向画像１２４は、管９２の走行方向９４が３次元画像で表現された画像である。３次元走行方向画像１２４は、本開示の技術に係る「方向情報」及び「３次元方向画像」の一例である。

　第３取得部８０Ｃは、第１十二指腸画像１０８に合成された管画像１２０に対して細線化処理を行うことにより、管画像１２０より示される管９２の走行方向９４を示す３次元走行方向画像１２４（例えば、走行方向９４を示す曲線）を生成する。管９２の走行方向９４は、管画像１２０の軸心方向とも言える。

　３次元走行方向画像１２４は、３次元胆管方向画像１２４Ａと３次元膵管方向画像１２４Ｂとを含む。３次元胆管方向画像１２４Ａは、胆管９２Ａの走行方向９４Ａ（図４参照）を示しており、胆管画像１２０Ａが細線化されることによって得られる。３次元膵管方向画像１２４Ｂは、膵管９２Ｂの走行方向９４Ｂ（図４参照）を示しており、膵管画像１２０Ｂが細線化されることによって得られる。

　第３取得部８０Ｃは、乳頭画像１１０を含む撮像画像４０をカメラ４８から取得する。第３取得部８０Ｃは、カメラ４８から取得した撮像画像４０に対応する３次元領域１０８Ｂを合成画像１２３内から特定する。第３取得部８０Ｃによってカメラ４８から取得された撮像画像４０は、３次元領域１０８Ｂが平面に投影された２次元画像に対応している。第３取得部８０Ｃは、合成画像１２３内において３次元領域１０８Ｂと正対する位置に投影面として撮像画像４０を設定する。第３取得部８０Ｃは、合成画像１２３内に設定した撮像画像４０に３次元走行方向画像１２４をレンダリングすることにより合成撮像画像１３０を生成する。

　合成撮像画像１３０は、撮像画像４０と２次元走行方向画像１３２とを含む画像（例えば、撮像画像４０に２次元走行方向画像１３２が重畳された画像）である。２次元走行方向画像１３２は、３次元走行方向画像１２４が撮像画像４０にレンダリングされた画像（すなわち、３次元走行方向画像１２４が撮像画像４０に投影された画像）である。２次元走行方向画像１３２は、２次元胆管方向画像１３２Ａと２次元膵管方向画像１３２Ｂとを含む。２次元胆管方向画像１３２Ａは、３次元胆管方向画像１２４Ａが撮像画像４０にレンダリングされた画像である。２次元膵管方向画像１３２Ｂは、３次元膵管方向画像１２４Ｂが撮像画像４０にレンダリングされた画像である。

　一例として図１２に示すように、第３取得部８０Ｃは、合成撮像画像１３０内の２次元走行方向画像１３２を簡易化した簡易走行方向画像１３６を取得する。簡易走行方向画像１３６は、本開示の技術に係る「走行方向画像」の一例である。

　簡易走行方向画像１３６を生成するために、先ず、第３取得部８０Ｃは、２次元走行方向画像１３２から接線１３４を抽出する。接線１３４は、２次元走行方向画像１３２のうちの乳頭画像１１０側の端（すなわち、開口９０Ａ１（図４参照）が写っている位置）に対する接線である。接線１３４は、胆管接線１３４Ａと膵管接線１３４Ｂとに類別される。胆管接線１３４Ａは、２次元胆管方向画像１３２Ａのうちの乳頭画像１１０側の端（すなわち、胆管９２Ａ（図４参照）に通じる開口９０Ａ１が写っている位置）に対する接線である。膵管接線１３４Ｂは、２次元膵管方向画像１３２Ｂのうちの乳頭画像１１０側の端（すなわち、膵管９２Ｂ（図４参照）に通じる開口９０Ａ１が写っている位置）に対する接線である。

　第３取得部８０Ｃは、２次元走行方向画像１３２に基づいて、管９２の走行方向９４を合成撮像画像１３０に合わせて画像化することにより簡易走行方向画像１３６を生成する。例えば、第３取得部８０Ｃは、接線１３４を画像化することにより簡易走行方向画像１３６を生成する。簡易走行方向画像１３６は、接線１３４のうちの乳頭画像１１０側の端（すなわち、管９２（図４参照）に通じる開口９０Ａ１が写っている位置）を始点として接線１３４上に沿って形成された矢印を示す画像である。簡易走行方向画像１３６により示される矢印が指し示す方向は、開口９０Ａ１の位置での管９２の走行方向９４に相当する。

　本実施形態において、簡易走行方向画像１３６により示される矢印の始点は、本開示の技術に係る「基点」の一例であり、管９２の走行方向９４は、本開示の技術に係る「第１方向」及び「挿入方向に相当する方向」の一例であり、簡易走行方向画像１３６は、本開示の技術に係る「第１方向を示す画像」の一例である。

　簡易走行方向画像１３６は、簡易胆管方向画像１３６Ａと簡易膵管方向画像１３６Ｂとを含む。簡易胆管方向画像１３６Ａは、胆管接線１３４Ａのうちの乳頭画像１１０側の端（すなわち、胆管９２Ａ（図４参照）に通じる開口９０Ａ１が写っている位置）を始点として胆管接線１３４Ａ上に沿って形成された矢印を示す画像である。簡易胆管方向画像１３６Ａにより示される矢印が指し示す方向は、開口９０Ａ１の位置での胆管９２Ａの走行方向９４Ａ（図４参照）に相当しており、胆管９２Ａに対するカニューレ５４Ａ等の挿入方向として医師１４によって参照される。胆管９２Ａに対するカニューレ５４Ａ等の挿入方向は、本開示の技術に係る「管に挿入する医療器具の挿入方向」の一例である。

　簡易膵管方向画像１３６Ｂは、膵管接線１３４Ｂのうちの乳頭画像１１０側の端（すなわち、膵管９２Ｂ（図４参照）に通じる開口９０Ａ１が写っている位置）を始点として膵管接線１３４Ｂ上に沿って形成された矢印を示す画像である。簡易膵管方向画像１３６Ｂにより示される矢印が指し示す方向は、開口９０Ａ１の位置での膵管９２Ｂの走行方向９４Ｂ（図４参照）に相当しており、膵管９２Ｂに対するカニューレ５４Ａ等の挿入方向として医師１４によって参照される。膵管９２Ｂに対するカニューレ５４Ａ等の挿入方向は、本開示の技術に係る「管に挿入する医療器具の挿入方向」の一例である。

　簡易胆管方向画像１３６Ａ及び簡易膵管方向画像１３６Ｂは、互いに区別可能な態様で生成される。例えば、第３取得部８０Ｃは、簡易胆管方向画像１３６Ａ及び簡易膵管方向画像１３６Ｂの互いの色、濃度、輝度、及び／又は模様等を変えることにより簡易胆管方向画像１３６Ａと簡易膵管方向画像１３６Ｂとを区別可能な態様で生成する。

　一例として図１３に示すように、制御部８０Ｆは、第３取得部８０Ｃによって取得された合成撮像画像１３０に対して種類予測モデル１０２を用いた画像認識処理を行うことで、合成撮像画像１３０に写っている乳頭９０の種類を予測する。そして、制御部８０Ｆは、予測した種類を示す種類情報１３８（例えば、乳頭９０の種類の名称）を取得する。

　種類予測モデル１０２は、ニューラルネットワークに対して第２教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。第２教師データは、第２例題データと第２正解データとが対応付けられた複数のデータ（すなわち、複数フレーム分のデータ）である。第２例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像に対して簡易走行方向画像１３６に相当する画像が付与されることによって得られた画像（例えば、簡易走行方向画像１３６が付与された合成撮像画像１３０に相当する画像）である。第２正解データは、第２例題データに対応する正解データ（すなわち、アノテーション）である。第２正解データの一例としては、乳頭９０の種類を示すアノテーションが挙げられる。

　なお、ここでは、第２教師データに含まれる例題データとして、ＥＲＣＰ検査の対象となり得る部位が撮像されることによって得られた画像に対して簡易走行方向画像１３６に相当する画像が付与されることによって得られた画像を挙げたが、これは、あくまでも一例に過ぎない。例えば、第２教師データに含まれる例題データは、ＥＲＣＰ検査の対象となり得る部位が撮像されることによって得られた画像そのもの（すなわち、簡易走行方向画像１３６が付与されていない撮像画像４０に相当する画像）であってもよい。

　また、ここでは、１つの種類予測モデル１０２のみが制御部８０Ｆによって用いられる形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の種類予測モデル１０２から選択された種類予測モデル１０２が制御部８０Ｆによって用いられるようにしてもよい。この場合、各種類予測モデル１０２は、ＥＲＣＰ検査の手技（例えば、十二指腸鏡１２の乳頭９０に対する位置等）別に特化した機械学習が行われることによって作成され、現在行われているＥＲＣＰ検査の手技に対応する種類予測モデル１０２が選択されて制御部８０Ｆによって用いられるようにすればよい。

　制御部８０Ｆは、第３取得部８０Ｃによって取得された合成撮像画像１３０を種類予測モデル１０２に入力する。これにより、種類予測モデル１０２は、入力された合成撮像画像１３０に写っている乳頭９０の種類を予測し、予測した種類を示す種類情報１３８を出力する。制御部８０Ｆは、種類予測モデル１０２から出力された種類情報１３８を取得する。

　制御部８０Ｆは、種類予測モデル１０２から取得した種類情報１３８に対応する支援情報１４０を支援情報テーブル１０４から導出する。支援情報テーブル１０４は、互いに対応関係にある乳頭種類情報１０４Ａと合流形式情報１０４Ｂとシェーマ１０４Ｃとが対応付けられたテーブルである。乳頭種類情報１０４Ａは、乳頭９０の種類を特定可能な情報（例えば、乳頭９０の種類の名称）である。合流形式情報１０４Ｂは、乳頭９０の種類毎に定められており、胆管と膵管とが合流する合流形式を特定可能な情報である。シェーマ１０４Ｃは、胆管と膵管とが合流する態様を模式的に示した模式図である。

　支援情報１４０は、制御部８０Ｆによって種類予測モデル１０２から取得された種類情報１３８に対応する乳頭種類情報１０４Ａと合流形式情報１０４Ｂとシェーマ１０４Ｃとを含む情報である。

　一例として図１４に示すように、制御部８０Ｆは、第３取得部８０Ｃによって取得された合成撮像画像１３０を画面３６Ａに表示し、支援情報１４０を画面３６Ｂに表示し、かつ、合成部８０Ｅによって生成された合成画像１２３を画面３６Ｃに表示する。画面３６Ａに表示される合成撮像画像１３０は、リアルタイムで更新される。この場合、例えば、第１取得部８０Ａによって撮像画像４０が取得されて時系列画像群１０６が更新される毎に合成画像１２３が更新され、合成画像１２３が更新される毎に、２次元走行方向画像１３２を含む合成撮像画像１３０が更新され、これに伴って、簡易走行方向画像１３６も更新される。

　画面３６Ａに表示される合成撮像画像１３０の更新は、第１取得部８０Ａによって撮像画像４０が１フレーム単位で取得される毎に行われるようにしてもよいし、第１取得部８０Ａによって撮像画像４０が複数フレーム単位で取得される毎に行われるようにしてもよい。

　次に、十二指腸鏡システム１０の本開示の技術に係る部分についての作用を図１５Ａ及び図１５Ｂを参照しながら説明する。

　図１５Ａ及び図１５Ｂには、プロセッサ８０によって行われる医療支援処理の流れの一例が示されている。図１５Ａ及び図１５Ｂに示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。

　図１５Ａに示す医療支援処理では、先ず、ステップＳＴ１０で、第１取得部８０Ａは、カメラ４８によって観察対象２１に対する１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、カメラ４８によって観察対象２１に対する１フレーム分の撮像が行われていない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、カメラ４８によって観察対象２１に対する１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１２へ移行する。

　ステップＳＴ１２で、第１取得部８０Ａは、カメラ４８によって観察対象２１が撮像されることによって得られた１フレーム分の撮像画像４０を取得する（図６参照）。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。

　ステップＳＴ１４で、第１取得部８０Ａは、一定フレーム数の撮像画像４０を保持しているか否かを判定する。ステップＳＴ１４において、一定フレーム数の撮像画像４０を保持していない場合は、判定が否定されて、医療支援処理はステップＳＴ１０へ移行する。ステップＳＴ１４において、一定フレーム数の撮像画像４０を保持している場合は、判定が肯定されて、医療支援処理はステップＳＴ１６へ移行する。

　ステップＳＴ１６で、第１取得部８０Ａは、ステップＳＴ１２で取得した撮像画像４０をＦＩＦＯ方式で時系列画像群１０６に加えることにより時系列画像群１０６を更新する（図６参照）。ステップＳＴ１６の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。

　ステップＳＴ１８で、第１取得部８０Ａは、３Ｄ構築モデル９８に対して時系列画像群１０６を入力することにより第１十二指腸画像１０８を取得する。ステップＳＴ１８の処理が実行された後、医療支援処理はステップＳＴ２０へ移行する。

　ステップＳＴ２０で、第２取得部８０Ｂは、ボリュームデータ１１２から観察対象部位画像１１６を取得する（図７参照）。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ２２へ移行する。

　ステップＳＴ２２で、調整部８０Ｄは、第１十二指腸画像１０８を取得するために用いられた撮像画像４０と測距センサ４９による測距結果とに基づいて第１基準距離１２６（図８参照）を取得し、かつ、第２取得部によって取得された観察対象部位画像１１６に含まれる第２十二指腸画像１１８を用いて第２基準距離１２８（図８参照）を取得する。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。

　ステップＳＴ２４で、調整部８０Ｄは、ステップＳＴ２２で取得した第１基準距離１２６と第２基準距離１２８との相違度１２９に基づいて、ステップＳＴ２０で取得された観察対象部位画像１１６のスケールを調整する（図９参照）。ステップＳＴ２４の処理が実行された後、医療支援処理はステップＳＴ２６へ移行する。

　ステップＳＴ２６で、合成部８０Ｅは、ステップＳＴ１８で取得された第１十二指腸画像１０８に含まれる第１乳頭領域１０８ＡとステップＳＴ２４でスケールが調整された観察対象部位画像１１６に含まれる第２乳頭領域１１８Ａとを整合させることにより管画像１２０を調整する。合成部８０Ｅは、管画像１２０を第１十二指腸画像１０８に合成することにより合成画像１２３を生成する（図１０参照）。ステップＳＴ２６の処理が実行された後、医療支援処理はステップＳＴ２８へ移行する。

　ステップＳＴ２８で、管画像１２０に対して細線化処理を行うことにより、管画像１２０より示される管９２の走行方向９４を示す３次元走行方向画像１２４を生成する（図１１参照）。ステップＳＴ２８の処理が実行された後、医療支援処理は、図１５Ｂに示すステップＳＴ３０へ移行する。

　図１５Ｂに示すステップＳＴ３０で、第３取得部８０Ｃは、乳頭画像１１０を含む撮像画像４０をカメラ４８から取得する（図１１参照）。そして、第３取得部８０Ｃは、カメラ４８から取得した撮像画像４０に対応する３次元領域１０８Ｂを合成画像１２３内から特定する（図１１参照）。ステップＳＴ３０の処理が実行された後、医療支援処理はステップＳＴ３２へ移行する。

　ステップＳＴ３２で、第３取得部８０Ｃは、合成画像１２３内において３次元領域１０８Ｂと正対する位置に投影面として撮像画像４０を設定する。そして、第３取得部８０Ｃは、合成画像１２３内に設定した撮像画像４０に３次元走行方向画像１２４をレンダリン

グすることにより合成撮像画像１３０を生成する（図１１参照）。ステップＳＴ３２の処理が実行された後、医療支援処理はステップＳＴ３４へ移行する。

　ステップＳＴ３４で、第３取得部８０Ｃは、合成撮像画像１３０に含まれる２次元走行方向画像１３２から接線１３４を抽出する（図１２参照）。ステップＳＴ３４の処理が実行された後、医療支援処理はステップＳＴ３６へ移行する。

　ステップＳＴ３６で、第３取得部８０Ｃは、接線１３４に基づいて、接線１３４上に沿った簡易走行方向画像１３６を生成する（図１２参照）。ステップＳＴ３６の処理が実行された後、医療支援処理はステップＳＴ３８へ移行する。

　ステップＳＴ３８で、制御部８０Ｆは、合成撮像画像１３０に基づいて支援情報１４０を導出する（図１３参照）。ステップＳＴ３８の処理が実行された後、医療支援処理はステップＳＴ４０へ移行する。

　ステップＳＴ４０で、制御部８０Ｆは、ステップＳＴ３２で生成された合成撮像画像１３０を画面３６Ａに表示し、ステップＳＴ３８で導出した支援情報１４０を画面３６Ｂに表示し、かつ、ステップＳＴ２６で生成された合成画像１２３を画面３６Ｃに表示する。ステップＳＴ４０の処理が実行された後、医療支援処理はステップＳＴ４２へ移行する。

　ステップＳＴ４２で、制御部８０Ｆは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、十二指腸鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６２によって受け付けられたという条件）が挙げられる。

　ステップＳＴ４２において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、図１５Ａに示すステップＳＴ１０へ移行する。ステップＳＴ４２において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。

　以上説明したように、十二指腸鏡システム１０では、撮像画像４０に基づいて第１十二指腸画像１０８が生成され、第１十二指腸画像１０８から第１乳頭領域１０８Ａが取得される。また、ボリュームデータ１１２から第２乳頭領域１１８Ａと３次元走行方向画像１２４とが取得される。また、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとを整合させることにより調整された３次元走行方向画像１２４が撮像画像４０に合わせて画像化される。これにより、簡易走行方向画像１３６が生成される（図１２参照）。そして、合成撮像画像１３０が画面３６Ａに表示される。合成撮像画像１３０内には簡易走行方向画像１３６が表示される（図１４）。簡易走行方向画像１３６により示される矢印が指し示す方向は、開口９０Ａ１の位置での管９２の走行方向９４に相当する。従って、合成撮像画像１３０を観察している医師１４に対して、十二指腸８８に通じる管９２の走行方向９４を、合成撮像画像１３０を通して視覚的に認識させることができる。

　また、十二指腸鏡システム１０では、管９２に、胆管９２Ａと膵管９２Ｂとが含まれている。従って、合成撮像画像１３０を観察している医師１４に対して、十二指腸８８に通じる胆管９２Ａの走行方向９４Ａと十二指腸８８に通じる膵管９２Ｂの走行方向９４Ｂとを、合成撮像画像１３０を通して視覚的に認識させることができる。

　また、十二指腸鏡システム１０では、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとの位置合わせが行われることにより３次元走行方向画像１２４の位置が調整される。第１乳頭領域１０８Ａ及び第２乳頭領域１１８Ａは共に乳頭９０を示す画像領域である。従って、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとの位置合わせを容易に行うことができ、この結果、３次元走行方向画像１２４の位置を容易に調整することができる。

　また、十二指腸鏡システム１０では、第１乳頭領域１０８Ａと第２乳頭領域１１８Ａとの位置合わせが行われることにより調整された３次元走行方向画像１２４に基づいて簡易走行方向画像１３６が生成される。第１乳頭領域１０８Ａは、撮像画像４０に基づいて生成された第１十二指腸画像１０８から得られる画像領域であり、第２乳頭領域１１８Ａは、ボリュームデータ１１２から取得された観察対象部位画像１１６から得られる画像領域である。従って、簡易走行方向画像１３６の生成に用いられる第１乳頭領域１０８Ａ及び第２乳頭領域１１８Ａを容易に得ることができる。この結果、簡易走行方向画像１３６を容易に生成することができる。

　また、十二指腸鏡システム１０では、１フレーム単位で撮像画像４０が更新される毎に、更新された撮像画像４０に基づいて第１十二指腸画像１０８が生成される。また、第１十二指腸画像１０８が生成される毎に、３次元走行方向画像１２４に基づいて簡易走行方向画像１３６が生成される。そして、更新された撮像画像４０に基づく合成撮像画像１３０が画面３６Ａに表示され、簡易走行方向画像１３６が生成される毎に、生成された簡易走行方向画像１３６が合成撮像画像１３０内に表示される（図１４参照）。従って、撮像画像４０が更新される毎に、撮像画像４０に基づいて生成された合成撮像画像１３０を観察している医師１４に対して、十二指腸８８に通じる管９２の走行方向９４を、合成撮像画像１３０を通して視覚的に認識させることができる。

　また、十二指腸鏡システム１０では、合成撮像画像１３０内に表示される簡易走行方向画像１３６がリアルタイムで更新される。従って、合成撮像画像１３０を観察している医師１４に対して、画面３６Ａに表示されている合成撮像画像１３０に応じた現状の管９２の走行方向９４を、合成撮像画像１３０を通して視覚的に認識させることができる。

　また、十二指腸鏡システム１０では、合成画像１２３内において３次元領域１０８Ｂと正対する位置に投影面として設定された撮像画像４０に３次元走行方向画像１２４がレンダリングされた画像が簡易走行方向画像１３６として用いられる。従って、撮像画像４０内に管９２の走行方向９４を２次元画像として表示することができる。

　また、十二指腸鏡システム１０では、画面３６Ａに、接線１３４上に沿って簡易走行方向画像１３６が表示される。接線１３４は、乳頭９０の開口９０Ａ１での管９２に対する接線であり、乳頭９０を示す乳頭画像１１０に関連付けられているため、簡易走行方向画像１３６は、乳頭画像１１０に関連付けられた状態で画面３６Ａに表示される。従って、合成撮像画像１３０を観察している医師１４に対して、管９２の走行方向９４と乳頭９０との関連性（例えば、位置関係）を視覚的に認識させることができる。

　また、十二指腸鏡システム１０では、乳頭９０の開口９０Ａ１を始点とした管９２に沿った走行方向９４を示す画像が簡易走行方向画像１３６として合成撮像画像１３０内に表示される。従って、合成撮像画像１３０を観察している医師１４に対して、乳頭９０の開口９０Ａ１を始点とした管９２に沿った走行方向９４を視覚的に認識させることができる。また、乳頭９０の開口９０Ａ１を始点とした管９２に沿った走行方向９４は、カニューレ５４Ａ等の挿入方向に相当する方向であるので、合成撮像画像１３０を観察している医師１４による管９２に対するカニューレ５４Ａ等のスムーズな挿入を支援することができる。

　また、十二指腸鏡システム１０では、測距センサ４９によって計測された距離１２５とボリュームデータ１１２から取得された観察対象部位画像１１６とに基づいて３次元走行方向画像１２４のスケールが調整される。従って、高精度な３次元走行方向画像１２４に基づいて２次元走行方向画像１３２を生成することができる。

　なお、上記実施形態では、本開示の技術に係る「走行方向画像」の一例として例示した簡易走行方向画像１３６が画面３６Ａに表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、簡易走行方向画像１３６に代えて、又は、簡易走行方向画像１３６と共に、２次元走行方向画像１３２の全体又は一部（例えば、開口９０Ａ１から管９２の奥側へと続く一部の画像）が画面３６Ａに表示されるようにしてもよい。

　上記実施形態では、合成部８０Ｅが、観察対象部位画像１１６と第１十二指腸画像１０８とを比較して位置合わせを行うことにより管画像１２０の位置を調整する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成部８０Ｅは、観察対象部位画像１１６の画素を規定している３次元座標と第１十二指腸画像１０８の画素を規定している３次元座標とを用いて、観察対象部位画像１１６と第１十二指腸画像１０８との位置合わせを行うことにより管画像１２０の位置を調整するようにしてもよい。この場合、例えば、基準位置（例えば、幽門の位置）から乳頭９０の複数の特徴点までの距離（すなわち、測距センサ４９によって計測された複数の距離１２５）と、第１十二指腸画像１０８内での複数の特徴点の３次元座標と、観察対象部位画像１１６内での複数の特徴点の３次元座標とに基づいて観察対象部位画像１１６と第１十二指腸画像１０８との位置合わせが行われるようにすればよい。なお、第１十二指腸画像１０８内での複数の特徴点の３次元座標は、本開示の技術に係る「第１基準部位情報」の一例であり、観察対象部位画像１１６内での複数の特徴点の３次元座標は、本開示の技術に係る「第２基準部位情報」の一例である。

　上記実施形態では、合成部８０Ｅが、乳頭９０を示す第１乳頭領域１０８Ａ及び第２乳頭領域１１８Ａを利用して第１十二指腸画像１０８と観察対象部位画像１１６との位置合わせを行う形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成部８０Ｅは、十二指腸８８に含まれる医用マーカ（例えば、止血用クリップ等）を３次元で特定可能な情報（例えば、３次元座標又は３次元画像）及び／又は十二指腸８８の襞を３次元で特定可能な情報（例えば、３次元座標又は３次元画像）を利用して第１十二指腸画像１０８と観察対象部位画像１１６との位置合わせを行うようにしてもよい。この場合も、上記実施形態と同様の効果が得られる。

　また、ここでは、本開示の技術に係る「第１基準部位情報」の一例として、乳頭９０を３次元で特定可能な情報、医用マーカを３次元で特定可能な情報、及び／又は襞を３次元で特定可能な情報を例示したが、画面３６Ａに表示されている撮像画像４０を観察している医師２０から与えられた指示（例えば、受付装置６２によって受け付けられた指示）に従って、位置合わせに用いられる基準部位を３次元で特定可能な情報が決められるようにしてもよい。また、処置具５４が開口９０Ａ１に到達した場合に医師２０から与えられた指示（例えば、受付装置６２によって受け付けられた指示）に従って処理具５４の先端位置（すなわち、開口０１Ａ１と接触している位置）がＡＩ方式又は非ＡＩ方式の画像認識処理が行われることによって検出され、検出された先端位置を３次元で特定可能な情報が、乳頭９０を３次元で特定可能な情報として用いられてもよい。

　上記実施形態では、本開示の技術に係る「内視鏡スコープから腸壁までの距離」の一例として第２基準距離１２８を挙げ、第２基準距離１２８として幽門から乳頭９０までの距離が第２十二指腸画像１１８を用いて計測される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、十二指腸内視鏡本体１８の内部（例えば、挿入部４４及び先端部４６）に長手方向に沿って設けられた光ファイバセンサを用いて得られる位置情報（内すなわち、カメラ４８の現在位置を示す情報）及び姿勢情報（すなわち、カメラ４８の姿勢を示す情報）を利用して、第２基準距離１２８が計測されるようにしてもよい。また、このような光ファイバ方式に限らず、従来既知の電磁ナビゲーション方式を利用して第２基準距離１２８が計測されるようにしてもよい。

　上記実施形態では、本開示の技術に係る「内視鏡スコープから腸壁までの距離」の一例として第２基準距離１２８を挙げ、第２基準距離１２８の一例として幽門から乳頭９０までの距離を挙げたが、これは、あくまでも一例に過ぎない。カメラ４８から腸壁８８Ａまでの距離の他の例としては、先端部１６の先端から腸壁８８Ａまでの距離、又は、カメラ４８の撮像位置（すなわち、カメラ４８の現在位置）から腸壁８８Ａまでの距離が挙げられる。

　上記実施形態では、時系列画像群１０６に基づいて第１十二指腸画像１０８が生成される形態例（図６参照）を挙げたが、これは、あくまでも一例に過ぎない。例えば、図１６に示すように、第１取得部８０Ａが、複数の距離画像１４６に基づいて第１十二指腸画像１０８を生成するようにしてもよい。この場合、例えば、第１取得部８０Ａは、距離画像生成モデル１４４を用いて複数の距離画像１４６を取得する。複数の距離画像１４６の取得は、例えば、３Ｄ構築モデル９８によって複数の距離画像１４６が生成されることによって実現される。

　距離画像生成モデル１４４は、ニューラルネットワークを用いた生成モデルであり、時系列画像群１０６と第１基準距離１２６とに基づいて、複数の距離画像１４６を生成する。距離画像生成モデル１４４は、時系列画像群１０６に相当する複数の画像と第１基準距離１２６に相当する距離とを教師データとして用いた機械学習をニューラルネットワークに対して行うことで得られた学習済みモデルである。距離画像生成モデル１４４の一例としては、ＶＡＥ又はＧＡＮ等のオートエンコーダが挙げられる。

　第１取得部８０Ａは、時系列画像群１０６と第１基準距離１２６とを距離画像生成モデル１４４に入力する。これにより、距離画像生成モデル１４４は、時系列画像群１０６と第１基準距離１２６とに基づいて複数の距離画像１４６を生成して出力する。第１取得部８０Ａは、距離画像生成モデル１４４から出力された複数の距離画像１４６を取得する。

　第１取得部８０Ａは、３Ｄ構築モデル１４８を用いて第１十二指腸画像１０８を生成する。３Ｄ構築モデル１４８は、ニューラルネットワークを用いた生成モデルであり、複数の距離画像１４６に基づいて第１十二指腸画像１０８を生成する。３Ｄ構築モデル１４８は、図６に示す３Ｄ構築モデル９８に比べ、教師データとして、時系列画像群１０６に相当する複数の画像に代えて、複数の距離画像１４６に相当する複数の距離画像を用いた機械学習をニューラルネットワークに対して行うことで得られた学習済みモデルであるという点が異なる。

　第１取得部８０Ａは、複数の距離画像１４６を３Ｄ構築モデル１４８に入力する。これに応じて、３Ｄ構築モデル１４８は、複数の距離画像１４６に基づいて第１十二指腸画像１０８を生成して出力する。第１取得部８０Ａは、３Ｄ構築モデル１４８から出力された第１十二指腸画像１０８を取得する。十二指腸鏡システム１０では、第１取得部８０Ａによって取得された第１十二指腸画像１０８が上記実施形態と同様の要領で用いられ、これにより、上記実施形態と同様の効果が得られる。

　上記実施形態では、第３取得部８０Ｃは、簡易走行方向画像１３６を、接線１３４のうちの乳頭画像１１０側の端（すなわち、管９２（図４参照）に通じる開口９０Ａ１が写っている位置）を始点として接線１３４上に沿って形成する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図１７に示すように、第３取得部８０Ｃは、接線１３４の延長線上に沿って簡易走行方向画像１３６を形成するようにしてもよい。

　図１７に示す例では、簡易走行方向画像１３６により示される矢印の先端が接線１３４のうちの乳頭画像１１０側の端（すなわち、管９２（図４参照）に通じる開口９０Ａ１が写っている位置）に位置するように簡易走行方向画像１３６が配置されている。具体的には、簡易胆管方向画像１３６Ａにより示される矢印が胆管接線１３４Ａのうちの乳頭画像１１０側の端（すなわち、胆管９２Ａ（図４参照）に通じる開口９０Ａ１が写っている位置）を指し示すように胆管接線１３４Ａの延長線に沿って簡易胆管方向画像１３６Ａが形成されている。また、簡易膵管方向画像１３６Ｂにより示される矢印が膵管接線１３４Ｂのうちの乳頭画像１１０側の端（すなわち、膵管９２Ｂ（図４参照）に通じる開口９０Ａ１が写っている位置）を指し示すように膵管接線１３４Ｂの延長線に沿って簡易膵管方向画像１３６Ｂが形成されている。

　このように、簡易胆管方向画像１３６Ａにより示される矢印が指し示す位置（すなわち、簡易胆管方向画像１３６Ａにより示される矢印の先端の位置）は胆管９２Ａの開口９０Ａ１が存在する位置に相当する位置であるので、合成撮像画像１３０を観察している医師１４に対して、胆管９２Ａの開口９０Ａ１の位置、及び、胆管９２Ａの開口９０Ａ１に対するカニューレ５４等の挿入方向を視覚的に把握させることができる。また、膵管胆管方向画像１３６Ｂにより示される矢印が指し示す位置（すなわち、簡易膵管方向画像１３６Ｂにより示される矢印の先端の位置）は膵管９２Ｂの開口９０Ａ１が存在する位置に相当する位置であるので、合成撮像画像１３０を観察している医師１４に対して、膵管９２Ｂの開口９０Ａ１の位置、及び、膵管９２Ｂの開口９０Ａ１に対するカニューレ５４等の挿入方向を視覚的に把握させることができる。

　上記実施形態では、合成画像１２３、合成撮像画像１３０、及び支援情報１４０が表示装置１３に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１８に示すように、画像処理装置２５又は制御装置２２がネットワーク１５０を介してサーバ１５２（例えば、電子カルテを管理するサーバ）に接続されている場合、画像処理装置２５又は制御装置２２からサーバ１５２に合成画像１２３、合成撮像画像１３０、及び／又は支援情報１４０が出力され、サーバ１５２に保存されるようにしてもよい。また、電子カルテに、合成画像１２３、合成撮像画像１３０、及び／又は支援情報１４０が保存されてもよい。

　また、ネットワーク１５０にプリンタ１５４が接続されている場合、画像処理装置２５又は制御装置２２からプリンタ１５４に合成画像１２３、合成撮像画像１３０、及び／又は支援情報１４０が出力され、プリンタ１５４によって合成画像１２３、合成撮像画像１３０、及び支援情報１４０が記録媒体（例えば、用紙等）に印刷されるようにしてもよい。

　上記実施形態では、ＡＩ方式の処理（すなわち、乳頭検出モデル１００を用いた処理）が実行されることによって乳頭画像１１０が検出される形態例を挙げて説明したが、本開示の技術はこれに限定されず、非ＡＩ方式の処理（例えば、テンプレートマッチング等）が実行されることによって乳頭画像１１０が検出されるようにしてもよい。なお、図１３に示す種類予測モデル１０２を用いた処理についても同様のことが言える。

　上記実施形態では、十二指腸鏡１２に含まれるコンピュータ７６のプロセッサ７０によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、医療支援処理を行う装置は、十二指腸鏡１２の外部に設けられていてもよい。十二指腸鏡１２の外部に設けられる装置としては、例えば、十二指腸鏡１２と通信可能に接続されている少なくとも１台のサーバ及び／又は少なくとも１台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。

　上記実施形態では、ＮＶＭ７４に医療支援プログラム９６が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援プログラム９６がＳＳＤ又はＵＳＢメモリなどのコンピュータ読取可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体は、据置型の非一時的格納媒体であってもよいし、可搬型の非一時的格納媒体であってもよい。非一時的格納媒体に格納されている医療支援プログラム９６は、十二指腸鏡１２のコンピュータ７６にインストールされる。プロセッサ７０は、医療支援プログラム９６に従って医療支援処理を実行する。

　また、ネットワークを介して十二指腸鏡１２に接続される他のコンピュータ又はサーバ等の記憶装置に医療支援プログラム９６を記憶させておき、十二指腸鏡１２の要求に応じて医療支援プログラム９６がダウンロードされ、コンピュータ７６にインストールされるようにしてもよい。

　なお、十二指腸鏡１２に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ７４に医療支援プログラム９６の全てを記憶させておく必要はなく、医療支援プログラム９６の一部を記憶させておいてもよい。

　医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。

　医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換

えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　プロセッサを備え、
　前記プロセッサは、
　内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得し、
　ボリュームデータから、前記基準部位に関する第２基準部位情報と、前記十二指腸に通じる管の走行方向に関する方向情報とを取得し、
　前記第１基準部位情報と前記第２基準部位情報とを整合させることにより調整された前記方向情報に基づいて、前記走行方向を前記撮像画像に合わせて画像化した走行方向画像を生成し、
　前記撮像画像を画面に表示し、
　前記撮像画像内に前記走行方向画像を表示する
　医療支援装置。
　前記第１基準部位情報は、前記基準部位が３次元画像として表現された第１画像領域であり、
　前記第２基準部位情報は、前記基準部位が３次元画像として表現された第２画像領域であり、
　前記プロセッサは、前記第１画像領域と前記第２画像領域とを位置合わせすることにより調整された前記方向情報に基づいて前記走行方向画像を生成する
　請求項１に記載の医療支援装置。
　前記プロセッサは、
　前記撮像画像に基づいて、前記十二指腸が３次元画像として表現された十二指腸画像を生成し、
　前記十二指腸画像から前記第１基準部位情報を取得する
　請求項１に記載の医療支援装置。
　前記十二指腸画像は、複数の距離画像に基づいて生成された３次元画像である
　請求項３に記載の医療支援装置。
　指定されたフレーム数単位で前記撮像画像が更新される毎に、
　前記プロセッサは、
　更新された前記撮像画像に基づいて前記十二指腸画像を生成し、
　前記十二指腸画像を生成する毎に前記方向情報に基づいて前記走行方向画像を生成し、
　更新された前記撮像画像を前記画面に表示し、
　前記走行方向画像を生成する毎に、生成した前記走行方向画像を前記撮像画像内に表示する
　請求項４に記載の医療支援装置。
　前記方向情報は、前記走行方向が３次元画像で表現された３次元方向画像あり、
　前記走行方向画像は、前記３次元方向画像が前記撮像画像に投影されることによって得られた２次元画像に基づく画像である
　請求項１に記載の医療支援装置。
　前記撮像画像は、十二指腸乳頭を示す乳頭画像を含み、
　前記走行方向画像は、前記乳頭画像に関連付けられた状態で表示される
　請求項１に記載の医療支援装置。
　前記管は、前記十二指腸乳頭内の開口に通じており、
　前記走行方向画像は、前記開口を基点として前記管に沿った第１方向を示す画像である
　請求項７に記載の医療支援装置。
　前記第１方向は、前記管に挿入する医療器具の挿入方向に相当する方向である
　請求項８に記載の医療支援装置。
　前記基準部位は、十二指腸乳頭、医用マーカ、及び／又は襞である
　請求項１に記載の医療支援装置。
　前記プロセッサは、前記内視鏡スコープから前記腸壁までの距離と前記ボリュームデータとに基づいて前記方向情報のスケールを調整する
　請求項１に記載の医療支援装置。
　前記管は、胆管及び／又は膵管である
　請求項１に記載の医療支援装置。
　前記撮像画像内に表示される前記走行方向画像はリアルタイムで更新される
　請求項１に記載の医療支援装置。
　請求項１から請求項１３の何れか一項に記載の医療支援装置と、
　前記内視鏡スコープと、を備える
　内視鏡。
　内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得すること、
　ボリュームデータから、前記基準部位に関する第２基準部位情報と、前記十二指腸に通じる管の走行方向に関する方向情報とを取得すること、
　前記第１基準部位情報と前記第２基準部位情報とを整合させることにより調整された前記方向情報に基づいて、前記走行方向を前記撮像画像に合わせて画像化した走行方向画像を生成すること、
　前記撮像画像を画面に表示すること、及び、
　前記撮像画像内に前記走行方向画像を表示することを含む
　医療支援方法。
　コンピュータに、
　内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を３次元で特定可能な第１基準部位情報を取得すること、
　ボリュームデータから、前記基準部位に関する第２基準部位情報と、前記十二指腸に通じる管の走行方向に関する方向情報とを取得すること、
　前記第１基準部位情報と前記第２基準部位情報とを整合させることにより調整された前記方向情報に基づいて、前記走行方向を前記撮像画像に合わせて画像化した走行方向画像を生成すること、
　前記撮像画像を画面に表示すること、及び、
　前記撮像画像内に前記走行方向画像を表示することを含む処理を実行させるためのプログラム。