JP7321704B2 - 医用情報処理装置、医用情報処理システムおよびｘ線診断装置 - Google Patents

Description

本発明の実施形態は、医用情報処理装置、医用情報処理システムおよびＸ線診断装置に関する。

従来、医師が手技中に参照したい画像がある場合、技師または当該医師は、複数の画像の中から所望の画像を選択し、選択された画像を参照モニタに表示させる必要がある。しかし、技師にとって、医師の所望する画像を表示させるには、医師の指示内容を正確に理解する必要があり、負担が大きい場合がある。また、医師が自ら所望する画像を表示させることは、手技の妨げになるため、医師の負担が大きい場合がある。

特開２０１０－８８７０９号公報

本発明が解決使用とする課題は、手技中における参照画像を表示させる負担を低減することである。

実施形態に係る医用情報処理装置は、取得部と、時系列データ生成部と、処理部とを備える。取得部は、手技中において、第１のデータと、第１のデータとは異なる第２のデータとを取得する。時系列データ生成部は、第１のデータと第２のデータとに基づいて、時系列データを生成する。処理部は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成する。

図１は、第１の実施形態に係るＸ線診断装置の構成例を示すブロック図である。 図２は、第１の実施形態に係る特徴量算出機能において用いられる学習済みモデルの概要の一例を示す図である。 図３は、第１の実施形態に係る参照画像特定処理の手順の一例を示すフローチャートである。 図４は、第１の実施形態に係る手技中のデータを取得するタイミングの一例を説明するための図である。 図５は、第１の実施形態に係る時系列データ生成機能の動作を模式的に示す図である。 図６は、図４に関する時系列データの一例を示す図である。 図７は、第１の実施形態に係る学習済みモデルの動作を模式的に示す図である。 図８は、第１の実施形態に係る手技中のデータを取得するタイミングの他の一例を説明するための図である。 図９は、図８に関する時系列データの一例を示す図である。 図１０は、第２の実施形態に係る医用情報処理システムの構成例を示すブロック図である。 図１１は、第３の実施形態に係る医用情報処理システムの構成例を示すブロック図である。 図１２は、各実施形態に係る処理回路の他の構成例を示すブロック図である。 図１３は、図１２の処理回路を用いた場合の参照画像特定処理の手順の一例を示すフローチャートである。 図１４は、各実施形態に係る処理回路の他の構成例を示すブロック図である。 図１５は、図１４の処理回路を用いた場合の学習データ生成処理の手順の一例を示すフローチャートである。

以下、図面を参照しながら、医用情報処理装置、医用情報処理システムおよびＸ線診断装置の実施形態について詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態に係るＸ線診断装置の構成例を示すブロック図である。図１のＸ線診断装置１は、Ｘ線高電圧装置２と、Ｘ線管３、Ｘ線検出器４、サポートフレーム５および天板６を有する寝台と、マイクロフォン７と、入力インタフェース８と、ライブ用ディスプレイ９ａと、参照用ディスプレイ９ｂと、制御回路１０と、通信インタフェース１１と、記憶回路１２と、処理回路１３とを備える。Ｘ線診断装置１は、例えば、血管造影検査などで用いられる循環器用Ｘ線透視診断装置に相当する。また、Ｘ線診断装置１は、例えば、消化管造影検査などで用いられるＸ線透視診断装置などでもよい。

なお、本実施形態の応用例として、Ｘ線診断装置１における各部および各回路などを医用情報処理装置で実現する場合には、医用情報処理装置１００は、図１における破線の枠内の構成を有する。即ち、医用情報処理装置１００は、マイクロフォン７と、通信インタフェース１１と、記憶回路１２と、処理回路１３とを備える。尚、医用情報処理装置１００として利用する場合、処理回路１３は、後述する画像発生機能１３ａを含まなくてもよい。

Ｘ線高電圧装置２は、Ｘ線管３に印加する管電流と、Ｘ線管３に印加する管電圧とを発生する。Ｘ線高電圧装置２は、制御回路１０による制御のもとで、Ｘ線撮影およびＸ線透視にそれぞれ適した管電流をＸ線管３に印加し、Ｘ線撮影およびＸ線透視にそれぞれ適した管電圧をＸ線管３に印加する。Ｘ線高電圧装置２は、例えば、インバータ制御方式の高電圧装置に相当する。

Ｘ線管３は、Ｘ線高電圧装置２から印加された管電流と、Ｘ線高電圧装置２から印加された管電圧とに基づいてＸ線を発生する。Ｘ線管３によって発生されたＸ線は、被検体Ｐに照射される。Ｘ線管３は、例えば、回転陽極型のＸ線管に相当する。また、Ｘ線管３は、例えば、固定陽極型のＸ線管などでもよい。

Ｘ線検出器４は、Ｘ線管３から発生され、被検体Ｐを透過したＸ線を検出する。Ｘ線検出器４は、例えば、Ｘ線を検出することができるフラットパネルディテクタ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ：ＦＰＤ）を備える。ＦＰＤは、複数の半導体検出素子を有する。半導体検出素子には、間接変換形と直接変換形とがある。間接変換形とは、入射Ｘ線を蛍光体などのシンチレータによって光に変換し、変換された光を電気信号に変換する形式である。直接変換形とは、入射Ｘ線を直接的に電気信号に変換する形式である。尚、Ｘ線検出器４として、イメージインテンシファイア（Ｉｍａｇｅｉｎｔｅｎｓｉｆｉｅｒ）が用いられてもよい。

Ｘ線の入射に伴って複数の半導体検出素子で発生された電気信号は、図示しないアナログディジタル変換器（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ：Ａ／Ｄ変換器）に出力される。Ａ／Ｄ変換器は、電気信号をディジタルデータに変換する。Ａ／Ｄ変換器は、ディジタルデータを、処理回路１３に出力する。

サポートフレーム５は、互いに対向配置されたＸ線管３およびＸ線検出器４を移動可能に支持する。サポートフレーム５は、撮像対象およびＸ線管３の位置関係を設定することができる。具体的には、サポートフレーム５は、Ｃアームに相当する。尚、サポートフレーム５として、Ｃアームの代わりに、Ωアームが用いられてもよい。また、サポートフレーム５は、ＣアームおよびΩアームによる構造に限定されず、例えば、Ｘ線管３およびＸ線検出器４をそれぞれ独立に支持する２つのアーム（例えばロボットアームなど）による構造を有していてもよい。また、サポートフレーム５は、オーバーチューブ方式（ｏｖｅｒ ｔｕｂｅ ｓｙｓｔｅｍ）、およびアンダーチューブ方式（ｕｎｄｅｒ ｔｕｂｅ ｓｙｓｔｅｍ）などに限定されず任意の形態に適用可能である。

図示しない寝台は、被検体Ｐが載置される天板６（臥位テーブルとも言う）を有する。天板６には、被検体Ｐが載置される。

図示しない駆動装置は、例えば、制御回路１０の制御によって、サポートフレーム５と寝台とをそれぞれ駆動する。Ｘ線透視時およびＸ線撮影時においては、Ｘ線管３とＸ線検出器４との間に、天板６に載置された被検体Ｐが配置される。また、駆動装置は、例えば、制御回路１０の制御によって、Ｘ線管３およびサポートフレーム５を駆動する。また、駆動装置は、制御回路１０の制御のもとで、Ｘ線管３に対してＸ線検出器４を回転させてもよい。

マイクロフォン７は、例えば接話マイクである。マイクロフォン７は、医師の音声を取得する。マイクロフォン７は、時系列に沿って取得された音声に従って、音声情報データを生成する。マイクロフォン７は、音声情報データを、処理回路１３に出力する。尚、マイクロフォン７は、指向性を有するマイクロフォンであってもよい。

入力インタフェース８は、操作者からの各種指示や情報入力を受け付ける。入力インタフェース８は、制御回路１０に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路１０へと出力する。入力インタフェース８は、例えば、マウス等のポインティングデバイス、あるいはキーボード等の入力デバイスに相当する。

なお、入力インタフェース８は、マウス、キーボードなどの物理的な操作部品に限定されない。例えば、Ｘ線診断装置１とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような場合も入力インタフェース８の例に含まれる。入力インタフェース８は、操作部の一例である。

ライブ用ディスプレイ９ａおよび参照用ディスプレイ９ｂは、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。尚、一つのディスプレイの画面において、ライブ用ディスプレイ９ａに表示される画像および参照用ディスプレイ９ｂに表示される画像を表示させてもよい。

ライブ用ディスプレイ９ａは、例えば、手技中におけるＸ線画像および透視画像などをリアルタイムに表示する。透視画像には、例えば、パルス透視によって撮影されたパルス透視画像、ＤＡ（Ｄｉｇｉｔａｌ Ａｎｇｉｏｇｒａｐｈｙ）撮影によって取得されたＤＡ画像、およびＤＳＡ（Ｄｉｇｉｔａｌ Ｓｕｂｔｒａｃｔｉｏｎ Ａｎｇｉｏｇｒａｐｈｙ）撮影によって取得されたＤＳＡ画像などがある。尚、パルス透視画像は非造影画像と称してもよく、ＤＡ画像およびＤＳＡ画像は造影画像と称してもよい。また、ライブ用ディスプレイ９ａに表示される画像はライブ画像と称してもよい。

参照用ディスプレイ９ｂは、例えば、収集済みの画像と加工画像とのうちの少なくとも一つを表示する。収集済みの画像とは、例えば、以前に撮影された同一患者のＸ線画像、或いは透視画像である。加工画像とは、Ｘ線画像に対して、長さの指標を示す直線を表示させるＬｅｎｇｔｈ、複数のフレームの画像を合成させるＰｅａｋ Ｔｒａｃｅ、およびアノテーションなどの加工を施した画像である。換言すれば、参照用ディスプレイ９ｂは、ライブ画像以外の画像を表示する。尚、収集済みの画像および加工画像は参照画像と称してもよい。

制御回路１０は、Ｘ線診断装置１における各部、各回路、および駆動装置などを制御するプロセッサである。制御回路１０は、入力インタフェース８から送られてくる操作者の指示などの情報を、図示しないメモリに一時的に記憶する。制御回路１０は、メモリに記憶された操作者の指示などに従って、Ｘ線撮影およびＸ線透視を実行するために、Ｘ線高電圧装置２、Ｘ線検出器４および駆動装置などを制御する。制御回路１０は、例えば、サポートフレーム５の角度および線源受像面間距離（Ｓｏｕｒｃｅ Ｉｍａｇｅ Ｄｉｓｔａｎｃｅ：ＳＩＤ）を制御する。ＳＩＤとは、Ｘ線管３の管球焦点とＸ線検出器４との距離である。

通信インタフェース１１は、例えば、ネットワークインタフェースカード（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ：ＮＩＣ）が使用可能となっている。通信インタフェース１１は、例えば、ネットワークおよび図示しない外部記憶装置との通信に関する回路である。Ｘ線診断装置１によって得られたＸ線画像などは、通信インタフェース１１およびネットワークを介して他の装置に転送可能である。以降の説明では、Ｘ線診断装置１とネットワークに接続された他の装置との通信などにおいて、通信インタフェース１１が介在する旨の記載を省略する。

記憶回路１２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの電気的情報を記録するメモリと、当該メモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成される。メモリとしては、ＨＤＤに限らず、ＳＳＤ（ソリッドステートドライブ）、磁気ディスク（フロッピー（登録商標）ディスクなど）、光ディスク（ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）など）、および半導体メモリなどが適宜、使用可能となっている。

記憶回路１２は、後述する画像発生機能１３ａによって発生された種々のＸ線画像、Ｘ線診断装置１のシステム制御プログラム、制御回路１０において実行される診断プロトコル、入力インタフェース８から送られてくる操作者の指示、Ｘ線撮影に関する撮影条件およびＸ線透視に関する透視条件などの各種データ群、エラー情報、およびネットワークを介して送られてくる種々のデータなどを記憶する。

記憶回路１２は、学習済みモデル１２ａおよび参照画像ＤＢ（Ｄａｔａ Ｂａｓｅ）１２ｂを記憶している。記憶回路１２は、Ｘ線診断装置１の工場出荷時に、学習済みモデル１２ａを予め記憶してもよい。または、記憶回路１２は、Ｘ線診断装置１の工場出荷後に、図示しないサーバ装置などから取得した学習済みモデル１２ａを記憶してもよい。このことは、以下の各実施形態でも同様である。参照画像ＤＢ１２ｂは、参照画像としての複数の医用画像を保存するデータベースである。尚、学習済みモデル１２ａについては後述される。

処理回路１３は、ハードウェア資源として、プロセッサおよびメモリを備える。処理回路１３は、操作者により入力インタフェース８を介して入力された開始指示に応じて、記憶回路１２に記憶されたシステム制御プログラムを読み出す。処理回路１３は、読み出した制御プログラムに従って、Ｘ線画像を発生するための画像処理に係る画像発生機能１３ａを実行する。

また、処理回路１３は、読み出した制御プログラムに従って、参照画像を特定するための処理（参照画像特定処理）に係る各機能を実行する。上記各機能は、例えば、取得機能１３ｂ、変換機能１３ｃ、時系列データ生成機能１３ｄ、特徴量算出機能１３ｅおよび画像特定機能１３ｆなどがある。

処理回路１３は、画像発生機能１３ａにより、Ｘ線検出器４からＡ／Ｄ変換器を介して出力されたディジタルデータに基づいてＸ線画像を発生する。処理回路１３は、発生したＸ線画像を記憶回路１２および外部記憶装置（図示せず）などに出力する。尚、処理回路１３は、リアルタイムに撮影されたＸ線画像（透視画像）を順次ライブ用ディスプレイ９ａへと出力してもよい。

処理回路１３は、取得機能１３ｂにより、手技中のデータを取得する。手技中のデータは、例えば、音声情報データ、機械情報データおよび画像情報データなどである。具体的には、処理回路１３は、マイクロフォン７から音声情報データを取得する。尚、音声情報データ、機械情報データおよび画像情報データは、それぞれデータ形式が異なる。

また、処理回路１３は、制御回路１０から機械情報データを取得してもよい。機械情報データは、例えば、撮像対象およびＸ線管の位置関係に関する情報であり、具体的には、サポートフレーム５の角度の情報およびＳＩＤの情報である。

また、処理回路１３は、各種ディスプレイに表示される表示画像に関する情報を取得してもよい。具体的には、処理回路１３は、ライブ用ディスプレイ９ａに表示されているライブ画像の種類についての画像情報データを取得する。画像情報データは、例えば、ライブ画像に対応付けられるライブ画像の種類（パルス透視画像、ＤＡ画像およびＤＳＡ画像など）を示す情報である。

なお、処理回路１３は、手技中のデータのうちの第１のデータと、第１のデータとはデータ形式の異なる第２のデータとを並行して取得してもよい。具体的には、処理回路１３は、例えば、第１のデータである音声情報データの取得と並行して、第２のデータである機械情報データおよび画像情報データの少なくとも一方を取得してもよい。また、処理回路１３は、並行して取得された複数のデータと、取得された時刻とを対応付けてもよい。

処理回路１３は、変換機能１３ｃにより、取得された各種データを共通のデータ形式に変換する。例えば、処理回路１３は、音声情報データに対して音声認識処理を行うことによって、医師の音声の内容を表すテキスト形式の音声認識結果を生成する。音声認識処理には、例えば、形態素解析などの処理を含む。また、処理回路１３は、例えば、機械情報データおよび画像情報データをそれぞれテキスト形式へと変換する。尚、処理回路１３は、音声認識結果として、例えば名詞など、特定の品詞のみを抽出してもよい。

処理回路１３は、時系列データ生成機能１３ｄにより、共通のデータ形式に変換された、音声情報データ、機械情報データおよび画像情報データから時系列データを生成する。本実施形態における時系列データは、時刻に対応するデータの集合だけでなく、処理される順番が規定されたデータの集合も含まれる。尚、処理される順番のそれぞれは、ステップと呼称してもよい。

処理回路１３は、特徴量算出機能１３ｅにより、生成された時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、当該時系列データを入力することにより、参照画像を特定するための情報を生成する。参照画像を特定するための情報は、例えば、参照画像の特徴量である。参照画像の特徴量は、例えば、参照画像におけるエッジ方向の特徴を数値化した情報、および参照画像における輝度分布の特徴を数値化した情報などである。換言すると、処理回路１３は、生成された時系列データを学習済みモデルへ入力することにより、参照画像の特徴量を算出する。

処理回路１３は、画像特定機能１３ｆにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路１３は、算出された特徴量（参照画像の特徴量）に基づいて、参照画像ＤＢ１２ｂに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。

なお、処理回路１３は、自身のメモリに学習済みモデル１２ａを記憶してもよい。即ち、記憶回路１２にプログラム（学習済みモデル１２ａ）を保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、学習済みモデル１２ａを特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）などの回路に実装し、当該回路を処理回路１３に組み込ませてもよい。また、処理回路１３は、制御回路１０が有する機能を有していてもよい。この場合、制御回路１０は不要となる。

図２は、第１の実施形態に係る特徴量算出機能において用いられる学習済みモデルの概要の一例を示す図である。学習済みモデル１２ａは、多くの学習データから学習したニューラルネットワークの学習済み機械学習モデルである。学習済みモデル１２ａは、例えば、少なくとも一部に畳み込み層を中間層として有する深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）である。

以下、説明を具体的にするために、ＤＮＮとして再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）を例にとり、説明する。ＲＮＮとは、テキスト情報、音声情報および動画情報などの連続的な情報データ（時系列データ）を入出力可能なニューラルネットワークである。また、ＲＮＮは、通常のニューラルネットワークと異なり、帰還経路（ループ）を有する。ここで帰還経路とは、例えば、出力層から中間層へ向かう経路および中間層から中間層へ向かう経路である。本明細書において、帰還経路を伝播するデータは、１ステップ遅れているものとする。即ち、あるステップにおける出力層から出力されたデータおよび当該ステップにおける中間層から出力されたデータは、帰還経路を通ることによって、次のステップの中間層へ再び入力される。ＲＮＮは、この帰還経路の重みｗを記憶する。尚、帰還経路は、上記内容に限定されない。また、学習済みモデル１２ａは、例えばＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）など、時系列データが入力可能な他の機械学習モデルであってもよい。

学習済みモデル１２ａは、手技中の時系列データｘの入力に基づいて、参照画像の特徴量ｙを出力するように機能付けられている。また、学習済みモデル１２ａは、帰還経路の重みｗをさらに利用することができる。

次に、以上のように構成された第１の実施形態に係るＸ線診断装置１の動作について図３のフローチャートを用いて説明する。

図３は、第１の実施形態に係る参照画像特定処理の手順の一例を示すフローチャートである。図３のフローチャートの参照画像特定処理は、Ｘ線診断装置１を用いた手技中に待機状態となっており、例えば、医師の発話が認識されたことを契機として、処理回路１３が参照画像を特定するためのプログラム（参照画像特定プログラム）を実行することにより開始される。尚、以下の説明では、処理回路１３は、画像発生機能１３ａにより、ライブ用ディスプレイ９ａに表示するためのライブ画像を常に発生させているものとする。また、学習済みモデルは、ＲＮＮであるものとする。

（ステップＳＴ１０１）
参照画像特定プログラムが実行されると、処理回路１３は、取得機能１３ｂにより、手技中のデータを取得する。具体的には、処理回路１３は、例えば、マイクロフォン７から音声情報データを取得し、制御回路１０から機械情報データを取得し、ライブ画像の種類についての画像情報データを取得する。以降では、手技中のデータの具体例として図４を用いて説明する。

図４は、第１の実施形態に係る手技中のデータを取得するタイミングの一例を説明するための図である。図４は、音声情報データ、機械情報データおよび画像情報データを横軸の時間方向ｔに沿って示している。例えば、図４では、時刻ｔ０において医師が参照画像の表示に関する発話を開始し、時刻ｔ１において発話を終了する事例が示される。処理回路１３は、時刻ｔ０から時刻ｔ１までの期間において、例えば、医師の発話としての音声情報データを取得する。また、処理回路１３は、医師の発話を取得し終えたタイミング（即ち、時刻ｔ１）と同じタイミングで、例えば、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」および画像情報データ「ＤＳＡ画像」を取得する。尚、発話の終了タイミング（即ち、時刻ｔ１）は、例えば、入力インタフェース８によって指示をすることによって決定されてもよいし、発話の開始時刻から所定時間経過後に自動的に決定されてもよい。または、発話の終了タイミングは、処理回路１３によって特定の単語（例えば、「見せて」）を認識した時点で決定されてもよい。

（ステップＳＴ１０２）
手技中のデータを取得した後、処理回路１３は、変換機能１３ｃにより、取得されたデータされた各種データを共通のデータ形式に変換する。例えば、処理回路１３は、音声情報データに音声認識処理を行うことによって、音声認識結果「左冠動脈、ＬＣＸの造影画像を見せて」を生成する。以降の処理では、音声認識結果における名詞（例えば、「左冠動脈」「ＬＣＸ」および「造影画像」）が用いられるものとする。

（ステップＳＴ１０３）
取得されたデータを変換した後、処理回路１３は、時系列データ生成機能１３ｄにより、変換されたデータに基づいて、時系列データを生成する。

図５において、第１の実施形態に係る時系列データ生成機能の動作が模式的に示される。処理回路１３は、時系列データ生成機能１３ｄにより、音声情報データ２１、機械情報データ２２および画像情報データ２３に基づいて、時系列データ２４を生成する。時系列データ生成機能１３ｄでは、音声情報データ２１、機械情報データ２２および画像情報データ２３を組み合わせることによって、例えば、ＲＮＮへ入力する順番を規定するデータ（以下、順番データと呼ぶ）を有する、テキスト形式の時系列データ２４を生成する。

図６は、図４に関する時系列データの一例を示す図である。図６における矢印は、ＲＮＮへのデータの入力順を示す。時刻ｔ１に関する時系列データは、複数のデータｘ_１、ｘ_２、ｘ_３、ｘ_４およびｘ_５を含む。データｘ_１は、音声情報データにおける「左冠動脈」である。データｘ_２は、音声情報データにおける「ＬＣＸ」である。データｘ_３は、音声情報データにおける「造影画像」である。データｘ_４は、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」である。データｘ_５は、画像情報データ「ＤＳＡ画像」である。

（ステップＳＴ１０４）
時系列データを生成した後、処理回路１３は、特徴量算出機能１３ｅにより、生成された時系列データを、順番データに従って、時系列に沿って逐次的に学習済みモデルへ入力することにより、参照画像の特徴量を算出する。

図７は、第１の実施形態に係る学習済みモデルの動作を模式的に示す図である。図７は、図２の学習済みモデル１２ａを縦軸の時間方向ｔにについてステップ毎に展開して表現している。即ち、学習済みモデル３１から学習済みモデル３５までは、入力されるデータの時刻（ステップ）が異なるものの、全て同一の学習済みモデル１２ａに相当する。

第１のステップにおいて、学習済みモデル３１は、データｘ_１を入力し、データy_１を出力する。

第２のステップにおいて、学習済みモデル３２は、データｘ_２と、帰還経路の重みｗ_１とを入力し、データy_２を出力する。

第３のステップにおいて、学習済みモデル３３は、データｘ_３と、帰還経路の重みｗ_２とを入力し、データy_３を出力する。

第４のステップにおいて、学習済みモデル３４は、データｘ_４と、帰還経路の重みｗ_３とを入力し、データy_４を出力する。

第５のステップにおいて、学習済みモデル３５は、データｘ_５と、帰還経路の重みｗ_ｔ４とを入力し、データy_５を出力する。本実施形態では、時系列データの最後の入力に対して出力されたデータy_５が参照画像の特徴量に相当する。

（ステップＳＴ１０５）
参照画像の特徴量を算出した後、処理回路１３は、画像特定機能１３ｆにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路１３は、算出された特徴量に基づいて、参照画像ＤＢ１２ｂに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。

処理回路１３は、特定した参照画像を参照用ディスプレイ９ｂに表示させ、参照画像特定処理を終了する。

（他の具体例）
上記実施形態の具体例では、手技中における音声情報データを全て取得した後に時系列データを生成していた。しかしながら、時系列データは、一部取得された音声情報データから順次作成されてもよい。例えば、処理回路１３は、変換機能１３ｃにより音声認識結果に含まれる名詞が確定した時点において時系列データを作成する。

図８は、第１の実施形態に係る手技中のデータを取得するタイミングの他の一例を説明するための図である。図８は、音声情報データ、機械情報データおよび画像情報データを横軸の時間方向ｔに沿って示している。例えば、図８では、時刻ｔ１０において医師が参照画像の表示に関する発話を開始し、時刻ｔ１４において発話を終了する事例が示される。処理回路１３は、時刻ｔ１０から医師の発話としての音声情報データの取得を開始する。

時刻ｔ１１において、処理回路１３は、音声認識結果における名詞「左冠動脈」を確定する。また、処理回路１３は、名詞「左冠動脈」が確定したタイミング（即ち、時刻ｔ１１）と同じタイミングで、例えば、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」および画像情報データ「ＤＳＡ画像」を取得する。

時刻ｔ１２において、処理回路１３は、音声認識結果における名詞「ＬＣＸ」を確定する。また、処理回路１３は、名詞「ＬＣＸ」が確定したタイミング（即ち、時刻ｔ１２）と同じタイミングで、例えば、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」および画像情報データ「ＤＳＡ画像」を取得する。

時刻ｔ１３において、処理回路１３は、音声認識結果における名詞「造影画像」を確定する。また、処理回路１３は、名詞「造影画像」が確定したタイミング（即ち、時刻ｔ１３）と同じタイミングで、例えば、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」および画像情報データ「ＤＳＡ画像」を取得する。

図９は、図８に関する時系列データの一例を示す図である。図８における矢印は、ＲＮＮへのデータの入力順を示す。時刻ｔ１１に関する時系列データは、複数のデータｘ_１１、ｘ_１２およびｘ_１３を含む。データｘ_１１は、音声情報データにおける「左冠動脈」である。データｘ_１２は、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」である。データｘ_１３は、画像情報データ「ＤＳＡ画像」である。

時刻ｔ１２に関する時系列データは、複数のデータｘ_１４、ｘ_１５およびｘ_１６を含む。データｘ_１４は、音声情報データにおける「ＬＣＸ」である。データｘ_１５は、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」である。データｘ_１６は、画像情報データ「ＤＳＡ画像」である。

時刻ｔ１３に関する時系列データは、複数のデータｘ_１７、ｘ_１８およびｘ_１９を含む。データｘ_１７は、音声情報データにおける「造影画像」である。データｘ_１８は、機械情報データ「（ＲＡＯ：ａ，ＣＡＵ：ｂ，ＳＩＤ：ｃ）」である。データｘ_１９は、画像情報データ「ＤＳＡ画像」である。

処理回路１３は、例えば、学習済みモデル１２ａに対して、時刻ｔ１１に関する時系列データ、時刻ｔ１２に関する時系列データおよび時刻ｔ１３に関する時系列データを入力することにより、参照画像の特徴量を生成する。

以上説明したように、第１の実施形態に係るＸ線診断装置における医用情報処理装置は、手技中において、第１のデータと、第１のデータとは異なる第２のデータとを取得し、少なくとも第１のデータと第２のデータとに基づいて、時系列データを生成する。そして、医用情報処理装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成することができる。

また、この医用情報処理装置は、参照画像を特定するための情報として画像の特徴量を用い、画像の特徴量に基づいて、複数の医用画像から、参照画像を特定することができる。さらに、この医用情報処理装置は、画像の特徴量に基づいて、複数の医用画像から、当該画像の特徴量に最も近い特徴量を有する参照画像を特定することができる。

また、この医用情報処理装置は、第１のデータを第１のデータ形式に変換し、第２のデータを当該第１のデータ形式に変換することにより、当該第１のデータ形式の時系列データを生成することができる。具体的には、この医用情報処理装置は、第１のデータおよび第２のデータをそれぞれテキスト形式に変換することにより、テキスト形式の時系列データを生成することができる。

また、この医用情報処理装置は、手技中において、第１のデータと第２のデータとを並行して取得することができる。尚、第２のデータは、第１のデータとはデータ形式が異なっていてもよい。

また、この医用情報処理装置は、第１のデータには音声に関する情報を含み、第２のデータには、撮像対照およびＸ線管の位置関係に関する情報と表示画面に関する情報とのうちの少なくとも一つを含めることができる。

また、この医用情報処理装置は、学習済みモデルとして期間経路を有するニューラルネットワークを含むことができる。

従って、この医用情報処理装置は、医師または技師による参照画像を表示させる操作の必要がないため、手技中における参照画像を表示させる負担を低減することができる。

（第２の実施形態）
第１の実施形態に係る医用情報処理装置は、自身が有する参照画像ＤＢにアクセスすることによって、参照画像を特定していた。他方、第２の実施形態に係る医用情報処理装置は、外部の画像サーバが有する参照画像ＤＢにアクセスすることによって、参照画像を特定する。

図１０は、第２の実施形態に係る医用情報処理システムの構成例を示すブロック図である。図１０の医用情報処理システム２００は、医用情報処理装置２１０と画像サーバ２２０とがネットワーク（ＮＷ）を介して接続されている。当該ネットワークには、図示しないＸ線診断装置が接続されてもよい。また、当該Ｘ線診断装置が医用情報処理装置２１０の各部および各回路などを有してもよい。この場合には、医用情報処理装置２１０を有するＸ線診断装置と画像サーバとの組み合わせが医用情報処理システムを構成することとなる。本実施形態では、医用情報処理装置とＸ線診断装置とは別体であるものとして説明をする。

医用情報処理装置２１０は、マイクロフォン２１１と、処理回路２１２と、記憶回路２１３と、通信インタフェース２１４とを備える。尚、マイクロフォン２１１は、図１のマイクロフォン７と同様であるため、詳細な説明を省略する。

通信インタフェース２１４は、例えば、ＮＩＣが使用可能となっている。通信インタフェース２１４は、例えば、画像サーバ２２０、ネットワークおよび図示しないＸ線診断装置との通信に関する回路である。以降の説明では、医用情報処理装置２１０と画像サーバ２２０との通信などにおいて、通信インタフェース２１４が介在する旨の記載を省略する。

処理回路２１２は、ハードウェア資源として、プロセッサおよびメモリを備える。処理回路２１２は、ネットワークに接続された端末から入力された開始指示に応じて、記憶回路２１３に記憶された制御プログラムを読み出す。処理回路２１２は、読み出した制御プログラムに従って、参照画像特定処理に係る各機能を実行する。上記各機能は、取得機能２１２ａ、変換機能２１２ｂ、時系列データ生成機能２１２ｃ、特徴量算出機能２１２ｄおよび画像特定機能２１２ｅなどがある。尚、変換機能２１２ｂ、時系列データ生成機能２１２ｃおよび特徴量算出機能２１２ｄは、図１の変換機能１３ｃ、時系列データ生成機能１３ｄおよび特徴量算出機能１３ｅと同様であるため、詳細な説明を省略する。

処理回路２１２は、取得機能２１２ａにより、手技中のデータを取得する。具体的には、処理回路２１２は、マイクロフォン２１１から音声情報データを取得する。また、処理回路２１２は、ネットワークに接続された図示しないＸ線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。

処理回路２１２は、画像特定機能２１２ｅにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路２１２は、算出された特徴量に基づいて、画像サーバ２２０の参照画像ＤＢ２２１ａに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。

なお、処理回路２１２は、自身のメモリに学習済みモデル２１３ａを記憶してもよい。即ち、記憶回路２１３にプログラム（学習済みモデル２１３ａ）を保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

画像サーバ２２０は、記憶回路２２１と、通信インタフェース２２２とを備える。

記憶回路２２１は、参照画像ＤＢ２２１ａを記憶している。記憶回路２２１は、参照画像ＤＢを記憶していない点において、図１の記憶回路１２と異なる。参照画像ＤＢ２２１ａは、参照画像としての複数の医用画像を保存するデータベースである。

通信インタフェース２２２は、例えば、ＮＩＣが使用可能となっている。通信インタフェース２２２は、例えば、医用情報処理装置２１０、ネットワークおよび図示しないＸ線診断装置との通信に関する回路である。以降の説明では、画像サーバ２２０と医用情報処理装置２１０との通信などにおいて、通信インタフェース２２２が介在する旨の記載を省略する。

次に、以上のように構成された第２の実施形態に係る医用情報処理システム２００の動作について図３のフローチャートを用いて説明する。尚、フローチャートの処理が開始されるまでの手順およびステップＳＴ１０２からステップＳＴ１０４までの処理は、第１の実施形態における手順および処理とほぼ同様であるため、説明を省略する。

第２の実施形態におけるステップＳＴ１０１では、処理回路２１２は、取得機能２１２ａにより、手技中のデータを取得する。具体的には、処理回路２１２は、マイクロフォン２１１から音声情報データを取得し、図示しないＸ線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。

第２の実施形態におけるステップＳＴ１０５では、処理回路２１２は、画像特定機能２１２ｅにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路２１２は、算出された特徴量に基づいて、画像サーバ２２０の参照画像ＤＢ２２１ａに保存された複数の参照画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。

処理回路１３は、特定した参照画像を図示しないディスプレイに表示させ、参照画像特定処理を終了する。

以上説明したように、第２の実施形態に係る医用情報処理システムは、医用情報処理装置と画像サーバとを備える。医用情報処理装置は、手技中において、第１のデータと、第１のデータとは異なる第２のデータとを取得し、少なくとも第１のデータと第２のデータとに基づいて、時系列データを生成する。そして、医用情報処理装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成する。さらに、医用情報処理装置は、参照画像を特定するための情報として画像の特徴量を用い、画像サーバに保存された複数の医用画像から、当該画像の特徴量に最も近い特徴量を有する参照画像を特定する。

従って、この医用情報処理システムは、医師または技師による参照画像を表示させる操作の必要がないため、手技中における参照画像を表示させる負担を低減することができる。

（第３の実施形態）
第２の実施形態に係る医用情報処理システムに含まれる医用情報処理装置は、外部の画像サーバが有する参照画像ＤＢにアクセスすることによって、参照画像を特定していた。他方、第３の実施形態に係る医用情報処理システムは、クライアント装置からの指示によって、外部のサーバ装置が参照画像特定処理などを行う。

図１１は、第３の実施形態に係る医用情報処理システムの構成例を示すブロック図である。図１１の医用情報処理システム３００は、サーバ装置３１０とクライアント装置３２０とがネットワーク（ＮＷ）を介して接続されている。当該ネットワークには、図示しないＸ線診断装置が接続されてもよい。また、当該Ｘ線診断装置がクライアント装置３２０の各部および各回路などを有してもよい。この場合には、クライアント装置３２０を有するＸ線診断装置とサーバ装置との組み合わせが医用情報処理システムを構成することとなる。本実施形態では、クライアント装置とＸ線診断装置とは別体であるものとして説明をする。

サーバ装置３１０は、処理回路３１１と、記憶回路３１２と、通信インタフェース３１３とを備える。記憶回路３１２は、学習済みモデル３１２ａおよび参照画像ＤＢ３１２ｂを記憶している。尚、記憶回路３１２は、図１の記憶回路１２と同様であるため、詳細な説明を省略する。

通信インタフェース３１３は、例えば、ＮＩＣが使用可能となっている。通信インタフェース３１３は、例えば、クライアント装置３２０、ネットワークおよび図示しないＸ線診断装置との通信に関する回路である。以降の説明では、サーバ装置３１０とクライアント装置３２０との通信などにおいて、通信インタフェース３１３が介在する旨の記載を省略する。

処理回路３１１は、ハードウェア資源として、プロセッサおよびメモリを備える。処理回路３１１は、クライアント装置３２０から入力された開始指示に応じて、記憶回路３１２に記憶された制御プログラムを読み出す。処理回路３１１は、読み出した制御プログラムに従って、参照画像特定処理に係る各機能を実行する。上記各機能は、取得機能３１１ａ、変換機能３１１ｂ、時系列データ生成機能３１１ｃ、特徴量算出機能３１１ｄおよび画像特定機能３１１ｅなどがある。尚、変換機能３１１ｂ、時系列データ生成機能３１１ｃ、特徴量算出機能３１１ｄおよび画像特定機能３１１ｅは、図１の変換機能１３ｃ、時系列データ生成機能１３ｄ、特徴量算出機能１３ｅおよび画像特定機能１３ｆと同様であるため、詳細な説明を省略する。

処理回路３１１は、取得機能３１１ａにより、手技中のデータを取得する。具体的には、処理回路３１１は、クライアント装置３２０のマイクロフォン３２１から音声情報データを取得する。また、処理回路３１１は、ネットワークに接続された図示しないＸ線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。

なお、処理回路３１１は、自身のメモリに学習済みモデル３１２ａを記憶してもよい。即ち、記憶回路３１２にプログラム（学習済みモデル３１２ａ）を保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

クライアント装置３２０は、マイクロフォン３２１と、入力インタフェース３２２と、ディスプレイ３２３と、通信インタフェース３２４とを備える。尚、マイクロフォン３２１および入力インタフェース３２２は、図１のマイクロフォン７および入力インタフェース８と同様であるため、詳細な説明を省略する。

ディスプレイ３２３は、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。ディスプレイ３２３は、例えば、参照画像特定処理に関するプログラムのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示している。操作者は、例えば、ディスプレイ３２３に表示されたＧＵＩを用いることにより、サーバ装置３１０へ参照画像特定処理を開始する指示などができる。

通信インタフェース３２４は、例えば、ＮＩＣが使用可能となっている。通信インタフェース３２４は、例えば、サーバ装置３１０、ネットワークおよび図示しないＸ線診断装置との通信に関する回路である。以降の説明では、クライアント装置３２０とサーバ装置３１０との通信などにおいて、通信インタフェース３２４が介在する旨の記載を省略する。

次に、以上のように構成された第３の実施形態に係る医用情報処理システム３００の動作について図３のフローチャートを用いて説明する。尚、フローチャートの処理が開始されるまでの手順およびステップＳＴ１０２からステップＳＴ１０４までの処理は、第１の実施形態における手順および処理とほぼ同様であるため、説明を省略する。

第３の実施形態におけるステップＳＴ１０１では、処理回路３１１は、取得機能３１１ａにより、手技中のデータを取得する。具体的には、処理回路３１１は、クライアント装置３２０のマイクロフォン３２１から音声情報データを取得する。図示しないＸ線診断装置から、機械情報データおよび画像情報データのうちの少なくとも一つを取得する。

第３の実施形態におけるステップＳＴ１０５では、処理回路３１１は、画像特定機能３１１ｅにより、算出された特徴量に基づいて、参照画像を特定する。具体的には、処理回路３１１は、算出された特徴量に基づいて、サーバ装置３１０の参照画像ＤＢ３１２ｂに保存された複数の医用画像から、算出された特徴量に最も近い特徴量を有する参照画像を特定する。

処理回路３１１は、特定した参照画像をクライアント装置３２０へと送信し、参照画像特定処理を終了する。クライアント装置３２０は、受信した参照画像をディスプレイ３２３の画面に表示させる。

以上説明したように、第３の実施形態に係る医用情報処理システムは、クライアント装置とサーバ装置とを備える。クライアント装置は、手技中において、参照画像を特定するための処理に関する指示を行う。サーバ装置は、前記指示を受信したことを契機として、第１のデータと、第１のデータとは異なる第２のデータとを取得し、少なくとも第１のデータと第２のデータとに基づいて、時系列データを生成する。そして、サーバ装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成することができる。

また、この医用情報処理システムにおけるサーバ装置は、参照画像を特定するための情報として画像の特徴量を用い、画像の特徴量に基づいて、複数の医用画像から、参照画像を特定し、クライアント装置へ送信する。さらに、このサーバ装置は、画像の特徴量に基づいて、複数の医用画像から、当該画像の特徴量に最も近い特徴量を有する参照画像を特定することができる。

従って、この医用情報処理システムは、医師または技師による参照画像を表示させる操作の必要がないため、手技中における参照画像を表示させる負担を低減することができる。

（変形例）
上記各実施形態では、処理回路は、算出された画像の特徴量に最も近い特徴量を有する参照画像を特定した。他方、本変形例では、処理回路は、算出された画像の特徴量に近い特徴量を有する複数の類似画像を特定してもよい。以降では、医用情報処理装置１００に対して本変形例に係る処理回路が適用されるものとして説明を行うが、医用情報処理装置に限定されない。例えば、本変形例に係る処理回路は、Ｘ線診断装置および医用情報処理システムに適用されてもよい。

図１２は、各実施形態に係る処理回路の他の構成例を示すブロック図である。図１２の処理回路４００は、図示していないプロセッサ、ＲＯＭおよびＲＡＭなどのメモリを有し、取得機能４００ａ、変換機能４００ｂ、時系列データ生成機能４００ｃ、特徴量算出機能４００ｄ、画像特定機能４００ｅおよび類似画像特定機能４００ｆを有する。尚、取得機能４００ａ、変換機能４００ｂ、時系列データ生成機能４００ｃ、特徴量算出機能４００ｄおよび画像特定機能４００ｅは、図１の取得機能１３ｂ、変換機能１３ｃ、時系列データ生成機能１３ｄ、特徴量算出機能１３ｅおよび画像特定機能１３ｆと同様であるため、詳細な説明を省略する。

処理回路４００は、類似画像特定機能４００ｆにより、算出された特徴量に基づいて、複数の類似画像を特定する。具体的には、処理回路４００は、算出された特徴量に基づいて、参照画像ＤＢ１２ｂに保存された複数の医用画像から、算出された特徴量に近い特徴量を有する複数の類似画像を特定する。

次に、処理回路４００を適用した医用情報処理装置１００の動作について図１３のフローチャートを用いて説明する。

図１３は、図１２の処理回路を用いた場合の参照画像特定処理の手順の一例を示すフローチャートである。尚、フローチャートの処理が開始されるまでの手順およびステップＳＴ２０１からステップＳＴ２０５までの処理は、第１の実施形態における手順および図１のステップＳＴ１０１からステップＳＴ１０５までの処理とほぼ同様であるため、説明を省略する。

（ステップＳＴ２０６）
処理回路４００は、類似画像特定機能４００ｆにより、算出された特徴量に基づいて、複数の類似画像を特定する。具体的には、処理回路４００は、算出された特徴量に基づいて、参照画像ＤＢ１２ｂに保存された複数の医用画像から、算出された特徴量に近い特徴量を有する複数の類似画像を特定する。

処理回路４００は、特定した参照画像および特定した複数の類似画像を図示しないディスプレイに表示させ、処理を終了する。

以上説明したように、変形例に係る医用情報処理装置は、手技中において、第１のデータと、第１のデータとは異なる第２のデータとを取得し、少なくとも第１のデータと第２のデータとに基づいて、時系列データを生成する。そして、医用情報処理装置は、時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、時系列データを入力することにより、参照画像を特定するための情報を生成することができる。

また、この医用情報処理装置は、画像の特徴量に基づいて、複数の医用画像から、画像の特徴量に近い特徴量を有する複数の類似画像を特定することができる。

従って、この医用情報処理装置は、参照画像に類似した複数の類似画像を表示できるため、手技中における参照画像を表示させる負担を低減することができる。

（学習例）
上記各実施形態では、処理回路は、学習済みデータを用いた処理をしていた。他方、本学習例では、処理回路は、学習データを生成してもよい。以降では、医用情報処理装置１００に対して本学習例に係る処理回路が適用されるものとして説明を行うが、医用情報処理装置に限定されない。例えば、本学習例に係る処理回路は、Ｘ線診断装置および医用情報処理システムに適用されてもよい。尚、本学習例に係る処理回路を適用した装置、或いはシステムは、学習装置と呼称されてもよい。

図１４は、各実施形態に係る処理回路の他の構成例を示すブロック図である。図１４の処理回路５００は、図示していないプロセッサ、ＲＯＭおよびＲＡＭなどのメモリを有し、取得機能５００ａ、変換機能５００ｂ、時系列データ生成機能５００ｃおよび学習データ生成機能５００ｄを有する。尚、取得機能５００ａおよび変換機能５００ｂは、図１の取得機能１３ｂおよび変換機能１３ｃと同様であるため、詳細な説明を省略する。

処理回路５００は、時系列データ生成機能５００ｃにより、共通のデータ形式に変換された音声情報データ、機械情報データおよび画像情報データから時系列データを生成する。具体的には、処理回路５００は、参照画像ＤＢ１２ｂに記憶された複数の医用画像から参照画像が選択されたことを契機として、選択された時点よりも前に取得された上記各データに少なくとも基づいて、時系列データを生成する。

処理回路５００は、学習データ生成機能５００ｄにより、生成された時系列データと特定された参照画像とに基づいて、学習データを生成する。具体的には、図６に例示されるように、学習データは、時刻ｔ１に関する時系列データと特定された参照画像との組み合わせとなる。また、図９に例示されるように、学習データは、時刻ｔ１１に関する時系列データと特定された参照画像との組み合わせ、時刻ｔ１２に関する時系列データと特定された参照画像との組み合わせ、および時刻ｔ１３に関する時系列データと特定された参照画像との組み合わせなどとなる。

次に、処理回路５００を適用した医用情報処理装置１００の動作について図１５のフローチャートを用いて説明する。

図１５は、図１４の処理回路を用いた場合の学習データ生成処理の手順の一例を示すフローチャートである。尚、フローチャートの処理が開始されるまでの手順およびステップＳＴ３０１からステップＳＴ３０２までの処理は、第１の実施形態における手順および図１のステップＳＴ１０１からステップＳＴ１０２までの処理とほぼ同様であるため、説明を省略する。

（ステップＳＴ３０３）
処理回路５００は、時系列データ生成機能５００ｃにより、参照画像の選択を契機として、変換されたデータに基づいて、時系列データを生成する。具体的には、処理回路５００は、参照画像ＤＢ１２ｂに記憶された複数の医用画像から参照画像が選択されたことを契機として、選択された時点よりも前に取得された上記各データに少なくとも基づいて、時系列データを生成する。

（ステップＳＴ３０４）
処理回路５００は、学習データ生成機能５００ｄにより、生成された時系列データと特定された参照画像とに基づいて、学習データを生成する。

処理回路５００は、生成した学習データを例えば記憶回路１２に記憶させ、処理を終了する。

以上説明したように、学習例に係る医用情報処理装置は、手技中において、第１のデータと、第１のデータとは異なる第２のデータとを取得する。そして、医用情報処理装置は、記憶された複数の医用画像から参照画像が選択されたことを契機として、選択された時点よりも前に取得された第１のデータおよび第２のデータに少なくとも基づいて、時系列データを生成し、当該時系列データと参照画像とに基づいて、学習データを生成する。

また、この医用情報処理装置は、第１のデータを第１のデータ形式に変換し、第２のデータを当該第１のデータ形式に変換することにより、当該第１のデータ形式の時系列データを生成することができる。具体的には、この医用情報処理装置は、第１のデータおよび第２のデータをそれぞれテキスト形式に変換することにより、テキスト形式の時系列データを生成することができる。

また、この医用情報処理装置は、手技中において、第１のデータと第２のデータとを並行して取得することができる。尚、第２のデータは、第１のデータとはデータ形式が異なっていてもよい。

従って、この医用情報処理装置は、参照画像を表示させる機械学習モデルに関する学習データを作成することができるため、手技中における参照画像を表示させる負担を低減することができる。

以上説明した少なくとも一つの実施形態によれば、手技中における参照画像を表示させる負担を低減することができる。

以上の各実施形態における「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、ＡＳＩＣ、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびＦＰＧＡ）などの回路を意味する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ Ｘ線診断装置
５ サポートフレーム
６ 天板
１３，４００，５００ 処理回路
１３ａ 画像発生機能
１３ｂ，４００ａ，５００ａ 取得機能
１３ｃ，４００ｂ，５００ｂ 変換機能
１３ｄ，４００ｃ，５００ｃ 時系列データ生成機能
１３ｅ，４００ｄ 特徴量算出機能
１３ｆ，４００ｅ 画像特定機能
１００ 医用情報処理装置
２００，３００ 医用情報処理システム
４００ｆ 類似画像特定機能
５００ｄ 学習データ生成機能

Claims (18)

1. 手技中において、リアルタイムに時系列で表された第１のデータと、前記第１のデータとは異なる第２のデータとを取得する取得部と、
   前記第１のデータおよび前記第２のデータをそれぞれテキスト形式に変換する変換部と、
   前記第１のデータと前記第２のデータとに基づいて、時系列データを生成する時系列データ生成部と、
   前記時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、前記時系列データを入力することにより、前記参照画像を特定するための情報を生成する処理部と、
   を具備し、
   前記時系列データ生成部は、第１時点における１組の時系列データとして、前記テキスト形式に変換された第１のデータと前記テキスト形式に変換された第２のデータとを組み合わせ、入力順を規定したデータを生成する、医用情報処理装置。
2. 前記参照画像を特定するための情報は、画像の特徴量であり、
   前記画像の特徴量に基づいて、複数の医用画像から前記参照画像を特定する特定部
   を更に具備する、請求項１に記載の医用情報処理装置。
3. 前記特定部は、前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に最も近い特徴量を有する前記参照画像を特定する、
   請求項２に記載の医用情報処理装置。
4. 前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に近い特徴量を有する複数の類似画像を特定する類似画像特定部
   を更に具備する、請求項２または請求項３に記載の医用情報処理装置。
5. 前記取得部は、手技中において、前記第１のデータと前記第２のデータとを並行して取得する、
   請求項１から請求項４までのいずれか一項に記載の医用情報処理装置。
6. 前記第２のデータは、前記第１のデータとはデータ形式が異なる、
   請求項１から請求項５までのいずれか一項に記載の医用情報処理装置。
7. 前記第１のデータは、音声に関する情報を含み、
   前記第２のデータは、撮像対象およびＸ線管の位置関係に関する情報と表示画像に関する情報とのうちの少なくとも一つを含む、
   請求項１から請求項６までのいずれか一項に記載の医用情報処理装置。
8. 前記学習済みモデルは、帰還経路を有するニューラルネットワークを含む、
   請求項１から請求項７までのいずれか一項に記載の医用情報処理装置。
9. 手技中において、第１のデータと、前記第１のデータとは異なる第２のデータとを取得する取得部と、
   前記第１のデータおよび前記第２のデータをそれぞれテキスト形式に変換する変換部と、
   記憶された複数の医用画像から参照画像が選択されたことを契機として、前記選択された時点よりも前に取得された前記第１のデータおよび前記第２のデータに少なくとも基づいて、時系列データを生成する時系列データ生成部と、
   前記時系列データと前記参照画像とに基づいて、学習データを生成する学習データ生成部と
   を具備し、
   前記時系列データ生成部は、第１時点における１組の時系列データとして、前記テキスト形式に変換された第１のデータと前記テキスト形式に変換された第２のデータとを組み合わせ、入力順を規定したデータを生成する、医用情報処理装置。
10. 前記第１のデータおよび前記第２のデータをそれぞれテキスト形式に変換する変換部 を更に具備し、
    前記時系列データ生成部は、前記テキスト形式の前記時系列データを生成する、
    請求項９に記載の医用情報処理装置。
11. 前記取得部は、手技中において、前記第１のデータと前記第２のデータとを並行して取得する、
    請求項９または請求項１０に記載の医用情報処理装置。
12. 前記第２のデータは、前記第１のデータとはデータ形式が異なる、
    請求項９から請求項１１までのいずれか一項に記載の医用情報処理装置。
13. 前記第１のデータは、音声に関する情報を含み、
    前記第２のデータは、撮像対象およびＸ線管の位置関係に関する情報と表示画像に関する情報とのうちの少なくとも一つ含む、
    請求項９から請求項１２までのいずれか一項に記載の医用情報処理装置。
14. クライアント装置とサーバ装置とを具備する医用情報処理システムであって、
    前記クライアント装置は、
    手技中において、参照画像を特定するための処理に関する指示を行う指示部
    を有し、
    前記サーバ装置は、
    前記指示を受信したことを契機として、リアルタイムに時系列で表された第１のデータと、前記第１のデータとは異なる第２のデータとを取得する取得部と、
    前記第１のデータおよび前記第２のデータをそれぞれテキスト形式に変換する変換部と、
    前記第１のデータと前記第２のデータとに基づいて、時系列データを生成する時系列データ生成部と、
    前記時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、前記時系列データを入力することにより、前記参照画像を特定するための情報を生成する処理部と
    を有し、
    前記時系列データ生成部は、第１時点における１組の時系列データとして、前記テキスト形式に変換された第１のデータと前記テキスト形式に変換された第２のデータとを組み合わせ、入力順を規定したデータを生成する、医用情報処理システム。
15. 前記参照画像を特定するための情報は、画像の特徴量であり、
    前記サーバ装置は、
    前記画像の特徴量に基づいて、複数の医用画像から、前記参照画像を特定する特定部と
    前記参照画像を前記クライアント装置へ送信する送信部と
    を更に有する、請求項１４に記載の医用情報処理システム。
16. 前記特定部は、前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に最も近い特徴量を有する前記参照画像を特定する、
    請求項１５に記載の医用情報処理システム。
17. 前記サーバ装置は、前記画像の特徴量に基づいて、前記複数の医用画像から、前記画像の特徴量に近い特徴量を有する複数の類似画像を特定する類似画像特定部
    を更に有し、
    前記送信部は、前記複数の類似画像を前記クライアント装置へ送信する、
    請求項１５または請求項１６に記載の医用情報処理システム。
18. 撮像対象およびＸ線管の位置関係を設定するサポートフレームと、
    手技中において、リアルタイムに時系列で表された第１のデータと、前記第１のデータとは異なる、前記位置関係の情報を含む第２のデータとを取得する取得部と、
    前記第１のデータおよび前記第２のデータをそれぞれテキスト形式に変換する変換部と、
    前記第１のデータと前記第２のデータとに基づいて、時系列データを生成する時系列データ生成部と、
    前記時系列データに基づいて参照画像を特定するための情報を生成する学習済みモデルに対して、前記時系列データを入力することにより、前記参照画像を特定するための情報を生成する処理部と
    を具備し、
    前記時系列データ生成部は、第１時点における１組の時系列データとして、前記テキスト形式に変換された第１のデータと前記テキスト形式に変換された第２のデータとを組み合わせ、入力順を規定したデータを生成する、Ｘ線診断装置。