JP2021114139A - 医用情報処理装置及び医用情報処理プログラム - Google Patents
医用情報処理装置及び医用情報処理プログラム Download PDFInfo
- Publication number
- JP2021114139A JP2021114139A JP2020006592A JP2020006592A JP2021114139A JP 2021114139 A JP2021114139 A JP 2021114139A JP 2020006592 A JP2020006592 A JP 2020006592A JP 2020006592 A JP2020006592 A JP 2020006592A JP 2021114139 A JP2021114139 A JP 2021114139A
- Authority
- JP
- Japan
- Prior art keywords
- data
- medical
- information processing
- learning
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 88
- 230000006870 function Effects 0.000 claims description 133
- 238000010801 machine learning Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 7
- 238000004088 simulation Methods 0.000 description 37
- 238000004458 analytical method Methods 0.000 description 23
- 230000017531 blood circulation Effects 0.000 description 18
- 238000002591 computed tomography Methods 0.000 description 18
- 210000004204 blood vessel Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 14
- 239000012530 fluid Substances 0.000 description 14
- 239000008280 blood Substances 0.000 description 9
- 210000004369 blood Anatomy 0.000 description 9
- 238000009534 blood test Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 210000004351 coronary vessel Anatomy 0.000 description 8
- 238000002592 echocardiography Methods 0.000 description 8
- 238000002586 coronary angiography Methods 0.000 description 6
- 235000012000 cholesterol Nutrition 0.000 description 5
- 238000005206 flow analysis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 206010008479 Chest Pain Diseases 0.000 description 4
- 208000031481 Pathologic Constriction Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000036262 stenosis Effects 0.000 description 4
- 208000037804 stenosis Diseases 0.000 description 4
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000005293 physical law Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000008214 LDL Cholesterol Methods 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】臨床に沿った学習用データを取得すること。【解決手段】医用情報処理装は、取得部と、生成部とを備える。取得部は、被検体の複数の診療データを取得する。生成部は、複数の診療データに含まれる少なくとも1つの診療データに対して診療ナレッジ(knowledge)に基づく予測処理を行うことで予測データを取得し、複数の診療データに含まれる診療データと予測データとを含む学習用データを生成する。【選択図】図1
Description
本明細書及び図面に開示の実施形態は、医用情報処理装置及び医用情報処理プログラムに関する。
従来、医用画像診断装置によって収集された医用画像や、種々の検査によって得られた検査結果などを学習用データとして用いた機械学習が行われている。また、このような機械学習に用いる学習用データを増やすための技術も知られている。例えば、医用画像に対してノイズを付加したり、医用画像におけるコントラストや明るさを調整したり、医用画像を反転・回転させたりするなどの加工を加えることによって、学習用データを増やす技術が知られている。
クリストファー M. ビショップ(Christopher M. Bishop)著、「パターン認識と機械学習(Pattern recognition and machine learning)」、(米国)、第1版、スプリンガー(Springer)、2006年、P.225-290
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、臨床に沿った学習用データを得ることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態の医用情報処理装は、取得部と、生成部とを備える。取得部は、被検体の複数の診療データを取得する。生成部は、前記複数の診療データに含まれる少なくとも1つの診療データに対して診療ナレッジ(knowledge)に基づく予測処理を行うことで予測データを取得し、前記複数の診療データに含まれる診療データと前記予測データとを含む学習用データを生成する。
以下、図面を参照しながら、医用情報処理装置及び医用情報処理プログラムの実施形態について詳細に説明する。なお、本願に係る医用情報処理装置及び医用情報処理プログラムは、以下に示す実施形態によって限定されるものではない。また、実施形態は、処理内容に矛盾が生じない範囲で他の実施形態や従来技術との組み合わせが可能である。
(第1の実施形態)
図1は、第1の実施形態に係る医用情報処理装置4の構成の一例を示すブロック図である。例えば、第1の実施形態に係る医用情報処理装置4は、図1に示すように、ネットワーク200を介して医用画像診断装置1、端末装置2及び医療情報保管装置3と通信可能に接続された医用情報処理システム100に含まれる。ここで、医用情報処理システム100に含まれる各装置は、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能な状態となっている。なお、図1に示す医用情報処理システム100には、図示以外の装置が通信可能に接続される場合でもよい。
図1は、第1の実施形態に係る医用情報処理装置4の構成の一例を示すブロック図である。例えば、第1の実施形態に係る医用情報処理装置4は、図1に示すように、ネットワーク200を介して医用画像診断装置1、端末装置2及び医療情報保管装置3と通信可能に接続された医用情報処理システム100に含まれる。ここで、医用情報処理システム100に含まれる各装置は、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能な状態となっている。なお、図1に示す医用情報処理システム100には、図示以外の装置が通信可能に接続される場合でもよい。
例えば、医用情報処理システム100は、病院情報システム(HIS:Hospital Information System)、放射線情報システム(RIS:Radiology Information System)、診断レポートシステム、医用画像処理システム(PACS:Picture Archiving and Communication System)、臨床検査情報システム(LIS:Laboratory Information System)などの種々のシステムが含まれる。
医用画像診断装置1は、被検体を撮像して医用画像を収集する。そして、医用画像診断装置1は、収集した医用画像を端末装置2や、医療情報保管装置3、医用情報処理装置4に送信する。例えば、医用画像診断装置1は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置等である。
端末装置2は、病院内に勤務する医師や検査技師によって操作される装置である。例えば、端末装置2は、パーソナルコンピュータ(PC:Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等によって実現される。端末装置2は、医用画像診断装置1又は医療情報保管装置3から受信した医用画像を自装置のディスプレイに表示させるとともに、自装置の入力インターフェースを介した各種操作を受け付ける。例えば、端末装置2は、種々の検査結果や、診断情報などの入力操作を受け付け、医療情報保管装置3や、医用情報処理装置4に送信する。
医療情報保管装置3は、医用情報処理システム100における種々の医療情報を保管する。具体的には、医療情報保管装置3は、医用画像診断装置1から受信した医用画像、端末装置2を介して受信した種々の検査結果及び診断情報、及び、医用情報処理システム100に接続されたその他の装置から受信した種々の情報を含む医療情報を保管する。ここで、医療情報保管装置3は、医療情報に含まれる各情報を患者IDなどに紐付けて記憶する。例えば、医療情報保管装置3は、DB(Database)サーバ等のコンピュータ機器によって実現され、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等の記憶回路に医療情報を記憶させる。なお、図1では、1つの医療情報保管装置3を図示しているが、実施形態はこれに限定されるものではなく、複数のDBサーバが協働して医療情報保管装置3として機能する場合でもよい。
医用情報処理装置4は、医用画像診断装置1、端末装置2、医療情報保管装置3から各種の情報を取得し、取得した情報を用いて各種の情報処理を行う。例えば、医用情報処理装置4は、サーバやワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
図1に示すように、医用情報処理装置4は、通信インターフェース41と、記憶回路42と、入力インターフェース43と、ディスプレイ44と、処理回路45とを有する。
通信インターフェース41は、処理回路45に接続されており、医用情報処理システム100における各装置との間で行われる通信を制御する。具体的には、通信インターフェース41は、各装置から各種の情報を受信し、受信した情報を処理回路45に出力する。例えば、通信インターフェース41は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
記憶回路42は、処理回路45に接続されており、各種のデータを記憶する。具体的には、記憶回路42は、医用画像診断装置1、端末装置2及び医療情報保管装置3から受信した種々の情報や、入力インターフェース43を介して入力された情報、医用情報処理装置4の処理結果などを記憶する。例えば、記憶回路42は、図1に示すように、診療データ421、診療ナレッジ(knowledge)422、学習済みモデル423を記憶する。
診療データ421は、医用画像診断装置1、端末装置2及び医療情報保管装置3から受信した医用画像や、医用画像の解析情報、検査結果、診療情報などを含む。なお、診療データ421は、通信インターフェース41を介して医用画像診断装置1、端末装置2及び医療情報保管装置3から取得され、記憶回路42に記憶される。また、診療データ421は、処理回路45の処理によって取得され、記憶回路42に記憶される。
診療ナレッジ422は、臨床研究の研究結果に基づく知見や、各種ガイドラインなどの情報、それらに基づくシミュレーションなどを含む。例えば、診療ナレッジ422は、複数の診療データ間における相互の関係や、疾病の因果関係、それらに基づいて構築された医用画像に対するシミュレーションなどを含む。なお、診療ナレッジ422は、入力インターフェース43を介して入力操作に基づいて、記憶回路42に記憶される。
学習済みモデル423は、診療データ421を学習用データとした機械学習によって生成される。具体的には、学習済みモデル423は、複数の診療データを学習用データとした機械学習によって生成され、記憶回路42に記憶される。なお、学習済みモデル423は、処理回路45によって生成され、記憶回路42に格納される場合でもよく、医用情報処理システム100の外部に配置された外部装置によって生成され、記憶回路42に格納される場合でもよい。
また、記憶回路42は、処理回路45が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路42は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
入力インターフェース43は、処理回路45に接続されており、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インターフェース43は、操作者から受け付けた入力操作を電気信号へ変換して処理回路45に出力する。例えば、入力インターフェース43は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インターフェース43は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース43の例に含まれる。
ディスプレイ44は、処理回路45に接続されており、各種の情報及び画像を表示する。具体的には、ディスプレイ44は、処理回路45から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ44は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
処理回路45は、入力インターフェース43を介して操作者から受け付けた入力操作に応じて、医用情報処理装置4の動作を制御する。例えば、処理回路45は、プロセッサによって実現される。図1に示すように、処理回路45は、制御機能451、生成機能452、及び、学習機能453を実行する。ここで、制御機能451は、取得部の一例である。また、生成機能452は、生成部の一例である。また、学習機能453は、学習部の一例である。
制御機能451は、医用情報処理装置4における各種処理を制御する。生成機能452は、診療データ421及び診療ナレッジ422に基づいて学習用データを生成する。学習機能453は、生成機能452によって生成された学習用データを用いて学習済みモデル423を生成し、記憶回路42に格納する。なお、これら各機能の処理については、後に詳述する。
以上、第1の実施形態に係る医用情報処理装置4の構成について説明した。かかる構成のもと、医用情報処理装置4は、臨床的に沿った学習用データを得ることを可能にする。上述したように、機械学習に用いる学習用データの収集では、取得済みの医用画像に対して加工を加えることで学習用データを増やす技術が知られている。しかしながら、このような手法を用いてデータを生成した場合、機械学習に用いる他のデータとの関係において妥当ではないデータが生成される可能性がある。
すなわち、機械学習に用いられる複数のデータの組み合わせとして臨床的に妥当ではない組み合わせが生成され、それが妥当な組み合わせとして機械学習に用いられてしまう可能性がある。そこで、本願では、診療ナレッジに基づいて学習用データを生成することで、臨床に沿った組み合わせを有する学習用データを取得する。
以下、本実施形態に係る医用情報処理装置4の詳細について説明する。
制御機能451は、入力インターフェース43を介して入力された各種要求に応じた処理を実行するように制御する。例えば、制御機能451は、通信インターフェース41を介した医用画像、検査結果等の送受信、記憶回路42への各種情報の格納、ディスプレイ44への情報(例えば、医用画像や、各機能による処理結果など)の表示などを制御する。
例えば、制御機能451は、医用画像診断装置1、端末装置2、医療情報保管装置3から診療データを取得して、記憶回路42に格納する。また、例えば、制御機能451は、診療データに対して処理を実行するためのGUIや、各機能による処理結果をディスプレイ44に表示させるように制御する。
生成機能452は、診療データに対して診療ナレッジに基づく予測処理を行うことで予測データを取得し、診療データと予測データとを含む学習用データを生成する。具体的には、生成機能452は、記憶回路42に記憶された診療データ421から複数の診療データを読み出し、読み出した複数の診療データのうち少なくとも1つに対して診療ナレッジに基づく予測処理を行うことで新たな診療データを取得する。そして、生成機能452は、読み出した複数の診療データのうち少なくとも1つと、取得した新たな診療データとから学習用データを生成する。以下、生成機能452によって生成される学習用データを診療データセットとも記載する。
上述したように、生成機能452は、診療データに対して診療ナレッジに基づく予測処理を行うことで、新たな診療データを取得し、学習用データを生成する。ここで、本願では、新たな診療データとして種々のデータを取得することできる。
図2は、本実施形態に係る生成機能452による診療データセットの生成を説明するための図である。ここで、図2に示す診療データセットは、学習用データとして用いる複数の診療データのセットを示す。図2に示すように、生成機能452は、診療データセットを診療ナレッジに基づくシミュレーションモデルに適用することで、臨床的に妥当な診療データセット(「診療データセット(臨床的に妥当)」)、或いは、臨床的に妥当ではない診療データセット(「診療データセット(臨床的に不当)」)を生成する。
例えば、生成機能452は、図2に示すように、「診療データセット(一部欠損)」をシミュレーションモデルに適用することで、臨床的に妥当な診療データセットを生成する。ここで、「診療データセット(一部欠損)」とは、学習用データとして用いる複数の診療データにおいて一部不足がある診療データセットを示す。すなわち、生成機能452は、学習用データとして用いる複数の診療データのうち不足した診療データを、診療ナレッジに基づくシミュレーションによって取得することで、学習用データを生成する。ここで、生成機能452によって取得される診療データは、診療ナレッジに基づくシミュレーションによって取得されていることから、その他の診療データとの組み合わせにおいて臨床的に妥当なデータとなる。
また、例えば、生成機能452は、図2に示すように、「診療データセット(一部改変)」をシミュレーションモデルに適用することで、臨床的に妥当な診療データセットを生成する。ここで、「診療データセット(一部改変)」とは、学習用データとして用いる複数の診療データの全てを含んだ(不足がない)診療データセットであり、診療ナレッジに基づいてデータを改変する対象となる診療データセットを示す。すなわち、生成機能452は、学習用データとして既にある複数の診療データの組み合わせから、診療ナレッジに基づくシミュレーションによって新たな組み合わせを取得することで、学習用データを生成する。ここで、生成機能452によって取得される診療データは、診療ナレッジに基づくシミュレーションによって取得されていることから、その組み合わせは臨床的に妥当なデータとなる。
また、例えば、生成機能452は、図2に示すように、「診療データセット」を、ナレッジを一部改変したシミュレーションモデルに適用することで、臨床的に不当な診療データセットを生成する。ここで、「診療データセット」は、学習用データとして用いる複数の診療データの全てを含んだ(不足がない)診療データセットである。また、診療ナレッジの一部改変は、シミュレーションモデルの一部を物理学的法則や、生理学的法則に従わないように改変する。すなわち、生成機能452は、学習用データとして既にある複数の診療データの組み合わせから、診療ナレッジに基づかないシミュレーションによって新たな組み合わせを取得することで、臨床的に不当な学習用データを生成する。
上述したように、生成機能452は、診療ナレッジに基づくシミュレーションにより、臨床に沿った学習用データを生成することができる。したがって、学習機能453は、生成機能452によって生成された学習用データを用いて機械学習を行うことで、臨床的に精度の高い学習済みモデルを生成することができる。
以下、第1の実施形態では、診療ナレッジに基づくシミュレーションによって不足する診療データを取得して、学習用データを生成する場合の例について説明する。なお、診療データセットを改変して臨床的に妥当な診療データセットを生成する例、及び、診療ナレッジの一部を改変して臨床的に不当な診療データセットを生成する例については、第2の実施形態及び第3の実施形態にてそれぞれ説明する。
また、以下の実施形態では、診療データの入力に対してFFR(Fractional Flow Reserve)の値を出力する学習済みモデルを生成するための学習用データを生成する場合を一例に挙げて説明する。すなわち、生成機能452によって生成された学習用データを用いた機械学習によって生成される学習済みモデルは、図3Aに示すように、診療データの入力に応じて、FFR値を出力する。これにより、心臓カテーテルによるFFRの計測や、冠動脈のCT撮影を行うことなく、診療データのみでFFRの値を推定することができる。なお、本実施形態で説明する例はあくまでも一例であり、その他種々の学習済みモデルを生成することが可能である。また、図3Aは、第1の実施形態に係る学習済みモデルの一例を説明するための図である。
このような学習済みモデルを生成する場合、学習用データとして診療データとFFR値を用いる。図3Bは、第1の実施形態に係る学習用データの一例を説明するための図である。例えば、本実施形態では、図3Bに示すように、「主訴(胸痛など)」、「血液検査(コレステロールなど)」、「心電図(ST低下など)」、「心エコー(冠動脈血流波形など)」、「FFR値」を学習用データとして用いる。すなわち、「主訴(胸痛など)」、「血液検査(コレステロールなど)」、「心電図(ST低下など)」及び「心エコー(冠動脈血流波形など)」と、「FFR値」との関係を学習することにより、診療データの入力に応じてFFR値を出力するように機能付けられた学習済みモデルが生成される。
図3Bに示す学習用データにおいてデータに不足がある場合、生成機能452は、診療ナレッジに沿った予測処理(シミュレーション)により、診療データに含まれるデータ種別以外の予測データ(不足するデータ)を取得する。例えば、図3Bにおける「主訴」、「血液検査」、「心電図」及び「心エコー」は、多くの被検体において収集される診療データである。一方、心臓カテーテル検査を行い、プレッシャワイヤーによって計測されるFFR値は、狭窄が軽度な被検体からは収集されることが少なく、不足しやすいデータである。
このように、学習用データにおけるFFR値が欠損している場合、生成機能452は、診療ナレッジに沿ったシミュレーションにより、FFR値を取得する。図4は、第1の実施形態に係る生成機能452による処理を説明するための図である。例えば、生成機能452は、図4に示すように、冠動脈CTによって収集されたCT画像データを用いた血流解析シミュレーションにより、FFR値を取得する。
かかる場合には、生成機能452は、診療データ421に含まれる被検体の冠動脈造影CT画像データを取得する。そして、生成機能452は、冠動脈造影CT画像データに対して流体解析を実行することにより、冠動脈におけるFFR値を取得する。
冠動脈造影CT画像データに基づく流体解析を実行してFFR値を取得する場合、生成機能452は、診療データ421から経時的に収集された複数時相の冠動脈造影CT画像データを読み出し、読み出した複数時相の冠動脈造影CT画像データに対して画像処理を行うことで、時系列の血管形状データを抽出する。
ここで、生成機能452は、冠動脈造影CT画像データに含まれる血管領域に指標値を算出する対象領域を設定する。具体的には、生成機能452は、操作者による入力インターフェース43を介した指示又は画像処理によって、血管領域に対象領域を設定する。そして、生成機能452は、設定した対象領域の血管形状データとして、例えば、血管の芯線(芯線の座標情報)、芯線に垂直な断面での血管及び内腔の断面積、芯線に垂直な断面での円柱方向の、芯線から内壁までの距離及び芯線から外壁までの距離などを冠動脈造影CT画像データから抽出する。
さらに、生成機能452は、流体解析の解析条件を設定する。具体的には、生成機能452は、解析条件として、血液の物性値、反復計算の条件、解析の初期値などを設定する。例えば、生成機能452は、血液の物性値として、血液の粘性、密度などを設定する。また、生成機能452は、反復計算の条件として、反復計算における最大反復回数、緩和係数、残差の許容値などを設定する。また、生成機能452は、解析の初期値として、血流量、圧力、流体抵抗、圧力境界の初期値などを設定する。なお、生成機能452によって用いられる各種値は、システムに予め組み込んでおいてもよいし、操作者が対話的に定義してもよい。
そして、生成機能452は、冠動脈造影CT画像データを用いた流体解析により血管の血流に関する指標値を算出する。具体的には、生成機能452は、血管形状データと解析条件とを用いた流体解析を実行し、血管の対象領域における血流に関する指標値を算出する。例えば、生成機能452は、血管の内腔や外壁の輪郭、血管の断面積及び芯線などの血管形状データと、血液の物性値、反復計算の条件及び解析の初期値などの設定条件に基づいて、血管の所定の位置ごとに、圧力、血流量、血液の流速、ベクトル及びせん断応力などの指標値を算出する。そして、生成機能452は、冠動脈の位置ごとの圧力に基づいて、位置ごとのFFR値を取得することができる。なお、流体解析に関するアプリケーションは、診療ナレッジ422に含まれ、記憶回路42に記憶される。
また、生成機能452は、上記した流体解析の結果からその他のデータを取得することもできる。例えば、心エコーが実施されておらず、冠動脈血流波形などのデータが取得されていない被検体について、生成機能452は、流体解析の結果を用いて冠動脈血流波形などのデータを推定することで、学習用データを生成することができる。
上述したように学習用データが生成されると、学習機能453は、生成機能452によって生成された学習用データを用いた機械学習によって学習済みモデルを生成する。ここで、本実施形態では、医用情報処理装置4の処理回路45が学習機能453を実行することで、学習済みモデル423を生成する場合について説明するが、実施形態はこれに限定されるものではない。例えば、他の情報処理装置が以下で説明する処理を実行することで、学習済みモデル423を生成し、生成された学習済みモデル423が、記憶回路42に格納される場合でもよい。
例えば、学習機能453は、「主訴(胸痛など)」、「血液検査(コレステロールなど)」、「心電図(ST低下など)」及び「心エコー(冠動脈血流波形など)」と、「FFR値」とを学習用データとして機械学習エンジンに入力することによって、機械学習を行い、診療データの入力に応じてFFR値を出力するように機能付けられた学習済みモデルを生成する。ここで、機械学習エンジンとしては、例えば、公知である非特許文献「クリストファー M. ビショップ(Christopher M. Bishop)著、「パターン認識と機械学習(Pattern recognition and machine learning)」、(米国)、第1版、スプリンガー(Springer)、2006年、P.225-290」に記載のニューラルネットワーク(Neural Network)などを適用することができる。
なお、機械学習エンジンについては、上記したニューラルネットワークの他、例えば、ディープラーニングや、ロジスティック(Logistic)回帰分析、非線形判別分析、サポートベクターマシン(Support Vector Machine:SVM)、ランダムフォレスト(Random Forest)、ナイーブベイズ(Naive Bayes)等の各種のアルゴリズムを用いるものでもよい。
このような機械学習の結果として、学習機能453は、学習済みアルゴリズムに入力される「主訴(胸痛など)」、「血液検査(コレステロールなど)」、「心電図(ST低下など)」及び「心エコー(冠動脈血流波形など)」の入力に対して、FFRの値を出力する学習済みモデル423を生成する。そして、学習機能453は、生成した学習済みモデル423を記憶回路42に記憶させる。なお、このとき、学習機能453は、以前に作成した学習済みモデル423が既に記憶回路42に記憶されていた場合には、新しく作成した学習済みモデル423で、記憶されている学習済みモデル423を置き換えることもできる。
次に、医用情報処理装置4による処理の手順を説明する。図5は、第1の実施形態に係る医用情報処理装置4による処理の手順を示すフローチャートである。ここで、図5におけるステップS101、ステップS102は、処理回路45が、記憶回路42から生成機能452に対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図5におけるステップS103、ステップS104は、処理回路45が、記憶回路42から学習機能453に対応するプログラムを呼び出して実行することにより、実現されるステップである。
図5に示すように、医用情報処理装置4においては、処理回路45が、まず、被検体の複数の診療データを取得し、取得した診療データセットに不足があるか否かを判定する(ステップS101)。ここで、診療データに不足がある場合には(ステップS101、肯定)、処理回路45は、診療ナレッジに基づくシミュレーションにより不足データを取得する(ステップS102)。なお、診療データに不足がない場合には、処理回路45はステップS102の処理を省略する(ステップS101、否定)。
そして、処理回路45は、診療データセットを学習用データとした機械学習によって、学習済みモデルを生成して(ステップS103)、生成した学習済みモデルを記憶回路42に記憶させる(ステップS104)。
上述したように、第1の実施形態によれば、制御機能451は、被検体の複数の診療データを取得する。生成機能452は、複数の診療データに含まれる少なくとも1つの診療データに対して診療ナレッジに基づく予測処理を行うことで予測データを取得し、複数の診療データに含まれる診療データと予測データとを含む学習用データを生成する。したがって、第1の実施形態に係る医用情報処理装置4は、診療ナレッジに基づいた診療データを学習用データとして生成することができ、臨床に沿った学習用データを取得することを可能にする。
また、第1の実施形態によれば、生成機能452は、診療ナレッジに沿った予測処理により、診療データに含まれるデータ種別以外の予測データを取得する。したがって、第1の実施形態に係る医用情報処理装置4は、学習用データとして用いる複数の診療データに不足がある場合でも、臨床的に妥当な診療データを取得し、学習用データとして用いることを可能にする。
また、第1の実施形態によれば、学習機能453は、学習用データを用いた機械学習によって学習済みモデルを生成する。したがって、第1の実施形態に係る医用情報処理装置4は、臨床的に精度の高い学習済みモデルを得ることを可能にする。
(第2の実施形態)
上述した第1の実施形態では、診療ナレッジに基づくシミュレーションによって不足する診療データを取得して、学習用データを生成する場合について説明した。第2の実施形態では、診療データセットを改変して臨床的に妥当な診療データセットを生成する場合について説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。
上述した第1の実施形態では、診療ナレッジに基づくシミュレーションによって不足する診療データを取得して、学習用データを生成する場合について説明した。第2の実施形態では、診療データセットを改変して臨床的に妥当な診療データセットを生成する場合について説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。
第2の実施形態に係る生成機能452は、診療ナレッジに沿った予測処理により、診療データに含まれるデータを変化させた予測データを取得する。具体的には、生成機能452は、不足がない学習用データを診療ナレッジに沿って改変することで、新たな学習用データを生成する。
図6は、第2の実施形態に係る生成機能452による処理を説明するための図である。なお、図6においては、図3Bに示す学習用データに対する処理を示す。すなわち、「主訴」、「血液検査」、「心電図」、「心エコー」及び「FFR値」が揃っている診療データセットに対する処理を示す。例えば、生成機能452は、図6に示すように、冠動脈CTによって収集されたCT画像データに対して一部改変を行うことで、新たな診療データセットを生成する。
一例を挙げると、生成機能452は、CT画像データに含まれる冠動脈や心筋、大動脈の構造を一部変更する。そして、生成機能452は、変更後のデータを用いて流体解析を行い、FFR値や、冠動脈血流波形などのデータを取得することで、新たな診療データセットを生成する。ここで、構造を変更する場合、例えば、年齢に基づく変化や、狭窄の進行に沿った変化が用いられる。一例を挙げると、生成機能452は、加齢に伴う血管形状の変化や、血管壁の柔軟性の変化に基づいて、冠動脈の構造を変更する。また、生成機能452は、狭窄の進行の仕方に沿って、冠動脈の構造を変更する。
なお、加齢に伴う血管形状の変化や、血管壁の柔軟性の変化、狭窄の進行の仕方などの情報は、診療ナレッジ422に含まれ、記憶回路42に記憶される。すなわち、生成機能452は、これらの情報を記憶回路42から読み出し、読み出した情報に基づいて構造を変更する。
また、例えば、生成機能452は、流体解析に用いる解析条件のパラメータを変更することで、新たな診療データセットを生成することもできる。一例を挙げると、生成機能452は、流体解析の解析条件に含まれる血液の密度や粘度などの生理学的なパラメータを変更する。そして、生成機能452は、変更後のパラメータで流体解析を行い、FFR値や、冠動脈血流波形などのデータを取得することで、新たな診療データセットを生成する。なお、血液の密度や粘度を変更する場合、生成機能452は、生理学的にあり得る範囲で血液の密度や粘度を変更する。
上述したように、第2の実施形態に係る生成機能452は、既存の診療データセットに対して、診療ナレッジに基づく改変を行うことで、新たな診療データセットを生成する。ここで、生成機能452は、変更した内容に関連する他の診療データについても、診療ナレッジに基づく変更を加える。例えば、流体解析のパラメータに含まれる血液密度や血液粘度を変更する場合、生成機能452は、診療データ「血液検査」に含まれるコレステロールなどの情報を診療ナレッジに基づいて改変する。すなわち、生成機能452は、改変に応じたシミュレーションにより、診療データセット全体を改変する。
次に、医用情報処理装置4による処理の手順を説明する。図7は、第2の実施形態に係る医用情報処理装置4による処理の手順を示すフローチャートである。ここで、図7においては、シミュレーションによって不足データを取得する処理に加えて、本実施形態に係る処理を実行する場合について示す。図7におけるステップS201〜ステップS204は、処理回路45が、記憶回路42から生成機能452に対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図7におけるステップS205、ステップS206は、処理回路45が、記憶回路42から学習機能453に対応するプログラムを呼び出して実行することにより、実現されるステップである。
図7に示すように、医用情報処理装置4においては、処理回路45が、まず、被検体の複数の診療データを取得し、取得した診療データセットに不足があるか否かを判定する(ステップS201)。ここで、診療データに不足がある場合には(ステップS201、肯定)、処理回路45は、診療ナレッジに基づくシミュレーションにより不足データを取得する(ステップS202)。なお、診療データに不足がない場合には、処理回路45はステップS202の処理を省略する(ステップS201、否定)。
そして、処理回路45は、診療データセットの一部を改変して(ステップS203)、改変に応じたシミュレーションにより診療データセットを改変する(ステップS204)。
その後、処理回路45は、改変後の診療データセットを学習用データとした機械学習によって、学習済みモデルを生成して(ステップS205)、生成した学習済みモデルを記憶回路42に記憶させる(ステップS206)。
上述したように、第2の実施形態によれば、生成機能452は、診療ナレッジに沿った予測処理により、複数の診療データに含まれるデータを変化させた予測データを取得する。したがって、第2の実施形態に係る医用情報処理装置4は、臨床的に妥当な診療データを用いた学習用データを容易に増やすことを可能にする。
(第3の実施形態)
第3の実施形態では、診療ナレッジの一部を改変して臨床的に不当な診療データセットを生成する場合について説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。
第3の実施形態では、診療ナレッジの一部を改変して臨床的に不当な診療データセットを生成する場合について説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。
第3の実施形態に係る生成機能452は、診療ナレッジに反する予測処理により、複数の診療データに含まれるデータ種別以外の予測データを取得する。また、第3の実施形態に係る生成機能452は、診療ナレッジに反する予測処理により、複数の診療データに含まれるデータを変化させた予測データを取得する。具体的には、生成機能452は、診療ナレッジに基づくシミュレーションに対して、物理学的法則や生理学的法則に従わない改変を行うことで、診療ナレッジに反するシミュレーションを行う。そして、生成機能452は、診療ナレッジに反するシミュレーションによって得られた診療データを含む診療データセットを、臨床的に不当な学習用データとして生成する。
図8は、第3の実施形態に係る生成機能452による処理を説明するための図である。なお、図8においては、図3Bに示す学習用データに対する処理を示す。すなわち、「主訴」、「血液検査」、「心電図」、「心エコー」及び「FFR値」を学習用データとする場合の例を示す。
例えば、生成機能452は、図8に示すように、冠動脈CTによって収集されたCT画像データに対して実行する血流解析シミュレーションに一部改変を行うことで、臨床的に妥当ではない新たな診療データセットを生成する。一例を挙げると、生成機能452は、血流解析シミュレーションの数式モデルの一部に対して物理学的法則や生理学的法則に従わない改変を行う。これにより、改変後の血流解析シミュレーションから得られるFFR値は、臨床的に妥当ではなく、誤ったデータとなる。
ここで、上述した臨床的に妥当ではない診療データセットは、診療データが一部欠損する診療データセットから生成されてもよく、或いは、すべての診療データが揃った診療データセットから生成されてもよい。すなわち、生成機能452は、第1の実施形態及び第2の実施形態で説明した処理において、シミュレーションを実行する前に、シミュレーションモデルに改変を加えることで、臨床的に不当な学習用データを生成する。
学習機能453は、上述したように生成された臨床的に不当な学習用データを機械学習に用いることで、学習済みモデルのロバスト性を高めることができる。
上述したように、第3の実施形態によれば、生成機能452は、診療ナレッジに反する予測処理により、複数の診療データに含まれるデータ種別以外の予測データを取得する。また、生成機能452は、診療ナレッジに反する予測処理により、複数の診療データに含まれるデータを変化させた予測データを取得する。したがって、第3の実施形態に係る医用情報処理装置4は、臨床的に妥当ではない学習用データを意図的に生成することができ、当該学習用データを用いて機械学習を行うことで、学習済みモデルのロバスト性を高めることを可能にする。
(その他の実施形態)
さて、これまで第1〜第3の実施形態について説明したが、上述した第1〜第3の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
さて、これまで第1〜第3の実施形態について説明したが、上述した第1〜第3の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した実施形態では、診療ナレッジに基づくシミュレーションとして血流解析シミュレーションを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、診療ナレッジに基づくシミュレーションであればどのようなものが用いられてもよい。
例えば、生成機能452は、疾患の発症をモデル化した発症モデルを用いて、診療データを取得することができる。図9は、その他の実施形態に係るシミュレーションの一例を説明するための図である。ここで、図9においては、CHD(Coronary Heart Disease)の発症に至るまでの各因子の関係を示す。
例えば、生成機能452は、図9に示すCHDの発症モデルを用いたシミュレーションにより、欠損した診療データ取得することができる。一例を挙げると、コレステロール値が欠損している場合に、生成機能452は、被検体のBMI(Body Mass Index)とCHDの程度からLDLコレステロール値を推定することで、コレステロール値を含む学習用データを生成する。
また、上述した各実施形態では、本明細書における取得部、生成部及び学習部を、それぞれ、処理回路45の制御機能451、生成機能452及び学習機能453によって実現する場合の例を説明したが、実施形態はこれに限られるものではない。例えば、本明細書における取得部、生成部及び学習部は、実施形態で述べた制御機能451、生成機能452及び学習機能453によって実現する他にも、ハードウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
上述したように、処理回路45がプロセッサによって実現される場合には、処理回路45が有する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路42に記憶されている。そして、処理回路45は、記憶回路42から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路45は、図1の処理回路45に示された各機能を有することとなる。なお、図1では、単一のプロセッサによって各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路45が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、図1に示す例では、単一の記憶回路42が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路が個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
なお、上述した説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、記憶回路42に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路42にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラム(医用情報処理プログラム)は、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)−ROM、FD(Flexible Disk)、CD−R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に保存され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
以上説明した少なくとも1つの実施形態によれば、臨床に沿った学習用データを取得することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
4 医用情報処理装置
45 処理回路
451 制御機能
452 生成機能
453 学習機能
45 処理回路
451 制御機能
452 生成機能
453 学習機能
Claims (7)
- 被検体の複数の診療データを取得する取得部と、
前記複数の診療データに含まれる少なくとも1つの診療データに対して診療ナレッジ(knowledge)に基づく予測処理を行うことで予測データを取得し、前記複数の診療データに含まれる診療データと前記予測データとを含む学習用データを生成する生成部と、
を備える、医用情報処理装置。 - 前記生成部は、前記診療ナレッジに沿った予測処理により、前記複数の診療データに含まれるデータ種別以外の予測データを取得する、請求項1に記載の医用情報処理装置。
- 前記生成部は、前記診療ナレッジに沿った予測処理により、前記複数の診療データに含まれる診療データを変化させた予測データを取得する、請求項1又は2に記載の医用情報処理装置。
- 前記生成部は、前記診療ナレッジに反する予測処理により、前記複数の診療データに含まれるデータ種別以外の予測データを取得する、請求項1〜3のいずれか1つに記載の医用情報処理装置。
- 前記生成部は、前記診療ナレッジに反する予測処理により、前記複数の診療データに含まれるデータを変化させた予測データを取得する、請求項1〜4のいずれか1つに記載の医用情報処理装置。
- 前記学習用データを用いた機械学習によって学習済みモデルを生成する学習部をさらに備える、請求項1〜5のいずれか1つに記載の医用情報処理装置。
- 被検体の複数の診療データを取得する取得機能と、
前記複数の診療データに含まれる少なくとも1つの診療データに対して診療ナレッジ(knowledge)に基づく予測処理を行うことで予測データを取得し、前記複数の診療データに含まれる診療データと前記予測データとを含む学習用データを生成する生成機能と、
をコンピュータに実現させるための医用情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020006592A JP2021114139A (ja) | 2020-01-20 | 2020-01-20 | 医用情報処理装置及び医用情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020006592A JP2021114139A (ja) | 2020-01-20 | 2020-01-20 | 医用情報処理装置及び医用情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021114139A true JP2021114139A (ja) | 2021-08-05 |
Family
ID=77077085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020006592A Pending JP2021114139A (ja) | 2020-01-20 | 2020-01-20 | 医用情報処理装置及び医用情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021114139A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022115475A1 (de) | 2021-07-09 | 2023-01-12 | Makita Corporation | Elektroarbeitsmaschine |
WO2023136354A1 (ja) * | 2022-01-17 | 2023-07-20 | 株式会社エイゾス | 統計データ取得装置、寄与度演算装置、治療行為探索装置、治療対象探索装置、統計データ取得プログラム、寄与度演算プログラム、治療行為探索プログラム、及び、治療対象探索プログラム |
-
2020
- 2020-01-20 JP JP2020006592A patent/JP2021114139A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022115475A1 (de) | 2021-07-09 | 2023-01-12 | Makita Corporation | Elektroarbeitsmaschine |
WO2023136354A1 (ja) * | 2022-01-17 | 2023-07-20 | 株式会社エイゾス | 統計データ取得装置、寄与度演算装置、治療行為探索装置、治療対象探索装置、統計データ取得プログラム、寄与度演算プログラム、治療行為探索プログラム、及び、治療対象探索プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6751170B2 (ja) | 血流特性のモデリングにおける感度解析方法及びシステム | |
US11854704B2 (en) | Systems and methods for anatomical modeling using information obtained from a medical procedure | |
US11660143B2 (en) | Systems and methods for diagnosis and assessment of cardiovascular disease by comparing arterial supply capacity to end-organ demand | |
US20140180080A1 (en) | Method for Estimating Pressure Gradients and Fractional Flow Reserve from Computed Tomography Angiography: Transluminal Attenuation Flow Encoding | |
AU2016242999B2 (en) | Systems and methods for predicting perfusion deficits from physiological, anatomical, and patient characteristics | |
JP6362853B2 (ja) | 血管解析装置、および血管解析装置の作動方法 | |
JP2015097724A (ja) | 血管解析装置及び血管解析プログラム | |
JP2021114139A (ja) | 医用情報処理装置及び医用情報処理プログラム | |
JP7443197B2 (ja) | 医用画像処理装置、システム及び方法 | |
JP2022038666A (ja) | 医用画像処理装置、システム及び方法 | |
JP2024073279A (ja) | 医用情報解析装置、医用情報解析方法及び医用情報解析プログラム | |
JP2022171345A (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
JP2023092327A (ja) | 情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240304 |