JP2019082745A5

JP2019082745A5 -

Info

Publication number: JP2019082745A5
Application number: JP2017197567A
Authority: JP
Filing date: 2017-10-11
Publication date: 2020-08-27

Description

人工知能利用駆出率決定方法Method of determining ejection fraction using artificial intelligence

本発明は、心臓の収縮機能、より具体的には、駆出率測定に関する。 The present invention relates to the systolic function of the heart, and more particularly to ejection fraction measurement.

駆出率は、収縮毎に心臓を出て行く血液の割合を示す、心臓の収縮機能の測定値である。具体的には、心臓のポンピング・サイクル毎に、心臓は収縮・弛緩する。心臓が収縮するとき、心臓の左心室と右心室として知られている二つのポンプ室から血液を送出する。逆に、心臓が弛緩するとき、両方の心室には血液が補充される。重要なことは、心臓の収縮がどれほど強力でも、心臓は、血液の全てを各心室から送出することはできずに、一部分の血液は残っている。したがって、「駆出率」という用語は、血液で満杯になった心室から各拍動によって送出することができる血液の割合を意味する。 Ejection Fraction is a measure of the systolic function of the heart that indicates the percentage of blood leaving the heart after each systole. Specifically, the heart contracts and relaxes with each pumping cycle of the heart. As the heart contracts, it pumps blood from two pump chambers known as the left and right ventricles of the heart. Conversely, when the heart relaxes, both ventricles are replenished with blood. Importantly, no matter how strong the heart contracts, the heart cannot deliver all of the blood from each ventricle and some blood remains. Thus, the term "ejection fraction" means the percentage of blood that can be pumped with each beat from a blood-filled ventricle.

２つの心室のうち、左心室は上行大動脈を通って身体の他の部分に酸素富化血液を送出する心臓の主要なポンプ室であり、右心室は酸素富化のために肺に血液を送出する心室である。左心室または右心室の駆出率は、いくつかの異なる画像技術を使用して測定することができる。最も一般的な技術は、駆出率を心臓と心臓から送出される血液との音波生成画像によって測定した心エコー検査である。心エコー検査に代わる手段は、磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、核医学スキャニング、及びカテーテル・ベース画像法の利用がある。 Of the two ventricles, the left ventricle is the main pump chamber of the heart that delivers oxygen-enriched blood through the ascending aorta to other parts of the body, and the right ventricle delivers blood to the lungs for oxygen enrichment. It is a ventricle that does. Left or right ventricular ejection fraction can be measured using several different imaging techniques. The most common technique is echocardiography, where the ejection fraction is measured by sonographed images of the heart and blood pumped from the heart. Alternatives to echocardiography include the use of magnetic resonance imaging (MRI), computed tomography (CT), nuclear medicine scanning, and catheter-based imaging.

現在の駆出率測定方法は、心臓の病状の評価が不正確になりがちである。この誤りは、患者の治療の遅延、治療遅延中に病状の重大な悪化を招く可能性がある。これに関して、心エコー検査は、シンプソン・バイプレーン法に基づいて測定値を得る。特に、シンプソン・バイプレーン法では、駆出率を計算するために、心臓の心室の最終収縮期容積および最終拡張期容積を測定する。しかし、このときに、心臓の心室の境界は人間の観察者によって人手で追跡する必要があり、これは担当者の主観に委ねられる。このとき、心室の容積は有限個の、通常は２０個の楕円柱で構成されていると仮定される。この仮定は取り扱いには便利ではあるが、正確ではない。さらに、この方法は、正確な最終収縮期画像フレームおよび最終拡張期画像フレームを検出する処理、正確に行われなければミスを引き起こす可能性のある重要なステップに依拠している。その結果、現在の駆出率測定方法は、最近の診断技術の進歩にもかかわらず、最適化されていない、また、再現性のない方法で測定をしている。 Current ejection fraction measurement methods are prone to inaccurate assessment of heart conditions. This error can lead to delayed treatment of the patient and a significant exacerbation of the medical condition during the delayed treatment. In this regard, echocardiography takes measurements based on the Simpson biplane method. In particular, the Simpson Biplane method measures the final systolic and final diastolic volumes of the ventricles of the heart to calculate ejection fraction. However, at this time, the boundaries of the ventricles of the heart need to be manually tracked by a human observer, which is subject to the subjectivity of the person in charge. At this time, it is assumed that the volume of the ventricle is composed of a finite number, usually 20 elliptic cylinders. This assumption is convenient to handle, but not accurate. In addition, this method relies on the process of detecting the correct final systolic and final diastolic image frames, an important step that, if not done correctly, could cause mistakes. As a result, current ejection fraction measurement methods are not optimized and are not reproducible, despite recent advances in diagnostic technology.

本発明の実施形態は、駆出率測定に関する技術の欠点を克服し、人工知能利用駆出率決定のための新規かつ進歩性のある方法、システム、およびコンピュータ・プログラム製品を開示する。本発明の一実施形態において、人工知能利用駆出率決定のための方法は、異なる心臓の心室から取得された心臓画像データの異なる組および各組に対する既知の駆出率を用いてニューラル・ネットワークを訓練するステップを含む。次に、訓練されたニューラル・ネットワークは、コンピュータのメモリにロードされる。画像データの同時期に撮影された組が、心臓の心室の画像化処理の間に生成された、クリップ画像群またはクリップ・データのどちらかの形態で取得される。最終的には、この画像データは、ディスプレイ上に視覚化することができる、所定時間内の、心臓の心室の空間データに変換される。その後、画像データの同時期に撮影された組が前記ニューラル・ネットワークに提供される。最終的に、前記ニューラル・ネットワークによって出力された駆出率の決定値が、心臓の心室の境界をたどることなく、コンピュータのディスプレイに表示される。 Embodiments of the present invention overcome the shortcomings of the technology related to ejection fraction measurement and disclose new and inventive methods, systems, and computer program products for artificial intelligence-based ejection fraction determination. In one embodiment of the present invention, a method for determining artificial ejection fraction is a neural network using different sets of cardiac image data acquired from ventricles of different hearts and known ejection fractions for each set. Training step. The trained neural network is then loaded into computer memory. A simultaneously captured set of image data is acquired in the form of either clip images or clip data generated during the imaging process of the ventricles of the heart. Ultimately, this image data is transformed into spatial data of the ventricles of the heart within a given time that can be visualized on a display. Then, a contemporaneously captured set of image data is provided to the neural network. Finally, the determined ejection fraction output by the neural network is displayed on the computer display without following the ventricle boundaries of the heart.

前記実施形態の一つの態様では、同時期に撮影された画像データの組をフィルタリングして、指定されたモダリティ（医用画像撮影装置）の画像を使用して取得され、前記心室の特定の視点の像を表す画像データのみを含むようにする。さらに、実施形態の別の態様では、同時期に撮影された画像データの組の一部のみを前記ニューラル・ネットワークに与え、出力を確定できない旨の報告を前記ニューラル・ネットワークから受け取ると、前記ニューラル・ネットワークから確定した駆出率についての出力を得るために、画像データの同時期に撮影された組の追加部分を前記ニューラル・ネットワークに提供する。実施形態のさらに別の態様では、多数の異なるニューラル・ネットワークの各々が、異なる複数の心臓の心室から取得された心電図の画像データ、および、それぞれ異なる視点の画像およびモダリティを利用して得られた画像データの組の各々に対する既知の駆出率を用いて訓練される。このようにして、指定された一台のモダリティと、同時期に撮影された画像データの組の少なくとも一つの特定の視点の画像に対応する、訓練されたニューラル・ネットワークのうちの特定の一つ又は複数のもののみが、前記コンピュータのメモリにロードされる。最後に、前記実施形態の更に別の態様では、ビデオ・クリップ画像群の形態の画像データの同時期に撮影された組が、前記画像群内の各ビデオ・クリップのリサイズ及びトリミングによって前処理される。 In one aspect of the embodiment, a set of image data taken at the same time is filtered and acquired using an image of a specified modality (medical imager) to obtain a specific viewpoint of the ventricle. the image to include only the table to image picture data. Further, in another aspect of the embodiment, when only a part of a set of image data captured at the same time is given to the neural network and a report that the output cannot be determined is received from the neural network, the neural network outputs the neural network. Providing the neural network with an additional part of the imaged set of image data to obtain an output for the determined ejection fraction from the network. In yet another aspect of the embodiment, each of a number of different neural networks was obtained using electrocardiographic image data obtained from ventricles of different hearts and different perspective images and modalities. It is trained with a known ejection fraction for each of the image data sets. In this way, a single modality specified, corresponding to the images of at least one specific aspect of the set of image data captured at the same time, one specific of the neural network that is trained Only one or more are loaded into the memory of the computer. Finally, in a further aspect of the above embodiment, a simultaneously captured set of image data in the form of video clip images is preprocessed by resizing and trimming each video clip in the images. It

本発明の別の実施形態では、人工知能利用駆出率決定に用いるために、心電図データ処理システムが構成される。該心電図データ処理システムはホスト・コンピューティング・プラットフォームを含み、該ホスト・コンピューティング・プラットフォームは、各々がメモリと少なくとも一つのプロセッサとを有する一つまたは複数のコンピュータを含む。前記心電図データ処理システムは、また、駆出率決定モジュールも含み、該駆出率決定モジュールはコンピュータ・プログラム命令を含む。該コンピュータ・プログラム命令は、前記ホスト・コンピューティング・プラットフォームのメモリ内で実行されると作動され、異なる複数の心臓の心室について取得された心電図の画像データの異なる複数の組と、この複数の組の各々に対する既知の駆出率と、を用いて訓練されたニューラル・ネットワークを前記メモリにロードし、心臓の心室の同時期に撮影された画像データの一つの組を取得し、該同時期に撮影された画像データの一つの組を前記ニューラル・ネットワークに入力し、そして、前記心臓の前記心室の境界をたどることなく、前記ニューラル・ネットワークによって出力された駆出率の決定値を前記コンピュータのディスプレイに表示する。 In another embodiment of the invention, an electrocardiogram data processing system is configured for use in artificial intelligence assisted ejection fraction determination. The electrocardiogram data processing system includes a host computing platform, the host computing platform including one or more computers each having a memory and at least one processor. The electrocardiographic data processing system also includes an ejection fraction determination module, the ejection fraction determination module including computer program instructions. The computer program instructions are activated when executed in the memory of the host computing platform to generate different sets of electrocardiographic image data acquired for ventricles of different hearts, and the plurality of sets. A neural network trained with a known ejection fraction for each of, and a set of image data taken at the same time of the ventricles of the heart is acquired at the same time. One set of captured image data is input to the neural network, and the ejection fraction determination value output by the neural network is traced to the computer without tracing the boundaries of the ventricles of the heart. Display on the display.

本発明のさらに別の態様は、一部が本明細書の以後の記載で説明され、また、一部は本明細書の記載から自明であり、または、本発明の実施によって習得することができる。本発明の複数の態様は、添付の特許請求の範囲において詳細に記載された構成要素および組合せによって実現され、達成することができる。前述の概略的説明および以下の詳細な説明は、代表的な例であり、かつ、説明目的のものに過ぎず、特許請求された本発明を限定するものではない。 Still other aspects of the invention are in part described in the remainder of the specification and are, in part, obvious from the description or can be learned by practice of the invention. .. The aspects of the present invention can be realized and obtained by means of the components and combinations particularly pointed out in the appended claims. The foregoing general description and the following detailed description are exemplary and for purposes of illustration only and are not limiting of the claimed invention.

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、本発明の実施形態を例示し、かつ、本明細書と共に本発明の原理を説明する役割を果たす。本図面に例示された実施形態は、現在においては好ましい実施形態であるが、しかしながら、本発明は、図示された詳細な配置および機器に限定されない。 The accompanying drawings, which are incorporated in and constitute a part of this specification, illustrate embodiments of the invention, and together with the description serve to explain the principles of the invention. The embodiments illustrated in the drawings are presently preferred embodiments, however, the present invention is not limited to the detailed arrangements and equipment illustrated.

人口知能を利用した駆出率決定の処理を図式的に説明する図である。It is a figure which illustrates the processing of ejection fraction determination using artificial intelligence diagrammatically. 人口知能を利用した駆出率を決定する心電図データ処理システムの概略図である。It is a schematic diagram of an electrocardiogram data processing system which determines ejection fraction using artificial intelligence. 人口知能を利用した駆出率決定のための処理を説明するフローチャートである。It is a flow chart explaining processing for ejection fraction determination using artificial intelligence.

本発明の実施形態は、人工知能利用駆出率決定方法を提供する。本発明の実施形態によれば、異なる複数の心臓の左心室、右心室、または両方の心室について、異なる複数のビデオ・クリップの形態の心電図画像データの異なる複数の組が取得され、かつ、前記心電図画像データの異なる複数の組の各々に対応する既知の駆出率が、前記心電図画像データの異なる複数の組と関連付けられる。次に、ニューラル・ネットワークを訓練するために、前記心電図画像データの異なる複数の組が、前記関連付けられた駆出率に関する訓練用入力として前記ニューラル・ネットワークに供給される。これに関連して、前記心電図画像データの異なる複数の組は、前記ビデオ・クリップを取得するために利用された特定のモダリティ、例えば、超音波心エコー検査機、ＣＴ、またはＭＲＩ等と関連して、かつ、前記ビデオ・クリップの各々内で提供される特定のタイプの視点からの画像の表示、例えば、傍胸骨上の長軸および短軸の視点からの画像、先端の２つ、３つ、４つ、および５つの室の視点からの画像、並びに、側縁に沿った視点からの画像等のタイプの表示と一緒に、訓練入力として前記ニューラル・ネットワークに供給される。次に、訓練された前記ニューラル・ネットワークは、特定のモダリティと特定のタイプの視点からの画像とに関連付けて格納される。 Embodiments of the present invention provide a method for determining ejection fraction using artificial intelligence. According to embodiments of the present invention, different sets of electrocardiographic image data in the form of different video clips are obtained for the left ventricle, right ventricle, or both ventricles of different hearts, and Known ejection fractions corresponding to each of the different sets of electrocardiographic image data are associated with the different sets of electrocardiographic image data. Then, to train the neural network, different sets of the electrocardiographic image data are provided to the neural network as training inputs for the associated ejection fraction. In this regard, the different sets of electrocardiographic image data are associated with a particular modality utilized to acquire the video clip, such as echocardiography, CT, or MRI. Te, and the display of images from a particular type of viewpoint is provided in each of the video clip, for example, images from major and minor axes of the viewpoint on the parasternal, two of the tip, three, four, and images from five chambers viewpoints, and, together with the indication of the type, such as images from the viewpoint along the side edges is provided to said neural network as a training input. Next, the neural network has been trained, are stored in association with the images from a specific type of viewpoint and specific modality.

その後、一つの心臓の一つの心室の心臓画像データの同時期に撮影された組が一組取得され、該画像群の同時期に撮影された組に対して特定のモダリティおよび特定の視点からの画像が識別される。オプションであるが、基準以下の品質であると判定されたビデオ・クリップは、前記画像群の同時期に撮影された組から除去される。次に、前記画像群の同時期に撮影された組の前記識別された特定のモダリティと特定の視点からの画像に対応するニューラル・ネットワークが選択され、前記画像群の同時期に撮影された組が前記選択されたニューラル・ネットワークに入力され、前記選択されたニューラル・ネットワークからの出力として、前記心臓の心室の境界をたどることなく駆出率の値を受けとる。このようにして、前記心室の前記駆出率は、従来の人間の観察者が手作業で行う心室の追跡、収縮末期または拡張末期のフレームの人手による決定、または楕円形シリンダを用いた心室容積のモデル化という実際とは異なる仮定に依拠することなく、決定することができる。 Then, one of the one set taken at the same time the ventricle of the heart image data of the heart is obtained a set, specific modality and particular viewpoint with respect to the taken set in the same period of the images images from is identified. Optionally, video clips that are determined to be of substandard quality are removed from the concurrently captured set of images. Next, the neural network corresponding to the images from a particular viewpoint and the identified specific modalities set taken at the same time of the images is selected, taken at the same time of the image group A set is input to the selected neural network and receives the ejection fraction value as an output from the selected neural network without following the ventricle boundaries of the heart. Thus, the ejection fraction of the ventricle is determined by conventional human observer manual ventricular tracking, manual determination of end-systolic or end-diastolic frames, or ventricular volume using an elliptical cylinder. Decisions can be made without resorting to unrealistic assumptions of modeling.

さらに詳細に説明すると、図１は、人工知能利用駆出率決定の処理を説明した図である。図１に示すように、心電図データ処理システム１２０は、心臓１１０の心室の画像化の間に、心臓１１０の心室の画像データ１３０を取得する。画像データ１３０は、例えば、超音波撮影された、ＣＴ画像群またはＭＲＩ画像群のように、一つ又は複数の異なるモダリティによって取得することができる。前記画像データは、また、所定時間内の、一次元、二次元、または三次元のいずれかの空間データを含み、該空間データは、例えば、傍胸骨上の長軸および短軸の視点からの画像、先端の２つ、３つ、４つ、および５つの室の視点からの画像、並びに、側縁に沿った視点からの画像等の心臓１１０の多様な視点からの空間データを含んでいる。次に、ビデオ・クリップ画像群１３０は前処理され、画像データ１３０をフィルタリングして、心臓１１０の一つまたは複数の選択された視点からの画像に対応し、かつ、一つ又は複数の選択されたモダリティによって得られる画像データから選択された選択画像データ１５０が得られる。該選択画像データ１５０は、例えば、一部だけが映った視点からの画像またはずれた視点からの画像を除去した適切な品質を持つ２室または４室のいずれかの視点からの画像であり、そして、Ｂモード心エコー検査、ドップラーモード心エコー検査、Ｍモード心エコー検査、ＣＴ、またはＭＲＩのいずれかの方法により取得される特定の視点からの画像である。 More specifically, FIG. 1 is a diagram illustrating a process of determining the ejection fraction using artificial intelligence. As shown in FIG. 1, the electrocardiogram data processing system 120 acquires image data 130 of the ventricles of the heart 110 during imaging of the ventricles of the heart 110. The image data 130 can be acquired by one or a plurality of different modalities, for example, a CT image group or an MRI image group obtained by ultrasonic imaging. The image data also includes any one-dimensional, two-dimensional, or three-dimensional spatial data within a predetermined time, and the spatial data is, for example, from a long-axis and short-axis viewpoint on the parasternal bone . images, two of the tip, 3, 4, and images from the perspective of five chambers, as well as spatial data from a variety of perspectives of the heart 110, such as images from the viewpoint along the side edges Contains. Next, a video clip image group 130 is pre-processed by filtering the image data 130, corresponding to the images from one or more selected viewpoint of the heart 110, and one or more selected The selected image data 150 selected from the image data obtained by the selected modality is obtained. The selected image data 150 is, for example, image from any perspective two chambers or 4 rooms with appropriate quality with removal of the images from the images also croton viewpoint from the viewpoint that only a portion is reflected it is an image, and, B-mode echocardiography, Doppler mode echocardiography, M-mode echocardiography is images from a specific viewpoint CT or Ru is obtained by any method MRI,.

次に、選択画像データ１５０から選択された部分データ１６０Ａが、ニューラル・ネットワーク１７０へ入力として与えられる。該ニューラル・ネットワーク１７０は、事前に、複数の心臓の心室の異なる複数の視点からの画像および異なる複数のモダリティから選択されたもの、及び、これらの異なる複数の切取画像に対応する既知の駆出率に関係づけて訓練されている。前記ニューラル・ネットワークが未確定な結果１９０を出力する限りは、選択画像データ１５０の新しい部分データ１６０Ｂが選択されて、ニューラル・ネットワーク１７０に与えられる。この処理は、選択画像データ１５０内に残っている画像データがなくなるまで、または、ニューラル・ネットワーク１７０が駆出率１８０を出力するまで続く。この時点で、ユーザによる検討のために、駆出率１８０がディスプレイに表示される。ニューラル・ネットワーク１７０の前記出力は、オプションであるが、ディスプレイ表示の代わりに、画像保管通信システム（ＰＡＣＳ：ＰｉｃｔｕｒｅＡｒｃｈｉｖｉｎｇａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）、電子診断記録（ＥＭＲ：ＥｌｅｃｔｒｏｎｉｃＭｅｄｉｃａｌＲｅｃｏｒｄ）システム、または、心エコー検査／放射線検査情報管理システムと連携して格納することができる。 Next, the partial data 160A selected from the selected image data 150 is given as an input to the neural network 170. The neural network 170, in advance, those selected from the images and different modalities from multiple ventricular plurality of different viewpoints of the heart, and, driving the known corresponding to these different cut images Trained in relation to the rate. As long as the neural network outputs an undetermined result 190, the new partial data 160B of the selected image data 150 is selected and given to the neural network 170. This process continues until there is no image data left in the selected image data 150, or until the neural network 170 outputs a ejection fraction 180. At this point, the ejection fraction 180 is displayed on the display for review by the user. The output of the neural network 170 is optional, but instead of a display, a picture archiving and communication system (PACS), an electronic medical record (EMR) system, or an echocardiographic system. It can be stored in cooperation with the inspection/radiation inspection information management system.

図１に関連して説明した処理は、心電図データ処理システムにおいて実現することができる。さらに別の図で説明すると、図２は、人工知能を利用して駆出率を決定する心電図データ処理システムを概略的に示している。本システムは、それぞれがメモリおよび少なくとも一つのプロセッサを備えた一つまたは複数のコンピュータを有するホスト・コンピューティング・プラットフォーム２１０を含んでいる。駆出率がそれぞれ既にわかっている異なる複数の心臓のビデオ・クリップ画像群の組を入力して、訓練・モジュール２２０を使用して訓練されたニューラル・ネットワーク２４０が、ホスト・コンピューティング・プラットフォーム２１０のメモリにロードされる。オプションであるが、ニューラル・ネットワーク２４０は、それぞれが、異なる複数のモダリティによって取得され、心臓の異なる複数の視点からの画像を表示する異なるビデオ・クリップ画像群を使用して訓練された、異なる複数のニューラル・ネットワークから選択されたものを含むことができる。 The process described with reference to FIG. 1 can be implemented in an electrocardiogram data processing system. Referring to yet another figure, FIG. 2 schematically illustrates an electrocardiogram data processing system that utilizes artificial intelligence to determine ejection fraction. The system includes a host computing platform 210 having one or more computers each having a memory and at least one processor. A neural network 240 trained using the training module 220 inputs a set of video clip images of different hearts, each of which ejection fraction is already known, into a host computing platform 210. Loaded into memory. Although optional, the neural network 240, respectively, are acquired by different modalities, which is trained using different video clips images to display the images from multiple viewpoints different heart, different It may include a selection from multiple neural networks.

注目すべきは、駆出率決定モジュール３００が提供されることである。駆出率決定モジュール３００は、ホスト・コンピューティング・プラットフォーム２１０のメモリ内で実行されると作動され、画像記憶装置２３０に記憶された心臓の画像データから、同時期に撮影された画像データを選択して処理することができるコンピュータ・プログラム命令を含む。該プログラム命令は、さらに、前記選択された画像データを、特定のモダリティから供給され選択された視点からの画像からなる画像データのみにフィルタリングすることにより、画像データの選択を前処理することができる。前記プログラム命令は、さらに、前記画像データがビデオ・クリップ画像群の形態のときに、前記画像データを前処理して、前記ビデオ・クリップ画像群をトリミングして、該ビデオ・クリップ画像群から前記心臓とは無関係な不要なものを除去すること、前記ビデオ・クリップ画像群を正しい角度方向に回転すること、及び、前記ビデオ・クリップ画像群のサイズ変更することができる。 Of note, the ejection fraction determination module 300 is provided. The ejection fraction determination module 300 operates when executed in the memory of the host computing platform 210, and selects image data captured at the same time from image data of the heart stored in the image storage device 230. Computer program instructions that can be processed by a computer. The program instructions further image data to which the selected, by filtering only the image data consisting of images from a selected viewpoint supplied from a particular modality, be pretreated selection of the image data it can. When the image data is in the form of a video clip image group, the program instruction further pre-processes the image data, trims the video clip image group, and outputs the video clip image group from the video clip image group. It is possible to remove unwanted things that are unrelated to the heart, rotate the video clip images in the correct angular direction, and resize the video clip images.

前記実施形態の一つの態様では、フィルタ処理され前処理された画像データの全体を、駆出率の決定のためにニューラル・ネットワーク２４０に入力することができる。この場合に、ニューラル・ネットワーク２４０への入力時には、ビデオ・クリップ画像群の前記同時期に撮影された組に含まれる各ビデオ・クリップが複数のフレームに分解されながら、並行して、該複数のフレームがニューラル・ネットワーク２４０に送出される。しかしながら、代替策として、前記プログラム命令は、前記フィルタ処理され前処理された一部の画像データのみを選択してニューラル・ネットワーク２４０へ入力でき、このとき、前記一部の画像データに含まれる各ビデオ・クリップ用画像データは、複数のフレームに分解されながら、該複数のフレームは、同時並行で、ニューラル・ネットワーク２４０に入力される。どちらにしても、前記プログラム命令は、ニューラル・ネットワーク２４０が導出した駆出率を、ニューラル・ネットワーク２４０が出力したときに表示することができる。しかしながら、ニューラル・ネットワーク２４０が未確定な結果を生成する場合に対応するために、前記プログラム命令は、心臓の心室の駆出率を決定する際の追加対応において、ニューラル・ネットワーク２４０への追加入力のために、フィルタリングされ前処理された画像の追加部分を選択することができる。 In one aspect of the above embodiment, the entire filtered and pre-processed image data may be input to the neural network 240 for ejection fraction determination. In this case, at the time of input to the neural network 240, each video clip included in the set of video clip image groups captured at the same time is decomposed into a plurality of frames in parallel, The frame is sent to the neural network 240. However, as an alternative, the program instructions may select only some of the filtered and pre-processed image data to input to the neural network 240, at which time each of the images contained in the partial image data may be selected. The video clip image data is decomposed into a plurality of frames, and the plurality of frames are simultaneously input to the neural network 240 in parallel. In any case, the program instructions can display the ejection fraction derived by the neural network 240 when it is output. However, in order to accommodate the case where neural network 240 produces indeterminate results, the program instructions provide additional input to neural network 240 in an additional response in determining ventricular ejection fraction of the heart. An additional portion of the filtered and pre-processed image can be selected for.

図３は、駆出率決定モジュール３００の動作のさらに別の説明における、人工知能利用駆出率決定のための処理を示すフローチャートである。ブロック３１０から開始して、心臓の心室のビデオ・クリップ画像群の一つの組の形態の画像データをメモリにロードする。ブロック３２０において、前記一つの組の中にあるビデオ・クリップ画像群をフィルタリングして、選択されたモダリティによって撮影した画像の一つ又は複数の選択された視点からの画像のみを含むようにする。次に、ブロック３３０において、フィルタリングされたビデオ・クリップ画像群の各々を、トリミング機能、パディング（補充）機能、または回転機能によって補正する。最後に、ブロック３４０でフィルタリングされたビデオ・クリップ画像群の組の一部分を選択し、ブロック３５０において前記ニューラル・ネットワークへ入力する。オプションであるが、選択された視点からの画像および選択されたモダリティに関して訓練された特定のニューラル・ネットワークが選択され、該ニューラル・ネットワークがブロック３５０で前記入力を受け取るようにできる。判定ブロック３６０において、前記ニューラル・ネットワークが駆出率を出力できるかどうかを判定する。駆出率を出力できれば、ブロック３９０において、駆出率を表示する。駆出率を出力できなければ、判定ブロック３７０において、前記ニューラル・ネットワークによって処理されるべき追加の画像が残っているかどうかを判定する。追加の画像が残っていれば、ブロック３４０でフィルタリングされた画像の組の追加部分を選択し、ブロック３５０で前記ニューラル・ネットワークへ入力する。処理すべき画像が残っていない場合、ブロック３８０に遷移してエラー状態となる。 FIG. 3 is a flowchart showing a process for determining the ejection fraction using artificial intelligence in still another description of the operation of the ejection fraction determination module 300. Starting at block 310, image data in the form of a set of video clip images of the ventricles of the heart is loaded into memory. In block 320, filters the video clip images that are in the one set, to include only the images from one or more selected viewpoint images captured by the selected modality .. Next, at block 330, each of the filtered video clip images is corrected by a trimming, padding, or rotating function. Finally, a portion of the filtered set of video clip images is selected at block 340 and input to the neural network at block 350. Although optional, the particular neural network that is trained on images and selected modality from a selected viewpoint is selected, the neural network can to receive the input at block 350. At decision block 360, it is determined if the neural network can output ejection fraction. If the ejection fraction can be output, block 390 displays the ejection fraction. If the ejection fraction cannot be output, decision block 370 determines if there are additional images remaining to be processed by the neural network. If additional images remain, block 340 selects additional portions of the filtered image set and inputs them to the neural network at block 350. If there are no more images to process, transition to block 380 and enter an error state.

本発明は、システム、方法、コンピュータ・プログラム製品、またはそれらの任意の組み合わせで実施することができる。前記コンピュータ・プログラム製品は、プロセッサに本発明の複数の態様を実行させるためのコンピュータ可読プログラム命令を格納した、一つまたは複数のコンピュータ可読記憶媒体を含むことができる。該コンピュータ可読記憶媒体は、命令実行装置が使用する命令を保持し記憶することができる有形の装置にすることができる。前記コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせにすることができるが、これらに限定されない。 The invention can be implemented in a system, method, computer program product, or any combination thereof. The computer program product may include one or more computer readable storage media having computer readable program instructions for causing a processor to perform aspects of the present invention. The computer-readable storage medium may be a tangible device capable of holding and storing instructions used by an instruction execution device. The computer readable storage medium can be, for example, without limitation, an electronic storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination thereof.

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング・デバイスまたは処理デバイスに、またはネットワークを介して外部コンピュータまたは外部記憶装置へ、ダウンロードすることができる。前記コンピュータ可読プログラム命令は、独立したソフトウェアパッケージとして、全体、または一部をユーザのコンピュータ上で実行でき、または、一部はユーザのコンピュータ上で、一部は遠隔コンピュータ上で実行でき、または全体を遠隔コンピュータまたは遠隔サーバ上で実行することができる。本明細書では、本発明の複数の態様を、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図および／またはブロック図を参照して説明した。前記フローチャート図および／またはブロック図の各ブロック、および前記フローチャート図および／またはブロック図の複数ブロックの複数の組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。 The computer-readable program instructions described herein can be downloaded from a computer-readable storage medium to a respective computing device or processing device, or over a network to an external computer or external storage device. The computer readable program instructions may be executed in whole or in part on a user's computer as an independent software package, or in part on a user's computer and partly on a remote computer, or in whole. Can be run on a remote computer or remote server. Aspects of the present invention are described herein with reference to flowchart illustrations and/or block diagrams of methods, apparatus (systems) and computer program products according to embodiments of the invention. It will be appreciated that each block of the flowchart illustrations and/or block diagrams, and multiple combinations of blocks in the flowchart illustrations and/or block diagrams, can be implemented by computer readable program instructions.

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに与えられて、機械を構成し、前記命令が、前記コンピュータまたは他のプログラム可能データ処理装置の前記プロセッサによって実行され、前記フローチャートおよび／またはブロック図の一つまたは複数のブロックで記述された機能／動作を実行するための手段を形成する。これらのコンピュータ可読プログラム命令は、また、コンピュータ、プログラム可能データ処理装置、および／または他の装置に指示して、特定の方法で機能するように命令することができ、前記命令を含む前記コンピュータ可読記憶媒体には、前記フローチャート及び／又は前記ブロック図の一つまたは複数のブロックにおいて指定された機能／動作の複数の態様を実行する命令を格納した製品が含まれる。 These computer readable program instructions are provided to a processor of a general purpose computer, a special purpose computer, or other programmable data processing device to configure a machine, the instructions being the instructions of the computer or other programmable data processing device. It forms the means for being executed by the processor to carry out the functions/acts described in one or more blocks of the flowcharts and/or block diagrams. These computer readable program instructions may also direct a computer, programmable data processing device, and/or other device to function in a particular manner, the computer readable including the instructions. Storage media includes products that store instructions for performing multiple aspects of specified functions/acts in one or more blocks of the flowchart and/or block diagrams.

前記コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他の装置にロードされて、前記コンピュータ、他のプログラム可能データ処理装置、または他の装置上で一連の動作ステップが実行され、一つのコンピュータによって実行される処理を生成し、前記コンピュータ、他のプログラム可能なデータ処理装置、または他の装置上で実行される命令が、前記フローチャートおよび／またはブロック図の一つ又は複数のブロックに記載された機能／動作を実現する。 The computer readable program instructions are loaded into a computer, other programmable data processing device, or other device to perform a sequence of operational steps on the computer, other programmable data processing device, or other device. , Instructions that generate processing to be executed by one computer and executed on the computer, other programmable data processing device, or other device, may include one or more of the flowcharts and/or block diagrams. The function/operation described in the block is realized.

前記図面内のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の実装可能なアーキテクチャ、機能、および動作を示す。これに関して、前記フローチャートまたはブロック図の各ブロックは、特定の論理機能を実装するための一つまたは複数の実行可能命令を含むモジュール、セグメント、または命令群の一部を表す場合がある。いくつかの代替的な実施形態では、前記ブロックに示された機能は、前記の図に示された順序とは異なる順序で実行されることがある。例えば、連続して示された２つのブロックは、該ブロックが表わす機能に応じて、実際には、実質上同時に実行することができ、または、逆の順序で実行することができる。また、前記ブロック図および／またはフローチャートの各ブロック、および前記ブロックの組み合わせは、特定の機能または動作を実行する、または、専用ハードウェア及び専用コンピュータの命令の組み合わせを実行する、専用のハードウェア・ベース・システムによって実現することができる。 The flowcharts and block diagrams in the above figures illustrate the implementable architectures, functions, and operations of systems, methods, and computer program products according to various embodiments of the present invention. In this regard, each block in the flowcharts or block diagrams may represent a module, segment, or group of instructions containing one or more executable instructions for implementing a particular logical function. In some alternative implementations, the functions noted in the blocks may occur out of the order noted in the figures. For example, two blocks shown in succession may actually be executed substantially simultaneously, or in reverse order, depending on the function they represent. Also, each block in the block diagrams and/or flowcharts, and combinations of blocks, is a dedicated piece of hardware that performs a particular function or operation, or that executes a combination of dedicated hardware and instructions of a dedicated computer. It can be realized by the base system.

最後に、本明細書で使用する用語は、特定の実施形態のみを説明するためのものに過ぎず、本発明を限定することを意図していない。本明細書で使用する場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、前後の文脈で単数であることを明示しない限り、複数形も含むことを意図している。「含む（ｉｎｃｌｕｄｅ）」および／または「含んでいる（ｉｎｃｌｕｄｉｎｇ）」という用語は、本明細書で使用される場合、記載した特徴、インテジャー、ステップ、操作、要素、および／または構成部分の存在を明示しているが、一つまたは複数の他の特徴、インテジャー、ステップ、動作、要素、構成部分、および／またはそれらのグループの存在または追加を排除するものではない。 Finally, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the invention. As used herein, the singular forms "a", "an" and "the" are intended to include the plural forms as well, unless the context clearly indicates otherwise. As used herein, the terms "include" and/or "including" include the presence of the listed features, integers, steps, operations, elements, and/or components. However, it does not exclude the presence or addition of one or more other features, integers, steps, acts, elements, components, and/or groups thereof.

以下の特許請求の範囲にきさいした全てのミーンズ・プラス・ファンクションまたはステップ・プラス・ファンクションの構成要素に対応する構造、材料、動作、および均等物は、具体的に請求された他の構成要素と組み合わされて前記機能を実行するための任意の構造、材料、動作を含むことを意図している。本発明の記載は、例示および説明を目的として開示されているが、全てを網羅することは意図していないし、また、本発明を開示された形態に限定する意図もない。当業者には、本発明の範囲および精神から逸脱することなく、多くの修正および変形が想到可能であろう。本明細書に記載の実施形態は、本発明の原理および実際的な応用を最も良く説明し、当業者が、意図した特定の用途に適した様々な修正を加えた様々な実施形態に関して、本発明を理解できるように選択され、記載されたものである。 Structures, materials, acts, and equivalents that correspond to all means-plus-function or step-plus-function components that are claimed in the following claims are to be construed in terms of other components specifically claimed. It is intended to include any structure, material, or operation in combination with to perform the functions described above. The description of the present invention is disclosed for purposes of illustration and description, but is not intended to be exhaustive or to limit the invention to the disclosed forms. Many modifications and variations will be apparent to those of ordinary skill in the art without departing from the scope and spirit of the invention. The embodiments described herein best explain the principles and practical applications of the present invention, and those skilled in the art will appreciate that various embodiments with various modifications suitable for the particular application intended. It was chosen and described so that the invention might be understood.

上記のように、本出願の発明を、詳細に、かつ、その実施形態を参照することにより説明したので、以下に添付した特許請求の範囲で定義した本発明の請求範囲から逸脱することなく、修正および変形が可能であることは明らかであろう。 As described above, since the invention of the present application has been described in detail and with reference to the embodiments thereof, without departing from the scope of the invention defined in the claims attached below, It will be apparent that modifications and variations are possible.

Claims

人工知能利用駆出率決定のための方法であって、
該方法は、
異なる複数の心臓の心室について取得された、心臓画像データの異なる複数の組と、前記心臓画像データの異なる複数の組の各々に対応する既知の駆出率とを用いてニューラル・ネットワークを訓練するステップと、
前記訓練されたニューラル・ネットワークをコンピュータのメモリにロードするステップと、
心臓の心室の画像データの同時期に撮影された組を取得するステップと、
前記画像データの同時期に撮影された組を前記ニューラル・ネットワークへ与えるステップと、
前記心臓の心室の境界をトレースすることなく、前記ニューラル・ネットワークにより出力された駆出率の決定値を前記コンピュータのディスプレイに表示するステップと、を含むこと
を特徴とする方法。 A method for determining ejection fraction using artificial intelligence,
The method is
Train a neural network using different sets of cardiac image data obtained for ventricles of different hearts and known ejection fractions corresponding to each of the different sets of cardiac image data. Steps,
Loading the trained neural network into computer memory;
Acquiring a set of image data of the ventricles of the heart taken at the same time,
Applying to the neural network a set of image data taken at the same time;
Displaying the determined ejection fraction output by the neural network on the display of the computer without tracing the boundaries of the ventricles of the heart.

前記画像データの同時期に撮影された組をフィルタリングして、特定のモダリティを使用して取得され、かつ、前記心室の特定の視点の画像を表示するビデオ・クリップに含まれる画像データのみにするフィルタリングのステップをさらに含むこと
を特徴とする、請求項１に記載の方法。 Filter the set taken at the same time of the image data, it is obtained using a particular modality, and only the image data included in the video clip to display the images of a particular aspect of the ventricle The method of claim 1, further comprising the step of filtering to

前記画像データの同時期に撮影された組の一部のみが前記ニューラル・ネットワークに与えられ、かつ、
前記ニューラル・ネットワークから出力未確定の旨の報告を受信すると、前記ニューラル・ネットワークから出力される確定した駆出率を受け取るために、前記画像データの同時期に撮影された組から追加部分を前記ニューラル・ネットワークに与えること
を特徴とする、請求項１に記載の方法。 Only a portion of the set of image data taken at the same time is given to the neural network, and
Upon receipt of an undetermined output from the neural network, an additional portion from the set of image data taken at the same time is received in order to receive the confirmed ejection fraction output from the neural network. Method according to claim 1, characterized in that it is applied to a neural network.

異なる複数の心臓毎に前記心室について得られた心臓画像データの異なる複数の組と該心臓画像データの異なる複数の組の各々に対する既知の駆出率について、それぞれ異なる視点の画像とモダリティを使用して、多数の異なるニューラル・ネットワークを訓練するステップと、
前記訓練されたニューラル・ネットワークのうちの、指定されたモダリティと前記画像データの同時期に撮影された組の少なくとも一つの特定の視点の画像とに対応する特定のニューラル・ネットワークを、前記コンピュータの前記メモリにロードするステップと、をさらに含むこと
を特徴とする、請求項１に記載の方法。 The known ejection fraction for different sets of each of the plurality of pairs and the cardiac image data of different cardiac image data obtained for the ventricle for each of a plurality of different heart, the images and modalities viewpoint that different respective Training a number of different neural networks using
Wherein one of the trained neural network, a particular neural network corresponding to the images of at least one specific aspect of the set taken at the same time the image data with the specified modality, the computer The method of claim 1, further comprising: loading the memory into the memory.

ビデオ・クリップ画像群の形態をした前記画像データの同時期に撮影された組を、前記ビデオ・クリップ画像群内の各ビデオ・クリップをリサイズ及びトリミングすることによって前処理するステップを、さらに含むこと
を特徴とする、請求項１に記載の方法。 Further comprising pre-processing a contemporaneously captured set of said image data in the form of video clip images by resizing and trimming each video clip in said video clip images. The method according to claim 1, characterized in that

前記画像データの同時期に撮影された組を前記ニューラル・ネットワークに提供するステップは、前記画像データの同時期に撮影された組がビデオ・クリップ画像群の形態である場合、前記画像データの同時期に撮影された組の各ビデオ・クリップを一つのムービー・クリップの複数のフレームに分解するステップと、該ステップと並行して、前記複数のフレームを前記ニューラル・ネットワークに繰り返し送信するステップとを含むこと
を特徴とする、請求項１に記載の方法。 The step of providing to the neural network a set of the image data taken at the same time may be the same as the set of image data if the set of the image data taken at the same time is in the form of a video clip image group. The steps of decomposing each video clip of the set captured in time into a plurality of frames of a movie clip, and in parallel with the step, repeatedly transmitting the plurality of frames to the neural network. Method according to claim 1, characterized in that it comprises:

人工知能利用駆出率決定のために構成された心電図データ処理システムであって、該心電図データ処理システムは、
各々がメモリと少なくとも一つのプロセッサとを備えた一つまたは複数のコンピュータを有するホスト・コンピューティング・プラットフォームと、
コンピュータ・プログラム命令を含む駆出率決定モジュールと、を含み、
前記コンピュータ・プログラム命令は、前記ホスト・コンピューティング・プラットフォームの前記メモリ内で実行されると作動され、
異なる複数の心臓の心室について取得された心臓画像データの異なる複数の組と、前記心臓画像データの異なる複数の組の各々に対応する既知の駆出率とを用いてニューラル・ネットワークを訓練するステップと、
前記訓練されたニューラル・ネットワークを前記メモリにロードするステップと、
心臓の心室のビデオ・クリップ画像群の同時期に撮影された組を取得するステップと、
前記心臓画像データの同時期に撮影された組を前記ニューラル・ネットワークへ入力するステップと、
前記コンピュータのうちの少なくとも一つに備わるディスプレイに、前記心臓の心室の境界をたどることなく前記ニューラル・ネットワークにより出力された駆出率の決定値を表示するステップと、を実行すること
を特徴とするシステム。 An electrocardiogram data processing system configured to determine ejection fraction using artificial intelligence, the electrocardiogram data processing system comprising:
A host computing platform having one or more computers each having memory and at least one processor;
An ejection fraction determination module including computer program instructions;
The computer program instructions are operated when executed in the memory of the host computing platform,
Training a neural network with different sets of cardiac image data acquired for ventricles of different hearts and known ejection fractions corresponding to each of the different sets of cardiac image data. When,
Loading the trained neural network into the memory;
Obtaining a contemporaneously captured set of video clip images of the ventricles of the heart,
Inputting the simultaneously imaged sets of the cardiac image data to the neural network;
Displaying the determined value of the ejection fraction output by the neural network on a display provided in at least one of the computers without tracing the boundary of the ventricles of the heart. System to do.

取得された前記心臓画像データの同時期に撮影された組をフィルタリングするステップであって、指定された画像モダリティを利用して取得され、かつ、前記心室の特定の視点の画像を表示するビデオ・クリップに含まれる画像データのみに前記心臓画像データの同時期に撮影された組をフィルタリングするステップをさらに含むこと
を特徴とする請求項７に記載のシステム。 A step of filtering the captured set in the same period of the acquired said cardiac image data is acquired by using the specified image modality, and video to display the images of a particular aspect of the ventricle The system of claim 7, further comprising the step of filtering a contemporaneously captured set of cardiac image data to only image data contained in a clip.

前記心臓画像データの同時期に撮影された組の一部のみが前記ニューラル・ネットワークに与えられ、かつ、
前記ニューラル・ネットワークから出力未確定の旨の報告を受信すると、前記ニューラル・ネットワークから出力される確定した駆出率を受信するために、前記心臓画像データの同時期に撮影された組から別の追加部分を前記ニューラル・ネットワークに与えること
を特徴とする請求項７に記載のシステム。 Only a portion of the simultaneously imaged sets of the cardiac image data is provided to the neural network, and
Upon receipt of a report of undetermined output from the neural network, a separate output from the simultaneously imaged set of the cardiac image data is received to receive the confirmed ejection fraction output from the neural network. The system of claim 7, wherein an additional portion is provided to the neural network.

前記コンピュータ・プログラム命令は、前記ホスト・コンピューティング・プラットフォームの前記メモリ内で実行されると起動され、
異なる複数の心臓毎に前記心室について得られた心臓画像データの異なる複数の組と、該心臓画像データの異なる複数の組の各々に対応する既知の駆出率とについて、それぞれ異なる視点の画像と異なるモダリティを利用して多数の異なるニューラル・ネットワークを訓練するステップと、
前記訓練されたニューラル・ネットワークのうちの、指定されたモダリティと前記心臓画像データの同時期に撮影された組の少なくとも一つの特定の視点の画像とに対応する一つの特定のニューラル・ネットワークを、前記コンピュータの前記メモリにロードするステップとを、さらに実行すること
を特徴とする、請求項７に記載のシステム。 The computer program instructions are activated when executed in the memory of the host computing platform,
A plurality of different of the heart image data obtained for the ventricle for each heart set different, for the known ejection fraction corresponding to a plurality of sets of each of different said cardiac image data, image perspectives that different respective Training a number of different neural networks using different modalities from the image;
Of the trained neural network, one of the specific neural network corresponding to the images of at least one specific point of view taken at the same time with the specified modality the heart image data set The system of claim 7, further comprising: loading the memory of the computer.

前記コンピュータ・プログラム命令は、前記ホスト・コンピューティング・プラットフォームの前記メモリ内で実行されるとき、
ビデオ・クリップ画像群の形態をした画像データの同時期に撮影された組を、前記ビデオ・クリップ画像群内の各ビデオ・クリップをリサイズ及びトリミングすることによって、前処理するステップを、さらに実行すること
を特徴とする、請求項７に記載のシステム。 The computer program instructions when executed in the memory of the host computing platform,
The step of pre-processing a contemporaneously captured set of image data in the form of a video clip image group by resizing and trimming each video clip in said video clip image group is further performed. The system according to claim 7, characterized in that

前記心臓画像データの同時期に撮影された組を前記ニューラル・ネットワークに与える前記コンピュータ・プログラム命令は、前記心臓画像データの同時期に撮影された組がビデオ・クリップ画像群の形態であるとき、前記心臓画像データの同時期に撮影された組の各ビデオ・クリップを一つのムービー・クリップの複数のフレームに分解するステップと、該ステップと並行して、前記複数のフレームを前記ニューラル・ネットワークに繰り返し送信するコンピュータ・プログラム命令を含むこと
を特徴とする、請求項７に記載のシステム。 The computer program instructions for providing the neural network with a simultaneously shot set of the cardiac image data is such that the simultaneously shot set of the cardiac image data is in the form of a video clip image group; Decomposing each video clip of the set of the cardiac image data taken at the same time into a plurality of frames of a movie clip, and in parallel with the step, the plurality of frames to the neural network. 8. The system of claim 7, including computer program instructions for repetitive transmission.

人工知能利用駆出率決定のためのプログラム命令が格納されたコンピュータ可読記憶媒体であって、前記プログラム命令は、装置によって実行されるとき、該装置に方法を実行させることができ、該方法は、
異なる複数の心臓の心室について取得された、心臓の画像群の異なる複数の組と、前記心臓の画像群の異なる複数の組の各々に対応する既知の駆出率とを用いてニューラル・ネットワークを訓練するステップと、
前記訓練されたニューラル・ネットワークをコンピュータのメモリにロードするステップと、
心臓の心室の画像データの同時期に撮影された組を取得するステップと、
該画像データの同時期に撮影された組を前記ニューラル・ネットワークへ与えるステップと、
前記心臓の心室の境界をたどることなく、前記ニューラル・ネットワークが出力した駆出率の決定値を前記コンピュータのディスプレイに表示するステップと、を含むこと
を特徴とするコンピュータ可読記憶媒体。 A computer-readable storage medium storing program instructions for determining artificial ejection fraction , wherein the program instructions, when executed by the apparatus, cause the apparatus to perform a method. ,
A neural network is created using different sets of images of the heart acquired for different ventricles of the heart and known ejection fractions corresponding to each of the different sets of images of the heart. Training steps, and
Loading the trained neural network into computer memory;
Acquiring a set of image data of the ventricles of the heart taken at the same time,
Applying to the neural network a set of image data taken at the same time;
Wherein without tracing the ventricular boundary of the heart, computer-readable storage medium characterized by comprising a step of displaying the determined value of the ejection fraction of the neural network is output to the display of the computer.

前記取得された画像データの同時期に撮影された組をフィルタリングして、指定された画像モダリティを利用して取得され、かつ、前記心室の特定の視点の画像を表すビデオ・クリップに含まれる画像データのみを選ぶステップをさらに含むこと
を特徴とする請求項１３に記載のコンピュータ可読記憶媒体。 Filter the set taken at the same time of the image data to which the acquired, are obtained using a specified imaging modalities, and included in the video clip representing the images of a particular aspect of the ventricle computer readable storage medium of claim 13, further comprising the step of selecting only the image data.

前記画像データの同時期に撮影された組の一部のみが前記ニューラル・ネットワークに与えられ、かつ、
前記ニューラル・ネットワークから出力未確定の旨の報告を受信すると、前記画像データの同時期に撮影された組から追加部分を前記ニューラル・ネットワークに与え、前記ニューラル・ネットワークから出力される確定した駆出率を受け取ること
を特徴とする、請求項１３に記載のコンピュータ可読記憶媒体。 Only a portion of the set of image data taken at the same time is given to the neural network, and
Upon receiving from the neural network a report of undetermined output, the neural network is provided with an additional portion from the set of image data taken at the same time, and the confirmed ejection output from the neural network. wherein the receive rate, computer readable storage medium of claim 13.

異なる複数の心臓毎に前記心室について得られた心臓画像データの異なる複数の組と該心臓画像データの組の各々に対する既知の駆出率とについて、それぞれ異なる視点の画像とモダリティを利用して、多数の異なるニューラル・ネットワークを訓練するステップと、
前記訓練されたニューラル・ネットワークのうちの、特定のモダリティと前記心臓画像データの同時期に撮影された組の少なくとも一つの特定の視点の画像とに対応する特定のニューラル・ネットワークを、前記コンピュータの前記メモリにロードするステップとを、さらに含むこと
を特徴とする請求項１３に記載のコンピュータ可読記憶媒体。 For a known ejection fraction for each set of the plurality of sets of different cardiac image data obtained for the ventricle for each of a plurality of different heart and the cardiac image data, by using the images and modalities viewpoint that different respective Training a number of different neural networks,
Wherein one of the trained neural network, a particular neural network corresponding to the images of at least one particular viewpoint set taken at the same time of the cardiac image data with a particular modality, the computer computer readable storage medium of claim 13, in the step of loading into the memory, and further comprising.

前記方法は、
ビデオ・クリップ画像群の形態をした、前記心臓の心室の画像データの同時期に撮影された組を、前記ビデオ・クリップ画像群の中の各ビデオ・クリップのリサイズ及びトリミングによって、前処理するステップを、さらに含むこと
を特徴とする請求項１３に記載のコンピュータ可読記憶媒体。 The method is
Preprocessing a contemporaneously captured set of ventricular image data of the heart in the form of video clip images by resizing and trimming each video clip in the video clip images. a computer readable storage medium of claim 13, further comprising.

前記心臓の心室の画像データの同時期に撮影された組がビデオ・クリップ画像群の形態であるときに、前記ビデオ・クリップ画像群の前記同時期に撮影された組を前記ニューラル・ネットワークに与えるステップは、前記心臓の心室の画像データの同時期に撮影された組の各ビデオ・クリップを一つのムービー・クリップの複数のフレームに分解するステップと、該ステップと並行して、前記複数のフレームを前記ニューラル・ネットワークに繰り返し送信するステップとを含むこと
を特徴とする請求項１３に記載のコンピュータ可読記憶媒体。 Providing the neural network with the simultaneously captured set of video clip images when the simultaneously captured set of image data of the ventricles of the heart is in the form of video clip images. And a step of decomposing each video clip of the set captured at the same time of the image data of the ventricle of the heart into a plurality of frames of one movie clip, and in parallel with the step, the plurality of frames. computer-readable medium according to claim 13, characterized in that it comprises the step of repeatedly transmitting to the neural network.