RU2808612C2 - Method for visualization of dynamic anatomical structure - Google Patents

Abstract

FIELD: computer technology.

SUBSTANCE: invention is related to a method for visualizing a dynamic anatomical structure. A method for visualizing a dynamic anatomical structure, comprising the steps of: a) providing a series of sequential three-dimensional medical images (M₁, M₂, M₃ … M_Z), covering a period (T) of time, b) creating a dynamic model (14) of at least part of the anatomical structure, c) defining a volumetric region of interest (40) containing the anatomical object of interest (3) within each of the three-dimensional images, and d) providing a three-dimensional visualization environment (50, 70) for displaying dynamic anatomical structure over a specified period of time, wherein the visualization (45) corresponding to a specific point in time within the specified time period comprises: i) a volumetric rendering of only the region of interest (40) of a three-dimensional image according to a specified specific point in time; and ii) visualization of a dynamic model (14) at a specified specific point in time and in the same coordinate system as the volumetric rendering of the region of interest.

EFFECT: increase of accuracy of display of the anatomical structure and reduction of risks during dynamic display.

15 cl, 13 dwg

Description

Область техники, к которой относится изобретениеField of technology to which the invention relates

Настоящее изобретение относится к способу визуализации динамической анатомической структуры, к соответствующей компьютерной программе и пользовательскому интерфейсу.The present invention relates to a method for visualizing a dynamic anatomical structure, a corresponding computer program and a user interface.

Уровень техникиState of the art

Методы формирования медицинских изображений обеспечивают получение трехмерных данных (3D-данных) изображения организма человека или животного. Однако указанные изображения обычно просматривают на двумерных экранах (2D-экранах). Поэтому всегда имеет место риск неправильной интерпретации относительного пространственного расположения анатомических структур, представленных медицинскими 3D-данными, когда массивы 3D-данных просматривают и анализируют в ортогональных плоскостях 2D-экранов. Источником ошибок часто является выбор некорректно помещенной или повернутой измерительной плоскости для анализа и проведения измерений анатомической структуры.Medical imaging techniques provide three-dimensional data (3D data) of an image of a human or animal body. However, these images are usually viewed on two-dimensional screens (2D screens). Therefore, there is always a risk of misinterpretation of the relative spatial locations of anatomical structures represented by 3D medical data when 3D data sets are viewed and analyzed in the orthogonal planes of 2D displays. The source of errors is often the selection of an incorrectly placed or rotated measuring plane for analyzing and taking measurements of an anatomical structure.

Объемный 3D-рендеринг (визуализация) представляет собой набор методов, используемых для отображения 2D-проекции массива данных 3D-изображения. Однако, хотя объемный 3D-рендеринг помогает сформировать мысленную 3D-модель анатомии, она сильно зависит от качества изображения, а также от выбранных режимов (порога, сглаживания и т.п.). Визуализация часто включает искажения изображения и поэтому содержит риск того, что пользователь более не сомневается критически и не проверяет анатомию, представленную путем визуализации объемов. Тем не менее, метод сегментирования 3D-объема при помощи одного или более порогового значения по-прежнему представляет интерес, когда его используют для сложной патологии (например, опухоли, разрыва связок, обызвествление биопротеза).3D volumetric rendering (visualization) is a set of techniques used to display a 2D projection of a 3D image data set. However, although 3D volume rendering helps to form a mental 3D model of anatomy, it is highly dependent on the quality of the image, as well as the selected modes (thresholding, smoothing, etc.). Renderings often involve image distortions and therefore carry the risk of the user no longer critically questioning and checking the anatomy represented by volume rendering. However, the method of segmenting a 3D volume using one or more thresholds is still of interest when used for complex pathology (eg, tumor, ligament rupture, bioprosthetic calcification).

С другой стороны, упрощенные модели анатомических структур пользуются хорошей репутацией в клинической практике, поскольку они могут компенсировать неудовлетворительное качество изображения, и их проще и быстрее интерпретировать. Примером динамической модели поверхности является TOMTEC Beutel® - функция имеющейся на рынке программы 4D LV-ANALYSIS©, или 4D MV от компании TONTEC Imaging Syatems GmbH, которая представляет собой динамическую модель поверхности полости правого желудочка. Однако, указанные программы не подходят для всех патологий, поскольку сложные и тонкие структуры не захватываются и не отображаются надлежащим образом.On the other hand, simplified models of anatomical structures have a good reputation in clinical practice because they can compensate for poor image quality and are easier and faster to interpret. An example of a dynamic surface model is TOMTEC Beutel®, a feature of the commercially available 4D LV-ANALYSIS©, or 4D MV program from TONTEC Imaging Syatems GmbH, which is a dynamic surface model of the right ventricular cavity. However, these programs are not suitable for all pathologies, since complex and delicate structures are not captured and displayed properly.

Соответственно, современные методы сегментации и отображения медицинских данных сложных анатомических структур, например 3D-данных сердца, либо чересчур упрощают анатомические характеристики путем использования моделей поверхности или формы, либо используют пороговую сегментацию, которая может приводить к ошибочным выводам. Следовательно, можно пропустить или не придать значения важным геометрическим взаимосвязям и информации, которая необходима, например, при планировании хирургического вмешательства на сердце.Accordingly, current methods for segmenting and displaying medical data of complex anatomical structures, such as 3D cardiac data, either oversimplify anatomical features by using surface or shape models, or use threshold segmentation, which can lead to erroneous conclusions. Consequently, important geometric relationships and information that are needed, for example, when planning cardiac surgery, may be missed or overlooked.

В некоторых исследованиях работают с 3D-печатью медицинских моделей, основанных на данных КТ или 3D-эхокардиографии. Однако, процесс 3D-печати требует большого времени и специальных знаний, он является дорогостоящим, и не может быть включен в повседневную клиническую практику, к тому же посредством его не может быть представлена динамика движения анатомических структур (особенно для 3D-эхокардиографии).Some studies are working with 3D printing of medical models based on CT or 3D echocardiography data. However, the 3D printing process requires a lot of time and special knowledge, it is expensive, and cannot be included in daily clinical practice, and it cannot represent the dynamics of the movement of anatomical structures (especially for 3D echocardiography).

Также при визуализации данных медицинских изображений использовали и используют виртуальную реальность (ВР). Например, в работе «Новый метод виртуальной реальности при планировании операций на сердце» (“A new virtual reality approach for planning of cardiac interventions”, Artificial Intelligence on Medicine 22 (2001), 193-2014) раскрывает визуализацию данных магниторезонансной (МР) томографии сердца в формате виртуальной реальности. Раскрытый способ включает в себя оптимизированное 3D МР-сканирование с компенсацией дыхания, сегментацию, построение модели и интерактивную визуализацию в формате виртуальной реальности. В результате сегментации получается набор контуров параллельных линий, определяющих различные анатомические части сердечно-сосудистой системы. 3D-модель создается путем соединения указанных контуров. Модель рассматривают с использованием стереоскопических очков с активным затвором в сочетании с “holobench” - установкой из двух дисплеев, ориентированных под углом 90° друг к другу.Virtual reality (VR) has also been and is used in the visualization of medical image data. For example, in the work “A new virtual reality approach for planning of cardiac interventions”, Artificial Intelligence on Medicine 22 (2001), 193-2014) reveals the visualization of magnetic resonance (MR) imaging data hearts in virtual reality format. The disclosed method includes optimized 3D MR scanning with respiration compensation, segmentation, model building and interactive virtual reality visualization. The result of segmentation is a set of parallel line contours that define the various anatomical parts of the cardiovascular system. The 3D model is created by connecting the specified contours. The model is viewed using active shutter stereoscopic glasses in combination with a “holobench” - an installation of two displays oriented at an angle of 90° to each other.

В публикации «Виртуальная реальность повышает качество ультразвукового контроля: новый метод для операций на сердце» (“Virtual reality-enhanced ultrasound guidance: A novel technique for intracardiac interventions”, Computer Aided Surgery, March 2008, 13(2) 82-94) раскрыта среда виртуальной реальности для визуализации в режиме реального времени данных эхокардиографии во время оперативного вмешательства. Предоперационные изображения и позиции хирургического инструмента с магнитным отслеживанием могут быть представлены хирургу для повышения качества ультразвуковых изображений, получаемых во время оперативного вмешательства. Предоперационные изображения регистрировали вместе с данными чреспищеводной эхокардиографии (ЧЭхо КГ), получаемыми во время оперативного вмешательства, с использованием поэлементного метода регистрации In the publication “Virtual reality-enhanced ultrasound guidance: A novel technique for intracardiac interventions”, Computer Aided Surgery, March 2008, 13(2) 82-94) virtual reality environment for real-time visualization of echocardiography data during surgery. Preoperative images and magnetically tracked surgical instrument positions can be presented to the surgeon to improve the quality of ultrasound images obtained during surgery. Preoperative images were recorded together with transesophageal echocardiography (TEE) data obtained during surgery using the element-by-element registration method

В патентной публикации US 2014/052001 A1 раскрыто использование как данных В-режима, представляющих информацию о ткани, так и данных о течении, представляющих регургитирующую струю, с целью обнаружения митрального клапана автоматически при помощи классификатора, который обучен методами, применяемыми для обучения машин. Может быть использован ряд классификаторов, к примеру определяющих положение и ориентацию области клапана посредством одного классификатора, определяющих регургитирующее отверстие посредством другого классификатора и определяющих местонахождение анатомии митрального клапана посредством третьего классификатора. Одна или более характеристик для некоторых классификаторов может быть рассчитана на основе ориентации области клапана. После того, как митральный клапан будет обнаружен, его воссоздают в виде проволочной (каркасной) модели, и накладывают на рендеринг-изображение сердца.Patent publication US 2014/052001 A1 discloses the use of both B-mode data, representing tissue information, and flow data, representing regurgitant jet, to detect the mitral valve automatically using a classifier that is trained with methods used for machine learning. A number of classifiers may be used, for example, identifying the position and orientation of the valve region through one classifier, identifying the regurgitant orifice through another classifier, and locating mitral valve anatomy through a third classifier. One or more features for some classifiers may be calculated based on the orientation of the valve region. Once the mitral valve is located, it is recreated as a wire (frame) model and superimposed on a rendered image of the heart.

В патентной публикации US 2016/220311 A1 раскрыт процессор, который принимает данные изображения от системы медицинской визуализации. На основе данных изображения процессор создает первую модель. Процессор генерирует математическую модель, которая учитывает данные кардиоэлектрофизиологии и кардиомеханики, полученные в результате оценивания первой модели. Процессор выполняет тестирование математической модели, чтобы определить результаты для терапии. Процессор накладывает указанный результат на интервенционное изображение. Если использовать интервенционную визуализацию, то первую модель сердца можно обновлять/выполнять наложение в ходе терапии, чтобы визуализировать ее действие на сердце пациента.Patent publication US 2016/220311 A1 discloses a processor that receives image data from a medical imaging system. Based on the image data, the processor creates the first model. The processor generates a mathematical model that takes into account cardiac electrophysiology and cardiac mechanics data obtained from evaluating the first model. The processor tests the mathematical model to determine the results for the therapy. The processor superimposes the specified result onto the intervention image. If interventional imaging is used, the first cardiac model can be updated/overlaid during therapy to visualize its effect on the patient's heart.

В патентной публикации US 2008/194957 A1 раскрыт способ получения трехмерного изображения объекта. Способ содержит получение модели объекта, облучение областей объекта ультразвуковыми волнами от преобразователей-источников внешних по отношению к объекту, получение обратных эхо-сигналов от объекта в преобразователях-приемниках внешних по отношению к объекту, обработку эхо-сигналов и формирование гибридного изображения объекта, содержащего области, обусловленные моделью объекта, и области, обусловленные эхо-сигналами.Patent publication US 2008/194957 A1 discloses a method for obtaining a three-dimensional image of an object. The method includes obtaining a model of the object, irradiating areas of the object with ultrasonic waves from source transducers external to the object, receiving return echo signals from the object in receiver transducers external to the object, processing echo signals and forming a hybrid image of the object containing the regions , due to the object model, and areas due to echo signals.

В публикации «Визуализация кардиодинамики с использованием физически обоснованного деформируемого режима» (Visualization of cardiac dynamics using physics-based deformable mode”, Visual Communications and Image Processing; 20-1-2004-201-2004; San Jose, vol.3976, 15 February 200 (2000-02-15), pages 210-217, XP008019251, DOI: 10.1117/12.383043 ISBN:978-1-62841-730-2) раскрыт способ создания изображения, демонстрирующего динамику движения левого желудочка. В связи с этим предлагается первый способ, согласно которому создается модель поверхности. Далее предлагается второй способ, согласно которому создается физически обоснованная деформируемая модель, в которой сетка поверхности деформируется, следуя траектории соответствующих соединенных вершин моделей поверхности, построенных в последовательные моменты времени.In the publication “Visualization of cardiac dynamics using physics-based deformable mode”, Visual Communications and Image Processing; 20-1-2004-201-2004; San Jose, vol.3976, 15 February 200 (2000-02-15), pages 210-217, XP008019251, DOI: 10.1117/12.383043 ISBN:978-1-62841-730-2) discloses a method for creating an image demonstrating the dynamics of the left ventricle. In this regard, the first method is proposed, according to which a surface model is created. Next, a second method is proposed, according to which a physically based deformable model is created in which the surface mesh is deformed following the trajectory of the corresponding connected vertices of the surface models constructed at successive moments in time.

Раскрытие изобретенияDisclosure of the Invention

Поэтому задача настоящего изобретения состоит в создании способа визуализации динамической анатомической структуры, который снижает риск неправильной интерпретации данных изображения, и, в частности риск ошибочного представления или некорректного измерения пространственных соотношений между анатомическими элементами.It is therefore an object of the present invention to provide a method for visualizing dynamic anatomical structure that reduces the risk of misinterpretation of image data, and in particular the risk of misrepresenting or incorrectly measuring spatial relationships between anatomical elements.

Для лучшего решения одной или более вышеуказанных задач, согласно изобретению в его первом аспекте, предлагается способ визуализации динамической анатомической структуры. Способ содержит этапы, на которых:To better address one or more of the above objectives, the invention in its first aspect provides a method for visualizing a dynamic anatomical structure. The method contains the steps of:

a) предусматривают ряд последовательных трехмерных медицинских изображений, охватывающих некоторый период времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру в момент времени в пределах указанного периода времени,a) provide a series of sequential three-dimensional medical images covering a specified period of time, with each three-dimensional medical image from the specified series demonstrating a dynamic anatomical structure at a point in time within a specified period of time,

b) создают динамическую модель по меньшей мере части анатомической структуры, при этом динамическую модель получают из указанного ряда последовательных трехмерных медицинских изображений, и привязывают к указанному ряду изображений,b) creating a dynamic model of at least part of the anatomical structure, wherein the dynamic model is obtained from said series of sequential three-dimensional medical images, and linked to said series of images,

с) определяют исследуемую объемную область, содержащую исследуемый анатомический объект в пределах каждого из трехмерных изображений, причем на протяжении указанного периода времени исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта, при этом исследуемая объемная область меньше, чем все поле обзора трехмерных медицинских изображений,c) determine the volumetric region of interest containing the anatomical object under study within each of the three-dimensional images, and during the specified period of time the volumetric region of interest follows the position and/or shape of the anatomical object under study, while the volumetric region of interest is smaller than the entire field of view of the three-dimensional medical images,

d) предусматривают среду трехмерной визуализации для отображения динамической анатомической структуры на протяжении указанного периода времени, при этом визуализация, соответствующая определенному моменту времени в пределах указанного периода времени содержит:d) provide a three-dimensional visualization environment for displaying dynamic anatomical structure over a specified period of time, wherein the visualization corresponding to a specific point in time within the specified period of time contains:

(i) объемный рендеринг исследуемой области трехмерного изображения в соответствии с определенным моментом времени, и(i) volumetric rendering of the region of interest in a 3D image according to a specific point in time, and

(ii) визуализацию динамической модели в определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой области.(ii) visualization of the dynamic model at a certain point in time and in the same coordinate system as the volumetric rendering of the region of interest.

В предпочтительном варианте среда трехмерной визуализации дает возможность отображать динамическую модель и результат объемного рендеринга исследуемой объемной области для каждого трехмерного изображения на протяжении определенного периода времени в «режиме анимации», т.е. «режиме кинофильма», что означает, что последовательность образов демонстрируется динамически с определенной частотой смены кадров, например 5-100 образов в секунду.In a preferred embodiment, the 3D visualization environment provides the ability to display a dynamic model and volumetric rendering of the volume of interest for each 3D image over a period of time in an "animation mode", i.e. "movie mode", which means that a sequence of images is shown dynamically at a certain frame rate, for example 5-100 images per second.

Соответственно, изобретение сочетает в себе два важных подхода при рассматривании медицинских 3D объемных данных. Первый подход - это создаваемая компьютером динамическая модель по меньшей мере части анатомической структуры. Такие модели обладают преимуществом, поскольку демонстрируют упрощенную/абстрактную версию анатомии, позволяют проще перемещаться по анатомической структуре и интерпретировать анатомию, не сильно зависят от качества изображения, и в них отсутствуют «дыры», т.е не включены артефакты и т.п.Accordingly, the invention combines two important approaches when viewing medical 3D volumetric data. The first approach is a computer-generated dynamic model of at least part of the anatomical structure. Such models have the advantage of showing a simplified/abstract version of the anatomy, making it easier to navigate and interpret the anatomy, not being overly affected by image quality, and not having holes in them, i.e. artifacts, etc.

Второй подход - это объемный рендеринг, который обладает тем преимуществом, что он пригоден для более сложных/необычных анатомических структур или крайне индивидуальных структур типа вершин створок клапана, стеноза, кальцификации, биопротезов, порванных сухожилий и т.п., которые не могут быть смоделированы программой, такой как 4D MV от компании TOMTEC. Кроме того, параметры, такие как порог, затененность, контраст могут быть настроены в режиме реального времени, т.е. с незамедлительным результатом во время просмотра динамической последовательности результатов объемного рендеринга. С другой стороны, объемный рендеринг сильно зависит от качества изображения, и таким образом может оказаться слишком сложным для интерпретации.The second approach is volumetric rendering, which has the advantage that it is suitable for more complex/unusual anatomical structures or highly individual structures such as leaflet apices, stenosis, calcification, bioprostheses, torn tendons, etc., which cannot be modeled program such as 4D MV from TOMTEC. In addition, parameters such as threshold, shading, contrast can be adjusted in real time, i.e. with immediate results while viewing a dynamic sequence of volumetric rendering results. On the other hand, volumetric rendering is highly dependent on image quality, and thus may be too difficult to interpret.

Изобретение обеспечивает сочетание преимуществ обоих подходов: объемный рендеринг используется только для тех частой анатомии, где он реально полезен и необходим. Область, в которой используется объемный рендеринг (исследуемая объемная область, ИОО (VOI, англ. Volume of Interest)), может быть минимизирована до фактического исследуемого объекта, что приводит к лучшему его обзору, при этом исследуемый объект (например, клапан) не выходит из фокуса. Это может быть выполнено путем использования точек динамической модели для также динамической коррекции положения ИОО.The invention provides a combination of the advantages of both approaches: volumetric rendering is used only for those frequent anatomy where it is really useful and necessary. The area in which volume rendering is used (Volume of Interest) can be minimized to the actual object of interest, resulting in a better view of the object without the object of interest (such as a valve) coming out out of focus. This can be accomplished by using dynamic model points to also dynamically adjust the position of the OSI.

Соответственно, изобретение предоставляет превосходные возможности обзора и навигации, которые обеспечивает динамическая модель, например модель формы/поверхности, в сочетании с корректируемыми и в высокой степени индивидуальными преимуществами, которые обеспечивает объемный рендеринг, при этом объемный рендеринг используется только там, где он необходим.Accordingly, the invention provides the superior viewing and navigation capabilities that a dynamic model, such as a shape/surface model, provides, combined with the adjustable and highly customized benefits that volumetric rendering provides, with volumetric rendering being used only where it is needed.

Динамической анатомической структурой может быть любой подвижный объект в теле человека или животного. В частности, это структура, которая совершает циклическое движение, например, дыхательное движение или сердцебиение. Поэтому рассматриваемый способ особенно пригоден для визуализации анатомических структур внутри туловища, таких как сердце, легкие, ребра, печень, почки и т.п. Анатомическая структура может представлять собой орган или часть органа тела человека или животного, например, сердца, но это может также быть и кровеносный сосуд или костная структура. Соответствующий изобретению способ особенно подходит для полых органов или органов, содержащих полость, таких как сердце.A dynamic anatomical structure can be any movable object in the human or animal body. Specifically, it is a structure that undergoes cyclic movement, such as breathing or heartbeat. Therefore, the present method is particularly suitable for visualizing anatomical structures within the torso, such as the heart, lungs, ribs, liver, kidneys, etc. An anatomical structure can be an organ or part of an organ of the human or animal body, such as the heart, but it can also be a blood vessel or a bone structure. The method according to the invention is particularly suitable for hollow organs or organs containing a cavity, such as the heart.

Захват динамической анатомической структуры осуществляют посредством ряда последовательных трехмерных медицинских изображений, полученных от обследуемого человека, и охватывающих некоторый период времени, причем указанными изображениями могут служить предоперационные снимки, но это могут быть также изображения, получаемые во время операции. Ряд последовательных 3D медицинских изображений можно называть 4D-изображением. Трехмерное (3D) изображение обычно является цифровым изображением, например в стандарте DICOM, т.е. содержащим трехмерный массив вокселей, при этом каждый воксель имеет свое значение по шкале серых тонов. Такие 3D медицинские изображения обычно получают из области сканирования, содержащей динамическую анатомическую структуру, используя методы медицинской диагностики, такие как магнитный резонанс МР (MR, Magnetic Resonance), компьютерную томографию КТ (CT, Computed Tomography), позитрон-эмиссионную томографию ПЭТ (PET, Positron Emission Tomography) или ультразвуковое исследование УЗИ (USS, Ultra Sound Scan). Когда анатомической структурой является сердце, можно с успехом использовать ультразвуковое исследование, а в частности чреспищеводную эхокардиографию ЧэхоКГ (TEE, TransEsophageal Echocardiography). Одно 3D изображение из ряда последовательных во времени 3D изображений в дальнейшем называется термином «кадр». 3D изображения можно получать с частотой следования кадров, например, 5-100, а предпочтительно 20-60 в секунду, так чтобы получить гладкое изображение подвижной динамической анатомической структуры при ее отображении в режиме анимации. Указанный период времени обычно равен по меньшей мере одному циклу периодического движения, например, по меньшей мере одному сердечному циклу.Capture of a dynamic anatomical structure is accomplished through a series of sequential three-dimensional medical images obtained from the subject over a period of time, which images may be preoperative images, but may also be images obtained during surgery. A series of sequential 3D medical images can be called a 4D image. A three-dimensional (3D) image is usually a digital image, such as the DICOM standard, i.e. containing a three-dimensional array of voxels, with each voxel having its own gray scale value. Such 3D medical images are typically obtained from a scan area containing dynamic anatomical structure using medical diagnostic techniques such as MR (Magnetic Resonance), CT (Computed Tomography), Positron Emission Tomography (PET, Positron Emission Tomography) or ultrasound ultrasound examination (USS, Ultra Sound Scan). When the anatomical structure is the heart, ultrasound can be successfully used, and in particular transesophageal echocardiography (TEE, TransEsophageal Echocardiography). One 3D image from a number of 3D images sequential in time is hereinafter referred to as a “frame”. 3D images can be obtained at a frame rate of, for example, 5-100, and preferably 20-60 per second, so as to obtain a smooth image of a moving dynamic anatomical structure when displayed in animation mode. Said period of time is typically equal to at least one periodic motion cycle, for example at least one cardiac cycle.

Динамическая модель по меньшей мере части анатомической структуры представляет собой, в частности упрощение анатомической структуры, например модель триангулируемой поверхности определенной границы раздела внутри анатомической структуры, например, границы «кровь-ткань» кровеносного сосуда или камеры сердца. Модель может содержать ряд точек, охватывающих линию или поверхность в каждом кадре. Это может также быть математическая модель, например, параметризованная модель, такая как поверхность или объем, охватываемый сплайновыми кривыми. Модель является динамической, т.е. она следует за движением анатомической структуры на протяжении определенного периода времени. Назначение динамической модели заключается в визуализации по меньшей мере части анатомической структуры, например, одной или нескольких камер работающего сердца, не заслоняя пользователю вид излишними подробностями. Поэтому такие упрощенные модели полезны для ориентирования пользователя, например, при планировании операции или выполнении измерений на определенной части анатомической структуры.The dynamic model of at least part of the anatomical structure is, in particular, a simplification of the anatomical structure, for example a model of the triangulated surface of a defined interface within the anatomical structure, for example, the blood-tissue interface of a blood vessel or cardiac chamber. The model may contain a number of points spanning a line or surface in each frame. It may also be a mathematical model, for example a parameterized model such as a surface or volume covered by spline curves. The model is dynamic, i.e. it follows the movement of an anatomical structure over a period of time. The purpose of a dynamic model is to visualize at least part of an anatomical structure, such as one or more chambers of a beating heart, without obscuring the user's view with unnecessary detail. Therefore, such simplified models are useful to guide the user, for example, when planning an operation or taking measurements on a specific part of an anatomical structure.

Динамическая модель может быть получена из 4D данных ультразвукового изображения, например, способом спекл-трекинга, чтобы автоматически следовать за трехмерными внутрисердечными контурами на протяжении всего сердечного цикла, и тем самым генерировать динамическую модель поверхности одной или нескольких камер сердца, в частности левого желудочка и, как вариант, по меньшей мере части левого предсердия. Кроме того, это может быть модель формы или поверхности, которая согласована с соответствующими 3D медицинскими изображениями.A dynamic model can be derived from 4D ultrasound image data, for example by speckle tracking, to automatically follow 3D intracardiac contours throughout the cardiac cycle, and thereby generate a dynamic model of the surface of one or more chambers of the heart, in particular the left ventricle and, alternatively, at least parts of the left atrium. Additionally, it may be a shape or surface model that is matched to the corresponding 3D medical images.

Настоящее изобретение особенно полезно для просмотра и анализа определенного интересующего анатомического объекта, который обычно является частью анатомической структуры. Такой исследуемый объект содержится в ИОО меньшего размера, чем вся область сканирования (поле обзора) 3D медицинских изображений. Это может быть часть органа, составляющего анатомическую структуру, особенно часть, имеющая сложную анатомию, такая как сердечный клапан. Согласно предпочтительным вариантам осуществления изобретения, исследуемым анатомическим объектом является митральный клапан, трехстворчатый клапан, аортальный клапан или легочный клапан. Согласно другим вариантам осуществления изобретения, исследуемыми анатомическими объектами могут являться другие важные кровеносные сосуды, такие как коронарный сосуд, или иная структура, такая как опухоль.The present invention is particularly useful for viewing and analyzing a specific anatomical object of interest, which is typically part of an anatomical structure. Such an object under study is contained in an OSI smaller than the entire scanning area (field of view) of 3D medical images. It may be part of an organ that makes up an anatomical structure, especially a part that has complex anatomy, such as a heart valve. According to preferred embodiments of the invention, the anatomical object of interest is the mitral valve, tricuspid valve, aortic valve or pulmonary valve. In other embodiments of the invention, the anatomical entities of interest may be other important blood vessels, such as a coronary vessel, or other structure, such as a tumor.

Чтобы такой исследуемый анатомический объект просматривать с большей детализацией, в изобретении предложен объемный рендеринг исследуемой объемной области ИОО, которая содержит указанный анатомический объект, но предпочтительно имеет размеры, не слишком превышающие исследуемый анатомический объект, т.е. ИОО имеет минимально возможный размер. Другими словами, размер и/или форма ИОО адаптирована так, чтобы по возможности плотнее соответствовать размеру и/или форме исследуемого анатомического объекта, причем предпочтительно, чтобы это выполнялось для всего ряда последовательных изображений. Соответственно, ИОО, содержащую исследуемый анатомический объект, определяют в каждом из трехмерных изображений, при этом исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта на протяжении указанного периода времени. ИОО является суб-объемом (или ячейкой) от 3D изображения, и к примеру, определяется набором замкнутых поверхностей, которые охватывают объем, принадлежащий к указанной ИОО. ИОО содержит воксели с различными значениями по шкале серых тонов. При объемном рендеринге ИОО один или более параметров настройки, к примеру порог, определяет, какие воксели в пределах ИОО отображаются и каким образом. Согласно изобретению ИОО может иметь форму кубоида, цилиндра или сфероида, или же может иметь неправильную форму. Исследуемую объемную область обычно определяют на основе положения или формы исследуемого анатомического объекта, при этом ИОО может иметь фиксированный размер на протяжении ряда последовательных изображений, например, прямоугольная ячейка или цилиндр, имеющий заданную длину кромки и диаметр. Эту заданную длину и диаметр предпочтительно выбирают так, чтобы размер ИОО соответствовал ожидаемому размеру исследуемого анатомического объекта. Согласно некоторым вариантам осуществления, этот размер может изменяться на протяжении определенного периода времени в зависимости от размера исследуемого анатомического объекта на каждом 3D изображении. Назначение ИОО заключается в том, чтобы на каждом 3D изображении определить объем, в котором содержится исследуемый объект. Таким образом, за счет объемного рендеринга только содержимого ИОО можно получить очень хорошее изображение исследуемого объекта, при этом изображение не будет заслоняться другими частями анатомической структуры, подвергаемыми объемному рендерингу, которые менее интересны.In order to view such an anatomical object of interest in greater detail, the invention proposes a volumetric rendering of a volumetric region of interest of the OSI, which contains the specified anatomical object, but preferably has dimensions that are not too larger than the anatomical object of interest, i.e. The OSI has the minimum possible size. In other words, the size and/or shape of the OSI is adapted to match as closely as possible the size and/or shape of the anatomical object being examined, preferably for the entire series of sequential images. Accordingly, an OSI containing the anatomical object of interest is defined in each of the three-dimensional images, with the volumetric region of interest following the position and/or shape of the anatomical object of interest over a specified period of time. An OSI is a sub-volume (or cell) of a 3D image, and for example, is defined by a set of closed surfaces that enclose a volume belonging to a specified OSI. The OSI contains voxels with different gray scale values. In OSI volume rendering, one or more settings, such as threshold, determine which voxels within the OSI are rendered and how. According to the invention, the IOU may have the shape of a cuboid, cylinder or spheroid, or it may have an irregular shape. The volumetric region of interest is typically defined based on the position or shape of the anatomical object of interest, and the OSI may have a fixed size over a series of consecutive images, for example, a rectangular cell or cylinder having a specified edge length and diameter. This predetermined length and diameter is preferably selected so that the size of the OSI corresponds to the expected size of the anatomical object being examined. In some embodiments, this size may vary over a period of time depending on the size of the anatomical object being examined in each 3D image. The purpose of the OSI is to determine in each 3D image the volume that contains the object under study. Thus, by volume rendering only the contents of the OSI, a very good image of the object of interest can be obtained without the image being obscured by other parts of the anatomical structure subject to volume rendering that are less interesting.

Согласно предпочтительным вариантам осуществления изобретения, динамическая модель охватывает исследуемый анатомический объект или примыкает к исследуемому анатомическому объекту, т.е. в пространстве привязана так, что левый желудочек занимает в пространстве положение относительно митрального клапана. Анатомический объект может также быть частью динамической модели. Таким образом, каждая ИОО, подвергаемая объемному рендерингу, основывается на соответствующем 3D медицинском изображении, и, например, центр ИОО при объемном рендеринге для каждого из ряда изображений находится в фиксированном положении относительно положения анатомического объекта динамической модели в соответствующий момент времени в пределах определенного периода времени.According to preferred embodiments of the invention, the dynamic model covers or is adjacent to the anatomical object of interest, i.e. in space is tied so that the left ventricle occupies a position in space relative to the mitral valve. An anatomical object can also be part of a dynamic model. Thus, each volume rendered OSI is based on a corresponding 3D medical image, and, for example, the center of the volume rendered OSI for each of a series of images is in a fixed position relative to the position of the anatomical object of the dynamic model at the corresponding point in time within a certain time period .

Операция определения ИОО может быть выполнена как часть создания динамической модели. В случае митрального клапана, к примеру, динамическая модель поверхности левого желудочка будет содержать набор (опознавательных) точек на митральном кольце. Митральное кольцо образует анатомический переход между желудочком и левым предсердием, и служит местом, с которым соединяется ткань створок. Соответственно, динамическая модель будет содержать определение положения митрального клапана, которое может быть использовано для определения ИОО для каждого 3D изображения в ряду последовательных изображений. Согласно другим вариантам осуществления, положение исследуемого анатомического объекта может быть определено посредством процедур сегментации и процедур отслеживания элементов/спекл-трекинга, при которых выявляют определенную опознавательную точку на одном изображении, а затем отслеживают по всему ряду изображений. Положение может быть определено единственной точкой в трехмерном пространстве изображений, но также может быть определено набором точек, или положением геометрической структуры, или даже объема.The OSI definition operation can be performed as part of the dynamic model creation. In the case of the mitral valve, for example, the dynamic model of the left ventricular surface will contain a set of (identification) points on the mitral annulus. The mitral annulus forms the anatomical junction between the ventricle and the left atrium, and serves as the site to which the tissue of the leaflets is connected. Accordingly, the dynamic model will contain a determination of the position of the mitral valve, which can be used to determine the OSI for each 3D image in a series of sequential images. In other embodiments, the position of an anatomical object of interest may be determined through segmentation procedures and feature tracking/speckle tracking procedures in which a specific identifying point is identified in one image and then tracked across a series of images. A position can be defined by a single point in 3D image space, but it can also be defined by a set of points, or by the position of a geometric structure, or even a volume.

Чтобы дать возможность пользователю просматривать и анализировать исследуемый анатомический объект, предусмотрена среда трехмерной визуализации для отображения динамической анатомической структуры на протяжении определенного периода времени. Зрительный образ, соответствующий определенному моменту времени в пределах указанного периода времени, содержит по меньшей мере два различных вида изображений/картин. Указанные изображения построены в одной и той же системе координат, т.е. они отображаются в надлежащих пространственных положениях и ориентациях друг относительно друга. В случае, когда два разных зрительных образа перекрываются в пространстве, они могут быть совмещены или наложены друг на друга, например, оба показаны прозрачными, или, если один считается важнее другого, то один может замещать другого.To enable the user to view and analyze the anatomical object under study, a three-dimensional visualization environment is provided to display the dynamic anatomical structure over a period of time. The visual image corresponding to a certain point in time within a specified period of time contains at least two different types of images/pictures. These images are constructed in the same coordinate system, i.e. they are displayed in the proper spatial positions and orientations relative to each other. In the case where two different visual images overlap in space, they may be combined or superimposed on each other, for example, both are shown transparent, or, if one is considered more important than the other, then one may replace the other.

Указанными по меньшей мере двумя визуализируемыми объектами являются:The at least two rendered objects are:

(i) результат объемного рендеринга ИОО, т.е. фотографическое содержание трехмерных медицинских изображений в пределах ИОО подвергается объемному рендерингу и отображается. Поскольку ИОО следует за положением и/или формой исследуемого анатомического объекта, указанный объемный рендеринг должен представлять собой объемный рендеринг фактически исследуемого анатомического объекта (и возможно непосредственного окружения, но не более того). Тем самым пользователю дается детальный и незатененный вид конкретного исследуемого анатомического объекта без потери преимуществ объемного рендеринга, поскольку объемный рендеринг применяется только там, где он имеет значение. Согласно предпочтительным вариантам осуществления, выбранные настройки для объемного рендеринга, такие как порог, сглаживание и т.п., являются регулируемыми или автоматически и/или пользователем.(i) the result of volumetric rendering of the OSI, i.e. The photographic content of 3D medical images within the OSI is volume rendered and displayed. Since the OSI follows the position and/or shape of the anatomical object being examined, said volume rendering must be a volumetric rendering of the actual anatomical object being examined (and perhaps the immediate surroundings, but nothing more). This gives the user a detailed, unobscured view of the specific anatomical object being examined without losing the benefits of volumetric rendering, since volumetric rendering is applied only where it matters. According to preferred embodiments, the selected settings for volume rendering, such as threshold, anti-aliasing, etc., are adjustable either automatically and/or by the user.

(ii) во-вторых, зрительный образ динамической модели, в частности, трехмерный зрительный образ динамической модели в тот же момент времени, что и трехмерное изображение, на основе которого выполняется объемный рендеринг ИОО. Тем самым пользователю дается дополнительная информация для ориентирования и передвижения. Например, при анализе митрального клапана в ИОО пользователь может одновременно следить за выносящим трактом левого желудочка (ВТЛЖ). Это важно при планировании хирургических процедур, таких как замена клапана, например, катетерной имплантации аортального клапана (TAVI, Transcatheter Aortic Valve Implantation) или катетерной замене аортального клапана (TAVR, Transcatheter Aortic Valve Replacement) или замене митрального клапана, при которой нельзя затруднять проходимость ВТЛЖ.(ii) secondly, a visual image of the dynamic model, in particular, a three-dimensional visual image of the dynamic model at the same point in time as the three-dimensional image on the basis of which the volumetric rendering of the OSI is performed. Thus, the user is given additional information for orientation and movement. For example, when analyzing the mitral valve in the PSI, the user can simultaneously monitor the left ventricular outflow tract (LVOT). This is important when planning surgical procedures such as valve replacement, such as catheter aortic valve implantation (TAVI, Transcatheter Aortic Valve Implantation) or catheter aortic valve replacement (TAVR, Transcatheter Aortic Valve Replacement) or mitral valve replacement, in which the patency of the LVOT should not be obstructed .

Такой зрительный образ может быть показан в режиме анимации, который также называют или режимом кинофильма. В режиме анимации пользователю демонстрируется ряд зрительных образов, соответствующий ряду последовательных 3D медицинских изображений, предпочтительно с подходящей частотой порядка 5-100 кадр/с, а лучше 20-60 кадр/с, чтобы создать у пользователя хорошее впечатление от движения динамической модели вместе с движением исследуемого объекта. В случае полезного практического применения, например, осуществляется визуализация работающего сердца и соответствующего закрытия и открытия клапанов, при этом период времени составляет по меньшей мере один сердечный цикл.Such a visual image can be shown in animation mode, which is also called movie mode. In animation mode, the user is shown a series of visual images corresponding to a series of sequential 3D medical images, preferably at a suitable frame rate of about 5-100 fps, and preferably 20-60 fps, to give the user a good impression of the dynamic model moving along with the movement the object under study. In a useful practical application, for example, the beating heart and the corresponding closing and opening of the valves are visualized over a period of time of at least one cardiac cycle.

Тем самым движение ИОО (например, части сердечного клапана и ВТЛЖ), подвергаемой объемному рендерингу, закреплено за подвижной структурой модели поверхности (например, митрального кольца), и следовательно ИОО движется динамически на протяжении всего сердечного цикла. Соответственно, изобретение не позволяет значимой части анатомии (исследуемому объекту) выходить за пределы ИОО, и гарантирует, что текущую ситуацию можно анализировать, измерять и интерпретировать быстрее и с большей уверенностью. Соответствующая изобретению среда визуализации может быть использована для просмотра и анализа сложных динамических анатомических структур, в частности для планирования операций и/или определения надлежащего размера, формы и положения импланта, который предполагается устанавливать в будущей операции.Thus, the movement of the PSI (eg, part of the heart valve and LVOT) subjected to volume rendering is fixed to the moving structure of the surface model (eg, the mitral annulus), and therefore the PSI moves dynamically throughout the cardiac cycle. Accordingly, the invention does not allow a significant part of the anatomy (the object under study) to go beyond the PSI, and ensures that the current situation can be analyzed, measured and interpreted faster and with greater confidence. The inventive visualization environment can be used to view and analyze complex dynamic anatomical structures, in particular for planning operations and/or determining the appropriate size, shape and position of an implant to be placed in a future operation.

3D визуализация динамической модели обычно представляет собой рендеринг (воспроизведение в объемном виде) динамической формы или модели поверхности, при этом рендеринг может быть выполнен методами, которыми располагает компьютерная графика, включая построение теней (shading), отбрасывание лучей (ray casting), рассеянное затенение (ambient occlusion) и т.п.3D visualization of a dynamic model is usually a rendering (reproduction in volumetric form) of a dynamic shape or surface model, and the rendering can be performed using computer graphics techniques, including shading, ray casting, diffuse shading ( ambient occlusion), etc.

Объемный рендеринг может быть выполнен любым из методов, известных в данной области, например, методом, раскрытым в патентном документе US 2005/0253841 A1, который включен в настоящее изобретение посредством ссылки. Обычно, для выполнения объемного рендеринга необходимо определить положение камеры и направление наблюдения в пространстве. Также, согласно некоторым методам, определяют непрозрачность и цвет каждого вокселя. Согласно некоторым методам объемного рендеринга, объем может быть рассмотрен путем извлечения изоповерхностей (поверхностей равных значений по шкале серых тонов) из объема и выполнения над ними рендеринга, например, в виде полигональных сеток или путем рендеринга объема непосредственно в виде блока данных. Алгоритм “Marching Cubes” является общепринятым алгоритмом для извлечения изоповерхности из данных объема. Другим распространенным методом является объемный Ray Casting. Согласно данному методу, для каждого требуемого пикселя изображения генерируется луч. При использовании простой модели камеры луч начинается в центре проекции камеры (обычно в положении наблюдения или в точке расположения глаза) и проходит через пиксель изображения на воображаемую картинную плоскость, плавающую между камерой и объемом, который подлежит рендерингу. Затем луч квантуют с равными или адаптивными интервалами по всему объему. В каждой точке дискретизации производят интерполяцию данных, применяют передаточную функцию, чтобы получить дискретное значение RGBA (цвета RGB с альфа-каналом, определяющим непрозрачность для цвета), результат складывают с аккумулированным RGBA луча, и процесс повторяют, пока луч не выйдет из объема. Процесс повторяют для каждого пикселя на экране, чтобы сформировать законченное изображение.Volume rendering can be performed by any of the methods known in the art, for example, the method disclosed in US 2005/0253841 A1, which is incorporated herein by reference. Typically, to perform volumetric rendering, it is necessary to determine the camera position and viewing direction in space. Also, according to some methods, the opacity and color of each voxel are determined. According to some volumetric rendering methods, a volume can be considered by extracting isosurfaces (surfaces of equal gray scale values) from the volume and rendering on them, for example as polygonal meshes or by rendering the volume directly as a block of data. The Marching Cubes algorithm is a common algorithm for extracting isosurfaces from volume data. Another common method is volumetric Ray Casting. According to this method, a beam is generated for each required pixel in the image. Using a simple camera model, the ray starts at the center of the camera's projection (usually the viewing position or eye position) and passes through an image pixel to an imaginary picture plane floating between the camera and the volume to be rendered. The beam is then quantized at equal or adaptive intervals throughout the volume. At each sampling point, the data is interpolated, a transfer function is applied to obtain a sampled RGBA value (an RGB color with an alpha channel defining the opacity for the color), the result is added to the accumulated RGBA of the ray, and the process is repeated until the ray exits the volume. The process is repeated for each pixel on the screen to form a complete image.

Согласно особо предпочтительному варианту осуществления изобретения, средой трехмерной визуализации является среда виртуальной реальности. Под термином «виртуальная реальность» имеется в виду любой созданный компьютером зрительный образ, обеспечивающий истинное трехмерное восприятие изображаемой структуры. Соответственно среда виртуальной реальности (ВР), соответствующая настоящему изобретению, обеспечивает, в частности зрительную обратную связь, но может также обеспечивать и другие виды обратной связи с органами чувств, например, звуковую. Среда ВР может также являться средой дополненной реальности, в которой пользователь по-прежнему видит реальную среду, но с объектами ВР (например, с объектом, полученным объемным рендерингом, или с динамической моделью), совмещенными с реальными объектами или наложенными на реальные объекты, или видит смешанную реальность, в которой объекты реального мира наложены на виртуальную сцену. Подвергаемая объемному рендерингу ИОО и зрительный образ динамической модели вместе могут формировать визуализированный объект, предпочтительно объект ВР.According to a particularly preferred embodiment of the invention, the three-dimensional visualization environment is a virtual reality environment. The term “virtual reality” refers to any computer-generated visual image that provides a true three-dimensional perception of the depicted structure. Accordingly, the virtual reality (VR) environment of the present invention provides, in particular, visual feedback, but may also provide other types of sensory feedback, such as audio. The VR environment may also be an augmented reality environment in which the user still sees the real environment, but with VR objects (such as a volume rendered object or a dynamic model) combined with or superimposed on real objects, or sees mixed reality, in which real-world objects are superimposed on a virtual scene. The volume rendered OSI and the visual image of the dynamic model together can form a rendered object, preferably a VR object.

Среду ВР обычно реализуют, показывая пользователю стереоизображения, т.е. каждый глаз видит свое изображение, отличающееся от другого глаза, при этом мозг совмещает два разных изображения, получая истинную трехмерную сцену. Такие бинокулярные изображения могут быть показаны на любом дисплее ВР, таком как шлем ВР или в среде с несколькими проекциями или на экране, на котором два изображения показывают с чередованием при соединении со стереоочками с активным затвором.VR environments are typically implemented by showing stereo images to the user, i.e. each eye sees a different image from the other eye, and the brain combines the two different images to create a true three-dimensional scene. Such binocular images can be displayed on any VR display, such as a VR headset or in a multi-view environment or on a screen on which two images are shown interleaved when coupled with active shutter glasses.

В среде ВР, подвергаемая объемному рендерингу ИОО и динамическая модель могут отображаться посредством стереоскопического рендеринга. В этом случае образ/изображение, подвергаемые объемному рендерингу (или иному рендерингу) вычисляют дважды для двух положений наблюдения, которые слегка смещены друг относительно друга в пространстве, т.е. одно положение наблюдения для левого глаза и одно для правого глаза. Когда два таким образом вычисленных образа демонстрируют пользователю по одному для каждого глаза, например в шлеме ВР, пользователь получает истинное трехмерное (ВР) впечатление. Тем самым, подвергаемая объемному рендерингу ИОО и динамическая модель поверхности могут быть переведены в ВР.In a VR environment, the volume-rendered OSI and dynamic model can be displayed through stereoscopic rendering. In this case, the image/image subject to volumetric rendering (or other rendering) is calculated twice for two viewing positions that are slightly offset from each other in space, i.e. one viewing position for the left eye and one for the right eye. When two images thus calculated are presented to the user, one for each eye, for example in a VR headset, the user receives a true three-dimensional (VR) experience. Thus, the volume-rendered OSI and the dynamic surface model can be translated into VR.

Согласно предпочтительному варианту осуществления изобретения, человек, использующий соответствующую изобретению ВР, способен «оглядывать» искусственный мир, перемещаться в нем и взаимодействовать с виртуальными объектами, элементами или предметами. Этот эффект, как правило, создается шлемами ВР, содержащими встроенный дисплей с небольшими экранами перед каждым глазом, но может также быть получен посредством специально сконструированных помещений с несколькими большими экранами. Чтобы пользователь мог передвигаться в среде ВР, шлем должен передавать информацию о местоположении и ориентации в электронное устройство (например, компьютер), которое генерирует среду ВР, так чтобы образ перемещался синхронно с движениями головы пользователя. Чтобы пользователь мог взаимодействовать с виртуальными объектами в среде ВР, также должно выполняться отслеживание движений рук, что может быть выполнено посредством контроллеров ВР, которые пользователь держит в руках. Однако, эта последняя функция является необязательной, так же, как и передача информации о местоположении/ориентации, чтобы пользователь мог передвигаться в виртуальной сцене.According to a preferred embodiment of the invention, a person using the VR according to the invention is able to “look around” the artificial world, move around in it and interact with virtual objects, elements or items. This effect is typically created by VR headsets containing a built-in display with small screens in front of each eye, but can also be achieved through specially designed rooms with multiple large screens. In order for a user to move around in a VR environment, the headset must transmit location and orientation information to an electronic device (such as a computer) that generates the VR environment so that the image moves in sync with the user's head movements. In order for a user to interact with virtual objects in a VR environment, hand tracking must also be performed, which can be done through VR controllers that the user holds in their hands. However, this latter function is optional, as is the transmission of location/orientation information to allow the user to move around in the virtual scene.

Согласно предпочтительным вариантам осуществления, пользователь может зуммировать/масштабировать зрительные образы/модели в среде ВР, корректировать параметры визуализации и настройки рендеринга, и/или захватывать отображаемые объекты, в частности подвергаемую объемному рендерингу ИОО или образ динамической модели. Поскольку указанные объекты привязаны друг к другу, их захватывают и перемещают вместе. Далее, согласно предпочтительным вариантам осуществления, среда ВР содержит лампу, которую пользователь может захватывать и перемещать в среде ВР, так чтобы оказать влияние на освещение подвергаемой объемному рендерингу ИОО и поверхности. Согласно предпочтительным вариантам, можно также корректировать освещенность сцены, в частности яркость перемещаемой лампы. Согласно еще одному предпочтительному варианту, используется среда ВР, в которой в одной сцене могут присутствовать несколько пользователей.In preferred embodiments, the user can zoom/scale visual images/models in the VR environment, adjust visualization parameters and rendering settings, and/or capture display objects, particularly a volume-rendered OSI or dynamic model image. Since these objects are attached to each other, they are grabbed and moved together. Further, in preferred embodiments, the VR environment includes a lamp that the user can grab and move within the VR environment so as to affect the illumination of the volume rendered OSI and surface. In preferred embodiments, it is also possible to adjust the illumination of the scene, in particular the brightness of the moving lamp. In another preferred embodiment, a VR environment is used in which multiple users may be present in the same scene.

Среда виртуальной реальности обеспечивает преимущество, заключающееся в том, что пользователь может наблюдать и анализировать отображаемый объект с высокой степенью доверия, поскольку пользователь получает истинное трехмерное изображение анатомической структуры. Далее, поскольку пользователь может обходить сцену вокруг и возможно даже входить внутрь сцены, он может наблюдать объект (например, образ сердца человека) с очень высоким увеличением, так чтобы объект полностью заполнял пространство перед пользователем. Поэтому пользователь имеет весьма хороший обзор и может выполнять измерения с высокой точностью. Кроме того, в среде ВР подача пользователем команд чрезвычайно проста и интуитивна. Такие действия как поворот и/или коррекция настроек подвергаемой рендерингу ИОО, которые могут быть довольно сложными на двумерном экране, в среде ВР с использованием контроллеров ВР оказываются интуитивными и быстрыми.The virtual reality environment provides the advantage that the user can observe and analyze the displayed object with a high degree of confidence because the user receives a true three-dimensional image of the anatomical structure. Further, since the user can walk around the scene and possibly even enter the scene, he can view an object (eg, an image of a person's heart) at very high magnification so that the object completely fills the space in front of the user. The user therefore has a very good overview and can carry out measurements with high accuracy. In addition, in a VR environment, user commands are extremely simple and intuitive. Actions such as rotating and/or adjusting settings of the rendered OSI, which can be quite complex on a 2D screen, are intuitive and fast in a VR environment using VR controllers.

Однако, настоящее изобретение может быть с успехом использовано в средах визуализации иных нежели виртуальная реальность. Там, где виртуальная реальность (ВР) не упомянута конкретно, последующие отличительные признаки и варианты осуществления являются полезными для обеих сред визуализации: с виртуальной реальностью и без виртуальной реальности.However, the present invention can be successfully used in visualization environments other than virtual reality. Where virtual reality (VR) is not specifically mentioned, the following features and embodiments are useful for both virtual reality and non-virtual reality visualization environments.

Согласно предпочтительному варианту осуществления изобретения, динамической анатомической структурой является сердце человека или животного, а исследуемым анатомическим объектом является часть сердца, такая как сердечный клапан или коронарный кровеносный сосуд. Особенно полезно, если ряд последовательных 3D изображений получен посредством ультразвукового исследования, такого как ЧЭхоКГ, поскольку данный метод обеспечивает динамические изображения с высокой частотой кадров и дешев по сравнению с другими методами получения изображений, такими как КТ и МРТ, а также создает минимальный риск для пациента при минимальном облучении. Полезным также является то, что динамической моделью является динамическая модель поверхности одной или более камер сердца, а анатомическим объектом является сердечный клапан. Согласно полезному варианту, динамической моделью поверхности является модель эндокарда левого желудочка и (части) левого предсердия, а исследуемым объектом является митральный клапан.According to a preferred embodiment of the invention, the dynamic anatomical structure is the human or animal heart, and the anatomical object of interest is a part of the heart, such as a heart valve or a coronary blood vessel. It is especially useful if a series of sequential 3D images are obtained through ultrasound such as TEE, as this technique provides dynamic images at high frame rates and is inexpensive compared to other imaging modalities such as CT and MRI, and poses minimal risk to the patient with minimal radiation. It is also useful that the dynamic model is a dynamic model of the surface of one or more chambers of the heart, and the anatomical object is the heart valve. In a useful embodiment, the dynamic surface model is a model of the endocardium of the left ventricle and (part of) the left atrium, and the object of interest is the mitral valve.

Изобретение может быть особенно полезным при планировании минимально инвазивных хирургических операций на сердце, таких как операции на сердечном клапане или операции по замене сердечного клапана. Новые, минимально инвазивные методы, такие как катетерная замена клапана, могут быть использованы для пациентов, которые ранее считались неоперабельными и/или непригодными для операций на открытом сердце. При некоторых видах катетерной замены клапанов (например, TAVR) используют полностью сжимаемый биологический клапан. Однако, для успеха подобных операций важно то, чтобы анализ и понимание имеющейся патологии/геометрии было полным, чтобы новый клапан мог быть тщательно выбран, подобран по размеру и расположен так, чтобы гарантировать его надлежащую работу, и чтобы он не затруднял проходимость ВТЛЖ или коронарных артерий. Это особенно справедливо для операций типа «клапан в клапане» КВК. Тем самым клапан с нарушенной функцией - иногда биологический митральный клапан - заменяют новым клапаном при минимальной инвазивности КВК процедуры. При этом новый клапан устанавливают внутрь старого клапана, разрушая старый клапан, при этом последний раскрывается. Следовательно, важно, чтобы клапан был расположен правильным образом и имел правильный размер. В частности, важно, чтобы новый митральный клапан не затруднял проходимость выносящего тракта левого желудочка. Поэтому, для планирования КВК операции подвергаемая объемному рендерингу ИОО содержит митральный клапан и предпочтительно также и ВТЛЖ. Левый желудочек представлен динамической моделью поверхности, и содержит описание набора опознавательных точек на митральном кольце. Указанные точки можно использовать в качестве основы для задания ИОО, которая соответственно перемещается вместе с биением сердца, и тем самым исключается выход митрального клапана за пределы исследуемого объема. Согласно предпочтительному варианту осуществления изобретения, пользователь может измерить, например, диаметр митрального клапана и соответственно выбрать наиболее подходящий клапан из библиотеки.The invention may be particularly useful in planning minimally invasive cardiac surgery, such as heart valve surgery or heart valve replacement surgery. New, minimally invasive techniques, such as catheter-based valve replacement, can be used for patients previously considered inoperable and/or unsuitable for open-heart surgery. Some types of catheter-based valve replacement (eg, TAVR) use a fully compressible biological valve. However, it is important for the success of such operations that the analysis and understanding of the existing pathology/geometry is complete, so that the new valve can be carefully selected, sized and positioned to ensure proper function and that it does not obstruct the patency of the LVOT or coronary arteries. arteries. This is especially true for valve-in-valve operations. Thus, a valve with impaired function - sometimes a biological mitral valve - is replaced with a new valve with minimal invasiveness of the CVC procedure. In this case, a new valve is installed inside the old valve, destroying the old valve, while the latter opens. Therefore, it is important that the valve is positioned correctly and is the correct size. In particular, it is important that the new mitral valve does not obstruct the left ventricular outflow tract. Therefore, for planning a CVC operation, the volume-rendered PSI contains the mitral valve and preferably also the LVOT. The left ventricle is represented by a dynamic surface model, and contains a description of a set of identifying points on the mitral annulus. These points can be used as a basis for specifying the OSI, which accordingly moves along with the heartbeat, thereby preventing the mitral valve from leaving the limits of the studied volume. According to a preferred embodiment of the invention, the user can measure, for example, the diameter of the mitral valve and accordingly select the most suitable valve from a library.

Соответственно, когда анатомическим объектом является сердечный клапан, изобретение позволяет иметь превосходное изображение клапана внутри ИОО, подвергаемой объемному рендерингу. Остальная часть камеры сердца, например, левый или правый желудочек и/или предсердие представляется только упрощенной моделью поверхности, которая динамически сокращается вместе с биением сердца, но не заслоняет вид исследуемой анатомии, т.е. клапана.Accordingly, when the anatomical object is a heart valve, the invention allows for an excellent image of the valve within the volume-rendered PSI. The rest of the heart chamber, for example, the left or right ventricle and/or atrium, is represented only by a simplified model of the surface, which dynamically contracts along with the heartbeat, but does not obscure the view of the anatomy being studied, i.e. valve

Согласно полезному варианту, рассматриваемая динамическая модель является динамической моделью поверхности, и ее получают на основе ряда последовательных медицинских изображений путем сегментации изображений в пределах указанных трехмерных изображений, или путем сегментации изображения в одном трехмерном изображении и отслеживания элементов или спекл-трекинга в последующих изображениях. Сегментация изображения это процесс разбиения изображения на множество сегментов или наборов пикселей/вокселей, и обычно используется для определения положения границ. Таким образом, сегментация это процесс присвоения метки каждому вокселю в 3D изображении, так что воксели с одинаковой меткой коллективно имеют определенные характеристики. Сегментация изображения может быть выполнена путем задания порога, т.е. всем вокселям выше или ниже определенного порога присваивается одна и та же метка. К другим методам сегментации относятся методы кластеризации (clustering), обнаружения краев (edge detection) и наращивания однородных областей (region-growing). В случае сердца сегментация может служить для отделения кровенаполненных полостей, в частности, желудочков и предсердий от ткани сердца, такой как ткань стенок и клапанов. Когда граница между, например, кровенаполненной полостью и тканью стенки сердца обнаружена, может быть построена модель поверхности, например, путем выбора ряда вокселей на границе и соединения их в проволочную модель или в триангуляционную модель поверхности. Данный процесс может быть выполнен для каждого 3D изображения в ряду последовательных изображений. Согласно другому полезному способу, сегментации подвергают только одно изображение из ряда, как описано выше, чтобы извлечь, например, статическую модель поверхности. Динамическую модель затем получают из указанной статической модели путем отслеживания элементов. Таким образом, на одном 3D изображении из ряда последовательных изображений выбирают определенные характерные элементы анатомической структуры. Такие характерные элементы затем отслеживают от изображения к изображению во всей последовательности изображений, что предпочтительно выполнять автоматически с использование алгоритмов отслеживания элементов. В случае ультразвуковых изображений предпочтительно использовать 3D спекл-трекинг (speckle-tracking). Это метод отслеживания элементов с использованием характерных артефактов в виде спеклов на ультразвуковых изображениях, получаемых в М-режиме (режиме движения), поскольку спеклы образуются благодаря эффектам интерференции перекрывающихся эхо-сигналов, и возникновение спеклов, таким образом соотносится с определенной анатомией. Таким образом, спекл ультразвукового изображения можно отслеживать подобно любому анатомическому элементу от изображения к изображению, и тем самым использовать для построения динамических моделей анатомических структур. В соответствии с особенно полезным вариантом осуществления изобретения, спекл-трекинг используется для получения динамической модели поверхности левого желудочка. Такая модель поверхности содержит митральное кольцо, а митральное кольцо в свою очередь используется для определения и привязки ИОО, содержащей исследуемый анатомический объект, а именно митральный клапан.In a useful embodiment, the dynamic model in question is a dynamic surface model and is obtained from a series of sequential medical images by segmenting the images within said 3D images, or by segmenting an image within one 3D image and feature tracking or speckle tracking in subsequent images. Image segmentation is the process of dividing an image into many segments or sets of pixels/voxels, and is typically used to determine the position of edges. Thus, segmentation is the process of assigning a label to each voxel in a 3D image, so that voxels with the same label collectively have certain characteristics. Image segmentation can be done by setting a threshold, i.e. all voxels above or below a certain threshold are assigned the same label. Other segmentation methods include clustering, edge detection, and region-growing. In the case of the heart, segmentation can serve to separate blood-filled cavities, particularly the ventricles and atria, from cardiac tissue such as wall tissue and valves. When a boundary between, for example, a blood-filled cavity and cardiac wall tissue is detected, a surface model can be constructed, for example, by selecting a number of voxels at the boundary and joining them into a wire model or a triangulation surface model. This process can be performed for each 3D image in a series of sequential images. According to another useful method, only one image from a series is segmented, as described above, to extract, for example, a static surface model. The dynamic model is then derived from the specified static model by tracking elements. Thus, in one 3D image, certain characteristic elements of the anatomical structure are selected from a number of sequential images. Such characteristic elements are then tracked from image to image throughout the image sequence, which is preferably done automatically using element tracking algorithms. In the case of ultrasound images, it is preferable to use 3D speckle-tracking. This is a method of tracking features using characteristic speckle artifacts in M-mode (motion mode) ultrasound images, since speckles are formed due to the interference effects of overlapping echoes, and the occurrence of speckles is thus correlated with specific anatomy. Thus, the speckle of an ultrasound image can be tracked like any anatomical element from image to image, and thereby be used to build dynamic models of anatomical structures. In accordance with a particularly useful embodiment of the invention, speckle tracking is used to obtain a dynamic model of the surface of the left ventricle. This surface model contains the mitral annulus, and the mitral annulus is in turn used to define and reference the PSI containing the anatomical object of interest, namely the mitral valve.

Согласно предпочтительному варианту осуществления изобретения, положение и/или ориентацию исследуемой объемной области определяют на протяжении определенного периода времени путем выявления соответствующего положения и/или ориентации исследуемого объекта в динамической модели. Соответственно, когда исследуемый объект является частью определенной структуры, которая воспроизводится посредством указанной динамической модели, отслеживание положения и/или ориентации ИОО по всему ряду последовательных изображений упрощается за счет использования динамической модели, например, за счет использования определенных опознавательных точек, которые являются частью модели.According to a preferred embodiment of the invention, the position and/or orientation of the volumetric region of interest is determined over a period of time by identifying the corresponding position and/or orientation of the object under study in the dynamic model. Accordingly, when the object of interest is part of a specific structure that is reproduced by said dynamic model, tracking the position and/or orientation of the OSI across a series of sequential images is facilitated by the use of the dynamic model, for example, by the use of certain identification points that are part of the model.

В общем, в соответствии с предпочтительным вариантом осуществления, исследуемая объемная область (ИОО) может быть определена путем установления набора опознавательных точек анатомического объекта, посредством задания аппроксимирующей поверхности, охватывающей набор опознавательных точек и путем задания объема, распространяющегося вверх и/или вниз и/или в боковом направлении от аппроксимирующей поверхности. Тем самым исследуемый объем закрепляется за анатомическим объектом, а если анатомический объект является частью структуры, которая воспроизводится посредством динамической модели поверхности, то ИОО будет перемещаться вместе с динамической моделью, и, в частности с исследуемым анатомическим объектом. Набором опознавательных точек могут служить, например, несколько точек на характерной поверхности или границе, к примеру, эндокарда или эпикарда. Согласно предпочтительному варианту осуществления, набором опознавательных точек являются точки на митральном кольце или кольце другого клапана сердца. Набор опознавательных точек может быть также назван облаком точек. Аппроксимирующей поверхностью предпочтительно является поверхность, которая может иметь заданную форму, например сферы, сфероида, эллипсоида или овоида, и которая поставлена в соответствие облаку точек методом подбора, чтобы получить наилучшее соответствие облаку точек (по критерию наименьших квадратов). Поверхность в предпочтительном случае может быть плоской, для оперативной работы с ней, но она также может быть и неплоской, так чтобы она наилучшим образом прилегала к набору опознавательных точек. Заданную таким образом аппроксимирующую поверхность затем используют для определения ИОО путем задания объема, охватывающего аппроксимирующую поверхность и простирающегося предпочтительно на заданное расстояние вверх и/или вниз и/или в боковом направлении от аппроксимирующей поверхности. Согласно полезному варианту осуществления изобретения, ИОО простирается на определенное расстояние, которое характерно для исследуемого объекта, например, на 1 см для митрального клапана вверх и вниз от аппроксимирующей поверхности, и в ширину, например, на 1 см в боковом направлении, чтобы гарантировать, что исследуемый объект целиком содержится в ИОО. Используя заданные значения расстояния/ширины, компьютер, управляющий визуализацией, может автоматически определять границы ИОО из набора опознавательных точек на исследуемом объекте для каждого 3D изображения из ряда последовательных изображений. Когда исследуемым объектом является митральный клапан, аппроксимирующей поверхностью будет аппроксимирующий круг в плоскости митрального клапана. Таким образом, задавая объем, простирающийся вверх и вниз от аппроксимирующей поверхности на заданное расстояние, и возможно в боковом направлении на заданную ширину, можно выбрать область ИОО, которая содержит митральный клапан и возможно дополнительно ВТЛЖ, но в которой не содержатся никакие дополнительные мешающие анатомические структуры. Тем самым объемный рендеринг дает ничем не засоренное и точное изображение исследуемого анатомического объекта, например, митрального клапана.In general, in accordance with a preferred embodiment, a volumetric region of interest (ROI) can be defined by defining a set of signature points of an anatomical object, by defining an approximating surface enclosing the set of signature points, and by defining a volume extending upward and/or downward and/or in the lateral direction from the approximating surface. Thus, the volume under study is assigned to the anatomical object, and if the anatomical object is part of a structure that is reproduced through a dynamic surface model, then the OSI will move along with the dynamic model, and, in particular, with the anatomical object under study. A set of identification points can be, for example, several points on a characteristic surface or border, for example, of the endocardium or epicardium. According to a preferred embodiment, the set of identification points are points on the mitral annulus or the annulus of another heart valve. A set of identification points can also be called a point cloud. The approximating surface is preferably a surface that can have a given shape, such as a sphere, spheroid, ellipsoid or ovoid, and which is fitted to the point cloud by fitting to obtain the best fit to the point cloud (by least squares). The surface may preferably be flat for ease of handling, but it may also be non-flat so that it best fits the set of identification points. The approximation surface thus defined is then used to determine the OSI by defining a volume enclosing the approximation surface and extending preferably a predetermined distance up and/or down and/or laterally from the approximation surface. According to a useful embodiment of the invention, the PSI extends over a certain distance that is characteristic of the object being examined, for example 1 cm for the mitral valve above and below the approximating surface, and in width, for example 1 cm laterally, to ensure that the object under study is entirely contained in the OSI. Using specified distance/width values, the imaging computer can automatically determine the boundaries of the OSI from a set of identification points on the object under study for each 3D image from a series of sequential images. When the object of interest is the mitral valve, the approximating surface will be the approximating circle in the plane of the mitral valve. Thus, by specifying a volume extending upward and downward from the approximating surface for a given distance, and possibly laterally for a given width, it is possible to select a region of the PSI that contains the mitral valve and possibly additionally the LVOT, but which does not contain any additional interfering anatomical structures . Thus, volumetric rendering provides an uncluttered and accurate image of the anatomical object under study, for example, the mitral valve.

В соответствии с предпочтительным вариантом осуществления изобретения, вместе со средой трехмерной визуализации предоставляется инструмент ввода.In accordance with a preferred embodiment of the invention, an input tool is provided along with the three-dimensional visualization environment.

В среде визуализации, которая не предполагает виртуальную реальность, инструментом ввода может служить клавиатура, указывающее устройство, такое как мышь, трекбол, сенсорная панель или сенсорный дисплей, которые обычно используют совместно с интерактивной панелью, содержащей кнопки, движки и т.п., которая отображается на экране. Такие кнопки или движки может, к примеру, приводить в действие пользователь при помощи пальца или указывающего устройства, например пользователь может перемещать курсор на экране, чтобы задействовать инструменты ввода. При помощи таких инструментов ввода пользователь может, например, увеличивать или уменьшать изображение, адаптировать параметры визуализации / настройки, такие как порог объемного рендеринга, сглаживание, освещение и контраст, запускать и останавливать режим анимации, и выполнять измерения на ИОО, подвергаемой объемному рендерингу. В особенно полезном варианте осуществления инструмент ввода дает возможность пользователю выбирать точки и производить измерения на анатомической структуре. Например, пользователь может выбрать две точки на результате объемного рендеринга, и расстояние между этими точками будет автоматически вычислено. Данная функция полезна при планировании хирургических операций, например, при выборе имплантов. В некоторых вариантах осуществления такой среды пользователь может «захватывать» изображаемый объект посредством указывающего устройства, т.е. мыши, или может прикасаться к сенсорному дисплею и тем самым перемещать или наклонять объект.In a visualization environment that does not involve virtual reality, the input tool may be a keyboard, a pointing device such as a mouse, trackball, touchpad, or touch display, which is typically used in conjunction with an interactive panel containing buttons, sliders, etc., which is displayed on the screen. Such buttons or sliders may, for example, be activated by the user using a finger or pointing device, for example, the user may move a cursor on the screen to engage input tools. With such input tools, the user can, for example, zoom in or out, adapt rendering/settings parameters such as volume rendering threshold, anti-aliasing, lighting and contrast, start and stop animation mode, and perform measurements on the volume rendered OSI. In a particularly useful embodiment, the input tool allows the user to select points and take measurements on an anatomical structure. For example, the user can select two points on a volume rendering result and the distance between those points will be automatically calculated. This function is useful when planning surgical operations, for example when choosing implants. In some embodiments of such an environment, the user may "grasp" the imaged object via a pointing device, i.e. mouse, or can touch the touch display and thereby move or tilt an object.

В среде ВР такой инструмент ввода предпочтительно реализуют посредством виртуального контроллера, который дает возможность пользователю по меньшей мере захватывать и перемещать объект в среде виртуальной реальности посредством жестов рук. Кроме того, контроллер ВР может содержать кнопки или движки, посредством которых пользователь может совершать операции выбора. В среде ВР пользователь, надев шлем ВР, и удерживая по меньшей мере один контроллер ВР в одной руке (предпочтительно по контроллеру ВР в каждой руке), видит в среде ВР статический или динамический образ анатомической структуры, состоящий из подвергаемой объемному рендерингу ИОО и динамической модели. В предпочтительном варианте пользователь может также видеть контроллеры в положениях и ориентациях, которые соответствуют текущим положениям и ориентациям рук. Таким образом, среда ВР дает возможность пользователю перемещать контроллеры в направлении образа, захватывать образ нажатием на определенную кнопку, перемещать, поворачивать или наклонять изображаемый объект посредством движения рук, как это пользователь делал бы с объектом в реальной жизни. Те самым пользователи располагают 18 степенями свободы (по шесть степеней свободы, (а именно три вращательные и три поступательные степени свободы) для каждого из устройств: шлема ВР и двух контроллеров ВР), чтобы корректно и интуитивно наблюдать и анализировать отображаемый объект. Это очень близко к естественному способу взаимодействия с объектами.In a VR environment, such an input tool is preferably implemented through a virtual controller that enables the user to at least grasp and move an object in the virtual reality environment through hand gestures. In addition, the VR controller may include buttons or sliders through which the user can perform selection operations. In a VR environment, the user, wearing a VR headset and holding at least one VR controller in one hand (preferably a VR controller in each hand), sees in the VR environment a static or dynamic image of an anatomical structure consisting of a volume-rendered OSI and a dynamic model . Preferably, the user may also see the controllers in positions and orientations that correspond to the current hand positions and orientations. Thus, the VR environment allows the user to move controllers in the direction of the image, capture the image by pressing a certain button, move, rotate or tilt the imaged object by moving the hands, as the user would do with the object in real life. Thus, users have 18 degrees of freedom (six degrees of freedom (namely three rotational and three translational degrees of freedom) for each of the devices: a VR helmet and two VR controllers) in order to correctly and intuitively observe and analyze the displayed object. This is very close to the natural way of interacting with objects.

В соответствии с полезным вариантом осуществления изобретения, инструмент ввода, такой, какой был описан выше, дает возможность пользователю выбрать плоскость в изображенном трехмерном объеме. Затем способ предпочтительно содержит этап отображения мультипланарной реконструкции (MPR, Multi Planar Reconstruction) выбранной плоскости по меньшей мере одного из трехмерных медицинских изображений из ряда последовательных изображений, в частности, в положении в среде трехмерной визуализации, соответствующем выбранной плоскости. Мультипланарная реконструкция - это изображение, реконструированное из плоскостей нескольких исходных изображений. Например, при КТ обычно получают пакет поперечных изображений. Таким образом, если требуется увидеть секущую плоскость, пересекающую пакет изображений с другой ориентацией нежели поперечная, пользователь может выбрать требуемую ориентацию, при этом MPR создается, например, посредством интерполяции из соответствующих ближайших пикселей в различных поперечных срезах. Отображение MPR дополнительно к подвергаемой объемному рендерингу ИОО и динамической модели дает пользователю возможность наблюдать анатомическую структуру с большей детализацией. В среде ВР, благодаря 18 степеням свободы (шлема ВР и двух контроллеров), правильное позиционирование захватываемой MPR плоскости в 3D объеме осуществляется очень быстро с возможностью проверки, при этом измерения на MPR плоскости или внутри части, подвергаемой объемному рендерингу, становятся более точными и надежными.In accordance with a useful embodiment of the invention, an input tool, such as described above, allows the user to select a plane in the depicted three-dimensional volume. The method then preferably comprises the step of displaying a multiplanar reconstruction (MPR) of a selected plane of at least one of the 3D medical images from a series of sequential images, in particular at a position in the 3D imaging environment corresponding to the selected plane. Multiplanar reconstruction is an image reconstructed from the planes of multiple original images. For example, CT typically produces a stack of cross-sectional images. Thus, if a cutting plane is desired to be seen intersecting a stack of images with a different orientation than the cross-section, the user can select the desired orientation, with an MPR created, for example, by interpolating from the corresponding nearby pixels in the different cross-sections. Displaying the MPR in addition to the volume-rendered OSI and dynamic model allows the user to observe the anatomical structure in greater detail. In a VR environment, thanks to 18 degrees of freedom (VR headset and two controllers), the correct positioning of the captured MPR plane in the 3D volume is very fast and verifiable, while measurements on the MPR plane or inside the part subject to volume rendering become more accurate and reliable .

В соответствии с полезным вариантом осуществления изобретения, контроллер ВР дает возможность пользователю корректировать параметры посредством жестов. Например, пользователь выбирает определенный параметр путем прикосновения к нему, используя движение руки в среде ВР. Затем пользователь может использовать жесты, чтобы, например, задействовать виртуальный движок, или просто перемещать контроллер горизонтально (или вертикально), чтобы регулировать параметр безотносительно любого движка. Соответствующие параметры относятся к визуализации, и могут быть выбраны из такого ряда, как: порог объемного рендеринга, сглаживание, интенсивность освещения, размер, непрозрачность отображаемого объекта, запуск и удержание режима анимации и т.п.According to a useful embodiment of the invention, the VR controller allows the user to adjust parameters through gestures. For example, a user selects a specific option by touching it using hand movement in a VR environment. The user can then use gestures to, for example, engage a virtual slider, or simply move the controller horizontally (or vertically) to adjust a parameter without reference to any slider. The corresponding parameters relate to rendering, and can be selected from such a range as: volume rendering threshold, anti-aliasing, lighting intensity, size, opacity of the displayed object, start and hold animation mode, etc.

В соответствии с полезным вариантом осуществления изобретения, среда трехмерной визуализации также содержит отображение компьютерного графического объекта, соответствующего медицинскому устройству, в частности импланту, в той же самой системе координат, что и объемного рендеринга, и динамической модели. Компьютерный графический объект является, например, трехмерным представлением геометрических данных, к примеру, 3D структуры, определяемой вершинами, такой как многогранник. Компьютерный графический объект предпочтительно привязывают к движению анатомической структуры, т.е. однажды его ставят в определенное положение с определенной ориентацией относительно подвергаемой объемному рендерингу ИОО в любом одном кадре. Когда пользователь запускает режим анимации, процессор, управляющий визуализацией, запоминает положение и ориентацию компьютерного графического объекта относительно подвергаемой объемному рендерингу ИОО, и будет сохранять это относительное положение и ориентацию. В случае, когда компьютерный графический объект представляет новый клапан, это новый клапан будет привязан к движению кольца клапана, например, митрального кольца. В предпочтительном варианте это может быть выполнено с использованием 3D спеклов, как было описано выше. Тем самым предоставляется важная динамическая информация на протяжении всего сердечного цикла, и клапан может быть расположен оптимальным образом, и исключено затруднение проходимости выносящего тракта. Привязка положения компьютерного графического объекта к положению на динамической модели может быть выполнена путем приписки одной или нескольких точек из набора опознавательных точек к компьютерному графическому объекту, который затем сохраняет фиксированное положение относительно таких опознавательных точек на протяжении определенного периода времени.According to a useful embodiment of the invention, the three-dimensional rendering environment also comprises displaying a computer graphics object corresponding to a medical device, in particular an implant, in the same coordinate system as the volume rendering and dynamic model. A computer graphics object is, for example, a three-dimensional representation of geometric data, for example, a 3D structure defined by vertices, such as a polyhedron. The computer graphics object is preferably linked to the movement of an anatomical structure, i.e. once it is placed in a certain position with a certain orientation relative to the volume-rendered OSI in any one frame. When the user initiates the animation mode, the rendering processor will remember the position and orientation of the computer graphics object relative to the volume-rendered OSI, and will maintain that relative position and orientation. In the case where the computer graphics object represents a new valve, the new valve will be tied to the movement of a valve annulus, such as the mitral annulus. Preferably this can be done using 3D speckles as described above. In this way, important dynamic information is provided throughout the entire cardiac cycle, and the valve can be optimally positioned and obstruction of the outflow tract is avoided. Linking the position of a computer graphics object to a position on a dynamic model can be accomplished by assigning one or more points from a set of signature points to the computer graphics object, which then maintains a fixed position relative to such signature points over a period of time.

Согласно еще одному варианту осуществления изобретения, пользователь предоставляется инструмент ввода, который дает возможность пользователю перемещать и наклонять компьютерный графический объект относительно подвергаемой объемному рендерингу ИОО и/или относительно образа динамической модели. Тем самым пользователь может не только измерять, но также может «примерять» выбранный имплант или размер импланта, например, новый клапан, который идет на замену, чтобы увидеть, подходит ли он к анатомической структуре, например, митральный клапан. К примеру, пользователь может выбрать из библиотеки наиболее подходящий клапан, и поместить клапан (скорее компьютерный графический объект, соответствующий клапану) внутрь изображаемого объекта для начальной проверки. Согласно особенно полезному варианту осуществления, компьютерный графический объект выглядит подобно тому, как будет выглядеть медицинское устройство на рентгеновских снимках, выполняемых во время операции (флюорографических изображениях), поскольку минимально инвазивные операции почти всегда выполняют при флюорографическом контроле. Таким образом, пользователь может наблюдать сцену в трех измерениях и получить представление, как будет выглядеть имплант на флюорографическом изображении. Компьютерный графический объект предпочтительно является трехмерным; он может представлять, например, упрощенную модель импланта, к примеру в форме проволочной сетки или объекта, образованного набором простых поверхностей.According to yet another embodiment of the invention, the user is provided with an input tool that allows the user to move and tilt the computer graphics object relative to the volume-rendered OSI and/or relative to the dynamic model image. In this way, the user can not only measure, but can also “try on” a selected implant or implant size, such as a new replacement valve, to see if it fits an anatomical structure, such as a mitral valve. For example, the user can select the most suitable valve from a library, and place the valve (rather a computer graphic object corresponding to the valve) inside the image object for initial testing. In a particularly useful embodiment, the computer graphics object appears similar to how the medical device would appear on intraoperative X-ray images (fluorographic images), since minimally invasive surgeries are almost always performed under fluorographic guidance. In this way, the user can view the scene in three dimensions and get an idea of what the implant will look like in a fluorographic image. The computer graphics object is preferably three-dimensional; it can represent, for example, a simplified model of the implant, for example in the form of a wire mesh or an object formed by a set of simple surfaces.

Компьютерным графическим объектом может также быть измерительное устройство, такое как рулетка или линейка.The computer graphics object may also be a measuring device such as a tape measure or ruler.

Все варианты осуществления, рассматриваемые в настоящем описании, применимы и к «традиционной» среде визуализации, которая может быть реализована, на экране компьютера, планшета или дисплея, а также и к среде ВР. Однако, среда ВР дает особое преимущество, поскольку предоставляет истинное 3D изображение и возможности наиболее интуитивного/быстрого приобретения опыта обращения с системой пользователем, а также 6, 12 или 18 степеней свободы, с которыми пользователь может перемещаться относительно изображаемого объекта.All embodiments discussed herein apply to a “traditional” visualization environment, which may be implemented on a computer screen, tablet or display, as well as to a VR environment. However, the VR environment offers the particular advantage of providing a true 3D image and the most intuitive/fast user experience with the system, as well as 6, 12 or 18 degrees of freedom with which the user can move relative to the imaged object.

В предпочтительном варианте соответствующий изобретению способ исполняется процессором, который может быть встроен в любое электронное устройство, способное управлять дисплеем, в частности дисплеем ВР, таким как шлем ВР или проекционный дисплей. Таким цифровым устройством может служить компьютер, PC, сервер, телевизионный приемник, планшет, смартфон, ноутбук, наладонник или подобное устройство. Процессор может также быть частью облачного компьютера, рабочей станции или управляющей консоли медицинского устройства отображения, в частности, ультразвукового сканера.In a preferred embodiment, the method according to the invention is executed by a processor, which can be built into any electronic device capable of driving a display, in particular a VR display, such as a VR headset or a head-up display. Such a digital device can be a computer, PC, server, television receiver, tablet, smartphone, laptop, handheld device or similar device. The processor may also be part of a cloud computer, workstation, or control console of a medical display device, such as an ultrasound scanner.

В соответствии с изобретением в другом его аспекте, предлагается компьютерная программа, содержащая инструкции программного кода, который при исполнении процессором, дает процессору возможность выполнять соответствующий изобретению способ. Компьютерная программа может быть в любом коде, в частности в коде, подходящем для приложений компьютерной графики, в частности для программирования виртуальной среды.In accordance with another aspect of the invention, there is provided a computer program containing program code instructions that, when executed by a processor, enable the processor to perform the method of the invention. The computer program may be in any code, particularly code suitable for computer graphics applications, particularly virtual environment programming.

В еще одном аспекте изобретение ориентировано на машинно-читаемую среду, содержащую вышеуказанную компьютерную программу. Машинно-читаемой средой может служить любое устройство хранения цифровых данных, такое как USB-накопитель, жесткий диск, CD-ROM, карта SD или карта SSD. Естественно, компьютерную программу не обязательно хранить в такой машинно-читаемой среде, которая поставляется заказчику, но ее можно сгружать из сети Интернет.In another aspect, the invention is directed to a machine-readable environment containing the above computer program. The machine-readable medium can be any digital storage device such as a USB flash drive, hard drive, CD-ROM, SD card, or SSD card. Naturally, the computer program does not have to be stored in a machine-readable environment that is supplied to the customer, but it can be downloaded from the Internet.

В соответствии с изобретением в еще одном его аспекте, предлагается пользовательский интерфейс, сконфигурированный для визуализации динамической анатомической структуры. Захват анатомической структуры осуществляется на основе ряда последовательных трехмерных медицинских изображений, охватывающих определенный период времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру в момент времени в пределах указанного периода времени. Пользовательский интерфейс содержит:In accordance with another aspect of the invention, a user interface configured to visualize a dynamic anatomical structure is provided. The anatomical structure is captured from a series of sequential 3D medical images spanning a specified period of time, with each 3D medical image from the series demonstrating a dynamic anatomical structure at a point in time within a specified period of time. The user interface contains:

a) среду трехмерной визуализации, сконфигурированную для создания трехмерной визуализации динамической анатомической структуры на протяжении определенного периода времени, иa) a three-dimensional visualization environment configured to create three-dimensional visualization of a dynamic anatomical structure over a period of time, and

b) процессор, выполненный с возможностью создания визуализации, соответствующей определенному моменту времени в пределах указанного периода времени, и содержащей:b) a processor configured to create a visualization corresponding to a specific point in time within a specified period of time, and containing:

i) объемный рендеринг исследуемой области в пределах трехмерного изображения в соответствии с определенным моментом времени, причем исследуемая область содержит исследуемый анатомический объект,i) volumetric rendering of the region of interest within a three-dimensional image according to a specific point in time, the region of interest containing the anatomical object of interest,

ii) визуализацию динамической модели по меньшей мере части динамической анатомической структуры в определенный момент времени и в той же системе координат, что и объемного рендеринга исследуемой объемной области,ii) visualizing a dynamic model of at least part of the dynamic anatomical structure at a certain point in time and in the same coordinate system as the volumetric rendering of the volumetric region of interest,

при этом исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта на протяжении указанного периода времени, когда динамическая модель и подвергаемая объемному рендерингу ИОО отображаются в режиме анимации, причем исследуемая объемная область меньше, чем все поле обзора трехмерных медицинских изображений.wherein the volumetric region of interest follows the position and/or shape of the anatomical object under study for a specified period of time, when the dynamic model and the volume-rendered OSI are displayed in animation mode, and the volumetric region of interest is smaller than the entire field of view of the three-dimensional medical images.

Все отличительные признаки или полезные варианты осуществления, описанные в отношении соответствующего изобретению способа, также применимы к пользовательскому интерфейсу.All features or useful embodiments described in relation to the inventive method also apply to the user interface.

Пользовательский интерфейс представляет собой, например, систему, содержащую по меньшей мере экран или дисплей (ВР или не ВР) и обычно инструмент ввода (какой был рассмотрен выше), который дает возможность пользователю взаимодействовать с содержимым дисплея, например, путем изменения параметров визуализации/настроек, зуммирования, нанесения меток и/или перемещения или наклона изображаемых объектов.A user interface is, for example, a system comprising at least a screen or display (VR or non-VR) and typically an input tool (as discussed above) that allows the user to interact with the contents of the display, for example by changing rendering parameters/settings , zooming, marking, and/or moving or tilting the displayed objects.

Согласно предпочтительному варианту осуществления изобретения, среда трехмерной визуализации представляет собой среду виртуальной реальности, а отображение результата объемного рендеринга и динамической модели является отображением виртуальной реальности, в частности на шлеме виртуальной реальности.According to a preferred embodiment of the invention, the three-dimensional visualization environment is a virtual reality environment, and the display of the volume rendering result and the dynamic model is a virtual reality display, in particular on a virtual reality headset.

Согласно предпочтительному варианту осуществления изобретения, среда виртуальной реальности содержит по меньшей мере один инструмент ввода, представляющий собой контроллер виртуальной реальности, который дает возможность пользователю выполнять одно или более следующих действий:According to a preferred embodiment of the invention, the virtual reality environment includes at least one input tool, which is a virtual reality controller that allows the user to perform one or more of the following actions:

- захватывать и перемещать объект, отображаемый в среде виртуальной реальности,- capture and move an object displayed in a virtual reality environment,

- производить измерения на анатомической структуре,- take measurements on an anatomical structure,

- корректировать параметры, используемые при визуализации, при помощи жестов, и- adjust the parameters used during visualization using gestures, and

- наносить метки на анатомическую структуру, причем указанные метки закреплены в положении на динамической модели, когда динамическая модель и результат объемного рендеринга исследуемой объемной области отображаются в режиме анимации.- apply marks to the anatomical structure, wherein said marks are fixed in position on the dynamic model, when the dynamic model and the result of volumetric rendering of the volumetric region under study are displayed in animation mode.

Среда виртуальной реальности может быть реализована с использованием предлагаемого на рынке оборудования ВР, такого как HTC VIVE или VIVE Pro Virtual Reality System, которые содержат шлем ВР, два контроллера ВР, два устройства слежения за местоположением, и, как вариант, акустическую систему (производства HTC Corporation, Taoyuan City 330, Taiwan).The virtual reality environment can be implemented using commercially available VR hardware such as the HTC VIVE or VIVE Pro Virtual Reality System, which contains a VR headset, two VR controllers, two location tracking devices, and optionally a speaker system (manufactured by HTC Corporation, Taoyuan City 330, Taiwan).

Краткое описание чертежейBrief description of drawings

Далее будут описаны предпочтительные варианты осуществления изобретения со ссылками на прилагаемые чертежи. На чертежах подобные элементы или объекты обозначены одинаковыми позиционными номерами. На чертежах:Preferred embodiments of the invention will now be described with reference to the accompanying drawings. In the drawings, similar elements or objects are designated by the same position numbers. On the drawings:

Фиг. 1 схематически изображает сердце человека в разрезе (показаны 4 камеры),Fig. 1 schematically shows a cross-section of the human heart (4 chambers are shown),

Фиг. 2 изображает динамическую модель поверхности левого желудочка,Fig. 2 depicts a dynamic model of the surface of the left ventricle,

Фиг. 3 схематически демонстрирует ряд последовательных медицинских изображений,Fig. 3 schematically shows a series of sequential medical images,

Фиг. 4 схематически изображает динамическую модель поверхности, содержащую ориентир для подвергаемой объемному рендерингу исследуемой объемной области (ИОО),Fig. 4 schematically depicts a dynamic surface model containing a reference for a volume-rendered volumetric region of interest (VOI),

Фиг. 5 схематически представляет объемный рендеринг трехмерного ультразвукового изображения сердца, включая ИОО,Fig. 5 schematically represents a volumetric rendering of a 3D ultrasound image of the heart, including the PSI,

Фиг. 6 схематически представляет динамическую модель и отслеживаемую ИОО,Fig. 6 schematically represents the dynamic model and the tracked OSI.

Фиг. 7 представляет трехмерный зрительный образ, соответствующий варианту осуществления настоящего изобретения,Fig. 7 is a three-dimensional visual image according to an embodiment of the present invention,

Фиг. 8 изображает среду виртуальной реальности, соответствующую варианту осуществления настоящего изобретения,Fig. 8 depicts a virtual reality environment according to an embodiment of the present invention,

Фиг. 9 демонстрирует увеличенный трехмерный зрительный образ, соответствующий варианту осуществления настоящего изобретения,Fig. 9 shows an enlarged three-dimensional visual image according to an embodiment of the present invention,

Фиг. 10 изображает пользовательский интерфейс, соответствующую первому варианту осуществления настоящего изобретения,Fig. 10 shows a user interface according to the first embodiment of the present invention,

Фиг. 11 изображает пользовательский интерфейс, соответствующую второму варианту осуществления настоящего изобретения,Fig. 11 shows a user interface according to the second embodiment of the present invention,

Фиг. 12 изображает блок-схему алгоритма, иллюстрирующую способ, соответствующий варианту осуществления настоящего изобретения.Fig. 12 is a flowchart illustrating a method according to an embodiment of the present invention.

Осуществление изобретенияCarrying out the invention

В целях лучшего зрительного представления о предпочтительном применении способа визуализации, соответствующего настоящему изобретению, на фиг. 1 изображено сердце 1 человека. Кровь, поступающая из легких, втекает в левое предсердие 2, а оттуда через митральный клапан 3 в левый желудочек 4. Оттуда кровь нагнетается через аортальный клапан 5 в аорту 6. Эту часть также называют выносящим трактом левого желудочка (ВТЛЖ). Кровь, поступающая из организма, втекает в правое предсердие 7 и нагнетается через трехстворчатый клапан 8 в правый желудочек 9. Оттуда кровь через легочный клапан 10 нагнетается в легочную артерию 11. Стенка 12 сердца образована мышечной тканью, окружающей камеры 2, 4, 7 и 9 сердца. Левый и правый желудочки разделены перегородкой 13. Из фиг. 1 очевидно, что сердце имеет сложную форму, при этом при сердцебиении оно постоянно движется, т.е. является динамической анатомической структурой. Таким образом, визуализация форм, таких как митральный клапан 3, в целях планирования замены клапана представляет собой трудную задачу, которая подвержена ошибкам.In order to better visualize the preferred application of the visualization method according to the present invention, FIG. 1 shows the heart of 1 person. Blood coming from the lungs flows into the left atrium 2 and from there through the mitral valve 3 into the left ventricle 4. From there, the blood is pumped through the aortic valve 5 into the aorta 6. This part is also called the left ventricular outflow tract (LVOT). Blood coming from the body flows into the right atrium 7 and is pumped through the tricuspid valve 8 into the right ventricle 9. From there, blood through the pulmonary valve 10 is pumped into the pulmonary artery 11. The wall 12 of the heart is formed by the muscle tissue surrounding chambers 2, 4, 7 and 9 hearts. The left and right ventricles are separated by a septum 13. From Fig. 1 it is obvious that the heart has a complex shape, while during the heartbeat it is constantly moving, i.e. is a dynamic anatomical structure. Thus, visualizing shapes such as the mitral valve 3 for the purpose of valve replacement planning is a difficult task that is prone to error.

Для лучшей визуализации работы левого желудочка может быть использована динамическая модель 14 поверхности, представленная на фиг. 2. Модель 14 поверхности представляет упрощенную модель границы «кровь-ткань» левого желудочка 4. В сущности, модель имеет форму мешка 18 с двумя отверстиями 16, 20 в вершине. Отверстие 16 представляет фиброзное кольцо митрального клапана, в то время как отверстие 20 представляет ВТЛЖ, в котором расположен аортальный клапан. Динамическая модель 14 поверхности может быть получена из последовательного ряда трехмерных ультразвуковых изображений сердца, в частности, путем отслеживания анатомических элементов или спекл-трекинга от одного изображения к следующему. Тем самым для каждого трехмерного изображения может быть построена модель поверхности, состоящая из набора вершин 22, охватывающих проволочную сетку 24. Такую динамическую модель 14 поверхности можно наблюдать в режиме анимации, т.е подобно кинофильму, так что наблюдающий получает впечатление движения левого желудочка при сердцебиении. Очевидно, что аналогичные динамические модели поверхности могут быть сформированы из других частей тела человека, в частности, других камер сердца или кровеносных сосудов.To better visualize the functioning of the left ventricle, the dynamic surface model 14 shown in FIG. 2. The surface model 14 represents a simplified model of the blood-tissue interface of the left ventricle 4. In essence, the model has the shape of a bag 18 with two holes 16, 20 at the apex. Hole 16 represents the annulus fibrosus of the mitral valve, while hole 20 represents the LVOT, in which the aortic valve is located. The dynamic surface model 14 can be obtained from a sequential series of 3D ultrasound images of the heart, in particular by anatomical tracking or speckle tracking from one image to the next. Thus, for each three-dimensional image, a surface model can be constructed consisting of a set of vertices 22 enclosing a wire mesh 24. Such a dynamic surface model 14 can be viewed in animation mode, i.e., like a movie, so that the observer gets the impression of the movement of the left ventricle during the heartbeat . It is obvious that similar dynamic surface patterns can be formed from other parts of the human body, in particular other heart chambers or blood vessels.

На фиг. 3 изображено схематическое представление последовательного ряда ультразвуковых изображений M1, M2, M3…Mz сердца. Z- это число изображений, полученных за один сердечный цикл, т.е. за время T, где T равно приблизительно 0,5-1,5 с. На фигуре показаны двумерные изображения, однако предпочтительно в каждый момент времени ti получать трехмерное изображение. Трехмерное медицинское изображение может быть сформировано посредством пакета двумерных изображений. Такой ряд изображений M1, M2, M3…Mz может быть получен, например, посредством эхокардиографии работающего сердца, к примеру, датчиком чреспищеводной эхокардиографии (ЧЭхо КГ).In fig. Figure 3 shows a schematic representation of a sequential series of ultrasound images M1, M2, M3...Mz of the heart. Z is the number of images obtained per cardiac cycle, i.e. for time T, where T is approximately 0.5-1.5 s. The figure shows two-dimensional images, but it is preferable to obtain a three-dimensional image at each time ti. A three-dimensional medical image can be generated by a stack of two-dimensional images. Such a series of images M1, M2, M3...Mz can be obtained, for example, by echocardiography of the beating heart, for example, with a transesophageal echocardiography (TEE) sensor.

Согласно варианту осуществления изобретения, исследуемую объемную область ИОО, содержащую изучаемый анатомический объект, задают по трехмерным изображениям за определенный период времени. Как показано на фиг. 4, такая ИОО может быть задана посредством набора опознавательных точек или ориентира 30 на динамической модели 14 поверхности. В случае, когда изучаемым объектом является фиброзное кольцо митрального клапана (митральное кольцо), подходящим ориентиром является модель митрального кольца 30. На фиг. 4 это представлено кольцеобразным объектом 30. Митральное кольцо 30 находится между моделью поверхности левого предсердия 26 и левого желудочка 18. На фиг. 4 виден ВТЛЖ 20, а также видны створки 32 митрального клапана. Соответственно плоскость митрального кольца 30 может образовывать ориентир для объемной визуализации ИОО, которая соответственно движется вместе с моделью 14 поверхности во время сердечного цикла.According to an embodiment of the invention, the volumetric region of interest of the OSI containing the anatomical object under study is defined from three-dimensional images over a certain period of time. As shown in FIG. 4, such an OSI can be defined by a set of identification points or landmark 30 on the dynamic surface model 14. In the case where the object under study is the mitral valve annulus (mitral annulus), a suitable reference is the mitral annulus model 30. In FIG. 4 this is represented by a ring-shaped object 30. The mitral annulus 30 is located between the surface model of the left atrium 26 and the left ventricle 18. In FIG. 4, LVOT 20 is visible, and leaflets 32 of the mitral valve are also visible. Accordingly, the plane of the mitral annulus 30 may form a reference for volumetric visualization of the PSI, which accordingly moves with the surface model 14 during the cardiac cycle.

Фиг. 5 иллюстрирует объемный рендеринг 34 для визуализации трехмерных данных, в данном случае объемный рендеринг сердца 36. Как видно из фиг. 5, результат объемного рендеринга при визуализации трехмерных данных ультразвукового изображения обычно трудно интерпретировать, поскольку он содержит много анатомических деталей. Поэтому, в соответствии с изобретением определяют ИОО 40, при этом только содержимое изображения внутри ИОО 40 подвергают процессу объемного рендеринга. В данном случае ИОО содержит митральный клапан 3, в котором отверстие клапана обозначено индексом 42. ИОО 40 может иметь форму прямоугольной ячейки или куба, как показано на фиг. 5. Исследуемая объемная область может также иметь любую иную трехмерную форму: это может быть сфера, эллипсоид, цилиндр и т.п. Для случая применения, когда исследуемым анатомическим объектом является митральный клапан, ИОО может иметь форму прямоугольной ячейки или кругового цилиндра или даже неправильную форму, заходящую на определенное расстояние вверх и вниз от плоскости митрального кольца. Благодаря заданию ИОО в фиксированном положении относительно положения анатомического объекта, особенно на динамической модели в каждый момент времени в пределах определенного периода времени, ИОО закрепляется за движением исследуемого подвижного анатомического объекта (например, митрального кольца) в модели поверхности на протяжении всего периода времени, например, сердечного цикла. Тем самым, исследуемый объект (например, митральный клапан 3) не выходит за пределы подвергаемой объемному рендерингу ИОО 40.Fig. 5 illustrates a volumetric rendering 34 for visualizing 3D data, in this case a volumetric rendering of the heart 36. As can be seen from FIG. 5, the volume rendering result when visualizing 3D ultrasound image data is usually difficult to interpret because it contains many anatomical details. Therefore, in accordance with the invention, the OSI 40 is determined, wherein only the image content within the OSI 40 is subjected to the volume rendering process. In this case, the PSI contains a mitral valve 3, in which the valve opening is designated by the index 42. The PSI 40 may be in the shape of a rectangular cell or a cube, as shown in FIG. 5. The volumetric region under study can also have any other three-dimensional shape: it can be a sphere, an ellipsoid, a cylinder, etc. For an application where the anatomical object being studied is the mitral valve, the IOV may be in the shape of a rectangular cell or a circular cylinder, or even an irregular shape extending a certain distance up and down from the plane of the mitral annulus. By setting the PSI in a fixed position relative to the position of the anatomical object, especially on a dynamic model at each point in time within a certain period of time, the PSI is fixed to the movement of the moving anatomical object under study (for example, the mitral annulus) in the surface model throughout the entire period of time, e.g. cardiac cycle. Thus, the object under study (for example, the mitral valve 3) does not extend beyond the volumetric rendering of the OSI 40.

Соответственно, зрительный образ 45, соответствующий определенному моменту времени, представленный в среде трехмерной визуализации, и соответствующий варианту осуществления настоящего изобретения, может выглядеть, как показано на фиг. 6. Зрительный образ 45 представляет собой визуализацию динамической модели 14, которая содержит модель поверхности в форме мешка левого желудочка 18 и левого предсердия 26. Митральное кольцо 30, к примеру определяют на каждом из трехмерных изображений путем сегментации на одном 3D-изображении и способом отслеживания анатомических элементов или спекл-трекинга на дальнейших изображениях. Таким образом для митрального кольца определяется набор опознавательных точек 31. Кольцеобразная модель митрального кольца 30 соответствует указанному набору опознавательных точек, и тем самым определяет аппроксимирующую поверхность, которая представляет собой плоскость, охваченную аппроксимирующим кольцом 30; в данном случае аппроксимирующая поверхность является сферической или овальной или плоской. Ячейка 40 ИОО определяется относительно аппроксимирующей поверхности 30 митрального кольца 30 на каждом из трехмерных изображений, и тем самым движется вместе с движением сердца, как показывают стрелки 44. Внутри ячейки ИОО трехмерные изображения подвергаются объемному рендерингу предпочтительно с регулируемым порогом, и таким образом результат объемного рендеринга закрепляется за митральным кольцом при наблюдении в режиме анимации.Accordingly, the visual image 45 corresponding to a certain point in time presented in a three-dimensional visualization environment and corresponding to an embodiment of the present invention may appear as shown in FIG. 6. The visual image 45 is a visualization of the dynamic model 14, which contains a model of the surface in the form of the sac of the left ventricle 18 and the left atrium 26. The mitral annulus 30, for example, is determined from each of the three-dimensional images by segmentation on one 3D image and a method of tracking the anatomical elements or speckle tracking in further images. Thus, a set of identification points 31 is defined for the mitral ring. The ring-shaped model of the mitral ring 30 corresponds to the specified set of identification points, and thereby defines an approximating surface, which is a plane covered by the approximating ring 30; in this case, the approximating surface is spherical or oval or flat. The OSI cell 40 is defined relative to the approximating surface 30 of the mitral annulus 30 in each of the 3D images, and thereby moves with the movement of the heart, as indicated by the arrows 44. Within the OSI cell, the 3D images are volume rendered, preferably with an adjustable threshold, and thus the result of the volume rendering is attached to the mitral ring when observed in animation mode.

Далее это иллюстрирует фиг. 7. На которой показана среда 50 виртуальной реальности, соответствующая варианту осуществления изобретения. Пользуясь таким интерфейсом, пользователь обнаружит себя в среде виртуальной реальности, включающей, например, виртуальный горизонт 52 и виртуальный источник света - лампу 56. Как вариант, пользователь может обнаружить себя в закрытом помещении. Зрительный образ 45 динамической анатомической структуры будет плавать в свободном пространстве перед пользователем, таким образом пользователь будет видеть трехмерный образ динамической модели 14 поверхности, который возникает как прозрачный сосуд, который имеет форму левого желудочка и возможно левого предсердия. В месте расположения митрального клапана область ИОО 40 привязана к движению сердца. Поскольку пользователю не будут фактически видны контуры ячейки 40 ИОО, эта ячейка показана прерывистыми линиями. То, что увидит пользователь - это объект 54 виртуальной реальности, который соответствует объемному или поверхностному рендерингу содержимого изображения, находящегося внутри ячейки 40 ИОО, а именно объемному рендерингу 54 митрального клапана 3. И модель 14 поверхности и результат объемного рендеринга 54 будут двигаться вместе с биением сердца, при этом пользователь может запускать и останавливать режим анимации в любой момент времени в пределах определенного периода времени, причем указанный период времени, охватываемый последовательностью изображений, составляет по меньшей мере один цикл сокращения сердца. Согласно полезному варианту осуществления изобретения, пользователь может приводить в действие устройство ввода, а именно, контроллер 60 виртуальной реальности. Контроллер может содержать кнопки 62, на которые пользователь может нажимать, чтобы запускать и останавливать режим анимации, или чтобы захватывать и перетаскивать или наклонять зрительный образ или объект 45 виртуальной реальности. Пользователь будет держать контроллер 60 виртуальной реальности в руке, при этом в идеальном случае будет видеть контроллер перед собой в положении, которое соответствует реальному положению руки.This is further illustrated in Fig. 7. Showing a virtual reality environment 50 according to an embodiment of the invention. Using such an interface, the user will find himself in a virtual reality environment, including, for example, a virtual horizon 52 and a virtual light source - a lamp 56. Alternatively, the user may find himself in an enclosed space. The visual image 45 of the dynamic anatomical structure will float in free space in front of the user, thus the user will see a three-dimensional image of the dynamic surface model 14 that appears as a transparent vessel that is shaped like the left ventricle and possibly the left atrium. At the location of the mitral valve, the OSI 40 region is tied to the movement of the heart. Since the outline of OSI cell 40 will not be actually visible to the user, this cell is shown in broken lines. What the user will see is a virtual reality object 54 that corresponds to a volumetric or surface rendering of the image content located within the OSI cell 40, namely the volumetric rendering 54 of the mitral valve 3. Both the surface model 14 and the volumetric rendering result 54 will move with the beat. heart, wherein the user can start and stop the animation mode at any time within a certain period of time, and the specified period of time covered by the sequence of images is at least one cycle of heartbeat. According to a useful embodiment of the invention, the user can operate an input device, namely the virtual reality controller 60. The controller may include buttons 62 that the user can press to start and stop the animation mode, or to grab and drag or tilt the visual image or virtual reality object 45 . The user will hold the virtual reality controller 60 in his hand, and ideally will see the controller in front of him in a position that corresponds to the actual position of the hand.

Дополнительные преимущества среды 50 виртуальной реальности представлены на фиг. 8. Согласно полезным вариантам осуществления изобретения, пользователь не только видит контроллер 60а и объект 45 виртуальной реальности, содержащий результат объемного рендеринга ИОО и динамическую модель поверхности, но также дополнительные инструменты или объекты виртуальной реальности. Например, инструмент 64 может представлять собой измерительную линейку или рулетку для измерения размеров анатомической структуры, например, митрального клапана. С другой стороны, контроллеры 60a, 60b виртуальной реальности, которые пользователь держит в каждой руке, могут быть использованы непосредственно для выполнения измерений на трехмерном зрительном образе 45, когда пользователь выбирает точки в виртуальном пространстве, а процессор вычисляет расстояние между точками. На основе таких измерений из библиотеки может быть выбран наиболее подходящий клапан. Соответственно, среда 50 виртуальной реальности может содержать компьютерные графические объекты 66a, 66b совместимые с виртуальной средой, которые представляют импланты, в данном случае импланты митрального клапана, которые пользователь может захватывать контроллерами 60a, 60b и «примерять» к митральному клапану, который представлен зрительным образом 45. Тем самым пользователь может также примерить положения клапанов 66a, 66b, так чтобы он смог вставить клапан в правильное положение во время реальной операции. Следовательно, объекты 66a, 66b виртуальной реальности построены из элементов имплантов клапана, которые видны на рентгеноскопических изображениях, в данном случае элементов проволочной структуры. Такие протезы клапана могут быть использованы при операциях типа «клапан в клапане», при этом они раскрываются непосредственно в старом клапане при минимальной инвазивности процедуры.Additional benefits of the virtual reality environment 50 are illustrated in FIG. 8. According to useful embodiments of the invention, the user not only sees the controller 60a and a virtual reality object 45 containing the OSI volume rendering result and a dynamic surface model, but also additional virtual reality tools or objects. For example, tool 64 may be a measuring stick or tape measure for measuring the size of an anatomical structure, such as the mitral valve. On the other hand, the virtual reality controllers 60a, 60b, which the user holds in each hand, can be used to directly perform measurements on the three-dimensional visual image 45, where the user selects points in the virtual space and the processor calculates the distance between the points. Based on such measurements, the most suitable valve can be selected from the library. Accordingly, the virtual reality environment 50 may contain computer graphics objects 66a, 66b compatible with the virtual environment that represent implants, in this case mitral valve implants, which the user can grasp with controllers 60a, 60b and “fit” against the mitral valve that is visually represented. 45. In this way, the user can also try out the positions of the valves 66a, 66b so that he can insert the valve into the correct position during actual operation. Therefore, virtual reality objects 66a, 66b are constructed from elements of valve implants that are visible in fluoroscopic images, in this case elements of a wire structure. These valve prostheses can be used in valve-in-valve surgery, opening directly into the old valve in a minimally invasive procedure.

Фиг. 9 представляет увеличенное изображение среды 50 виртуальной реальности, и также изображает горизонт 52 и модель 14 поверхности левого желудочка. Также изображен клапан 54, построенный объемным рендерингом. В данном зрительном образе 45 пользователь выбрал и переместил новый клапан 66 (или скорее соответствующий клапану объект виртуальной реальности), поместил его внутрь трехмерной визуализации 45 для первоначального просмотра. Затем новый клапан посредством 3D спекл-трекинга привязался к движению митрального кольца. Остающийся ВТЛЖ 20 и возможные препятствия могут быть измерены и оценены на протяжении сердечного цикла. Далее, размещение объекта виртуальной реальности, соответствующего клапану, может быть оптимизировано при динамическом движении. Размещение клапана может быть скорректировано при одновременном моделировании движения в пределах сердечного цикла.Fig. 9 is an enlarged view of the virtual reality environment 50, and also depicts a horizon 52 and a left ventricular surface model 14. Also shown is valve 54, constructed by volumetric rendering. In this visualization 45, the user has selected and moved a new valve 66 (or rather a virtual reality object corresponding to the valve) and placed it inside the 3D visualization 45 for initial viewing. The new valve was then linked to the movement of the mitral annulus using 3D speckle tracking. The remaining LVOT 20 and possible obstructions can be measured and assessed throughout the cardiac cycle. Further, the placement of the virtual reality object corresponding to the valve can be optimized for dynamic motion. Valve placement can be adjusted while simultaneously simulating motion within the cardiac cycle.

На фиг. 10 изображен пользовательский интерфейс, соответствующий изобретению без использования среды виртуальной реальности. В данной установке динамический зрительный образ 45 находится на экране 70 стандартного компьютера 70, а визуализация представляет собой просто рендеринг на двумерном экране 70. Экран может содержать панель 71 кнопок и движков, которые дают возможность пользователю наклонять, увеличивать, передвигать или как-то иначе манипулировать зрительным образом 45. При таком пользовательском интерфейсе также полезно иметь такой инструмент, как подвергаемая объемному рендерингу ИОО, которая привязана к положению исследуемого объекта в динамической модели динамической анатомической структуры, такой как сокращающееся сердце. Дисплей может управляться компьютером 72, например РС, содержащим процессор 73 и жесткий диск 75. Пользовательский интерфейс может содержать устройства ввода, такие как клавиатуру 74 и/или мышь 76.In fig. 10 shows a user interface according to the invention without using a virtual reality environment. In this setup, the dynamic visual image 45 resides on the screen 70 of a standard computer 70, and the visualization is simply a rendering on a two-dimensional screen 70. The screen may include a panel 71 of buttons and sliders that allow the user to tilt, zoom, pan, or otherwise manipulate visually 45. With such a user interface, it is also useful to have a tool such as a volume-rendered OSI that is tied to the position of the object of interest in a dynamic model of a dynamic anatomical structure, such as a beating heart. The display may be controlled by a computer 72, such as a PC, comprising a processor 73 and a hard drive 75. The user interface may include input devices such as a keyboard 74 and/or a mouse 76.

Однако, в предпочтительным варианте осуществления изобретения пользовательский интерфейс представляет собой интерфейс виртуальной реальности, изображенный на фиг. 11. Такой интерфейс реализован в виде шлема 82 виртуальной реальности, который надевает на себя пользователь 80. Шлем 82 соединен с компьютером 72 либо кабелем, либо беспроводным каналом связи. Такой шлем 82 виртуальной реальности содержит внутренние дисплеи, отдельные для каждого глаза, а также датчики местоположения 84, которые отслеживают движение головы. Такой шлем может также содержать видеокамеры в случае, если должна быть представлена расширенная среда виртуальной реальности. Далее, пользователь 80 держит в своих руках контроллеры 86 виртуальной реальности, причем контроллеры 86 также содержат датчики положения (не показаны) и кнопки или иные элементы ввода. Такой контроллер 86 виртуальной реальности дает возможность пользователю захватывать и перемещать объект, отображаемый в среде 50 виртуальной реальности. Шлемом виртуальной реальности может служить, например, шлем HTC VIVE с соответствующими контроллерами.However, in a preferred embodiment of the invention, the user interface is a virtual reality interface as shown in FIG. 11. Such an interface is implemented in the form of a virtual reality helmet 82, which is worn by the user 80. The helmet 82 is connected to the computer 72 either by cable or wireless communication channel. Such a virtual reality headset 82 contains internal displays separate for each eye, as well as location sensors 84 that track head movement. Such a headset may also contain video cameras in case an enhanced virtual reality environment is to be presented. Next, the user 80 holds virtual reality controllers 86 in his or her hands, wherein the controllers 86 also include position sensors (not shown) and buttons or other input elements. Such virtual reality controller 86 allows a user to grasp and move an object displayed in the virtual reality environment 50 . A virtual reality helmet can be, for example, an HTC VIVE helmet with appropriate controllers.

На фиг 12 изображена блок-схема, иллюстрирующая способ, соответствующий варианту осуществления настоящего изобретения. На этапе 90 обеспечивают наличие ряда последовательных трехмерных медицинских изображений, демонстрирующих, например, работающее сердце, при этом указанный ряд охватывает период времени, соответствующий одному сердечному циклу. На этапе 92 создают динамическую модель по меньшей мере части сердца, например, путем приведения в соответствие модели поверхности и части анатомической структуры, или путем генерирования модели поверхности посредством сегментации одного изображения и отслеживания элементов/спекл-трекинга. Таким образом динамическая модель автоматически привязывается к ряду последовательных изображений, т.е. модель может быть показана на 3D изображениях в правильном анатомическом положении. На этапе 94 положение исследуемого анатомического объекта может быть определено на протяжении определенного периода времени, и, в частности, посредством ориентира, такого как митральное кольцо. Дополнительно на этапе 94 определяют исследуемую объемную область (ИОО), содержащую исследуемый анатомический объект, в каждом из трехмерных изображений, так что область ИОО следует за положением и/или формой исследуемого анатомического объекта на протяжении определенного периода времени. На этапе 96 обеспечивают наличие среды пространственной визуализации для создания зрительного образа динамической анатомической структуры на протяжении определенного периода времени, как было описано выше. Такая среда визуализации может содержать устройство ввода в виде контроллера виртуальной реальности, при этом события поступления команд от пользователя могут иметь место на этапе 98. Указанные события могут затем могут быть использованы для изменения среды визуализации на этапе 96, например, путем изменения освещения или порогов рендеринга поверхности. В соответствии с такими событиями 98 ввода, на этапе 100 в среде визуализации могут быть изображены дополнительные объекты, например, представлен имплант клапана.FIG. 12 is a flowchart illustrating a method according to an embodiment of the present invention. At step 90, a series of sequential three-dimensional medical images are provided, showing, for example, a beating heart, the series covering a period of time corresponding to one cardiac cycle. At step 92, a dynamic model of at least part of the heart is created, for example, by matching a surface model and a portion of an anatomical structure, or by generating a surface model through single image segmentation and feature tracking/speckle tracking. In this way, the dynamic model is automatically linked to a series of sequential images, i.e. the model can be shown in 3D images in the correct anatomical position. At step 94, the position of the anatomical object of interest can be determined over a period of time, and in particular by means of a landmark such as the mitral annulus. Additionally, at step 94, a volumetric region of interest (ROI) containing the anatomical object of interest is defined in each of the three-dimensional images such that the VROI region follows the position and/or shape of the anatomical object of interest over a certain period of time. At step 96, a spatial visualization environment is provided to create a visual image of a dynamic anatomical structure over a period of time, as described above. Such a rendering environment may include an input device in the form of a virtual reality controller, and user command events may occur at step 98. These events may then be used to change the rendering environment at step 96, for example by changing lighting or rendering thresholds. surfaces. In accordance with such input events 98, at step 100, additional objects may be depicted in the visualization environment, for example, a valve implant is presented.

Хотя изобретение было иллюстрировано чертежами и подробно рассмотрено в описании, прилагаемые чертежи и описание следует считать лишь иллюстрацией или примером осуществления; при этом изобретение не ограничено раскрытыми вариантами осуществления.Although the invention has been illustrated by drawings and discussed in detail in the description, the accompanying drawings and description are to be considered as illustrative or exemplary only; however, the invention is not limited to the disclosed embodiments.

ПОЗИЦИОННЫЕ ОБОЗНАЧЕНИЯPOSITIONAL DESIGNATIONS

11 СердцеHeart 22 Левое предсердиеLeft atrium 33 Митральный клапанMitral valve 44 Левый желудочекLeft ventricle 55 Аортальный клапанAortic valve 66 АортаAorta 77 Правое предсердиеRight atrium 88 Трехстворчатый клапанTricuspid valve 99 Правый желудочекRight ventricle 1010 Легочный клапанPulmonary valve 11eleven Легочная артерияPulmonary artery 1212 Стенка сердцаHeart wall 1313 ПерегородкаPartition 1414 Динамическая модель поверхностиDynamic surface model 1616 Митральное кольцоMitral ring 1818 Мешковидная модель левого желудочкаSaccular model of the left ventricle 2020 Выносящий тракт левого желудочка (ВТЛЖ)Left ventricular outflow tract (LVOT) 2222 Вершины, определяющие модельVertices that define the model 2424 Проволочная сетка (модель)Wire mesh (model) M1, M2, M3…MzM1, M2, M3…Mz Последовательный ряд медицинских изображенийSequence of medical images 2626 Модель левого предсердияLeft atrium model 30thirty Аппроксимирующая поверхность/модель митрального кольцаApproximating surface/model of the mitral annulus 3131 Опознавательные точкиIdentification points 3232 Створки митрального клапанаMitral valve leaflets 34 34 Объемный рендерингVolume rendering 3636 СердцеHeart 4040 Исследуемая объемная область (ИОО)Volumetric region of interest (VOI) 4242 Отверстие клапанаValve hole 4444 СтрелкаArrow 45 45 Зрительный образVisual image 5050 Среда виртуальной реальностиVirtual reality environment 5252 Виртуальный горизонтVirtual horizon 5454 Результат объемного рендеринга как объект ВР Volume rendering result as a VR object 5656 Виртуальная лампаVirtual lamp 60, 60a, 60b60, 60a, 60b Контроллеры виртуальной реальностиVirtual reality controllers 6262 КнопкаButton 6464 Виртуальная измерительная линейка Virtual measuring ruler 66, 66a, 66b66, 66a, 66b Компьютерные графические объекты, соответствующие имплантам клапанаComputer graphics corresponding to valve implants 7070 ЭкранScreen 7171 Панель вводаInput Panel 7272 КомпьютерComputer 7373 ПроцессорCPU 74 74 КлавиатураKeyboard 7575 Жесткий дискHDD 7676 МышьMouse 8080 ПользовательUser 8282 Шлем виртуальной реальностиVirtual reality helmet 8484 Датчик положенияPosition sensor 8686 Контроллер виртуальной реальностиVirtual reality controller 90-10090-100 Этапы выполнения способаStages of performing the method

Claims (33)

1. Способ визуализации динамической анатомической структуры (1), содержащий этапы, на которых:1. A method for visualizing a dynamic anatomical structure (1), comprising the steps of: a) предусматривают ряд последовательных трехмерных медицинских изображений (M₁, М₂, M₃…M_Z), охватывающих период (Т) времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру (1) в момент времени в пределах указанного периода времени,a) provide a series of sequential three-dimensional medical images (M ₁ , M ₂ , M ₃ ...M _Z ), covering a period (T) of time, and each three-dimensional medical image from the specified series demonstrates a dynamic anatomical structure (1) at a point in time within the specified period of time b) создают динамическую модель (14) по меньшей мере части анатомической структуры, при этом динамическую модель получают из указанного ряда последовательных трехмерных медицинских изображений, и привязывают к указанному ряду изображений,b) creating a dynamic model (14) of at least part of the anatomical structure, wherein the dynamic model is obtained from said series of sequential three-dimensional medical images, and linked to said series of images, c) определяют исследуемую объемную область (40), содержащую исследуемый анатомический объект (3) в пределах каждого из трехмерных изображений, причем на протяжении указанного периода времени исследуемая объемная область (40) следует за положением и/или формой исследуемого анатомического объекта (3), при этом исследуемая объемная область (40) меньше, чем все поле обзора трехмерных медицинских изображений (М₁, М₂, M₃…M_Z), иc) defining a volumetric region of interest (40) containing an anatomical object of interest (3) within each of the three-dimensional images, wherein over a specified period of time the volumetric region of interest (40) follows the position and/or shape of the anatomical object of interest (3), in this case, the volumetric area under study (40) is smaller than the entire field of view of three-dimensional medical images (M ₁ , M ₂ , M ₃ ...M _Z ), and d) предусматривают среду (50, 70) трехмерной визуализации для отображения динамической анатомической структуры на протяжении указанного периода времени, при этом визуализация (45), соответствующая определенному моменту времени в пределах указанного периода времени, содержит:d) provide a three-dimensional visualization environment (50, 70) for displaying a dynamic anatomical structure over a specified period of time, wherein the visualization (45) corresponding to a specific point in time within the specified period of time contains: i) объемный рендеринг только исследуемой области (40) трехмерного изображения в соответствии с указанным определенным моментом времени, иi) volumetric rendering of only the region of interest (40) of the three-dimensional image according to said specific point in time, and ii) визуализацию динамической модели (14) в указанный определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой области.ii) visualization of the dynamic model (14) at a specified specific point in time and in the same coordinate system as the volumetric rendering of the region of interest. 2. Способ по п. 1, в котором среда (50) трехмерной визуализации представляет собой среду виртуальной реальности.2. The method according to claim 1, wherein the three-dimensional visualization environment (50) is a virtual reality environment. 3. Способ по п. 1 или 2, в котором динамическая анатомическая структура (1) представляет собой сердце человека или животного, а исследуемый анатомический объект (3) представляет собой часть сердца.3. The method according to claim 1 or 2, in which the dynamic anatomical structure (1) is a human or animal heart, and the anatomical object under study (3) is a part of the heart. 4. Способ по п. 3, в котором динамическая модель (14) представляет собой динамическую модель поверхности одной из нескольких камер (2, 4, 7, 9) сердца, а анатомический объект представляет собой сердечный клапан (3, 5, 8, 10).4. The method according to claim 3, in which the dynamic model (14) is a dynamic model of the surface of one of several chambers (2, 4, 7, 9) of the heart, and the anatomical object is a heart valve (3, 5, 8, 10 ). 5. Способ по любому из предшествующих пунктов, в котором динамическая модель (14) представляет собой динамическую модель (14) поверхности, при этом динамическую модель (14) получают из ряда последовательных трехмерных медицинских изображений путем сегментации всех трехмерных изображений или путем сегментации одного трехмерного изображения и отслеживания элементов или спекл-трекинга в последующих изображениях.5. The method as claimed in any one of the preceding claims, wherein the dynamic model (14) is a dynamic model (14) of a surface, wherein the dynamic model (14) is obtained from a series of sequential three-dimensional medical images by segmenting all three-dimensional images or by segmenting one three-dimensional image and feature tracking or speckle tracking in subsequent images. 6. Способ по любому из предшествующих пунктов, в котором положение и/или ориентацию исследуемой объемной области (40) определяют на протяжении периода времени путем выявления соответствующего положения (30) и/или ориентации исследуемого объекта (3) в динамической модели (14).6. The method as claimed in any one of the preceding claims, wherein the position and/or orientation of the volumetric region under study (40) is determined over a period of time by identifying the corresponding position (30) and/or orientation of the object under study (3) in the dynamic model (14). 7. Способ по любому из предшествующих пунктов, в котором исследуемую объемную область (40) определяют путем выявления набора опознавательных точек (31) анатомического объекта в динамической модели (14) или в трехмерных изображениях, причем опознавательные точки (31) следуют за положением и/или формой исследуемого анатомического объекта (3) на протяжении указанного периода времени, и путем определения аппроксимирующей поверхности (30), охватывающей указанный набор опознавательных точек для каждого трехмерного изображения, и путем определения исследуемой объемной области (40), как объема, распространяющегося вверх и/или вниз и/или в боковом направлении от аппроксимирующей поверхности.7. The method as claimed in any one of the preceding claims, wherein the volumetric region of interest (40) is determined by identifying a set of identification points (31) of an anatomical object in a dynamic model (14) or in three-dimensional images, wherein the identification points (31) follow the position and/ or the shape of the anatomical object under study (3) over a specified period of time, and by defining an approximating surface (30) covering a specified set of identification points for each three-dimensional image, and by defining the volumetric region of interest (40) as a volume extending upward and/or or downward and/or laterally from the approximating surface. 8. Способ по любому из предшествующих пунктов, в котором этап, на котором предусматривают среду трехмерной визуализации, содержит:8. The method according to any one of the preceding claims, wherein the step of providing a three-dimensional visualization environment comprises: отображение компьютерного графического объекта (66, 66а, 66b), соответствующего медицинскому устройству, в частности импланту, в той же системе координат, что и результат (54) объемного рендеринга, при этом компьютерный графический объект привязывают к положению в динамической модели (14), когда динамическая модель и подвергаемая объемному рендерингу исследуемая объемная область (40, 54) отображаются в режиме анимации, иdisplaying a computer graphics object (66, 66a, 66b) corresponding to a medical device, in particular an implant, in the same coordinate system as the volume rendering result (54), the computer graphics object being linked to a position in the dynamic model (14), when the dynamic model and the volume-rendered volume of interest (40, 54) are displayed in animation mode, and предоставление пользователю инструмента (60, 60а, 60b) ввода, который дает возможность пользователю перемещать и наклонять компьютерный графический объект (66, 66а, 66b), соответствующий медицинскому устройству относительно результата (54) объемного рендеринга, и визуализация динамической модели.providing the user with an input tool (60, 60a, 60b) that allows the user to move and tilt a computer graphics object (66, 66a, 66b) corresponding to the medical device relative to the volumetric rendering result (54), and rendering the dynamic model. 9. Способ по любому из предшествующих пунктов, в котором этап, на котором предусматривают среду (50, 70) трехмерной визуализации, содержит:9. The method according to any of the preceding claims, wherein the step of providing a three-dimensional visualization environment (50, 70) comprises: предоставление пользователю инструмента (60, 60а, 60b, 71, 74, 76) ввода, который дает возможность пользователю выбирать точки в пределах анатомической структуры для выполнения измерений анатомической структуры.providing the user with an input tool (60, 60a, 60b, 71, 74, 76) that allows the user to select points within the anatomical structure to make measurements of the anatomical structure. 10. Способ по п. 2, в котором среда (50) виртуальной реальности содержит по меньшей мере один инструмент ввода, который реализован посредством контроллера (60, 60а, 60b) виртуальной реальности, который дает возможность пользователю захватывать и перемещать объект в среде виртуальной реальности, используя жесты рук.10. The method of claim 2, wherein the virtual reality environment (50) comprises at least one input tool that is implemented by a virtual reality controller (60, 60a, 60b) that enables the user to grasp and move an object in the virtual reality environment using hand gestures. 11. Способ по п. 2 или 10, в котором среда (50) виртуальной реальности содержит по меньшей мере один инструмент ввода, который реализован посредством контроллера (60, 60а, 60b) виртуальной реальности, который дает возможность пользователю корректировать параметры, используемые при визуализации, при помощи жестов, в частности корректировать установочные параметры, такие как порог, используемый при выполнении объемного рендеринга исследуемой объемной области (40).11. The method according to claim 2 or 10, in which the virtual reality environment (50) contains at least one input tool, which is implemented by a virtual reality controller (60, 60a, 60b), which allows the user to adjust the parameters used in the visualization , using gestures, in particular to adjust settings such as the threshold used when performing volumetric rendering of the volumetric region of interest (40). 12. Машинно-читаемая среда, содержащая компьютерную программу, содержащую инструкции программного кода, которые, при исполнении процессором, дают процессору возможность выполнять способ, охарактеризованный в любом из пп. 1-11.12. A machine-readable environment comprising a computer program containing program code instructions that, when executed by a processor, enable the processor to perform the method described in any one of claims. 1-11. 13. Система для визуализации динамической анатомической структуры (1), захват которой осуществляется на основе ряда последовательных трехмерных медицинских изображений (М₁, М₂, M₃…M_Z), охватывающих период (Т) времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру (1) в момент времени в пределах указанного периода времени, при этом система содержит:13. A system for visualizing a dynamic anatomical structure (1), the capture of which is carried out on the basis of a series of sequential three-dimensional medical images (M ₁ , M ₂ , M ₃ ...M _Z ), covering a period (T) of time, and each three-dimensional medical image from the specified row demonstrates a dynamic anatomical structure (1) at a point in time within a specified period of time, the system containing: a) среду (50, 70) трехмерной визуализации, сконфигурированную для создания трехмерной визуализации (45) динамической анатомической структуры на протяжении периода времени, иa) a three-dimensional imaging environment (50, 70) configured to create a three-dimensional visualization (45) of a dynamic anatomical structure over a period of time, and b) процессор (73), выполненный с возможностью создания визуализации (45), соответствующей определенному моменту времени в пределах указанного периода времени и содержащей:b) a processor (73) configured to create a visualization (45) corresponding to a specific point in time within a specified period of time and containing: i) отображение объемного рендеринга только исследуемой области (40) в пределах трехмерного изображения в соответствии с указанным определенным моментом времени, причем исследуемая область (40) содержит исследуемый анатомический объект (3),i) displaying a volumetric rendering of only the region of interest (40) within the three-dimensional image in accordance with the specified specific point in time, the region of interest (40) containing the anatomical object of interest (3), ii) отображение динамической модели (14) по меньшей мере части динамической анатомической структуры в указанный определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой объемной области (40),ii) displaying a dynamic model (14) of at least a portion of the dynamic anatomical structure at said specific point in time and in the same coordinate system as the volumetric rendering of the volumetric region of interest (40), при этом исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта (3) на протяжении указанного периода времени, причем исследуемая объемная область (40) меньше, чем все поле обзора трехмерных медицинских изображений (M₁, М₂, M₃…M_Z).in this case, the studied volumetric area follows the position and/or shape of the studied anatomical object (3) over a specified period of time, and the studied volumetric area (40) is smaller than the entire field of view of three-dimensional medical images (M ₁ , M ₂ , M ₃ ... M _Z ). 14. Система по п. 13, в которой среда (50) трехмерной визуализации представляет собой среду виртуальной реальности, а отображение результата (54) объемного рендеринга и динамической модели (14) является отображением виртуальной реальности, в частности на шлеме (82) виртуальной реальности.14. The system according to claim 13, in which the three-dimensional visualization environment (50) is a virtual reality environment, and the display of the volumetric rendering result (54) and the dynamic model (14) is a virtual reality display, in particular on a virtual reality helmet (82) . 15. Система по п. 13 или 14, в которой среда виртуальной реальности содержит по меньшей мере один инструмент (86) ввода, представляющий собой контроллер виртуальной реальности, который дает возможность пользователю выполнять одно или более следующих действий:15. The system of claim 13 or 14, wherein the virtual reality environment comprises at least one input tool (86) that is a virtual reality controller that enables the user to perform one or more of the following actions: - захватывать и перемещать объект, отображаемый в среде виртуальной реальности,- capture and move an object displayed in a virtual reality environment, - производить измерения на анатомической структуре,- make measurements on an anatomical structure, - корректировать параметры, используемые при визуализации, при помощи жестов, и- adjust the parameters used during visualization using gestures, and - наносить метки на анатомическую структуру (1), причем указанные метки закреплены в положении на динамической модели (14), когда динамическая модель и подвергаемая объемному рендерингу исследуемая объемная область (40) отображаются в режиме анимации.- apply marks to the anatomical structure (1), and these marks are fixed in position on the dynamic model (14), when the dynamic model and the volumetric region of interest (40) subject to volumetric rendering are displayed in animation mode.

Images