RU2808612C2 - Способ визуализации динамической анатомической структуры - Google Patents

Abstract

Изобретение относится к области вычислительной техники, а именно к способу визуализации динамической анатомической структуры. Технический результат заключается в повышении точности отображения анатомической структуры и снижении рисков при динамическом отображении. Способ визуализации динамической анатомической структуры, содержащий этапы, на которых: a) предусматривают ряд последовательных трехмерных медицинских изображений (M₁, М₂, M₃…M_Z), охватывающих период (Т) времени, b) создают динамическую модель (14) по меньшей мере части анатомической структуры, c) определяют исследуемую объемную область (40), содержащую исследуемый анатомический объект (3) в пределах каждого из трехмерных изображений, и d) предусматривают среду (50, 70) трехмерной визуализации для отображения динамической анатомической структуры на протяжении указанного периода времени, при этом визуализация (45), соответствующая определенному моменту времени в пределах указанного периода времени, содержит: i) объемный рендеринг только исследуемой области (40) трехмерного изображения в соответствии с указанным определенным моментом времени и ii) визуализацию динамической модели (14) в указанный определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой области. 3 н. и 12 з.п. ф-лы, 13 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу визуализации динамической анатомической структуры, к соответствующей компьютерной программе и пользовательскому интерфейсу.

Уровень техники

Методы формирования медицинских изображений обеспечивают получение трехмерных данных (3D-данных) изображения организма человека или животного. Однако указанные изображения обычно просматривают на двумерных экранах (2D-экранах). Поэтому всегда имеет место риск неправильной интерпретации относительного пространственного расположения анатомических структур, представленных медицинскими 3D-данными, когда массивы 3D-данных просматривают и анализируют в ортогональных плоскостях 2D-экранов. Источником ошибок часто является выбор некорректно помещенной или повернутой измерительной плоскости для анализа и проведения измерений анатомической структуры.

Объемный 3D-рендеринг (визуализация) представляет собой набор методов, используемых для отображения 2D-проекции массива данных 3D-изображения. Однако, хотя объемный 3D-рендеринг помогает сформировать мысленную 3D-модель анатомии, она сильно зависит от качества изображения, а также от выбранных режимов (порога, сглаживания и т.п.). Визуализация часто включает искажения изображения и поэтому содержит риск того, что пользователь более не сомневается критически и не проверяет анатомию, представленную путем визуализации объемов. Тем не менее, метод сегментирования 3D-объема при помощи одного или более порогового значения по-прежнему представляет интерес, когда его используют для сложной патологии (например, опухоли, разрыва связок, обызвествление биопротеза).

С другой стороны, упрощенные модели анатомических структур пользуются хорошей репутацией в клинической практике, поскольку они могут компенсировать неудовлетворительное качество изображения, и их проще и быстрее интерпретировать. Примером динамической модели поверхности является TOMTEC Beutel® - функция имеющейся на рынке программы 4D LV-ANALYSIS©, или 4D MV от компании TONTEC Imaging Syatems GmbH, которая представляет собой динамическую модель поверхности полости правого желудочка. Однако, указанные программы не подходят для всех патологий, поскольку сложные и тонкие структуры не захватываются и не отображаются надлежащим образом.

Соответственно, современные методы сегментации и отображения медицинских данных сложных анатомических структур, например 3D-данных сердца, либо чересчур упрощают анатомические характеристики путем использования моделей поверхности или формы, либо используют пороговую сегментацию, которая может приводить к ошибочным выводам. Следовательно, можно пропустить или не придать значения важным геометрическим взаимосвязям и информации, которая необходима, например, при планировании хирургического вмешательства на сердце.

В некоторых исследованиях работают с 3D-печатью медицинских моделей, основанных на данных КТ или 3D-эхокардиографии. Однако, процесс 3D-печати требует большого времени и специальных знаний, он является дорогостоящим, и не может быть включен в повседневную клиническую практику, к тому же посредством его не может быть представлена динамика движения анатомических структур (особенно для 3D-эхокардиографии).

Также при визуализации данных медицинских изображений использовали и используют виртуальную реальность (ВР). Например, в работе «Новый метод виртуальной реальности при планировании операций на сердце» (“A new virtual reality approach for planning of cardiac interventions”, Artificial Intelligence on Medicine 22 (2001), 193-2014) раскрывает визуализацию данных магниторезонансной (МР) томографии сердца в формате виртуальной реальности. Раскрытый способ включает в себя оптимизированное 3D МР-сканирование с компенсацией дыхания, сегментацию, построение модели и интерактивную визуализацию в формате виртуальной реальности. В результате сегментации получается набор контуров параллельных линий, определяющих различные анатомические части сердечно-сосудистой системы. 3D-модель создается путем соединения указанных контуров. Модель рассматривают с использованием стереоскопических очков с активным затвором в сочетании с “holobench” - установкой из двух дисплеев, ориентированных под углом 90° друг к другу.

В публикации «Виртуальная реальность повышает качество ультразвукового контроля: новый метод для операций на сердце» (“Virtual reality-enhanced ultrasound guidance: A novel technique for intracardiac interventions”, Computer Aided Surgery, March 2008, 13(2) 82-94) раскрыта среда виртуальной реальности для визуализации в режиме реального времени данных эхокардиографии во время оперативного вмешательства. Предоперационные изображения и позиции хирургического инструмента с магнитным отслеживанием могут быть представлены хирургу для повышения качества ультразвуковых изображений, получаемых во время оперативного вмешательства. Предоперационные изображения регистрировали вместе с данными чреспищеводной эхокардиографии (ЧЭхо КГ), получаемыми во время оперативного вмешательства, с использованием поэлементного метода регистрации

В патентной публикации US 2014/052001 A1 раскрыто использование как данных В-режима, представляющих информацию о ткани, так и данных о течении, представляющих регургитирующую струю, с целью обнаружения митрального клапана автоматически при помощи классификатора, который обучен методами, применяемыми для обучения машин. Может быть использован ряд классификаторов, к примеру определяющих положение и ориентацию области клапана посредством одного классификатора, определяющих регургитирующее отверстие посредством другого классификатора и определяющих местонахождение анатомии митрального клапана посредством третьего классификатора. Одна или более характеристик для некоторых классификаторов может быть рассчитана на основе ориентации области клапана. После того, как митральный клапан будет обнаружен, его воссоздают в виде проволочной (каркасной) модели, и накладывают на рендеринг-изображение сердца.

В патентной публикации US 2016/220311 A1 раскрыт процессор, который принимает данные изображения от системы медицинской визуализации. На основе данных изображения процессор создает первую модель. Процессор генерирует математическую модель, которая учитывает данные кардиоэлектрофизиологии и кардиомеханики, полученные в результате оценивания первой модели. Процессор выполняет тестирование математической модели, чтобы определить результаты для терапии. Процессор накладывает указанный результат на интервенционное изображение. Если использовать интервенционную визуализацию, то первую модель сердца можно обновлять/выполнять наложение в ходе терапии, чтобы визуализировать ее действие на сердце пациента.

В патентной публикации US 2008/194957 A1 раскрыт способ получения трехмерного изображения объекта. Способ содержит получение модели объекта, облучение областей объекта ультразвуковыми волнами от преобразователей-источников внешних по отношению к объекту, получение обратных эхо-сигналов от объекта в преобразователях-приемниках внешних по отношению к объекту, обработку эхо-сигналов и формирование гибридного изображения объекта, содержащего области, обусловленные моделью объекта, и области, обусловленные эхо-сигналами.

В публикации «Визуализация кардиодинамики с использованием физически обоснованного деформируемого режима» (Visualization of cardiac dynamics using physics-based deformable mode”, Visual Communications and Image Processing; 20-1-2004-201-2004; San Jose, vol.3976, 15 February 200 (2000-02-15), pages 210-217, XP008019251, DOI: 10.1117/12.383043 ISBN:978-1-62841-730-2) раскрыт способ создания изображения, демонстрирующего динамику движения левого желудочка. В связи с этим предлагается первый способ, согласно которому создается модель поверхности. Далее предлагается второй способ, согласно которому создается физически обоснованная деформируемая модель, в которой сетка поверхности деформируется, следуя траектории соответствующих соединенных вершин моделей поверхности, построенных в последовательные моменты времени.

Раскрытие изобретения

Поэтому задача настоящего изобретения состоит в создании способа визуализации динамической анатомической структуры, который снижает риск неправильной интерпретации данных изображения, и, в частности риск ошибочного представления или некорректного измерения пространственных соотношений между анатомическими элементами.

Для лучшего решения одной или более вышеуказанных задач, согласно изобретению в его первом аспекте, предлагается способ визуализации динамической анатомической структуры. Способ содержит этапы, на которых:

a) предусматривают ряд последовательных трехмерных медицинских изображений, охватывающих некоторый период времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру в момент времени в пределах указанного периода времени,

b) создают динамическую модель по меньшей мере части анатомической структуры, при этом динамическую модель получают из указанного ряда последовательных трехмерных медицинских изображений, и привязывают к указанному ряду изображений,

с) определяют исследуемую объемную область, содержащую исследуемый анатомический объект в пределах каждого из трехмерных изображений, причем на протяжении указанного периода времени исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта, при этом исследуемая объемная область меньше, чем все поле обзора трехмерных медицинских изображений,

d) предусматривают среду трехмерной визуализации для отображения динамической анатомической структуры на протяжении указанного периода времени, при этом визуализация, соответствующая определенному моменту времени в пределах указанного периода времени содержит:

(i) объемный рендеринг исследуемой области трехмерного изображения в соответствии с определенным моментом времени, и

(ii) визуализацию динамической модели в определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой области.

В предпочтительном варианте среда трехмерной визуализации дает возможность отображать динамическую модель и результат объемного рендеринга исследуемой объемной области для каждого трехмерного изображения на протяжении определенного периода времени в «режиме анимации», т.е. «режиме кинофильма», что означает, что последовательность образов демонстрируется динамически с определенной частотой смены кадров, например 5-100 образов в секунду.

Соответственно, изобретение сочетает в себе два важных подхода при рассматривании медицинских 3D объемных данных. Первый подход - это создаваемая компьютером динамическая модель по меньшей мере части анатомической структуры. Такие модели обладают преимуществом, поскольку демонстрируют упрощенную/абстрактную версию анатомии, позволяют проще перемещаться по анатомической структуре и интерпретировать анатомию, не сильно зависят от качества изображения, и в них отсутствуют «дыры», т.е не включены артефакты и т.п.

Второй подход - это объемный рендеринг, который обладает тем преимуществом, что он пригоден для более сложных/необычных анатомических структур или крайне индивидуальных структур типа вершин створок клапана, стеноза, кальцификации, биопротезов, порванных сухожилий и т.п., которые не могут быть смоделированы программой, такой как 4D MV от компании TOMTEC. Кроме того, параметры, такие как порог, затененность, контраст могут быть настроены в режиме реального времени, т.е. с незамедлительным результатом во время просмотра динамической последовательности результатов объемного рендеринга. С другой стороны, объемный рендеринг сильно зависит от качества изображения, и таким образом может оказаться слишком сложным для интерпретации.

Изобретение обеспечивает сочетание преимуществ обоих подходов: объемный рендеринг используется только для тех частой анатомии, где он реально полезен и необходим. Область, в которой используется объемный рендеринг (исследуемая объемная область, ИОО (VOI, англ. Volume of Interest)), может быть минимизирована до фактического исследуемого объекта, что приводит к лучшему его обзору, при этом исследуемый объект (например, клапан) не выходит из фокуса. Это может быть выполнено путем использования точек динамической модели для также динамической коррекции положения ИОО.

Соответственно, изобретение предоставляет превосходные возможности обзора и навигации, которые обеспечивает динамическая модель, например модель формы/поверхности, в сочетании с корректируемыми и в высокой степени индивидуальными преимуществами, которые обеспечивает объемный рендеринг, при этом объемный рендеринг используется только там, где он необходим.

Динамической анатомической структурой может быть любой подвижный объект в теле человека или животного. В частности, это структура, которая совершает циклическое движение, например, дыхательное движение или сердцебиение. Поэтому рассматриваемый способ особенно пригоден для визуализации анатомических структур внутри туловища, таких как сердце, легкие, ребра, печень, почки и т.п. Анатомическая структура может представлять собой орган или часть органа тела человека или животного, например, сердца, но это может также быть и кровеносный сосуд или костная структура. Соответствующий изобретению способ особенно подходит для полых органов или органов, содержащих полость, таких как сердце.

Захват динамической анатомической структуры осуществляют посредством ряда последовательных трехмерных медицинских изображений, полученных от обследуемого человека, и охватывающих некоторый период времени, причем указанными изображениями могут служить предоперационные снимки, но это могут быть также изображения, получаемые во время операции. Ряд последовательных 3D медицинских изображений можно называть 4D-изображением. Трехмерное (3D) изображение обычно является цифровым изображением, например в стандарте DICOM, т.е. содержащим трехмерный массив вокселей, при этом каждый воксель имеет свое значение по шкале серых тонов. Такие 3D медицинские изображения обычно получают из области сканирования, содержащей динамическую анатомическую структуру, используя методы медицинской диагностики, такие как магнитный резонанс МР (MR, Magnetic Resonance), компьютерную томографию КТ (CT, Computed Tomography), позитрон-эмиссионную томографию ПЭТ (PET, Positron Emission Tomography) или ультразвуковое исследование УЗИ (USS, Ultra Sound Scan). Когда анатомической структурой является сердце, можно с успехом использовать ультразвуковое исследование, а в частности чреспищеводную эхокардиографию ЧэхоКГ (TEE, TransEsophageal Echocardiography). Одно 3D изображение из ряда последовательных во времени 3D изображений в дальнейшем называется термином «кадр». 3D изображения можно получать с частотой следования кадров, например, 5-100, а предпочтительно 20-60 в секунду, так чтобы получить гладкое изображение подвижной динамической анатомической структуры при ее отображении в режиме анимации. Указанный период времени обычно равен по меньшей мере одному циклу периодического движения, например, по меньшей мере одному сердечному циклу.

Динамическая модель по меньшей мере части анатомической структуры представляет собой, в частности упрощение анатомической структуры, например модель триангулируемой поверхности определенной границы раздела внутри анатомической структуры, например, границы «кровь-ткань» кровеносного сосуда или камеры сердца. Модель может содержать ряд точек, охватывающих линию или поверхность в каждом кадре. Это может также быть математическая модель, например, параметризованная модель, такая как поверхность или объем, охватываемый сплайновыми кривыми. Модель является динамической, т.е. она следует за движением анатомической структуры на протяжении определенного периода времени. Назначение динамической модели заключается в визуализации по меньшей мере части анатомической структуры, например, одной или нескольких камер работающего сердца, не заслоняя пользователю вид излишними подробностями. Поэтому такие упрощенные модели полезны для ориентирования пользователя, например, при планировании операции или выполнении измерений на определенной части анатомической структуры.

Динамическая модель может быть получена из 4D данных ультразвукового изображения, например, способом спекл-трекинга, чтобы автоматически следовать за трехмерными внутрисердечными контурами на протяжении всего сердечного цикла, и тем самым генерировать динамическую модель поверхности одной или нескольких камер сердца, в частности левого желудочка и, как вариант, по меньшей мере части левого предсердия. Кроме того, это может быть модель формы или поверхности, которая согласована с соответствующими 3D медицинскими изображениями.

Настоящее изобретение особенно полезно для просмотра и анализа определенного интересующего анатомического объекта, который обычно является частью анатомической структуры. Такой исследуемый объект содержится в ИОО меньшего размера, чем вся область сканирования (поле обзора) 3D медицинских изображений. Это может быть часть органа, составляющего анатомическую структуру, особенно часть, имеющая сложную анатомию, такая как сердечный клапан. Согласно предпочтительным вариантам осуществления изобретения, исследуемым анатомическим объектом является митральный клапан, трехстворчатый клапан, аортальный клапан или легочный клапан. Согласно другим вариантам осуществления изобретения, исследуемыми анатомическими объектами могут являться другие важные кровеносные сосуды, такие как коронарный сосуд, или иная структура, такая как опухоль.

Чтобы такой исследуемый анатомический объект просматривать с большей детализацией, в изобретении предложен объемный рендеринг исследуемой объемной области ИОО, которая содержит указанный анатомический объект, но предпочтительно имеет размеры, не слишком превышающие исследуемый анатомический объект, т.е. ИОО имеет минимально возможный размер. Другими словами, размер и/или форма ИОО адаптирована так, чтобы по возможности плотнее соответствовать размеру и/или форме исследуемого анатомического объекта, причем предпочтительно, чтобы это выполнялось для всего ряда последовательных изображений. Соответственно, ИОО, содержащую исследуемый анатомический объект, определяют в каждом из трехмерных изображений, при этом исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта на протяжении указанного периода времени. ИОО является суб-объемом (или ячейкой) от 3D изображения, и к примеру, определяется набором замкнутых поверхностей, которые охватывают объем, принадлежащий к указанной ИОО. ИОО содержит воксели с различными значениями по шкале серых тонов. При объемном рендеринге ИОО один или более параметров настройки, к примеру порог, определяет, какие воксели в пределах ИОО отображаются и каким образом. Согласно изобретению ИОО может иметь форму кубоида, цилиндра или сфероида, или же может иметь неправильную форму. Исследуемую объемную область обычно определяют на основе положения или формы исследуемого анатомического объекта, при этом ИОО может иметь фиксированный размер на протяжении ряда последовательных изображений, например, прямоугольная ячейка или цилиндр, имеющий заданную длину кромки и диаметр. Эту заданную длину и диаметр предпочтительно выбирают так, чтобы размер ИОО соответствовал ожидаемому размеру исследуемого анатомического объекта. Согласно некоторым вариантам осуществления, этот размер может изменяться на протяжении определенного периода времени в зависимости от размера исследуемого анатомического объекта на каждом 3D изображении. Назначение ИОО заключается в том, чтобы на каждом 3D изображении определить объем, в котором содержится исследуемый объект. Таким образом, за счет объемного рендеринга только содержимого ИОО можно получить очень хорошее изображение исследуемого объекта, при этом изображение не будет заслоняться другими частями анатомической структуры, подвергаемыми объемному рендерингу, которые менее интересны.

Согласно предпочтительным вариантам осуществления изобретения, динамическая модель охватывает исследуемый анатомический объект или примыкает к исследуемому анатомическому объекту, т.е. в пространстве привязана так, что левый желудочек занимает в пространстве положение относительно митрального клапана. Анатомический объект может также быть частью динамической модели. Таким образом, каждая ИОО, подвергаемая объемному рендерингу, основывается на соответствующем 3D медицинском изображении, и, например, центр ИОО при объемном рендеринге для каждого из ряда изображений находится в фиксированном положении относительно положения анатомического объекта динамической модели в соответствующий момент времени в пределах определенного периода времени.

Операция определения ИОО может быть выполнена как часть создания динамической модели. В случае митрального клапана, к примеру, динамическая модель поверхности левого желудочка будет содержать набор (опознавательных) точек на митральном кольце. Митральное кольцо образует анатомический переход между желудочком и левым предсердием, и служит местом, с которым соединяется ткань створок. Соответственно, динамическая модель будет содержать определение положения митрального клапана, которое может быть использовано для определения ИОО для каждого 3D изображения в ряду последовательных изображений. Согласно другим вариантам осуществления, положение исследуемого анатомического объекта может быть определено посредством процедур сегментации и процедур отслеживания элементов/спекл-трекинга, при которых выявляют определенную опознавательную точку на одном изображении, а затем отслеживают по всему ряду изображений. Положение может быть определено единственной точкой в трехмерном пространстве изображений, но также может быть определено набором точек, или положением геометрической структуры, или даже объема.

Чтобы дать возможность пользователю просматривать и анализировать исследуемый анатомический объект, предусмотрена среда трехмерной визуализации для отображения динамической анатомической структуры на протяжении определенного периода времени. Зрительный образ, соответствующий определенному моменту времени в пределах указанного периода времени, содержит по меньшей мере два различных вида изображений/картин. Указанные изображения построены в одной и той же системе координат, т.е. они отображаются в надлежащих пространственных положениях и ориентациях друг относительно друга. В случае, когда два разных зрительных образа перекрываются в пространстве, они могут быть совмещены или наложены друг на друга, например, оба показаны прозрачными, или, если один считается важнее другого, то один может замещать другого.

Указанными по меньшей мере двумя визуализируемыми объектами являются:

(i) результат объемного рендеринга ИОО, т.е. фотографическое содержание трехмерных медицинских изображений в пределах ИОО подвергается объемному рендерингу и отображается. Поскольку ИОО следует за положением и/или формой исследуемого анатомического объекта, указанный объемный рендеринг должен представлять собой объемный рендеринг фактически исследуемого анатомического объекта (и возможно непосредственного окружения, но не более того). Тем самым пользователю дается детальный и незатененный вид конкретного исследуемого анатомического объекта без потери преимуществ объемного рендеринга, поскольку объемный рендеринг применяется только там, где он имеет значение. Согласно предпочтительным вариантам осуществления, выбранные настройки для объемного рендеринга, такие как порог, сглаживание и т.п., являются регулируемыми или автоматически и/или пользователем.

(ii) во-вторых, зрительный образ динамической модели, в частности, трехмерный зрительный образ динамической модели в тот же момент времени, что и трехмерное изображение, на основе которого выполняется объемный рендеринг ИОО. Тем самым пользователю дается дополнительная информация для ориентирования и передвижения. Например, при анализе митрального клапана в ИОО пользователь может одновременно следить за выносящим трактом левого желудочка (ВТЛЖ). Это важно при планировании хирургических процедур, таких как замена клапана, например, катетерной имплантации аортального клапана (TAVI, Transcatheter Aortic Valve Implantation) или катетерной замене аортального клапана (TAVR, Transcatheter Aortic Valve Replacement) или замене митрального клапана, при которой нельзя затруднять проходимость ВТЛЖ.

Такой зрительный образ может быть показан в режиме анимации, который также называют или режимом кинофильма. В режиме анимации пользователю демонстрируется ряд зрительных образов, соответствующий ряду последовательных 3D медицинских изображений, предпочтительно с подходящей частотой порядка 5-100 кадр/с, а лучше 20-60 кадр/с, чтобы создать у пользователя хорошее впечатление от движения динамической модели вместе с движением исследуемого объекта. В случае полезного практического применения, например, осуществляется визуализация работающего сердца и соответствующего закрытия и открытия клапанов, при этом период времени составляет по меньшей мере один сердечный цикл.

Тем самым движение ИОО (например, части сердечного клапана и ВТЛЖ), подвергаемой объемному рендерингу, закреплено за подвижной структурой модели поверхности (например, митрального кольца), и следовательно ИОО движется динамически на протяжении всего сердечного цикла. Соответственно, изобретение не позволяет значимой части анатомии (исследуемому объекту) выходить за пределы ИОО, и гарантирует, что текущую ситуацию можно анализировать, измерять и интерпретировать быстрее и с большей уверенностью. Соответствующая изобретению среда визуализации может быть использована для просмотра и анализа сложных динамических анатомических структур, в частности для планирования операций и/или определения надлежащего размера, формы и положения импланта, который предполагается устанавливать в будущей операции.

3D визуализация динамической модели обычно представляет собой рендеринг (воспроизведение в объемном виде) динамической формы или модели поверхности, при этом рендеринг может быть выполнен методами, которыми располагает компьютерная графика, включая построение теней (shading), отбрасывание лучей (ray casting), рассеянное затенение (ambient occlusion) и т.п.

Объемный рендеринг может быть выполнен любым из методов, известных в данной области, например, методом, раскрытым в патентном документе US 2005/0253841 A1, который включен в настоящее изобретение посредством ссылки. Обычно, для выполнения объемного рендеринга необходимо определить положение камеры и направление наблюдения в пространстве. Также, согласно некоторым методам, определяют непрозрачность и цвет каждого вокселя. Согласно некоторым методам объемного рендеринга, объем может быть рассмотрен путем извлечения изоповерхностей (поверхностей равных значений по шкале серых тонов) из объема и выполнения над ними рендеринга, например, в виде полигональных сеток или путем рендеринга объема непосредственно в виде блока данных. Алгоритм “Marching Cubes” является общепринятым алгоритмом для извлечения изоповерхности из данных объема. Другим распространенным методом является объемный Ray Casting. Согласно данному методу, для каждого требуемого пикселя изображения генерируется луч. При использовании простой модели камеры луч начинается в центре проекции камеры (обычно в положении наблюдения или в точке расположения глаза) и проходит через пиксель изображения на воображаемую картинную плоскость, плавающую между камерой и объемом, который подлежит рендерингу. Затем луч квантуют с равными или адаптивными интервалами по всему объему. В каждой точке дискретизации производят интерполяцию данных, применяют передаточную функцию, чтобы получить дискретное значение RGBA (цвета RGB с альфа-каналом, определяющим непрозрачность для цвета), результат складывают с аккумулированным RGBA луча, и процесс повторяют, пока луч не выйдет из объема. Процесс повторяют для каждого пикселя на экране, чтобы сформировать законченное изображение.

Согласно особо предпочтительному варианту осуществления изобретения, средой трехмерной визуализации является среда виртуальной реальности. Под термином «виртуальная реальность» имеется в виду любой созданный компьютером зрительный образ, обеспечивающий истинное трехмерное восприятие изображаемой структуры. Соответственно среда виртуальной реальности (ВР), соответствующая настоящему изобретению, обеспечивает, в частности зрительную обратную связь, но может также обеспечивать и другие виды обратной связи с органами чувств, например, звуковую. Среда ВР может также являться средой дополненной реальности, в которой пользователь по-прежнему видит реальную среду, но с объектами ВР (например, с объектом, полученным объемным рендерингом, или с динамической моделью), совмещенными с реальными объектами или наложенными на реальные объекты, или видит смешанную реальность, в которой объекты реального мира наложены на виртуальную сцену. Подвергаемая объемному рендерингу ИОО и зрительный образ динамической модели вместе могут формировать визуализированный объект, предпочтительно объект ВР.

Среду ВР обычно реализуют, показывая пользователю стереоизображения, т.е. каждый глаз видит свое изображение, отличающееся от другого глаза, при этом мозг совмещает два разных изображения, получая истинную трехмерную сцену. Такие бинокулярные изображения могут быть показаны на любом дисплее ВР, таком как шлем ВР или в среде с несколькими проекциями или на экране, на котором два изображения показывают с чередованием при соединении со стереоочками с активным затвором.

В среде ВР, подвергаемая объемному рендерингу ИОО и динамическая модель могут отображаться посредством стереоскопического рендеринга. В этом случае образ/изображение, подвергаемые объемному рендерингу (или иному рендерингу) вычисляют дважды для двух положений наблюдения, которые слегка смещены друг относительно друга в пространстве, т.е. одно положение наблюдения для левого глаза и одно для правого глаза. Когда два таким образом вычисленных образа демонстрируют пользователю по одному для каждого глаза, например в шлеме ВР, пользователь получает истинное трехмерное (ВР) впечатление. Тем самым, подвергаемая объемному рендерингу ИОО и динамическая модель поверхности могут быть переведены в ВР.

Согласно предпочтительному варианту осуществления изобретения, человек, использующий соответствующую изобретению ВР, способен «оглядывать» искусственный мир, перемещаться в нем и взаимодействовать с виртуальными объектами, элементами или предметами. Этот эффект, как правило, создается шлемами ВР, содержащими встроенный дисплей с небольшими экранами перед каждым глазом, но может также быть получен посредством специально сконструированных помещений с несколькими большими экранами. Чтобы пользователь мог передвигаться в среде ВР, шлем должен передавать информацию о местоположении и ориентации в электронное устройство (например, компьютер), которое генерирует среду ВР, так чтобы образ перемещался синхронно с движениями головы пользователя. Чтобы пользователь мог взаимодействовать с виртуальными объектами в среде ВР, также должно выполняться отслеживание движений рук, что может быть выполнено посредством контроллеров ВР, которые пользователь держит в руках. Однако, эта последняя функция является необязательной, так же, как и передача информации о местоположении/ориентации, чтобы пользователь мог передвигаться в виртуальной сцене.

Согласно предпочтительным вариантам осуществления, пользователь может зуммировать/масштабировать зрительные образы/модели в среде ВР, корректировать параметры визуализации и настройки рендеринга, и/или захватывать отображаемые объекты, в частности подвергаемую объемному рендерингу ИОО или образ динамической модели. Поскольку указанные объекты привязаны друг к другу, их захватывают и перемещают вместе. Далее, согласно предпочтительным вариантам осуществления, среда ВР содержит лампу, которую пользователь может захватывать и перемещать в среде ВР, так чтобы оказать влияние на освещение подвергаемой объемному рендерингу ИОО и поверхности. Согласно предпочтительным вариантам, можно также корректировать освещенность сцены, в частности яркость перемещаемой лампы. Согласно еще одному предпочтительному варианту, используется среда ВР, в которой в одной сцене могут присутствовать несколько пользователей.

Среда виртуальной реальности обеспечивает преимущество, заключающееся в том, что пользователь может наблюдать и анализировать отображаемый объект с высокой степенью доверия, поскольку пользователь получает истинное трехмерное изображение анатомической структуры. Далее, поскольку пользователь может обходить сцену вокруг и возможно даже входить внутрь сцены, он может наблюдать объект (например, образ сердца человека) с очень высоким увеличением, так чтобы объект полностью заполнял пространство перед пользователем. Поэтому пользователь имеет весьма хороший обзор и может выполнять измерения с высокой точностью. Кроме того, в среде ВР подача пользователем команд чрезвычайно проста и интуитивна. Такие действия как поворот и/или коррекция настроек подвергаемой рендерингу ИОО, которые могут быть довольно сложными на двумерном экране, в среде ВР с использованием контроллеров ВР оказываются интуитивными и быстрыми.

Однако, настоящее изобретение может быть с успехом использовано в средах визуализации иных нежели виртуальная реальность. Там, где виртуальная реальность (ВР) не упомянута конкретно, последующие отличительные признаки и варианты осуществления являются полезными для обеих сред визуализации: с виртуальной реальностью и без виртуальной реальности.

Согласно предпочтительному варианту осуществления изобретения, динамической анатомической структурой является сердце человека или животного, а исследуемым анатомическим объектом является часть сердца, такая как сердечный клапан или коронарный кровеносный сосуд. Особенно полезно, если ряд последовательных 3D изображений получен посредством ультразвукового исследования, такого как ЧЭхоКГ, поскольку данный метод обеспечивает динамические изображения с высокой частотой кадров и дешев по сравнению с другими методами получения изображений, такими как КТ и МРТ, а также создает минимальный риск для пациента при минимальном облучении. Полезным также является то, что динамической моделью является динамическая модель поверхности одной или более камер сердца, а анатомическим объектом является сердечный клапан. Согласно полезному варианту, динамической моделью поверхности является модель эндокарда левого желудочка и (части) левого предсердия, а исследуемым объектом является митральный клапан.

Изобретение может быть особенно полезным при планировании минимально инвазивных хирургических операций на сердце, таких как операции на сердечном клапане или операции по замене сердечного клапана. Новые, минимально инвазивные методы, такие как катетерная замена клапана, могут быть использованы для пациентов, которые ранее считались неоперабельными и/или непригодными для операций на открытом сердце. При некоторых видах катетерной замены клапанов (например, TAVR) используют полностью сжимаемый биологический клапан. Однако, для успеха подобных операций важно то, чтобы анализ и понимание имеющейся патологии/геометрии было полным, чтобы новый клапан мог быть тщательно выбран, подобран по размеру и расположен так, чтобы гарантировать его надлежащую работу, и чтобы он не затруднял проходимость ВТЛЖ или коронарных артерий. Это особенно справедливо для операций типа «клапан в клапане» КВК. Тем самым клапан с нарушенной функцией - иногда биологический митральный клапан - заменяют новым клапаном при минимальной инвазивности КВК процедуры. При этом новый клапан устанавливают внутрь старого клапана, разрушая старый клапан, при этом последний раскрывается. Следовательно, важно, чтобы клапан был расположен правильным образом и имел правильный размер. В частности, важно, чтобы новый митральный клапан не затруднял проходимость выносящего тракта левого желудочка. Поэтому, для планирования КВК операции подвергаемая объемному рендерингу ИОО содержит митральный клапан и предпочтительно также и ВТЛЖ. Левый желудочек представлен динамической моделью поверхности, и содержит описание набора опознавательных точек на митральном кольце. Указанные точки можно использовать в качестве основы для задания ИОО, которая соответственно перемещается вместе с биением сердца, и тем самым исключается выход митрального клапана за пределы исследуемого объема. Согласно предпочтительному варианту осуществления изобретения, пользователь может измерить, например, диаметр митрального клапана и соответственно выбрать наиболее подходящий клапан из библиотеки.

Соответственно, когда анатомическим объектом является сердечный клапан, изобретение позволяет иметь превосходное изображение клапана внутри ИОО, подвергаемой объемному рендерингу. Остальная часть камеры сердца, например, левый или правый желудочек и/или предсердие представляется только упрощенной моделью поверхности, которая динамически сокращается вместе с биением сердца, но не заслоняет вид исследуемой анатомии, т.е. клапана.

Согласно полезному варианту, рассматриваемая динамическая модель является динамической моделью поверхности, и ее получают на основе ряда последовательных медицинских изображений путем сегментации изображений в пределах указанных трехмерных изображений, или путем сегментации изображения в одном трехмерном изображении и отслеживания элементов или спекл-трекинга в последующих изображениях. Сегментация изображения это процесс разбиения изображения на множество сегментов или наборов пикселей/вокселей, и обычно используется для определения положения границ. Таким образом, сегментация это процесс присвоения метки каждому вокселю в 3D изображении, так что воксели с одинаковой меткой коллективно имеют определенные характеристики. Сегментация изображения может быть выполнена путем задания порога, т.е. всем вокселям выше или ниже определенного порога присваивается одна и та же метка. К другим методам сегментации относятся методы кластеризации (clustering), обнаружения краев (edge detection) и наращивания однородных областей (region-growing). В случае сердца сегментация может служить для отделения кровенаполненных полостей, в частности, желудочков и предсердий от ткани сердца, такой как ткань стенок и клапанов. Когда граница между, например, кровенаполненной полостью и тканью стенки сердца обнаружена, может быть построена модель поверхности, например, путем выбора ряда вокселей на границе и соединения их в проволочную модель или в триангуляционную модель поверхности. Данный процесс может быть выполнен для каждого 3D изображения в ряду последовательных изображений. Согласно другому полезному способу, сегментации подвергают только одно изображение из ряда, как описано выше, чтобы извлечь, например, статическую модель поверхности. Динамическую модель затем получают из указанной статической модели путем отслеживания элементов. Таким образом, на одном 3D изображении из ряда последовательных изображений выбирают определенные характерные элементы анатомической структуры. Такие характерные элементы затем отслеживают от изображения к изображению во всей последовательности изображений, что предпочтительно выполнять автоматически с использование алгоритмов отслеживания элементов. В случае ультразвуковых изображений предпочтительно использовать 3D спекл-трекинг (speckle-tracking). Это метод отслеживания элементов с использованием характерных артефактов в виде спеклов на ультразвуковых изображениях, получаемых в М-режиме (режиме движения), поскольку спеклы образуются благодаря эффектам интерференции перекрывающихся эхо-сигналов, и возникновение спеклов, таким образом соотносится с определенной анатомией. Таким образом, спекл ультразвукового изображения можно отслеживать подобно любому анатомическому элементу от изображения к изображению, и тем самым использовать для построения динамических моделей анатомических структур. В соответствии с особенно полезным вариантом осуществления изобретения, спекл-трекинг используется для получения динамической модели поверхности левого желудочка. Такая модель поверхности содержит митральное кольцо, а митральное кольцо в свою очередь используется для определения и привязки ИОО, содержащей исследуемый анатомический объект, а именно митральный клапан.

Согласно предпочтительному варианту осуществления изобретения, положение и/или ориентацию исследуемой объемной области определяют на протяжении определенного периода времени путем выявления соответствующего положения и/или ориентации исследуемого объекта в динамической модели. Соответственно, когда исследуемый объект является частью определенной структуры, которая воспроизводится посредством указанной динамической модели, отслеживание положения и/или ориентации ИОО по всему ряду последовательных изображений упрощается за счет использования динамической модели, например, за счет использования определенных опознавательных точек, которые являются частью модели.

В общем, в соответствии с предпочтительным вариантом осуществления, исследуемая объемная область (ИОО) может быть определена путем установления набора опознавательных точек анатомического объекта, посредством задания аппроксимирующей поверхности, охватывающей набор опознавательных точек и путем задания объема, распространяющегося вверх и/или вниз и/или в боковом направлении от аппроксимирующей поверхности. Тем самым исследуемый объем закрепляется за анатомическим объектом, а если анатомический объект является частью структуры, которая воспроизводится посредством динамической модели поверхности, то ИОО будет перемещаться вместе с динамической моделью, и, в частности с исследуемым анатомическим объектом. Набором опознавательных точек могут служить, например, несколько точек на характерной поверхности или границе, к примеру, эндокарда или эпикарда. Согласно предпочтительному варианту осуществления, набором опознавательных точек являются точки на митральном кольце или кольце другого клапана сердца. Набор опознавательных точек может быть также назван облаком точек. Аппроксимирующей поверхностью предпочтительно является поверхность, которая может иметь заданную форму, например сферы, сфероида, эллипсоида или овоида, и которая поставлена в соответствие облаку точек методом подбора, чтобы получить наилучшее соответствие облаку точек (по критерию наименьших квадратов). Поверхность в предпочтительном случае может быть плоской, для оперативной работы с ней, но она также может быть и неплоской, так чтобы она наилучшим образом прилегала к набору опознавательных точек. Заданную таким образом аппроксимирующую поверхность затем используют для определения ИОО путем задания объема, охватывающего аппроксимирующую поверхность и простирающегося предпочтительно на заданное расстояние вверх и/или вниз и/или в боковом направлении от аппроксимирующей поверхности. Согласно полезному варианту осуществления изобретения, ИОО простирается на определенное расстояние, которое характерно для исследуемого объекта, например, на 1 см для митрального клапана вверх и вниз от аппроксимирующей поверхности, и в ширину, например, на 1 см в боковом направлении, чтобы гарантировать, что исследуемый объект целиком содержится в ИОО. Используя заданные значения расстояния/ширины, компьютер, управляющий визуализацией, может автоматически определять границы ИОО из набора опознавательных точек на исследуемом объекте для каждого 3D изображения из ряда последовательных изображений. Когда исследуемым объектом является митральный клапан, аппроксимирующей поверхностью будет аппроксимирующий круг в плоскости митрального клапана. Таким образом, задавая объем, простирающийся вверх и вниз от аппроксимирующей поверхности на заданное расстояние, и возможно в боковом направлении на заданную ширину, можно выбрать область ИОО, которая содержит митральный клапан и возможно дополнительно ВТЛЖ, но в которой не содержатся никакие дополнительные мешающие анатомические структуры. Тем самым объемный рендеринг дает ничем не засоренное и точное изображение исследуемого анатомического объекта, например, митрального клапана.

В соответствии с предпочтительным вариантом осуществления изобретения, вместе со средой трехмерной визуализации предоставляется инструмент ввода.

В среде визуализации, которая не предполагает виртуальную реальность, инструментом ввода может служить клавиатура, указывающее устройство, такое как мышь, трекбол, сенсорная панель или сенсорный дисплей, которые обычно используют совместно с интерактивной панелью, содержащей кнопки, движки и т.п., которая отображается на экране. Такие кнопки или движки может, к примеру, приводить в действие пользователь при помощи пальца или указывающего устройства, например пользователь может перемещать курсор на экране, чтобы задействовать инструменты ввода. При помощи таких инструментов ввода пользователь может, например, увеличивать или уменьшать изображение, адаптировать параметры визуализации / настройки, такие как порог объемного рендеринга, сглаживание, освещение и контраст, запускать и останавливать режим анимации, и выполнять измерения на ИОО, подвергаемой объемному рендерингу. В особенно полезном варианте осуществления инструмент ввода дает возможность пользователю выбирать точки и производить измерения на анатомической структуре. Например, пользователь может выбрать две точки на результате объемного рендеринга, и расстояние между этими точками будет автоматически вычислено. Данная функция полезна при планировании хирургических операций, например, при выборе имплантов. В некоторых вариантах осуществления такой среды пользователь может «захватывать» изображаемый объект посредством указывающего устройства, т.е. мыши, или может прикасаться к сенсорному дисплею и тем самым перемещать или наклонять объект.

В среде ВР такой инструмент ввода предпочтительно реализуют посредством виртуального контроллера, который дает возможность пользователю по меньшей мере захватывать и перемещать объект в среде виртуальной реальности посредством жестов рук. Кроме того, контроллер ВР может содержать кнопки или движки, посредством которых пользователь может совершать операции выбора. В среде ВР пользователь, надев шлем ВР, и удерживая по меньшей мере один контроллер ВР в одной руке (предпочтительно по контроллеру ВР в каждой руке), видит в среде ВР статический или динамический образ анатомической структуры, состоящий из подвергаемой объемному рендерингу ИОО и динамической модели. В предпочтительном варианте пользователь может также видеть контроллеры в положениях и ориентациях, которые соответствуют текущим положениям и ориентациям рук. Таким образом, среда ВР дает возможность пользователю перемещать контроллеры в направлении образа, захватывать образ нажатием на определенную кнопку, перемещать, поворачивать или наклонять изображаемый объект посредством движения рук, как это пользователь делал бы с объектом в реальной жизни. Те самым пользователи располагают 18 степенями свободы (по шесть степеней свободы, (а именно три вращательные и три поступательные степени свободы) для каждого из устройств: шлема ВР и двух контроллеров ВР), чтобы корректно и интуитивно наблюдать и анализировать отображаемый объект. Это очень близко к естественному способу взаимодействия с объектами.

В соответствии с полезным вариантом осуществления изобретения, инструмент ввода, такой, какой был описан выше, дает возможность пользователю выбрать плоскость в изображенном трехмерном объеме. Затем способ предпочтительно содержит этап отображения мультипланарной реконструкции (MPR, Multi Planar Reconstruction) выбранной плоскости по меньшей мере одного из трехмерных медицинских изображений из ряда последовательных изображений, в частности, в положении в среде трехмерной визуализации, соответствующем выбранной плоскости. Мультипланарная реконструкция - это изображение, реконструированное из плоскостей нескольких исходных изображений. Например, при КТ обычно получают пакет поперечных изображений. Таким образом, если требуется увидеть секущую плоскость, пересекающую пакет изображений с другой ориентацией нежели поперечная, пользователь может выбрать требуемую ориентацию, при этом MPR создается, например, посредством интерполяции из соответствующих ближайших пикселей в различных поперечных срезах. Отображение MPR дополнительно к подвергаемой объемному рендерингу ИОО и динамической модели дает пользователю возможность наблюдать анатомическую структуру с большей детализацией. В среде ВР, благодаря 18 степеням свободы (шлема ВР и двух контроллеров), правильное позиционирование захватываемой MPR плоскости в 3D объеме осуществляется очень быстро с возможностью проверки, при этом измерения на MPR плоскости или внутри части, подвергаемой объемному рендерингу, становятся более точными и надежными.

В соответствии с полезным вариантом осуществления изобретения, контроллер ВР дает возможность пользователю корректировать параметры посредством жестов. Например, пользователь выбирает определенный параметр путем прикосновения к нему, используя движение руки в среде ВР. Затем пользователь может использовать жесты, чтобы, например, задействовать виртуальный движок, или просто перемещать контроллер горизонтально (или вертикально), чтобы регулировать параметр безотносительно любого движка. Соответствующие параметры относятся к визуализации, и могут быть выбраны из такого ряда, как: порог объемного рендеринга, сглаживание, интенсивность освещения, размер, непрозрачность отображаемого объекта, запуск и удержание режима анимации и т.п.

В соответствии с полезным вариантом осуществления изобретения, среда трехмерной визуализации также содержит отображение компьютерного графического объекта, соответствующего медицинскому устройству, в частности импланту, в той же самой системе координат, что и объемного рендеринга, и динамической модели. Компьютерный графический объект является, например, трехмерным представлением геометрических данных, к примеру, 3D структуры, определяемой вершинами, такой как многогранник. Компьютерный графический объект предпочтительно привязывают к движению анатомической структуры, т.е. однажды его ставят в определенное положение с определенной ориентацией относительно подвергаемой объемному рендерингу ИОО в любом одном кадре. Когда пользователь запускает режим анимации, процессор, управляющий визуализацией, запоминает положение и ориентацию компьютерного графического объекта относительно подвергаемой объемному рендерингу ИОО, и будет сохранять это относительное положение и ориентацию. В случае, когда компьютерный графический объект представляет новый клапан, это новый клапан будет привязан к движению кольца клапана, например, митрального кольца. В предпочтительном варианте это может быть выполнено с использованием 3D спеклов, как было описано выше. Тем самым предоставляется важная динамическая информация на протяжении всего сердечного цикла, и клапан может быть расположен оптимальным образом, и исключено затруднение проходимости выносящего тракта. Привязка положения компьютерного графического объекта к положению на динамической модели может быть выполнена путем приписки одной или нескольких точек из набора опознавательных точек к компьютерному графическому объекту, который затем сохраняет фиксированное положение относительно таких опознавательных точек на протяжении определенного периода времени.

Согласно еще одному варианту осуществления изобретения, пользователь предоставляется инструмент ввода, который дает возможность пользователю перемещать и наклонять компьютерный графический объект относительно подвергаемой объемному рендерингу ИОО и/или относительно образа динамической модели. Тем самым пользователь может не только измерять, но также может «примерять» выбранный имплант или размер импланта, например, новый клапан, который идет на замену, чтобы увидеть, подходит ли он к анатомической структуре, например, митральный клапан. К примеру, пользователь может выбрать из библиотеки наиболее подходящий клапан, и поместить клапан (скорее компьютерный графический объект, соответствующий клапану) внутрь изображаемого объекта для начальной проверки. Согласно особенно полезному варианту осуществления, компьютерный графический объект выглядит подобно тому, как будет выглядеть медицинское устройство на рентгеновских снимках, выполняемых во время операции (флюорографических изображениях), поскольку минимально инвазивные операции почти всегда выполняют при флюорографическом контроле. Таким образом, пользователь может наблюдать сцену в трех измерениях и получить представление, как будет выглядеть имплант на флюорографическом изображении. Компьютерный графический объект предпочтительно является трехмерным; он может представлять, например, упрощенную модель импланта, к примеру в форме проволочной сетки или объекта, образованного набором простых поверхностей.

Компьютерным графическим объектом может также быть измерительное устройство, такое как рулетка или линейка.

Все варианты осуществления, рассматриваемые в настоящем описании, применимы и к «традиционной» среде визуализации, которая может быть реализована, на экране компьютера, планшета или дисплея, а также и к среде ВР. Однако, среда ВР дает особое преимущество, поскольку предоставляет истинное 3D изображение и возможности наиболее интуитивного/быстрого приобретения опыта обращения с системой пользователем, а также 6, 12 или 18 степеней свободы, с которыми пользователь может перемещаться относительно изображаемого объекта.

В предпочтительном варианте соответствующий изобретению способ исполняется процессором, который может быть встроен в любое электронное устройство, способное управлять дисплеем, в частности дисплеем ВР, таким как шлем ВР или проекционный дисплей. Таким цифровым устройством может служить компьютер, PC, сервер, телевизионный приемник, планшет, смартфон, ноутбук, наладонник или подобное устройство. Процессор может также быть частью облачного компьютера, рабочей станции или управляющей консоли медицинского устройства отображения, в частности, ультразвукового сканера.

В соответствии с изобретением в другом его аспекте, предлагается компьютерная программа, содержащая инструкции программного кода, который при исполнении процессором, дает процессору возможность выполнять соответствующий изобретению способ. Компьютерная программа может быть в любом коде, в частности в коде, подходящем для приложений компьютерной графики, в частности для программирования виртуальной среды.

В еще одном аспекте изобретение ориентировано на машинно-читаемую среду, содержащую вышеуказанную компьютерную программу. Машинно-читаемой средой может служить любое устройство хранения цифровых данных, такое как USB-накопитель, жесткий диск, CD-ROM, карта SD или карта SSD. Естественно, компьютерную программу не обязательно хранить в такой машинно-читаемой среде, которая поставляется заказчику, но ее можно сгружать из сети Интернет.

В соответствии с изобретением в еще одном его аспекте, предлагается пользовательский интерфейс, сконфигурированный для визуализации динамической анатомической структуры. Захват анатомической структуры осуществляется на основе ряда последовательных трехмерных медицинских изображений, охватывающих определенный период времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру в момент времени в пределах указанного периода времени. Пользовательский интерфейс содержит:

a) среду трехмерной визуализации, сконфигурированную для создания трехмерной визуализации динамической анатомической структуры на протяжении определенного периода времени, и

b) процессор, выполненный с возможностью создания визуализации, соответствующей определенному моменту времени в пределах указанного периода времени, и содержащей:

i) объемный рендеринг исследуемой области в пределах трехмерного изображения в соответствии с определенным моментом времени, причем исследуемая область содержит исследуемый анатомический объект,

ii) визуализацию динамической модели по меньшей мере части динамической анатомической структуры в определенный момент времени и в той же системе координат, что и объемного рендеринга исследуемой объемной области,

при этом исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта на протяжении указанного периода времени, когда динамическая модель и подвергаемая объемному рендерингу ИОО отображаются в режиме анимации, причем исследуемая объемная область меньше, чем все поле обзора трехмерных медицинских изображений.

Все отличительные признаки или полезные варианты осуществления, описанные в отношении соответствующего изобретению способа, также применимы к пользовательскому интерфейсу.

Пользовательский интерфейс представляет собой, например, систему, содержащую по меньшей мере экран или дисплей (ВР или не ВР) и обычно инструмент ввода (какой был рассмотрен выше), который дает возможность пользователю взаимодействовать с содержимым дисплея, например, путем изменения параметров визуализации/настроек, зуммирования, нанесения меток и/или перемещения или наклона изображаемых объектов.

Согласно предпочтительному варианту осуществления изобретения, среда трехмерной визуализации представляет собой среду виртуальной реальности, а отображение результата объемного рендеринга и динамической модели является отображением виртуальной реальности, в частности на шлеме виртуальной реальности.

Согласно предпочтительному варианту осуществления изобретения, среда виртуальной реальности содержит по меньшей мере один инструмент ввода, представляющий собой контроллер виртуальной реальности, который дает возможность пользователю выполнять одно или более следующих действий:

- захватывать и перемещать объект, отображаемый в среде виртуальной реальности,

- производить измерения на анатомической структуре,

- корректировать параметры, используемые при визуализации, при помощи жестов, и

- наносить метки на анатомическую структуру, причем указанные метки закреплены в положении на динамической модели, когда динамическая модель и результат объемного рендеринга исследуемой объемной области отображаются в режиме анимации.

Среда виртуальной реальности может быть реализована с использованием предлагаемого на рынке оборудования ВР, такого как HTC VIVE или VIVE Pro Virtual Reality System, которые содержат шлем ВР, два контроллера ВР, два устройства слежения за местоположением, и, как вариант, акустическую систему (производства HTC Corporation, Taoyuan City 330, Taiwan).

Краткое описание чертежей

Далее будут описаны предпочтительные варианты осуществления изобретения со ссылками на прилагаемые чертежи. На чертежах подобные элементы или объекты обозначены одинаковыми позиционными номерами. На чертежах:

Фиг. 1 схематически изображает сердце человека в разрезе (показаны 4 камеры),

Фиг. 2 изображает динамическую модель поверхности левого желудочка,

Фиг. 3 схематически демонстрирует ряд последовательных медицинских изображений,

Фиг. 4 схематически изображает динамическую модель поверхности, содержащую ориентир для подвергаемой объемному рендерингу исследуемой объемной области (ИОО),

Фиг. 5 схематически представляет объемный рендеринг трехмерного ультразвукового изображения сердца, включая ИОО,

Фиг. 6 схематически представляет динамическую модель и отслеживаемую ИОО,

Фиг. 7 представляет трехмерный зрительный образ, соответствующий варианту осуществления настоящего изобретения,

Фиг. 8 изображает среду виртуальной реальности, соответствующую варианту осуществления настоящего изобретения,

Фиг. 9 демонстрирует увеличенный трехмерный зрительный образ, соответствующий варианту осуществления настоящего изобретения,

Фиг. 10 изображает пользовательский интерфейс, соответствующую первому варианту осуществления настоящего изобретения,

Фиг. 11 изображает пользовательский интерфейс, соответствующую второму варианту осуществления настоящего изобретения,

Фиг. 12 изображает блок-схему алгоритма, иллюстрирующую способ, соответствующий варианту осуществления настоящего изобретения.

Осуществление изобретения

В целях лучшего зрительного представления о предпочтительном применении способа визуализации, соответствующего настоящему изобретению, на фиг. 1 изображено сердце 1 человека. Кровь, поступающая из легких, втекает в левое предсердие 2, а оттуда через митральный клапан 3 в левый желудочек 4. Оттуда кровь нагнетается через аортальный клапан 5 в аорту 6. Эту часть также называют выносящим трактом левого желудочка (ВТЛЖ). Кровь, поступающая из организма, втекает в правое предсердие 7 и нагнетается через трехстворчатый клапан 8 в правый желудочек 9. Оттуда кровь через легочный клапан 10 нагнетается в легочную артерию 11. Стенка 12 сердца образована мышечной тканью, окружающей камеры 2, 4, 7 и 9 сердца. Левый и правый желудочки разделены перегородкой 13. Из фиг. 1 очевидно, что сердце имеет сложную форму, при этом при сердцебиении оно постоянно движется, т.е. является динамической анатомической структурой. Таким образом, визуализация форм, таких как митральный клапан 3, в целях планирования замены клапана представляет собой трудную задачу, которая подвержена ошибкам.

Для лучшей визуализации работы левого желудочка может быть использована динамическая модель 14 поверхности, представленная на фиг. 2. Модель 14 поверхности представляет упрощенную модель границы «кровь-ткань» левого желудочка 4. В сущности, модель имеет форму мешка 18 с двумя отверстиями 16, 20 в вершине. Отверстие 16 представляет фиброзное кольцо митрального клапана, в то время как отверстие 20 представляет ВТЛЖ, в котором расположен аортальный клапан. Динамическая модель 14 поверхности может быть получена из последовательного ряда трехмерных ультразвуковых изображений сердца, в частности, путем отслеживания анатомических элементов или спекл-трекинга от одного изображения к следующему. Тем самым для каждого трехмерного изображения может быть построена модель поверхности, состоящая из набора вершин 22, охватывающих проволочную сетку 24. Такую динамическую модель 14 поверхности можно наблюдать в режиме анимации, т.е подобно кинофильму, так что наблюдающий получает впечатление движения левого желудочка при сердцебиении. Очевидно, что аналогичные динамические модели поверхности могут быть сформированы из других частей тела человека, в частности, других камер сердца или кровеносных сосудов.

На фиг. 3 изображено схематическое представление последовательного ряда ультразвуковых изображений M1, M2, M3…Mz сердца. Z- это число изображений, полученных за один сердечный цикл, т.е. за время T, где T равно приблизительно 0,5-1,5 с. На фигуре показаны двумерные изображения, однако предпочтительно в каждый момент времени ti получать трехмерное изображение. Трехмерное медицинское изображение может быть сформировано посредством пакета двумерных изображений. Такой ряд изображений M1, M2, M3…Mz может быть получен, например, посредством эхокардиографии работающего сердца, к примеру, датчиком чреспищеводной эхокардиографии (ЧЭхо КГ).

Согласно варианту осуществления изобретения, исследуемую объемную область ИОО, содержащую изучаемый анатомический объект, задают по трехмерным изображениям за определенный период времени. Как показано на фиг. 4, такая ИОО может быть задана посредством набора опознавательных точек или ориентира 30 на динамической модели 14 поверхности. В случае, когда изучаемым объектом является фиброзное кольцо митрального клапана (митральное кольцо), подходящим ориентиром является модель митрального кольца 30. На фиг. 4 это представлено кольцеобразным объектом 30. Митральное кольцо 30 находится между моделью поверхности левого предсердия 26 и левого желудочка 18. На фиг. 4 виден ВТЛЖ 20, а также видны створки 32 митрального клапана. Соответственно плоскость митрального кольца 30 может образовывать ориентир для объемной визуализации ИОО, которая соответственно движется вместе с моделью 14 поверхности во время сердечного цикла.

Фиг. 5 иллюстрирует объемный рендеринг 34 для визуализации трехмерных данных, в данном случае объемный рендеринг сердца 36. Как видно из фиг. 5, результат объемного рендеринга при визуализации трехмерных данных ультразвукового изображения обычно трудно интерпретировать, поскольку он содержит много анатомических деталей. Поэтому, в соответствии с изобретением определяют ИОО 40, при этом только содержимое изображения внутри ИОО 40 подвергают процессу объемного рендеринга. В данном случае ИОО содержит митральный клапан 3, в котором отверстие клапана обозначено индексом 42. ИОО 40 может иметь форму прямоугольной ячейки или куба, как показано на фиг. 5. Исследуемая объемная область может также иметь любую иную трехмерную форму: это может быть сфера, эллипсоид, цилиндр и т.п. Для случая применения, когда исследуемым анатомическим объектом является митральный клапан, ИОО может иметь форму прямоугольной ячейки или кругового цилиндра или даже неправильную форму, заходящую на определенное расстояние вверх и вниз от плоскости митрального кольца. Благодаря заданию ИОО в фиксированном положении относительно положения анатомического объекта, особенно на динамической модели в каждый момент времени в пределах определенного периода времени, ИОО закрепляется за движением исследуемого подвижного анатомического объекта (например, митрального кольца) в модели поверхности на протяжении всего периода времени, например, сердечного цикла. Тем самым, исследуемый объект (например, митральный клапан 3) не выходит за пределы подвергаемой объемному рендерингу ИОО 40.

Соответственно, зрительный образ 45, соответствующий определенному моменту времени, представленный в среде трехмерной визуализации, и соответствующий варианту осуществления настоящего изобретения, может выглядеть, как показано на фиг. 6. Зрительный образ 45 представляет собой визуализацию динамической модели 14, которая содержит модель поверхности в форме мешка левого желудочка 18 и левого предсердия 26. Митральное кольцо 30, к примеру определяют на каждом из трехмерных изображений путем сегментации на одном 3D-изображении и способом отслеживания анатомических элементов или спекл-трекинга на дальнейших изображениях. Таким образом для митрального кольца определяется набор опознавательных точек 31. Кольцеобразная модель митрального кольца 30 соответствует указанному набору опознавательных точек, и тем самым определяет аппроксимирующую поверхность, которая представляет собой плоскость, охваченную аппроксимирующим кольцом 30; в данном случае аппроксимирующая поверхность является сферической или овальной или плоской. Ячейка 40 ИОО определяется относительно аппроксимирующей поверхности 30 митрального кольца 30 на каждом из трехмерных изображений, и тем самым движется вместе с движением сердца, как показывают стрелки 44. Внутри ячейки ИОО трехмерные изображения подвергаются объемному рендерингу предпочтительно с регулируемым порогом, и таким образом результат объемного рендеринга закрепляется за митральным кольцом при наблюдении в режиме анимации.

Далее это иллюстрирует фиг. 7. На которой показана среда 50 виртуальной реальности, соответствующая варианту осуществления изобретения. Пользуясь таким интерфейсом, пользователь обнаружит себя в среде виртуальной реальности, включающей, например, виртуальный горизонт 52 и виртуальный источник света - лампу 56. Как вариант, пользователь может обнаружить себя в закрытом помещении. Зрительный образ 45 динамической анатомической структуры будет плавать в свободном пространстве перед пользователем, таким образом пользователь будет видеть трехмерный образ динамической модели 14 поверхности, который возникает как прозрачный сосуд, который имеет форму левого желудочка и возможно левого предсердия. В месте расположения митрального клапана область ИОО 40 привязана к движению сердца. Поскольку пользователю не будут фактически видны контуры ячейки 40 ИОО, эта ячейка показана прерывистыми линиями. То, что увидит пользователь - это объект 54 виртуальной реальности, который соответствует объемному или поверхностному рендерингу содержимого изображения, находящегося внутри ячейки 40 ИОО, а именно объемному рендерингу 54 митрального клапана 3. И модель 14 поверхности и результат объемного рендеринга 54 будут двигаться вместе с биением сердца, при этом пользователь может запускать и останавливать режим анимации в любой момент времени в пределах определенного периода времени, причем указанный период времени, охватываемый последовательностью изображений, составляет по меньшей мере один цикл сокращения сердца. Согласно полезному варианту осуществления изобретения, пользователь может приводить в действие устройство ввода, а именно, контроллер 60 виртуальной реальности. Контроллер может содержать кнопки 62, на которые пользователь может нажимать, чтобы запускать и останавливать режим анимации, или чтобы захватывать и перетаскивать или наклонять зрительный образ или объект 45 виртуальной реальности. Пользователь будет держать контроллер 60 виртуальной реальности в руке, при этом в идеальном случае будет видеть контроллер перед собой в положении, которое соответствует реальному положению руки.

Дополнительные преимущества среды 50 виртуальной реальности представлены на фиг. 8. Согласно полезным вариантам осуществления изобретения, пользователь не только видит контроллер 60а и объект 45 виртуальной реальности, содержащий результат объемного рендеринга ИОО и динамическую модель поверхности, но также дополнительные инструменты или объекты виртуальной реальности. Например, инструмент 64 может представлять собой измерительную линейку или рулетку для измерения размеров анатомической структуры, например, митрального клапана. С другой стороны, контроллеры 60a, 60b виртуальной реальности, которые пользователь держит в каждой руке, могут быть использованы непосредственно для выполнения измерений на трехмерном зрительном образе 45, когда пользователь выбирает точки в виртуальном пространстве, а процессор вычисляет расстояние между точками. На основе таких измерений из библиотеки может быть выбран наиболее подходящий клапан. Соответственно, среда 50 виртуальной реальности может содержать компьютерные графические объекты 66a, 66b совместимые с виртуальной средой, которые представляют импланты, в данном случае импланты митрального клапана, которые пользователь может захватывать контроллерами 60a, 60b и «примерять» к митральному клапану, который представлен зрительным образом 45. Тем самым пользователь может также примерить положения клапанов 66a, 66b, так чтобы он смог вставить клапан в правильное положение во время реальной операции. Следовательно, объекты 66a, 66b виртуальной реальности построены из элементов имплантов клапана, которые видны на рентгеноскопических изображениях, в данном случае элементов проволочной структуры. Такие протезы клапана могут быть использованы при операциях типа «клапан в клапане», при этом они раскрываются непосредственно в старом клапане при минимальной инвазивности процедуры.

Фиг. 9 представляет увеличенное изображение среды 50 виртуальной реальности, и также изображает горизонт 52 и модель 14 поверхности левого желудочка. Также изображен клапан 54, построенный объемным рендерингом. В данном зрительном образе 45 пользователь выбрал и переместил новый клапан 66 (или скорее соответствующий клапану объект виртуальной реальности), поместил его внутрь трехмерной визуализации 45 для первоначального просмотра. Затем новый клапан посредством 3D спекл-трекинга привязался к движению митрального кольца. Остающийся ВТЛЖ 20 и возможные препятствия могут быть измерены и оценены на протяжении сердечного цикла. Далее, размещение объекта виртуальной реальности, соответствующего клапану, может быть оптимизировано при динамическом движении. Размещение клапана может быть скорректировано при одновременном моделировании движения в пределах сердечного цикла.

На фиг. 10 изображен пользовательский интерфейс, соответствующий изобретению без использования среды виртуальной реальности. В данной установке динамический зрительный образ 45 находится на экране 70 стандартного компьютера 70, а визуализация представляет собой просто рендеринг на двумерном экране 70. Экран может содержать панель 71 кнопок и движков, которые дают возможность пользователю наклонять, увеличивать, передвигать или как-то иначе манипулировать зрительным образом 45. При таком пользовательском интерфейсе также полезно иметь такой инструмент, как подвергаемая объемному рендерингу ИОО, которая привязана к положению исследуемого объекта в динамической модели динамической анатомической структуры, такой как сокращающееся сердце. Дисплей может управляться компьютером 72, например РС, содержащим процессор 73 и жесткий диск 75. Пользовательский интерфейс может содержать устройства ввода, такие как клавиатуру 74 и/или мышь 76.

Однако, в предпочтительным варианте осуществления изобретения пользовательский интерфейс представляет собой интерфейс виртуальной реальности, изображенный на фиг. 11. Такой интерфейс реализован в виде шлема 82 виртуальной реальности, который надевает на себя пользователь 80. Шлем 82 соединен с компьютером 72 либо кабелем, либо беспроводным каналом связи. Такой шлем 82 виртуальной реальности содержит внутренние дисплеи, отдельные для каждого глаза, а также датчики местоположения 84, которые отслеживают движение головы. Такой шлем может также содержать видеокамеры в случае, если должна быть представлена расширенная среда виртуальной реальности. Далее, пользователь 80 держит в своих руках контроллеры 86 виртуальной реальности, причем контроллеры 86 также содержат датчики положения (не показаны) и кнопки или иные элементы ввода. Такой контроллер 86 виртуальной реальности дает возможность пользователю захватывать и перемещать объект, отображаемый в среде 50 виртуальной реальности. Шлемом виртуальной реальности может служить, например, шлем HTC VIVE с соответствующими контроллерами.

На фиг 12 изображена блок-схема, иллюстрирующая способ, соответствующий варианту осуществления настоящего изобретения. На этапе 90 обеспечивают наличие ряда последовательных трехмерных медицинских изображений, демонстрирующих, например, работающее сердце, при этом указанный ряд охватывает период времени, соответствующий одному сердечному циклу. На этапе 92 создают динамическую модель по меньшей мере части сердца, например, путем приведения в соответствие модели поверхности и части анатомической структуры, или путем генерирования модели поверхности посредством сегментации одного изображения и отслеживания элементов/спекл-трекинга. Таким образом динамическая модель автоматически привязывается к ряду последовательных изображений, т.е. модель может быть показана на 3D изображениях в правильном анатомическом положении. На этапе 94 положение исследуемого анатомического объекта может быть определено на протяжении определенного периода времени, и, в частности, посредством ориентира, такого как митральное кольцо. Дополнительно на этапе 94 определяют исследуемую объемную область (ИОО), содержащую исследуемый анатомический объект, в каждом из трехмерных изображений, так что область ИОО следует за положением и/или формой исследуемого анатомического объекта на протяжении определенного периода времени. На этапе 96 обеспечивают наличие среды пространственной визуализации для создания зрительного образа динамической анатомической структуры на протяжении определенного периода времени, как было описано выше. Такая среда визуализации может содержать устройство ввода в виде контроллера виртуальной реальности, при этом события поступления команд от пользователя могут иметь место на этапе 98. Указанные события могут затем могут быть использованы для изменения среды визуализации на этапе 96, например, путем изменения освещения или порогов рендеринга поверхности. В соответствии с такими событиями 98 ввода, на этапе 100 в среде визуализации могут быть изображены дополнительные объекты, например, представлен имплант клапана.

Хотя изобретение было иллюстрировано чертежами и подробно рассмотрено в описании, прилагаемые чертежи и описание следует считать лишь иллюстрацией или примером осуществления; при этом изобретение не ограничено раскрытыми вариантами осуществления.

ПОЗИЦИОННЫЕ ОБОЗНАЧЕНИЯ

1	Сердце
2	Левое предсердие
3	Митральный клапан
4	Левый желудочек
5	Аортальный клапан
6	Аорта
7	Правое предсердие
8	Трехстворчатый клапан
9	Правый желудочек
10	Легочный клапан
11	Легочная артерия
12	Стенка сердца
13	Перегородка
14	Динамическая модель поверхности
16	Митральное кольцо
18	Мешковидная модель левого желудочка
20	Выносящий тракт левого желудочка (ВТЛЖ)
22	Вершины, определяющие модель
24	Проволочная сетка (модель)
M1, M2, M3…Mz	Последовательный ряд медицинских изображений
26	Модель левого предсердия
30	Аппроксимирующая поверхность/модель митрального кольца
31	Опознавательные точки
32	Створки митрального клапана
34	Объемный рендеринг
36	Сердце
40	Исследуемая объемная область (ИОО)
42	Отверстие клапана
44	Стрелка
45	Зрительный образ
50	Среда виртуальной реальности
52	Виртуальный горизонт
54	Результат объемного рендеринга как объект ВР
56	Виртуальная лампа
60, 60a, 60b	Контроллеры виртуальной реальности
62	Кнопка
64	Виртуальная измерительная линейка
66, 66a, 66b	Компьютерные графические объекты, соответствующие имплантам клапана
70	Экран
71	Панель ввода
72	Компьютер
73	Процессор
74	Клавиатура
75	Жесткий диск
76	Мышь
80	Пользователь
82	Шлем виртуальной реальности
84	Датчик положения
86	Контроллер виртуальной реальности
90-100	Этапы выполнения способа

Claims (33)

1. Способ визуализации динамической анатомической структуры (1), содержащий этапы, на которых:

a) предусматривают ряд последовательных трехмерных медицинских изображений (M₁, М₂, M₃…M_Z), охватывающих период (Т) времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру (1) в момент времени в пределах указанного периода времени,

b) создают динамическую модель (14) по меньшей мере части анатомической структуры, при этом динамическую модель получают из указанного ряда последовательных трехмерных медицинских изображений, и привязывают к указанному ряду изображений,

c) определяют исследуемую объемную область (40), содержащую исследуемый анатомический объект (3) в пределах каждого из трехмерных изображений, причем на протяжении указанного периода времени исследуемая объемная область (40) следует за положением и/или формой исследуемого анатомического объекта (3), при этом исследуемая объемная область (40) меньше, чем все поле обзора трехмерных медицинских изображений (М₁, М₂, M₃…M_Z), и

d) предусматривают среду (50, 70) трехмерной визуализации для отображения динамической анатомической структуры на протяжении указанного периода времени, при этом визуализация (45), соответствующая определенному моменту времени в пределах указанного периода времени, содержит:

i) объемный рендеринг только исследуемой области (40) трехмерного изображения в соответствии с указанным определенным моментом времени, и

ii) визуализацию динамической модели (14) в указанный определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой области.

2. Способ по п. 1, в котором среда (50) трехмерной визуализации представляет собой среду виртуальной реальности.

3. Способ по п. 1 или 2, в котором динамическая анатомическая структура (1) представляет собой сердце человека или животного, а исследуемый анатомический объект (3) представляет собой часть сердца.

4. Способ по п. 3, в котором динамическая модель (14) представляет собой динамическую модель поверхности одной из нескольких камер (2, 4, 7, 9) сердца, а анатомический объект представляет собой сердечный клапан (3, 5, 8, 10).

5. Способ по любому из предшествующих пунктов, в котором динамическая модель (14) представляет собой динамическую модель (14) поверхности, при этом динамическую модель (14) получают из ряда последовательных трехмерных медицинских изображений путем сегментации всех трехмерных изображений или путем сегментации одного трехмерного изображения и отслеживания элементов или спекл-трекинга в последующих изображениях.

6. Способ по любому из предшествующих пунктов, в котором положение и/или ориентацию исследуемой объемной области (40) определяют на протяжении периода времени путем выявления соответствующего положения (30) и/или ориентации исследуемого объекта (3) в динамической модели (14).

7. Способ по любому из предшествующих пунктов, в котором исследуемую объемную область (40) определяют путем выявления набора опознавательных точек (31) анатомического объекта в динамической модели (14) или в трехмерных изображениях, причем опознавательные точки (31) следуют за положением и/или формой исследуемого анатомического объекта (3) на протяжении указанного периода времени, и путем определения аппроксимирующей поверхности (30), охватывающей указанный набор опознавательных точек для каждого трехмерного изображения, и путем определения исследуемой объемной области (40), как объема, распространяющегося вверх и/или вниз и/или в боковом направлении от аппроксимирующей поверхности.

8. Способ по любому из предшествующих пунктов, в котором этап, на котором предусматривают среду трехмерной визуализации, содержит:

отображение компьютерного графического объекта (66, 66а, 66b), соответствующего медицинскому устройству, в частности импланту, в той же системе координат, что и результат (54) объемного рендеринга, при этом компьютерный графический объект привязывают к положению в динамической модели (14), когда динамическая модель и подвергаемая объемному рендерингу исследуемая объемная область (40, 54) отображаются в режиме анимации, и

предоставление пользователю инструмента (60, 60а, 60b) ввода, который дает возможность пользователю перемещать и наклонять компьютерный графический объект (66, 66а, 66b), соответствующий медицинскому устройству относительно результата (54) объемного рендеринга, и визуализация динамической модели.

9. Способ по любому из предшествующих пунктов, в котором этап, на котором предусматривают среду (50, 70) трехмерной визуализации, содержит:

предоставление пользователю инструмента (60, 60а, 60b, 71, 74, 76) ввода, который дает возможность пользователю выбирать точки в пределах анатомической структуры для выполнения измерений анатомической структуры.

10. Способ по п. 2, в котором среда (50) виртуальной реальности содержит по меньшей мере один инструмент ввода, который реализован посредством контроллера (60, 60а, 60b) виртуальной реальности, который дает возможность пользователю захватывать и перемещать объект в среде виртуальной реальности, используя жесты рук.

11. Способ по п. 2 или 10, в котором среда (50) виртуальной реальности содержит по меньшей мере один инструмент ввода, который реализован посредством контроллера (60, 60а, 60b) виртуальной реальности, который дает возможность пользователю корректировать параметры, используемые при визуализации, при помощи жестов, в частности корректировать установочные параметры, такие как порог, используемый при выполнении объемного рендеринга исследуемой объемной области (40).

12. Машинно-читаемая среда, содержащая компьютерную программу, содержащую инструкции программного кода, которые, при исполнении процессором, дают процессору возможность выполнять способ, охарактеризованный в любом из пп. 1-11.

13. Система для визуализации динамической анатомической структуры (1), захват которой осуществляется на основе ряда последовательных трехмерных медицинских изображений (М₁, М₂, M₃…M_Z), охватывающих период (Т) времени, причем каждое трехмерное медицинское изображение из указанного ряда демонстрирует динамическую анатомическую структуру (1) в момент времени в пределах указанного периода времени, при этом система содержит:

a) среду (50, 70) трехмерной визуализации, сконфигурированную для создания трехмерной визуализации (45) динамической анатомической структуры на протяжении периода времени, и

b) процессор (73), выполненный с возможностью создания визуализации (45), соответствующей определенному моменту времени в пределах указанного периода времени и содержащей:

i) отображение объемного рендеринга только исследуемой области (40) в пределах трехмерного изображения в соответствии с указанным определенным моментом времени, причем исследуемая область (40) содержит исследуемый анатомический объект (3),

ii) отображение динамической модели (14) по меньшей мере части динамической анатомической структуры в указанный определенный момент времени и в той же системе координат, что и объемный рендеринг исследуемой объемной области (40),

при этом исследуемая объемная область следует за положением и/или формой исследуемого анатомического объекта (3) на протяжении указанного периода времени, причем исследуемая объемная область (40) меньше, чем все поле обзора трехмерных медицинских изображений (M₁, М₂, M₃…M_Z).

14. Система по п. 13, в которой среда (50) трехмерной визуализации представляет собой среду виртуальной реальности, а отображение результата (54) объемного рендеринга и динамической модели (14) является отображением виртуальной реальности, в частности на шлеме (82) виртуальной реальности.

15. Система по п. 13 или 14, в которой среда виртуальной реальности содержит по меньшей мере один инструмент (86) ввода, представляющий собой контроллер виртуальной реальности, который дает возможность пользователю выполнять одно или более следующих действий:

- захватывать и перемещать объект, отображаемый в среде виртуальной реальности,

- производить измерения на анатомической структуре,

- корректировать параметры, используемые при визуализации, при помощи жестов, и

- наносить метки на анатомическую структуру (1), причем указанные метки закреплены в положении на динамической модели (14), когда динамическая модель и подвергаемая объемному рендерингу исследуемая объемная область (40) отображаются в режиме анимации.

Images