RU2709437C1 - Способ обработки изображений, устройство обработки изображений и носитель данных - Google Patents

Способ обработки изображений, устройство обработки изображений и носитель данных Download PDF

Info

Publication number
RU2709437C1
RU2709437C1 RU2018146297A RU2018146297A RU2709437C1 RU 2709437 C1 RU2709437 C1 RU 2709437C1 RU 2018146297 A RU2018146297 A RU 2018146297A RU 2018146297 A RU2018146297 A RU 2018146297A RU 2709437 C1 RU2709437 C1 RU 2709437C1
Authority
RU
Russia
Prior art keywords
network
projection
data
projection area
image
Prior art date
Application number
RU2018146297A
Other languages
English (en)
Inventor
Юйсян СИН
Кайчао ЛЯН
Лэ ШЕНЬ
Ли Чжан
Хункай ЯН
Кэцзюнь КАН
Чжицянь ЧЭНЬ
Цзяньминь ЛИ
Инун ЛЮ
Original Assignee
Циньхуа Юниверсити
Нактек Компани Лимитед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Циньхуа Юниверсити, Нактек Компани Лимитед filed Critical Циньхуа Юниверсити
Application granted granted Critical
Publication of RU2709437C1 publication Critical patent/RU2709437C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Surgery (AREA)
  • Immunology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Использование: для обработки изображений. Сущность изобретения заключается в том, что способ обработки изображений включает обработку входных данных в проекционной области с использованием сверточной нейронной сети. Нейронная сеть содержит сеть проекционной области, слой сети аналитической реконструкции и сеть области визуализации. Сеть проекционной области может обрабатывать данные в проекционной области с целью восстановления возможных недостающих данных, за счет чего повышается качество проекции. Сеть области визуализации обрабатывает реконструированное изображение с целью получения оценочного изображения. Сеть области визуализации настраивается путем использования функции стоимости априорной модели на основе оценочного изображения, а для корректировки параметров сверточного ядра сети проекционной области выполняется обратное распространение градиента через слой сети аналитической реконструкции. Операция проецирования выполняется в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования. Технический результат: обеспечение возможности повышения качества реконструированного изображения. 3 н. и 8 з.п. ф-лы, 20 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Варианты осуществления настоящего изобретения относятся к радиационной визуализации и, в частности, к способу обработки изображений, устройству обработки изображений и носителю данных.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
Системы визуализации методом рентгеновской компьютерной томографии (КТ) широко используются в таких областях, как терапевтическое лечение, проверка безопасности, неразрушающий контроль в промышленности и т.д. Рентгеновские источники и детекторы собирают ряд проекционных данных в соответствии с определенной траекторией, и путем восстановления с использованием алгоритма реконструкции изображений может быть получено трехмерное пространственное распределение коэффициентов линейного ослабления объекта, подлежащего обследованию. Процесс реконструкции изображения КТ заключается в восстановлении распределения коэффициентов линейного ослабления на основе данных, собранных детекторами. В настоящее время в практических применениях в основном используют такие алгоритмы аналитической реконструкции, как фильтрованная обратная проекция, алгоритм Фельдкампа-Девиса-Кресса (FDK) и т.д., а также такие итеративные способы реконструкции, как метод алгебраической реконструкции (ART), метод максимальной апостериорной гипотезы (MAP) и т.д.
С увеличением разнообразия спроса на визуализацию методом рентгеновской КТ все выше и выше становятся требования к уменьшению дозы облучения. Были предложены методики реконструкции изображения КТ с использованием сверточной нейронной сети. Однако способы реконструкции с использованием сверточных нейронных сетей требуют обучения с учителем в процессе обучения нейронных сетей. Этот способ требует маркировки большого объема данных.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Согласно вариантам осуществления настоящего изобретения предлагается способ обработки изображений, устройство обработки изображений и носитель данных, а также обученная нейронная сеть, способная повышать качество реконструированного изображения.
Согласно одному аспекту настоящего изобретения предлагается способ обработки изображений, включающий: сбор системой сканирования методом компьютерной томографии (КТ) данных объекта в проекционной области; и обработку с использованием сверточной нейронной сети данных в проекционной области с целью сбора оценочного изображения объекта; при этом сверточная нейронная сеть содержит: сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области; слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения; и сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения, при этом способ дополнительно включает обучение сверточной нейронной сети путем: настройки сети области визуализации с использованием функции стоимости априорной модели на основе оценочного изображения, и выполнение обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и выполнение операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования, и корректировку параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.
Согласно одному варианту осуществления настоящего изобретения обучение сверточной нейронной сети включает: построение функции стоимости непротиворечивости с использованием слоя обратного проецирования, и построение функции стоимости априорной модели с использованием априорных знаний для совместного обучения нейронной сети.
Согласно варианту осуществления настоящего изобретения функция стоимости априорной модели содержит по меньшей мере одно или комбинацию следующего: полная вариация локальных условий, априорная модель марковского поля, априорная модель текстуры и разреженность пространства признаков, где
Figure 00000001
- оценочное изображение.
Согласно одному варианту осуществления настоящего изобретения способ дополнительно включает: определение функции стоимости априорной модели
Figure 00000002
с использованием априорной ошибки в виде
Figure 00000003
.
Согласно одному варианту осуществления настоящего изобретения λ используется для корректировки сети области визуализации в соответствии со значимостью каждой функции стоимости априорной модели
Figure 00000004
в процессе обратной связи для компенсации ошибки.
Согласно одному варианту осуществления настоящего изобретения в слое сети аналитической реконструкции априорная ошибка слоя сети аналитической реконструкции обратно распространяется согласно следующему соотношению:
Figure 00000005
где входные данные в проекционной области сети проекционной области выражены в виде
Figure 00000006
выходные данные сети проекционной области выражены в виде
Figure 00000007
, где М'≥М, после взвешивания выходных данных получают
Figure 00000008
, после выполнения обратного проецирования взвешенных выходных данных, выходные данные слоя аналитической реконструкции имеют вид
Figure 00000009
, где верхний индекс Т представляет транспонирование матрицы, h - сверточное ядро с дискретной пилообразной функцией, HR - матрица системы для M'×N - мерной реконструкции, и W1, W2, ……, WM представляют весовые коэффициенты.
Согласно одному варианту осуществления настоящего изобретения функция стоимости непротиворечивости выражена в виде
Figure 00000010
соотношения переноса ошибки из функции стоимости непротиворечивости имеют вид
Figure 00000011
и
Figure 00000012
, где β - параметр множителя Лагранжа, и способ дополнительно включает: совместное распространение
Figure 00000013
в сеть проекционной области с целью обновления параметров различных слоев.
Согласно одному варианту осуществления настоящего изобретения способ дополнительно включает: сбор данных объекта в проекционной области при помощи системы сканирования методом КТ с использованием одного из следующих способов: сканирование с промежуточной частотой выборки детектора, сканирование под промежуточными углами, сканирование с внутренней реконструкцией, сканирование с ограниченным углом и сканирование по прямолинейной траектории.
Согласно одному варианту осуществления настоящего изобретения сеть проекционной области содержит множество параллельных ветвей сверточной нейронной сети.
Согласно одному варианту осуществления настоящего изобретения сеть области визуализации содержит U-образную сверточную нейронную сеть.
Согласно еще одному аспекту настоящего изобретения предлагается устройство обработки изображений, содержащее: запоминающее устройство, выполненное с возможностью хранения команд и данных, и процессор, выполненный с возможностью исполнения команд с целью: приема данных объекта в проекционной области, собранных системой сканирования методом компьютерной томографии (КТ); и обработки с использованием сверточной нейронной сети данных в проекционной области с целью получения оценочного изображения объекта; при этом процессор также выполнен с возможностью построения сверточной нейронной сети, содержащей: сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области; слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения; и
сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения, при этом процессор также выполнен с возможностью обучения сверточной нейронной сети путем: настройки сети области визуализации с использованием функции стоимости априорной модели на основе оценочного изображения, и выполнения обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и выполнения операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом компьютерной томографии (КТ) с целью получения результата проецирования, и корректировки параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.
Согласно одному варианту осуществления настоящего изобретения процессор также выполнен с возможностью построения функции стоимости непротиворечивости с использованием слоя обратного проецирования и построения функции стоимости априорной модели с использованием априорных знаний с целью совместного обучения нейронной сети.
Согласно еще одному аспекту настоящего изобретения предлагается машиночитаемый носитель данных, содержащий хранящиеся в нем компьютерные команды, которые при их исполнении процессором реализуют вышеописанный способ.
При помощи решений согласно вышеописанным вариантам осуществления настоящего изобретения можно обучить нейронную сеть в отсутствие учителя, что, таким образом, обеспечивает возможность реконструкции изображения более высокого качества.
КРАТКОЕ ОПИСАНИЕ СОПРОВОДИТЕЛЬНЫХ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
Для лучшего понимания вариантов осуществления настоящего изобретения варианты осуществления настоящего изобретения будут описаны более подробно со ссылкой на нижеследующие сопроводительные графические материалы:
на фиг. 1 представлена принципиальная конструктивная схема устройства КТ согласно одному варианту осуществления настоящего изобретения;
на фиг. 2 представлена принципиальная конструктивная схема устройства управления и обработки данных в устройстве КТ, представленном на фиг. 1;
на фиг. 3 представлен пример синограммы проекционных данных, полученных устройством согласно одному варианту осуществления настоящего изобретения;
на фиг. 4 представлена принципиальная схема данных, содержащихся в синограмме, при разных режимах сканирования;
на фиг. 5 представлена принципиальная схема сканирующего устройства, в котором реализованы выборка и режим сканирования под промежуточными углами, согласно одному варианту осуществления настоящего изобретения;
на фиг. 6 представлена общая конструктивная схема искусственной нейронной сети согласно одному варианту осуществления настоящего изобретения;
на фиг. 7 представлена схема, иллюстрирующая изображения, обработанные различными модулями в архитектуре нейронной сети, представленной на фиг. 6;
на фиг. 8 представлена конструктивная схема сети проекционной области в устройстве согласно одному варианту осуществления настоящего изобретения;
на фиг. 9 представлена конструктивная схема слоя сети аналитической реконструкции, используемого в устройстве согласно одному варианту осуществления настоящего изобретения;
на фиг. 10 представлена принципиальная схема U-образной сверточной нейронной сети, используемой сетью области визуализации в устройстве согласно еще одному варианту осуществления настоящего изобретения;
на фиг. 11 представлена конструктивная схема сверточного ядра с гладкой условной функцией, используемого в сверточной нейронной сети согласно одному варианту осуществления настоящего изобретения;
на фиг. 12А, 12В и 12С представлена схема размеров фильтрующих элементов, используемых в устройстве согласно одному варианту осуществления настоящего изобретения;
на фиг. 13А представлена принципиальная схема последовательности операций, иллюстрирующая способ обработки изображений согласно одному варианту осуществления настоящего изобретения;
на фиг. 13В представлена принципиальная схема последовательности операций, иллюстрирующая способ обучения нейронной сети согласно одному варианту осуществления настоящего изобретения;
на фиг. 14 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ с ограниченным углом, согласно еще одному варианту осуществления настоящего изобретения;
на фиг. 15 представлена принципиальная схема сканирующего устройства, в котором реализован способ сканирования с внутренней реконструкцией, согласно еще одному варианту осуществления настоящего изобретения;
на фиг. 16 представлена принципиальная схема сканирующего устройства, в котором реализован способ сканирования с промежуточной частотой выборки детектора, согласно еще одному варианту осуществления настоящего изобретения;и
на фиг. 17 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ по прямолинейной траектории согласно еще одному варианту осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Ниже подробно описаны конкретные варианты осуществления настоящего изобретения. Следует отметить, что варианты осуществления, описанные в данном документе, используются только для иллюстрации, без ограничения вариантов осуществления настоящего изобретения. В приведенном ниже описании, для обеспечения лучшего понимания вариантов осуществления настоящего изобретения, разъяснено множество конкретных подробностей. Однако специалистам в данной области техники очевидно, что варианты осуществления настоящего изобретения могут быть реализованы и без этих конкретных подробностей. В других случаях хорошо известные схемы, материалы или способы не описаны конкретно, для того чтобы не затруднять понимание вариантов осуществления настоящего изобретения.
По всему этому описанию ссылка на «один вариант осуществления», «вариант осуществления», «один пример» или «пример» означает, что конкретные признаки, конструкции или свойства, описанные в связи с данным вариантом осуществления или примером, включены в по меньшей мере один вариант осуществления настоящего изобретения. Поэтому выражения «в одном варианте осуществления», «в варианте осуществления», «в одном примере» или «в примере», встречающиеся в различных местах всего этого описания, необязательно относятся к одному и тому же варианту осуществления или примеру. Кроме того, в одном или более вариантах осуществления или примерах конкретные признаки, конструкции или свойства могут быть скомбинированы в любой подходящей комбинации и/или подкомбинации. Более того, специалистам в данной области техники следует понимать, что используемый в данном документе термин «и/или» означает любую или все комбинации одного или более перечисляемых предметов.
В виду проблем, существующих в известном уровне техники, в вариантах осуществления настоящего изобретения предлагается способ обработки изображений, в котором входные данные в проекционной области обрабатывают с использованием сверточной нейронной сети с целью получения оценочного изображения объекта. Сверточная нейронная сеть содержит сеть проекционной области, слой сети аналитической реконструкции и сеть области визуализации. Сеть проекционной области используется для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области. Слой сети аналитической реконструкции используется для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения. Сеть области визуализации используется для обработки реконструированного изображения с целью получения оценочного изображения. Сеть области визуализации настраивается путем использования функции стоимости априорной модели на основе оценочного изображения, а для корректировки параметров сверточного ядра сети проекционной области выполняется обратное распространение градиента через слой сети аналитической реконструкции. Операция проецирования выполняется в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом компьютерной томографии (КТ) с целью получения результата проецирования, и параметры сверточных ядер сети области визуализации и сети проекционной области корректируются с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области. При помощи решений согласно вышеописанным вариантам осуществления настоящего изобретения обученной сетью при наличии дефекта в проекционных данных может быть реконструировано изображение более высокого качества.
На фиг. 1 представлена принципиальная конструктивная схема устройства КТ согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 1, устройство КТ согласно настоящему варианту осуществления содержит рентгеновский источник 10, устройство 50 механического перемещения, систему 20 детектора и сбора данных, и устройство 60 управления и обработки данных для выполнения сканирования методом КТ и обработки данных, относящихся к объекту 40, подлежащему обследованию, например, с целью обучения нейронной сети и реконструкции изображения с помощью обученной сети.
Рентгеновский источник 10, например, может представлять собой рентгеновский аппарат, и, в соответствии с разрешающей способностью визуализации, может быть выбран подходящий размер фокуса рентгеновского аппарата. В других вариантах осуществления вместо использования рентгеновского аппарата пучок рентгеновских лучей может формироваться с использованием линейного ускорителя.
Устройство 50 механического перемещения содержит платформу, рейку, систему управления и т.д. Платформа может поступательно перемещаться для регулировки положения центра вращения. Рейка может поступательно перемещаться для выравнивания рентгеновского источника (рентгеновского аппарата) 10, детектора и центра вращения. В настоящем варианте осуществления описание осуществляется в соответствии с круговой траекторией сканирования или спиральной траекторией вращающейся платформы и неподвижной рейки. Так как движение платформы относительно рейки представляет собой относительное движение, способ согласно настоящему варианту осуществления также может быть реализован при помощи неподвижной платформы и вращающейся рейки.
Система 20 детектора и сбора данных содержит рентгеновский детектор, схему сбора данных и т.д. В качестве рентгеновского детектора может быть использован твердотельный детектор, газовый детектор или другие детекторы; однако варианты осуществления настоящего изобретения ими не ограничиваются. Схема сбора данных содержит схему считывания, схему запуска сбора данных, схему передачи данных и т.д.
Устройство 60 управления и обработки данных содержит, например, вычислительное устройство, на котором установлена программа управления и программа обработки данных, и оно отвечает за выполнение управления процессом функционирования системы КТ, в том числе механическим вращением, электрическим управлением, управлением предохранительной блокировкой и т.д., обучение нейронной сети и реконструкцию изображения КТ из проекционных данных с использованием обученной нейронной сети и т.д.
На фиг. 2 представлена принципиальная конструктивная схема устройства 200 управления и обработки данных, например устройства 60 управления и обработки данных, представленного на фиг. 1. Как показано на фиг. 2, данные, собранные системой 20 детектора и сбора данных, сохраняются в устройстве 210 хранения данных посредством устройства 270 сопряжения и шины 280. Постоянное запоминающее устройство (ROM) 220 содержит информацию о конфигурации и программы вычислительного устройства обработки данных, хранящиеся в нем. Оперативное запоминающее устройство (RAM) 230 выполнено с возможностью временного хранения различных данных во время работы процессора 250. В дополнение, в устройстве 210 хранения данных также хранятся компьютерные программы для выполнения обработки данных, такие как программа для обучения нейронной сети, программа для реконструкции изображения КТ и т.д. Устройство 210 хранения данных, постоянное запоминающее устройство 220, оперативное запоминающее устройство 230, устройство 240 ввода, процессор 250, дисплейное устройство 260 и устройство 270 сопряжения соединены посредством внутренней шины 280.
После ввода пользователем рабочей команды через такое устройство 240 ввода, как клавиатура, мышь и т.д., коды команд компьютерной программы дают процессору 250 команду на исполнение алгоритма обучения нейронной сети и/или алгоритма реконструкции изображения КТ. После получения результата реконструкции происходит отображение результата реконструкции на таком дисплейном устройстве 260, как жидкокристаллический дисплей и т.д., или вывод результата обработки непосредственно в форме документальной копии, например, при помощи печати и т.д.
Согласно одному варианту осуществления настоящего изобретения сканирование методом КТ выполняется в отношении объекта, подлежащего обследованию, с использованием вышеописанного устройства с целью получения проекционных данных. Обычно эти проекционные данные могут быть отображены в форме двумерного изображения. На фиг. 3 представлен пример проекционных данных, полученных согласно одному варианту осуществления настоящего изобретения. Направление горизонтальной оси синограммы, показанной на фиг. 3, представляет последовательность пикселей детектора (например, от 1 до 256), а вертикальная ось синограммы, показанной на фиг. 3, представляет угол (например, от 1 до 360 градусов). Процессор 250 в устройстве управления затем исполняет программу реконструкции для обработки данных в проекционной области с использованием обученной нейронной сети с целью получения обработанных данных в проекционной области, для того чтобы в дальнейшем выполнить операцию обратного проецирования в отношении обработанных данных в проекционной области с целью получения реконструированного изображения и в дальнейшем обработать реконструированное изображение с целью получения конечного изображения. Например, реконструированное изображение обрабатывается с использованием обученной сверточной нейронной сети для получения характеристических изображений в различных масштабах, которые совмещаются с целью получения результирующего изображения.
В вариантах осуществления настоящего изобретения проекционные данные обрабатываются с использованием обученной сверточной нейронной сети в проекционной области, а затем, с целью реконструкции изображения КТ, выполняется операция обратного проецирования. Сверточная нейронная сеть может содержать сверточные слои, слои подвыборки и полносвязные слои. Каждый сверточный слой определяет свойства набора входных данных, и каждый сверточный слой имеет операцию нелинейной функции активации. Свойства уточняются при помощи слоев подвыборки, и типичные операции включают усредняющую подвыборку и максим из ационную подвыборку. Один или более полносвязных слоев реализуют операцию нелинейного синтеза сигнала высокого порядка, и каждый полносвязный слой также содержит нелинейную функцию активации. Обычно используемые нелинейные функции активации включают Sigmoid, Tanh, ReLU и т.д.
Несмотря на то, что в приведенное выше описание главным образом представлено для случая 360-градусного кругового сканирования с целью получения полных проекционных данных, специалисты в данной области техники должны понимать, что приведенное выше решение может быть применено и в случае неполных проекционных данных, например, в случае промежуточной частоты выборки детектора, выборки под промежуточными углами, с ограниченным углом, с внутренней реконструкцией, сканирования по прямолинейной траектории и т.д.
На фиг. 4 представлена принципиальная схема данных, содержащихся в синограмме, при разных режимах сканирования. Как показано на фиг. 4, неполными являются все проекционные данные, полученные при сканировании методом КТ с выборкой под промежуточными углами, сканировании методом КТ с ограниченным углом, сканировании методом КТ с промежуточной частотой выборки детектора и сканировании методом КТ с внутренней реконструкцией. И, несмотря на то, что эти проекционные данные являются неполными, при помощи вышеописанных решений из этих неполных проекционных данных может быть реконструировано изображение более высокого качества.
На фиг. 5 представлена принципиальная схема сканирующего устройства, в котором реализованы выборка и режим сканирования под промежуточными углами согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 5, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. При помощи вышеописанных решений нейронной сетью, обученной с использованием способа согласно настоящему изобретению, может быть реконструировано изображение более высокого качества, даже если сканирование методом КТ выполнено в отношении объекта 40, подлежащего обследованию, во множестве положений вращения (например, в шести положениях). Таким образом, изображение более высокого качества может быть реконструировано из неполных проекционных данных, даже если в отношении объекта, подлежащего обследованию, выполнено сканирование методом КТ под промежуточными углами.
На фиг. 6 представлена общая конструктивная схема искусственной нейронной сети согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 6, входные данные обученной без учителя нейронной сети для реконструкции изображения, полученного методом рентгеновской КТ, представляют собой данные в проекционной области, полученные путем сканирования методом КТ. Нейронная сеть может в основном содержать сеть 610 проекционной области, слой 620 сети аналитической реконструкции и сеть 630 области визуализации.
На фиг. 7 представлена принципиальная схема, иллюстрирующая изображения, обработанные различными модулями в архитектуре нейронной сети, представленной на фиг. 6. Как показано на фиг. 7, входные данные в проекционной области выражены в виде g, данные, полученные после обработки сетью проекционной области, выражены в виде
Figure 00000014
, данные, полученные после обработки слоем сети аналитической реконструкции, выражены в виде
Figure 00000015
, и данные, полученные после обработки сетью области визуализации, выражены в виде
Figure 00000016
.
Сеть 610 проекционной области используется для восстановления данных в проекционной области и оценки недостающих данных в проекционной области с целью получения полных данных в проекционной области с высоким качеством. Слой 620 сети аналитической реконструкции содержит множество слоев, построенных на основе математического описания алгоритма аналитической реконструкции в данной области. Сеть 630 области визуализации используется для уменьшения количества артефактов и ошибок в реконструированном изображении, за счет чего повышается качество реконструированного изображения. Слои 660, 670, 680 априорных моделей составляют конечную функцию стоимости сети, и она может состоять из одного или нескольких параллельных слоев априорных моделей (также именуемых ограничениями). На фиг. 6 для примера приведено три слоя априорных моделей. Параметры λ используются для регулировки интенсивности и значимости априорных моделей, или ограничений. Слой 640 статистической модели составляет еще одну ветвь стоимости сети, и он предназначен для описания статистической флуктуации во время сбора проекционных данных, которая представляет собой функцию относительной стоимости максимального правдоподобия, которой удовлетворяют собранные данные рентгеновской КТ и реальные данные в соответствии со статистической моделью. Проекционный слой 650 выполняет операцию проецирования в отношении оценочного изображения
Figure 00000017
с использованием проекционной матрицы системы и строит согласующуюся с проекцией функцию стоимости, аналогичную функции стоимости ART.
Последовательность операций всей сети в прямом направлении показана на фиг. 6 сплошными стрелками. Данные, собранные системой, выражены в виде
Figure 00000006
и выходные данные сети 610 проекционной области выражены в виде
Figure 00000018
, где обычно М'≥М. После прохождения выходных данных сети 610 проекционной области через слой взвешивания получается
Figure 00000019
, где W1, W2, ……, WM' представляют весовые коэффициенты. После прохождения взвешенных данных через слой фильтрации получается
Figure 00000020
, где h - сверточное ядро с дискретной пилообразной функцией, например фильтр RL или SL. После прохождения фильтрованных данных через слой обратного проецирования, выходные данные слоя аналитической реконструкции получаются в виде
Figure 00000021
, где верхний индекс Т представляет транспонирование матрицы, HR - матрица системы для M'×N - мерной реконструкции, и, аналогично прямой проекционной матрице Н, она определяется архитектурой системы КТ и методом сканирования, и
Figure 00000022
выполняет процесс обратного проецирования, в частности, процесс взвешенного обратного проецирования в соответствии со сканированием веерным пучком или коническим пучком. После прохождения через сеть реконструкции
Figure 00000023
продолжает распространяться в прямом направлении для прохождения вперед через сеть области визуализации с целью получения оценочного изображения
Figure 00000024
сканированного объекта. Выходные данные каждого слоя априорной модели представляют собой функцию стоимости
Figure 00000025
.
Figure 00000026
может представлять собой естественную комбинацию, например, полной вариации локальных условий, априорной модели марковского поля, априорной модели текстуры, разреженности пространства признаков и т.д.
Ошибка всей сети распространяется обратно, что указано на фиг. 6 штриховыми стрелками. Обратное распространение делится на две основные линии, представляющие собой стоимость непротиворечивости модели данных и стоимость совпадения априорных моделей. Априорная ошибка определяется как
Figure 00000027
в соответствии с функцией стоимости совпадения
Figure 00000028
для априорных моделей. Значимость каждой
Figure 00000029
в процессе обратной связи для компенсации ошибки, т.е. значимость априорных моделей в пространстве визуализации, определяется параметром λ. Ошибка стоимости совпадения априорных моделей распространяется в сеть области визуализации, и, в соответствии с правилом прямого цепного дифференцирования для каждого слоя, относительно функции стоимости вычисляются производные входных данных и параметры каждого слоя. Затем ошибка априорной модели слоя аналитической реконструкции распространяется обратно через слой аналитической реконструкции следующим образом:
Figure 00000030
Стоимость непротиворечивости модели данных состоит из двух частей. По определению статистической модели сигнала, для вычисления функции правдоподобия
Figure 00000031
(отрицательное значение которой получается в соответствии с системой минимизации ошибки) можно использовать распределение гауссового шума, распределение пуассоновских вероятностей, смешанное распределение пуассоновских и гауссовых вероятностей и т.д.; а также разность между результатом предыдущей оценки и результатом после выполнения проекции через проекционный слой. Функция стоимости непротиворечивости модели данных выражена в виде:
Figure 00000032
Таким образом, соотношения переноса ошибки из непротиворечивости модели данных имеют вид:
Figure 00000033
Figure 00000034
где β - параметр множителя Лагранжа, и
Figure 00000035
совместно распространяются в сеть проекционной области для обновления параметров различных слоев.
Figure 00000036
распространяется в сеть области визуализации и передается в сеть проекционной области через слой реконструкции.
Согласно одному варианту осуществления настоящего изобретения в соответствии с набором обучающих данных, с использованием средств имитационного моделирования формируется имитационная модель, охватывающая сценарий применения, и, в соответствии с параметрами фактической системы КТ и фактического способа сканирования, формируется набор проекционных данных. Объект подвергается сканированию в фактической системе с целью получения данных сканирования методом КТ. Одна часть данных сканирования методом КТ вводится в сеть для дальнейшего обучения, а другая часть данных сканирования методом КТ собирается с целью испытания результата обучения сети.
На фиг. 8 представлена конструктивная принципиальная схема сверточной нейронной сети проекционной области, которая применяется к промежуточным углам в устройстве согласно одному варианту осуществления настоящего изобретения. Сеть 610 проекционной области выполняет предварительную обработку, например, отрицательное логарифмическое преобразование и т.д. в отношении собранных необработанных проекционных данных и использует эти предварительно обработанные данные в проекционной области в качестве входных данных. Сеть проекционной области дополняет недостающие данные с использованием сверточной нейронной сети. Входные данные параллельных сетей, показанных на фиг. 8, представляют собой данные, собранные в случае промежуточных углов, причем оценочные данные недостающих углов делятся на множество групп, и каждая группа данных представляет собой данные, имеющие такой же масштаб, как масштаб угла сбора, и имеющие постоянный угол относительно угла сбора. Для каждой группы имеющиеся в наличии данные проекционной области используются в качестве входных данных, и в отношении этих входных данных сцепленными сверточными слоями (Conv), содержащими функцию активации, выполняется многоуровневое извлечение признаков, и в полносвязном слое (который может быть реализован с использованием сверточного слоя размера 1×1) получаются недостающие данные проекционной области.
В сети 610 проекционной области каждое из 2-мерных сверточных ядер во всех масштабах имеет два измерения, первое из которых определено здесь как направление детектора, и второе - как направление угла сканирования. Каждое из сверточных ядер необязательно имеет одинаковую длину в двух измерениях. Обычно сверточное ядро имеет больший масштаб в направлении детектора, чем в направлении угла сканирования, например сверточное ядро представляет собой сверточное ядро размера 3*1, 5*3, 7*3 или 9*3. Сверточное ядро также может иметь размер, определяемый в соответствии с пропорциональным соотношением между двумя измерениями проекционной карты. Для каждого масштаба может иметься в наличии множество наборов сверточных ядер. За сверточным слоем следует функция активации.
Например, основная роль сети проекционной области заключается в повышении разрешающей способности проекционных данных в угловом направлении. Проекционная сеть состоит из четырех параллельных ветвей, показанных на фиг. 8. Каждая ветвь содержит семь слоев сверточной нейронной сети. По причине пропорционального соотношения между несколькими детекторами и несколькими проекциями (фиг. 12А, 12В и 12С), в качестве центральной части используется прямоугольное сверточное ядро. Для достижения полного соединения в направлении карты признаков, каждое сверточное ядро в последнем слое имеет размер 1*1, и в качестве нелинейной функции активации используется функция ReLU. В ходе процесса свертки граничные данные дополняются с использованием периодичности свертки в угловом направлении так, что карта признаков имеет размер, который всегда совпадает с таковым у входных данных.
Как показано на фиг. 8, после обработки семью слоями сети, соответственно, и прохождения через слой интерполяции, четыре группы недостающих оценок проекции комбинируются с собранной проекцией с образованием оценочной проекционной карты с высокой плотностью углов в пределах 360 градусов, которая распространяется в слой аналитической реконструкции. Несмотря на то, что на фиг. 8 показана сверточная сеть, содержащая множество параллельных ветвей, специалисты в данной области техники должны принять во внимание, что технические решения согласно настоящему изобретению также могут быть реализованы сетями другой формы. Несмотря на то, что в вышеописанном варианте осуществления сеть проекционной области используется для восстановления недостающих данных, т.е. сеть проекционной области применяется в случае, когда при использовании сканирования методом КТ получаются неполные данные, специалистам в данной области техники должно быть понятно, что вышеописанная сеть проекционной области может обрабатывать и полные проекционные данные, за счет чего повышается качество данных в проекционной области.
На фиг. 9 представлена конструктивная принципиальная схема слоя сети аналитической реконструкции, используемого в устройстве согласно одному варианту осуществления настоящего изобретения. Слой 620 сети аналитической реконструкции может состоять из (необязательного) слоя взвешивания, (необязательного) слоя фильтрации с использованием пилообразной функции и слоя обратного проецирования. Слой взвешивания выполняет косинусное взвешивание каждого элемента данных. Слой фильтрации с использованием пилообразной функции выполняет операции фильтрации с использованием пилообразной функции традиционным способом аналитической реконструкции. Слой обратного проецирования выполняет обратное проецирование из проекционной области в область визуализации (взвешенное по расстоянию обратное проецирование для слоя обратного проецирования КТ с веерным пучком и слоя обратного проецирования КТ с коническим пучком). Обычно слой сети аналитической реконструкции рассчитан и реализован в соответствии с архитектурой системы визуализации методом КТ, и в процессе обучения сети ни один параметр не изменяется.
Например, сеть 620 аналитической реконструкции в явном виде добавляет в структуру сети алгоритм аналитической реконструкции, за счет чего упрощается обучение системы необходимым законам физики. Сеть 620 аналитической реконструкции содержит три слоя.
Первый слой представляет собой слой взвешивания, который в настоящей заявке выполняет косинусную нормализацию в отношении данных в направлении детектора в соответствии с геометрическими параметрами сканирования методом КТ с использованием косинусного обратного вектора размера 216*1 с целью выполнения точечного умножения на оценочную проекцию, и распространение этого вектора, подвергнутого косинусной нормализации, в угловом направлении с целью получения весовой матрицы W размера 216*360, в которой значения в каждом столбце W равны. После прохождения через слой W проекционная карта выражается в виде
Figure 00000037
.
Второй слой представляет собой слой фильтрации с использованием пилообразной функции, который выполняет операцию дискретной фильтрации в отношении проекционной карты в направлении детектора, т.е. в настоящей заявке выполняется фильтрация в отношении вектора из 216 откликов детектора под каждым углом, что можно описать как матричное умножение, с целью формирования матрицы F фильтрации размера 216*216. Для выполнения процесса фильтрации, в отношении матрицы F фильтрации и взвешенных проекционных данных выполняется матричное умножение в соответствии с уравнением
Figure 00000038
.
Третий слой представляет слой обратного проецирования, который реконструирует фильтрованную проекцию в изображение в соответствии с геометрическим соотношением, которое в настоящей заявке формирует матрицу
Figure 00000039
взвешенного по расстоянию обратного проецирования в соответствии с геометрическими параметрами с использованием метода движения пикселей. Фильтрованное изображение подвергается обратному проецированию с целью получения реконструированного изображения в области визуализации.
На фиг. 10 представлена принципиальная схема U-образной сверточной нейронной сети, используемой в устройстве согласно еще одному варианту осуществления настоящего изобретения. Сеть области визуализации выполняет подавление артефактов и шума в области визуализации и может содержать сверточную нейронную сеть, например, U-образную сеть, показанную на фиг. 10.
Например, путем обработки реконструированного изображения с использованием сверточной нейронной сети, показанной на фиг. 10, могут быть получены карты признаков в различных масштабах, и они могут быть скомбинированы с целью получения результирующего изображения. Конкретнее, карты признаков во множестве масштабов объединяются послойно с использованием операции повышающей дискретизации, для того чтобы в конечном итоге получить результирующее изображение объекта, подлежащего обследованию. Например, сеть 630 области визуализации дополнительно применяет априорные знания для устранения артефактов на основе аналитической реконструкции оценочной проекции. В настоящем варианте осуществления для сети 630 области визуализации в данном примере принята структура U-образной сети (как показано на фиг. 10), и в отношении реконструированного изображения размера 200*200 четыре раза выполняется подвыборка для постепенного уменьшения размера карт признаков с целью усиления глобальных признаков обучающего изображения в области принятия. Затем карты признаков постепенно расширяются и объединяются с картами признаков такого же размера без понижающей дискретизации во избежание потерь информации, вызываемых понижающей дискретизацией, для того чтобы в конечном итоге восстановить изображение размера 200*200, которое обрабатывается сетью с целью окончательной реконструкции изображения. Каждое сверточное ядро в различных слоях в области визуализации имеет размер 3*3. В процессе понижающей дискретизации изображения по мере уменьшения размера карт признаков постепенно увеличивается количество карт признаков. В процессе повышающей дискретизации по мере уменьшения размера карт признаков уменьшается и количество карт признаков.
Несмотря на то, что на фиг. 10 показана U-образная сеть, специалисты в данной области техники должны принять во внимание, что технические решения согласно настоящему изобретению также могут быть реализованы сетями другой формы.
Согласно варианту осуществления настоящего изобретения, для всех сверточных ядер сети 610 проекционной области и сети 630 области визуализации необходимо определить параметры, которые могут быть инициализированы случайным образом, или они могут быть обновлены с использованием других результатов предварительного обучения, полученных другими способами в ходе процесса обучения сети. В дополнение, сеть обрабатывает входные данные в проекционной области и в области визуализации, соответственно, с целью оптимизации целевой функции (часто именуемой функцией потерь в области глубокого обучения) до достижения оптимального результата. Поскольку смежные пиксели в проекционной области и области визуализации обладают разными геометрическими взаимосвязями, сверточный слой проекционной области и сверточный слой области визуализации могут дополнять друг друга.
Согласно одному варианту осуществления настоящего изобретения в области визуализации данное вычисление может быть выполнено с использованием фиксированного сверточного ядра w0 на основе априорных знаний о непрерывности изображения с ограничениями подобия окрестности. На фиг. 11 представлена конструкция сверточного ядра размера 3*3. Так, функция стоимости для сглаживания изображения используется в качестве целевой функции для оптимизации, которая может быть выражена в виде
Figure 00000040
Для конструкции функции стоимости непротиворечивости Ψ для модели данных в данном примере, собранные проекционные данные g представляют собой набор отсчетов, согласующихся с независимым гауссовым распределением, и имеют среднее значение, представляющее собой интеграл коэффициентов линейного ослабления сканированного объекта на соответствующей траектории луча. Первый член в ограничениях представляет собой функцию стоимости максимального правдоподобия гауссовой модели, которая выполняет ограничения оценки максимального правдоподобия от дискретных значений g к истинным значениям распределения и является применимой только к сети с частичным шумоподавлением за счет данных проекции, собранных под промежуточными углами, и второй член в ограничениях представляет ограничения непротиворечивости между проекцией и изображением и является применимым к каждой части проекционной сети.
Figure 00000041
где g - данные проекции, собранные под промежуточными углами,
Figure 00000042
- оценочное значение на траектории луча, соответствующей проекционным данным, собранным под промежуточными углами,
Figure 00000043
- оценочное изображение, выведенное сетью, Σ - диагональная матрица, диагональные элементы которой представляют собой расхождения проекционных данных, Н - проекционная матрица системы, и β - параметр множителя Лагранжа.
Функция стоимости в области визуализации подергается обратному распространению следующим образом:
Figure 00000044
Получается изображение, выведенное сетью, и градиент обратно распространяется через слой аналитической реконструкции, а затем применяется к сверточным ядрам сети в проекционной области.
При условии ограничения верности передачи данных Ψ, имеется как
Figure 00000045
, так и
Figure 00000046
и градиент обратно распространяется одновременно с обновлением проекционной сети
Figure 00000047
и распространением
Figure 00000048
в сеть визуализации.
Figure 00000049
Figure 00000050
Набор данных моделирования представляет собой высококачественную КТ-томограмму человека. В соответствии с механической геометрией, проекционные данные моделирования формируют под углами от 3 до 358 градусов с угловым интервалом 5 градусов и количеством фотонов, равным 105. Был получен набор проекционных данных моделирования в масштабе 216*72. 4/5 набора использовали для обучения сети без учителя, и 1/5 набора использовали в качестве контрольного набора для контроля влияния нормализации сети.
Набор фактических данных может представлять собой проекции, сформированные путем сканирования фантомного тела на платформе для спиральной КТ веерным пучком с угловым интервалом 5 градусов с использованием матрицы из 216 детекторов с целью контроля времени, в течение которого формируется ток разряда в трубке, достигающий нормальной дозы. Другую группу фантомных тел подвергали сканированию аналогичным образом для получения проекций в виде испытательного набора, который используют для испытания воздействия сети после завершения обучения.
В процессе прямого обучения весовые коэффициенты для сверточных ядер проекционной сети и сети области визуализации инициализируются случайным образом. В первую очередь, набор данных моделирования получали при помощи вышеописанного способа обучения. После обучения при помощи набора данных моделирования до достижения сходимости, для точной настройки и обучения использовали набор фактически собранных данных. После завершения обучения результат обучения сети проверяли при помощи другого набора фактически собранных данных в качестве испытательного набора.
Результаты вспомогательных процессов предварительного обучения группировали. Затем, в фазе моделирования данных, могут быть сформированы проекционные данные высокого качества. В первую очередь, с целью выполнения обучения с учителем в отношении, соответственно, параллельных сетей оценки проекции, с использованием данных моделирования формируют полные проекционные данные под углами 360 градусов. После завершения обучения, значения сети оценки проекции использовали в качестве исходных значений всей проекционной сети, а затем эту сеть обучали в целом способом прямого обучения.
В фактическом процессе сканирования методом КТ собранные данные представляют собой ввод в вышеописанный процесс обучения для получения обученной сети (в это время параметры сети являются фиксированными) с целью получения реконструированного изображения.
На фиг. 13А представлена принципиальная схема последовательности операций, иллюстрирующая способ обработки изображений согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 13А, на этапе S131 система сканирования методом КТ собирает данные объекта в проекционной области. На этапе S132 данные в проекционной области обрабатывают с использованием сверточной нейронной сети с целью получения оценочного изображения объекта.
Нейронная сеть согласно данному варианту осуществления настоящего изобретения содержит сеть проекционной области, слой сети аналитической реконструкции и сеть области визуализации. Сеть проекционной области используется для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области. Слой сети аналитической реконструкции выполняет аналитическую реконструкцию в отношении обработанных данных в проекционной области с целью получения реконструированного изображения. Сеть области визуализации обрабатывает реконструированное изображение с целью получения оценочного изображения.
Способ обработки изображений согласно варианту осуществления настоящего изобретения может дополнительно включать обучение нейронной сети. На фиг. 13 В представлена принципиальная схема последовательности операций, иллюстрирующая способ обучения нейронной сети согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 13В, на этапе S1321 сеть области визуализации настраивают путем использования функции стоимости априорной модели на основе оценочного изображения, и обеспечивают обратное распространение градиента через слой сети аналитической реконструкции для корректировки параметров сверточных ядер сети проекционной области. На этапе S1322 операцию проецирования выполняют в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования, и параметры сверточных ядер сети области визуализации и сети проекционной области корректируют с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области. Более конкретная реализация может быть известна в отношении варианта осуществления, описанного выше в связи со структурой сети, показанной на фиг. 6, и ее подробности здесь описываться не будут.
Несмотря на то, что выше приведены выборка и сканирование под промежуточными углами и т.д., специалисты в данной области техники могут понять, что способ обучения согласно настоящему изобретению также может быть использован в системе сканирования методом КТ с ограниченным углом, системе сканирования с внутренней реконструкцией, системе сканирования с промежуточной частотой выборки детектора и системе сканирования методом КТ по прямолинейной траектории. На фиг. 14 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ с ограниченным углом согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 14, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. При помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование с ограниченным углом (например, 130 градусов).
На фиг. 15 представлена принципиальная схема сканирующего устройства, в котором реализуется способ сканирования с внутренней реконструкцией согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 15, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь часть объекта 40, подлежащего обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. При помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование методом КТ с внутренней реконструкцией.
На фиг. 16 представлена принципиальная схема сканирующего устройства, в котором реализован способ сканирования с промежуточной частотой выборки детектора согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 16, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. В данном примере для детектора 30 задана промежуточная частота выборки, например промежуточная частота выборки реализована путем разнесения различных элементов детектора на предварительно определенное расстояние. Таким образом, при помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование методом КТ с промежуточной частотой выборки детектора.
На фиг. 17 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ по прямолинейной траектории согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 17, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. В данном примере объект 40, подлежащий обследованию, перемещается по прямолинейной траектории на конвейерной ленте параллельно детекторам. Полевой угол лучевого источника, образуемый детекторами в горизонтальном направлении, является максимально большим, и детекторы охватывают объект в вертикальном направлении. Например, для получения проекционных данных путем сканирования методом КТ по прямолинейной траектории, массив детекторов размещают на противоположной стороне от источника, и необходимо, чтобы горизонтальный полевой угол θ лучей был больше 90 градусов. При помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование методом КТ по прямолинейной траектории.
В вариантах осуществления настоящего изобретения предлагается способ выполнения обучения нейронной сети без учителя. Например, в способе обучения согласно вариантам осуществления настоящего изобретения для обучения без учителя могут быть использованы истинные значения данных моделирования, или данных моделирования используются для предварительного обучения без учителя, а затем для обучения без учителя используются истинные данные. В качестве другого примера, для обучения без учителя может быть использовано множество истинных данных. Таким образом, информация данных глубоко анализируется для образования сверточной нейронной сети и характеристических параметров системы с целью получения эффективного способа реконструкции изображений КТ.
Способ согласно настоящему изобретению можно гибко применять к различным режимам сканирования методами КТ и различным архитектурам системы, а также его можно использовать в областях медицинской диагностики, неразрушающего контроля в промышленности и проверки безопасности.
В предшествующем подробном описании посредством использования схем, блок-схем и/или примеров изложены различные варианты осуществления способа и устройства для обучения нейронной сети. В том случае, если такие схемы, блок-схемы и/или примеры содержат одну или более функций и/или операций, специалистам в данной области техники будет понятно, что каждая функция и/или операция в таких схемах, блок-схемах или примерах может быть реализована отдельно и/или совместно посредством широкого диапазона конструкций, аппаратного обеспечения, программного обеспечения, программно-аппаратного обеспечения или практически любой их комбинации. В одном варианте осуществления несколько частей предмета изобретения, описанного в вариантах осуществления настоящего изобретения, могут быть выполнены при помощи специализированных интегральных схем (ASIC), логических матриц, программируемых пользователем (FPGA), процессоров цифровой обработки сигналов (DSP) или других встроенных форматов. Однако специалистам в данной области техники будет понятно, что некоторые аспекты вариантов осуществления, раскрытых в данном документе, полностью или частично, могут быть эквивалентным образом реализованы в интегральных схемах, в виде одной или более компьютерных программ, выполняемых на одном или более компьютерах (например, в виде одной или более программ, выполняемых в одной или более компьютерных системах), в виде одной или более программ, выполняемых одним или более процессорами (например, в виде одной или более программ, выполняемых одним или более микропроцессорами), в виде программно-аппаратного обеспечения или практически любой их комбинации, и что разработка схем и/или написание кода для программного обеспечения, и/или для программно-аппаратного обеспечения также будет находиться в пределах навыков специалистов в данной области техники в свете данного описания. В дополнение, специалисты в данной области техники примут во внимание, что механизмы предмета изобретения, описанного в данном документе, могут распространяться в виде программного продукта в большом разнообразии форм, и что примерный вариант осуществления предмета изобретения, описанного в данном документе, применим вне зависимости от конкретного типа носителя сигнала, используемого для фактического осуществления его распространения. Примеры носителей сигнала включают, без ограничения, следующее: носитель с возможностью записи, такой как гибкий диск, накопитель на жестких дисках, компакт-диск (CD), многоцелевой компакт-диск (DVD), магнитная лента для цифровой записи, компьютерная память и т.д.; и носитель для передачи данных, такой как цифровое и/или аналоговое средство передачи данных (например, волоконно-оптический кабель, волновод, канал проводной передачи данных, канал беспроводной передачи данных и т.д.).
Несмотря на то, что варианты осуществления настоящего изобретения были описаны со ссылкой на несколько типичных вариантов осуществления, специалистам в данной области техники очевидно, что термины используются с целью иллюстрации и разъяснения, а не ограничения. Варианты осуществления настоящего изобретения могут применяться на практике без выхода за пределы сути, или сущности, вариантов осуществления настоящего изобретения. Следует понимать, что варианты осуществления не ограничены какой-либо из вышеописанных подробностей, и их следует интерпретировать в широком смысле в пределах сущности и объема, ограниченных нижеследующей формулой изобретения. Поэтому все модификации и альтернативы, находящиеся в пределах объема формулы изобретения или ее эквивалентов, подлежат охвату приложенной формулой изобретения.

Claims (36)

1. Способ обработки изображений, включающий:
сбор системой сканирования методом компьютерной томографии (КТ) данных объекта в проекционной области и
обработку данных в проекционной области с использованием сверточной нейронной сети с целью получения оценочного изображения объекта;
причем сверточная нейронная сеть содержит:
сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области;
слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения и
сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения,
причем способ дополнительно включает обучение сверточной нейронной сети путем:
настройки сети области визуализации путем использования функции стоимости априорной модели на основе оценочного изображения и выполнения обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и
выполнения операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования и корректировки параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.
2. Способ по п. 1, отличающийся тем, что обучение сверточной нейронной сети дополнительно включает: построение функции стоимости непротиворечивости с использованием слоя обратного проецирования и построение функции стоимости априорной модели с использованием априорных знаний с целью совместного обучения нейронной сети.
3. Способ по п. 1, отличающийся тем, что функция стоимости априорной модели содержит по меньшей мере одно или комбинацию следующего: полная вариация локальных условий, априорная модель марковского поля, априорная модель текстуры и разреженность пространства признаков, где
Figure 00000051
- оценочное изображение.
4. Способ по п. 3, отличающийся тем, что дополнительно включает: определение функции стоимости априорной модели
Figure 00000052
с использованием априорной ошибки в виде
Figure 00000053
.
5. Способ по п. 3 или 4, отличающийся тем, что дополнительно включает настройку сети области визуализации в соответствии со значимостью λ каждой функции стоимости априорной модели
Figure 00000054
в процессе обратной связи для компенсации ошибки.
6. Способ по п. 4, отличающийся тем, что в слое сети аналитической реконструкции происходит обратное распространение априорной ошибки слоя сети аналитической реконструкции в соответствии со следующим соотношением:
Figure 00000055
,
где входные данные в проекционной области сети проекционной области выражены в виде
Figure 00000056
, выходные данные сети проекционной области выражены в виде
Figure 00000057
, где М'≥М, после взвешивания выходных данных получают
Figure 00000058
, после выполнения обратного проецирования взвешенных выходных данных, выходные данные слоя аналитической реконструкции имеют вид
Figure 00000059
, где верхний индекс Т представляет транспонирование матрицы, h - сверточное ядро с дискретной пилообразной функцией, HR - матрица системы для M'×N - мерной реконструкции и W1, W2, ……, WM представляют весовые коэффициенты.
7. Способ по п. 6, отличающийся тем, что функция стоимости непротиворечивости выражена в виде
Figure 00000060
, соотношения переноса ошибки из функции стоимости непротиворечивости имеют вид
Figure 00000061
и
Figure 00000062
, где β - параметр множителя Лагранжа, и
способ дополнительно включает: совместное распространение
Figure 00000063
в сеть проекционной области с целью обновления параметров различных слоев.
8. Способ по п. 1, отличающийся тем, что дополнительно включает: сбор данных объекта в проекционной области при помощи системы сканирования методом КТ с использованием одного из следующих способов: сканирование с промежуточной частотой выборки детектора, сканирование под промежуточными углами, сканирование с внутренней реконструкцией, сканирование с ограниченным углом и сканирование по прямолинейной траектории.
9. Способ по п. 1, отличающийся тем, что сеть проекционной области содержит множество параллельных ветвей сверточной нейронной сети.
10. Способ по п. 1, отличающийся тем, что сеть области визуализации содержит U-образную сверточную нейронную сеть.
11. Устройство обработки изображений, содержащее:
запоминающее устройство, выполненное с возможностью хранения команд и данных, и
процессор, выполненный с возможностью исполнения команд с целью:
приема данных объекта в проекционной области, собранных системой сканирования методом компьютерной томографии (КТ); и
обработки данных в проекционной области с использованием сверточной нейронной сети с целью получения оценочного изображения объекта;
причем процессор дополнительно выполнен с возможностью построения сверточной нейронной сети, содержащей:
сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области;
слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения и
сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения,
причем процессор дополнительно выполнен с возможностью обучения сверточной нейронной сети путем:
настройки сети области визуализации путем использования функции стоимости априорной модели на основе оценочного изображения и выполнения обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и
выполнения операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом компьютерной томографии (КТ) с целью получения результата проецирования и корректировки параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.
12. Устройство по п. 11, отличающееся тем, что процессор дополнительно выполнен с возможностью построения функции стоимости непротиворечивости с использованием слоя обратного проецирования и построения функции стоимости априорной модели с использованием априорных знаний с целью совместного обучения нейронной сети.
13. Машиночитаемый носитель данных, содержащий машинные команды, хранящиеся в нем, которые, при их исполнении процессором, реализуют способ по любому из пп. 1-10.
RU2018146297A 2017-12-29 2018-12-25 Способ обработки изображений, устройство обработки изображений и носитель данных RU2709437C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711498783 2017-12-29
CN201711498783.0 2017-12-29

Publications (1)

Publication Number Publication Date
RU2709437C1 true RU2709437C1 (ru) 2019-12-17

Family

ID=65011758

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018146297A RU2709437C1 (ru) 2017-12-29 2018-12-25 Способ обработки изображений, устройство обработки изображений и носитель данных

Country Status (5)

Country Link
US (1) US10984565B2 (ru)
EP (1) EP3506209B1 (ru)
CN (1) CN110047113B (ru)
RU (1) RU2709437C1 (ru)
WO (1) WO2019128660A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2817316C2 (ru) * 2021-02-02 2024-04-15 Биго Текнолоджи Пте. Лтд. Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033390A1 (en) * 2017-08-18 2019-02-21 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE RECONSTRUCTION
US10949252B1 (en) * 2018-02-13 2021-03-16 Amazon Technologies, Inc. Benchmarking machine learning models via performance feedback
WO2019224800A1 (en) * 2018-05-25 2019-11-28 Mahajan Vidur Method and system for simulating and constructing original medical images from one modality to other modality
US10977842B2 (en) * 2018-06-04 2021-04-13 Korea Advanced Institute Of Science And Technology Method for processing multi-directional X-ray computed tomography image using artificial neural network and apparatus therefor
US10885277B2 (en) 2018-08-02 2021-01-05 Google Llc On-device neural networks for natural language understanding
US11170542B1 (en) * 2018-10-10 2021-11-09 Lickenbrock Technologies, LLC Beam hardening and scatter removal
CN111368996B (zh) * 2019-02-14 2024-03-12 谷歌有限责任公司 可传递自然语言表示的重新训练投影网络
CN110363826B (zh) * 2019-07-16 2022-11-25 上海联影医疗科技股份有限公司 医学图像重建方法、装置、***及存储介质
CN110415311B (zh) * 2019-07-29 2024-04-16 上海联影医疗科技股份有限公司 Pet图像重建方法、***、可读存储介质和设备
CN110544282B (zh) * 2019-08-30 2022-03-29 清华大学 基于神经网络的三维多能谱ct重建方法和设备及存储介质
WO2021051049A1 (en) * 2019-09-12 2021-03-18 Xie Huidong Few-view ct image reconstruction system
CN110717951B (zh) * 2019-09-12 2021-08-03 浙江大学 一种基于cGANs的PET图像直接重建方法
CN110728729B (zh) * 2019-09-29 2023-05-26 天津大学 一种基于注意机制的无监督ct投影域数据恢复方法
CN112581513B (zh) * 2019-09-29 2022-10-21 北京大学 锥束计算机断层扫描图像特征提取与对应方法
CN112581554B (zh) * 2019-09-30 2024-02-27 中国科学院深圳先进技术研究院 一种ct成像方法、装置、存储设备及医学成像***
CN110742635B (zh) * 2019-10-08 2021-10-08 南京安科医疗科技有限公司 一种复合能谱ct成像方法
CN110751701B (zh) * 2019-10-18 2021-03-30 北京航空航天大学 一种基于深度学习的x射线吸收衬度计算机断层成像不完备数据重建方法
US10936916B1 (en) * 2019-10-31 2021-03-02 Booz Allen Hamilton Inc. System and method for classifying image data
CN112862944B (zh) * 2019-11-09 2024-04-12 无锡祥生医疗科技股份有限公司 人体组织超声建模方法、超声设备及存储介质
US11386592B2 (en) 2019-12-20 2022-07-12 Varian Medical Systems International Ag Tomographic image analysis using artificial intelligence (AI) engines
US11436766B2 (en) 2019-12-20 2022-09-06 Varian Medical Systems International Ag Tomographic image reconstruction using artificial intelligence (AI) engines
EP4078525A1 (en) * 2019-12-20 2022-10-26 Varian Medical Systems International AG Tomographic image processing using artificial intelligence (ai) engines
CN111311531B (zh) * 2020-01-22 2024-03-08 东软医疗***股份有限公司 图像增强方法、装置、控制台设备及医学成像***
CN111652951B (zh) * 2020-05-07 2023-06-06 中国工程物理研究院材料研究所 一种稀疏角度快中子ct成像方法
CN111612719A (zh) * 2020-05-21 2020-09-01 东软医疗***股份有限公司 Ct图像处理方法、装置、ct设备及ct***
CN111950705A (zh) * 2020-08-10 2020-11-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
WO2022032445A1 (zh) * 2020-08-10 2022-02-17 深圳高性能医疗器械国家研究院有限公司 一种重建神经网络及其应用
CN111932463B (zh) * 2020-08-26 2023-05-30 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112017256B (zh) * 2020-08-31 2023-09-15 南京安科医疗科技有限公司 在线ct图像质量自由定制方法及计算机可读存储介质
CN112669401B (zh) * 2020-12-22 2022-08-19 中北大学 基于卷积神经网络的ct图像重建方法及***
CN114764750B (zh) * 2021-01-12 2023-08-18 四川大学 基于自适应一致性先验深度网络的图像去噪方法
CN113192155B (zh) * 2021-02-04 2023-09-26 南京安科医疗科技有限公司 螺旋ct锥束扫描图像重建方法、扫描***及存储介质
CN113012293B (zh) * 2021-03-22 2023-09-29 平安科技（深圳）有限公司 石刻模型构建方法、装置、设备及存储介质
CN112926517B (zh) * 2021-03-26 2022-11-18 北京航空航天大学 一种人工智能监控方法
CN112907691A (zh) * 2021-03-26 2021-06-04 深圳安科高技术股份有限公司 基于神经网络的ct图像重建方法、装置、设备及存储介质
CN113096211B (zh) * 2021-04-16 2023-04-18 上海联影医疗科技股份有限公司 一种校正散射的方法和***
WO2023287586A1 (en) * 2021-07-12 2023-01-19 The Regents Of The University Of California Diffractive optical network for seeing through diffusive or scattering media
CN114283235B (zh) * 2021-12-07 2022-08-23 中国科学院国家空间科学中心 一种基于有限角度投影数据的三维磁层重构方法及***
CN114782566B (zh) * 2021-12-21 2023-03-10 首都医科大学附属北京友谊医院 Ct数据重建方法和装置、电子设备和计算机可读存储介质
WO2024108203A1 (en) * 2022-11-18 2024-05-23 Rensselaer Polytechnic Institute Patch-based denoising diffusion probabilistic model for sparse tomographic imaging
CN118154899A (zh) * 2024-05-09 2024-06-07 成都数之联科技股份有限公司 面板边缘识别方法和装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2505800C2 (ru) * 2012-05-10 2014-01-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) Способ рентгеновской томографии и устройство для его осуществления
RU2544479C2 (ru) * 2009-07-20 2015-03-20 Конинклейке Филипс Электроникс Н.В. Построение анатомической модели для обозначения границ представляющей интерес опухолевой области
US9538925B2 (en) * 2013-10-17 2017-01-10 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9808216B2 (en) * 2014-06-20 2017-11-07 Marquette University Material decomposition of multi-spectral x-ray projections using neural networks
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456227B (zh) * 2010-10-28 2015-05-27 清华大学 Ct图像重建方法及装置
CN102750676A (zh) * 2012-06-07 2012-10-24 南方医科大学 基于余弦变换的x线ct医学影像投影数据自适应阈值滤波重建方法
DE102015206362B3 (de) * 2015-04-09 2016-07-21 Siemens Healthcare Gmbh Multizyklische dynamische CT-Bildgebung
CN106530366B (zh) * 2015-09-09 2019-04-16 清华大学 能谱ct图像重建方法及能谱ct成像***
CN106780641B (zh) * 2016-11-14 2020-07-28 西安交通大学 一种低剂量x射线ct图像重建方法
CN107481297B (zh) * 2017-08-31 2021-06-15 南方医科大学 一种基于卷积神经网络的ct图像重建方法
US11126914B2 (en) * 2017-10-11 2021-09-21 General Electric Company Image generation using machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2544479C2 (ru) * 2009-07-20 2015-03-20 Конинклейке Филипс Электроникс Н.В. Построение анатомической модели для обозначения границ представляющей интерес опухолевой области
RU2505800C2 (ru) * 2012-05-10 2014-01-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) Способ рентгеновской томографии и устройство для его осуществления
US9538925B2 (en) * 2013-10-17 2017-01-10 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9808216B2 (en) * 2014-06-20 2017-11-07 Marquette University Material decomposition of multi-spectral x-ray projections using neural networks
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2817316C2 (ru) * 2021-02-02 2024-04-15 Биго Текнолоджи Пте. Лтд. Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства

Also Published As

Publication number Publication date
EP3506209B1 (en) 2021-08-18
WO2019128660A1 (zh) 2019-07-04
US10984565B2 (en) 2021-04-20
CN110047113A (zh) 2019-07-23
EP3506209A1 (en) 2019-07-03
CN110047113B (zh) 2021-05-18
US20190206095A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
RU2709437C1 (ru) Способ обработки изображений, устройство обработки изображений и носитель данных
CN110462689B (zh) 基于深度学习的断层摄影重建
CN109978778B (zh) 基于残差学习的卷积神经网络医学ct图像去噪方法
JP7455622B2 (ja) 医用画像処理装置及び学習用画像の取得方法
Dong et al. A deep learning reconstruction framework for X-ray computed tomography with incomplete data
CN107610195B (zh) 图像转换的***和方法
US10769821B2 (en) Method and device for reconstructing CT image and storage medium
KR102260802B1 (ko) 단층촬영 재구성에서 사용하기 위한 데이터의 딥러닝 기반 추정
WO2020237873A1 (zh) 基于神经网络的螺旋ct图像重建方法和设备及存储介质
US10628973B2 (en) Hierarchical tomographic reconstruction
Wu et al. Stabilizing deep tomographic reconstruction networks
Xie et al. Dual network architecture for few-view CT-trained on ImageNet data and transferred for medical imaging
Ma et al. Learning image from projection: A full-automatic reconstruction (FAR) net for computed tomography
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Chan et al. An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction
Perelli et al. Regularization by denoising sub-sampled Newton method for spectral CT multi-material decomposition
CN116188615A (zh) 一种基于正弦域和图像域的稀疏角度ct重建方法
Tivnan et al. Control of variance and bias in ct image processing with variational training of deep neural networks
Shu et al. Rbp-dip: High-quality ct reconstruction using an untrained neural network with residual back projection and deep image prior
Cheng et al. Super-resolution reconstruction for parallel-beam SPECT based on deep learning and transfer learning: a preliminary simulation study
Kandarpa Tomographic image reconstruction with direct neural network approaches
Guo et al. Noise-resilient deep learning for integrated circuit tomography
Mendoza et al. A self-supervised approach to reconstruction in sparse x-ray computed tomography
Ma et al. Learning image from projection: A full-automatic reconstruction (FAR) net for sparse-views computed tomography
Selim et al. Sparsity-based method for ring artifact elimination in computed tomography