RU2699416C2 - Идентификация аннотаций к описанию изображения - Google Patents
Идентификация аннотаций к описанию изображения Download PDFInfo
- Publication number
- RU2699416C2 RU2699416C2 RU2017111632A RU2017111632A RU2699416C2 RU 2699416 C2 RU2699416 C2 RU 2699416C2 RU 2017111632 A RU2017111632 A RU 2017111632A RU 2017111632 A RU2017111632 A RU 2017111632A RU 2699416 C2 RU2699416 C2 RU 2699416C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- annotation
- images
- input image
- annotated
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности создания идентификации аннотации в электронному отчету об изображении на основании предварительно аннотированных изображений. Способ включает прием вводимого изображения для аннотирования, сравнение вводимого изображения с набором предварительно аннотированных изображений, генерирование показателя сходства для каждого из предварительно аннотированных изображений исходя из результата соответствующего сравнения, идентифицирование предварительно аннотированного изображения с наибольшей степенью сходства для каждой из множества заданных аннотаций, визуальное отображение идентифицированного изображения для каждой аннотации вместе с указанной аннотацией, прием входного сигнала, идентифицирующего одно из отображаемых изображений, аннотирование вводимого изображения с помощью аннотации одного из отображаемых изображений, генерирование в электронном формате отчета по вводимому изображению, который включает в себя полученную идентифицированием аннотацию. 3 н. и 12 з.п. ф-лы, 4 ил.
Description
ОБЛАСТЬ ИЗОБРЕТЕНИЯ
Данное изобретение в целом относится к идентификации аннотации к электронному отчету об изображении на основании предварительно аннотированных изображений.
УРОВЕНЬ ТЕХНИКИ
Структурированные отчеты широко используются для получения описательной информации об исследуемой ткани (например, об онкологических поражениях) при работе с рентгенографическими и томографическими изображениями. С помощью структурированных отчетов врач-радиолог маркирует исследуемую ткань на изображениях, используя стандартизированный набор текстовых аннотаций, описывающих форму, ориентацию, местоположение и/или другие характеристики ткани способом, который может быть легко интерпретирован другими лицами, знакомыми с номенклатурой аннотаций.
Например, при визуализирующих исследованиях молочной железы используется стандарт BI-RADS (Система анализа и протоколирования результатов лучевых исследований молочной железы), разработанный Американской коллегией радиологов. В соответствии с этим стандартом поражения, исследуемые с помощью МРТ, должны описываться формой (круглая, овальная, дольчатая, неправильная), границами (плавные, неправильные, игольчатые), увеличением (равномерное, неравномерное, периферическое, с внутренними темными перегородками, с увеличенными внутренними перегородками, центральное) и другими характеристиками.
Аналогично, объемные образования в молочной железе при УЗИ должны быть аннотированы на предмет их формы (овальная, круглая, неправильная), ориентации (параллельная, не параллельная), границ (описанные, неявно выраженные, угловые, микродольчатые, игольчатые) и других характеристик. Подобные системы существуют или рассматриваются и для других органов, например легких. При использовании таких стандартов врач-радиолог анализирует изображение и выбирает текстовые аннотации исходя из своих наблюдений и понимания определений терминов аннотаций.
Основным подходом при составлении структурированных отчетов является непосредственный выбор пользователем текстовых аннотаций для изображения или полученных данных. Этот подход можно легко реализовать, например, с помощью выпадающего меню, в котором пользователь может выбрать характеристику с помощью мышки, сенсорного экрана, клавиатуры и/или другого устройства ввода. Однако такой подход зависит от уровня компетентности пользователя и его интерпретации смысла терминов. Альтернативным подходом к составлению структурированных отчетов является визуальный отчет.
При использовании визуальных отчетов выпадающий перечень текстов заменяется типовыми изображениями (каноническими изображениями) из базы данных, и пользователь выбирает аннотации с помощью типовых изображений. Например, вместо выбора просто термина «игольчатые» пользователь может выбрать из набора предварительно отобранных заданных изображений изображение, являющееся типовым примером игольчатой ткани. Благодаря этому снижается субъективность выбора, поскольку определение структурированных аннотаций задается изображением, а не термином в текстовой форме.
Такая визуальная аннотация изображения способствует обеспечению одинакового пониманию терминологии всеми пользователями. Однако типовые изображения являются ф (то есть всегда показывается одно и то же каноническое изображение «игольчатых краев»), а поражения определенной ткани могут быть самыми разными. И поэтому канонические примеры могут визуально отличаться от текущего изображения. Например, даже если текущее изображение, относящееся к пациенту, является «игольчатым», оно может в недостаточной мере быть сходным с каноническим «игольчатым» изображением, чтобы считаться совпадающим.
US 2012/0041779 A1 раскрывает систему поддержки принятия клинических решений (ППКР), которая содержит: подсистему группирования случаев болезни, содержащую графический пользовательский интерфейс, который выполнен с возможностью одновременно отображать данные, представляющие множество случаев заболевания пациентов, и дополнительно выполнен с возможностью давать пользователю возможность группировать выбранные случаи заболевания пациентов, представленные одновременно отображаемыми данными, в группы, связанные с клинической точки зрения, выбранные пользователем; подсистему определения доказательных характеристик, которая выполнена с возможностью определять доказательные характеристики, соотносящиеся с группами, связанными с клинической точки зрения; и пользовательский интерфейс ППКР, который выполнен с возможностью принимать текущие данные пациентов, связанные с текущими случаями заболевания пациентов, и предоставлять информацию о поддержке принятия клинических решений исходя из значений доказательных характеристик, определенных из полученных текущих данных пациентов.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Аспекты, описанные в данном документе, относятся к представленным выше и другим проблемам.
Согласно одному аспекту способ создания отчета в электронном формате к изображению с аннотацией изображения включает прием вводимого изображения, относящегося к пациенту, для аннотирования согласно п. 1.
Согласно другому аспекту представлено вычислительное устройство согласно п. 13 с .
Согласно еще одному аспекту представлен компьютерочитаемый носитель данных согласно п. 15, который кодирован компьютерочитаемыми инструкциями, которые, при выполнении их процессором, предписывают процессору исполнять этапы способа по п. 1.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Данное изобретение может содержать различные компоненты и комбинации компонентов, а также разные этапы и комбинации этапов. Чертежи представлены только с целью иллюстрации предпочтительных вариантов реализации и ни в коем случае не должны рассматриваться как ограничивающие данное изобретение.
ФИГУРА 1 схематически иллюстрирует пример компьютерной системы с модулем отчета.
ФИГУРА 2 схематически иллюстрирует пример модуля отчета.
ФИГУРА 3 иллюстрирует пример экрана дисплея, показывающего наиболее совпадающие изображения для нескольких различных типов аннотаций.
ФИГУРА 4 иллюстрирует пример способа генерирования отчета с аннотацией.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
ФИГУРА 1 иллюстрирует систему 100 с вычислительным устройством 102, которое включает в себя по меньшей мере один процессор 104, который выполняет одну или более компьютерочитаемых команд 106, хранящихся в компьютерочитаемом носителе 108 данных, который не включает в себя кратковременный носитель и включает в себя физическую память и/или другой некратковременный носитель данных. Дополнительно или альтернативно процессор 104 может выполнять одну или более компьютерочитаемых команд, передаваемых электромагнитной волной на несущей частоте, сигналом или другим кратковременным носителем.
Вычислительное устройство 102 принимает информацию от одного или более устройств 110 ввода, таких как клавиатура, мышь, сенсорный экран и т.д., и/или передает информацию на одно или более устройств 112 вывода, таких как один или более мониторов отображения. Проиллюстрированное вычислительное устройство 102 связано также с сетью 116 и одним или более устройствами, связанными с этой сетью, такими как по меньшей мере один архив 118 данных, по меньшей мере одна система 120 формирования изображений и/или одно или более других устройств.
Примеры архивов 118 данных включают в себя, в числе прочего, систему архивации и передачи изображений (PACS), радиологическую информационную систему (RIS), больничную информационную систему (HIS) и электронную медицинскую карту (EMR). Примеры систем 120 формирования изображений включают, в числе прочего, систему компьютерной томографии (КТ), систему магнитно-резонансной томографии (МРТ), систему позитронно-эмиссионной томографии (ПЭТ), систему однофотонной эмиссионной компьютерной томографии (ОФЭКТ), ультразвуковую систему (УЗИ) и систему рентгенологических исследований.
Вычислительное устройство 102 может быть компьютером общего назначения или другим аналогичным устройством, расположенным в кабинете врача, медицинском учреждении, центре томографии и т.д. Вычислительное устройство 102 включает в себя по меньшей мере программное обеспечение, позволяющее уполномоченному персоналу генерировать электронные медицинские отчеты. Вычислительное устройство 102 может передавать и/или принимать информацию с помощью таких форматов, как Health Level Seven (HL7), расширяемый язык разметки (язык XML), формирование цифровых изображений и обмен ими в медицине (DICOM) и/или один или более других форматов.
По меньшей мере одна компьютерочитаемая инструкция 106 включает в себя модуль 122 отчета, который при его выполнении по меньшей мере одним процессором 104 генерирует в электронном формате отчет для вводимого изображения, подлежащего аннотированию, включающий в себя аннотацию. Как подробно описано ниже, модуль 122 отчета определяет аннотацию на основе вводимого изображения, подлежащего аннотированию, и набора ранее полученных и аннотированных изображений других пациентов. В одном примере итоговый отчет включает в себя аннотацию, соответствующую изображению, которое визуально соответствует исследуемой ткани на вводимом изображении лучше, чем типовое заданное изображение со стандартным представлением исследуемой ткани.
ФИГУРА 2 схематически иллюстрирует пример модуля 122 отчета.
Модуль 122 отчета принимает, в качестве вводимых или входных данных, изображение (субъекта или объекта), предназначенное для аннотирования. Вводимое изображение может поступить от систем(ы) 120 формирования изображений, архива(ов) 118 данных и/или другого устройства. В этом примере вводимое изображение является медицинским изображением, например изображением с результатом МРТ, КТ, УЗИ, маммографии, рентгенограммой, ОФЭКТ-изображением или ПЭТ-изображением. Однако в одном из вариантов вводимое изображение может быть немедицинским изображением, таким как изображение объекта, связанного с неразрушающим контролем, процедурой досмотра (например, в аэропорту) и/или другим немедицинским применением.
В этом примере модуль 122 отчета имеет доступ к архиву(ам) 118 данных. Следует отметить, что модуль 122 отчета может иметь доступ к другому устройству хранения данных, которое хранит ранее полученные и аннотированные изображения, включая облачное хранилище данных, распределенную среду хранения и/или другие устройства хранения данных. Архив(ы) 118 данных включает, по меньшей мере, базу данных изображений, относящихся к другим пациентам, для которых аннотации уже были созданы. Пример форматов изображения для таких изображений включает DICOM, JPG, PNG и/или другие форматы электронных изображений.
В одном примере архив(ы) 118 данных является отдельной отобранной базой данных, в которой изображения были специальным образом проанализированы для данного применения. В другом примере архив(ы) 118 данных является базой данных бывших пациентов в медицинском учреждении, например, хранящейся в системе PACS. В данном описании предусмотрены также и другие архивы данных. В этом примере архив(ы) 118 данных включает в себя изображение и аннотацию. В другом примере изображение и аннотация хранятся в разных устройствах.
В общем случае архив(ы) 118 данных включает по меньшей мере одно изображение, представляющее каждую из существующих аннотаций. Например, в одном случае набор доступных аннотаций включает в себя аннотации границы (например, «игольчатая» или «описанная»), аннотации формы (например, «круглая», «неправильная») и/или одно или более других аннотаций. Для этого набора архив(ы) 118 данных включает по меньшей мере один пример изображения с игольчатыми краями, по меньшей мере один пример границы в виде описанной границы, по меньшей мере один пример изображения круглой формы и по меньшей мере один пример изображения неправильной формы.
Модуль 122 отчета включает в себя модуль 202 сравнения изображений. Модуль 202 сравнения изображений определяет показатель сходства между вводимым изображением и одним или более предварительно аннотированных изображений в архиве(ах) 118 данных.
Для сравнения, в одном примере модуль 122 отчета принимает вводимые пользователем данные, идентифицирующие точку или отдельный участок вводимого изображения для идентифицирования исследуемой ткани на вводимом изображении для аннотирования. В другом примере аннотированию подлежит все вводимое изображение, а не только его точка или отдельный участок. В последнем случае ввод пользователем данных не является необходимым.
Для сравнения, в одном примере производят сравнение идентифицированного участка или в целом двух изображений (то есть вводимое изображение и предварительно аннотированное изображение). Для этого указанный участок вначале сегментируется с помощью известных и/или других методов. Затем подсчитываются количественные характеристики с помощью известных и/или других методов, генерирующих численные признаки, описывающие размер, местоположение, яркость, контраст, форму, текстуру объекта и окружающих его участков, что дает «вектор признаков». Затем два вектора признаков сравниваются, например, с помощью евклидовой меры расстояния, где более короткие расстояния представляют более сходные объекты.
В другом примере изображения сравниваются с помощью метода на основе пикселей (или вокселей, или подгруппы пикселей или вокселей), такого как сумма квадратов разностей, взаимная информация, нормированная взаимная информация, кросс-корреляция и т.д. В проиллюстрированном примере отдельный модуль сравнения изображений (например, модуль 202 сравнения изображений) выполняет все сравнения. В другом примере существует отдельный модуль сравнения изображений для каждой аннотации, по меньшей мере один модуль сравнения изображений для двух или более сравнений, по меньшей мере один другой модуль сравнения изображений для другого сравнения и т.д.
Модуль 122 отчета также включает в себя модуль 204 выбора изображения. Модуль 204 выбора изображения выбирает потенциально подходящее изображение для каждой аннотации.
В одном примере выбирают одно наиболее сходное изображение. Это можно сделать путем идентифицирования изображения с наибольшей степенью сходства и требуемой аннотации. Например, если поражение описано границей («игольчатой» или «описанной») и формой («круглой» или «неправильной»), тогда идентифицируют наиболее сходное «игольчатое» поражение, наиболее сходное «описанное» поражение, наиболее сходное «круглое» поражение и наиболее сходное поражение «неправильной формы». Они могут частично совпадать, например наиболее сходное описанное поражение может также быть наиболее сходным круглым поражением.
В другом примере идентифицируют набор сходных изображений, где каждый набор состоит по меньшей мере из одного изображения. Его можно получить путем выбора подмножества изображений (из архива(ов) 118 данных) с данной аннотацией, в котором степень сходства будет выше установленного порогового значения. В альтернативном варианте это можно сделать путем выбора процента случаев. Например, если степень сходства измеряется по шкале от 0 до 1, тогда в приведенном выше примере можно выбрать все игольчатые поражения со степенью сходства выше 0,8 или 5% игольчатых поражений, имеющих наибольшую степень сходства. Эту процедуру можно повторять для каждого типа аннотации.
Модуль 122 отчета также включает в себя модуль 206 представления. Модуль 206 представления визуально представляет (например, с помощью дисплея устройств(а) 112 вывода) каждое аннотацию и по меньшей мере одно наиболее сходное изображение для каждой аннотации. Пример показан на ФИГУРЕ 3, которая содержит изображение 302 с игольчатой тканью 304 для аннотации 306 «игольчатая» и изображение 308 с микродольчатой тканью 310 для аннотации 312 «микродольчатая». В другом примере, для одной аннотации может быть показано несколько изображений. Например, для аннотации 306 «игольчатая» предоставляется не одно изображение, как на ФИГУРЕ 3, а несколько изображений.
Модуль 122 отчета также включает в себя модуль 208 аннотирования. В ответ на прием введенных пользователем данных, идентифицирующих одно из показанных изображений и/или аннотаций, модуль 208 аннотирования аннотирует вводимое изображение с помощью отображенного изображения. Визуально представленные изображения (например, на ФИГУРЕ 3) помогают пользователю выбрать правильную аннотацию. Пользователь может выбрать изображение, например, нажатием соседней клавиши, нажатием на это изображение и/или с помощью какого-либо другого аналогичного действия.
Модуль 122 отчета также включает в себя модуль 210 генерирования отчета. Модуль 210 генерирования отчета генерирует в электронном формате отчет по вводимому изображению, который включает в себя выбранную пользователем аннотацию «игольчатая» 306. В другом варианте такой отчет является визуальным отчетом, который также включает в себя идентифицированное аннотированное изображение 302 в качестве визуальной аннотации изображения.
ФИГУРА 4 иллюстрирует пример блок-схемы технологического процесса в соответствии с представленным в данном документе раскрытием.
Следует отметить, что последовательность действий в способах, описанных в данном документе, не является ограничивающей. Таким образом, здесь предусмотрены и другие последовательности действий. Кроме того, одно или более действий могут быть исключены и/или одно или более дополнительных действий могут быть включены.
На этапе 402 получают изображение для аннотирования.
На этапе 404 получают предварительно аннотированное изображение.
На этапе 406 определяют показатель сходства этих двух изображений.
На этапе 408 определяют необходимость сравнения с другим предварительно аннотированным изображением.
При наличии другого предварительно аннотированного изображения для сравнения, действия 404 - 408 повторяют.
На этапе 410 при отсутствии другого предварительно аннотированного изображения для сравнения, идентифицируют наиболее сходное изображение для каждой аннотации исходя из показателя сходства.
На этапе 412 выполняют визуальное представление наиболее сходного предварительно аннотированного изображения для каждой аннотации вместе с идентифицированием соответствующей аннотации.
На этапе 414 принимают вводимые данные, характеризующие идентифицированные пользователем предварительно аннотированное изображение и/или аннотацию.
На этапе 416 вводимое изображение аннотируют с помощью идентифицированной аннотации.
На этапе 418 генерируют отчет в электронном формате для вводимого изображения с помощью идентифицированной аннотации и, при необходимости, с помощью идентифицированного изображением в качестве визуальной аннотации изображения.
Представленные выше действия могут быть реализованы с помощью компьютерочитаемых команд, закодированных или встроенных в компьютерочитаемый носитель данных, которые при выполнении процессором(ами) предписывают процессору(ам) выполнять аннотированные действия. В дополнительных или альтернативных вариантах по меньшей мере одна из компьютерочитаемых команд передается сигналом, несущей частотой или другим кратковременным носителем.
Данное изобретение было описано со ссылкой на предпочтительные варианты реализации. После прочтения и анализа представленного выше описания специалисты в данной области техники смогут внести в него изменения и усовершенствования. Предполагается, что данное изобретение истолковывается как включающее все такие изменения и усовершенствования в той мере, в которой они попадают в рамки формулы изобретения или ее эквивалентов.
Claims (35)
1. Способ создания отчета в электронном формате к изображению с аннотацией изображения, включающий:
прием вводимого изображения пациента для аннотирования;
сравнение вводимого изображения с набором предварительно аннотированных изображений;
генерирование показателя сходства для каждого из предварительно аннотированных изображений исходя из результата сравнения вводимого изображения с соответствующим предварительно аннотированным изображением;
идентифицирование, для каждой из множества заданных аннотаций, предварительно аннотированного изображения с наибольшей степенью сходства с вводимым изображением на основе сгенерированного показателя сходства;
визуальное отображение указанного идентифицированного изображения для каждой из указанного множества аннотаций вместе с указанной аннотацией;
прием входного сигнала, идентифицирующего одно из отображаемых изображений;
аннотирование вводимого изображения с помощью аннотации указанного идентифицированного изображения и
генерирование в электронном формате отчета к вводимому изображению, который включает в себя указанную идентифицированную аннотацию.
2. Способ по п. 1, дополнительно включающий:
идентифицирование двух или более предварительно аннотированных изображений для заданной аннотации;
визуальное отображение идентифицированных двух или более предварительно аннотированных изображений для аннотации вместе с указанной аннотацией и
прием входного сигнала, идентифицирующего одно из отображаемых изображений.
3. Способ по п. 2, в котором каждое из двух или более предварительно аннотированных изображений имеет степень сходства выше заданного порогового уровня сходства.
4. Способ по п. 2, в котором каждое из двух или более предварительно аннотированных изображений имеет степень сходства в заданном процентном диапазоне сходства.
5. Способ по любому из пп. 1-4, в котором набор предварительно аннотированных изображений включает предварительно аннотированные изображения других пациентов.
6. Способ по любому из пп. 1-5, в котором набор предварительно аннотированных изображений включает по меньшей мере одно аннотированное изображение, соответствующее каждой из множества заданных аннотаций.
7. Способ по любому из пп. 1-6, в котором сравнивают полностью вводимое изображение и полностью каждое изображение из набора предварительно аннотированных изображений.
8. Способ по п. 7, в котором изображения сравнивают на основе пикселей, вокселей, подгруппы пикселей или подгруппы вокселей.
9. Способ по любому из пп. 1-6, дополнительно включающий:
прием сигнала, указывающего на подобласть вводимого изображения, причем сравнивают только подобласть вводимого изображения и соответствующую подобласть каждого изображения из набора предварительно аннотированных изображений.
10. Способ по п. 9, дополнительно включающий:
сегментирование подобласти вводимого изображения и соответствующей подобласти каждого изображения из набора предварительно аннотированных изображений; и
сравнение сегментированной подобласти вводимого изображения и сегментированной подобласти каждого изображения из набора предварительно аннотированных изображений.
11. Способ по любому из пп. 7-10, дополнительно включающий:
генерирование вектора количественных признаков для каждого вводимого изображения и каждого изображения из набора предварительно аннотированных изображений, причем указанное сравнение включает сравнение векторов количественных признаков.
12. Способ по п. 11, в котором вектор количественных признаков включает численные значения, описывающие размер, местоположение, яркость, контраст, форму и/или текстуру.
13. Вычислительное устройство (102) для создания отчета в электронном формате к изображению с аннотацией изображения, содержащее:
первое устройство (110) ввода, которое выполнено с возможностью принимать вводимое изображение пациента для аннотирования;
процессор (104), который выполнен с возможностью сравнивать вводимое изображение с набором предварительно аннотированных изображений, генерировать показатель сходства для каждого из предварительно аннотированных изображений исходя из результата сравнения вводимого изображения с соответствующим предварительно аннотированным изображением и идентифицировать, для каждой из множества заданных аннотаций, предварительно аннотированное изображение с наибольшей степенью сходства с вводимым изображением на основе сгенерированного показателя сходства; и
дисплей (112), который выполнен с возможностью визуально отображать идентифицированное изображение для каждой из указанного множества аннотаций вместе с указанной аннотацией, и
второе устройство (110) ввода, которое выполнено с возможностью принимать входной сигнал, идентифицирующий одно из отображаемых изображений,
причем процессор (104) дополнительно выполнен с возможностью аннотировать вводимое изображение с помощью идентифицированного изображения из изображений и генерировать в электронном формате отчет по вводимому изображению, который включает в себя полученную идентифицированием аннотацию.
14. Вычислительное устройство по п. 13, в котором процессор (104) дополнительно выполнен с возможностью идентифицировать два или более предварительно аннотированных изображения для заданной аннотации и визуально отображать идентифицированные два или более заранее аннотированные изображения для аннотации вместе с указанной аннотацией.
15. Компьютерочитаемый носитель данных, кодированный компьютерочитаемыми инструкциями, которые, при выполнении их процессором, предписывают процессору исполнять этапы способа по п. 1.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462048295P | 2014-09-10 | 2014-09-10 | |
| US62/048,295 | 2014-09-10 | ||
| PCT/IB2015/056866 WO2016038535A1 (en) | 2014-09-10 | 2015-09-08 | Image report annotation identification |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2017111632A RU2017111632A (ru) | 2018-10-10 |
| RU2017111632A3 RU2017111632A3 (ru) | 2019-03-14 |
| RU2699416C2 true RU2699416C2 (ru) | 2019-09-05 |
Family
ID=54292840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017111632A RU2699416C2 (ru) | 2014-09-10 | 2015-09-08 | Идентификация аннотаций к описанию изображения |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20170300621A1 (ru) |
| EP (1) | EP3191991B1 (ru) |
| JP (1) | JP6796060B2 (ru) |
| CN (1) | CN106796621B (ru) |
| RU (1) | RU2699416C2 (ru) |
| WO (1) | WO2016038535A1 (ru) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10276265B2 (en) * | 2016-08-31 | 2019-04-30 | International Business Machines Corporation | Automated anatomically-based reporting of medical images via image annotation |
| US10729396B2 (en) | 2016-08-31 | 2020-08-04 | International Business Machines Corporation | Tracking anatomical findings within medical images |
| US11195313B2 (en) | 2016-10-14 | 2021-12-07 | International Business Machines Corporation | Cross-modality neural network transform for semi-automatic medical image annotation |
| JP6926838B2 (ja) * | 2017-08-31 | 2021-08-25 | 富士通株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN111448614B (zh) * | 2017-11-02 | 2024-05-28 | 皇家飞利浦有限公司 | 用于分析超声心动图的方法和装置 |
| US10916343B2 (en) | 2018-04-26 | 2021-02-09 | International Business Machines Corporation | Reduce discrepancy of human annotators in medical imaging by automatic visual comparison to similar cases |
| US10290101B1 (en) * | 2018-12-07 | 2019-05-14 | Sonavista, Inc. | Heat map based medical image diagnostic mechanism |
| CN113614712A (zh) * | 2019-03-29 | 2021-11-05 | 索尼集团公司 | 图像处理装置和方法以及程序 |
| US11189375B1 (en) * | 2020-05-27 | 2021-11-30 | GE Precision Healthcare LLC | Methods and systems for a medical image annotation tool |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EA200600324A1 (ru) * | 2003-07-28 | 2006-08-25 | Лэндмарк Грэфикс Корпорейшн | Система и способ для совместной визуализации множества атрибутов в реальном масштабе времени |
| EA200801244A1 (ru) * | 2005-10-31 | 2009-02-27 | Лаборатуар Сероно С.А. | Применение sdf-1 для лечения и/или профилактики неврологических заболеваний |
| RU2385494C1 (ru) * | 2008-10-22 | 2010-03-27 | Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) | Способ распознавания изображения текстуры клеток |
| RU2431191C2 (ru) * | 2009-01-27 | 2011-10-10 | Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Способ идентификации личности человека по цифровому изображению лица |
| US20120041779A1 (en) * | 2009-04-15 | 2012-02-16 | Koninklijke Philips Electronics N.V. | Clinical decision support systems and methods |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001521250A (ja) * | 1997-10-27 | 2001-11-06 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 情報の検索および検索システム |
| JP2004005364A (ja) * | 2002-04-03 | 2004-01-08 | Fuji Photo Film Co Ltd | 類似画像検索システム |
| US7941009B2 (en) * | 2003-04-08 | 2011-05-10 | The Penn State Research Foundation | Real-time computerized annotation of pictures |
| US7876934B2 (en) * | 2004-11-08 | 2011-01-25 | Siemens Medical Solutions Usa, Inc. | Method of database-guided segmentation of anatomical structures having complex appearances |
| JP2008541889A (ja) * | 2005-06-02 | 2008-11-27 | ザ メディパターン コーポレイション | コンピュータ支援検出のシステムおよび方法 |
| US8341112B2 (en) * | 2006-05-19 | 2012-12-25 | Microsoft Corporation | Annotation by search |
| US20070280561A1 (en) * | 2006-05-30 | 2007-12-06 | General Electric Company | System, method and computer instructions for aiding image analysis |
| US7792778B2 (en) * | 2006-07-31 | 2010-09-07 | Siemens Medical Solutions Usa, Inc. | Knowledge-based imaging CAD system |
| JP4979334B2 (ja) * | 2006-10-18 | 2012-07-18 | 富士フイルム株式会社 | 医用画像読影支援システム及びプログラム |
| US7995818B2 (en) * | 2006-11-22 | 2011-08-09 | General Electric Company | Systems and methods for synchronized image viewing with an image atlas |
| AU2006249239B2 (en) * | 2006-12-07 | 2010-02-18 | Canon Kabushiki Kaisha | A method of ordering and presenting images with smooth metadata transitions |
| CN101587478B (zh) * | 2008-05-20 | 2013-07-24 | 株式会社理光 | 图像训练、自动标注、检索方法及装置 |
| RU2011116411A (ru) * | 2008-09-26 | 2012-11-10 | Конинклейке Филипс Электроникс Н.В. (Nl) | Характерные для пациента анатомические эскизы для медицинских отчетов |
| WO2010070585A2 (en) * | 2008-12-18 | 2010-06-24 | Koninklijke Philips Electronics N.V. | Generating views of medical images |
| US8429173B1 (en) * | 2009-04-20 | 2013-04-23 | Google Inc. | Method, system, and computer readable medium for identifying result images based on an image query |
| JP5383431B2 (ja) * | 2009-10-27 | 2014-01-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP2013511762A (ja) * | 2009-11-24 | 2013-04-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | プロトコルガイドイメージング手順 |
| JP2011118543A (ja) * | 2009-12-01 | 2011-06-16 | Shizuoka Prefecture | 症例画像検索装置、方法およびプログラム |
| EP2617012B1 (en) * | 2010-09-16 | 2015-06-17 | Mor Research Applications Ltd. | Method and system for analyzing images |
| BR112013007241A8 (pt) * | 2010-09-30 | 2016-07-12 | Koninkl Philips Electronics Nv | "sistema para exibir uma imagem multidimensional e uma anotação nela localizada, estação de trabalho, aparelho de formação de imagem, método de exibição de uma imagem multidimensional e uma anotação nela localizada e produto de progama de computador" |
| US9378331B2 (en) * | 2010-11-19 | 2016-06-28 | D.R. Systems, Inc. | Annotation and assessment of images |
| EP2686809B1 (en) * | 2011-03-16 | 2014-12-24 | Koninklijke Philips N.V. | Method and system for intelligent linking of medical data |
| WO2012154216A1 (en) * | 2011-05-06 | 2012-11-15 | Sti Medical Systems, Llc | Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback |
| EP2742847A4 (en) * | 2011-08-12 | 2015-01-28 | Olympus Medical Systems Corp | IMAGE MANAGEMENT DEVICE AND METHOD AND PICTURE READING PROGRAM |
| US9239848B2 (en) * | 2012-02-06 | 2016-01-19 | Microsoft Technology Licensing, Llc | System and method for semantically annotating images |
| CN104584018B (zh) * | 2012-08-22 | 2022-09-02 | 皇家飞利浦有限公司 | 用于有效查看和报告成像研究相关的先前注释的自动检测和检索 |
| US9098532B2 (en) * | 2012-11-29 | 2015-08-04 | International Business Machines Corporation | Generating alternative descriptions for images |
| CA2804439A1 (en) * | 2012-12-13 | 2014-06-13 | Ehsan Fazl Ersi | System and method for categorizing an image |
| US9349186B2 (en) * | 2013-02-11 | 2016-05-24 | General Electric Company | Systems and methods for image segmentation using target image intensity |
| US9384213B2 (en) * | 2013-08-14 | 2016-07-05 | Google Inc. | Searching and annotating within images |
| US9589349B2 (en) * | 2013-09-25 | 2017-03-07 | Heartflow, Inc. | Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction |
-
2015
- 2015-09-08 CN CN201580048796.0A patent/CN106796621B/zh active Active
- 2015-09-08 RU RU2017111632A patent/RU2699416C2/ru active
- 2015-09-08 JP JP2017513050A patent/JP6796060B2/ja active Active
- 2015-09-08 WO PCT/IB2015/056866 patent/WO2016038535A1/en active Application Filing
- 2015-09-08 EP EP15778726.8A patent/EP3191991B1/en active Active
- 2015-09-08 US US15/508,169 patent/US20170300621A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EA200600324A1 (ru) * | 2003-07-28 | 2006-08-25 | Лэндмарк Грэфикс Корпорейшн | Система и способ для совместной визуализации множества атрибутов в реальном масштабе времени |
| EA200801244A1 (ru) * | 2005-10-31 | 2009-02-27 | Лаборатуар Сероно С.А. | Применение sdf-1 для лечения и/или профилактики неврологических заболеваний |
| RU2385494C1 (ru) * | 2008-10-22 | 2010-03-27 | Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) | Способ распознавания изображения текстуры клеток |
| RU2431191C2 (ru) * | 2009-01-27 | 2011-10-10 | Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Способ идентификации личности человека по цифровому изображению лица |
| US20120041779A1 (en) * | 2009-04-15 | 2012-02-16 | Koninklijke Philips Electronics N.V. | Clinical decision support systems and methods |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016038535A1 (en) | 2016-03-17 |
| RU2017111632A (ru) | 2018-10-10 |
| JP2017534316A (ja) | 2017-11-24 |
| EP3191991A1 (en) | 2017-07-19 |
| US20170300621A1 (en) | 2017-10-19 |
| JP6796060B2 (ja) | 2020-12-02 |
| CN106796621A (zh) | 2017-05-31 |
| CN106796621B (zh) | 2021-08-24 |
| EP3191991B1 (en) | 2021-01-13 |
| RU2017111632A3 (ru) | 2019-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2699416C2 (ru) | Идентификация аннотаций к описанию изображения | |
| US10460838B2 (en) | Automated anatomically-based reporting of medical images via image annotation | |
| RU2687760C2 (ru) | Способ и система компьютерной стратификации пациентов на основе сложности случаев заболеваний | |
| JP6438395B2 (ja) | 効果的な表示及び報告のための画像資料に関連する以前の注釈の自動検出及び取り出し | |
| US8953858B2 (en) | Methods and systems for analyzing, prioritizing, visualizing, and reporting medical images | |
| US20180060535A1 (en) | Updating probabilities of conditions based on annotations on medical images | |
| US10729396B2 (en) | Tracking anatomical findings within medical images | |
| US11610667B2 (en) | System and method for automated annotation of radiology findings | |
| US20180365834A1 (en) | Learning data generation support apparatus, learning data generation support method, and learning data generation support program | |
| US20170221204A1 (en) | Overlay Of Findings On Image Data | |
| US20180060488A1 (en) | Customizing annotations on medical images | |
| US20180060534A1 (en) | Verifying annotations on medical images using stored rules | |
| US20230368893A1 (en) | Image context aware medical recommendation engine | |
| US8923582B2 (en) | Systems and methods for computer aided detection using pixel intensity values | |
| US20190074074A1 (en) | Systems and methods for generating correct radiological recommendations | |
| US10839299B2 (en) | Non-leading computer aided detection of features of interest in imagery | |
| Nishikawa et al. | Computer-aided detection evaluation methods are not created equal | |
| CN110537178B (zh) | 用于针对发现的指示而对图像切片进行计算机辅助搜索的***和方法 | |
| CN117912626A (zh) | 提供用于创建医学评定报告的文档模型结构的方法和*** | |
| de Azevedo-Marques et al. | Introduction to Content-based Image Retrieval |