CN107635464A - 用于合成医学图像的方法和设备 - Google Patents

用于合成医学图像的方法和设备 Download PDF

Info

Publication number
CN107635464A
CN107635464A CN201580080024.5A CN201580080024A CN107635464A CN 107635464 A CN107635464 A CN 107635464A CN 201580080024 A CN201580080024 A CN 201580080024A CN 107635464 A CN107635464 A CN 107635464A
Authority
CN
China
Prior art keywords
medical image
equipment
image frame
frame
ecg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580080024.5A
Other languages
English (en)
Inventor
任震宇
姜皓琼
孙基源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107635464A publication Critical patent/CN107635464A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288—Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8934—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a dynamic transducer configuration
    • G01S15/8936—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a dynamic transducer configuration using transducers mounted for mechanical movement in three dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065—Compound scan display, e.g. panoramic imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085—Details related to the ultrasound signal acquisition, e.g. scan sequences
    • G01S7/52087—Details related to the ultrasound signal acquisition, e.g. scan sequences using synchronization techniques
    • G01S7/52088—Details related to the ultrasound signal acquisition, e.g. scan sequences using synchronization techniques involving retrospective scan line rearrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/567—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution gated by physiological signals, i.e. synchronization of acquired MR data with periodical motion of an object of interest, e.g. monitoring or triggering system for cardiac or respiratory gating
    • G01R33/5673—Gating or triggering based on a physiological signal other than an MR signal, e.g. ECG gating or motion monitoring using optical systems for monitoring the motion of a fiducial marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种合成医学图像的方法包括：获取对象的图像数据；基于图像数据来产生对象的第一医学图像帧；从第一医学图像帧中选择与具有对象的相同的心电图(ECG)信号信息的时间点相应的第二医学图像帧；通过合成第二医学图像帧来产生全景图像；并且在显示器上显示全景图像。

Description

用于合成医学图像的方法和设备
技术领域
示例性实施例涉及用于考虑与对象的身体活动相应的生物信号信息来合成医学图像的方法和设备，更具体地，涉及用于考虑对象的心电图(ECG)信号信息来合成医学图像的方法和设备。
背景技术
超声诊断设备将由探头的换能器产生的超声信号发射到对象，并接收从对象反射的回波信号，从而获得对象的内部部分(例如，软组织或血流)的至少一个图像。特别地，超声诊断设备被用于医疗目的，包括对象内部的观察、异物的检测以及对对象损害的诊断。与X射线设备相比，这种超声诊断装置提供高稳定性，实时显示图像并且由于没有放射性曝露而是安全的。因此，超声诊断设备与其他图像诊断设备(包括计算机断层摄影(CT)设备、磁共振成像(MRI)设备等)一起被广泛使用。
超声***基于通过沿对象表面移动超声探头而连续获得的超声图像来提供全景图像。也就是说，超声***通过沿对象表面移动超声探头而连续地获得超声图像，并通过合成所获得的超声图像来形成全景图像。
发明内容
技术方案
本文公开的示例性实施例提供了用于合成医学图像的方法和设备，所述方法和设备可考虑与对象的身体活动相应的生物信号信息来仅选择连续获得的医学图像帧中的一些医学图像帧，并且可合成全景图像，从而输出具有高精度的全景图像。
本文公开的示例性实施例还提供了用于合成医学图像的方法和设备，所述方法和设备可以从连续获得的医学图像帧中选择与具有对象的相同的心电图(ECG)信号信息的时间点相应的一些图像帧并且可以合成选择的图像帧，从而合成全景图像。
附图说明
从以下结合附图进行的示例性实施例的描述中，这些和/或其它方面将变得清楚并且更加容易，其中：
图1是示出根据示例性实施例的用于合成图像的设备的配置的框图；
图2是示出根据示例性实施例的用于合成图像的设备的配置的框图；
图3是根据示例性实施例的合成医学图像以产生全景图像的方法的流程图；
图4是根据示例性实施例的合成医学图像以产生多个全景图像的方法的流程图；
图5是根据示例性实施例的由超声医疗设备连续获得的第一医学图像帧的透视图；
图6是示出根据示例性实施例的对象的心电图(ECG)信号信息的曲线图；
图7示出了示出根据示例性实施例的在对象的ECG信号信息与第一医学图像帧之间的相关性的曲线图和透视图；
图8和图9是示出根据示例性实施例的超声医疗设备通过选择并合成第一医学图像帧中的与具有对象的相同ECG信号信息的时间点相应的第二医学图像帧来产生全景图像的各种示例的示图；
图10是示出根据示例性实施例的超声医疗设备通过合成第一医学图像帧中的与具有对象的相同ECG信号信息的时间点相应的图像帧来产生多个全景图像的示例的示图；
图11、图12、图13A、图13B、图14A和图14B是示出根据示例性实施例的超声医疗设备显示产生的全景图像的各种示例的示图；
图15、图16、图17是示出根据示例性实施例的超声医疗设备将全景图像与对象的ECG信号信息一起显示的各种示例的示图。
最优实施方式
本文公开的示例性实施例提供了用于合成医学图像的方法和设备，所述方法和设备可以考虑与对象的身体活动相应的生物信号信息来仅选择被连续获得的医学图像帧中的一些医学图像帧，并且可以合成全景图像，从而输出具有高精度的全景图像。
本文公开的示例性实施例还提供了用于合成医学图像的方法和设备，所述方法和设备可以从被连续获得的医学图像帧中选择与具有对象的相同的心电图(ECG)信号信息的时间点相应的一些图像帧并且可以合成选择的图像帧，从而合成全景图像。
另外的方面将在下面的描述中被部分地阐述，并且部分将从描述中显而易见，或者可以通过对呈现的示例性实施例的实践来获知。
根据示例性实施例的一方面，提供了一种合成医学图像的方法，所述方法包括：获取对象的图像数据；基于图像数据来产生对象的第一医学图像帧；从第一医学图像帧中选择与具有对象的相同的心电图(ECG)信号信息的多个时间点相应的第二医学图像帧；通过合成第二医学图像帧来产生全景图像；并在显示器上显示全景图像。
获取对象的图像数据的步骤包括：将超声信号发射到对象并接收基于发送的超声信号的响应信号；并且基于接收到的响应信号来获取图像数据。
获取对象的图像数据的步骤包括：将射频(RF)信号发射到对象并接收基于RF信号从对象发出的磁共振(MR)信号；并且基于接收到的MR信号来获取MR图像数据。
获取对象的图像数据的步骤包括：将X射线信号发射到对象并检测穿过对象的X射线信号；并且基于检测到的X射线信号来获取计算机断层扫描(CT)图像数据。
所述方法还可以包括：将对象的ECG信号信息与全景图像相关联，从而产生关联信息并存储所述关联信息；并且在显示器上一起显示所述关联信息。
具有相同的ECG信号信息的所述多个时间点是具有从ECG图像提取的相同的奇点的多个时间点。
所述方法还可以包括：从第一医学图像中选择与具有多条ECG信号信息的所述多个时间点相应的第三医学图像帧；通过合成在第二医学图像帧之中的与具有相同的ECG信号信息的所述多个时间点相应的第三医学图像帧来产生全景图像；并且连续地将全景图像帧输出到显示器。
根据示例性实施例的另一方面，提供了一种被配置为合成医学图像的设备，所述设备包括：数据获取器，被配置为获取对象的图像数据；图像处理器，被配置为基于图像数据来产生构成对象的视频的第一医学图像帧，从第一医学图像帧中选择与具有对象的相同的心电图(ECG)信号信息的多个时间点相应的第二医学图像帧，通过合成第二医学图像帧来产生全景图像；以及显示器，被配置为输出全景图像。
数据获取器还可以包括超声收发器，被配置为将超声信号发射到对象，接收基于超声信号的响应信号，并且基于响应信号来获取超声图像数据。
数据获取器可以被配置为将射频(RF)信号发射到对象，接收基于RF信号从对象发出的磁共振(MR)信号，并且基于MR信号来获取MR图像数据。
数据获取器可以被配置为将X射线信号发射到对象，检测穿过对象的X射线信号，并且基于检测到的X射线信号来获取计算机断层扫描(CT)图像数据。
所述设备还可以包括存储器，被配置为将对象的ECG信号信息与全景图像相关联，从而产生关联信息并存储所述关联信息，其中，显示器被配置为将所述关联信息一起显示在显示器上。
具有相同的ECG信号信息的所述多个时间点是具有从ECG图像提取的相同的奇点的多个时间点。
图像处理器可以被配置为从第一医学图像中选择与具有多条ECG信号信息的多个时间点相应的第三医学图像帧，通过合成第二医学图像帧之中的与具有相同的ECG信号信息的多个时间点相应的第三医学图像帧来产生全景图像，并且显示器可以被配置为连续地输出全景图像帧。
根据示例性实施例的另一方面，提供了一种非暂时性计算机可读存储介质，在其上记录有用于执行合成医学图像的方法的计算机程序代码，所述代码由处理器获得并执行，其中，所述方法包括：获取对象的图像数据；基于图像数据来产生对象的第一医学图像帧；从第一医学图像帧中选择与具有对象的相同的心电图(ECG)信号信息的时间点相应的第二医学图像帧；通过合成第二医学图像帧来产生全景图像；并在显示器上显示全景图像。
所述方法还可以包括：从第一医学图像帧中选择与具有多条ECG信号信息的时间点相应的第三医学图像帧；通过合成第二医学图像帧之中的与具有相同的ECG信号信息的时间点相应的第三医学图像帧来产生全景图像帧；并且连续地将全景图像输出到显示器。
具体实施方式
本文使用的术语是出于关于本发明构思的功能的考虑当前在本领域中广泛使用的那些通用术语，但是术语可以根据本领域普通技术人员的意图、先例或新技术而变化。此外，一些术语可以由申请人任意选择，在这种情况下，将在本说明书的详细描述中详细地描述所选术语的含义。因此，本文使用的术语应当基于术语的含义以及在整个说明书中的描述被定义。
在整个说明书中，还将理解，当组件“包括”元件时，除非另有相反的描述，否则应当理解，该组件不排除另外的元件并且还可以包括另一元件。此外，诸如“...单元”、“...模块”等术语是指执行至少一个功能或操作的单元，并且单元可以被实现为硬件或软件，或者被实现为硬件和软件的组合。
如本文使用的，术语“和/或”包括一个或更多个相关所列项目的任何和全部组合。当诸如“...中的至少一个”的表述在一列元件之后时，该表述修饰整列元件，而不修饰该列中的单个元件。
本文使用的术语“图像”可以指包括离散图像元素(例如，针对二维(2D)图像的像素和针对三维(3D)图像的体素)的多维数据。例如，图像可以是但不限于：通过超声设备、计算机断层摄影(CT)设备或磁共振成像(MRI)设备获得的对象的医学图像(例如，超声图像、CT图像或磁共振(MR)图像)。
超声图像可以指通过将从探头的换能器产生的超声信号发射到对象并且接收从对象反射的回波信号的信息而获得的图像。此外，可以以各种方式形成超声图像。例如，超声图像可以是幅度(A)模式图像、亮度(B)模式图像、颜色(C)模式图像和多普勒(D)模式图像中的至少一个。
CT图像可以指通过合成多个X射线图像而获得的图像，其中，所述多个X射线图像是通过围绕对象的至少一个轴旋转来拍摄对象的图片所获得的。
MR图像可以指通过使用核磁共振(NMR)获得的对象的图像。
此外，术语“对象”可以指人、动物或者人或动物的一部分。例如，对象可以是器官(例如，肝脏、心脏、子宫、脑、***或腹部)、血管或其组合。此外，对象可以是体模。体模是指具有与有机体大致相同的密度、有效原子序数和体积的材料。例如，体模可以指具有与人体相似性质的球形体模。
在整个说明书中，术语“用户”可以指但不限于指示医学专家(例如医学医生、护士、医学实验室技术人员或医学成像专家)或修理医疗设备的技术人员。
在下文中，将参照附图详细描述示例性实施例。
图1是示出根据示例性实施例的用于合成医学图像的设备100的配置的框图。设备100可以包括数据获取器110、图像处理器120和显示器130。
数据获取器110可以获取对象的图像数据。例如，数据获取器110可以向对象发射超声信号，并且可以接收从对象反射的回波信号。数据获取器110可以处理接收到的回波信号并且可以产生对象的超声图像数据。
可选地，数据获取器110可以向对象发射射频(RF)信号，并且可以接收从对象发出的MR信号。数据获取器110可以处理接收到的MR信号并且可以产生对象的MR图像数据。
可选地，数据获取器110可以向对象发射X射线，并且可以检测穿过对象的X射线信号。数据获取器110可以处理检测到的X射线信号，并且可以产生对象的CT图像数据。
可选地，数据获取器110可以接收由位于设备100外部的超声诊断设备、MR设备或CT设备产生的图像数据，并不是接收来自对象的超声信号、MR信号或X射线信号并直接产生对象的图像数据。
图像处理器120可以基于从数据获取器110接收的图像数据来产生多个第一医学图像帧。例如，多个第一医学图像帧可以是在时间上彼此相邻的多个图像帧。
此外，图像处理器120可以基于多个第一医学图像帧来产生全景图像。图像处理器120可以通过合成基于对象的生物信号信息从第一医学图像帧中选择的第二医学图像帧来产生全景图像。对象的生物信号信息可以包括与对象在产生第一医学图像帧的预定时间段内的身体活动相关的信息。此外，可以从通过拍摄对象的身体运动的图片而获得的至少一个医学图像来获得生物信号信息。在这种情况下，至少一个医学图像可以包括但不限于包括血管图像、肌肉骨骼图像和心电图(ECG)图像中的至少一个。
根据示例性实施例的图像处理器120可以从多个第一医学图像帧中选择与具有该对象的相同ECG信号的时间点相应的第二医学图像帧，并且可以通过仅合成第二个医学图像帧来产生全景图像。
根据示例性实施例的显示器130可以输出由图像处理器120产生的全景图像。
根据示例性实施例的显示器130可以通过图形用户界面(GUI)将由设备100处理的各种信息以及全景图像输出并显示到屏幕上。设备100可以包括根据设备100的类型的两个或更多个显示器130。
图2是示出根据示例性实施例的用于合成医学图像的设备1000的配置的框图。参照图2，设备1000可以是超声诊断设备。设备1000可以包括探头20、超声收发器1100、图像处理器1200、通信模块1300(例如，通信器)、显示器1400、存储器1500、输入装置1600和控制器1700，这些可以通过总线1800彼此连接。
图1的数据获取器110可以与图2的超声收发器1100相应，图1的图像处理器120可以与图2的图像处理器1200相应，图1的显示器130可以与图2的显示器1400相应。
设备1000可以是推车式设备或便携式设备。便携式超声诊断设备的示例可以包括但不限于包括图片存档和通信***(PACS)查看器、智能电话、膝上型计算机、个人数字助理(PDA)和平板PC。
探头20响应于由超声收发器1100施加的驱动信号将超声波发射到对象10，并且接收从对象10反射的回波信号。探头20包括多个换能器，并且多个换能器响应于电信号振动并产生声能，即超声波。此外，探头20可以通过有线或无线地被连接到设备1000的主体，并且根据示例性实施例，设备1000可以包括多个探头20。
根据示例性实施例的探头20可以在沿对象10的表面移动时连续地将超声信号发射到对象10，并且可以连续地接收从对象10反射的回波信号。
发射器1110将驱动信号施加到探头20。发射器1110包括脉冲产生器1112、发射延迟单元1114(例如，发射延迟器)和脉冲器1116。脉冲产生器1112基于预定的脉冲重复频率(PRF)来产生用于形成发射超声波的脉冲，并且发射延迟单元1114将脉冲延迟用于确定发射方向性的延迟时间。已被延迟的脉冲分别与被包括在探头20中的多个压电振动器相应。脉冲器1116基于与已被延迟的每个脉冲相应的定时将驱动信号(或驱动脉冲)施加到探头20。
接收器1120通过处理从探头20接收的回波信号来产生超声数据。接收器1120可以包括放大器1122、模数转换器(ADC)1124、接收延迟单元1126(例如，接收延迟器)和求和单元1128(例如，加法器)。放大器1122放大每个通道中的回波信号，ADC 1124针对被放大的回波信号执行模数转换。接收延迟单元1126将由ADC 1124输出的数字回波信号延迟用于确定接收方向性的延迟时间，并且求和单元1128通过对由接收延迟单元1166处理的回波信号进行求和来产生超声数据。在一些示例性实施例中，接收器1120可以不包括放大器1122。换言之，如果探头20的灵敏度或ADC 1124处理位的性能增强，则可以省略放大器1122。
根据示例性实施例的超声收发器1100可以通过将超声信号连续地发射到对象10并连续接收针对已发射的超声信号的响应信号来产生超声图像数据。图像处理器1200通过对由超声收发器1100产生的超声数据进行扫描转换来产生超声图像，并显示超声图像。超声图像不仅可以是通过以幅度(A)模式、亮度(B)模式和运动(M))模式扫描对象10而获得的灰度超声图像，也可以是经由多普勒效应显示对象10的运动的多普勒图像。多普勒图像可以是显示血液流动的血流多普勒图像(也被称为彩色多普勒图像)、显示组织运动的组织多普勒图像或者是将对象10的移动速度显示为波形的频谱多普勒图像。
B模式处理器1212从超声数据提取B模式分量，并对B模式分量进行处理。图像产生器1220可以基于提取的B模式分量来产生将信号强度表示为亮度的超声图像。
类似地，多普勒处理器1214可以从超声数据提取多普勒分量，并且图像产生器1220可以基于提取的多普勒分量来产生将对象10的运动表示为颜色或波形的多普勒图像。
根据示例性实施例，图像产生器1220可以经由针对体数据的体绘制来产生3D超声图像，并且还可以通过对由于压力造成的对象10的变形进行成像来产生弹性图像。此外，图像产生器1220可以通过使用文本和图形在超声图像中显示各种附加信息。此外，产生的超声图像可以被存储在存储器1500中。
根据示例性实施例的图像处理器1200可以基于从超声收发器1100接收的超声图像数据来产生多个第一医学图像帧。
例如，多个第一医学图像帧可以是在时间上彼此相邻的多个图像帧。
此外，根据示例性实施例的图像处理器1200可以基于多个第一医学图像帧来产生全景图像。
具体地，根据示例性实施例的图像处理器1200可以通过合成第二医学图像帧来产生全景图像，其中，第二医学图像帧是基于对象10的生物信号信息从第一医学图像帧中被选择的。例如，对象10的生物信号信息可以包括关于与对象10在产生第一医学图像帧的预定时间段期间的身体活动相应的身体运动的信息。根据示例性实施例，如本领域普通技术人员将会理解的，可以根据许多不同的合成技术来执行合成第二医学图像帧的处理。例如，根据示例性实施例的合成处理可以采用各种类型的合成算法，但不限于此。
在这种情况下，可以从通过拍摄对象10的身体运动的图片而获得的至少一个医学图像来获得生物信号信息。根据示例性实施例的至少一个医学图像包括与第一医学图像帧不同的医学图像。
例如，控制器1700可以基于从用于获得医学图像的设备接收到的至少一个医学图像直接获得对象10的生物信号信息。
此外，可以从用于获得医学图像的设备直接获得生物信号信息，并且可以通过通信单元1300来接收生物信号信息。
例如，用于获得图像的设备(未示出)可以是获得对象10的医学图像的设备。根据示例性实施例的用于获得图像的设备(未示出)的示例可以包括，但不限于包括，CT设备、MRI设备、血管造影设备和超声设备。
此外，用于获得图像的设备可以包括用于获得图像的多个设备，并且可以包括用于使用不同的图像获得方法来获得图像的不同类型的设备或者用于使用相同的图像获得方法来获得图像的相同类型的设备。
例如，至少一个医学图像可以包括血管图像、肌肉骨骼图像和ECG图像中的至少一种，但不限于此，只要医学图像是通过拍摄对象10的身体运动的图片来获得的医学图像即可。
根据示例性实施例的通信单元1300可以通过网络从用于获得医学图像的设备接收通过拍摄对象10的身体运动的图片而获得的至少一个医学图像。此外，根据示例性实施例的通信单元1300可以从用于获得图像的设备直接获得生物信号信息。
例如，图像处理器1200可以从第一医学图像帧中选择与具有对象10的相同ECG信号信息的时间点相应的第二医疗图像帧，并且可以通过仅合成第二医学图像帧来产生全景图像。
显示器1400显示产生的超声图像。显示器1400可以通过GUI在屏幕上不仅显示超声图像，还显示由设备1000处理的各种信息。此外，设备1000可以包括根据示例性实施例的两个或更多个显示器1400。
根据示例性实施例的显示器1400可以输出由图像处理器1200产生的全景图像。
通信单元1300通过有线或无线被连接到网络30以与外部设备或服务器通信。通信单元1300可以经由PACS与医院服务器或在医院中的被连接到医院服务器的另一医疗设备交换数据。此外，通信单元1300可以根据医学数字成像和通信(DICOM)标准来执行数据通信。
通信单元1300可以经由网络30来发送或接收与对象10的诊断相关的数据，例如对象10的超声图像、超声数据和多普勒数据，并且还可以发送或接收由另一医疗设备(例如CT设备、MRI设备或X射线设备)捕获的医学图像。此外，通信单元1300可以从服务器接收关于患者的诊断历史或医疗时间表的信息，并使用接收到的信息来诊断患者。此外，通信单元1300不仅可以执行与医院中的服务器或医疗设备的数据通信，而且还可以执行与医疗医生或患者的便携式终端的数据通信。
通信单元1300有线或无线地连接到网络30以与服务器32、医疗设备34或便携式终端36交换数据。通信单元1300可以包括用于与外部装置通信的一个或更多个组件。例如，通信单元1300可以包括局域通信模块1310(例如，局域通信器)、有线通信模块1320(例如，有线通信器)和移动通信模块1330(例如，移动通信器)。
局域通信模块1310是指用于在预定距离内进行局域通信的模块。根据示例性实施例的局域通信技术的示例可以包括但不限于无线LAN、Wi-Fi、蓝牙、ZigBee、Wi-Fi直连(WFD)、超宽带(UWB)、红外数据协会(IrDA)、蓝牙低能耗(BLE)和近场通信(NFC)。
有线通信模块1320是指用于使用电信号或光学信号进行通信的模块。根据示例性实施例的有线通信技术的示例可以包括经由双绞线电缆、同轴电缆、光纤电缆和以太网电缆的通信。
移动通信模块1330向移动通信网络上的基站、外部终端和服务器中选择的至少一个发送无线信号或从移动通信网络上的基站、外部终端和服务器中选择的至少一个接收无线信号。无线信号可以是语音呼叫信号、视频呼叫信号或用于文本/多媒体消息的发送和接收的各种类型的数据。
存储器1500存储由设备1000处理的各种类型的数据。例如，存储器1500可以存储与对象10的诊断相关的医疗数据，诸如被输入或输出的超声数据和超声图像，并且还可以存储将在设备1000中执行的算法或程序。
存储器1500可以是各种类型的存储介质(例如，闪速存储器、硬盘驱动器、EEPROM等)中的任何一种。此外，设备1000可以利用在线执行存储器1500的存储功能的web存储器或云服务器。
输入装置1600是指用户输入用于控制设备1000的数据所经由的单元。输入装置1600可以包括诸如键盘、鼠标、触摸板、触摸屏和点动开关的硬件组件。然而，示例性实施例不限于此，并且输入装置1600还可以包括各种其它类型的输入单元(包括ECG测量模块、呼吸测量模块、语音识别传感器、手势识别传感器、指纹识别传感器、虹膜识别传感器、深度传感器、距离传感器或本领域技术人员已知的任何其它类型的传感器)中的任何一种。
控制器1700可以控制设备1000的所有操作。换言之，控制器1700可以控制图1示出的探头20、超声收发器1100、图像处理器1200、通信单元1300、显示器1400、存储器1500和输入装置1600中的操作。
探头20、超声收发器1100、图像处理器1200、通信单元1300、显示器1400、存储器1500、输入装置1600和控制器1700中的全部或一些可以被实现为软件模块。此外，超声收发器1100、图像处理器1200和通信单元1300中的至少一个可以被包括在控制器1600中；然而，示例性实施例不限于此。
图3是根据示例性实施例的合成医学图像以产生全景图像的方法的流程图。
在操作S100，设备100接收多个第一医学图像帧。
设备100可以获取对象的图像数据，并且可以基于获取的图像数据来产生多个第一图像帧。
例如，设备100可以将超声信号发射到对象，并且可以基于通过接收针对发射的超声信号的响应信号而获取的超声图像数据来产生第一图像帧。
可选地，设备100可以将RF信号发射到对象，并且可以接收从对象发出的MR信号。设备100可以通过处理接收到的MR信号来获取对象的MR图像数据，并且可以基于获取的MR图像数据来产生第一图像帧。
可选地，设备100可以将X射线发射到对象，并且可以检测穿过对象的X射线信号。设备100可以通过处理检测到的X射线信号来获取对象的CT图像数据，并且可以基于获取的CT图像数据来产生第一医学图像帧。此外，作为在探头20沿对象的表面移动预定时间段时连续获取的图像帧的多个第一医学图像帧可以反映与对象在医疗过程期间发生的身体活动有关的身体运动。例如，在获得对象的ECG信号信息时，可以获得在时间上彼此相邻的多个第一医学图像帧。
在操作S110，设备100从在操作S100中产生的第一医学图像帧中选择与具有对象的相同的ECG信号信息的时间点相应的第二医学图像帧。
根据示例性实施例的超声诊断设备可以基于对象的生物信号信息从第一医学图像帧中选择第二医学图像帧。
例如，生物信号信息可以是与对象在产生第一医学图像帧时发生的身体活动相关的身体运动。此外，根据示例性实施例的生物信号信息可以是在使用作为超声诊断设备的设备1000的医疗过程之前预先确定的值。
例如，由用于获取医学图像的设备产生的至少一个医学图像可以是在设备1000产生第一医学图像帧之前通过拍摄对象的身体运动的图片而获取的至少一个医学图像。
例如，由用于获取医学图像的设备产生的至少一个医学图像可以包括血管图像、肌肉骨骼图像和ECG图像中的至少一个。
在这种情况下，与对象的身体活动相关的身体运动的示例可以包括，但不限于包括，根据对象心跳的血管厚度的变化和肌肉类型的变化。根据示例性实施例的生物信号信息(即与对象的身体运动的周期相应的时间信息)可以基于由用于获得医学图像的设备产生的至少一个医学图像来获得，而不是基于根据示例性实施例的第一医学图像帧来获得。当然，应当理解，身体运动不限于上述示例，并且相反地可以是根据示例性实施例的许多其它类型的身体运动，诸如与循环***、其他类型的肌肉、神经活动相关的其他类型的运动或者人体其他部位(例如，其他器官、骨骼等)的运动。
例如，生物信号信息可以包括，但不限于包括，被包括在至少一个医学图像中的对象心跳的周期、血管厚度变化的周期和肌肉类型变化的周期中的至少一个。
此外，根据示例性实施例的生物信号信息(即与对象的身体运动相应的状态信息)可以基于由用于获得医学图像的设备产生的至少一个医学图像来获得，而不是根据示例性实施例的第一医学图像帧来获得。
例如，生物信号信息可以包括，但不限于包括，被包括在至少一个医学图像中的对象的心跳的状态、血管厚度的状态和肌肉类型的状态中的至少一个。
根据示例性实施例的设备1000可以将基于先前在超声成像之前产生的医学图像获得的生物信号信息与在超声成像期间实时产生的第一医学图像帧相关联。
例如，包括在第一医学图像帧中的对象的周期性身体运动可以从先前确定的生物信号信息被推导出。
当包括在医学图像中的对象的身体运动是周期性运动并且与对象的身体运动的周期相应的时间信息是T(秒)时，根据示例性实施例的设备1000必须通过使用至少2个T(秒)的成像时间来获得多个第一医学图像帧。
根据示例性实施例的对象的生物信号信息可以包括对象的ECG信号信息，并且可以在产生对象的ECG信号信息时获得第一医学图像帧。在这种情况下，在超声成像期间实时产生的第一医学图像帧可以与在超声成像期间实时获得的对象的ECG信号信息相关联。下面将参照图7来详细地说明将第一医学图像帧与对象的ECG信号信息相关联的方法。
根据示例性实施例的第二医学图像帧可以是第一医学图像帧中的具有相同生物信号信息的多个图像帧。
在这种情况下，生物信号信息是关于与对象的身体活动相应的身体运动的信息。当两个医学图像帧具有相同的生物信号信息时，该相关性可以指示包括在两个医学图像帧中的对象的身体运动是相同的。
由于从生物信号信息推导出的包括在第一医学图像帧中的对象的运动是周期性的，所以与具有对象的相同运动的时间点相应的医学图像帧存在于每个周期中。因此，可以从多个第一医学图像帧中仅选择身体运动与预定时间点相应的一些医学图像帧作为第二医学图像帧。
此外，根据另一示例性实施例的第二医学图像帧可以是第一医学图像帧中的与多条生物信号信息相应的多个图像帧。
例如，对象的生物信号信息包括对象的ECG信号信息，并且可以从第一医学图像帧中仅选择与具有对象的相同ECG信号信息的时间点相应的第二医学图像帧，这将在下面参照图4和图10进行详细说明。
在操作S120，设备100通过合成在操作S110中选择的第二医学图像帧来产生全景图像。
可以通过合成第一医学图像帧中的具有相同生物信号信息的多个第二医学图像帧来产生全景图像。例如，生物信号信息可以包括ECG信号信息，并且可以仅通过合成第一医学图像帧中的与具有对象的相同ECG信号信息的时间点相应的多个第二医学图像帧来产生全景图像。
在操作S130，设备100在显示器1400上显示在操作S120中产生的全景图像。
图4是根据示例性实施例的合成医学图像以产生多个全景图像的方法的流程图。
操作S200与图3的操作S100相应。因此，将不给出其详细说明。
在操作S210，设备100从在操作S200中产生的第一医学图像帧中选择与具有对象的多条ECG信号信息的时间点相应的第二医学图像帧。
在操作S220，设备1000通过合成在操作S210中选择的第二医学图像帧中的与具有相同ECG信号信息的时间点相应的图像帧来产生多个全景图像帧，这将在下面参照图10来详细说明。
在操作S230，设备1000将在操作S220中产生的多个全景图像帧连续地输出到显示器1400，这将在下面参照图11至图14详细说明。
图5是示出根据示例性实施例的由设备1000连续获得的第一医学图像帧的透视图。
在示例性实施例中，设备1000可以通过在沿对象10的表面移动探头20时向对象10连续发射超声信号并连续接收从对象10反射的回波信号来获取超声图像数据。在这种情况下，设备1000可以基于连续获取的超声图像数据来产生多个第一医学图像帧，如图5所示。
例如，作为包括图像帧200、201、202、210、211、212和220的多个医学图像帧的多个第一医学图像帧可以是在探头20沿对象10的表面移动预定时间段时连续获取的图像帧，并且可以反映与在医疗过程期间发生的对象10的身体活动相关的身体运动。
与对象的身体活动相关的身体运动的示例可以包括，但不限于，根据对象10的心跳的血管厚度的变化和肌肉类型的变化。
此外，根据示例性实施例的与对象10的身体活动相关的身体运动的示例可以包括对象10的心脏的收缩或扩张，并且对象10的生物信号信息可以包括对象10的ECG信号信息。
例如，可以在产生对象的ECG信号信息时获得第一医学图像帧。
如图5所示，常规的超声诊断设备通过顺序合成实时连续获得的多个医学图像帧来产生全景图像。
通常，全景成像(即，产生具有比从一个换能器产生的单独帧的视场更大的视场的图像的处理)将图像的视场增加到等于或大于通常被限制的换能器的视场。
例如，在全景成像中，可以通过在平行于扫描平面的方向上手动地移动换能器来扩展扫描平面。同时，可以在添加新的回波信号的同时保留先前帧的旧回波信号信息以便在扫描平面移动的方向上产生图像。作为结果的获得的更大的视场可以在一个图像上显示较大的器官或较宽的解剖区域。当换能器移动时获得的新的回波信号被添加时，在现有图像上准确定位新的回波信号是非常重要的。这是通过将相邻帧的共同回波信号的位置相关联来实现的，使得新帧上的新信息被准确地定位。
然而，由于在医疗过程中连续获得的超声图像帧反映了对象10的身体活动(例如，如上所述，根据对象10的心跳的血管变化或肌肉类型变化)，所以在通过顺序地合成连续获得的超声图像帧而产生的全景图像中的感兴趣区域之间的连接性降低。
此外，由于全景图像显示较宽的感兴趣区域，但是不提供反映在较宽感兴趣区域中运动的视频功能，所以随着时间经过，难以检测较宽感兴趣区域中的运动。
相反地，根据示例性实施例的设备1000可以从考虑与对象10的身体活动相应的生物信号信息而连续获得的多个医学图像帧中仅选择一些医学图像帧，并且可以合成全景图像，从而输出具有高精度的全景图像。根据示例性实施例，术语“全景图像”可以指包括从比单个图像帧的视场更宽的宽视场获得的信息的图像。然而，示例性实施例不限于此，并且术语“全景图像”可以指包括从视场获得的信息的图像、2-D图像、3-D图像等，其中，所述视场根据探头20沿对象的单个方向、沿对象的多个方向、以单个角度、以多个角度的移动而变化。术语“全景图像”不限于任何特定类型的图像。
例如，根据示例性实施例的设备1000可以通过从连续获得的多个医学图像帧中仅选择并合成与具有相同ECG信号信息的时间点相应的医学图像帧来产生全景图像。
例如，当医学图像帧与具有对象10的相同ECG信号信息的时间点相应时，该相关性可以指示医学图像帧与具有对象10的心脏的相同收缩或扩张的时间点相应。
在这种情况下，可以保持包括在与具有对象10的心脏的相同收缩或扩张的时间点相应的医学图像帧中的对象10的观察组织的状态的一致性。例如，可以保持包括在与具有对象10的相同的ECG信号信息的时间点相应的医学图像帧中的血管厚度或肌肉类型的一致性。
因此，可以通过仅合成与具有对象10的相同的ECG信号信息的时间点相应的医学图像帧来产生感兴趣区域之间的连接性被改善的全景图像。
也就是说，根据示例性实施例的设备1000可以通过经由仅合成多个第二医学图像帧200、210和220产生全景图像来提供感兴趣区域之间连接性被改善的全景图像，其中，所述第二医学图像帧200、210和220与图5的多个第一医学图像帧中的具有对象10的相同的ECG信号信息的时间点相应。
图6是示出根据示例性实施例的对象的ECG信号信息的曲线图。根据示例性实施例的生物信号信息可以指示与在产生第一医学图像帧时发生的对象的身体活动相关的身体运动。
可以基于在根据示例性实施例的设备1000执行医疗过程之前由用于获得医学图像的另一设备产生的医学图像来确定根据示例性实施例的生物信号信息。假设对象的身体运动在执行医疗过程之前和之后相似地被保持，这一特征是可能的。
例如，由用于获得医学图像的设备产生的医学图像可以是通过在根据示例性实施例的设备1000产生第一医学图像帧之前预先拍摄对象的周期性身体运动的图片而获得的医学图像。
例如，由用于获得的医学图像的设备产生的医学图像可以包括血管图像、肌肉骨骼图像和ECG图像中的至少一个。
此外，当根据示例性实施例的设备1000产生在探头20沿对象的表面移动预定时间段时连续获得的第一医学图像帧时，根据示例性实施例的生物信号信息可以被得到。
也就是说，当根据示例性实施例的设备1000获得对象的超声图像时，包括对象的生物信号信息的医学图像可以通过用于获得医学图像的设备来获得。
例如，与对象的身体活动相关的身体运动可以是对象的收缩或扩张，并且可以包括对象的ECG信号信息。图6是示出作为包括与对象的心跳相关的身体运动的医学图像的ECG图像的曲线图。
如图6所示，ECG图像示出了从通过附接到对象的多个电极接收到的ECG信号测量的ECG。
根据示例性实施例的设备1000可以基于图6的ECG图像来获得对象的生物信号信息。
在这种情况下，根据示例性实施例的生物信号信息可以是与对象的身体运动的周期相应的时间信息。例如，生物信号信息可以包括关于可以在ECG图像中计算的对象的心跳周期的信息。
此外，根据示例性实施例的生物信号信息可以包括对象的ECG信号信息。
参照图6，控制器1700可以从接收到的ECG信号中提取具有相同ECG信号信息的时间点。
在示例性实施例中，控制器1700可以计算至少一种类型的信息(诸如每个间隔中的ECG信号的长度、电压最高的时间点或者来自医学图像的ECG信号的波形的梯度)，并且可以从ECG图像提取具有相同(或基本相似)的ECG信号信息的时间点。例如，根据示例性实施例的具有相同ECG信号的时间点可以包括具有从ECG图像提取的相同奇点的时间点。
例如，根据示例性实施例的控制器1700可以提取图6中的QRS波群的电压最高的R点400以及下一个心跳的QRS波群的电压最高的R点410，作为奇点。
此外，根据另一示例性实施例的控制器1700可以提取T波开始的点402和下一个心跳的T波开始的点412，作为奇点。
此外，参照图6，控制器1700可以从接收到的ECG信号提取用于计算心动周期的至少一个奇点。
然而，本示例性实施例不限于此，并且用于计算心动周期的各种点或间隔可以被提取作为奇点。根据示例性实施例的控制器1700可以基于提取的奇点来计算心动周期。例如，当R点400和R点410被提取为奇点时，控制器1700可以测量与在R点400和R点410之间的RR间隔相应的时间T1，并且可以基于测量出的时间T1来计算心动周期。例如，当与RR间隔相应的时间T1为0.6秒时，心动周期可以被计算为0.6秒。
此外，当T波开始的点402和下一个心跳的T波开始的点412被提取作为奇点而不是提取R点400和410或RR间隔作为奇点时，控制器1700可以测量与在T波开始的点402和下一个心跳的T波开始的点412之间的TT间隔相应的时间T2，并且可以基于测量的时间T2来计算心动周期。
图7示出了显示根据示例性实施例的在对象的ECG信号信息与第一医学图像帧之间的相关性的曲线图和透视图。
由于根据示例性实施例的多个第一医学图像帧是在探头20沿对象的表面移动预定时间段并且在预定时间段期间连续发生对象的身体活动时连续获得的图像帧，与对象的周期性身体运动相关的信息可以被包括在第一医学图像帧中。
然而，由于由根据示例性实施例的设备1000执行的产生全景图像的图像处理是在数据被存储在存储器之前执行的预处理的一部分，所以难以通过分析多个第一医学图像帧来检测对象的周期性身体运动。
因此，假设在超声医疗过程之前或之后保持对象的周期性身体运动的一致性，根据示例性实施例的生物信号信息可以从先前由用于获得医学图像的设备产生的至少一个医学图像获得，而不是从根据示例性实施例的第一医学图像帧获得。例如，反映对象的周期性身体运动的至少一个医学图像可以包括血管图像、肌肉骨骼图像和ECG图像中的至少一个。
根据示例性实施例的设备1000可以将基于先前在超声成像之前产生的至少一个医学图像获得的生物信号信息与在超声成像期间实时产生的第一医学图像帧相关联。
例如，尽管根据示例性实施例的设备1000产生第一医学图像帧的时间和根据示例性实施例的用于获得医学图像的设备产生用于提取生物信号信息的至少一个医学图像的时间彼此不同，但是如图7所示，由于不管在何时执行成像对象的周期性身体运动的一致性都被保持，所以至少一个医学图像和第一医学图像帧可在作为对象的身体活动的周期性身体运动方面彼此相关联。因此，可以从根据至少一个医学图像计算出的对象的周期性身体运动推导出包括在第一医学图像帧中的对象的周期性身体运动。
如图6所示，当包括在至少一个医学图像中的对象的身体运动是周期性的，并且在这种情况下与对象的身体运动的周期相应的时间信息是T(秒)时，根据示例性实施例的设备1000可以通过使用如图7所示的至少2个T(秒)的成像时间获得多个第一医学图像帧来合成全景图像。
如图7所示，可以推导出在医学图像(即图6的ECG图像)的每个周期中电压最高的R点400、410和420处的对象的运动分别与图5的第一医学图像帧中的医学图像帧300、310和320中的对象的运动相应。
例如，关于对象的心跳的身体活动，对象的血管厚度的变化根据与向身体所有部位提供血液的心脏的抽吸作用相应的心脏的周期性收缩或扩张而周期性地发生。
如图7所示，可以获得基于在ECG图像中提取作为奇点的R点400和R点410计算出的心动周期的时间T1，作为包括与对象的身体运动的周期相应的时间信息的生物信号信息。
在这种情况下，与ECG图像中的QRS波群的电压最高的R点400、410和420相应的身体运动可以是心脏的收缩，因此血液被供给到身体所有部位，从而使包括在第一医学图像帧中的血管的厚度变得比平常更宽。
也就是说，包括在根据示例性实施例的第一医学图像帧中的血管的厚度可以基于根据示例性实施例的ECG图像中的对象的心动周期而变化。此外，根据心脏的抽吸作用发生的血管厚度的变化是周期性的，如心动周期。可以通过使用作为已经在ECG图像中获得的心动周期的时间T1来推导出包括在第一医学图像帧中的血管厚度变化的周期。
例如，当与ECG图像中的QRS波群的电压最高的R点400相应的第二医学图像帧300被确定时，也可以基于作为心动周期的时间T1来确定其他周期中的第二医学图像帧310和320。因此，根据示例性实施例的设备1000可以通过使用在ECG图像中获得的生物信号信息选择分别与在不同周期中的多个R点400、410和420相应的多个第二医学图像帧300、310和320。
相反地，当与ECG图像中的T波开始的点402、412和422相应的身体运动是心脏扩张时，包括在第一医学图像帧中的血管的厚度变得比平常更窄。例如，当与ECG图像中的T波开始的点402相应的第二医学图像帧302被确定时，也可以基于作为心动周期的时间T2来确定其它周期中的第二医学图像帧312和322。
如上所述，包括在由根据示例性实施例的设备1000连续获得的第一医学图像帧中的对象的周期性身体运动可以从在至少一个医学图像中获得的生物信号信息被推导出。在这种情况下，生物信号信息可以包括与对象的身体运动的周期相应的时间信息(例如，心动周期)以及与对象的身体运动相应的状态信息(例如，血管的厚度状态)中的至少一个。
在这种情况下，由于根据示例性实施例的设备1000通过仅合成多个第一医学图像帧中的被推导为具有相同身体运动的第二医学图像帧来产生全景图像，所以设备1000可以考虑对象的身体活动来产生全景图像，这将在下面参照图8至图10进行说明。
虽然根据示例性实施例的设备1000获得如图7所示的对象的第一医学图像帧，但是可以通过用于获得医学图像的设备来获得包括对象的ECG信号信息的ECG图像。
在这种情况下，如图7所示，ECG图像和第一医学图像帧的ECG信号信息可以彼此相关联。
例如，ECG图像的ECG信号信息可以基于至少一种类型的信息(诸如每个间隔中的ECG信号的长度、电压最高的时间点以及波形的梯度)来计算。
此外，根据示例性实施例的设备1000可以从如图7所示的ECG图像来提取具有相同ECG信号信息的时间点。
例如，根据示例性实施例的具有相同ECG信号信息的时间点可以包括在ECG图像中提取的具有相同奇点的时间点。
如图7所示，ECG图像中的QRS波群的电压最高的R点400、410和420可以与具有相同ECG信号信息的时间点相应。在这种情况下，可以从第一医学图像帧中选择分别与ECG图像中的R点400、410和420相应的第二医学图像帧300、310和320。
可选地，ECG图像中的T波开始的点402、412和422可以与具有相同ECG信号信息的时间点相应。在这种情况下，可以从第一医学图像帧中选择分别与ECG图像中的T波开始的点402、412和422相应的第二医学图像帧302、312和322。
图8和图9是示出根据示例性实施例的设备1000通过合成第一医学图像帧中的与具有相同ECG信号信息的时间点相应的第二医学图像帧来产生全景图像的各种示例的示图。
如图7所示，可以从第一医学图像帧中选择分别与ECG图像中的R点400、410和420相应的第二医学图像帧300、310和320。在这种情况下，包括在第二医学图像帧300、310和320中的对象的身体运动包括血管被相对扩张到宽的状态。
根据示例性实施例的设备1000可以通过仅选择并合成第二医学图像帧A1、B1和C1来产生全景图像D1 500，其中，所述第二医学图像帧A1、B1和C1与具有对象的相同的ECG信号信息的时间点相应并且因此被推导为第一医学图像帧中具有相同的血管厚度。在这种情况下，如图8所示，由于通过仅选择并合成在对象的周期性身体运动中与血管被扩张的状态(例如，血管厚度为d1)相应的图像帧来获得全景图像D1 500，并且仅显示血管被扩张的状态下的全景图像D1 500，所以感兴趣区域之间的连接性被改善。例如，设备1000可以通过使用并排地或以一些其他连续形式组合第二医学图像帧A1、B1和C1的合成算法来合成第二医学图像帧A1、B1和C1，但是不限于此。
此外，如图7所示，可以从第一医学图像帧中选择分别与ECG图像中的T波开始的点402、412和422相应的第二医学图像帧302、312和322。在这种情况下，包括在第二医学图像帧302、312和322中的对象的身体运动包括血管被相对收缩到窄的状态。
根据示例性实施例的设备1000可以通过仅选择并合成第二医学图像帧A2、B2和C2来产生全景图像D2 510，其中，所述第二医学图像帧A2、B2和C2与具有对象的相同ECG信号信息的时间点相应并且因此被推导为在第一医学图像帧中具有相同的血管厚度。在这种情况下，如图9所示，由于通过仅选择并合成在对象的周期性身体运动中与血管被收缩的状态(例如，血管厚度为d2)相应的图像帧来获得全景图像D2 510，并且仅显示血管被收缩的状态下的全景图像D2 510，所以感兴趣区域之间的连接性被改善。
图10是示出根据示例性实施例的设备1000通过合成第一医学图像帧中的与具有对象的相同ECG信号信息的时间点相应的图像帧来产生多个全景图像的示例的示图。
如图10所示，根据示例性实施例的设备1000可以选择具有多条ECG信号信息的多个第二医学图像帧，并且可以产生多个全景图像。在这种情况下，根据示例性实施例的全景图像可以通过合成与具有相同ECG信号信息的时间点相应的第二医学图像帧被产生。
如图10所示，可以从第一医学图像帧中选择分别与ECG图像中的R点400、410和420相应的第二医学图像帧304、314和324以及分别与在ECG图像中T波开始的点402、412和422相应的第二医学图像帧306、316和326。
在这种情况下，可以通过仅合成具有与血管被扩张的状态(例如，血管的厚度为D3)相应的生物信号信息的第二医学图像帧A3、B3和C3来产生全景图像D3 520。此外，可以通过仅合成具有与血管被收缩的状态(例如，血管厚度为d4)相应的生物信号信息的第二医学图像帧A4、B4和C4来产生全景图像D4 530。
在这种情况下，根据示例性实施例的设备1000可以通过合成相同的第一医学图像帧之中的与具有对象的相同的ECG信号信息的时间点相应的第二医学图像帧来产生多个全景图像。因此，根据示例性实施例的设备1000可以通过连续输出与对象的各种身体运动的点相应的多个全景图像来提供全景视频功能。
图11至图14是示出根据示例性实施例的设备1000显示产生的全景图像的各种示例的示图。
如图11和图12所示，可以在设备1000的显示器1400上显示多普勒图像800和810以及/或者B模式图像700和710，其中，多普勒图像800和810可以以各种颜色显示血流运动，多普勒图像800和810以及B模式图像700和710是全景图像。
图11的B模式图像700和多普勒图像800示出了通过仅合成图10中的具有与血管被扩张的状态(例如，血管的厚度为d3)相应的生物信号信息的第二医学图像帧A3、B3和C3而产生的全景图像D3 520。
此外，图12的B模式图像710和多普勒图像810示出了通过仅合成图10中的具有与血管被收缩的状态(例如，血管的厚度为d4)相应的生物信号信息的第二医学图像帧A4、B4和C4而产生的全景图像D4 530。
例如，图13A和13B的图像720和820示出了通过仅合成具有与手腕的血管被收缩的状态相应的生物信号信息的第二医学图像帧而产生的全景图像D4 530。
此外，图14A和14B的图像730和830示出了通过仅合成具有与小腿后部的血管被收缩的状态相应的生物信号信息的第二医学图像帧而产生的全景图像D4 530。
图15至图17是示出根据示例性实施例的设备1000将全景图像与对象的ECG信号信息一起显示的各种示例的示图。
图15至图17是用于说明在全景图像被产生并存储在存储器中之后通过使用对象的ECG信号信息来处理全景图像的后处理的示图。根据示例性实施例的图像处理单元可以将对象的ECG信号信息与全景图像相关联，并且可以存储彼此相关联的ECG信号信息和全景图像，并且根据示例性实施例的显示器可以将ECG信号信息与全景图像一起显示。
在这种情况下，根据示例性实施例的多个全景图像可以与对象的ECG信号信息相关联，并且可以作为视频文件被存储在存储器中。
例如，如图15所示，通过合成仅与具有对象的相同ECG信号信息的时间点相应的第二医学图像帧而产生的全景图像840可以与对象的ECG图像900一起被显示在显示器上。
在这种情况下，也可以将与再现全景视频的功能相关的GUI输出到显示器。
例如，与再现全景视频的功能相关的GUI可以包括用于再现、编辑或重新存储全景图像的用户界面。
例如，如图15所示，当输出存储在存储器中的全景图像840时，显示器可以一起显示与全景图像840相关联的ECG图像900、与当前被输出到显示器的全景图像840相应的ECG图像900的间隔标记901、以及处理器栏910。
此外，如图16所示，当输出存储在存储器中的全景图像850时，显示器可以一起显示与全景图像850相关联的ECG图像920、与当前输出到显示器的全景图像850相应的ECG图像920的间隔标记921、以及处理器栏930。
此外，如图17所示，显示器还可以输出与全景图像860相关联的多个ECG图像940a、940b和940c。
此外，根据示例性实施例的设备1000可以通过与再现全景图像的功能相关的用户界面来再现、编辑或重新存储由用户选择的全景图像的间隔。
例如，如图15至图17所示，可以基于通过处理器栏910、930和950的用户输入仅将用户希望看到的全景图像的间隔输出到显示器。
此外，根据示例性实施例的设备1000可以仅将基于存储在存储器中的全景视频文件中的用户输入而选择的全景图像作为单独文件存储在存储器中。在这种情况下，选择的全景图像可以与对应于选择的全景图像的ECG信号信息相关联并且可以被存储在存储器中。
例如，当用户选择被确定为在输出到显示器的ECG图像中具有异常的间隔时，可以输出与该间隔相应的全景图像。此外，仅与被确定为在ECG信号中具有异常的间隔相应的全景图像可以基于用户的输入被重新存储在存储器中。
因此，由于根据示例性实施例的设备1000考虑对象的周期性身体运动来提供全景图像，并且因此可以获得比通过使用作为静止图像被提供的全景图像获得的物理信息更多的物理信息，设备100可被用于各种医疗测试。
例如，根据示例性实施例的设备1000可以通过使用全景视频功能来检测血管的收缩或扩张以及血块的量或位置。此外，根据示例性实施例的设备1000可以被用于评估动脉中的血流或检查主动脉瘤，并且可以使用全景视频功能来评估在血管搭桥手术之后血管被重新连接的状态。
此外，由于根据示例性实施例的设备1000通过与再现全景视频的功能相关的用户界面来提供再现、编辑或重新存储用户期望的间隔的全景图像的功能，所以设备1000可以向用户提供具有高直觉和高利用率的全景视频功能。
虽然已经参照附图描述了一个或更多个示例性实施例，但是本领域普通技术人员将会理解，在不脱离由所附权利要求限定的示例性实施例的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (14)

1.一种合成医学图像的方法，所述方法包括：
获取对象的图像数据；
基于图像数据来产生对象的第一医学图像帧；
从第一医学图像帧中选择与具有对象的相同的心电图ECG信号信息的多个时间点相应的第二医学图像帧；
通过合成第二医学图像帧来产生全景图像；并且
在显示器上显示全景图像。
2.如权利要求1所述的方法，其中，获取对象的图像数据的步骤包括：
将超声信号发射到对象并接收基于发射的超声信号的响应信号；并且
基于接收到的响应信号来获取图像数据。
3.如权利要求1所述的方法，其中，获取对象的图像数据的步骤包括：
将射频RF信号发射到对象并接收基于RF信号从对象发出的磁共振MR信号；并且
基于接收到的MR信号来获取MR图像数据。
4.如权利要求1所述的方法，其中，获取对象的图像数据的步骤包括：
将X射线信号发射到对象并检测穿过对象的X射线信号；并且
基于检测到的X射线信号来获取计算机断层扫描CT图像数据。
5.如权利要求1所述的方法，还包括：
将对象的ECG信号信息与全景图像相关联，从而产生关联信息并存储所述关联信息；并且
在显示器上一起显示所述关联信息。
6.如权利要求1所述的方法，其中，具有相同的ECG信号信息的所述多个时间点是具有从ECG图像提取的相同的奇点的多个时间点。
7.如权利要求1所述的方法，还包括：
从第一医学图像中选择与具有多条ECG信号信息的所述多个时间点相应的第三医学图像帧；
通过合成第二医学图像帧之中的与具有相同的ECG信号信息的所述多个时间点相应的第三医学图像帧来产生全景图像帧；并且
连续地将全景图像帧输出到显示器。
8.一种被配置为合成医学图像的设备，所述设备包括：
数据获取器，被配置为获取对象的图像数据；
图像处理器，被配置为基于图像数据来产生构成对象的视频的第一医学图像帧，从第一医学图像帧中选择与具有对象的相同的心电图ECG信号信息的多个时间点相应的第二医学图像帧，通过合成第二医学图像帧来产生全景图像；以及
显示器，被配置为输出全景图像。
9.如权利要求8所述的设备，其中，数据获取器还包括超声收发器，被配置为将超声信号发射到对象，接收基于超声信号的响应信号，并且基于响应信号来获取超声图像数据。
10.如权利要求8所述的设备，其中，数据获取器还被配置为将射频RF信号发射到对象，接收基于RF信号从对象发出的磁共振MR信号，并且基于MR信号来获取MR图像数据。
11.如权利要求8所述的设备，其中，数据获取器还被配置为将X射线信号发送到对象，检测穿过对象的X射线信号，并且基于检测到的X射线信号来获取计算机断层扫描CT图像数据。
12.如权利要求8所述的设备，还包括：存储器，被配置为将对象的ECG信号信息与全景图像相关联，从而产生关联信息并存储所述关联信息，
其中，显示器被配置为将所述关联信息一起显示在显示器上。
13.如权利要求8所述的设备，其中，具有相同的ECG信号信息的所述多个时间点是具有从ECG图像提取的相同的奇点的多个时间点。
14.如权利要求8所述的设备，其中，图像处理器被配置为从第一医学图像中选择与具有多条ECG信号信息的所述多个时间点相应的第三医学图像帧，通过合成第二医学图像帧之中的与具有相同的ECG信号信息的所述多个时间点相应的第三医学图像帧来产生全景图像帧，并且
显示器被配置为连续地输出全景图像帧。
CN201580080024.5A 2015-05-15 2015-12-01 用于合成医学图像的方法和设备 Pending CN107635464A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150068187A KR101797042B1 (ko) 2015-05-15 2015-05-15 의료 영상 합성 방법 및 장치
KR10-2015-0068187 2015-05-15
PCT/KR2015/013006 WO2016186279A1 (en) 2015-05-15 2015-12-01 Method and apparatus for synthesizing medical images

Publications (1)

Publication Number Publication Date
CN107635464A true CN107635464A (zh) 2018-01-26

Family

ID=55701681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080024.5A Pending CN107635464A (zh) 2015-05-15 2015-12-01 用于合成医学图像的方法和设备

Country Status (5)

Country Link
US (1) US10957013B2 (zh)
EP (1) EP3092951B1 (zh)
KR (1) KR101797042B1 (zh)
CN (1) CN107635464A (zh)
WO (1) WO2016186279A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360181A (zh) * 2018-10-29 2019-02-19 中惠医疗科技（上海）有限公司 超声图像与核磁图像融合方法和***
CN112603338A (zh) * 2020-12-02 2021-04-06 赛诺威盛科技（北京）有限公司 心脏螺旋回顾重建数据挑选、回顾重建方法和装置
CN113014739A (zh) * 2021-03-17 2021-06-22 无锡祥生医疗科技股份有限公司 用于图像导出调节的方法、装置和***

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
WO2018186758A1 (en) * 2017-04-07 2018-10-11 Auckland Uniservices Limited System for transmitting and viewing a series of images
CN109840898A (zh) * 2017-11-24 2019-06-04 通用电气公司 一种医学图像的成像显示方法和成像设备
KR101999785B1 (ko) 2018-02-09 2019-07-12 메디컬아이피 주식회사 3차원 모델 제공 방법 및 그 장치
JP2019146679A (ja) * 2018-02-26 2019-09-05 株式会社島津製作所 Ｘ線撮影装置
JP7052591B2 (ja) * 2018-06-20 2022-04-12 コニカミノルタ株式会社 超音波診断装置、超音波画像表示方法及びプログラム
KR102656237B1 (ko) * 2018-09-21 2024-04-09 엘지디스플레이 주식회사 디스플레이를 이용한 이동 지문 인식 방법 및 장치
KR102301422B1 (ko) * 2019-05-24 2021-09-14 오스템임플란트 주식회사 치과용 파노라마 촬영 장치 및 방법
CN114667099A (zh) * 2019-09-19 2022-06-24 光实验成像公司 组合成像的***和方法
US11227392B2 (en) * 2020-05-08 2022-01-18 GE Precision Healthcare LLC Ultrasound imaging system and method
US11559280B2 (en) * 2020-05-08 2023-01-24 GE Precision Healthcare LLC Ultrasound imaging system and method for determining acoustic contact
CN115426508B (zh) * 2022-08-30 2023-05-30 深圳英美达医疗技术有限公司 医用工作站的音视频信号同步方法、装置、***及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5993390A (en) * 1998-09-18 1999-11-30 Hewlett- Packard Company Segmented 3-D cardiac ultrasound imaging method and apparatus
US6381487B1 (en) * 1998-11-27 2002-04-30 Siemens Aktiengesellschaft Method and apparatus for producing CT images
US20050107688A1 (en) * 1999-05-18 2005-05-19 Mediguide Ltd. System and method for delivering a stent to a selected position within a lumen
US20080081987A1 (en) * 2006-09-06 2008-04-03 Kabushiki Kaisha Toshiba Magnetic resonance imaging apparatus and image processing apparatus
CN103006217A (zh) * 2012-12-21 2013-04-03 中国科学院深圳先进技术研究院 一种心脏磁共振实时电影成像方法、***
US20150085972A1 (en) * 2013-09-26 2015-03-26 Korea Advanced Institute Of Science And Technology X-ray imaging apparatus and control method thereof
CN106163405A (zh) * 2014-02-12 2016-11-23 三星电子株式会社 断层扫描设备及由断层扫描设备显示断层扫描图像的方法

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2063744C (en) * 1991-04-01 2002-10-08 Paul M. Urbanus Digital micromirror device architecture and timing for use in a pulse-width modulated display system
US5999173A (en) * 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
US5251628A (en) * 1992-06-23 1993-10-12 General Electric Company Variable ECG delay in fast pulse sequence scans
JPH07219970A (ja) * 1993-12-20 1995-08-18 Xerox Corp 加速フォーマットでの再生方法及び再生装置
FR2735966B1 (fr) 1994-11-10 1998-02-06 By Heart Procede echographique et dispositif de mise en oeuvre pour echographie tridimensionnelle du coeur
JP3410843B2 (ja) * 1994-12-27 2003-05-26 株式会社東芝 超音波診断装置
US5782766A (en) * 1995-03-31 1998-07-21 Siemens Medical Systems, Inc. Method and apparatus for generating and displaying panoramic ultrasound images
JPH0975339A (ja) 1995-09-14 1997-03-25 Hitachi Medical Corp 超音波診断装置
ATE280978T1 (de) * 1997-01-30 2004-11-15 Yissum Res Dev Co Mosaikbildverarbeitungssystem
DE19740214A1 (de) * 1997-09-12 1999-04-01 Siemens Ag Computertomograph
US6301496B1 (en) * 1998-07-24 2001-10-09 Biosense, Inc. Vector mapping of three-dimensionally reconstructed intrabody organs and method of display
US6117081A (en) * 1998-10-01 2000-09-12 Atl Ultrasound, Inc. Method for correcting blurring of spatially compounded ultrasonic diagnostic images
US6484048B1 (en) * 1998-10-21 2002-11-19 Kabushiki Kaisha Toshiba Real-time interactive three-dimensional locating and displaying system
US6159152A (en) * 1998-10-26 2000-12-12 Acuson Corporation Medical diagnostic ultrasound system and method for multiple image registration
JP3645727B2 (ja) * 1999-01-28 2005-05-11 株式会社日立製作所 超音波診断装置およびパノラマ画像を合成するプログラムおよびその記録媒体
JP4377495B2 (ja) * 1999-10-29 2009-12-02 株式会社東芝 超音波診断装置
AU2001253490A1 (en) * 2000-04-13 2001-10-30 The Trustees Of Columbia University In The City Of New York Method and apparatus for processing echocardiogram video images
US6416477B1 (en) * 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
US7043019B2 (en) * 2001-02-28 2006-05-09 Eastman Kodak Company Copy protection for digital motion picture image data
US7134093B2 (en) * 2001-04-18 2006-11-07 International Business Machines Corporation Graphical user interface for direct control of display of data
US7006862B2 (en) * 2001-07-17 2006-02-28 Accuimage Diagnostics Corp. Graphical user interfaces and methods for retrospectively gating a set of images
US7142703B2 (en) * 2001-07-17 2006-11-28 Cedara Software (Usa) Limited Methods and software for self-gating a set of images
JP4299015B2 (ja) 2003-01-31 2009-07-22 アロカ株式会社 超音波画像処理装置
US7052460B2 (en) * 2003-05-09 2006-05-30 Visualsonics Inc. System for producing an ultrasound image using line-based image reconstruction
US7606402B2 (en) * 2003-06-09 2009-10-20 Ge Medical Systems Global Technology, Llc Methods and systems for physiologic structure and event marking
JP4801912B2 (ja) 2004-03-24 2011-10-26 株式会社東芝 超音波診断装置
US8112145B2 (en) * 2004-06-03 2012-02-07 Wisconsin Alumni Research Foundation MRI method for assessing myocardial viability
CN100455266C (zh) * 2005-03-29 2009-01-28 深圳迈瑞生物医疗电子股份有限公司 宽景成像处理方法
DE102005023167B4 (de) * 2005-05-19 2008-01-03 Siemens Ag Verfahren und Vorrichtung zur Registrierung von 2D-Projektionsbildern relativ zu einem 3D-Bilddatensatz
EP1731102A1 (en) * 2005-06-08 2006-12-13 Esaote S.p.A. Method for measuring and displaying time varying events
US20100168573A1 (en) * 2005-06-23 2010-07-01 Koninklijke Philips Electronics, N.V. Method and apparatus for 3d ultrasound imaging using a stationary beam to estimate a parameter
JP5242163B2 (ja) 2005-11-15 2013-07-24 株式会社日立メディコ 超音波診断装置
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
KR100867588B1 (ko) 2006-01-06 2008-11-10 주식회사 메디슨 대상체의 운동주기에 대응시켜 초음파 영상을디스플레이하는 초음파 시스템 및 방법
CN101541232B (zh) * 2006-11-30 2013-07-17 皇家飞利浦电子股份有限公司 Ecg门控的计算机断层摄影中的重建窗自适应
EP1936975A1 (en) * 2006-12-20 2008-06-25 Thomson Licensing Method and device for processing source pictures to generate aliasing
JP5639764B2 (ja) * 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
JP5414157B2 (ja) * 2007-06-06 2014-02-12 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP5105981B2 (ja) * 2007-07-18 2012-12-26 株式会社東芝 医用画像処理表示装置、およびその処理プログラム
EP2037413A3 (en) * 2007-09-17 2011-01-26 Wisconsin Alumni Research Foundation A method for reducing motion artifacts in highly constrained medical images
WO2009061521A1 (en) * 2007-11-11 2009-05-14 Imacor, Llc Method and system for synchronized playback of ultrasound images
JP5269427B2 (ja) * 2008-01-31 2013-08-21 株式会社東芝 超音波診断装置、画像診断装置、及びプログラム
US8340751B2 (en) * 2008-04-18 2012-12-25 Medtronic, Inc. Method and apparatus for determining tracking a virtual point defined relative to a tracked member
US8204289B2 (en) * 2008-05-09 2012-06-19 Siemens Medical Solutions Usa, Inc. System for identifying medical images having a particular medical characteristic
JP5132774B2 (ja) * 2008-07-01 2013-01-30 株式会社日立メディコ Ｘ線ｃｔ装置
US20100061611A1 (en) * 2008-09-11 2010-03-11 Siemens Corporate Research, Inc. Co-registration of coronary artery computed tomography and fluoroscopic sequence
US8199994B2 (en) 2009-03-13 2012-06-12 International Business Machines Corporation Automatic analysis of cardiac M-mode views
US9852761B2 (en) * 2009-03-16 2017-12-26 Apple Inc. Device, method, and graphical user interface for editing an audio or video attachment in an electronic message
JP5596940B2 (ja) * 2009-06-30 2014-09-24 株式会社東芝 超音波診断装置
US20120130245A1 (en) * 2009-07-30 2012-05-24 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and region-of-interest
JP5412242B2 (ja) 2009-11-05 2014-02-12 伸治 久米 超音波断層画像の処理装置
US8880352B2 (en) * 2010-11-29 2014-11-04 Siemens Aktiengesellschaft System and method for analyzing an electrophysiological signal
DE102011075287B4 (de) 2011-05-05 2016-07-21 Siemens Healthcare Gmbh Verfahren zum Gewinnen eines 3D-Röntgenbilddatensatzes zu einem sich periodisch bewegenden Bildobjekt
US9770227B2 (en) * 2011-06-13 2017-09-26 Konica Minolta, Inc. Ultrasound diagnostic apparatus and ultrasound measurement method using same
CN103635138B (zh) * 2012-06-27 2016-01-20 株式会社东芝 X射线诊断装置
KR101351583B1 (ko) * 2012-10-10 2014-01-16 한국과학기술원 의료 영상 이미징 방법, 그에 따른 의료 진단 장치 및 그에 따른 기록 매체
JP6125281B2 (ja) * 2013-03-06 2017-05-10 東芝メディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び制御プログラム
EP2873371B1 (en) * 2013-11-13 2022-12-21 Pie Medical Imaging BV Method and system for registering intravascular images
WO2015122687A1 (en) * 2014-02-12 2015-08-20 Samsung Electronics Co., Ltd. Tomography apparatus and method of displaying a tomography image by the tomography apparatus
US9836861B2 (en) * 2014-12-12 2017-12-05 Samsung Electronics Co., Ltd. Tomography apparatus and method of reconstructing tomography image
EP3346923B1 (en) * 2015-09-10 2020-12-16 Koninklijke Philips N.V. Enhanced imaging of a vascular treatment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5993390A (en) * 1998-09-18 1999-11-30 Hewlett- Packard Company Segmented 3-D cardiac ultrasound imaging method and apparatus
US6381487B1 (en) * 1998-11-27 2002-04-30 Siemens Aktiengesellschaft Method and apparatus for producing CT images
US20050107688A1 (en) * 1999-05-18 2005-05-19 Mediguide Ltd. System and method for delivering a stent to a selected position within a lumen
US20080081987A1 (en) * 2006-09-06 2008-04-03 Kabushiki Kaisha Toshiba Magnetic resonance imaging apparatus and image processing apparatus
CN103006217A (zh) * 2012-12-21 2013-04-03 中国科学院深圳先进技术研究院 一种心脏磁共振实时电影成像方法、***
US20150085972A1 (en) * 2013-09-26 2015-03-26 Korea Advanced Institute Of Science And Technology X-ray imaging apparatus and control method thereof
CN106163405A (zh) * 2014-02-12 2016-11-23 三星电子株式会社 断层扫描设备及由断层扫描设备显示断层扫描图像的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360181A (zh) * 2018-10-29 2019-02-19 中惠医疗科技（上海）有限公司 超声图像与核磁图像融合方法和***
CN112603338A (zh) * 2020-12-02 2021-04-06 赛诺威盛科技（北京）有限公司 心脏螺旋回顾重建数据挑选、回顾重建方法和装置
CN113014739A (zh) * 2021-03-17 2021-06-22 无锡祥生医疗科技股份有限公司 用于图像导出调节的方法、装置和***

Also Published As

Publication number Publication date
US10957013B2 (en) 2021-03-23
EP3092951A1 (en) 2016-11-16
US20160335742A1 (en) 2016-11-17
WO2016186279A1 (en) 2016-11-24
EP3092951B1 (en) 2020-08-19
KR20160134320A (ko) 2016-11-23
KR101797042B1 (ko) 2017-11-13

Similar Documents

Publication Publication Date Title
CN107635464A (zh) 用于合成医学图像的方法和设备
EP2918233B1 (en) Ultrasound diagnosis apparatus and method of displaying ultrasound image
KR20210103439A (ko) 초음파 진단 장치
CN106659474A (zh) 用于自诊断和远程诊断的超声诊断设备以及操作超声诊断设备的方法
KR20170021189A (ko) 의료영상 표시장치 및 의료영상 처리방법
US10861161B2 (en) Method and apparatus for displaying image showing object
US9508154B2 (en) Medical imaging apparatus and method of operating the same
EP3173026B1 (en) Medical imaging apparatus and method of operating same
EP2989987A1 (en) Ultrasound diagnosis apparatus and method and computer readable storage medium
CN106175826A (zh) 超声图像显示设备和显示超声图像的方法
KR20160051161A (ko) 의료 영상 장치 및 그에 따른 의료 영상을 디스플레이 하는 방법
US20160089117A1 (en) Ultrasound imaging apparatus and method using synthetic aperture focusing
CN106551707A (zh) 显示超声图像的设备和方法
CN105491960A (zh) 超声波诊断装置和操作其的方法
US20160157829A1 (en) Medical imaging apparatus and method of generating medical image
CN106037811A (zh) 用于显示血管僵硬度的超声***
US10761198B2 (en) Method and apparatus for acquiring image using ultrasound
EP3037041B1 (en) Method and apparatus for generating body marker
EP4393411A1 (en) Ultrasound diagnostic apparatus and method for controlling the same
US11291429B2 (en) Medical imaging apparatus and method of generating medical image
KR20240102717A (ko) 초음파 진단 장치 및 초음파 진단 장치의 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination