CN1444907A - 图像处理装置和超声波诊断装置 - Google Patents
图像处理装置和超声波诊断装置 Download PDFInfo
- Publication number
- CN1444907A CN1444907A CN03119985A CN03119985A CN1444907A CN 1444907 A CN1444907 A CN 1444907A CN 03119985 A CN03119985 A CN 03119985A CN 03119985 A CN03119985 A CN 03119985A CN 1444907 A CN1444907 A CN 1444907A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- sub
- district
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 107
- 238000011156 evaluation Methods 0.000 claims abstract description 62
- 238000002604 ultrasonography Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims description 138
- 230000008569 process Effects 0.000 claims description 61
- 230000014509 gene expression Effects 0.000 claims description 52
- 230000005484 gravity Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000008280 blood Substances 0.000 claims description 7
- 210000004369 blood Anatomy 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 241001331845 Equus asinus x caballus Species 0.000 claims 1
- 238000000926 separation method Methods 0.000 claims 1
- 238000009826 distribution Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 20
- 239000000284 extract Substances 0.000 description 16
- 239000000523 sample Substances 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000004404 sodium propyl p-hydroxybenzoate Substances 0.000 description 4
- 210000005240 left ventricle Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000032696 parturition Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 241001634576 Colona Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 208000037805 labour Diseases 0.000 description 1
- 210000005246 left atrium Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000008279 sol Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Dentistry (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种图像处理装置,能适用各种图像处理方法,区域划分部(103)根据初始轮廓把超声波断层图像划分成小区。评价值计算部(104),例如根据各小区内的与亮度值有关的信息(对比度分布等)以及与位置有关的信息(离基准点的距离等)、与形状有关的信息(边缘的有无等)等,计算出评价值。区域选择部(106)根据已计算出的评价值来选择小区。分区处理部(105)进行与已选择的小区相对应的图像处理。图像再构成部(107)利用已进行了图像处理的小区来对断层图像进行再构成。
Description
技术领域
本发明涉及生成用于临床医学等的断层图像的超声波诊断装置、或对各种图像设备和移动电话等所显示的图像进行处理用的图像处理装置,尤其涉及对这些图像进行轮廓提取等的图像质量的改进技术。
背景技术
过去,在超声波诊断装置和各种图像设备等中,有时为了提取图像中的确定对象物(生体软部组织和脸部等)的外形轮廓,进行图像处理。
超声波诊断装置能在无侵袭的条件下取得对象物的2维断层图像,例如,在临床医学方面,对生体也有很高的安全性,所以,作为必不可少的设备而广泛普及。并且,在其他方面的应用超声波的装置也可以说情况相同。
一般,超声波诊断装置接收从超声波探头发射的超声波的一部分在对象物内组织的结构变化点(变化面)上进行反射而获得的回波,根据该回波来生成对象物的断层图像。该反射波(超声波回波)与发射的超声波相比,是微弱的,所以,当生成图像显示所用的亮度信号时,进行放大处理(增益处理)。这时的放大率(增益)的调整,即图像质量的亮度调整,其方法是对许多个滑动器(例如16个滑动器)进行操作,该滑动器是按照过去的所谓STC(灵敏度时间控制)的对象物的深度级别而进行划分(但也有一部分是利用对数放大器等来进行处理)。
这样,过去的超声波装置中的放大处理是利用手动方式来控制断层图像的对比度和动态范围,达到调整图像质量的目的。
另一方面,根据断层图像来定量地计算出胎儿和内脏、循环器官等的面积和体积、变化量等的值,这样能提高超声波诊断装置中的筛选(screening)和精密检查的质量。在此情况下,为了计算出诊断对象的器官等的面积和体积所用的外形轮廓和边界提取法非常重要。
但是,以STC为首,用手动法来控制对比度等是很烦杂的,需要熟练技巧。再有,在仅用人为的探测来提取被关注的器官等的轮廓等的情况下,必须用指点器等经常准确地探测轮廓等,需要大量的劳力。在这种背景条件下,以前提出了几种在断层图像上进行的自动图像校正法和轮廓边界提取法。
例如,特开2002-209891号公报中公开的“图像质量自动调整方法”,其内容是:根据断层图像的特征(断层图像的亮度信号分布大多是陡峭的高斯分布,实效动态范围窄),自动地控制增益。这是对整个图像一样地测量亮度值分布,进行增益控制。
断层图像的另一特征是频繁地出现图像局部缺损或局部模糊的部位。利用对上述整个图像一样地进行处理的方式,对于具有这种缺损和模糊的断层图像,有时仍不能充分改善图像质量
并且,同样的问题也发生在轮廓、边界提取法中。过去提取的轮廓、边界提取法,其前题是断层图像中轮廓描绘清晰。这不仅在自动轮廓、边界提取法中是如此,而且在预先用手工作业给出初始轮廓后进行探测的所谓半自动提取法中也是一样。例如在特开平11-164834号公报中公开的“超声波图像诊断装置”中,最初用鼠标器等以手动方式对关注的组织的轮廓等大致上进行探测,提取出大致的轮廓等。在此基础上进行为提出轮廓等所需的开始点设定。在此情况下,从开始点起扫描线延伸成放射状,在该线上与手动的轮廓等的交点为中心,进行检测范围的设定。再有,对该检测范围内的断层图像的图像数据用阈值进行二进制编码处理,检测出被校正的轮廓等的位置,在检测出了该轮廓等的位置的情况下,进一步对手动设定的轮廓等的边界进行校正,即可获得正确的轮廓等。
但是,在操作熟练的情况下,与仅用手动探测来提取时相比,能迅速实施,但并不是完全自动化。并且,该方法也不是提供提取的轮廓等不正确时的校正方法。当然,作为2进制编码前题的阈值设定对轮廓提取结果有决定性作用,对于本来轮廓描绘不清晰的区域,没有办法。
如上所述,若在断层图像中具有局部缺损和局部模糊,则过去的图像调整法和轮廓提取法存在的问题是:会出现局部(有时是完全)破损,不能使用。
另一方面,最近利用各种图像设备(尤其是移动电话机和PDA等)的摄像功能,拍摄人或脸部的图像(以下称为“人物图像”),这种机会很多。这时,希望提取脸部等的轮廓,进行更符合摄影者希望的图像处理。具体来说,在人物图像中有时由于拍摄时的背景或热水蒸气等现象而使人物(尤其脸部)轮廓不清晰。这时进行图像处理,以便清除不自然状态,使人物轮廓清晰。
图1和图2是表示在过去的图像设备中进行轮廓提取时的2个例子。
图1(a)~(c)表示过去的图像设备中的、对人物图像进行的轮廓提取的成功例子。
图1(a)是用移动电话机拍摄的原图像。如图1(a)所示,在原图像中仅拍照了人物的脸部。考虑对该原图像进行轮廓提取的情况。例如特开2002-224116号公报所公开的2阶段提取轮廓的方法。若采用此方法,则最初(如图1(b)所示)设定初始轮廓,然后(图1(c)所示)提取更细的轮廓。
但是,在原图像的一部分具有妨碍轮廓提取的部分时,会出现不能提取所需的轮廓。
图2(a)~(c)表示过去的图像设备中的对人物图像进行图像提取的失败例子。
图2(a)是和上述图1(a)相同的原图像。但因画面右斜下方具有妨碍图像提取的部分(例如拍摄了水蒸气的部分),所以,不同的是脸的轮廓局部不清晰。在对图2(a)的原图像采用和上述图1时相同的方法进行图像提取的情况下,(图2(b)表示设定了初始轮廓的情况),如图2(c)所示,作为细的轮廓而提取的结果,不同于实际的轮廓。这样,在一般拍摄的原图像中具有妨碍图像提取的部分时,不能提取预期的轮廓。
发明内容
本发明是鉴于上述问题而提出的。其目的在于考虑到超声波图像的局部性质而提供能适用的各种图像处理方法,进一步利用该方法又提供图像的自动校正、图像提取法。
涉及本发明的图像处理装置和超声波诊断装置,把图像划分成小区,分别进行与各个小区的状况相适应的图像处理,所以,能克服以下两种缺点:一种是,由于过去的设备中图像局部缺损或者局部对比度低,边缘不清晰,所以不能充分发挥图像质量自动调整功能;另一种是,由于同样的原因,所以不能充分发挥轮廓、边界提取法的功能。
也就是说,过去的轮廓、边界提取法是以轮廓描绘清晰为前题,所以具有上述缺点,但若采用本发明,则能使局部对比度低的图像变得清晰。
为了解决上述问题,本发明的图像处理装置,其特征在于具有:图像取得装置,用于取得图像数据;区域划分装置,用于把由上述已取得的图像数据所表示的图像划分成许多个小区;区域选择装置,用于选择一个或多个上述小区;以及分区处理装置,用于对上述已选择的小区分别进行图像处理。
并且,为了达到上述目的,涉及本发明的超声波诊断装置,是用于显示根据超声波反射而生成的被检查体的断层图像的超声波诊断装置,该超声波诊断装置具有:
图像取得装置,用于取得图像数据;区域划分装置,用于把由上述已取得的图像数据所表示的断层图像划分成许多个小区;区域选择装置,用于选择一个或多个上述小区;分区处理装置,用于对上述已选择的小区分别进行图像处理;以及显示装置,用于显示已进行上述图像处理的小区的图像。
而且,为了达到上述目的,本发明也可以把上述图像处理装置和超声波诊断装置的特征的装置作为步骤,利用包括全部这些步骤在内的程序来实现。并且,该程序不仅存储在图像处理装置和超声波诊断装置所具有ROM等内,而且也还可以通过CD-ROM等记录媒体和通信网络等传输媒体来进行流通。
附图说明
图1(a)是用过去的移动电话机来拍摄的原图像的一例。
(b)是表示在上述图1(a)中设定了初始轮廓的情况的图。
(c)是根据上述图1(b)的图像提取了细的轮廓的情况下的成功例。
图2(a)是用过去的移动电话机来拍摄的原图像的另一例。
(b)是表示在上述图2(a)中设定了初始轮廓的情况的图。
(c)是根据上述图2(b)的图像提取了细的轮廓的情况下的失败例。
图3是表示涉及第1实施方式的超声波诊断装置的功能构成的概要的方框图。
图4是表示图3中的图像处理部的详细功能构成的方框图。
图5是说明划分方法的图,此法是利用自动提取或操作员的操作来对对象物的初始轮廓进行确定,从初始轮廓的重心起进行划分,形成放射状。
图6是说明上述图5所示的方法的变形例用的图。
图7是说明划分方法的图,其中,根据上述确定的初始轮廓生成一种在外侧有一定像素数的宽度的边界线,按照规定的角度把由初始轮廓和边界线夹持的圆饼状的区域划分成放射状。
图8是说明上述图7所示的方法的变形例用的图。
图9是说明分别对断层图像的纵轴和横轴的长度进行N等分的方法用的图。
图10是断层图像的小区内的亮度值的分布情况的一例。
图11(a)是表示二进制编码处理中的输入亮度和输出亮度的情况的图。
(b)是表示对比度变换处理和偏置变换处理中的输入亮度值和输出亮度值的关系的图。
图12是表示对亮度值分散进行变换的方法的一例的图。
图13是简要表示用分区处理部进行图像处理前的断层图像情况的图。
图14是简要表示用分区处理部进行图像处理后的断层图像情况的图。
图15是表示超声波诊断装置的整体处理流程的一例的流程图。
图16是表示图14中的“分区处理”的一例的流程图。
图17是表示图14中的“评价值计算处理”的一例的流程图。
图18是表示图14中的“分区处理”的一例的流程图。
图19是表示图14中的“图像再构成处理”的一例的流程图。
图20是表示涉及第2实施方式的图像处理装置的功能构成的概要的方框图。
图21(a)是用移动电话机拍摄的原图像的一例。
(b)是表示上述图21(a)中设定了初始轮廓的情况的图。
(c)是表示上述图21(b)的图像进行分区的情况的图。
图22(a)是表示从上述图21(c)划分的图像中进行小区选择的情况的图。
(b)是表示从上述图21(a)选择的小区进行图像处理的情况的图。
图23(a)是表示进行了上述图22(b)的图像处理的图像中设定了初始轮廓的情况的图。
(b)是表示根据上述图23(a)的图像提取了细的轮廓的情况的图。
图24(a)是用移动电话机进行拍摄的原图像的一例。
(b)是表示对上述图24(a)的图像提取了细的轮廓的情况的图。
(c)是表示提取的脸部轮廓进行小型化时的图像的图。
(d)是表示根据提出的脸部轮廓对脸部进行“窄长化”而且“小脸化”的情况的图。
图25是表示在另行拍摄的图像上通过上述轮廓提取而进行确定的脸部进行色度键合成的情况的图。
图26是表示图像处理装置的整体处理流程的一例的流程图。
图27(a)是表示轮廓线上进行确定的基准点的图;
(b)是表示以上述图(a)的基准点为中心对区片进行定义的情况的图。
(c)是表示根据由上述图(b)定义的区片,沿轮廓线在整个图像上对区片进行定义的情况的图。
图28(a)是表示按照根据轮廓线、外接矩形、外部矩形和内部矩形进行定义的区片来划分图像的情况的图。
(b)是表示按照根据轮廓线、外部矩形和内部矩形进行定义的区片来划分图像的情况的图。
具体实施方式
以下参照附图,详细说明涉及本发明的实施方式。
[第1实施方式]
图3是表示本实施方式中的、作为图像处理装置之一的超声波诊断装置10的功能构成的概要的方框图。本装置10的功能是:即使断层图像局部不清晰,也能根据该部分的状况对图像质量进行改进。该装置10具有:超声波探测头11、收发部12、跳动检测部13、操作部14、图像处理部15和数据输出入部16。
超声波探测头11是一般的探头,例如相控阵方式的电子扫描型探头。超声波探测头11根据从收发部12接收的控制信号来发射超声波(例如超声波脉冲)。
再有,超声波探测头11把从被检查者的生体内反射的超声波(以下称为“超声波回波”)变换成电信号发送到收发部12内。
收发部12,例如具有CPU、ROM和RAM等,它能对本装置10整体进行控制,同时进行超声波收发。再有,收发部12由两种波束成形器构成,一种是从超声波探测头11中产生超声波用的发送波束成形器;另一种是接收波束成形器,用于接收从检测出了超声波回波的超声波探测头11发送的电信号,该收发部12对从超声波探测头11接收的电信号进行放大等,发送到图像处理部15内。并且,收发部12通过操作部14而接收来自操作员的指示。
跳动检测部13例如是跳动传感器,它把检测出的被检查人生体的跳动变换成电信号,发送到图像处理部15内。
操作部14具有开关,触摸盘等,它接收操作员对其进行的操作,把与此相对应的控制信号等发送到收发部12和图像处理部15内。
图像处理部15根据从收发部12接收的电信号来生成断层图像的图像数据。再由图像处理部15把已生成的断层图像划分成小区,对每个小区分别进行图像处理。然后,由图像处理部15根据图像处理后的图像数据来对断层图像进行再构成,把该图像数据发送到数据输出部16内。
数据输出部16,能接收由图像处理部15构成的断层图像(例如B方式断层图像等)的图像数据,在作为观察用监视器的液晶显示器等上进行显示,该数据输出部16由图形加速器和扫描变换器等构成。
图4是表示上述图3中的图像处理部15的详细功能构成的方框图。图像处理部15具有:图像生成部110、轮廓提取部111、控制部112、图像存储器101、通用存储器102和运算部109。运算部109是本发明的特征的部分,它由专用处理器等硬件或软件来实现。该运算部109由区域划分部103、评价值计算部104、分区处理部105、区域选择部106和图像再构成部107构成。
图像生成部110对从收发部12接收的电信号进行A/D变换,生成图像数据。然后由图像生成部110把生成的图像数据发送到控制部112内。
在此,所谓图像数据是指利用超声波探测头11每次扫描所生成的2维亮度数据等,是用于用B方式来表示的数据。
轮廓提取部111根据存储在图像存储器101中的图像数据,提取左心室等的对象物的轮廓,生成轮廓数据。此外,关于根据图像数据来提取轮廓的方法,在特开2002-224116号公报中有详细说明。该方法的概要是:对对象物的断层图像利用“2进制编码”和“缩退”方法来提取粗的初始轮廓,对该初始轮廓采用动态轮廓方式(SNAKES),进行收敛计算,最终求出细的轮廓。在此,所谓轮廓数据,是指根据1帧的图像数据来构成被提取的对象物的轮廓线的许多像素坐标(X坐标和Y坐标)的数据等。
控制部112是具有例如ROM和RAM等的微机,主要向图像处理部15的各部分发出指示使其进行各种处理,对这些处理的同步进行控制。
图像存储器101例如是RAM,它根据控制部112的指示来存储在图像生成部110中生成的断层图像的图像数据、以及在下述分区处理部105中进行图像处理后的图像数据。
通用存储器102例如是RAM,它根据控制部112的指示来存储在图像生成部110中生成的与断层图像有关的图像数据(即存储在图像存储器101中的数据)以外的数据(例如,与区域划分有关的数据、附带在轮廓上的数据、与评价值计算有关的数据、与图像处理有关的数据等)。
区域划分部103把由图像生成部110生成的断层图像划分成许多个区域。这时划分方法的具体例子如下:
①通过自动提取或操作员的操作来对对象物的初始轮廓进行确定,从该初始轮廓的重心处开始划分成放射状。
②根据由上述①项进行确定的初始轮廓来生成在外侧有一定像素数的宽度的边界线,按规定角度(例如π/4)把由初始轮廓和边界线夹持的圆饼状的区域划分成放射状。
③分别对断层图像的纵轴和横轴进行N等分(例如4等分)。
图5是说明上述①项的划分方法的一例用的图。在图5中,矩形的外框200是数据输出部16的观察用监视器中的能显示的区域的外缘,由扇形状的粗线201围住的区域是断层图像的实质显示器。在图5中显示出被划分的8个小区310~380。
以下说明小区310被区域划分部103确定的过程。
最初,通过自动提取或操作员的操作对初始轮廓210进行确定,计算出其重心G211。进一步,对作为初始轮廓210上的基准点的顶点T212(即初始轮廓210中,Y坐标值最大的点)进行确定,对连结重心G211和顶点T212的直线进行延长,求出与粗线201相交叉的点部P213、点C214。
然后,求出与连结上述点P213和点C214的直线PC之间有(π/2)和(-π/4)角度的2条直线202、203,把分别与上述初始轮廓210相交叉的点分别作为点I215和点E217,把与上述粗线201相交叉的点分别作为点R216和Q218。
由以上确定的点I215、点R216、点Q218和点E217所构成的封闭区(图5中由斜线所示的区)表示作为被划分的区之一的小区310。同样,能确定小区320~380。
图6是说明上述①项的划分方法的变形例的图。上述图5所示的划分方法的情况下,把被初始轮廓210和粗线201所夹持区域作为划分对象(限定于实质的显示区)。在图6的情况下,把划分的对象扩大到矩形的外框200。所以,通过划分而由点I215、点RR219、点V221、点QQ220和点E217构成的封闭区(图6中由斜线表示的区)是这时确定的小区410。
图7是说明上述②项的划分方法的一例的图。在上述图5所示的①项的划分方法的情况下,把被初始轮廓210和粗线201夹持的区作为划分对象。在图7中表示:在从初始轮廓210向外侧离开一定像素(例如50个像素)的位置上设置边界线501,把被初始轮廓210和边界线501夹持的圆饼状区,和上述情况一样划分成8个区。所以,在此情况下,由点I215、点J502、点F503和点E217构成的封闭区(图7中用斜线表示的区)是由该划分方法确定的小区510。
图8是说明上述②项的划分方法的变形例用的图。在上述图7所示的划分方法的情况下,把被初始轮廓210和边界线501夹持的圆饼状的区作为划分对象,在图8中表示:进一步在初始轮廓210的内侧离开一定像素(例如12个像素)的位置上设置边界线601,把由边界线601和边界线501夹持的圆饼状的区,和上述情况一样,划分成8个区。所以,在此情况下,由点H602、点J502、点F503和点D603构成的封闭区(图8中用斜线表示的区)是用该划分方法而确定的小区610。
图9是说明上述③项的划分方法的一例用的图。此方法是:在上述①或②项的划分方法的情况下,以初始轮廓210的重心G211为基准划分成放射状。图9的划分方法表示:对观察用监视器能显示的区中的X轴和Y轴的长度分别进行4等分,生成小区。所以,在此情况下,作为能显示的区的矩形外框200被划分成16个相同的小区,每个小区都与矩形小区710相同,即在X方向上有a个像素,在Y方向上有b个像素。而且,在此,区域划分部103的划分示例如上述图5~图9所示。但划分该区的方法并不仅限于这些,而是也可以利用任意的现有划分方法(例如以连结图5中的重心G211和T212点的直线为基准线,每次按反时针方向旋转π/3进行划分的方法等)进行划分。
评价值计算部104用于计算评价值,以便对由区域划分部103划分的每个小区定量地掌握断层图像的质量和特征等。计算评价值的方法有以下几个:
(1)采用小区内的亮度值的方法
这是根据构成小区图像的各个像素的亮度值的平均的分散等来计算评价值的方法。
(2)采用与形状有关的信息的方法
这是把根据小区内的对象物的轮廓的形状而计算出的圆形度Φ(在以轮廓线长为L,以断面积为A的情况下,用Φ=4лA/L**2来表示,在圆的情况下,为1.0。该圆形度,形状越复杂数值越小。)和尖锐度等作为评价值。而且,此外例如也有一种方法,它是利用确定的对象物的轮廓重心位置(即断层图像整体的基准点)和各小区的基准点的距离等、与位置有关的数据作为评价值。利用与位置有关的数据作为评价值的方法的具体例子,参照图9进行说明如下。例如,把断层图像整体的基准点规定为初始轮廓210的重心G211,把从重心G211到各小区的基准点(这时以各小区的基准点为各自的重心)的距离作为评价值,该值从小的起选择4个。
(3)采用边缘信息的方法
这是把任意的边缘检测滤波器(采用滤波窗的2维的微分)用于小区内,将其输出结果作为评价值(例如X方向和Y方向的微分量、边缘的强度等)。
(4)采用2进制信息的方法
这是利用规定的阈值或者从小区内的亮度值分布中动态地决定的阈值,对小区内的亮度值进行2进制编码,把该2进制编码的数据的分布和形状(例如尖度等)这样的统计的或形状物理的数据作为评价值。
(5)采用亮度值中的分离度的方法
所谓采用亮度值中的分离度,是指在把亮度值分类成“0”和“1”的等级的情况下,等级间的变动在总亮度值的变动中所占的比例。在亮度值被完全分离成“0”和“1”的情况下,分离度的值为1.0(最大值)。而且,关于采用该分离度的方法,在福井和弘著的“根据区域间的分离度来提取物体轮廓”(信学论D-11 V01,J80-D-11,No.6,PP.1406~1414,June 1997)中有详细说明。
(6)采用最高亮度值和最低亮度值的方法
例如,最大亮度差=最高亮度值-最低亮度值,把该最大亮度差用作评价值。
以下说明上述“采用(1)项小区内的亮度值的方法”。例如,在采用亮度值的方法的情况下,既可以单纯定为“评价值=小区内亮度分散”,也可以以亮度值的平均值为中心,把“在亮度值直方图中占整体的80%的亮度值范围的宽度”作为评价值。
对后者的方法,用图10进一步具体说明。如图10所示,考虑某小区内的亮度值分布为0~255,亮度平均值为“120”的情况。这时,对该小区内的亮度值进行取样,求出在总像素的80%(若是总像素数为1000所构成的小区,则80%为800个像素)的亮度值能满足“120±α(α:自然数)”的情况下的“α”,把这时的评价值定为“2α”。而且,在此,从上述(1)~(6)所示的计算例作为评价值计算部104的评价值计算例进行了说明。但评价值计算部104中的评价值计算方法并非仅限于此,而是也可以根据现有的任意数式和图像处理来进行评价值计算。
分区域处理部105按照由区域划分部103划分的小区来进行图像处理。这时的图像处理主要是对各小区内的断层图像的图像质量进行改进,也可以是以下两种处理:一种是:为了便于进行评价值计算部104中的评价值而进行的处理(例如,为了抑制小区间的评价值的误差所需的正规化处理等);另一种是:在用下述图像再构成部107来再构成图像时,为了与下一级相连接的机器的性能提高,动作稳定和图像质量提高等而进行的处理。
作为改善上述图像质量的处理,例如有:2进制编码处理、对比度变换处理、偏置变换处理、杂波消除处理、形态处理、边缘提取处理、边缘加强处理等,当然也可以对这些处理进行组合。
以下参照图11,详细说明上述各处理的概要。
图11(a)是表示2进制编码处理中的输入亮度和输出亮度的情况的图。如图11(a)所示,若把输入亮度值的阈值设定为“128”,则在输入亮度值为128以上的情况下,输出亮度值从0变为255。
图11(b)表示对比度变换处理和偏置变换处理中的输入亮度值和输出亮度值的关系。图11(b)的曲线901是通过对比度变换处理而使输入亮度值和输出亮度值形成非线性关系。并且,图11(b)的曲线902通过偏置变换处理在输入亮度值上附加(加偏置)一定的亮度值,使输出亮度值进行输出。这时,加偏置的亮度值为“60”。而且,在图11(b)中,作为参考表示出输入亮度值=输出亮度值的曲线903。
杂波消除处理例如有2维的低通滤波器等。所谓形态处理(モルフォロジ),是指非线性滤波处理的一种,其根据是以从给定的2进制图像或浓淡图像中提取特征为目的而进行的“错开重叠(变淡)和挑出(腐蚀)”等运算。而且,关于该形态处理在小煨秀文著的“组织结构”(COLONA公司)中详细说明。
所谓边缘提取处理,是指对表示图像中的区域的边界(例如对象物和背景)的边缘进行挑出的处理,其方法可采用1次微分滤波器和2次微分滤波器。
所谓边缘加强处理,是指在断层图像中对边缘及其以外的部分的浓淡等级之差进一步增大的处理,其方法是对亮度值分散进行变换。
图12是表示对亮度值分散进行变换的方法之一例。在图12的例中表示以亮度值的平均值(例如120)为中心,亮度值的分散呈集中状态的曲线1001变换成如曲线1002所示亮度值的分散呈不太集中状态的情况。
区域选择部106从由区域划分部103划分的小区中确定出任意个数的小区。这时的确定方法,也可以是从由评价值计算部104计算出的评价值最高的小区开始,依次(由大到小)选择出规定的个数。也可以从评价值小的小区开始依次(由小到大)选择。例如,若是基于上述亮度值的评价值(2α)的情况下,则从“2α”大的开始依次选择,所以可以从对比度清楚的(即对比度范围宽)小区开始依次选择。并且,相反,从“2α”小的开始依次选择,所以可以从对比度不清楚的(即对比度范围窄)的小区开始依次选择。
图像再构成部107,根据由区域划分部103划分,由分区处理部105进行图像处理后的小区的图像数据、以及图像生成部110生成的断层图像的图像数据,生成新的图像数据。
例如,仅用区域选择部106所指定的小区的图像来再构成图像(这时一部分小区有缺损)。并且,图像再构成部107在按区域选择部106所指定的每个小区分别进行图像处理的情况下,可以把小区单位的图像重叠写入到原来的断层图像上,或者置换掉原来的断层图像。
以下详细说明按上述方法构成的超声波诊断装置10的动作。
图15是表示超声波诊断装置的整体处理流程的一例的流程图。最初,由图像生成部110根据通过超声波探测头11和收发部12而接收的超声波回波来生成断层图像(S1301)。
然后,区域分割部103利用被提取的对象物的初始轮廓(S1302),把观察用监视器上的断层图像划分成许多个小区(S1303),该对象物的初始轮廓是利用通过操作部14从操作员接收的指示来进行确定的,或者是在图像提取部111中自动地提取的。
再有,评价值计算部104按照上述被划分的每个小区分别计算出评价值(S1304)。然后,由分区处理部105对每个小区分别进行图像处理(S1305)。
接着,若区域选择部106根据上述评价值来选择小区(S1306),则由图像再构成部根据被选择的小区的图像,在观察用监视器上再构成断层图像(S1307)。再构成的断层图像输出到数据输出部16内,显示在观察用监视器等上。
图16是表示上述图15中的“分区处(S1303)”的一例的流程图。
最初,区域划分部103计算出按上述方法确定的初始轮廓的重心G(S1401),求出通过该重心G的中心线(S1402)。
然后,区域划分部103对划分方法(例如上述①项的划分方法)进行确定(S1403),根据确定的划分方法,把断层图像划分成许多小区(S1404)。
图17是表示图15中的“评价值计算处理”的一例的流程图。而且,在图17中表示与上述亮度值分布有关的评价值“2α”进行计算的情况。
最初,由评价值计算部104对作为评价值计算的对象的全部像素,计算出亮度值的平均值(YA)(S1501)。然后,由评价值计算部104对全部像素,制作出以上述亮度值的平均值为中心的亮度值的直方图(S1502)。
再者,评价值计算部104在进行亮度值的增量α(α:自然数)的初始化(例如α=0)之后(S1503),对亮度值为“YA±α”的像素进行计数(S1504)。然后,由评价值计算部104对α值加“1”进行更新(S1505),并进行以下判断(S1506),即上述计数结果与全部像素数相比是否超过了80%,也就是说,是否达到“YA±α>80%”(该不等式中的“α”是更新前的值)。在满足该条件的情况下,评价值计算部104把评价值定为“2α”(S1507)。
图18是图15中的“分区处理”的详细流程图。
最初,分区处理部105通过操作部14从操作员处接受进行的图像处理的确定(S1601)。这时,进行的图像处理有:2进制编码处理,对比度变换处理、偏置变换处理、杂波消除处理、形态处理、边缘提取处理和边缘加强处理等。并且,分区处理部105进行特定的图像处理(S1602~S1609)。
而且,缺陷的图像处理也可以设定为至少进行一种处理(例如,边缘加强处理)。
图19是表示上述图15中的“图像再构成处理(S1307)”的详细情况的流程图。
最初,控制部112通过操作部14从操作员接受对图像再构成的小区进行选择的指示(S1701),以及是否在原图像上写入的指示(S1702)。在接收了旨在写入的指示的情况下(S1702:是),由控制部112在由图像生成部110生成的断层图像上写入已选择的小区的图像(S1703)。存储到图像存储器101内(S1704)。
图13和图14简要地表示在上述分区处理部105内进行图像处理前后的断层图像的情况。在图13中,由区域划分部103划分的8个小区中,小区130、330的整体均为亮度值较低(即整个图像偏黑),所以,对象物的轮廓1110的一部分不清晰。另一方面,小区360,相反,图像整体均为亮度值较高(即整个图像偏白),所以对象物的轮廓1110的一部分是不清晰。图14表示对上述图13的断层图像用分区处理部105进行图像处理的结果,使原来不清晰的小区310、330、360的图像质量得到改善,对象物的轮廓1110整体变得清晰的情况。
如上所述,利用涉及本发明的超声波诊断装置,对于局部不清晰的图像也能准确地进行对象物(例如左心室等)的轮廓的提取等。
而且,本实中的图像处理部15构成为超声波诊断装置的一部分。但也可以用图像处理部15的图像生成部110来取代能从外部输入图像数据的数据输入部,构成为具有同等功能的图像处理装置。
而且,该图像处理部15也能处理实时地连续输入的图像数据(动态图像数据)。这时,各部分对每帧图像分别进行处理。
并且,另外,例如,在希望一面跟踪断层图像中的一部分对象物,一面提取轮廓的情况下(例如,在提取左室内壁时,希望一面跟踪对左心室和左心房隔开的辫膜的根部上接触的辫膜轮部,一面探测左室内壁的情况等),一面进行跟踪作为小区内的处理,一面对轮廓不清晰的小区进行图像质量改善作为对小区的处理,跟踪的结果,从区域选择部传递存在辫膜部的小区的位置,这样,即使过去不能提取轮廓的图像,也能进行跟踪和对其提取。
所谓上述图像质量改善,是指能利用直方图均衡器和切掉杂波等方法来改善对比度,增强边缘等。
当然并非仅限于此,而是可以采用任意的方法。
并且,上述跟踪中,可以采用的方法,例如检测出图形匹配和帧间的自相关、移动向量。当然并非仅限于这些方法,而是也可以采用任意方法。
[第2实施方式]
在上述第1实施方式中,说明了在超声波诊断装置中生成的断层图像使用本发明的实施例。但在本实施方式中将说明对于在带有摄像功能的移动电话机等图像处理装置中生成的图像,适用本发明的实施例。
图20是表示本实施方式中的图像处理装置20的功能构成的方框图。
该图像处理装置20在图像局部不清晰时仍能根据该部分的情况进行图像质量改善,它具有:摄像部21、整体控制部22、操作部14、图像处理部15和数据输出部16。(为了方便,在本图像处理装置20中省略了通信功能和存储功能等带一般相机功能的移动电话机所具有的功能)。
而且,图像处理装置20的功能是相同的,不同的是具有摄像部21来代替上述第1实施方式的超声波诊断装置10中的超声波探测头11;并且具有整体控制部22来代替收发部12。而且,以下重点说明与上述第1实施方式的超声波诊断装置不同的地方。
摄像部21是根据通过操作部14而输入的操作员的操作来进行拍摄(例如光电变换)和生成图像数据的部分,它具有CCD等。
整体控制部22是对图像处理装置20整体进行控制的部分,它具有CPU、ROM和RAM等。整体控制部22接收在摄像部21中生成的图像数据,将其存储在RAM等中,同时根据通过操作部14而输入的操作员的操作,把接收的图像数据直接发送到图像处理部15内,或者把从RAM等中读出的图像数据发送到图像处理部15内。而且,操作部14、图像处理部15和数据输出部16的功能,等同于上述第1实施方式的超声波诊断装置10中的对应的各部分的功能。
图21(a)~(c)表示在图像处理装置20中对拍摄的原图像进行区域划分前的情况。图21(a)是拍摄的原图像的一例,如图21(a)所示,在原图像的左角上拍下了妨碍本来的摄影对象的部分(例如蒸气或烟),造成脸部轮廓不清晰。图21(b)表示在图21(a)的原图像上利用和上述第1实施方式的超声波诊断装置10相同的方法而设定了初始轮廓的样子。
图21(c)表示对图21(b)的图像采用和上述第1实施方式相同的方法进行区域分割的情况。
图22(a)和(b)表示在本实施方式中从分区后的小区中选择出的一部分小区23、24进行图像处理的情况。在此,图22(a)中的小区23、24表示利用和上述第1实施方式相同的方法来选择的2个小区。图22(b)表示对小区23、24进行图像处理(例如对比度变换处理)的结果,改善了脸部轮廓的情况。
图23(a)和(b)表示在本实施方式中对包括已进行了图像处理的一部分小区在内的图像,再次进行初始轮廓设定和轮廓提取的情况。图23(a)表示在包括已进行了图像处理的小区23、24在内的图像上,再次设定了初始轮廓的情况。图23(b)表示根据设定了图23(a)的初始轮廓的图像,进行更细的轮廓提取后的结果。
如图23(b)所示,在此情况下,表示提取出了基本上符合实际脸部轮廓的理想的轮廓的情况。
图24用于说明附加在上述图像处理装置20上的功能的一例。图24(b)表示对图24(a)的原图像进行轮廓提取的结果。这时图像处理装置20,如图24(d)所示,根据被提取的轮廓,能够进行脸部的“小型化”和“细型化”。该“小型化”和“细型化”,例如图24(c)所示,能实现对纵向尺寸的缩小率(例如0.9),进一步缩小横向尺寸的缩小率(例如0.7)。
图25用于说明附加在上述图像处理装置20上的其他功能的一例。如图25所示,图像处理装置20能根据已提取的轮廓来提取图像的一部分,与其他图像(例如拍摄风景的图像)进行合成,生成新的图像(例如色度键合成等)。
图26是表示上述图像处理装置20的整体处理流程的流程图。最初由图像处理部15通过摄像部21和整体控制部22根据已接收的数据来生成图像(S2301)。
然后,整个控制部22通过操作员的操作或自动提取来对对象物的初始轮廓进行确定(S1302)。这样,区域划分部103把显示器上的图像划分成许多个小区(S1303)。接着,整体控制部22发出指示,要求从操作员接收小区的选择(S1306),在分区处理部105进行每个小区的图像处理(S1305)。
然后,整体控制部22若从操作员接收到旨在再次进行轮廓提取的指示(S2302,是),则和上面一样,指示各部分进行初始轮廓的确定和对象物的轮廓提取(S2303)。
再有,图像处理部15根据整体控制部22的指示,对按以上方法取得的图像进行加工和合成(S2304)。
而且,在上述第1实施方式和第2实施方式中,小区划分部的区域划分方法示于图5~图9、图21。当然不仅限于这些。例如图27(a)和图27(b)所示,也可以这样划分区域,即对包括轮廓线的图像以基准点为起点,对一边的长度为“2c”的区片进行排列。这样,如图27(c)所示,可以用8个区片来划分图像,以便描绘出轮廓线。这时把区片布置成区片中心位于轮廓线上。
再有,其他区域划分方法如图8所示,也可以把由外部矩形和内部矩形所夹持的区域划分成小区(区域片)。
图28(a)对最初与轮廓线外接的外接矩形(宽W1、长H1)进行定义;根据该外接矩形的形状来对外部矩形(宽W2、长H2)和内部矩形(宽W3、长H3)进行定义。具体来说定义为:W2=5W1/3、H2=5H1/3、W3=W1/3、H3=H1/3。
图28(b)最初把外部矩形(宽W4、长H4)定义为把轮廓线包括在其内部,把内部矩形(宽W5、长H5)定义在轮廓线的内部。具体来说定义如下:W5=W4/3、H5=H3/3。进一步再按区片(宽W6、长H6)来划分被外部矩形和内部矩形夹持的区域。具体来说把区片定义为:W6=W4/3、H6=H4/6。
而且,也可以通过操作部14从操作员接收指示,以便更改W1~W6和H1~H6的值,用更改后的值按多种方法来划分区域。另外上述各尺寸是一例,当然也可以用此外的各种尺寸来划分图像。
如上所述,利用本实施方式的图像处理装置时,对于脸部等轮廓不清晰的图像也能利用和上述第1实施方式的超声波诊断装置一样的方法来提取其轮廓(即改善图像)。而且,在本实施方式中,尤其以脸部为对象进行了说明。但不言而喻,本发明对提取任意的对象物的轮廓均能适用。
Claims (24)
1、一种图像处理装置,其特征在于具有:
图像取得装置,用于取得图像数据;
区域划分装置,用于把由上述已取得的图像数据所表示的图像划分成许多个小区;
区域选择装置,用于选择一个或多个上述小区;以及
分区处理装置,用于对上述已选择的小区分别进行图像处理。
2、如权利要求1所述的图像处理装置,其特征在于:上述图像数据是有关根据超声波回波而生成的断层图像的图像数据,
上述图像取得装置从超声波诊断装置中取得上述图像数据。
3、如权利要求1所述的图像处理装置,其特征在于:上述图像数据是有关用电荷耦合器件拍摄的图像的图像数据,
上述图像取得装置从CCD摄像机中取得上述图像数据。
4、如权利要求1所述的图像处理装置,其特征在于:上述区域选择装置根据上述图像整体的基准点和上述被划分的各小区的基准点的距离来进行上述选择。
5、如权利要求1所述的图像处理装置,其特征在于:上述图像处理装置还具有一种评价值计算装置,用于对上述被划分的小区,计算出表示图像清晰度的评价值,
上述区域选择装置根据上述计算出的评价值来进行上述选择。
6、如权利要求5所述的图像处理装置,其特征在于:上述区域选择装置从表示上述评价值不明确的小区开始依次选择小区。
7、如权利要求5所述的图像处理装置,其特征在于:上述评价值计算装置利用小区中的亮度值信息、形状信息、边缘信息、2进制编码信息、分离度信息和最高、最低亮度值信息中的至少一种信息,来计算评价值。
8、如权利要求7所述的图像处理装置,其特征在于:上述分区处理装置对边缘提取处理、边缘加强处理、2进制编码处理、对比度变换处理、偏置偏换处理、杂波消除处理和组织变换处理中的至少一种作为上述图像处理进行处理。
9、如权利要求8所述的图像处理装置,其特征在于:上述区域划分装置对上述图像中的X轴和Y轴的长度分别按规定的数进行等分,以此进行上述划分。
10、如权利要求8所述的图像处理装置,其特征在于:上述区域划分装置具有:
轮廓信息取得部,用于取得表示上述图像中的对象物的轮廓的轮廓信息;
重心计算部,用于计算利用有关已取得的轮廓信息的轮廓来表示的图形的重心;以及
基准点确定部,用于对上述轮廓上的基准点进行确定,
根据连接上述重心和上述基准点的直线,进行上述划分,按照规定的角度来划分上述图像,使小区从上述重心起形成放射状。
11、如权利要求8所述的图像处理装置,其特征在于:上述区域划分装置具有:
轮廓信息取得部,用于取得表示上述图像中的对象物的轮廓的轮廓信息;
外接矩形设定部,用于设定与上述轮廓进行外接的矩形;
内部矩形设定部,用于在上述外接矩形的内部设定内部矩形;
外部矩形设定部,用于在上述外接矩形的外部设定外部矩形;以及
小区划分部,用于根据上述外接矩形来划分上述内部矩形和上述外部矩形之间的区域。
12、如权利要求8所述的图像处理装置,其特征在于:上述区域划分装置具有:
轮廓信息取得部,用于取得表示上述图像的对象物的轮廓的轮廓信息;
基准点确定部,用于对上述轮廓上的基准点进行确定,以及
小区布置部,用于把以上述基准点为中心的规定形状的小区布置在上述轮廓上,
上述图像包括上述被布置的小区。
13、如权利要求12所述的图像处理装置,其特征在于:上述区域划分装置还具有接收用于更改上述小区形状的指示的小区更改部。
14、如权利要求9~12中的任一项所述的图像处理装置,其特征在于:上述图像处理装置还具有图像再构成装置,以便利用已进行了上述图像处理的小区的图像来进行图像再构成。
15、如权利要求14所述的图像处理装置,其特征在于:上述图像再构成装置利用已进行了上述图像处理的小区的图像,来置换与已取得的图像中的该小区相对应的图像。
16、如权利要求15所述的图像处理装置,其特征在于:上述图像处理装置还具有轮廓取得装置,用于取得表示上述置换后的图像的对象物的轮廓的轮廓信息。
17、一种图像处理方法,其特征在于包括以下步骤:
图像取得步骤,用于取得图像数据;
区域划分步骤,用于把由上述取得的图像数据所表示的图像划分成许多个小区;
区域选择步骤,用于选择一个或多个上述小区;以及
分区处理步骤,用于对上述已选出的每个小区分别进行特定的图像处理。
18、一种图像处理方法,其特征在于具有:
图像取得步骤,用于取得图像数据;
区域划分步骤,用于把由上述取得的图像数据所表示的图像划分成许多个小区;
评价值计算步骤,用于根据上述被划分的小区来计算出表示图像清晰度的评价值;
区域选择步骤,用于根据上述计算出的评价值来选择一个或多个上述小区;以及
分区处理,用于对上述已选择的每个小区分别进行特定的图像处理。
19、一种程序,它用于图像处理装置,其特征在于具有使计算机执行的以下步骡:
图像取得步骤,用于取得图像数据;
区域划分步骤,用于把由上述取得的图像数据所表示的图像划分成许多个小区;
区域选择步骤,用于选择一个或多个上述小区;以及
分区处理步骤,用于对上述已选出的每个小区分别进行特定的图像处理。
20、一种程序,它用于图像处理装置,其特征在于,使计算机执行以下程序步骤:
图像取得步骤,用于取得图像数据;
区域划分步骤,用于把由上述取得的图像数据所表示的图像划分成许多个小区;
评价值计算步骤,用于根据上述被划分的小区来计算出表示图像清晰度的评价值;
区域选择步骤,用于根据上述计算出的评价值来选择一个或多个上述小区;以及
分区处理步骤,用于对上述已选择的每个小区分别进行特定的图像处理。
21、一种超声波诊断装置,用于显示根据超声波的反射而生成的被检查体的断层图像,其特征在于具有:
图像取得装置,用于取得图像数据;
区域划分装置,用于把由上述已取得的图像数据所表示的图像划分成许多个小区;
区域选择装置,用于选择一个或多个上述小区;
分区处理装置,用于对上述已选择的小区分别进行特定的图像处理;以及
显示装置,用于显示已进行了上述图像处理的小区的图像。
22、一种超声波诊断装置,它用于显示根据超声波的反射而生成的被检查体的断层图像,其特征在于具有:
图像取得装置,用于取得图像数据;
区域划分装置,用于把已取得的图像数据所表示的断层图像划分成许多小区;
评价值计算装置,用于对上述划分的小区,计算出表示图像清晰度的评价值;
区域选择装置,用于根据上述计算出的评价值来选择一个或多个上述小区;
分区处理装置,用于对上述已选择的每个小区分别进行特定的图像处理;
图像再构成装置,用于利用已进行了上述图像处理的小区的图像,再构成被检查体的断层图像;以及
显示装置,用于显示上述再构成的断层图像。
23、一种程序,用于超声波诊断装置,该超声波诊断装置用于显示根据超声波的反射而生成的被检查体的断层图像,其特征在于具有:
图像取得步骤,用于取得图像数据;
区域划分步骤,用于把由已取得的图像数据所表示的图像划分成许多个小区;
区域选择步骤,用于选择一个或多个上述小区;以及
分区处理步骤,用于对上述已选出的每个小区分别进行特定的图像处理。
显示步骤,用于显示已进行了上述图像处理的小区的图像。
24、一种程序,用于超声波诊断装置,该超声波诊断装置用于显示根据超声波的反射而生成的被检查体的断层图像,其特征在于使计算机执行以下步骤:
图像取得步骤,用于取得图像数据;
区域划分步骤,用于把由已取得的图像数据所表示的图像划分成许多个小区;
评价值计算步骤,用于对上述划分的小区,计算出表示图像清晰度的评价值;
区域选择步骤,用于根据上述计算出的评价值来选择一个或选择多个上述小区;
分区处理步骤,用于对上述已选出的每个小区分别进行特定的图像处理。
图像再构成步骤,它利用上述已进行图像处理的小区的图像,来对被检查体的断层图像进行再构成;
显示步骤,用于显示上述再构成的断层图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002070562 | 2002-03-14 | ||
JP070562/2002 | 2002-03-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1444907A true CN1444907A (zh) | 2003-10-01 |
Family
ID=28035067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN03119985A Pending CN1444907A (zh) | 2002-03-14 | 2003-03-14 | 图像处理装置和超声波诊断装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20030174890A1 (zh) |
EP (1) | EP1400920A2 (zh) |
KR (1) | KR20030074414A (zh) |
CN (1) | CN1444907A (zh) |
CA (1) | CA2421468A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101822550B (zh) * | 2009-03-06 | 2012-01-04 | 复旦大学 | 超声彩色血流成像中基于动态区域划分的杂波抑制方法 |
CN101299965B (zh) * | 2005-11-02 | 2012-08-01 | 皇家飞利浦电子股份有限公司 | 用于在介入操作期间进行轮廓绘制和图像显示的图像处理***和方法 |
CN102970456A (zh) * | 2009-06-02 | 2013-03-13 | 佳能株式会社 | 图像形成方法及图像形成装置 |
CN106999161A (zh) * | 2014-12-01 | 2017-08-01 | 国立研究开发法人产业技术综合研究所 | 超声波检查***以及超声波检查方法 |
CN108464845A (zh) * | 2018-01-22 | 2018-08-31 | 苏州佳世达电通有限公司 | 一种超声波探头的异常侦测方法和超声波诊断*** |
CN113556979A (zh) * | 2019-03-19 | 2021-10-26 | 奥林巴斯株式会社 | 超声波观测装置、超声波观测装置的工作方法以及超声波观测装置的工作程序 |
CN113838029A (zh) * | 2021-09-24 | 2021-12-24 | 万章敏 | 医疗影像评价方法及*** |
CN114259257A (zh) * | 2020-09-16 | 2022-04-01 | 深圳迈瑞生物医疗电子股份有限公司 | 确定面积的方法、超声装置及计算机存储介质 |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100750424B1 (ko) * | 2004-03-03 | 2007-08-21 | 닛본 덴끼 가부시끼가이샤 | 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 |
US20050249429A1 (en) * | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
JP4299189B2 (ja) * | 2004-05-27 | 2009-07-22 | アロカ株式会社 | 超音波診断装置及び画像処理方法 |
WO2006044996A2 (en) * | 2004-10-15 | 2006-04-27 | The Trustees Of Columbia University In The City Of New York | System and method for automated boundary detection of body structures |
US10687785B2 (en) | 2005-05-12 | 2020-06-23 | The Trustees Of Columbia Univeristy In The City Of New York | System and method for electromechanical activation of arrhythmias |
WO2007035721A2 (en) * | 2005-09-19 | 2007-03-29 | The Trustees Of Columbia University In The City Of New York | Ultrasound method to open blood brain barrier |
EP1963805A4 (en) * | 2005-12-09 | 2010-01-06 | Univ Columbia | SYSTEMS AND METHODS FOR ELASTOGRAPHIC IMAGING |
US8369645B2 (en) * | 2006-05-17 | 2013-02-05 | Sony Corporation | Image correction circuit, image correction method and image display |
US7600151B2 (en) * | 2007-01-25 | 2009-10-06 | Inventec Corporation | RAID capacity expansion interruption recovery handling method and system |
US20080317355A1 (en) * | 2007-06-21 | 2008-12-25 | Trw Automotive U.S. Llc | Method and apparatus for determining characteristics of an object from a contour image |
KR100861991B1 (ko) * | 2008-02-25 | 2008-10-07 | (주)태성종합기술 | 이미지분석법에 의한 슬러지 침전상태 감지방법 |
WO2011035312A1 (en) | 2009-09-21 | 2011-03-24 | The Trustees Of Culumbia University In The City Of New York | Systems and methods for opening of a tissue barrier |
JP5016541B2 (ja) * | 2008-04-01 | 2012-09-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
WO2010014977A1 (en) | 2008-08-01 | 2010-02-04 | The Trustees Of Columbia University In The City Of New York | Systems and methods for matching and imaging tissue characteristics |
JP5115398B2 (ja) * | 2008-08-27 | 2013-01-09 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2010030819A1 (en) | 2008-09-10 | 2010-03-18 | The Trustees Of Columbia University In The City Of New York | Systems and methods for opening a tissue |
KR101028718B1 (ko) * | 2008-09-30 | 2011-04-14 | 주식회사 바이오넷 | 초음파 진단 장치에서의 관심 영역에 대한 고해상도 표현방법 |
JP5645811B2 (ja) * | 2009-04-06 | 2014-12-24 | 株式会社日立メディコ | 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム |
JP5586203B2 (ja) * | 2009-10-08 | 2014-09-10 | 株式会社東芝 | 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム |
KR101124084B1 (ko) * | 2010-06-17 | 2012-03-20 | 삼성전기주식회사 | 초음파 영상 장치 및 초음파 영상 생성 방법 |
KR101124153B1 (ko) * | 2010-08-20 | 2012-03-22 | 삼성전기주식회사 | 초음파 영상 장치 및 초음파 영상 생성 방법 |
JP5594282B2 (ja) * | 2011-03-31 | 2014-09-24 | カシオ計算機株式会社 | 画像処理装置 |
WO2012162664A1 (en) | 2011-05-26 | 2012-11-29 | The Trustees Of Columbia University In The City Of New York | Systems and methods for opening of a tissue barrier in primates |
KR101501516B1 (ko) | 2012-01-09 | 2015-03-11 | 삼성메디슨 주식회사 | 촬영된 영상의 확대 영상과 휘도 정보를 이용하여 촬영된 대상체를 메저링하기 위한 방법 및 그 장치 |
WO2014059170A1 (en) | 2012-10-10 | 2014-04-17 | The Trustees Of Columbia University In The City Of New York | Systems and methods for mechanical mapping of cardiac rhythm |
US9247921B2 (en) | 2013-06-07 | 2016-02-02 | The Trustees Of Columbia University In The City Of New York | Systems and methods of high frame rate streaming for treatment monitoring |
US10322178B2 (en) | 2013-08-09 | 2019-06-18 | The Trustees Of Columbia University In The City Of New York | Systems and methods for targeted drug delivery |
US10028723B2 (en) | 2013-09-03 | 2018-07-24 | The Trustees Of Columbia University In The City Of New York | Systems and methods for real-time, transcranial monitoring of blood-brain barrier opening |
KR101599891B1 (ko) | 2014-09-19 | 2016-03-04 | 삼성전자주식회사 | 초음파 진단장치, 방법 및 컴퓨터 판독 가능한 저장매체 |
CN104461009B (zh) * | 2014-12-22 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 物体的测量方法和智能设备 |
KR101946576B1 (ko) * | 2016-12-23 | 2019-02-11 | 삼성전자주식회사 | 의료 영상 장치 및 의료 영상 처리 방법 |
JP6829437B2 (ja) * | 2017-03-03 | 2021-02-10 | 国立大学法人 東京大学 | 生体内運動追跡装置 |
CN110879985B (zh) * | 2019-11-18 | 2022-11-11 | 西南交通大学 | 一种抗噪声数据的人脸识别模型训练方法 |
CN110931130B (zh) * | 2019-12-30 | 2023-06-09 | 南京大学 | 一种基于b超信号评估呼吸和心动周期的方法 |
CN111242869B (zh) * | 2020-01-17 | 2023-04-28 | 广东驰行电力设备有限公司 | 对照片进行背景过滤的方法 |
CN111353958B (zh) * | 2020-02-28 | 2023-07-25 | 北京东软医疗设备有限公司 | 图像处理方法、装置及*** |
CN112508913B (zh) * | 2020-12-10 | 2024-07-05 | 国网江西省电力有限公司电力科学研究院 | 基于图像检测的电缆截面边沿检测方法 |
CN113916979A (zh) * | 2021-09-17 | 2022-01-11 | 秒针信息技术有限公司 | 工件缺陷检测方法、装置、***及计算机可读存储介质 |
CN114757950B (zh) * | 2022-06-15 | 2022-11-01 | 深圳瀚维智能医疗科技有限公司 | 超声图像处理方法、装置以及计算机可读存储介质 |
CN117243637B (zh) * | 2023-10-19 | 2024-04-19 | 河北港口集团有限公司秦皇岛中西医结合医院 | 一种超声心动图图像识别方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995015537A1 (en) * | 1993-11-30 | 1995-06-08 | Arch Development Corporation | Automated method and system for the alignment and correlation of images from two different modalities |
US5797844A (en) * | 1995-08-23 | 1998-08-25 | Kabushiki Kaisha Toshiba | Method and apparatus for ultrasonic imaging and ultrasonic image processing |
JP2001511374A (ja) * | 1997-07-25 | 2001-08-14 | アーチ・デベロップメント・コーポレーション | 側面胸部放射線像の肺領域を分割する方法とシステム |
JP3809742B2 (ja) * | 1999-03-29 | 2006-08-16 | コニカミノルタビジネステクノロジーズ株式会社 | コントラスト補正を行う画像処理装置および方法 |
JP4407985B2 (ja) * | 1999-09-02 | 2010-02-03 | キヤノン株式会社 | 画像処理方法及び装置並びに記憶媒体 |
US6907144B1 (en) * | 1999-10-06 | 2005-06-14 | Eastman Kodak Company | Noise reduction method, apparatus, and program for digital image processing |
EP1111909A1 (de) * | 1999-12-23 | 2001-06-27 | Philips Patentverwaltung GmbH | Vorrichtung und Verfahren zur Darstellung eines aus mehreren Teilbereichen zusammengesetzten Bildes |
US6829382B2 (en) * | 2001-06-13 | 2004-12-07 | Shih-Jong J. Lee | Structure-guided automatic alignment for image processing |
US7218772B2 (en) * | 2002-06-10 | 2007-05-15 | Ut-Battelle Llc | Method for non-referential defect characterization using fractal encoding and active contours |
-
2003
- 2003-03-11 CA CA 2421468 patent/CA2421468A1/en not_active Abandoned
- 2003-03-11 US US10/384,555 patent/US20030174890A1/en not_active Abandoned
- 2003-03-12 EP EP20030005341 patent/EP1400920A2/en not_active Withdrawn
- 2003-03-13 KR KR10-2003-0015642A patent/KR20030074414A/ko not_active Application Discontinuation
- 2003-03-14 CN CN03119985A patent/CN1444907A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101299965B (zh) * | 2005-11-02 | 2012-08-01 | 皇家飞利浦电子股份有限公司 | 用于在介入操作期间进行轮廓绘制和图像显示的图像处理***和方法 |
CN101822550B (zh) * | 2009-03-06 | 2012-01-04 | 复旦大学 | 超声彩色血流成像中基于动态区域划分的杂波抑制方法 |
CN102970456A (zh) * | 2009-06-02 | 2013-03-13 | 佳能株式会社 | 图像形成方法及图像形成装置 |
US8619333B2 (en) | 2009-06-02 | 2013-12-31 | Canon Kabushiki Kaisha | Image forming apparatus, image forming apparatus control method, and program |
CN102970456B (zh) * | 2009-06-02 | 2015-03-11 | 佳能株式会社 | 图像形成方法及图像形成装置 |
CN106999161A (zh) * | 2014-12-01 | 2017-08-01 | 国立研究开发法人产业技术综合研究所 | 超声波检查***以及超声波检查方法 |
CN106999161B (zh) * | 2014-12-01 | 2020-01-24 | 国立研究开发法人产业技术综合研究所 | 超声波检查*** |
CN108464845A (zh) * | 2018-01-22 | 2018-08-31 | 苏州佳世达电通有限公司 | 一种超声波探头的异常侦测方法和超声波诊断*** |
CN113556979A (zh) * | 2019-03-19 | 2021-10-26 | 奥林巴斯株式会社 | 超声波观测装置、超声波观测装置的工作方法以及超声波观测装置的工作程序 |
CN114259257A (zh) * | 2020-09-16 | 2022-04-01 | 深圳迈瑞生物医疗电子股份有限公司 | 确定面积的方法、超声装置及计算机存储介质 |
CN113838029A (zh) * | 2021-09-24 | 2021-12-24 | 万章敏 | 医疗影像评价方法及*** |
CN113838029B (zh) * | 2021-09-24 | 2024-04-30 | 南京中赢医疗科技有限公司 | 医疗影像评价方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US20030174890A1 (en) | 2003-09-18 |
EP1400920A2 (en) | 2004-03-24 |
CA2421468A1 (en) | 2003-09-14 |
KR20030074414A (ko) | 2003-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1444907A (zh) | 图像处理装置和超声波诊断装置 | |
CN1191549C (zh) | 用于医学图象的迭代滤波器结构 | |
CN1155337C (zh) | 图象处理的方法和装置 | |
CN1639725A (zh) | 图像像素编码方法、图像处理方法和针对一个或多个图像像素再现的对象进行定性识别的图像处理方法 | |
CN100345160C (zh) | 一种控制平均亮度的直方图均衡方法 | |
CN1259890C (zh) | 图像处理装置和方法 | |
CN1440542A (zh) | 无失真的图象对比度增强 | |
CN1714372A (zh) | 图像信号处理 | |
JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN1691740A (zh) | 放大显示装置和放大图像控制装置 | |
CN1737824A (zh) | 建立劣化字典的方法和装置 | |
CN101032159A (zh) | 图像处理设备及其方法,图像处理程序 | |
CN1475969A (zh) | 用于增强人像图像的方法和*** | |
CN1707521A (zh) | 图像处理设备、方法、记录介质和程序 | |
CN1735135A (zh) | 分辨率转换设备和方法 | |
CN1870715A (zh) | 手抖动校正装置 | |
CN1521695A (zh) | 从图像中减少噪声的图像处理设备 | |
CN1893610A (zh) | 信号处理装置,信号处理方法,程序和记录介质 | |
CN1591172A (zh) | 图像处理方法和装置 | |
CN1798524A (zh) | 超声波探头及超声波弹性图像摄影装置 | |
CN1879562A (zh) | X射线ct图象重建方法和x射线ct*** | |
CN1812481A (zh) | 图像处理装置及其方法 | |
Siragusa et al. | Cell colony counter called CoCoNut | |
CN105496459B (zh) | 用于超声成像设备的自动调节方法及*** | |
CN1743835A (zh) | X射线计算机断层摄影***以及该***的数据校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |