KR101847587B1 - Apparatus and method for searching images of like cells - Google Patents

Apparatus and method for searching images of like cells Download PDF

Info

Publication number
KR101847587B1
KR101847587B1 KR1020160096342A KR20160096342A KR101847587B1 KR 101847587 B1 KR101847587 B1 KR 101847587B1 KR 1020160096342 A KR1020160096342 A KR 1020160096342A KR 20160096342 A KR20160096342 A KR 20160096342A KR 101847587 B1 KR101847587 B1 KR 101847587B1
Authority
KR
South Korea
Prior art keywords
image
tile
hierarchical
size
images
Prior art date
Application number
KR1020160096342A
Other languages
Korean (ko)
Other versions
KR20180013130A (en
Inventor
이재구
연승호
최경찬
고영웅
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020160096342A priority Critical patent/KR101847587B1/en
Publication of KR20180013130A publication Critical patent/KR20180013130A/en
Application granted granted Critical
Publication of KR101847587B1 publication Critical patent/KR101847587B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G06F19/24—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 유사 세포 이미지 탐색 장치 및 방법에 관한 것으로, 본 발명에 따른 유사 세포 이미지 탐색 장치는, 병리학 촬영 이미지를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성하는 계층적 이미지 레벨 생성부와, 계층적 이미지 레벨 생성부에서 생성된 복수의 계층적 이미지 중에서 선택된 특정 레벨의 계층적 이미지에 타일링 기법을 적용하여 다수의 고정된 크기의 타일 이미지를 생성하는 타일 이미지 생성부와, 타일 이미지 생성부에서 생성된 타일 이미지의 크기에 따라 해당 타겟 세포 이미지의 크기를 타일 이미지의 크기와 동기화시키는 타겟 이미지 동기화부와, 타겟 이미지 동기화부에서 동기화된 타겟 세포 이미지로부터 이미지 특징을 추출하고, 타일 이미지 생성부에서 생성된 각 타일 이미지로부터 각자의 이미지 특징을 추출하는 이미지 이미지 특징 추출부와, 및 타겟 이미지 동기화부에서 동기화된 타겟 세포 이미지로부터 추출된 이미지 특징과 각 타일 이미지로부터 추출된 각자의 이미지 특징을 비교하여 특징 유사도를 판단하는 특징 유사도 판단부를 포함함으로써, 병리학 이미지에 최적의 조건을 지원하여 특정 세포와 유사한 세포를 정확하고 효율적으로 찾을 수 있다.The present invention relates to a pseudo-cell image search apparatus and method, and a pseudo-cell image search apparatus according to the present invention includes a hierarchical image level generating unit for generating a plurality of hierarchical images by leveling pathological shot images into hierarchical images, A tile image generating unit for generating a plurality of fixed size tile images by applying a tiling technique to a hierarchical image of a specific level selected from a plurality of hierarchical images generated by the hierarchical image level generating unit, A target image synchronization unit for synchronizing the size of the target cell image with the size of the tile image according to the size of the tile image generated by the target image synchronization unit; From each tile image generated by the unit, And a feature similarity degree determiner for comparing the image features extracted from the synchronized target cell image in the target image synchronization unit and the respective image features extracted from each tile image to determine the feature similarity degree , It is possible to find cells that are similar to specific cells accurately and efficiently by supporting optimal conditions for pathological images.

Description

유사 세포 이미지 탐색 장치 및 방법{Apparatus and method for searching images of like cells}[0001] APPARATUS AND METHOD FOR SEARCHING PICTURES [0002]

본 발명은 유사 세포 이미지 탐색 장치 및 방법에 관한 것으로, 특히 병리학 분야에서 특정 세포와 유사한 세포를 정확하고 효율적으로 찾을 수 있는 유사 세포 이미지 탐색 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for searching for a similar cell image, and more particularly, to an apparatus and method for searching for a similar cell image that can accurately and efficiently find cells similar to specific cells in the field of pathology.

최근 다양한 분야에서 이미지 분석 기술을 사용함에 따라서 많은 연구가 진행되고 있다. 이미지에서 특징을 추출하여 사람이라는 형체의 데이터와 유사한 특징을 가졌는지 확인하고 해당 이미지의 움직임을 추적하는 기술이 개발되었다. 또한, 유사한 방식으로 사람의 얼굴을 분석하는 기술이 개발되었는데, 이는 사람의 얼굴의 윤곽, 눈썹, 코, 입 그리고 눈 등의 모양을 데이터베이스에 존재하는 데이터와 비교하여 유사한 이미지의 객체인지 판단함으로써 유사성을 계산한다. 그 외에도 전체 이미지에서 문자나 자동차의 마크를 인식하여 어떠한 데이터인지 판단하는 연구도 활발히 진행되고 있으며, 의학 분야에서는 사람의 뇌를 CT로 촬영하고 해당 이미지로 데이터베이스에 저장되어 있는 유사한 뇌를 검출해내는 연구도 진행되고 있다.Recently, a lot of researches are going on by using image analysis technology in various fields. Techniques have been developed to extract features from an image and to verify that they have characteristics similar to those of a human shape and to track the movement of that image. In addition, a technique for analyzing a person's face has been developed in a similar manner, by comparing the shape of a person's face contour, eyebrows, nose, mouth, and eyes with data existing in the database to determine whether the object is a similar image, . In addition, research is being actively carried out to judge what kind of data is recognized by recognizing characters of a character or an automobile in the whole image. In the medical field, a human brain is photographed by CT, and a similar brain Research is also underway.

하지만, 병리학 분야에서는 이미지 유사도 비교 알고리즘을 적용하여 암세포를 탐색하는 것이 용이하지 않다, 위의 분야들과 달리, 병리학 분야에서는 병리학 이미지에 이미지 유사도 기법을 적용하여 작은 암세포를 찾아야 한다. 그리고 병리학 이미지는 지역 및 병원에 따라서 사용하는 이미지의 포맷 형식이 다른데, 그 이유는 병리학 이미지는 CT 또는 MRI 등에 사용되는 의료용 이미지(DICOM)와 다르게 이미지의 포맷이 일정하게 정해져 있지 않기 때문이다. 따라서 병리학 이미지에서 추출한 특징값을 기반으로 하는 이미지 유사도 기법의 적용은 정확한 결과를 제공하기 어렵다. However, in the field of pathology, it is not easy to search for cancer cells by applying an image similarity comparison algorithm. Unlike the above fields, in the pathology field, small cancer cells must be found by applying image similarity technique to pathological images. And the pathology image differs in the format of the image used according to the region and the hospital because the pathology image is different from the medical image (DICOM) used for CT or MRI because the format of the image is not fixed. Therefore, applying the image similarity method based on feature values extracted from pathological images is difficult to provide accurate results.

상술한 문제점을 해결하기 위해, 본 발명은 병리학 이미지에 최적의 조건을 지원하여 특정 세포와 유사한 세포를 정확하고 효율적으로 찾을 수 있는 유사 세포 이미지 탐색 장치 및 방법을 제공하는 것을 목적으로 한다. In order to solve the above problems, it is an object of the present invention to provide an apparatus and method for searching for a similar cell image that can optimally find a cell similar to a specific cell by optimally supporting a pathological image.

상술한 목적을 달성하기 위해, 본 발명의 일실시예에 따른 유사 세포 이미지 탐색 장치는, 병리학 촬영 이미지를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성하는 계층적 이미지 레벨 생성부와, 상기 계층적 이미지 레벨 생성부에서 생성된 상기 복수의 계층적 이미지 중에서 선택된 특정 레벨의 계층적 이미지에 타일링 기법을 적용하여 다수의 고정된 크기의 타일 이미지를 생성하는 타일 이미지 생성부와, 상기 타일 이미지 생성부에서 생성된 상기 타일 이미지의 크기에 따라 해당 타겟 세포 이미지의 크기를 상기 타일 이미지의 크기와 동기화시키는 타겟 이미지 동기화부와, 상기 타겟 이미지 동기화부에서 동기화된 타겟 세포 이미지로부터 이미지 특징을 추출하고, 상기 타일 이미지 생성부에서 생성된 각 타일 이미지로부터 각자의 이미지 특징을 추출하는 이미지 이미지 특징 추출부와, 및 상기 타겟 이미지 동기화부에서 동기화된 타겟 세포 이미지로부터 추출된 이미지 특징과 상기 각 타일 이미지로부터 추출된 각자의 이미지 특징을 비교하여 특징 유사도를 판단하는 특징 유사도 판단부를 제공한다.According to an aspect of the present invention, there is provided an apparatus for searching for a similar cell image, the apparatus comprising: a hierarchical image level generator for generating a plurality of hierarchical images by leveling the pathological images into hierarchical images; A tile image generating unit for generating a plurality of fixed size tile images by applying a tiling technique to a hierarchical image of a specific level selected from the plurality of hierarchical images generated by the hierarchical image level generating unit; A target image synchronization unit for synchronizing the size of the target cell image with the size of the tile image according to the size of the tile image generated by the generation unit; From each tile image generated by the tile image generating unit, And an image feature extracting unit for extracting an image feature of the target cell image and a feature similarity extracting unit for comparing the image feature extracted from the target cell image synchronized in the target image synchronizing unit and each image feature extracted from each tile image, And provides a feature similarity determination unit.

상기 타겟 이미지 동기화부는 상기 타겟 세포 이미지의 크기를 상기 타일 타겟 이미지 동기화부에 제공할 수 있고, 상기 타일 이미지 생성부는 상기 타겟 이미지 동기화부에서 제공된 상기 타겟 세포 이미지의 크기에 기초하여 상기 복수의 계층적 이미지 중에서 특정 레벨의 계층적 이미지를 선택할 수 있다.The target image synchronization unit may provide a size of the target cell image to the tile target image synchronization unit and the tile image generation unit may generate the target cell image based on the size of the target cell image provided by the target image synchronization unit, A hierarchical image of a certain level can be selected from the images.

상기 타일 이미지 생성부는 상기 타겟 이미지의 동기화부에서 동기화될 타겟 세포 이미지의 확대 또는 축소의 스케일링을 고려하여 서로 같은 크기 또는 유사한 크기의 타일 이미지를 생성하도록 상기 복수의 계층적 이미지 중에서 특정 레벨의 계층적 이미지를 선택할 수 있다.Wherein the tile image generating unit generates a tile image of a specific level among the plurality of hierarchical images in order to generate a tile image of the same size or a similar size considering the scaling of enlargement or reduction of the target cell image to be synchronized in the synchronization unit of the target image You can select an image.

상기 이미지 이미지 특징 추출부는 이미지에서 식별이 용이한 특징점들을 선택한 후에 각 특징점을 중심으로 한 로컬 패치에 대해 특징 벡터를 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘 또는 어떤 점이 코너 점인지 여부를 판단하기 위해 결정 트리를 이용하여 코너 점 여부를 빠르게 판단하는 FAST(Features from Accelerated Segment Test) 알고리즘을 이용할 수 있다.The image image feature extraction unit extracts a feature vector from a local patch centered on each feature point after selecting feature points that are easily distinguishable from the image, or a SIFT (Scale Invariant Feature Transform) algorithm for determining whether a point is a corner point The FAST (Features from Accelerated Segment Test) algorithm can be used to quickly determine whether or not a corner is detected using a decision tree.

본 발명의 또 하나의 실시예에 따른 유사 세포 이미지 탐색 방법은, 병리학 촬영 이미지를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성하는 단계와, 상기 복수의 계층적 이미지를 생성하는 단계에서 생성된 상기 복수의 계층적 이미지 중에서 선택된 특정 레벨의 계층적 이미지에 타일링 기법을 적용하여 다수의 고정된 크기의 타일 이미지를 생성하는 단계와, 상기 타일 이미지를 생성하는 단계에서 생성된 상기 타일 이미지의 크기에 따라 해당 타겟 세포 이미지의 크기를 상기 타일 이미지의 크기와 동기화시키는 단계와, 상기 동기화시키는 단계에서 동기화된 타겟 세포 이미지로부터 이미지 특징을 추출하고, 상기 타일 이미지 생성부에서 생성된 각 타일 이미지로부터 각자의 이미지 특징을 추출하는 단계와, 및 상기 동기화시키는 단계에서 동기화된 타겟 세포 이미지로부터 추출된 이미지 특징과 상기 각 타일 이미지로부터 추출된 각자의 이미지 특징을 비교하여 특징 유사도를 판단하는 단계를 제공함으로써, 상술한 목적을 달성할 수 있다.According to another embodiment of the present invention, there is provided a method of searching for a similar cell image, the method comprising: generating a plurality of hierarchical images by leveling a pathological photographing image into hierarchical images; Generating a plurality of fixed size tile images by applying a tiling technique to a hierarchical image of a specific level selected from the plurality of generated hierarchical images; The method comprising the steps of: synchronizing a size of a target cell image with a size of the tile image according to size; extracting an image feature from a synchronized target cell image in the synchronizing step; Extracting an image feature of each of the plurality of images, And the step of comparing the image characteristics extracted from the target cell image synchronized in the step and the image characteristics of each of the tiles extracted from the tile images to determine the similarity degree.

상기 동기화시키는 단계는 각 타겟 세포 이미지의 크기를 분류하여 그 크기가 동일 또는 유사한 크기를 하나의 동기화 세트로 설정하고, 상기 이미지 특징을 추출하는 단계는 상기 하나의 동기화 세트에 포함된 각 타겟 세포 이미지 모두에서 이미지 특징을 추출하고, 상기 특징 유사도를 판단하는 단계는 상기 동기화시키는 단계에서 설정된 하나의 동기화 세트에 대해 모두 특징 유사도를 판단하고, 그리고, 상기 유사 세포 이미지 탐색 방법은 상기 설정된 하나의 동기화 세트에 대해 모두 특징 유사도를 판단한 후에 다른 동기화 세트에 대해 상기 동기화시키는 단계를 수행하게 할 수 있다. Wherein the step of synchronizing classifies the size of each target cell image and sets the size of the same or similar size to one synchronization set, and extracting the image characteristic comprises: Wherein the step of extracting an image feature from all of the plurality of sets of synchronization images comprises the steps of: determining feature similarity; determining all feature similarities for one set of synchronization set in the synchronizing step; To perform the step of synchronizing with respect to the other synchronization set after determining the feature similarity to all of the synchronization sets.

상술한 구성에 의해, 본 발명은 병리학 이미지에 최적의 조건을 지원하여 특정 세포와 유사한 세포를 정확하고 효율적으로 찾을 수 있다.According to the above-described configuration, the present invention supports optimal conditions for a pathological image, so that cells similar to specific cells can be accurately and efficiently found.

본 발명은 또한 타일링 기법을 이용함으로 비교 가능한 깔끔한 픽셀로 구성된 이미지를 얻을 수 있을 뿐만 병리학 이미지가 용량이 커서 수행 메모리에 로딩되지 않을 가능성을 방지할 수 있다.The present invention can also obtain an image composed of comparable clean pixels by using the tiling technique, but also prevent the possibility that the pathology image is not loaded in the execution memory due to its large capacity.

본 발명은 동일 또는 유사한 크기를 하나의 동기화 세트로 설정함으로써 각 타겟 세포 이미지마다 동기화를 수행하는 경우에 비해 처리 속도를 개선할 수 있다. The present invention can improve the processing speed compared to performing synchronization for each target cell image by setting the same or similar size to one synchronization set.

도 1은 본 발명의 일실시예에 따른 유사 세포 이미지 탐색 시스템의 개략적인 설명을 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 유사 세포 이미지 탐색 장치의 블록도를 도시한 도면이다.
도 3은 본 발명의 계층적 영상 구조의 일 실시예를 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 계층적 이미지 레벨링과 선택된 레벨링에 대한 타일링을 설명하는 도면이다.
도 5는 도 2의 타겟 이미지 동기화부에서의 이미지 크기 동기화 과정을 설명하는 도면이다.
도 6은 본 발명에 따른 이미지 특징 추출과 특징 유사도 판단 과정을 설명하는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 유사 세포 이미지 탐색 방법의 흐름도를 도시한 도면이다.
도 8은 본 발명에 따라 탐색한 유사 세포 이미지들을 보여주는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram illustrating a pseudo-cell image search system according to an embodiment of the present invention. FIG.
2 is a block diagram of an apparatus for searching for a similar cell image according to an embodiment of the present invention.
FIG. 3 is a view for explaining an embodiment of the hierarchical image structure of the present invention.
4 is a diagram for explaining hierarchical image leveling of the present invention and tiling for selected leveling.
5 is a view for explaining an image size synchronization process in the target image synchronization unit of FIG.
FIG. 6 is a diagram for explaining an image feature extraction process and a feature similarity determination process according to the present invention.
FIG. 7 is a flowchart illustrating a similar cell image search method according to another embodiment of the present invention.
FIG. 8 is a view showing pseudo-cell images searched according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 유사 세포 이미지 탐색 장치 및 방법의 실시예들을 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.Hereinafter, embodiments of an apparatus and method for searching for a similar cell image according to the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, it is to be understood that the terminology used herein is for the purpose of describing particular and exemplary embodiments of the invention, Will be.

도 1은 본 발명의 일실시예에 따른 유사 세포 이미지 탐색 시스템의 개략적인 설명을 도시하는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram illustrating a pseudo-cell image search system according to an embodiment of the present invention. FIG.

도 1에 도시된 바와 같이, 유사 세포 이미지 탐색 시스템은 병리학 촬영 이미지(112)를 제공하는 병리학 촬영 이미지 제공 장치(110), 타겟 세포 이미지들(122)을 제공하는 타겟 세포 이미지 제공 장치(120), 병리학 촬영 이미지 제공 장치(110)로 제공된 병리학 촬영 이미지(112)와 타겟 세포 이미지 제공 장치(120)에서 제공된 타겟 세포 이미지들(122)을 비교하여 병리학 촬영 이미지(112) 중에서 타겟 세포 이미지들(122)과 유사한 세포들을 탐색하는 유사 세포 이미지 탐색 장치(130), 및 탐색한 유사 세포 이미지(142)를 디스플레이하는 디스플레이 장치(140)로 구성될 수 있다.1, the pseudocellular image search system includes a pathological shot image providing device 110 for providing a pathological shot image 112, a target cell image providing device 120 for providing target cell images 122, The pathological photographing image 112 provided to the pathological photographing image providing apparatus 110 and the target cell images 122 provided by the target cell image providing apparatus 120 are compared with each other, A pseudo cell image search device 130 for searching for cells similar to the pseudo cell image 122, and a display device 140 for displaying the pseudo cell image 142 searched.

도 2는 본 발명의 일실시예에 따른 유사 세포 이미지 탐색 장치의 블록도를 도시한 도면이고, 도 3은 본 발명의 계층적 영상 구조의 일 실시예를 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 계층적 이미지 레벨링과 선택된 레벨링에 대한 타일링을 설명하는 도면이고, 도 5는 도 2의 타겟 이미지 동기화부에서의 이미지 크기 동기화 과정을 설명하는 도면이고, 그리고 도 6은 본 발명에 따른 이미지 특징 추출과 특징 유사도 판단 과정을 설명하는 도면이다. FIG. 2 is a block diagram of an apparatus for searching for a similar cell image according to an embodiment of the present invention. FIG. 3 is a view for explaining an embodiment of a hierarchical image structure of the present invention, FIG. 5 is a view for explaining a process of synchronizing an image size in the target image synchronizing unit of FIG. 2, and FIG. 6 is a view for explaining a process of synchronizing the image size in the target image synchronizing unit of FIG. FIG. 8 is a diagram for explaining an image feature extraction process and a feature similarity determination process.

도 2에 도시된 바와 같이, 유사 세포 이미지 탐색 장치(130)는 계층적 이미지 레벨 생성부(210), 타일 이미지 생성부(220), 타겟 이미지 동기화부(230), 이미지 특징 추출부(240), 특징 유사도 판단부(250) 및 유사 이미지 저장부(260)를 포함할 수 있다.2, the pseudo-cell image search apparatus 130 includes a hierarchical image level generating unit 210, a tile image generating unit 220, a target image synchronizing unit 230, an image feature extracting unit 240, A feature similarity determination unit 250, and a similar image storage unit 260. [0034] FIG.

계층적 이미지 레벨 생성부(210)는 병리학 촬영 이미지 제공 장치(110)에서 제공된 병리학 촬영 이미지(112)를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성한다. 본 발명의 계층적 영상 구조의 일 실시예를 설명하는 레벨링의 예가 도 3에 도시되어 있다.The hierarchical image level generating unit 210 generates a plurality of hierarchical images by leveling the pathological imaging image 112 provided by the pathological imaging image providing apparatus 110 into hierarchical images. An example of leveling to illustrate one embodiment of the hierarchical image structure of the present invention is shown in FIG.

도 3에서 310은 3개의 계층적 이미지 레벨을 가지는 계층적 이미지 레벨 구조를 나타내는 도면이고, 320은 310의 계층적 이미지 레벨 구조를 도형적으로 표현한 것이다. 도 3의 실시예에서는 계층적 이미지 레벨이 3단계로 도시되어 있으나, 계층적 이미지 레벨이 이에 한정되는 것은 아니다. 또한, 레벨 2의 이미지의 크기가 (H x W)라면, 레벨 1의 이미지의 크기는 (H/2 x W/2)일 수 있고, 레벨 0의 이미지의 크기는 (H/4 x W/4)일 수 있으나, 이런 계층적 이미지 레벨 구조가 반드시 이러한 비율로 감축되어야 하는 것은 아니다.In FIG. 3, 310 denotes a hierarchical image level structure having three hierarchical image levels, and 320 denotes a hierarchical image level structure of 310. In the embodiment of FIG. 3, the hierarchical image level is shown in three levels, but the hierarchical image level is not limited thereto. If the level of the image of level 2 is (H x W), the size of the image of level 1 may be (H / 2 x W / 2) 4), but this hierarchical image-level structure does not necessarily have to be reduced at this rate.

계층적 이미지 레벨 생성부(210)는 병리학 촬영 이미지 제공 장치(110)에서 제공된 병리학 촬영 이미지(112)를 계층적 이미지로 레벨링한 후에 각 레벨마다 레벨링된 이미지가 얼마의 픽셀로 구성되어 있는지 그리고 어느 정도 다운 샘플링이 되었는지를 표시하는 메타데이터 파일을 생성한다. 계층적 이미지 레벨 생성부(210)에서 생성된 복수의 계층적 이미지 레벨들 중에서 어떠한 레벨을 선택할지는 타일 이미지 생성부(220)에서 이 메타데이터를 통해서 결정된다.The hierarchical image level generating unit 210 level-maps the pathological photographing image 112 provided by the pathological photographed image providing apparatus 110 to a hierarchical image, and then determines how many pixels the leveled image is composed of, And a meta data file indicating whether or not downsampling has been performed. The tile image generating unit 220 determines the level from among the plurality of hierarchical image levels generated by the hierarchical image level generating unit 210 through the metadata.

한편, 계층적 이미지 레벨 생성부(210)는 수많은 중복되는 병리학 촬영 이미지를 이용하여 피라미드 형식으로 스케일링하여 복수의 계층적 이미지를 만들 수 있다. On the other hand, the hierarchical image level generator 210 can scale a plurality of hierarchical images in a pyramid format using a number of overlapping pathological images.

타일 이미지 생성부(220)는 계층적 이미지 레벨 생성부(210)에서 생성되어 선택된 특정 레벨의 이미지를 타일링 기법을 적용하여 선택된 계층적 이미지 레벨의 이미지를 다수의 고정된 크기로 분할할 수 있다. 여기서 특정 레벨의 선택은 타겟 이미지 동기화부(230)에서 제공된 타겟 세포 이미지(122)의 크기에 기초하여 선택될 수 있다. 즉, 타겟 세포 이미지(122)의 크기를 확대 또는 축소하는 스케일링을 수행하여 동기화를 행할 때, 같은 크기 또는 유사한 크기가 될 수 있는 레벨링을 선택하여 타일링을 수행한다. 이러한 타일링 기법에 의해 비교 가능한 깔끔한 픽셀로 구성된 이미지를 얻을 수 있다.The tile image generating unit 220 may divide an image of a selected hierarchical image level into a plurality of fixed sizes by applying a tiling technique to an image of a specific level generated by the hierarchical image level generator 210. [ Where the selection of a particular level may be selected based on the size of the target cell image 122 provided in the target image synchronization unit 230. [ That is, when performing synchronization by performing scaling for enlarging or reducing the size of the target cell image 122, tiling is performed by selecting a leveling that can be the same size or a similar size. With this tiling technique, you can get an image composed of clean comparable pixels.

또한, 병리학 이미지는 의료용 이미지 포맷인 DICOM과는 다르게 전체 이미지 픽셀의 개수가 많아 용량이 매우 크다. 하지만, 픽셀 개수가 많게 되면 이미지 유사도 비교를 수행할 때 계산 및 탐색의 횟수가 방대하게 증가함으로 일반적인 이미지 유사도 비교법을 적용하여 결과값을 구하기 어려울 뿐만 아니라 픽셀이 많은 대용량 이미지일 경우에는 수행 메모리에 전체 이미지를 로딩할 수 없는 경우도 발생할 수 있다. 하지만, 본 실시예의 타일 이미지 생성부(220)에 의해 병리학 이미지가 갖는 이런 문제점이 추가로 개선될 수 있다.Also, unlike DICOM, which is a medical image format, the pathology image is very large because of the large number of image pixels. However, as the number of pixels increases, the number of computations and searches increases dramatically when image similarity comparison is performed. Therefore, it is difficult to obtain a result value by applying a general image similarity comparison method. In addition, in the case of a large- It may happen that the image can not be loaded. However, this problem of the pathological image can be further improved by the tile image generating unit 220 of the present embodiment.

타일 이미지 생성부(220)는 선택된 계층적 이미지 레벨의 이미지를 다수의 고정된 크기로 분할할 때에는 선택된 레벨의 전체 이미지를 고정된 크기로 블록화하여 타일링할 수 있다. When dividing the image of the selected hierarchical image level into a plurality of fixed sizes, the tile image generating unit 220 may block and tile the entire image of the selected level at a fixed size.

본 발명의 계층적 이미지 레벨링과 선택된 레벨링에 대한 타일링을 설명하는 도면이 도 4에 도시되어 있다.A diagram illustrating the hierarchical image leveling of the present invention and tiling for selected leveling is shown in FIG.

타겟 이미지 동기화부(230)는 타겟 세포 이미지 제공 장치(120)로부터 제공된 타겟 세포 이미지(122)의 크기를 얻어서 타일 이미지 생성부(220)에 제공한다. 그리고 타일 이미지 생성부(220)에 생성된 타일 이미지 크기에 따라 타겟 세포 이미지(122)를 타일 이미지의 픽셀과 동일한 크기로 동기화시킨다.The target image synchronizing unit 230 obtains the size of the target cell image 122 provided from the target cell image providing apparatus 120 and provides it to the tile image generating unit 220. The target cell image 122 is synchronized with the pixels of the tile image according to the size of the tile image generated in the tile image generating unit 220.

한편, 타겟 이미지 동기화부(230)는 각각의 타겟 세포 이미지(122)마다 병리학 촬영 이미지(112)의 타일링을 방지하기 위해 동일 또는 유사한 크기를 하나의 동기화 세트로 설정하여 다수의 타겟 세포 이미지들(122)을 얻을 수 있다.Meanwhile, the target image synchronization unit 230 may set the same or similar size to one synchronization set to prevent tiling of the pathological imaging image 112 for each target cell image 122 to generate a plurality of target cell images ( 122) can be obtained.

도 2의 타겟 이미지 동기화부(230)에서의 이미지 크기 동기화 과정을 설명하는 예가 도 5에 도시되어 있다.An example of an image size synchronization process in the target image synchronization unit 230 of FIG. 2 is shown in FIG.

이미지 특징 추출부(240)는 타겟 이미지 동기화부(230)에서 동기화된 동기화 타겟 세포 이미지(122)와 타일 이미지 생성부(220)에서 생성된 각 타일 이미지로부터 이미지 특징을 추출한다. 타겟 이미지 동기화부(230)에서 하나의 동기화 세트에 대해 타겟 세포 이미지들(122)을 취득한 경우에는 동일한 크기의 타겟 세포 이미지들(122) 모두에서 이미지 특징을 추출할 수 있다. 이 경우 타겟 세포 이미지(122)마다의 타일 이미지 생성부(220)에서 타일링을 수행하지 않아도 되므로 그만큼 처리 속도를 향상시킬 수 있다.The image feature extraction unit 240 extracts image features from the synchronized target cell image 122 synchronized by the target image synchronization unit 230 and each tile image generated by the tile image generation unit 220. If the target cell images 122 are acquired for one synchronization set in the target image synchronization unit 230, image characteristics can be extracted in both target cell images 122 of the same size. In this case, since the tile image generation unit 220 for each target cell image 122 does not have to perform tiling, the processing speed can be improved accordingly.

이미지 특징 추출부(240)에서 사용되는 이미지 유사도 알고리즘은 특징 값을 추출할 때 사용되는 키 값이 무엇인지에 따라 여러 종류의 알고리즘의 나뉜다. The image similarity algorithm used in the image feature extraction unit 240 is divided into various kinds of algorithms according to the key value used when extracting feature values.

SIFT(Scale Invariant Feature Transform)는 이미지에서 식별이 용이한 특징점들을 선택한 후에 각 특징점을 중심으로 한 로컬 패치에 대해 특징 벡터를 추출하는 것을 말한다.SIFT (Scale Invariant Feature Transform) refers to extracting a feature vector for a local patch centered on each feature point after selecting feature points that are easy to identify in the image.

HOG(Histogram of Oriented Gradient)는 대상 영역을 일정 크기의 셀로 분할하고, 각 셀마다 에지 픽셀들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램 값들을 일렬로 연결한 벡터이다.Histogram of Oriented Gradient (HOG) is a vector obtained by dividing an object area into cells of a certain size, obtaining a histogram of the direction of edge pixels for each cell, and connecting the histogram values in a line.

BoW(Bag of Words) 기법은 국부 특징에 대한 히스토그램을 사용하지만　사실 어떤 영상 특징을 사용하느냐에 따라서 다양한 활용이 가능하다. BoW 기법은 색상을 추출할 수도 있고 픽셀 값 단위로 추출할 수도 있다. 이렇게 추출된 색들의 히스토그램이 어떤 이미지의 히스토그램과 유사한지를 비교함으로써 유사도를 측정할 수 있다. The BoW (Bag of Words) technique uses histograms of local features, but in fact it can be used in a variety of ways depending on which image features are used. The BoW technique can extract colors or extract pixel values. The degree of similarity can be measured by comparing the histogram of the extracted colors with the histogram of an image.

FAST(Feature from Accelerated Segment Test)는 어떤 점이 코너점인지 여부를 판단하기 위해 결정 트리를 이용하여 코너점 여부를 빠르게 판단하는 방법을 사용한다.FAST (Feature from Accelerated Segment Test) uses a decision tree to quickly determine whether or not a corner is a corner point in order to determine whether or not a corner is a corner point.

본 발명에서는 실험 데이터에 따르면 FAST와 SIFT는 다른 알고리즘보다 수행하는 시간대에 비해서 키 포인트를 많이 추출하여 유사도 비교에 효율적임을 보여다. 이유는 키 포인트를 많이 추출하게 되면 유사도 비교에서 계산하는 데이터가 많아짐으로 유사한 세포를 탐색 확률이 높아지기 때문이다.According to the experimental data of the present invention, FAST and SIFT are shown to be more efficient in comparing similarity by extracting a larger number of key points than the other algorithms. The reason is that if you extract a lot of key points, the number of data to be calculated in the similarity comparison increases, and the probability of searching for similar cells increases.

특징 유사도 판단부(250)는 타겟 이미지 동기화부(230)에서 동기화된 타겟 세포 이미지로부터 추출한 이미지 특징과 타일 이미지 생성부(220)에서 생성된 각 타일 이미지로부터 추출한 이미지 특징을 비교하여 유사도를 비교한다. The feature similarity determination unit 250 compares the image feature extracted from the synchronized target cell image in the target image synchronization unit 230 with the image feature extracted from each tile image generated in the tile image generation unit 220 to compare the similarity .

본 발명에 따른 이미지 특징 추출과 특징 유사도 판단 과정을 설명하는 예가 도 6에 도시되어 있다.An example of explaining image feature extraction and feature similarity determination according to the present invention is shown in FIG.

유사 이미지 저장부(260)에는 특징 유사도 판단부(250)에서 타겟 세포 이미지(122)와 유사하다고 판단된 타일 이미지들이 저장된다. 유사 이미지 저장부(260)에서 저장된 타겟 세포와 유사한 타일 이미지들(122)은 프로세서에 의해 디스플레이 장치(140)에 표시될 수 있다.The similarity storage unit 260 stores the tile images determined to be similar to the target cell image 122 in the similarity degree determination unit 250. The tile images 122 similar to the stored target cells in the similar image storage unit 260 may be displayed on the display device 140 by the processor.

도 7은 본 발명의 다른 실시예에 따른 유사 세포 이미지 탐색 방법의 흐름도를 도시한 도면이다.FIG. 7 is a flowchart illustrating a similar cell image search method according to another embodiment of the present invention.

타겟 세포 이미지 제공 장치(120)는 타겟 세포 이미지들(122)을 제공한다(S702). 타겟 세포 이미지 제공 장치(120)는 유사 세포 이미지 탐색 장치((130)가 액세스할 수 있는 데이터베이스일 수 있다.The target cell image providing apparatus 120 provides target cell images 122 (S702). The target cell image providing device 120 may be a database that can be accessed by the pseudo-cell image search device 130. [

병리학 촬영 이미지 제공 장치(110)는 병리학 이미지를 촬영하여 병리학 촬영 이미지를 제공한다(S704).The pathological imaging image providing apparatus 110 photographs a pathological image and provides a pathological imaging image (S704).

계층적 이미지 레벨 생성부(210)는 병리학 촬영 이미지 제공 장치(110)에서 제공된 병리학 촬영 이미지(112)를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성한다(S706). 또한, 계층적 이미지 레벨 생성부(210)는 병리학 촬영 이미지 제공 장치(110)에서 제공된 병리학 촬영 이미지(112)를 계층적 이미지로 레벨링한 후에 각 레벨마다 레벨링된 이미지가 얼마의 픽셀로 구성되어 있는지 그리고 어느 정도 다운 샘플링이 되었는지를 표시하는 메타데이터 파일을 생성한다. The hierarchical image level generator 210 generates a plurality of hierarchical images by leveling the pathological photographed images 112 provided by the pathological photographed image providing apparatus 110 with hierarchical images (S706). In addition, the hierarchical image level generating unit 210 levels the pathological photographing image 112 provided by the pathological photographing image providing apparatus 110 to a hierarchical image, and then determines how many pixels the leveled image is composed of at each level Then, a metadata file indicating the degree of downsampling is generated.

타일 이미지 생성부(220)는 계층적 이미지 레벨 생성부(210)에서 생성되어 선택된 특정 레벨의 이미지를 타일링 기법을 적용하여 선택된 계층적 이미지 레벨의 이미지를 다수의 크기로 분할할 수 있다(S708). 여기서 특정 레벨의 선택은 타겟 이미지 동기화부(230)에서 제공된 타겟 세포 이미지(122)의 크기에 기초하여 계층적 이미지 레벨 생성부(210)에서 생성된 복수의 계층적 이미지 레벨들 중에서 어떠한 레벨을 선택할지를 타일 이미지 생성부(220)에서 이 메타데이터를 통해서 결정한다. The tile image generating unit 220 may divide the image of the selected hierarchical image level into a plurality of sizes by applying the tiling technique to the image of the specific level generated by the hierarchical image level generator 210 (S708) . Here, the selection of a specific level may be performed by selecting any level among the plurality of hierarchical image levels generated in the hierarchical image level generation unit 210 based on the size of the target cell image 122 provided in the target image synchronization unit 230 The tile image generation unit 220 determines whether the tile image is generated through the meta data.

타겟 이미지 동기화부(230)는 타일 이미지 생성부(220)에 생성된 타일 이미지 크기에 따라 타겟 세포 이미지(122)를 타일 이미지의 픽셀과 동일한 크기로 동기화시킨다(S710).The target image synchronization unit 230 synchronizes the target cell image 122 with the pixels of the tile image according to the tile image size generated in the tile image generation unit 220 in operation S710.

이미지 특징 추출부(240)는 타겟 이미지 동기화부(230)에서 동기화된 동기화 타겟 세포 이미지(122)와 타일 이미지 생성부(220)에서 생성된 각 타일 이미지로부터 이미지 특징을 추출한다(S712).The image feature extraction unit 240 extracts image features from the synchronization target cell image 122 synchronized in the target image synchronization unit 230 and each tile image generated in the tile image generation unit 220 in operation S712.

특징 유사도 판단부(250)는 타겟 이미지 동기화부(230)에서 동기화된 타겟 세포 이미지로부터 추출한 이미지 특징과 타일 이미지 생성부(220)에서 생성된 각 타일 이미지로부터 추출한 이미지 특징을 비교하여 유사도를 판단한다(S714). 유사 이미지 저장부(260)에는 특징 유사도 판단부(250)에서 타겟 세포 이미지(122)와 유사하다고 판단된 타일 이미지들이 저장된다(S716). The feature similarity determining unit 250 compares the image feature extracted from the synchronized target cell image in the target image synchronizing unit 230 with the image feature extracted from each tile image generated in the tile image generating unit 220 to determine the similarity (S714). In the similar image storage unit 260, the similarity degree determination unit 250 stores the tile images determined to be similar to the target cell image 122 (S716).

모든 타일 이미지에 대해 유사 세포 탐색이 끝나면(S718), 유사 이미지 저장부(260)에서 저장된 타겟 세포와 유사한 타일 이미지들(122)은 프로세서에 의해 디스플레이 장치(140)에 표시된다(S720). 의사들은 디스플레이 장치(140)에 표시된 유사한 타일 이미지들을 통해 병리학 촬영 이미지에 예를 들어 어떤 암세포가 있는지를 예측해 볼 수 있다.When the similar cell search for all the tile images is completed (S718), tile images 122 similar to the target cells stored in the similar image storage unit 260 are displayed on the display device 140 by the processor (S720). Physicians can, for example, predict which cancer cells are present in the pathological imaging image through similar tile images displayed on the display device 140.

도 8은 본 발명에 따라 탐색한 유사 세포 이미지들을 보여주는 도면이다.FIG. 8 is a view showing pseudo-cell images searched according to the present invention.

도 8의 (a)는 타겟 이미지 동기화(230)에서 타겟 세포 이미지 제공 장치(120)가 제공한 타겟 세포 이미지에 이미지 동기화 작업을 수행한 결과이다. 도 8의 (a)의 크기는 타일 이미지 생성부(220)에서 선택된 레벨의 이미지를 타일링할 때의 크기와 동일하게 된다. 8A is a result of performing an image synchronization operation on a target cell image provided by the target cell image providing apparatus 120 in the target image synchronization 230. In FIG. The size of FIG. 8A is the same as the size of the tile image at the level selected by the tile image generating unit 220.

도 8의 (b)는 비교대상이 되는 병리학 촬영 이미지이다. 이 병리학 촬영 이미지는 계층적 이미지 레벨 생성부(210) 및 타일 이미지 생성부(220)의 수행에 따라 도 8의 (a)의 타겟 세포 이미지와 동일 또는 유사한 크기가 될 수 있다. 그리고 도 8의 (c), (d) 및 (e)는 도 8의 (a)의 타겟 세포 이미지와 유사한 세포를 탐색한 결과이다. 의사는 도 8의 (c), (d) 및 (e)와 같은 타일링된 세포 이미지로부터 병리학 촬여 이미지에 예를 들어 어떤 암세포가 있는지를 예측해 볼 수 있다.FIG. 8 (b) is a pathological imaging image to be compared. This pathologic shot image may have the same or similar size as the target cell image of FIG. 8 (a) according to the performance of the hierarchical image level generator 210 and the tile image generator 220. 8 (c), 8 (d) and 8 (e) are the results of searching for cells similar to the target cell image of FIG. 8 (a). The physician can predict, for example, which cancer cells are present in the pathologic captured image from the tiled cell image as shown in (c), (d) and (e) of FIG.

본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The scope of protection of the present invention should be interpreted according to the claims. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention as defined by the appended claims. It should be interpreted that it is included in the scope of right.

110: 병리학 촬영 이미지 제공 장치 120: 타겟 세포 이미지 제공 장치
130: 유사 세포 이미지 탐색 장치 140: 디스플레이 장치
210: 계층적 이미지 레벨 생성부 220: 타일 이미지 생성부
230: 타겟 이미지 동기화부 240: 이미지 특징 추출부
250: 특징 유사도 판단부 260: 유사 이미지 저장부 110: pathological imaging image providing device 120: target cell image providing device
130: pseudo-cell image search device 140: display device
210: hierarchical image level generation unit 220: tile image generation unit
230: target image synchronization unit 240: image feature extraction unit
250: Feature similarity determination unit 260: Similar image storage unit

Claims (7)

병리학 촬영 이미지를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성하는 계층적 이미지 레벨 생성부와,
상기 계층적 이미지 레벨 생성부에서 생성된 상기 복수의 계층적 이미지 중에서 선택된 특정 레벨의 계층적 이미지에 타일링 기법을 적용하여 다수의 고정된 크기의 타일 이미지를 생성하는 타일 이미지 생성부와,
상기 타일 이미지 생성부에서 생성된 상기 타일 이미지의 크기에 따라 해당 타겟 세포 이미지의 크기를 상기 타일 이미지의 크기와 동기화시키는 타겟 이미지 동기화부와,
상기 타겟 이미지 동기화부에서 동기화된 타겟 세포 이미지로부터 이미지 특징을 추출하고, 상기 타일 이미지 생성부에서 생성된 각 타일 이미지로부터 각자의 이미지 특징을 추출하는 이미지 이미지 특징 추출부와, 및
상기 타겟 이미지 동기화부에서 동기화된 타겟 세포 이미지로부터 추출된 이미지 특징과 상기 각 타일 이미지로부터 추출된 각자의 이미지 특징을 비교하여 특징 유사도를 판단하는 특징 유사도 판단부를 포함하고,
상기 타겟 이미지 동기화부는 상기 타겟 세포 이미지의 크기를 상기 타일 이미지 생성부에 제공하고,
상기 타일 이미지 생성부는 상기 타겟 이미지 동기화부에서 제공된 상기 타겟 세포 이미지의 크기에 기초하여 상기 복수의 계층적 이미지 중에서 특정 레벨의 계층적 이미지를 선택하고,
상기 타일 이미지 생성부는 상기 타겟 이미지의 동기화부에서 동기화될 타겟 세포 이미지의 확대 또는 축소의 스케일링을 고려하여 서로 같은 크기 또는 유사한 크기의 타일 이미지를 생성하도록 상기 복수의 계층적 이미지 중에서 특정 레벨의 계층적 이미지를 선택하는 것을 특징으로 하는 유사 세포 이미지 탐색 장치. A hierarchical image level generator for generating a plurality of hierarchical images by leveling the pathological images with hierarchical images,
A tile image generating unit for generating a plurality of fixed size tile images by applying a tiling technique to a hierarchical image of a specific level selected from the plurality of hierarchical images generated by the hierarchical image level generating unit;
A target image synchronization unit for synchronizing the size of the target cell image with the size of the tile image according to the size of the tile image generated by the tile image generation unit;
An image feature extraction unit for extracting image features from the synchronized target cell image in the target image synchronization unit and extracting each image feature from each tile image generated by the tile image generation unit;
And a feature similarity degree determiner for comparing the image feature extracted from the synchronized target cell image and the image feature extracted from each tile image in the target image synchronizer to determine the feature similarity,
Wherein the target image synchronization unit provides the size of the target cell image to the tile image generation unit,
Wherein the tile image generating unit selects a hierarchical image of a specific level among the plurality of hierarchical images based on the size of the target cell image provided by the target image synchronizing unit,
Wherein the tile image generating unit generates a tile image of a specific level among the plurality of hierarchical images in order to generate a tile image of the same size or a similar size considering the scaling of enlargement or reduction of the target cell image to be synchronized in the synchronization unit of the target image And selecting an image of the similar cell image. 삭제delete 삭제delete 제1항에 있어서,
상기 이미지 이미지 특징 추출부는 이미지에서 식별이 용이한 특징점들을 선택한 후에 각 특징점을 중심으로 한 로컬 패치에 대해 특징 벡터를 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘 또는 어떤 점이 코너 점인지 여부를 판단하기 위해 결정 트리를 이용하여 코너 점 여부를 빠르게 판단하는 FAST(Features from Accelerated Segment Test) 알고리즘을 이용하는 것을 특징으로 하는 유사 세포 이미지 탐색 장치. The method according to claim 1,
The image image feature extraction unit extracts a feature vector from a local patch centered on each feature point after selecting feature points that are easily distinguishable from the image, or a SIFT (Scale Invariant Feature Transform) algorithm to determine which point is a corner point Characterized in that a FAST (Features from Accelerated Segment Test) algorithm is used to quickly determine whether or not a corner is detected by using a decision tree. 병리학 촬영 이미지를 계층적 이미지들로 레벨링하여 복수의 계층적 이미지를 생성하는 단계와,
상기 복수의 계층적 이미지를 생성하는 단계에서 생성된 상기 복수의 계층적 이미지 중에서 선택된 특정 레벨의 계층적 이미지에 타일링 기법을 적용하여 다수의 고정된 크기의 타일 이미지를 생성하는 단계와,
상기 타일 이미지를 생성하는 단계에서 생성된 상기 타일 이미지의 크기에 따라 해당 타겟 세포 이미지의 크기를 상기 타일 이미지의 크기와 동기화시키는 단계와,
상기 동기화시키는 단계에서 동기화된 타겟 세포 이미지로부터 이미지 특징을 추출하고, 상기 타일 이미지를 생성하는 단계에서 생성된 각 타일 이미지로부터 각자의 이미지 특징을 추출하는 단계와, 및
상기 동기화시키는 단계에서 동기화된 타겟 세포 이미지로부터 추출된 이미지 특징과 상기 각 타일 이미지로부터 추출된 각자의 이미지 특징을 비교하여 특징 유사도를 판단하는 단계를 포함하고,
상기 타일 이미지를 생성하는 단계는 상기 타겟 세포 이미지의 크기에 기초하여 상기 복수의 계층적 이미지 중에서 특정 레벨의 계층적 이미지를 선택하고,
상기 타일 이미지를 생성하는 단계는 상기 동기화시키는 단계에서 동기화될 타겟 세포 이미지의 확대 또는 축소의 스케일링을 고려하여 서로 같은 크기 또는 유사한 크기의 타일 이미지를 생성하도록 상기 복수의 계층적 이미지 중에서 특정 레벨의 계층적 이미지를 선택하는 것을 특징으로 하는 유사 세포 이미지 탐색 방법. Generating a plurality of hierarchical images by leveling the pathological shot image with hierarchical images,
Generating a plurality of fixed-size tile images by applying a tiling technique to a hierarchical image of a specific level selected from the plurality of hierarchical images generated in the generating the plurality of hierarchical images;
Synchronizing the size of the target cell image with the size of the tile image according to the size of the tile image generated in the step of generating the tile image;
Extracting an image feature from the synchronized target cell image in the synchronizing step and extracting each image feature from each tile image generated in the step of generating the tile image;
And comparing the image characteristics extracted from the synchronized target cell image and the image characteristics extracted from each tile image in the synchronizing step to determine the similarity degree,
Wherein the generating the tile image comprises: selecting a hierarchical image of a particular level from the plurality of hierarchical images based on the size of the target cell image;
Wherein the step of generating the tile image comprises generating a tile image of a certain level of the plurality of hierarchical images to generate a tile image of the same size or a similar size considering the scaling of the enlargement or reduction of the target cell image to be synchronized in the synchronizing step, And selecting an image of the pseudo-cell image. 삭제delete 제5항에 있어서,
상기 동기화시키는 단계는 각 타겟 세포 이미지의 크기를 분류하여 그 크기가 동일 또는 유사한 크기를 하나의 동기화 세트로 설정하고,
상기 이미지 특징을 추출하는 단계는 상기 하나의 동기화 세트에 포함된 각 타겟 세포 이미지 모두에서 이미지 특징을 추출하고,
상기 특징 유사도를 판단하는 단계는 상기 동기화시키는 단계에서 설정된 하나의 동기화 세트에 대해 모두 특징 유사도를 판단하고, 그리고,
상기 설정된 하나의 동기화 세트에 대해 모두 특징 유사도를 판단한 후에 다른 동기화 세트에 대해 상기 동기화시키는 단계를 수행하게 하는 것을 특징으로 하는 유사 세포 이미지 탐색 방법.6. The method of claim 5,
Wherein the step of synchronizing comprises classifying the size of each target cell image and setting the same or similar size to one synchronization set,
Wherein extracting the image feature comprises extracting an image feature from each of the target cell images included in the one synchronization set,
Wherein the step of determining the feature similarity comprises: determining all feature similarities for one synchronization set set in the synchronizing step;
And determining the feature similarity for the set one synchronization set and then performing the synchronization for the other synchronization set.
KR1020160096342A 2016-07-28 2016-07-28 Apparatus and method for searching images of like cells KR101847587B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160096342A KR101847587B1 (en) 2016-07-28 2016-07-28 Apparatus and method for searching images of like cells

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160096342A KR101847587B1 (en) 2016-07-28 2016-07-28 Apparatus and method for searching images of like cells

Publications (2)

Publication Number Publication Date
KR20180013130A KR20180013130A (en) 2018-02-07
KR101847587B1 true KR101847587B1 (en) 2018-04-10

Family

ID=61204385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160096342A KR101847587B1 (en) 2016-07-28 2016-07-28 Apparatus and method for searching images of like cells

Country Status (1)

Country Link
KR (1) KR101847587B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986783B (en) * 2020-08-05 2023-03-28 中南大学湘雅二医院 Pathological picture loading method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307358A (en) 2006-04-17 2007-11-29 Fujifilm Corp Method, apparatus and program for image treatment
JP2015146970A (en) * 2014-02-07 2015-08-20 国立大学法人広島大学 Endoscope image diagnosis support system
JP2015230715A (en) 2014-06-06 2015-12-21 株式会社デンソーアイティーラボラトリ Feature quantity arithmetic device, feature quantity arithmetic method, and feature quantity arithmetic program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307358A (en) 2006-04-17 2007-11-29 Fujifilm Corp Method, apparatus and program for image treatment
JP2015146970A (en) * 2014-02-07 2015-08-20 国立大学法人広島大学 Endoscope image diagnosis support system
JP2015230715A (en) 2014-06-06 2015-12-21 株式会社デンソーアイティーラボラトリ Feature quantity arithmetic device, feature quantity arithmetic method, and feature quantity arithmetic program

Also Published As

Publication number Publication date
KR20180013130A (en) 2018-02-07

Similar Documents

Publication Publication Date Title
CN105512683B (en) Object localization method and device based on convolutional neural networks
US9014467B2 (en) Image processing method and image processing device
KR101322168B1 (en) Apparatus for real-time face recognition
KR102294193B1 (en) Apparatus and method for supporting computer aided diagonosis based on probe speed
US8805117B2 (en) Methods for improving image search in large-scale databases
JP2009207709A (en) Image processing system, image preserving device, image processor, image processing method and program
CN109146867B (en) Oral cavity curved surface CT image biological feature extraction and matching method and device
JP5878924B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN106295640A (en) The object identification method of a kind of intelligent terminal and device
US10699156B2 (en) Method and a device for image matching
US8429163B1 (en) Content similarity pyramid
CN107408119A (en) Image retrieving apparatus, system and method
CN108229289B (en) Target retrieval method and device and electronic equipment
US7480412B2 (en) Toboggan-based shape characterization
CN105678778A (en) Image matching method and device
Ma et al. Combining population and patient-specific characteristics for prostate segmentation on 3D CT images
CN103995864B (en) A kind of image search method and device
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
JP2013101423A (en) Image matching device and image matching program
KR101847587B1 (en) Apparatus and method for searching images of like cells
Narvaez et al. Multi-view information fusion for automatic BI-RADS description of mammographic masses
JPWO2011099072A1 (en) Pattern identification device
JP6752122B2 (en) Image processing device, image processing method
CN114399731B (en) Target positioning method under supervision of single coarse point
Nehra et al. Detection of cervical cancer using GLCM and support vector machines

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant