KR102010085B1 - Method and apparatus for producing labeling image of microstructure using super-pixels - Google Patents
Method and apparatus for producing labeling image of microstructure using super-pixels Download PDFInfo
- Publication number
- KR102010085B1 KR102010085B1 KR1020170180190A KR20170180190A KR102010085B1 KR 102010085 B1 KR102010085 B1 KR 102010085B1 KR 1020170180190 A KR1020170180190 A KR 1020170180190A KR 20170180190 A KR20170180190 A KR 20170180190A KR 102010085 B1 KR102010085 B1 KR 102010085B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- superpixels
- microstructure
- histogram
- superpixel
- Prior art date
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 9
- 239000002184 metal Substances 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000000879 optical micrograph Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 라벨링 이미지 생성방법은 미세조직의 영상을 입력하는 단계와 입력된 미세조직의 영상을 다수의 수퍼픽셀로 분할하는 단계를 포함한다. 상기 라벨링 이미지 생성방법은 상기 다수의 수퍼픽셀중에서 특징이 유사한 수퍼픽셀을 선택하는 단계를 더 포함한다.A method of generating a labeling image according to an embodiment of the present invention includes inputting an image of a microstructure and dividing the input image of the microstructure into a plurality of superpixels. The method of generating a labeling image further includes selecting a superpixel having a similar feature among the plurality of superpixels.
Description
본 발명은 라벨링 이미지 생성방법 및 생성장치에 관한 것으로, 더욱 상세하게는 수퍼픽셀(super-pixel)을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치에 관한 것이다.The present invention relates to a method and apparatus for generating a labeling image, and more particularly, to a method and apparatus for generating a labeling image of a microstructure using a super-pixel.
영상의 중요한 응용 분야중의 하나가 영상에서 의미 있는 부분을 구별을 해내는 세그멘테이션(Segmentation)분야이다. 임계값(threshold)이나 에지(edge)에 기반한 단순 구별이 아니라, 영상에서 의미 있는 부분으로 구별해내는 기술을 시멘틱 세그멘테이션(Semantic Segmentation)이라고 한다.One important application of image is segmentation that distinguishes meaningful parts of the image. Semantic segmentation is a technique that distinguishes between meaningful parts of an image rather than simple distinction based on thresholds or edges.
도 1은 자율 주행 자동차에서 사물을 인식하는 시멘틱 세그멘테이션의 예를 보여준다. 도 1에서와 같이 자동차만을 분리해내는 시멘틱 세그멘테이션 기술을 개발하기 위해 컴퓨터 학습에 사용되는 수 천, 수 만장의 사진을 라벨링 데이터/이미지(Labeling Data/Image) 혹은 어노테이션 데이터/이미지(Annotation Data/Image)라고 한다. 1 shows an example of semantic segmentation for recognizing an object in an autonomous vehicle. As shown in Figure 1, to develop a semantic segmentation technology that separates only automobiles, thousands of pictures used for computer learning can be labeled as Labeling Data / Image or Annotation Data / Image. ).
라벨링 데이터/이미지를 얻기 위해서는 사람이 일일이 경계를 그리거나, 자동 어노테이션 툴(Annotation Tool)을 이용할 수 있다. 그러나, 형태가 정형화되지 않고, 특징이 유사한 상(phase)이 섞여 있는 금속 미세조직(microstructure)의 경우, 경계 검출이 용이하지 않아 라벨링 데이터/이미지의 생성을 자동화하기가 어렵다.In order to obtain labeling data / images, a person can draw a boundary or use an automatic annotation tool. However, in the case of metal microstructures whose shape is not standardized and in which phases with similar characteristics are mixed, boundary detection is not easy and it is difficult to automate the generation of labeling data / images.
본 발명의 목적은 수퍼픽셀(super-pixel)을 이용하여 미세조직의 라벨링 이미지를 자동으로 생성하는 방법 및 장치를 제공하는 것이다.It is an object of the present invention to provide a method and apparatus for automatically generating labeling images of microstructures using super-pixels.
본 발명의 일 실시예에 따른 라벨링 이미지 생성방법은 미세조직의 영상을 입력하는 단계와 입력된 미세조직의 영상을 다수의 수퍼픽셀로 분할하는 단계를 포함한다. 상기 라벨링 이미지 생성방법은 상기 다수의 수퍼픽셀중에서 특징이 유사한 수퍼픽셀을 선택하는 단계를 더 포함한다.A method of generating a labeling image according to an embodiment of the present invention includes inputting an image of a microstructure and dividing the input image of the microstructure into a plurality of superpixels. The method of generating a labeling image further includes selecting a superpixel having a similar feature among the plurality of superpixels.
또한, 본 발명의 일 실시예에 따른 라벨링 이미지 생성장치는 미세조직의 영상을 입력하는 영상 입력부와 입력된 미세조직의 영상을 다수의 수퍼픽셀로 분할하는 상 경계 분할부를 포함한다. 상기 라벨링 이미지 생성장치는 상기 다수의 수퍼픽셀중에서 특징이 유사한 수퍼픽셀을 선택하는 세그멘테이션부를 더 포함한다.In addition, the labeling image generating apparatus according to an embodiment of the present invention includes an image input unit for inputting an image of the microstructure and an image boundary divider for dividing the input image of the microstructure into a plurality of superpixels. The labeling image generating apparatus further includes a segmentation unit for selecting a superpixel having a similar feature among the plurality of superpixels.
본 발명에 따른 미세조직의 라벨링 이미지 생성방법 및 생성장치는 미세조직의 라벨링 이미지 생성과정을 자동화하여 미세조직의 라벨링 이미지 생성시간을 단축할 수 있으며 라벨링 이미지를 대량으로 생성할 수 있는 효과가 있다. 또한 미세조직의 라벨링 이미지 생성과정을 자동화하여 사람의 개입으로 인한 오차를 감소시킬 수 있다.The method and apparatus for generating a labeling image of a microstructure according to the present invention can shorten the generation time of a labeling image of the microstructure by automating a process of generating a labeling image of the microstructure and have an effect of generating a labeling image in large quantities. In addition, the process of automating the labeling image of the microstructure can be reduced by human error.
도 1은 자율 주행 자동차에서 사물을 인식하는 시멘틱 세그멘테이션의 예를 보여준다.
도 2는 종래 미세조직의 라벨링 이미지 생성과정을 보여주는 흐름도이다.
도 3은 라벨링 이미지를 생성하기 위해 입력되는 미세조직 영상의 예를 보여준다.
도 4는 도 3의 입력 영상에 대하여 상용화된 어노테이션 툴을 사용하여 경계를 분할한 영상을 보여준다.
도 5는 도 3의 입력 영상에 대하여 이미지 편집 툴을 이용하여 수동으로 경계를 분할한 후, 채색하여 라벨링한 영상을 보여준다.
도 6은 본 발명의 일 실시예에 따른 미세조직의 라벨링 이미지 생성과정을 보여주는 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 입력 영상에 수퍼픽셀 알고리즘을 적용한 결과를 보여준다.
도 8은 본 발명의 일 실시예에 따라 수퍼픽셀 알고리즘이 적용된 입력 영상에 대하여 특징이 유사한 수퍼픽셀을 구별하여 라벨링한 결과를 보여준다.
도 9는 본 발명의 다른 실시예에 따라 수퍼픽셀 알고리즘이 적용된 입력 영상에 대하여 특징이 유사한 수퍼픽셀을 구별하여 라벨링한 결과를 보여준다.
도 10은 본 발명의 일 실시예에 따른 미세조직의 라벨링 이미지 생성장치를 보여주는 블럭도이다.
도 11은 본 발명의 일 실시예에 따른 특징이 유사한 수퍼픽셀을 선택하는 과정을 보여주는 흐름도이다.1 shows an example of semantic segmentation for recognizing an object in an autonomous vehicle.
2 is a flowchart illustrating a process of generating a labeling image of a conventional microstructure.
3 shows an example of a microstructure image input to generate a labeling image.
4 illustrates an image obtained by dividing a boundary using an annotation tool commercially available for the input image of FIG. 3.
FIG. 5 is a diagram illustrating an image of a labeled image after dividing a boundary manually using an image editing tool with respect to the input image of FIG. 3.
6 is a flowchart illustrating a process of generating a labeling image of a microstructure according to an embodiment of the present invention.
7 illustrates a result of applying a superpixel algorithm to an input image according to an embodiment of the present invention.
8 illustrates a result of distinguishing and labeling superpixels having similar characteristics with respect to an input image to which a superpixel algorithm is applied according to an embodiment of the present invention.
9 illustrates a result of distinguishing and labeling superpixels having similar characteristics with respect to an input image to which a superpixel algorithm is applied according to another exemplary embodiment of the present invention.
10 is a block diagram showing an apparatus for generating a labeling image of a microstructure according to an embodiment of the present invention.
11 is a flowchart illustrating a process of selecting a superpixel having similar features according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.Hereinafter, with reference to the drawings will be described in detail a specific embodiment of the present invention. However, the spirit of the present invention is not limited to the embodiments presented, and those skilled in the art who understand the spirit of the present invention may deteriorate other inventions or the present invention by adding, modifying, or deleting other elements within the scope of the same idea. Other embodiments that fall within the scope of the inventive concept may be readily proposed, but they will also be included within the scope of the inventive concept.
또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In addition, the components with the same functions within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.
본 발명의 기술적 사상에 따른 일 실시예는 다상 미세조직(Multi-phase microstructure)에서 단상(Single phase) 영역을 분할(Segmentation)한 이미지를 신속하고 정확하게 생성하는 방법 및 장치에 관한 것이다. 본 발명의 일 실시예는 수퍼픽셀(super-pixel)을 이용하여 다상 미세조직에서 단상 영역을 분할한 이미지를 자동으로 생성한다.One embodiment of the present invention relates to a method and apparatus for quickly and accurately generating an image obtained by segmenting a single phase region in a multi-phase microstructure. An embodiment of the present invention automatically generates an image obtained by dividing a single phase region in a multiphase microstructure using a super-pixel.
종래에는 단상 영역을 분할한 이미지를 얻기 위해서는 사람이 일일이 경계를 그리거나, 자동 어노테이션 툴을 이용하였다. 예를 들면, 미세조직 이미지에서 같은 종류의 객체를 세그멘테이션하고 색을 입혀 표시하기 위하여 이미지 위에 투명한 종이를 대고 이미지를 똑같이 그려 영역을 분할하고, 분할된 영역 내에 색을 칠해 상(phase)을 구분하였다. 이와 같은 작업을 투명종이가 아닌, 이미지편집 툴 등의 도구를 사용하여 마우스로 경계를 그려낼 수도 있지만, 이 역시 수 백장 내지 수 천장을 그려내기에는 시간과 인력이 많이 투자되어야 하는 어려움이 있다. 특히 유사한 여러 상(phase)이 불균일하게 섞여 있고, 비선형적인 경계를 갖는 금속의 미세조직은 라벨링 이미지 생성을 자동화하기가 어려운 점이 있다. Conventionally, in order to obtain an image obtained by dividing a single phase region, a person draws a boundary or uses an automatic annotation tool. For example, in order to segment and color the same kind of object in a microstructured image, transparent paper was placed on the image, the image was drawn equally, and the areas were divided, and the colors were divided within the divided areas to distinguish phases. . This work can be drawn with the mouse using tools such as image editing tools, not transparent paper, but this also requires a lot of time and manpower to draw hundreds or thousands of ceilings. In particular, many similar phases are inhomogeneously mixed, and microstructures of metals with nonlinear boundaries are difficult to automate labeling image generation.
도 2는 종래의 미세조직 라벨링 이미지 생성과정을 보여주는 흐름도이다. 다상 미세조직의 영상이 입력되면(20), 수작업이나 어노테이션 툴을 사용하여 대상영역의 경계를 따라 분할한다(22). 경계를 따라 분할된 대상영역에 대하여 이미지 편집 툴을 이용하여 대상영역을 세그멘테이션/라벨링(segmentation/labeling)하며(24) 라벨링한 이미지를 출력한다(26). 2 is a flowchart illustrating a process of generating a conventional microstructure labeling image. When the image of the polyphase microstructure is input (20), the image is divided along the boundary of the target area using a manual or annotation tool (22). The target region segmented along the boundary is segmented / labeled using the image editing tool (24) and the labeled image is output (26).
도 3은 미세조직의 라벨링 이미지를 생성하기 위해 입력되는 다상 미세조직 영상을 예를 보여주고, 도 4는 도 3의 입력 영상에 대하여 어노테이션 툴을 사용하여 경계를 따라 대상 영역을 분할한 영상을 보여준다. 3 illustrates an example of a multiphase microstructure image input to generate a labeling image of a microstructure, and FIG. 4 illustrates an image obtained by dividing a target area along a boundary using an annotation tool with respect to the input image of FIG. 3. .
도 5는 도 3의 입력 영상에 대하여 이미지 편집 툴을 이용하여 대상 영역을 세그멘테이션/라벨링한 영상을 보여준다.FIG. 5 illustrates an image segmented / labeled on a target area using an image editing tool with respect to the input image of FIG. 3.
종래의 어노테이션 툴을 사용하여 대상 영역을 경계를 따라 분할한 경우 비선형 경계를 따라 그릴 수 없는 문제점이 있었고 또한 경계가 매우 부정확하였다. 또한, 이미지 편집 툴을 이용하여 경계를 따라 분할된 영상에 대하여 대상 영역을 세그멘테이션/라벨링하는 경우에는 경계를 따라 대상 영역을 잘 분리할 수는 있으나, 시간이 많이 소요되는 문제점이 있다.When the target area is divided along the boundary using a conventional annotation tool, there is a problem that cannot be drawn along the nonlinear boundary and the boundary is very inaccurate. In addition, when segmenting / labeling a target region with respect to an image segmented along a boundary using an image editing tool, although the target region may be well separated along the boundary, it takes a long time.
본 발명의 일 실시예는 종래의 문제점을 해결하기 위하여 수퍼픽셀(super-pixel)을 이용하여 경계의 분리가 매우 정확하고 빠른 미세조직의 라벨링 이미지 자동 생성 방법 및 장치를 제공한다. 본 발명의 일 실시예는 미세조직 영상에서 경계를 자동으로 검출하여 영역을 분할하고, 같은 패턴의 이미지(상)는 자동 추출하여 색을 입힌다. 따라서 본 발명의 일 실시예에 따른 장치와 방법을 이용하면 미세조직 세그멘테이션 작업이 빠르고, 설정값에 따라 일관되게 이루질 수 있는 장점이 있다.One embodiment of the present invention provides a method and apparatus for automatically generating a labeling image of a microstructure with a super accurate separation of boundaries using a super-pixel in order to solve the conventional problems. According to an embodiment of the present invention, a boundary is detected in a microstructure image to segment an area, and an image (image) of the same pattern is automatically extracted to color. Therefore, using the apparatus and method according to an embodiment of the present invention has the advantage that the microstructure segmentation work can be made quickly, consistently according to the set value.
도 6은 본 발명의 일 실시예에 따른 미세조직의 라벨링 이미지 생성과정을 보여주는 흐름도이다. 입력 영상으로서 복합상을 가지는 현미경 이미지를 입력한다(60). 입력 영상은 광학 현미경 영상 또는 전자 현미경 영상 모두 가능하다. 입력된 영상에 대하여 금속의 미세조직의 비선형 상 경계를 따라 영역을 분할하기 위해 수퍼픽셀(Super-pixel) 알고리즘을 적용한다(62). 수퍼픽셀(Super-pixel)알고리즘은 전체 이미지를 수 천개 내지 수 만개의 영역(수퍼픽셀)으로 분할할 수 있다. 이 때, 분할된 영역 내에는 한 개를 초과한 상이 포함이 되지 않으며 분할 영역이 결정립계를 따라 모양이 변형된다. 6 is a flowchart illustrating a process of generating a labeling image of a microstructure according to an embodiment of the present invention. A microscope image having a composite image is input as an input image (60). The input image can be either an optical microscope image or an electron microscope image. In
도 7은 도 3의 입력 영상에 대하여 수퍼픽셀(Super-pixel) 알고리즘이 적용된 미세조직 영상을 보여준다. 상 경계에 따라 다수의 영역으로 분할되고 나면, 한 가지 상 내에서만 다수의 수퍼픽셀(Super-pixel)을 포함할 수 있다. 여기서, 수퍼픽셀이란 서로 비슷한 색깔과 위치에 있는 픽셀들을 좀 더 큰 단위로 묶은 것을 의미한다. 이 영상 위에 상마다 색을 입혀 세그멘테이션/라벨링을 완성하기 위해서는 분리하고자 하는 상과 유사한 패턴(혹은 특징)을 수퍼픽셀들을 자동으로 찾아줄 수 있다. 예를 들면, 하나의 슈퍼픽셀을 선택하면 이와 유사한 슈퍼픽셀들을 찾아서 자동으로 선택하는 방법이 있다. 패턴이나 특징이 유사한 슈퍼픽셀들을 찾아내기 위해서는 슈퍼픽셀간의 유사도를 계산한다. 슈퍼픽셀은 모양과 크기가 모두 다르고 슈퍼픽셀을 구성하는 픽셀의 배치와 픽셀수가 서로 상이하다. 서로 다른 크기와 모양의 슈퍼픽셀을 비교하여 유사도를 측정하기 위해서는, 슈퍼픽셀을 동일한 길이의 벡터로 표현한다. 이를 위해, 슈퍼픽셀에 포함된 픽셀의 밝기 값에 대한 히스토그램을 계산하여, 히스토그램의 각 빈의 값으로 표현한다. 예들 들어, 히스토그램의 빈의 개수가 256 (한 픽셀의 밝기 값은 0~255 사이의 값)인 경우 슈퍼픽셀은 256개의 값으로 구성된 벡터로 표현할 수 있다. 이때, 픽셀의 위치관계가 손실되는 문제를 보완하기 위해, 밝기 값의 쌍에 대해, 즉 256x256개 빈(bin)으로 구성되는 히스토그램을 계산한다. 히스토그램 간의 유사도를 계산하여 슈퍼픽셀의 유사도로 사용한다. 유사도가 임계값 이상인 슈퍼픽셀을 자동으로 선택할 수 있다. 다른 실시예에서 픽셀 밝기 값을 적당한 범위로 줄여서 사용할 수 있다.FIG. 7 illustrates a microstructure image to which a super-pixel algorithm is applied to the input image of FIG. 3. After being divided into a plurality of regions along an image boundary, a plurality of super pixels may be included in only one image. Here, superpixels mean that pixels with similar colors and positions are grouped into larger units. In order to complete the segmentation / labeling by coloring each image on the image, the superpixels can automatically find a pattern (or feature) similar to the image to be separated. For example, selecting one superpixel finds and automatically selects similar superpixels. To find superpixels with similar patterns or features, the similarity between the superpixels is calculated. Superpixels have different shapes and sizes, and the arrangement and the number of pixels constituting the superpixels are different from each other. In order to measure similarity by comparing superpixels of different sizes and shapes, superpixels are expressed as vectors of the same length. To this end, a histogram of brightness values of pixels included in a superpixel is calculated and expressed as a value of each bin of the histogram. For example, when the number of bins of the histogram is 256 (the brightness value of one pixel is between 0 and 255), the superpixel may be expressed as a vector composed of 256 values. At this time, in order to compensate for the problem that the positional relationship of pixels is lost, a histogram of 256x256 bins is calculated for a pair of brightness values. The similarity between histograms is calculated and used as the superpixel similarity. Superpixels with similarity above the threshold can be selected automatically. In other embodiments, the pixel brightness value may be reduced to an appropriate range.
도 8은 도 7의 수퍼픽셀 알고리즘이 적용된 미세조직 영상에 대하여 동일 또는 유사한 패턴의 수퍼픽셀에 대하여 자동으로 색을 입힌 영상이고, 도 9는 도 7의 수퍼픽셀 알고리즘이 적용된 미세조직 영상에 대하여 동일 또는 유사한 패턴의 수퍼픽셀에 대하여 자동으로 색을 입혀 라벨링을 완성한 영상이다. FIG. 8 is an image automatically colored with respect to a superpixel having the same or similar pattern with respect to the microstructure image to which the superpixel algorithm of FIG. 7 is applied, and FIG. 9 is the same with respect to the microstructure image with the superpixel algorithm of FIG. Alternatively, the image is automatically colored by a similar pattern and completed labeling.
도 10은 본 발명의 일 실시예에 따른 미세조직의 라벨링 이미지 생성장치를 보여주는 블록도이다. 본 발명의 일 실시예에 따른 미세조직의 라벨링 이미지 생성장치(100)는 컴퓨팅 장치일 수 있으며 프로세서, 메모리, 입출력 인터페이스 등을 포함할 수 있다. 특히, 미세조직의 라벨링 이미지 생성장치(100)는 수퍼픽셀을 이용하여 미세조직의 라벨링 이미지를 자동적으로 생성하기 위하여 영상 입력부(102), 상 경계 분할부(104), 세그멘테이션/라벨링부(108)을 포함할 수 있다. 10 is a block diagram showing an apparatus for generating a labeling image of a microstructure according to an embodiment of the present invention. Labeling
영상 입력부(102)는 도 3과 같은 미세조직의 입력 영상을 받는다. 입력 영상은 전자 현미경 영상 또는 광학 현미경 영상일 수 있다. 상 경계 분할부(104)는 수퍼픽셀 알고리즘(106)을 포함하고 이 알고리즘을 이용하여 입력된 금속의 미세조직 영상에 대하여 비선형 상 경계를 따라 영역을 분할한다. 이 때, 분할된 영역 내에는 한 개를 초과한 상이 포함이 되지 않으며 분할 영역이 결정립계를 따라 모양이 변형된다. 세그멘테이션/라벨링부(108)는 상 경계에 따라 영역이 분할된 영상에 대하여 분리하고자 하는 상과 유사한 패턴이나 특징을 가진 영역들 선택한다. 예를 들면, 하나의 슈퍼픽셀을 선택하면 이와 유사한 슈퍼픽셀들을 찾아서 자동으로 선택할 수 있다. 유사한 슈퍼픽셀들을 찾아내기 위해서는 슈퍼픽셀간의 유사도를 계산하고 유사도가 임계값 이상인 슈퍼픽셀을 자동으로 선택할 수 있다. The
도 11은 본 발명의 일 실시예에 따른 세그멘테이션/라벨링 방법을 나타낸 흐름도이다. 본 발명의 일 실시예에서 세그멘테이션/라벨링 방법을 도 10에서 도시한 세그멘테이션/라벨링부(108)에 의하여 수행될 수 있다. 상 경계에 따라 영역이 분할된 미세조직의 영상에서 상마다 색을 입혀 세그멘테이션/라벨링을 완성하기 위해서 분리하고자 하는 상과 유사한 패턴이나 특징을 선택한다. 선택된 패턴이나 특징과 유사한 슈퍼픽셀들을 찾아내기 위해서는 슈퍼픽셀간의 유사도를 계산한다. 유사도를 계산하기 위해서는, 슈퍼픽셀을 동일한 길이의 벡터로 표현한다. 예를 들면, 슈퍼픽셀에 포함된 픽셀의 밝기 값에 대한 히스토그램을 계산하여(110), 히스토그램의 각 빈의 값으로 표현한다(112). 만약, 히스토그램의 빈의 개수가 256 (한 픽셀의 밝기 값은 0~255 사이의 값)인 경우 슈퍼픽셀은 256개의 값으로 구성된 벡터로 표현할 수 있다. 이때, 픽셀의 위치관계가 손실되는 문제를 보완하기 위해, 밝기 값의 쌍에 대해, 즉 256x256개 빈(bin)으로 구성되는 히스토그램을 계산한다(114). 히스토그램간의 유사도를 계산하여 슈퍼픽셀의 유사도로 사용할 수 있다(116). 유사도가 일정한 값 이상인 슈퍼픽셀을 선택할 수 있으며(118), 다른 실시예에서는 픽셀 밝기 값을 적당한 범위로 변경하여 사용할 수 있다.11 is a flowchart illustrating a segmentation / labeling method according to an embodiment of the present invention. In one embodiment of the present invention, the segmentation / labeling method may be performed by the segmentation /
지금까지의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The description so far is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. .
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
100: 라벨링 이미지 생성장치
102: 영상 입력부
104: 상 경계 분할부
106: 수퍼픽셀 알고리즘
108: 세그멘테이션/라벨링부100: labeling image generating device
102: video input unit
104: phase boundary divider
106: Superpixel algorithm
108: segmentation / labeling part
Claims (10)
입력된 미세조직의 영상을 다수의 수퍼픽셀(super-pixel)로 분할하는 단계; 및
상기 다수의 수퍼픽셀 중에서 특징이 유사한 수퍼픽셀을 선택하는 단계
를 포함하고,
상기 유사한 수퍼픽셀을 선택하는 단계는, 상기 다수의 수퍼픽셀을 동일한 길이의 벡터로 표현하는 단계를 포함하고,
상기 벡터로 표현하는 단계는,
상기 수퍼픽셀에 포함된 픽셀의 밝기값에 대한 히스토그램을 계산하는 단계; 및
상기 히스토그램의 빈의 값으로 상기 벡터를 표현하는 단계
를 포함하고,
상기 유사한 수퍼픽셀을 선택하는 단계는,
상기 히스토그램의 유사도를 계산하는 단계;
상기 히스토그램의 유사도를 수퍼픽셀의 유사도로 사용하는 단계; 및
상기 히스토그램의 유사도가 일정한 값 이상인 수퍼픽셀을 자동으로 선택하는 단계
를 포함하는 라벨링 이미지 생성방법.Inputting an image of the microstructure;
Dividing the input microstructure image into a plurality of super-pixels; And
Selecting a superpixel having a similar feature among the plurality of superpixels
Including,
Selecting the similar superpixels comprises representing the plurality of superpixels as a vector of equal length,
The step of expressing as a vector,
Calculating a histogram of brightness values of pixels included in the superpixels; And
Expressing the vector with the value of the bin of the histogram
Including,
Selecting the similar superpixel,
Calculating a similarity of the histogram;
Using the similarity of the histogram as the similarity of the superpixels; And
Automatically selecting a superpixel whose similarity of the histogram is equal to or greater than a predetermined value
Labeling image generation method comprising a.
상기 다수의 수퍼픽셀은 하나의 상(phase)으로 이루어진 라벨링 이미지 생성방법.The method according to claim 1,
And a plurality of superpixels comprising one phase.
입력된 미세조직의 영상을 다수의 수퍼픽셀로 분할하는 상 경계 분할부; 및
상기 다수의 수퍼픽셀 중에서 특징이 유사한 수퍼픽셀을 선택하는 세그멘테이션부
를 포함하고,
상기 세그멘테이션부는 상기 다수의 수퍼픽셀을 동일한 길이의 벡터로 표현하고,
상기 세그멘테이션부는 수퍼픽셀에 포함된 픽셀의 밝기값에 대한 히스토그램을 계산하고, 상기 히스토그램의 빈의 값으로 상기 벡터를 표현하고,
상기 세그멘테이션부는 상기 히스토그램의 유사도를 계산하고, 상기 히스토그램의 유사도를 수퍼픽셀의 유사도로 사용하여, 상기 히스토그램의 유사도가 일정한 값 이상인 수퍼픽셀을 자동으로 선택하는 라벨링 이미지 생성장치.Image input unit for inputting the image of the microstructure;
An image boundary dividing unit dividing an input microstructure image into a plurality of superpixels; And
Segmentation unit for selecting a superpixel having a similar feature among the plurality of superpixels
Including,
The segmentation unit represents the plurality of superpixels as a vector of the same length,
The segmentation unit calculates a histogram of brightness values of pixels included in a superpixel, expresses the vector by the bin value of the histogram,
And the segmentation unit calculates the similarity of the histogram and automatically selects a superpixel whose similarity of the histogram is equal to or greater than a predetermined value by using the similarity of the histogram as the superpixel similarity.
상기 다수의 수퍼픽셀은 하나의 상(phase)으로 이루어진 라벨링 이미지 생성장치.The method according to claim 6,
And a plurality of superpixels comprising one phase.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170180190A KR102010085B1 (en) | 2017-12-26 | 2017-12-26 | Method and apparatus for producing labeling image of microstructure using super-pixels |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170180190A KR102010085B1 (en) | 2017-12-26 | 2017-12-26 | Method and apparatus for producing labeling image of microstructure using super-pixels |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190078331A KR20190078331A (en) | 2019-07-04 |
| KR102010085B1 true KR102010085B1 (en) | 2019-08-12 |
Family
ID=67259137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170180190A KR102010085B1 (en) | 2017-12-26 | 2017-12-26 | Method and apparatus for producing labeling image of microstructure using super-pixels |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102010085B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102345799B1 (en) | 2021-02-23 | 2021-12-31 | 인그래디언트 주식회사 | Method for automatic refining label mask based on cnn and system using the same |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156899B1 (en) * | 2019-11-14 | 2020-09-16 | 한국광기술원 | Apparatus and Method for Creating Design |
| KR102529740B1 (en) | 2021-06-18 | 2023-05-08 | 주식회사 포스코 | Plated steel sheet having excellent corrosion resistance and surface property and method for manufacturing the same |
| KR102654133B1 (en) * | 2021-09-07 | 2024-04-04 | 조선대학교산학협력단 | Apparatus and method generating 3d image of target metalic grain |
| KR102513353B1 (en) | 2021-09-30 | 2023-03-23 | 주식회사 포스코 | Plated steel sheet having excellent corrosion resistance and weldability and method for manufacturing the same |
| KR20240060163A (en) * | 2022-10-28 | 2024-05-08 | 오지큐 주식회사 | Method of acquiring object segmentation information through trained neural network and server system performing the same method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005521178A (en) | 2002-03-22 | 2005-07-14 | ディーリング，マイケル，エフ． | Scalable high-performance 3D graphics |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101565748B1 (en) * | 2013-05-31 | 2015-11-05 | 삼성에스디에스 주식회사 | A method and apparatus for detecting a repetitive pattern in image |
| WO2016005242A1 (en) * | 2014-07-10 | 2016-01-14 | Thomson Licensing | Method and apparatus for up-scaling an image |
-
2017
- 2017-12-26 KR KR1020170180190A patent/KR102010085B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005521178A (en) | 2002-03-22 | 2005-07-14 | ディーリング，マイケル，エフ． | Scalable high-performance 3D graphics |
Non-Patent Citations (1)
| Title |
|---|
| 이대연 외1, "슈퍼픽셀 기반의 그래프 컷을 이용한 객체 추적", 한국방송공학회 하계학술대회, 2013. 1부.* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102345799B1 (en) | 2021-02-23 | 2021-12-31 | 인그래디언트 주식회사 | Method for automatic refining label mask based on cnn and system using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190078331A (en) | 2019-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102010085B1 (en) | Method and apparatus for producing labeling image of microstructure using super-pixels | |
| US10803338B2 (en) | Method and device for recognizing the character area in a image | |
| AU2019283835B2 (en) | Interactive deep matting | |
| CA2658727C (en) | Interactive segmentation of images with single scribbles | |
| JP6435740B2 (en) | Data processing system, data processing method, and data processing program | |
| JP6089886B2 (en) | Region dividing method and inspection apparatus | |
| KR20080040639A (en) | Video object cut and paste | |
| US20090003698A1 (en) | Segmentaton of digital images | |
| CN111145209A (en) | Medical image segmentation method, device, equipment and storage medium | |
| EP2828829A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| KR102207408B1 (en) | Method, apparatus and computer readable medium for image processing | |
| Le et al. | Image segmentation based on modified graph-cut algorithm | |
| JP6787844B2 (en) | Object extractor and its superpixel labeling method | |
| CN109117837B (en) | Region-of-interest determination method and apparatus | |
| KR102010086B1 (en) | Method and apparatus for phase segmentation of microstructure | |
| US11461880B2 (en) | Generating image masks from digital images utilizing color density estimation and deep learning models | |
| Jha et al. | Random walks based image segmentation using color space graphs | |
| JP2014197342A (en) | Object position detection device, object position detection method and program | |
| JP2018206260A (en) | Image processing system, evaluation model construction method, image processing method, and program | |
| JP6343998B2 (en) | Image processing apparatus, image processing method, and program | |
| Tan et al. | Enhanced “GrabCut” tool with blob analysis in segmentation of blooming flower images | |
| Acharjya et al. | A modified watershed segmentation algorithm using distances transform for image segmentation | |
| KR101766740B1 (en) | Object Segmentation Apparatus and Method Using Graph Cut Based on Region | |
| Kurlin et al. | A persistence-based approach to automatic detection of line segments in images | |
| Sintunata et al. | Skeleton extraction in cluttered image based on Delaunay triangulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |