KR20200134813A - 기계 학습을 위한 이미지 처리 장치 및 방법 - Google Patents

기계 학습을 위한 이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR20200134813A
KR20200134813A KR1020190060863A KR20190060863A KR20200134813A KR 20200134813 A KR20200134813 A KR 20200134813A KR 1020190060863 A KR1020190060863 A KR 1020190060863A KR 20190060863 A KR20190060863 A KR 20190060863A KR 20200134813 A KR20200134813 A KR 20200134813A
Authority
KR
South Korea
Prior art keywords
superpixel
value
feature
specific
superpixels
Prior art date
Application number
KR1020190060863A
Other languages
English (en)
Inventor
최종원
최영준
김지훈
김병집
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020190060863A priority Critical patent/KR20200134813A/ko
Priority to US16/782,352 priority patent/US11288534B2/en
Publication of KR20200134813A publication Critical patent/KR20200134813A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

기계 학습을 위한 이미지 처리 장치 및 방법이 개시된다. 일 실시예에 따른 이미지 처리 장치는 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출하는 수퍼픽셀 추출기; 상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하는 N개(N은 2 이상의 자연수)의 특징 추출 레이어를 포함하는 백본 네트워크; 및 상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성하는 수퍼픽셀 풀링 레이어를 포함한다.

Description

기계 학습을 위한 이미지 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING FOR MACHINE LEARNING}
개시되는 실시예들은 기계 학습을 이용한 이미지 데이터의 인식 및 분류를 위한 이미지 처리 기술과 관련된다.
최근 수 년간 머신 러닝(machine learning), 그 중에서도 딥 러닝(deep learning)은 음성 인식, 영상 인식, 자연어 처리 등 다양한 분야에서 그 활용 범위를 넓혀가고 있다. 특히 이미지 데이터의 인식(recognition) 및 분류(classification)는 딥 러닝이 가장 활발히 활용되고 있는 영역 중 하나로서, 다양한 분석 모델 내지 알고리즘이 연구되고 있다.
다양한 물체가 공존하는 이미지에서 여러 물체들을 영역별로 인식하기 위하여, 기존의 딥 러닝 알고리즘들에서는 대부분 이미지의 픽셀 별로 물체 분류를 시도하였다. 그러나 최근 카메라의 성능 향상과 함께 이미지의 화질 또한 좋아지고 있기 때문에, 픽셀 단위로 물체를 분류할 경우 처리하여야 하는 데이터의 용량이 지나치게 커지게 된다. 이를 해결하기 위하여 최근에는 유사한 픽셀들을 묶은 수퍼픽셀(superpixel)을 기반으로 물체 분류를 시도하였다. 그러나 많은 경우 수퍼픽셀의 크기가 뉴럴 네트워크(neural network)에서 분할된 그리드(grid)의 크기보다 작기 때문에 하나의 그리드에 복수의 수퍼픽셀들이 포함되는 경우가 발생하며, 이 경우 각 수퍼픽셀들의 특징값을 파악하기 어려운 문제가 발생하였다.
한국 공개특허공보 10-2018-0004898호 (2018.01.15.)
개시되는 실시예들은 이미지 데이터를 구성하는 픽셀 중 유사도가 높은 픽셀들을 묶은 수퍼픽셀(superpixel)을 이용하여 딥 러닝 기반 이미지 분류의 효율성 및 정확성을 높이기 위한 기술적인 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출하는 수퍼픽셀 추출기; 상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하는 N개(N은 2 이상의 자연수)의 특징 추출 레이어를 포함하는 백본 네트워크; 및 상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성하는 수퍼픽셀 풀링 레이어를 포함하는 이미지 처리 장치가 제공된다.
상기 백본 네트워크의 n차 특징 추출 레이어(n은 1<n<=N을 만족하는 자연수)는 (n-1)차 특징 추출 레이어로부터 생성되는 (n-1)차 출력값을 입력받고 이로부터 n차 특징값을 생성하도록 구성될 수 있다.
상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m(m은 1<=m<=N을 만족하는 자연수)차 출력값에 대응되는 그리드 내 복수의 영역 중 어느 하나의 영역에 포함되는 경우, 상기 수퍼픽셀 풀링 레이어는, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정할 수 있다.
상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m차 출력값에 대응되는 그리드 내 복수의 영역 중 둘 이상의 영역에 포함되는 경우, 상기 수퍼픽셀 풀링 레이어는, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 대표값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정할 수 있다.
상기 대표값은 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 평균값 또는 중간값 중 어느 하나일 수 있다.
상기 대표값은, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값 및 상기 특정 수퍼픽셀이 포함된 각 영역 내의 상기 특정 수퍼픽셀의 크기를 고려하여 계산될 수 있다.
상기 수퍼픽셀 풀링 레이어는, 상기 m차 수퍼픽셀 특징값들을 1차부터 N차까지 결합한 값을 상기 특정 수퍼픽셀의 수퍼픽셀 특징값으로 설정할 수 있다.
상기 이미지 처리 장치는, 입력된 상기 원본 이미지의 특성을 고려하여 최적의 수퍼픽셀 파라미터를 결정하는 수퍼픽셀 파라미터 추천 모듈을 더 포함할 수 있다.
상기 수퍼픽셀 파라미터는, 상기 원본 이미지 내 추출되는 수퍼픽셀의 개수, 크기, 또는 형태 자유도 중 하나 이상을 포함할 수 있다.
상기 수퍼픽셀 파라미터 추천 모듈은, 각각 하나 이상의 클래스로 구분되는 복수의 학습 이미지에 대한 학습을 수행하고, 상기 학습 결과를 이용하여 상기 원본 이미지에 대응되는 수퍼픽셀 파라미터를 결정하되, 상기 학습은, 상기 학습 이미지로부터 추출되는 수퍼픽셀들이 두 개 이상의 클래스를 포함하지 않는 범위 내에서 추출되는 수퍼픽셀들의 개수가 최소가 되도록 수행될 수 있다.
다른 예시적인 실시예에 따르면, 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출하는 단계; 상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하는 N개(N은 2 이상의 자연수)의 특징 추출 레이어를 포함하는 백본 네트워크를 통하여, 상기 이미지로부터 1차 출력값 내지 N차 출력값을 생성하는 단계; 및 상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성하는 단계를 포함하는 이미지 처리 방법이 제공된다.
상기 백본 네트워크의 n차 특징 추출 레이어(n은 1<n<=N을 만족하는 자연수)는 (n-1)차 특징 추출 레이어로부터 생성되는 (n-1)차 출력값을 입력받고 이로부터 n차 특징값을 생성하도록 구성될 수 있다.
상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m(m은 1<=m<=N을 만족하는 자연수)차 출력값에 대응되는 그리드 내 복수의 영역 중 어느 하나의 영역에 포함되는 경우, 상기 수퍼픽셀 특징값을 생성하는 단계는, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정하도록 구성될 수 있다.
상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m차 출력값에 대응되는 그리드 내 복수의 영역 중 둘 이상의 영역에 포함되는 경우, 상기 수퍼픽셀 특징값을 생성하는 단계는, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 대표값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정하도록 구성될 수 있다.
상기 대표값은 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 평균값 또는 중간값 중 어느 하나일 수 있다.
상기 대표값은, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값 및 상기 특정 수퍼픽셀이 포함된 각 영역 내의 상기 특정 수퍼픽셀의 크기를 고려하여 계산될 수 있다.
상기 수퍼픽셀 특징값을 생성하는 단계는, 상기 m차 수퍼픽셀 특징값들을 1차부터 N차까지 결합한 값을 상기 특정 수퍼픽셀의 수퍼픽셀 특징값으로 설정하도록 구성될 수 있다.
상기 방법은, 상기 수퍼픽셀을 추출하는 단계의 수행 전, 입력된 상기 원본 이미지의 특성을 고려하여 최적의 수퍼픽셀 파라미터를 결정하는 단계를 더 포함할 수 있다.
상기 수퍼픽셀 파라미터는, 상기 원본 이미지 내 추출되는 수퍼픽셀의 개수, 크기, 또는 형태 자유도 중 하나 이상을 포함할 수 있다.
상기 수퍼픽셀 파라미터를 결정하는 단계는, 각각 하나 이상의 클래스로 구분되는 복수의 학습 이미지에 대한 학습을 수행하고, 상기 학습 결과를 이용하여 상기 원본 이미지에 대응되는 수퍼픽셀 파라미터를 결정하되, 상기 학습은, 상기 학습 이미지로부터 추출되는 수퍼픽셀들이 두 개 이상의 클래스를 포함하지 않는 범위 내에서 추출되는 수퍼픽셀들의 개수가 최소가 되도록 수행될 수 있다.
개시되는 실시예들에 따르면, 수퍼픽셀을 활용한 딥 러닝 기반 이미지 분류에 있어서 백본 네트워크(backbone network)의 각 단계별 출력값을 이용하여 각 수퍼픽셀들의 특징값을 효과적으로 도출할 수 있다.
또한 개시되는 실시예들에 따르면, 입력된 이미지의 특성에 따라 수퍼픽셀의 크기 또는 개수를 가변함으로써 이미지 분류의 효율을 높일 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치(100)를 설명하기 위한 블록도
도 2는 일 실시예에 따른 수퍼픽셀 추출기(102)에서 원본 이미지를 복수의 수퍼픽셀로 분할한 예를 나타낸 예시도
도 3은 일 실시예에 따른 수퍼픽셀 풀링 레이어(106)에서 각 수퍼픽셀들의 특징값을 계산하는 예를 설명하기 위한 예시도
도 4 및 도 5는 일 실시예에 따른 수퍼픽셀 풀링 레이어(106)에서 수퍼픽셀 특징값을 생성하기 위한 수퍼픽셀 풀링을 설명하기 위한 예시도
도 6은 일 실시예에 따른 최적 수퍼픽셀 파라미터 결정 과정을 설명하기 위한 예시도
도 7은 일 실시예에 따른 이미지 처리 방법(700)을 설명하기 위한 흐름도
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 이미지 처리 장치(100)를 설명하기 위한 블록도이다. 일 실시예에 따른 이미지 처리 장치(100)는 원본 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출하고, 추출된 각 수퍼픽셀 별 특징값(feature)를 생성하기 위한 장치이다. 생성된 각 수퍼픽셀 별 특징값은 이후 기계 학습(machine learning)을 통해 이미지를 인식하고 분류하는 데 사용될 수 있다. 도 1에 도시된 바와 같이, 일 실시예에 따른 이미지 처리 장치(100)는 수퍼픽셀 추출기(102), 백본 네트워크(104) 및 수퍼픽셀 풀링 레이어(106)를 포함한다.
수퍼픽셀 추출기(102)는 입력된 원본 이미지로부터 복수의 수퍼픽셀을 추출한다. 개시되는 실시예들에서 수퍼픽셀이란 원본 이미지를 구성하는 각 픽셀 중 유사도가 높은 픽셀들을 묶어 하나의 큰 덩어리를 구성한 픽셀 그룹을 의미한다.
도 2는 일 실시예에 따른 수퍼픽셀 추출기(102)에서 원본 이미지를 복수의 수퍼픽셀로 분할한 예를 나타낸 것이다. 도시된 바와 같이, 각 수퍼픽셀들은 원본 이미지를 구성하는 각 픽셀들의 유사도에 따라 추출될 수 있다. 또한 각 수퍼픽셀들은 동일한 형태가 아닌, 이미지의 특성에 따라 자유로운 형태를 가질 수 있다.
백본 네트워크(104)는 입력된 원본 이미지로부터 하나 이상의 특징값(feature)을 추출한다. 본 발명의 실시예들에서, 백본 네트워크(104)는 복수 개(N개, 이때 N은 2 이상의 자연수)의 특징 추출 레이어를 포함하는 피라미드 구조를 가지도록 구성된다. 이때 각 특징 추출 레이어들은 상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하도록 구성된다. 또한 백본 네트워크(104)를 구성하는 복수의 특징 추출 레이어들은 각각 앞단의 특징 추출 레이어의 출력값을 입력받아 이로부터 자신의 출력값을 생성하도록 구성될 수 있다. 다시 말해 백본 네트워크(104)의 n차 특징 추출 레이어(n은 1<n<=N을 만족하는 자연수)는 (n-1)차 특징 추출 레이어로부터 생성되는 (n-1)차 출력값을 입력받고 이로부터 n차 특징값을 생성하도록 구성될 수 있다.
일 실시예에서, 백본 네트워크(104)를 구성하는 각 특징 추출 레이어들은 하나 이상의 합성곱 레이어(convolution layer) 및 풀링 레이어(pooling layer)를 포함할 수 있다. 이 경우 각 특징 추출 레이어의 출력값은 상기 풀링 레이어의 출력값, 다시 말해 원본 이미지를 그리드 형태로 분할한 각 영역 별 특징값으로 구성될 수 있다. 원본 이미지가 백본 네트워크(104)의 각 특징 추출 레이어들을 통과할 때 마다 원본 이미지의 해상도는 낮아지게 되며, 이에 따라 각 출력값들의 그리드 크기는 증가한다. 즉, 백본 네트워크(104)가 N개의 특징 추출 레이어를 포함할 경우 가장 처음에 위치한 1차 특징 추출 레이어의 출력값의 그리드 크기가 가장 작고, N차 특징 추출 레이어의 출력값의 그리그 크기가 가장 크게 된다.
수퍼픽셀 풀링 레이어(106)는 백본 네트워크(104)를 구성하는 상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성한다.
백본 네트워크(104)에서 출력되는 출력값은 그리드 형태로 구성되는 반면, 수퍼픽셀 추출기(102)에서 추출한 수퍼픽셀들은 자유로운 형태를 가진다. 따라서 백본 네트워크(104)의 출력값을 수퍼픽셀에 바로 적용하여 각 수퍼픽셀 별 특징값을 생성하는 것은 불가능하다. 또한 백본 네트워크(104)의 최종 출력값의 그리드 크기는 수퍼픽셀의 크기보다 큰 경우가 대부분이므로, 동일한 그리드 내에 복수의 수퍼픽셀이 포함되는 경우가 발생한다. 이 경우 동일 그리드 내의 수퍼픽셀들은 모두 같은 특징값을 가지게 되는 현상이 발생한다. 이와 같은 문제를 해결하기 위하여, 수퍼픽셀 풀링 레이어(106)는 별도의 수퍼픽셀 풀링을 적용하여 각 수퍼픽셀 별 특징값을 생성하도록 구성된다. 또한 수퍼픽셀 풀링 레이어(106)는 해상도가 낮은 백본 네트워크(104)의 최종 결과만이 아닌 백본 네트워크(104)를 구성하는 각 특징 추출 레이어들의 출력값을 모두 이용함으로써 각 수퍼픽셀들이 고유한 특징값을 가질 수 있도록 구성된다.
도 3은 일 실시예에 따른 수퍼픽셀 풀링 레이어(106)에서 각 수퍼픽셀들의 특징값을 계산하는 예를 설명하기 위한 예시도이다. 도시된 예는 백본 네트워크(104)가 3개의 특징 추출 레이어들로 구성된 예를 나타낸 것이다. 그러나 이는 예시적인 것으로서, 개시되는 실시예들은 특정 개수의 특징 추출 레이어에 한정되는 것은 아니다.
도 3에 도시된 실시예에서, 수퍼픽셀 풀링 레이어(106)는 1차 특징 추출 레이어의 출력값(302)으로부터 각 수퍼픽셀들의 1차 수퍼픽셀 특징값(308)을, 2차 특징 추출 레이어의 출력값(304)으로부터 2차 수퍼픽셀 특징값(310)을, 3차 특징 추출 레이어의 출력값(306)으로부터 3차 수퍼픽셀 특징값(308)을 각각 생성할 수 있다. 이후 상기 1차 수퍼픽셀 특징값, 2차 수퍼픽셀 특징값 및 3차 수퍼픽셀 특징값을 결합(concatenate)하면 각 수퍼픽셀들의 특징값이 생성된다.
즉, 수퍼픽셀 풀링 레이어(106)는 상기 m차 수퍼픽셀 특징값들을 1차부터 N차까지 결합한 값을 상기 특정 수퍼픽셀에 대응되는 수퍼픽셀 특징값으로 설정할 수 있다.
도 4 및 도 5는 일 실시예에 따른 수퍼픽셀 풀링 레이어(106)에서 수퍼픽셀 특징값을 생성하기 위한 수퍼픽셀 풀링(superpixel pooling)을 설명하기 위한 예시도이다. 도 4 및 도 5에 도시된 실시예에서, v1 내지 v9는 백본 네트워크(104)의 m차 특징 추출 레이어(m은 1<=m<=N을 만족하는 자연수)로부터 출력된 m차 출력값을 나타낸다. 도시된 실시예에서는 m차 출력값이 9개의 영역으로 분할된 그리드 형태를 가지는 것으로 가정하였다. 이때 v1 내지 v9는 각각 상기 그리드의 각 영역 별 특징값을 각각 나타낸다.
도 4에 도시된 바와 같이, 특정 수퍼픽셀이 상기 m차 출력값에 대응되는 그리드 내 복수의 영역 중 어느 하나의 영역에 포함되는 경우, 수퍼픽셀 풀링 레이어(106)는 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정한다. 도 4의 경우, 도시된 특정 수퍼픽셀의 m차 수퍼픽셀 특징값은 v4가 된다.
도 5에 도시된 바와 같이, 특정 수퍼픽셀이 상기 m차 출력값에 대응되는 그리드 내 복수의 영역 중 둘 이상의 영역에 포함되는 경우, 수퍼픽셀 풀링 레이어(106)는 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 대표값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정할 수 있다. 예컨대, 상기 대표값은 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 평균값 또는 중간값 중 어느 하나일 수 있다. 도 5의 경우, 도시된 특정 수퍼픽셀의 대표값은 v1 내지 v9의 평균값 또는 중간값일 수 있다.
일 실시예에서, 상기 대표값은 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값 및 상기 특정 수퍼픽셀이 포함된 각 영역 내의 상기 특정 수퍼픽셀의 크기를 고려하여 계산될 수 있다. 도 5에 도시된 수퍼픽셀들이 각 그리드 내에서 가지는 크기를 각각 A1 내지 A9라 할 때, 해당 수퍼픽셀의 특징값은 다음의 수학식 1과 같이 계산될 수 있다.
[수학식 1]
Figure pat00001
상기 수학식 1에서, vm는 수퍼픽셀의 m차 특징값, A는 수퍼픽셀의 크기, k는 수퍼픽셀과 겹치는 그리드의 개수, vi는 수퍼픽셀과 겹치는 i번째 그리드의 특징값, Ai는 i번째 그리드 내에서 수퍼픽셀의 크기이다.
상기와 같은 과정을 거쳐, 수퍼픽셀 풀링 레이어(106)는 수퍼픽셀 추출기(102)에서 추출한 각 수퍼픽셀에 대한 수퍼픽셀 특징값을 얻을 수 있다. 획득된 수퍼픽셀 특징값은 각 수퍼픽셀을 분류하기 위한 분류기(classifier, 미도시)의 입력값(input feature)으로 사용될 수 있다. 상기 분류기는 뉴럴 네트워크(neural network), SVM 분류기, 선형 분류기 등의 다양한 분류 모델을 이용하여 각 수퍼픽셀을 분류하고 레이블링할 수 있다. 이후 각 수퍼픽셀 별 분류 결과값을 해당 수퍼픽셀이 포함하고 있는 각 픽셀들에 할당하면 최종적인 이미지 분류 결과를 얻을 수 있다.
한편, 일 실시예에 따른 이미지 처리 장치(100)는, 입력된 상기 원본 이미지의 특성을 고려하여 최적의 수퍼픽셀 파라미터를 결정하는 수퍼픽셀 파라미터 추천 모듈(108)을 더 포함할 수 있다. 이 경우 수퍼픽셀 추출기(102)는 수퍼픽셀 파라미터 추천 모듈(108)에서 결정된 파라미터에 따라 각 수퍼픽셀들을 추출할 수 있다. 예를 들어, 복잡한 이미지의 경우 높은 정확도를 위해 수퍼픽셀 개수가 많은 것이 유리하고, 상대적으로 단순한 이미지의 경우 빠른 계산을 위해 수퍼픽셀 개수가 적은 것이 유리하다. 이에 따라, 수퍼픽셀 파라미터 추천 모듈(108)은 입력된 이미지의 복잡도를 측정하고 이를 이용하여 최적의 수퍼픽셀 개수를 계산할 수 있다. 상기 수퍼픽셀 파라미터는, 상기 원본 이미지 내 추출되는 수퍼픽셀의 개수, 크기, 또는 형태 자유도 중 하나 이상을 포함할 수 있다.
일 실시예에서, 수퍼픽셀 파라미터 추천 모듈(108)은 뉴럴 네트워크(superpixel proposal network)를 이용하여 이미지에 최적화된 수퍼픽셀 파라미터를 결정하도록 구성될 수 있다. 예를 들어, 상기 뉴럴 네트워크는 입력 이미지가 복잡할수록 수퍼픽셀 개수를 증가시키고, 반대로 입력 이미지가 단순할수록 수퍼픽셀 개수를 감소시키도록 수퍼픽셀 파라미터를 조정할 수 있다.
도 6은 일 실시예에 따른 수퍼픽셀 파라미터 추천 모듈(108)에서의 최적 수퍼픽셀 파라미터 결정 과정을 설명하기 위한 예시도이다.
최적 수퍼픽셀 파라미터의 결정을 위해서는 수퍼픽셀 파라미터 추천 모듈(108) 내의 뉴럴 네트워크에 대한 학습을 수행할 필요가 있다. 일 실시예에서 수퍼픽셀 파라미터 추천 모듈(108)은, 각각 하나 이상의 클래스로 구분되는 복수의 학습 이미지에 대한 학습을 수행하고, 상기 학습 결과를 이용하여 상기 원본 이미지에 대응되는 수퍼픽셀 파라미터를 결정할 수 있다. 이때 상기 학습은, 상기 학습 이미지로부터 추출되는 수퍼픽셀들이 두 개 이상의 클래스를 포함하지 않는 범위 내에서 추출되는 수퍼픽셀들의 개수가 최소가 되도록 수행될 수 있다. 이를 좀 더 구체적으로 설명하면 다음과 같다.
초기 단계에서, 상기 뉴럴 네트워크는 어떠한 이미지가 입력되어도 초기 설정된 수퍼픽셀 파라미터에 따라 수퍼픽셀을 추출하도록 초기화 되어 있다. 학습 이미지에 대하여, 해당 이미지의 각 클래스 영역이 구분되어 있는 GT(Ground Truth) 이미지 존재한다고 가정하자. 예를 들어, 도 2에 도시된 이미지의 경우 화병, 배경의 수풀, 및 화병이 놓인 테이블 바닥을 포함하는 3개의 클래스로 나뉠 수 있다.
이와 같은 학습 이미지를 상기 뉴럴 네트워크에 입력할 경우, 상기 뉴럴 네트워크는 상기 이미지로부터 수퍼픽셀 파라미터(예를 들어, 수퍼픽셀 개수)를 1차 결정하게 된다. 이때 만약 생성된 수퍼픽셀 개수가 지나치게 적어서 추출된 수퍼픽셀들 중 두 개 이상의 클래스 영역을 포함하는 수퍼픽셀이 존재하는 경우 해당 수퍼픽셀은 두 개 이상의 서로 다른 수퍼픽셀로 분할되어야 한다. 따라서 이 경우 수퍼픽셀 추출기(102)는 더 많은 개수의 수퍼픽셀이 출력되도록 뉴럴 네트워크를 학습시킨다. 반대로, 만약 생성된 수퍼픽셀 개수가 지나치게 많아서 여러 근접한 수퍼픽셀들이 모두 같은 클래스 영역으로 구분되는 경우에는 두 개 이상의 수퍼픽셀들이 하나의 수퍼픽셀로 병합되는 것이 계산 효율성 면에서 효율적이다. 따라서 이 경우 수퍼픽셀 추출기(102)는 더 적은 개수의 수퍼픽셀이 출력되도록 뉴럴 네트워크를 학습시킨다. 상기 뉴럴 네트워크의 학습에 사용되는 손실함수는는 MSE, MLE, Logistic regression 등이 사용될 수 있다. 즉, 수퍼픽셀 개수를 추천하기 위한 뉴럴 네트워크는 분류의 정확성 및 계산의 효율성을 모두 고려하여, 각 수퍼픽셀들이 하나의 클래스에 속하는 한도 내에서 최대한 적은 수의 수퍼픽셀만이 생성되도록 학습을 수행할 수 있다.
도 6을 참조하면, 수퍼픽셀의 개수가 50개보다 적은 개수, 예컨대 10개일 경우에는 화병과 뒷 배경이 하나의 수퍼픽셀로 추출되고, 수퍼픽셀의 개수가 100개 또는 500개일 경우에는 화병 또는 바닥 등의 동일한 클래스에 속하는 픽셀들이 서로 다른 수퍼픽셀로 나뉘어지는 것을 알 수 있다. 따라서 이 경우 최적의 수퍼픽셀 개수는 50개가 된다. 상기와 같은 학습 과정을 복수의 이미지에 대하여 반복함으로써 수퍼픽셀 파라미터 추천 모듈(108)은 입력된 이미지에 대하여 최적의 개수의 수퍼픽셀 파라미터를 출력할 수 있게 된다.
도 7은 일 실시예에 따른 이미지 처리 방법(700)을 설명하기 위한 흐름도이다. 도시된 흐름도는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예를 들어 전술한 이미지 처리 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 702에서, 수퍼픽셀 추출기(102)는 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출한다.
단계 704에서, 백본 네트워크(104)는 N개의 특징 추출 레이어를 통하여 상기 이미지로부터 1차 출력값 내지 N차 출력값을 생성한다. 이때 각 특징 추출 레이어들은, 상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하도록 구성된다.
단계 706에서, 수퍼픽셀 풀링 레이어(106)는 상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성한다.
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 이미지 처리 장치(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 이미지 처리 장치
102: 수퍼픽셀 추출기
104: 백본 네트워크
106: 수퍼픽셀 풀링 레이어

Claims (20)

  1. 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출하는 수퍼픽셀 추출기;
    상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하는 N개(N은 2 이상의 자연수)의 특징 추출 레이어를 포함하는 백본 네트워크; 및
    상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성하는 수퍼픽셀 풀링 레이어를 포함하는 이미지 처리 장치.
  2. 청구항 1에 있어서,
    상기 백본 네트워크의 n차 특징 추출 레이어(n은 1<n<=N을 만족하는 자연수)는 (n-1)차 특징 추출 레이어로부터 생성되는 (n-1)차 출력값을 입력받고 이로부터 n차 특징값을 생성하도록 구성되는, 이미지 처리 장치.
  3. 청구항 2에 있어서,
    상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m(m은 1<=m<=N을 만족하는 자연수)차 출력값에 대응되는 그리드 내 복수의 영역 중 어느 하나의 영역에 포함되는 경우,
    상기 수퍼픽셀 풀링 레이어는, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정하는, 이미지 처리 장치.
  4. 청구항 2에 있어서,
    상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m차 출력값에 대응되는 그리드 내 복수의 영역 중 둘 이상의 영역에 포함되는 경우,
    상기 수퍼픽셀 풀링 레이어는, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 대표값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정하는, 이미지 처리 장치.
  5. 청구항 4에 있어서,
    상기 대표값은 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 평균값 또는 중간값 중 어느 하나인, 이미지 처리 장치.
  6. 청구항 4에 있어서,
    상기 대표값은, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값 및 상기 특정 수퍼픽셀이 포함된 각 영역 내의 상기 특정 수퍼픽셀의 크기를 고려하여 계산되는, 이미지 처리 장치.
  7. 청구항 3 내지 6 중 어느 한 항에 있어서,
    상기 수퍼픽셀 풀링 레이어는, 상기 m차 수퍼픽셀 특징값들을 1차부터 N차까지 결합한 값을 상기 특정 수퍼픽셀의 수퍼픽셀 특징값으로 설정하는, 이미지 처리 장치.
  8. 청구항 1에 있어서,
    상기 이미지 처리 장치는, 입력된 상기 원본 이미지의 특성을 고려하여 최적의 수퍼픽셀 파라미터를 결정하는 수퍼픽셀 파라미터 추천 모듈을 더 포함하는, 이미지 처리 장치.
  9. 청구항 8에 있어서,
    상기 수퍼픽셀 파라미터는, 상기 원본 이미지 내 추출되는 수퍼픽셀의 개수, 크기, 또는 형태 자유도 중 하나 이상을 포함하는, 이미지 처리 장치.
  10. 청구항 8에 있어서,
    상기 수퍼픽셀 파라미터 추천 모듈은, 각각 하나 이상의 클래스로 구분되는 복수의 학습 이미지에 대한 학습을 수행하고, 상기 학습 결과를 이용하여 상기 원본 이미지에 대응되는 수퍼픽셀 파라미터를 결정하되,
    상기 학습은, 상기 학습 이미지로부터 추출되는 수퍼픽셀들이 두 개 이상의 클래스를 포함하지 않는 범위 내에서 추출되는 수퍼픽셀들의 개수가 최소가 되도록 수행되는, 이미지 처리 장치.
  11. 이미지로부터 복수의 수퍼픽셀(superpixel)을 추출하는 단계;
    상기 이미지를 복수의 영역을 포함하는 그리드(grid)로 분할하고, 분할된 상기 각 영역 별 특징값(feature)을 포함하는 출력값(output)을 생성하는 N개(N은 2 이상의 자연수)의 특징 추출 레이어를 포함하는 백본 네트워크를 통하여, 상기 이미지로부터 1차 출력값 내지 N차 출력값을 생성하는 단계; 및
    상기 N개의 특징 추출 레이어 각각에서 출력되는 1차 출력값 내지 N차 출력값을 이용하여, 상기 복수의 수퍼픽셀 각각에 대응되는 수퍼픽셀 특징값을 생성하는 단계를 포함하는 이미지 처리 방법.
  12. 청구항 11에 있어서,
    상기 백본 네트워크의 n차 특징 추출 레이어(n은 1<n<=N을 만족하는 자연수)는 (n-1)차 특징 추출 레이어로부터 생성되는 (n-1)차 출력값을 입력받고 이로부터 n차 특징값을 생성하도록 구성되는, 이미지 처리 방법.
  13. 청구항 12에 있어서,
    상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m(m은 1<=m<=N을 만족하는 자연수)차 출력값에 대응되는 그리드 내 복수의 영역 중 어느 하나의 영역에 포함되는 경우,
    상기 수퍼픽셀 특징값을 생성하는 단계는,
    상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정하도록 구성되는, 이미지 처리 방법.
  14. 청구항 12에 있어서,
    상기 복수의 수퍼픽셀 중 특정 수퍼픽셀이 상기 m차 출력값에 대응되는 그리드 내 복수의 영역 중 둘 이상의 영역에 포함되는 경우,
    상기 수퍼픽셀 특징값을 생성하는 단계는,
    상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 대표값을 상기 특정 수퍼픽셀의 m차 수퍼픽셀 특징값으로 설정하도록 구성되는, 이미지 처리 방법.
  15. 청구항 14에 있어서,
    상기 대표값은 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값들의 평균값 또는 중간값 중 어느 하나인, 이미지 처리 방법.
  16. 청구항 14에 있어서,
    상기 대표값은, 상기 특정 수퍼픽셀이 포함된 영역의 m차 특징값 및 상기 특정 수퍼픽셀이 포함된 각 영역 내의 상기 특정 수퍼픽셀의 크기를 고려하여 계산되는, 이미지 처리 방법.
  17. 청구항 13 내지 16 중 어느 한 항에 있어서,
    상기 수퍼픽셀 특징값을 생성하는 단계는,
    상기 m차 수퍼픽셀 특징값들을 1차부터 N차까지 결합한 값을 상기 특정 수퍼픽셀의 수퍼픽셀 특징값으로 설정하도록 구성되는, 이미지 처리 방법.
  18. 청구항 11에 있어서,
    상기 수퍼픽셀을 추출하는 단계의 수행 전,
    입력된 상기 원본 이미지의 특성을 고려하여 최적의 수퍼픽셀 파라미터를 결정하는 단계를 더 포함하는, 이미지 처리 방법.
  19. 청구항 18에 있어서,
    상기 수퍼픽셀 파라미터는, 상기 원본 이미지 내 추출되는 수퍼픽셀의 개수, 크기, 또는 형태 자유도 중 하나 이상을 포함하는, 이미지 처리 방법.
  20. 청구항 18에 있어서,
    상기 수퍼픽셀 파라미터를 결정하는 단계는, 각각 하나 이상의 클래스로 구분되는 복수의 학습 이미지에 대한 학습을 수행하고, 상기 학습 결과를 이용하여 상기 원본 이미지에 대응되는 수퍼픽셀 파라미터를 결정하되,
    상기 학습은, 상기 학습 이미지로부터 추출되는 수퍼픽셀들이 두 개 이상의 클래스를 포함하지 않는 범위 내에서 추출되는 수퍼픽셀들의 개수가 최소가 되도록 수행되는, 이미지 처리 방법.
KR1020190060863A 2019-05-23 2019-05-23 기계 학습을 위한 이미지 처리 장치 및 방법 KR20200134813A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190060863A KR20200134813A (ko) 2019-05-23 2019-05-23 기계 학습을 위한 이미지 처리 장치 및 방법
US16/782,352 US11288534B2 (en) 2019-05-23 2020-02-05 Apparatus and method for image processing for machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060863A KR20200134813A (ko) 2019-05-23 2019-05-23 기계 학습을 위한 이미지 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200134813A true KR20200134813A (ko) 2020-12-02

Family

ID=73791631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060863A KR20200134813A (ko) 2019-05-23 2019-05-23 기계 학습을 위한 이미지 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200134813A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601630A (zh) * 2022-12-15 2023-01-13 山东天意装配式建筑装备研究院有限公司（Cn） 用于墙板模具自动清理机的污渍识别方法
KR102520218B1 (ko) 2021-10-21 2023-04-10 동의대학교 산학협력단 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180004898A (ko) 2016-07-05 2018-01-15 주식회사 와플앱스 딥러닝 기반의 이미지 처리 기술 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180004898A (ko) 2016-07-05 2018-01-15 주식회사 와플앱스 딥러닝 기반의 이미지 처리 기술 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520218B1 (ko) 2021-10-21 2023-04-10 동의대학교 산학협력단 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법
CN115601630A (zh) * 2022-12-15 2023-01-13 山东天意装配式建筑装备研究院有限公司（Cn） 用于墙板模具自动清理机的污渍识别方法

Similar Documents

Publication Publication Date Title
EP3483767B1 (en) Device for detecting variant malicious code on basis of neural network learning, method therefor, and computer-readable recording medium in which program for executing same method is recorded
US11093805B2 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US10990852B1 (en) Method and apparatus for training model for object classification and detection
KR102315574B1 (ko) 데이터 분류 방법 및 장치와 관심영역 세그멘테이션 방법 및 장치
US20160035078A1 (en) Image assessment using deep convolutional neural networks
WO2016054778A1 (en) Generic object detection in images
GB2545661A (en) A method for analysing media content
JP2011013732A (ja) 情報処理装置、情報処理方法、およびプログラム
KR102287407B1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
KR101802500B1 (ko) 영상 인식을 위한 학습 장치 및 그 학습 방법
US8571315B2 (en) Information processing apparatus, information processing method, and program
JP2020017082A (ja) 画像オブジェクト抽出装置及びプログラム
US11176455B2 (en) Learning data generation apparatus and learning data generation method
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
WO2022216425A1 (en) Dynamic head for object detection
Lee et al. Reinforced adaboost learning for object detection with local pattern representations
KR20200137107A (ko) 기계 학습 기반의 시계열 데이터 분석 장치 및 방법
KR102333545B1 (ko) 합성곱 신경망 기반의 영상 학습 방법 및 이를 수행하기 위한 장치
EP3973501A1 (en) Dynamic image resolution assessment
KR20200106104A (ko) 인공 신경망을 이용한 고속 객체 검출 방법 및 장치
CN113674374A (zh) 基于生成式对抗网络的中文文本生成图像方法及装置
US11288534B2 (en) Apparatus and method for image processing for machine learning
KR102580062B1 (ko) 이미지 분할 방법 및 장치
JP6436086B2 (ja) 分類辞書生成装置、分類辞書生成方法及びプログラム
KR20210041856A (ko) 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치