KR20150014646A - 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체 - Google Patents

영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체 Download PDF

Info

Publication number
KR20150014646A
KR20150014646A KR1020130090072A KR20130090072A KR20150014646A KR 20150014646 A KR20150014646 A KR 20150014646A KR 1020130090072 A KR1020130090072 A KR 1020130090072A KR 20130090072 A KR20130090072 A KR 20130090072A KR 20150014646 A KR20150014646 A KR 20150014646A
Authority
KR
South Korea
Prior art keywords
filter
aerial image
responses
segmenting
aerial
Prior art date
Application number
KR1020130090072A
Other languages
English (en)
Other versions
KR101507732B1 (ko
Inventor
송현승
최형욱
전태균
전문구
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR20130090072A priority Critical patent/KR101507732B1/ko
Publication of KR20150014646A publication Critical patent/KR20150014646A/ko
Application granted granted Critical
Publication of KR101507732B1 publication Critical patent/KR101507732B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 무인 항공기 영상에 대한 영상 분할 기법에 관한 것으로서, 더 상세하게는 영상처리에서 일반적으로 사용되던 기법과 새로이 고안된 기술을 조합하여 항공영상에 최적화된 영상분할 기법을 개발함으로써 일반 야외 영상 및 항공 시뮬레이션 영상에 대한 감시, 정찰 등의 지능형 영상처리 분야와 지형 분석 분야에서 맥락 정보를 이용하여 해당 지형이 속하는 클래스로 지형을 분류하는 것과 분류의 정확도를 높이는 영역 기반의 항공 영상 분할 방법에 대한 것이다.

Description

영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체{Method for segmenting aerial images based region and Computer readable storage medium for storing program code executing the same}
본 발명은 무인 항공기 영상에 대한 영상 분할 기법에 관한 것으로서, 더 상세하게는 영상처리에서 일반적으로 사용되던 기법과 새로이 고안된 기술을 조합하여 항공영상에 최적화된 영상분할 기법을 개발함으로써 일반 야외 영상 및 항공 시뮬레이션 영상에 대한 감시, 정찰 등의 지능형 영상처리 분야와 지형 분석 분야에서 맥락 정보를 이용하여 해당 지형이 속하는 클래스로 지형을 분류하는 것과 분류의 정확도를 높이는 영역 기반의 항공 영상 분할 방법에 대한 것이다.
장면 분할은 입력 영상에서 나타나는 각기 다른 의미적 물체 및 공간에 대한 분리하는 기술이며 최근 감시, 정찰, 자료수집, 안내 등의 다양한 지능형 영상처리 분야에 응용되고 있다. 지형 분석의 경우 지리정보시스템(GIS)에서 최종적인 목표로 삼고 있는 형태이며, 지형에 관한 입력 영상이 주어질 때, 각 영역의 지형적인 특징을 바탕으로 해당 지형이 속하는 클래스로 분류하고자 하는 것이 지리정보시스템(GIS)의 목표이다.
영상들을 분할하는 기술은 많은 디지털 영상 처리 분야에서 중요한 처리이다.
영상 분할 기술은 영상을 유사한 특징을 가지는 영역으로 분할하는 기술로서 예를 들면 원하는 특정 영역을 얻고자 할 때 영역내의 객체의 경계선을 찾아 원하는 객체와 배경 부분을 분리하여 객체만 얻고자 할 때 사용되기도 한다.
하지만 이러한 영상 분할 기술은 이웃하는 객체들 간에 색상 변화가 매우 작거나 없다면, 알고리즘은 종종 상이한 세그먼트들 간에도 최적의 선명한 분리를 하지 않을 것이다. 이러한 문제를 조금씩 해결하면서 현재까지 개발된 대표적인 영상 분할 알고리즘으로서, 경곗값 처리법, 영역 확장법, 분할 통합법, 엣지를 이용한 분할법 등이 있다. 각각의 방법들은 각각의 특성을 가진다.
우선, 경곗값(Threshold) 처리법은, 경곗값을 사용해서 경곗값보다 큰 값과 경곗값보다 작은 부분으로 나누어서 구분하는 방식이다. 이 방식은 이진 영상에 대해서는 효율이 좋지만 여러 가지 값이 존재하는 실질적인 영상에서는 적용하기 힘들다.
다음으로, 영역 확장법(region growing)은, 영상내의 임의의 위치를 씨드(seed)로 하여 이 씨드를 중심으로 밝기값, 에지, 컬러 등의 비슷한 특성을 가지는 영역을 찾아내는 방법이다. 즉, 처리되고 있는 소영역과 그에 인접한 소영역이 서로 같은 특징을 가지고 있는 경우에 각 영역을 하나의 영역으로 통합하는 것으로, 특징이 같은 영역을 조금씩 성장시켜 최종적으로는 영상전체에 대하여 영역 분할을 하는 방법이다.
분할 통합법(split-and-merge)은, 영역을 잘게 나누어서 비슷한 특성을 가지는 크기까지 만든 후, 주변 영역과 비교하여 비슷한 특성을 가지면 두 영역을 결합해 나가는 방식이다. 그러나 영역 확정법과 분할 통합법은 영상 전체를 탐색하여 같은 특성을 가지는 영역을 찾아내기 위하여 많은 계산 량과 반복을 요구함에도 불구하고 정확히 분할하는데 많은 어려움이 있다.
1. 한국공개특허번호 제10-2013-023752호 2. 한국등록특허번호 제10-0980282호 3. 한국등록특허번호 제10-0988872호
1. 권현외, "영상분할기법을 이용한 수치항공영상 해석에 관한 연구",한국지형공간정보학회논문집 제2권 제2호, pp.131-142, 1994.12
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 최근, 감시, 정찰, 자료수집, 안내 등의 다양한 지능형 영상처리 분야에서 응용되고 있는 분할 기법을 무인 항공기 영상 또는 항공 영상에 최적화시키기 위해서 항공 영상이 가지고 있는 학습 데이터가 부족하며 해상도가 낮고 특징점이 불충분 하다는 문제들을 해결하기 위한 영역 기반의 항공 영상 분할 방법을 제공하는데 그 목적이 있다.
부연하면, 본 발명은 항공 영상의 이러한 문제점에 특화된 기술을 개발하여 항공 영상을 카테고리별로 분할, 인식함에 있어서 정확도를 향상시키는 영역 기반의 항공 영상 분할 방법을 제공하는데 다른 목적이 있다.
또한, 본 발명은 이러한 영역 기반의 항공 영상 분할 방법을 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체를 제공하는데 또 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 감시, 정찰, 자료수집, 안내 등의 다양한 지능형 영상처리 분야에서 응용되고 있는 분할 기법을 무인 항공기 영상 또는 항공 영상에 최적화시키기 위해서 항공 영상이 가지고 있는 학습 데이터가 부족하며 해상도가 낮고 특징점이 불충분 하다는 문제들을 해결하기 위한 영역 기반의 항공 영상 분할 방법을 제공한다.
상기 항공 영상 분할 방법은,
무인 항공기에 의해 촬영된 항공 영상에 대하여 영역 기반으로 분할하는 영역 기반의 항공 영상 분할 방법에 있어서,
필터들의 집합인 필터뱅크를 상기 항공 영상의 픽셀들에 적용하여 필터반응들을 추출하는 초기화 단계;
상기 필터 반응들에 대하여 좁은 구역 및 넓은 구역으로 분할하고 분할 기법을 적용하여 반응을 획득하는 반응 획득 단계;
상기 항공 영상에 대해 각 픽셀별로 텍스톤화(textonize)하여 클러스터로 생성하여 텍스톤을 추출하고 상기 각 필터 반응들과 클러스터의 중심점을 매핑하여 텍스톤 맵을 생성하고, 상기 텍스톤 맵에 이용하여 반응 정도를 생성하는 텍스톤 사전 생성 단계;
상기 반응 정도에 대하여 에러를 최소화하고 가중치를 부여하여 상기 항공 영상의 픽셀들 각각에 대하여 최종 반응들을 추출하는 부스팅 단계; 및
추출된 최종 반응들 중 가장 높은 비율에 따라 상기 항공 영상의 픽셀들 중 해당 픽셀의 카테고리를 분류하는 카테고리 결정 단계;를 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 텍스톤 사전 생성 단계는, 클러스터링 기법 및 거리 측정 기법을 사용하여 상기 필터 반응들을 클러스터로 생성하는 단계; K-D 트리 기법을 이용하여 상기 필터 반응들 각각과 가장 가까운 클러스터 중심점을 매핑하여 텍스톤 맵을 생성하는 단계; 및 특정 개수의 다수의 직사각형 영역(region)(ri) 및 텍스쳐(ti)로 생성된 텍스톤 맵의 특정 위치에 해당하는 반응들과 비교하여 반응 정도를 획득하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 반응 정도는 상기 텍스톤 맵에서 다수의 직사각형 영역(ri)내의 텍스쳐(ti)가 차지하는 비중을 0과1 사이 확률로서 표현되며, 상기 비중은 수학식
Figure pat00001
(여기서, 직사각형 영역(ri)의 면적을 나타내고, Tj는 상기 직사각형 영역 내의 특성을 표현하는 텍스쳐를 나타낸다)로 표현되는 것을 특징으로 할 수 있다.
또한, 상기 필터 뱅크는 적어도 17개의 필터들을 포함하되, 상기 필터 뱅크의 구성 필터는 가우시안 미분 필터(Derivative Of Gaussian Filter), 라플라시안 필터(Laplacian Filter) 및 가우시안 필터(Gaussian Filter)의 조합인 것을 특징으로 할 수 있다.
또한, 상기 가우시안 미분 필터의 경우, x축 또는 y축에 대해 파라미터 시그마 값이 2와 4 중 하나인 것을 특징으로 할 수 있다.
또한, 상기 라플라시안 필터라플라시안 필터의 경우, L채널에 대하여 파라미터 시그마 값이 1,2,3, 및 8 중 하나인 것을 특징으로 할 수 있다.
또한, 상기 가우시안 필터의 경우, 랩(LAB)의 3채널 모두에 대해서 각각 파라미터 시그마 값이 1,2 및 4 중 하나인 것을 특징으로 할 수 있다.
또한, 상기 항공 영상의 구성 요소는 RGBs 색상 구성 및 CIELab 색상구성 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 넓은 구역에 대해 서로 다른 3가지 인자값들을 이용하여 평균 이동 기법을 적용하고, 상기 좁은 구역에 대해 서로 다른 3가지 인자값을 이용하여 K-means 분할 기법을 적용하는 것을 특징으로 할 수 있다.
또한, 상기 부스팅 단계는, 조인트 부스팅( Joint Boosting) 기법을 사용하는 것을 특징으로 할 수 있다.
또한, 상기 피쳐는, 텍스톤 피쳐, SIFT 피쳐 및 위치정보가 포함되는 피쳐 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 최종 반응들은 6가지 반응결과로서, 3개는 넓은 구역에서의 반응결과이고 3개는 좁은 구역에서의 반응결과인 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 다른 일실시예는 위에 기술된 영역 기반의 항공 영상 분할 방법을 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체를 제공한다.
본 발명에 따르면, 항공 영상 분할의 정확도 향상은 군에서의 감시, 정찰에 관한 영상처리 관련 기술 개발에 대해서도 많은 기여를 할 뿐 아니라 학습 데이터가 적고 해상도가 낮고 피쳐 정보가 불충분한 영상에 대한 문제에 대해서도 높은 정확도로 영상을 분류 할 수 있다.
또한, 본 발명의 다른 효과로서는 디지털지도 개발이나 지형 분석 같은 부분에 대해서도 항공영상을 카테고리별로 도로나 산림 등을 정확하고 빠르게 분류함으로써 효율성을 높이고 비용을 절감 할 수 있다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 영역 기반의 항공 영상 분할 과정을 보여주는 흐름도이다.
도 2는 본 발명의 일실시예에 따른 넓은 영역(그룹)에 대해 평균 이동 분할 기법을 적용한 그림이다.
도 3은 본 발명의 다른 일실시예에 따른 좁은 영역(그룹)에 대해 K-means 분할 기법을 적용한 그림이다.
도 4는 본 발명의 다른 일실시예에 따른 나누어진 한 구역에 대해서 클러스터 값을 바꾸어 주는 개념을 도시한 그림이다.
도 5는 본 발명의 일실시예에 따른 하나의 파라미터와 영역만을 고려했을 경우의 항공 영상 분할 결과를 보여주는 화면예이다.
도 6은 본 발명의 다른 일실시예에 따른 주변의 파라미터까지 6개를 고려했을 경우의 항공 영상 분할 결과를 보여주는 화면예이다.
도 7은 본 발명의 일실시예에 따른 분할 기법이 적용된 경우 정확도를 나타내는 그래프이다.
도 8은 도 1에 도시된 분할 단계(S102)를 세부적으로 보여주는 흐름도이다.
도 9는 도 1에 도시된 텍스톤 사전 생성 단계(S103)를 세부적으로 보여주는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 포함한다(comprises) 및/또는 포함하는(comprising)은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 저장 매체를 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 영역 기반의 항공 영상 분할 과정을 보여주는 흐름도이다. 도 1을 참조하면, 본 발명에 따른 영역 기반의 항공 영상 분할 방법은, 초기화 단계(S101), 분할 단계(S102), 텍스톤 사전 생성단계(S103), 부스팅 단계(S104), 최종적으로 카테고리를 결정하는 카테고리 결정 단계(S105) 등을 포함하여 구성된다. 여기서 텍스톤(texton)은 텍스트에 존재하는 기호열을 나타낸다.
먼저 초기화 단계(S101)에서는 다음과 같은 필터들로 구성된 필터 뱅크(필터들의 집합)를 만든다. 필터를 만들 때의 요소는 RGBs 값이 아니라 CIELab형태의 컬러구성을 사용하였다.
1. 가우시안 미분 필터(Derivative Of Gaussian Filter) 4개 :
L채널만 고려함
x축 방향 필터 :
Figure pat00002
=2,4
y축 방향 필터 :
Figure pat00003
=2,4
2. 라플라시안 필터(Laplacian Filter) 4개 : L채널만 고려함,
Figure pat00004
=1,2,4,8
3. 가우시안 필터(Gaussian Filter) 9개 : Lab 3채널 모두 고려함,
Figure pat00005
=1,2,4
위와 같이 총 17개의 필터를 가지는 필터 뱅크를 데이터 셋에서 모든 pixel들에 대하여 적용하여 필터 반응을 추출한다.
다음으로 분할 단계(S102)에서는 도 8에서 도식된 바와 같이 넓은 구역과 좁은 구역에 따라 각각 다른 분할 기법이 적용된다. 넓은 구역에서 3가지 경우와 좁은 구역에서 3가지 경우를 고려하여 총 6가지의 경우와 그에 따른 6가지의 반응을 얻게 된다. 넓은 구역에서의 3가지 경우는 도2에 도식화 되어있고 좁은 구역에서의 3가지 경우는 도3에 도식화 되어있다.
이렇게 넓은 구역과 좁은 구역으로 나누어서 계산을 한 뒤 반응을 취합하는 방법을 하는 이유는 도 4에 도식되어 있는 그림을 보면 이해가 쉽다. 한 가지 파라미터에 대해서만 계산된 구역의 크기는 해당 픽셀과 주변에 이웃한 픽셀에 대해서 잘못된 값의 변화와 오류가 생기기 쉽다. 따라서 다양한 크기의 묶음들(슈퍼픽셀)을 고려하여 분할 기법을 적용해야 한다.
부연하면, 넓은 구역(400)의 경우 픽셀(400-1)을 기준으로 서브 영역(400-2)내의 픽셀값은 주변 영역에 "3"을 갖는 픽셀이 많으므로 "1"은 "3"으로, "2"는 "3"으로 변경된다. 즉, 서브 영역(400-2)이 모두 "3"으로 변경된다.
이와 달리, 좁은 구역(410)의 경우 픽셀(410-1)을 기준으로 서브 영역(410-2)내 픽셀(410-1)값만이 "2"에서 "1"로 변경된다. 즉, 서브 영역(410-2)이 모두 "1"로 변경된다. 따라서, 이렇게 하나의 픽셀에 변경되는 반응들이 모두 총 6개 존재하게 된다.
먼저 도 2에서 보는 바와 같이 3가지 경우의 넓은 구역에 대해서 분할 기법을 적용할 때는 적절한 기준 파라미터 값과 그 값을 기준으로 허용되는 범위 안에 있는 다른 두 개의 파라미터 값(Rspatial, Rcolor)을 선택한다. 이렇게 선택된 파라미터 값으로 평균 이동법을 적용해서 넓은 구역에서의 3가지 경우 일 때의 반응을 추출해 낸다. 즉 2개의 파라미터 값(Rspatial=5,7,9, Rcolor=7)에 따라 원본 영상(201)으로부터 3가지 경우의 영상(202,203,204)이 추출된다.
그 다음, 컬러값을 기준으로 특정 반경 안에서 K-means 분할 기법을 적용하면 도 3의 원본영상(301)으로부터 302에서와 같이 추상적인 슈퍼픽셀과 같은 효과를 얻을 수 있다. 물론, 도 2에 도시된 원본영상(301)과 도 3에 도시된 원본영상(301)은 동일하다.
여기서 슈퍼픽셀이란 픽셀 근처의 유사성이 높은 픽셀끼리 작은 구역으로 묶어 하나의 픽셀과 같은 역할을 함을 말한다. 이렇게 작은 구역으로 묶어진 상태에서 K-means 분할 기법을 적절한 거리(Distance)를 기준으로 허용 범위 안에서 총 3가지 경우에 대해서 적용한다. 이렇게 함으로써 거리(Distance = 10,15,20)에 따른 구역크기 별로 3가지 경우(302,303,304)에 대한 반응을 추출할 수 있다.
일반적으로, n개의 객체를 가진 데이터 집합 D와 군집수로 k가 주어진다면, 분할 알고리즘은 객체들을 나누어 k개의 군집으로 나누어진다. 결과적으로 군집내의 객체들은 유사하고, 다른 군집의 객체들끼리는 그렇지 않도록 하는 것이다. 이러한 분할 알고리즘으로는 K-means 분할 기법을 들 수 있다.
도 8의 K-means 분할 기법을 이용한 분할 단계(S810)를 거쳐서 나온 3가지 경우의 반응과 평균 이동 분할 기법을 이용한 분할 단계(S820)를 거쳐서 나온 3가지 경우의 반응이 도 1의 분할 단계(S102)를 거쳐서 나오게 된다.
도 1을 계속 참조하여 설명하면, 텍스톤(texton) 사전 생성 단계(S103)는 도 9에서 도식화된 것처럼 세부적으로 총 3개의 단계(S910,S920,S930)로 구성된다. 첫 번째는 텍스톤 사전을 학습시키는 단계(S910), 두 번째는 K-D 트리(Tree) 기법을 적용하여 모든 영상을 텍스톤화시키는 단계(S920), 마지막으로 텍스쳐-레이아웃 필터(texture-layout filter)를 이용하여 필터링하는 단계(S930)로 이루어져있다. 여기서, K-D 트리(k-dimensional tree)는 k-차원의 공간 내에서 점들을 구성하기 위한 공간 분할 자료구조로 binary tree의 특수한 경우를 일컫는다.
텍스톤 사전 학습 단계(S910)에서는 영상의 각 픽셀별 필터 반응들을 군집화한다. 이때 사용되는 클러스터링 기법은 K-means 분할 기법을 사용하였으며 거리를 측정하는 기법은 유클라디안 기법을 사용하였다.
텍스톤 사전 학습 단계(S910)에서 도출된 클러스터의 중심점을 기반으로 두 번째 단계인 텍스톤화 단계(S920)에서는 K-D Tree 알고리즘을 이용하여 필터뱅크를 거친 각각 필터 반응들과 가장 가까운 클러스터 중심점을 매핑하여 텍스톤 맵을 만든다.
마지막 단계인 텍스쳐-레이아웃 필터링 단계(S930)에서는 특징점에 대해 임의의 크기를 가지는 100개의 여러 가지 크기의 직사각형 영역(region)
Figure pat00006
과 이 직사각형 영역(ri) 내의 특성을 보여주는 텍스쳐(Texture)
Figure pat00007
에 대해 이전 단계(S920)에서 만들어진 텍스톤 맵(Textons map)의 임의의 위치에 해당하는 반응들과 비교하며 이때 텍스톤 맵(Textons map)에서
Figure pat00008
내의
Figure pat00009
가 차지하는 비중을 0과1 사이 확률로서 나타내어 반응정도를 얻는다. 예를 들면, r1과 t1을 갖는 피쳐(feature1)를 입력 영상에 위치한 경우 영상의 컬러가 t1의 컬러와 완전히 일치하면 반응 정도의 값은 "1"이고, 반정도만 일치하면 반응 정도의 값은 "0.5"이고, 완전히 다른 컬러이면 반응 정도의 값은"0"이 된다. 여기서, 직사각형 영역은 가로 직사각형, 또는 세로 직사각형 등으로 표현될 수 있다.
랜덤한 크기를 가지는 직사각형 영역(region) 모양의 피쳐들은 {x, y, width, height}의 값을 갖는다. 여기서, x, y는 위치좌표를 나타내고, width, height는 랜덤 크기의 사각형의 높이와 폭을 나타낸다.
이러한 직사각형 영역(region) r 내에서 t가 차지하는 비중(v)을 0~1사이의 확률로 나타냄을 수식적으로 표현하면 다음식과 같다.
Figure pat00010
여기서, Tj는 텍스쳐이다.
따라서, r 영역 전체에 대해서 텍스쳐(Tj)가 모두 일치하면 v의 값은 1이 된다.
도 1을 계속 참조하여 설명하면, 부스팅 단계(S104)에서는 조인트 부스팅(Joint Boosting) 기법을 적용하게 된다. 조인트 부스팅 기법은 약한 학습자(weak learners)를 찾은 뒤 그것으로 각 학습 이미지에 대해서 수학식 2의 계산식을 적용하여 에러를 계산한다. 이를 수학식으로 나타내면 다음과 같다.
Figure pat00011
여기서, w는 가중치를 나타내며 z는 이미 일고 있는 학습자(답안), h는 상기의 반응들로 계산된 현재의 약한 학습자이다.
그 중 에러를 최소화하는 약한 학습자의 집합을 선택하게 되고, 얻어진 약한 학습자를 강한 학습자(strong classifier)와 더해서 강한 학습자를 업데이트 시킨다. 그리고 계산된 약한 학습자 값을 기반으로 가중치를 업데이트시킨다.
따라서, 조인트 부스팅 방식에 대하여는 널리 알려져 있으므로 더 이상의 설명은 생략하기로 한다.
이러한 과정을 반복하여 각 픽셀에 대해서 6개의 반응들을 추출하고 얻어진 반응들을 마지막 단계인 카테고리 결정 단계(S105)에서 사용한다.
카테고리 결정 단계(S105)에서는 가장 높은 비율을 차지하고 있는 카테고리 값을 최종적으로 선택하여 해당 픽셀의 카테고리를 분류하게 된다.
이때 상기 부스팅으로 구해진 텍스톤의 피쳐를 이용한 것 이외에도 널리 쓰이는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 나오는 피쳐와 해당 이미지에서 보편적으로 나타나는 위치에 대한 피쳐도 같이 사용할 수 있다.
도 5는 본 발명의 일실시예에 따른 하나의 파라미터와 영역만을 고려했을 경우의 항공 영상 분할 결과를 보여주는 화면예이다.
도 6은 본 발명의 다른 일실시예에 따른 주변의 파라미터까지 6개를 고려했을 경우의 항공 영상 분할 결과를 보여주는 화면예이다.
도 7은 본 발명의 일실시예에 따른 분할 기법이 적용된 경우 정확도를 나타내는 그래프이다. 도 7을 참조하면, 텍스톤만의 정확도 곡선(710), 텍스톤 + Loc(Locator)의 정확도 곡선(720), 텍스톤 + Loc + LBP(Local Binary Pattern)의 정확도 곡선(730), 텍스톤 + Loc + LBP(Local Binary Pattern) + 다중 분할의 정확도 곡선(740)이 도시된다.
특히, 본 발명의 일실시예에 따른 영역 기반의 항공 영상 분할 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 코드 형태로 구현되어 컴퓨터로 읽을 수 있는 저장 매체에 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관등의 전송 매체일 수도 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 본 발명의 일실시예는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다.
소프트웨어적인 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
201,301: 원본 영상

Claims (13)

  1. 무인 항공기에 의해 촬영된 항공 영상에 대하여 영역 기반으로 분할하는 영역 기반의 항공 영상 분할 방법에 있어서,
    필터들의 집합인 필터뱅크를 상기 항공 영상의 픽셀들에 적용하여 필터반응들을 추출하는 초기화 단계;
    상기 필터 반응들에 대하여 좁은 구역 및 넓은 구역으로 분할하고 분할 기법을 적용하여 반응을 획득하는 반응 획득 단계;
    상기 항공 영상에 대해 각 픽셀별로 텍스톤화(textonize)하여 클러스터로 생성하여 텍스톤을 추출하고 각 필터 반응들과 클러스터의 중심점을 매핑하여 텍스톤 맵을 생성하고, 상기 텍스톤 맵에 이용하여 반응 정도를 생성하는 텍스톤 사전 생성 단계;
    반응 정도에 대하여 에러를 최소화하고 가중치를 부여하여 상기 항공 영상의 픽셀들 각각에 대하여 최종 반응들을 추출하는 부스팅 단계; 및
    추출된 최종 반응들 중 가장 높은 비율에 따라 상기 항공 영상의 픽셀들 중 해당 픽셀의 카테고리를 분류하는 카테고리 결정 단계;
    를 포함하는 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  2. 제 1 항에 있어서,
    상기 텍스톤 사전 생성 단계는,
    클러스터링 기법 및 거리 측정 기법을 사용하여 필터 반응들을 클러스터로 생성하는 단계;
    K-D 트리 기법을 이용하여 필터 반응들 각각과 가장 가까운 클러스터 중심점을 매핑하여 텍스톤 맵을 생성하는 단계; 및
    특정 개수의 다수의 직사각형 영역(region)(ri) 및 텍스쳐(ti)로 생성된 텍스톤 맵의 특정 위치에 해당하는 반응들과 비교하여 반응 정도를 획득하는 단계;를 포함하는 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  3. 제 2 항에 있어서,
    상기 반응 정도는 상기 텍스톤 맵에서 다수의 직사각형 영역(ri)내의 텍스쳐(ti)가 차지하는 비중을 0과1 사이 확률로서 표현되며, 비중은 수학식
    Figure pat00012
    (여기서, 직사각형 영역(ri)의 면적을 나타내고, Tj는 상기 직사각형 영역 내의 특성을 표현하는 텍스쳐를 나타낸다)로 표현되는 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  4. 제 1 항에 있어서,
    상기 필터 뱅크는 적어도 17개의 필터들을 포함하되, 필터 뱅크의 구성 필터는 가우시안 미분 필터(Derivative Of Gaussian Filter), 라플라시안 필터( Laplacian Filter) 및 가우시안 필터(Gaussian Filter)의 조합인 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  5. 제 3 항에 있어서,
    상기 가우시안 미분 필터의 경우, x축 또는 y축에 대해 파라미터 시그마 값이 2와 4 중 하나인 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  6. 제 3 항에 있어서,
    상기 라플라시안 필터라플라시안 필터의 경우, L채널에 대하여 파라미터 시그마 값이 1,2,3, 및 8 중 하나인 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  7. 제 2 항에 있어서,
    상기 가우시안 필터의 경우, 랩(LAB)의 3채널 모두에 대해서 각각 파라미터 시그마 값이 1,2 및 4 중 하나인 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  8. 제 1 항에 있어서,
    상기 항공 영상의 구성 요소는 RGBs 색상 구성 및 CIELab 색상구성 중 적어도 하나를 포함하는 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  9. 제 1 항에 있어서,
    넓은 구역에 대해 서로 다른 3가지 인자값들을 이용하여 평균 이동 기법을 적용하고, 좁은 구역에 대해 서로 다른 3가지 인자값을 이용하여 K-means 분할 기법을 적용하는 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  10. 제 1 항에 있어서,
    상기 부스팅 단계는, 조인트 부스팅( Joint Boosting) 기법을 사용하는 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  11. 제 1 항에 있어서,
    상기 피쳐는, 텍스톤 피쳐, SIFT 피쳐 및 위치정보가 포함되는 피쳐 중 어느 하나인 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  12. 제 1 항에 있어서,
    최종 반응들은 6가지 반응결과로서, 3개는 넓은 구역에서의 반응결과이고 3개는 좁은 구역에서의 반응결과인 것을 특징으로 하는 영역 기반의 항공 영상 분할 방법.
  13. 제 1 항 내지 제 12 항에 따른 영역 기반의 항공 영상 분할 방법을 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체.
KR20130090072A 2013-07-30 2013-07-30 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체 KR101507732B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130090072A KR101507732B1 (ko) 2013-07-30 2013-07-30 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130090072A KR101507732B1 (ko) 2013-07-30 2013-07-30 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체

Publications (2)

Publication Number Publication Date
KR20150014646A true KR20150014646A (ko) 2015-02-09
KR101507732B1 KR101507732B1 (ko) 2015-04-07

Family

ID=52571482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130090072A KR101507732B1 (ko) 2013-07-30 2013-07-30 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체

Country Status (1)

Country Link
KR (1) KR101507732B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341493A (zh) * 2017-07-14 2017-11-10 电子科技大学中山学院 基于分支相似度的地形特征线提取方法、装置及电子设备
KR20180116588A (ko) * 2017-04-17 2018-10-25 광주과학기술원 고화질 항공 이미지에서의 물체 검출 방법
CN110008630A (zh) * 2019-04-18 2019-07-12 哈尔滨工程大学 水下无人航行器集群仿真平台
CN112019757A (zh) * 2020-10-15 2020-12-01 深圳眸瞳科技有限公司 无人机协同摄影方法、装置、计算机设备和存储介质
CN113238646A (zh) * 2021-04-20 2021-08-10 北京易华录信息技术股份有限公司 一种光存储集群的节能存储方法及装置
CN116503633A (zh) * 2023-07-03 2023-07-28 山东艾迈科思电气有限公司 基于图像识别的开关柜状态智能检测控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101694697B1 (ko) 2015-08-03 2017-01-10 안동대학교 산학협력단 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4477439B2 (ja) 2004-07-12 2010-06-09 日立ソフトウエアエンジニアリング株式会社 画像分割処理システム
JP4434868B2 (ja) 2004-07-15 2010-03-17 日立ソフトウエアエンジニアリング株式会社 画像分割処理システム
KR100790867B1 (ko) * 2005-01-14 2008-01-03 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180116588A (ko) * 2017-04-17 2018-10-25 광주과학기술원 고화질 항공 이미지에서의 물체 검출 방법
CN107341493A (zh) * 2017-07-14 2017-11-10 电子科技大学中山学院 基于分支相似度的地形特征线提取方法、装置及电子设备
CN107341493B (zh) * 2017-07-14 2020-03-06 电子科技大学中山学院 基于分支相似度的地形特征线提取方法、装置及电子设备
CN110008630A (zh) * 2019-04-18 2019-07-12 哈尔滨工程大学 水下无人航行器集群仿真平台
CN110008630B (zh) * 2019-04-18 2022-07-15 哈尔滨工程大学 水下无人航行器集群仿真平台
CN112019757A (zh) * 2020-10-15 2020-12-01 深圳眸瞳科技有限公司 无人机协同摄影方法、装置、计算机设备和存储介质
CN113238646A (zh) * 2021-04-20 2021-08-10 北京易华录信息技术股份有限公司 一种光存储集群的节能存储方法及装置
CN113238646B (zh) * 2021-04-20 2024-04-09 北京易华录信息技术股份有限公司 一种光存储集群的节能存储方法及装置
CN116503633A (zh) * 2023-07-03 2023-07-28 山东艾迈科思电气有限公司 基于图像识别的开关柜状态智能检测控制方法
CN116503633B (zh) * 2023-07-03 2023-09-05 山东艾迈科思电气有限公司 基于图像识别的开关柜状态智能检测控制方法

Also Published As

Publication number Publication date
KR101507732B1 (ko) 2015-04-07

Similar Documents

Publication Publication Date Title
KR101507732B1 (ko) 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체
US11830246B2 (en) Systems and methods for extracting and vectorizing features of satellite imagery
CN109753885B (zh) 一种目标检测方法、装置以及行人检测方法、***
Song et al. Road extraction using SVM and image segmentation
CN107085708B (zh) 基于多尺度分割和融合的高分辨率遥感图像变化检测方法
Sumer et al. An adaptive fuzzy-genetic algorithm approach for building detection using high-resolution satellite images
Mahmoudi et al. Object oriented image analysis based on multi-agent recognition system
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
KR20210034429A (ko) 이웃 연결성 합성곱 신경망을 이용한 포인트 클라우드 분류 장치 및 방법
CN111275616B (zh) 低空航拍图像拼接方法和装置
Kumar et al. Feature relevance analysis for 3D point cloud classification using deep learning
Nice et al. Sky pixel detection in outdoor imagery using an adaptive algorithm and machine learning
JP5464739B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
CN106683105A (zh) 图像分割方法及图像分割装置
CN107085725B (zh) 一种通过基于自适应码本的llc聚类图像区域的方法
Lu et al. Closing the loop for edge detection and object proposals
CN116645500A (zh) 边界框的确定方法、装置、设备、存储介质和程序产品
JP2011150627A (ja) 通路検出方法、装置、及びプログラム
CN116645499A (zh) 边界框的确定方法、装置、设备、存储介质和程序产品
JP2017117025A (ja) パターン識別方法及びその装置、そのプログラム
Imani et al. Spectral-spatial classification of high dimensional images using morphological filters and regression model
Huang et al. Semantic labeling and refinement of LiDAR point clouds using deep neural network in urban areas
Zemmoudj et al. Feature selection and classification for urban data using improved F-score with Support Vector Machine
Candare et al. Mapping of high value crops through an object-based SVM model using lidar data and orthophoto in Agusan del Norte Philippines
CN111798473A (zh) 基于弱监督学习的图像协同分割方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 6