KR101294347B1 - 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법 - Google Patents

영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법 Download PDF

Info

Publication number
KR101294347B1
KR101294347B1 KR1020120017147A KR20120017147A KR101294347B1 KR 101294347 B1 KR101294347 B1 KR 101294347B1 KR 1020120017147 A KR1020120017147 A KR 1020120017147A KR 20120017147 A KR20120017147 A KR 20120017147A KR 101294347 B1 KR101294347 B1 KR 101294347B1
Authority
KR
South Korea
Prior art keywords
region
image
sidewalk block
feature information
shape pattern
Prior art date
Application number
KR1020120017147A
Other languages
English (en)
Inventor
조강현
우병석
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020120017147A priority Critical patent/KR101294347B1/ko
Application granted granted Critical
Publication of KR101294347B1 publication Critical patent/KR101294347B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법에 관한 것으로, 영상의 형태 패턴 정보를 이용하여 보도영역 전체를 검출함으로써, 시각장애우가 점자블록뿐만 아니라 전체의 보도영역을 통하여 안전하게 다양한 경로를 이용할 수 있도록 하고 또한, 영상의 형태 패턴으로 검출되지 않는 영역을 해결하기 위해 텍스처 특징(Textural feature) 정보를 이용함으로써, 상이한 모양을 가진 보도블록들도 검출할 수 있으며, 영상 정보 및 텍스처 특징을 이용하기 때문에, GPS 기술에 대비하여 장치 및 구조가 간단하여 생산비용을 낮출 수 있고, 통신상태에 따른 동작지연 및 오동작이 발생하지 않으며, 거리측정시의 오차범위를 줄일 수 있다.

Description

영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법{Mehtod for Brick Path Recognition Using Image Shape Pattern and Texture Feature}
본 발명은 보도블록의 인식방법에 관한 것으로, 더욱 상세하게는 시각장애우의 안전한 보행을 위해 입력 영상으로부터 가시거리에 위치한 블록의 형태 패턴과 텍스처 특징을 분석하여 보도블록을 검출하는 보도블록의 인식방법에 관한 것이다.
최근 시각장애우의 안전한 통행에 관한 사회적 수요는 증대되고 있음을 알 수 있다. 시력이 불편한 어른이나 점자블록에 의지하여 통행하는 시각장애인의 보행권은 비단 장애인의 입장이 아니라도 이들과 동시에 통행해야 하는 일반인 또는 향후 로봇 등을 활용한 통행과 관련하여 넓은 의미로 보행자의 보행권리를 확보한다는 의미에서 중요하다고 하겠다. 더러는 보도블록 위에 부주의하게 놓인 장애물로 인해 사고를 당할 위험도 상존한다. 심지어 부실하게 시공된 점자블록이 차도에까지 연결되어 큰 사고를 유발하기까지 한다. 그리고 그동안 자동차 중심의 도로시공으로 보행자의 통행권이 상대적으로 위축되었다. 이는 보행자의 안전한 통행을 확보하기 위한 노력이 필요함을 역설한다.
점자블록은 일반 보도와 달리 특유의 색상인 노란색을 가지고, 점자 또는 줄무늬 모양이 표면에 장식되어 있으므로, 종래에는 YIQ, YCrCb, HSV와 같은 색상 모델과 에지 정보를 이용하여 점자블록을 검출하였다. 이때, 문턱치를 설정하여 노란색 영역을 검출하고 그 영역에서 에지 정보를 확인하여 점자블록의 외곽 에지가 직선인 특징을 이용하였다. 그 결과를 시각장애우에게 음성정보로 전달하여 안전하게 이동할 수 있게 하였다. 그러나 실제 환경에서 시공된 점자블록은 환경적 제약 또는 부실한 시공으로 인해 경로가 도중에 끊기거나 장애물에 가로 막히는 경우도 빈번히 발생한다. 더구나 점자블록이 존재하지 않는 보도도 있다. 따라서 점자블록에만 의지하여 이동하기에는 현실적 제약이 많은 문제점이 있었다.
대한민국 공개특허공보 제2007-89263호(2007.08.31)에는 네비게이션 수신기를 통하여 수신된 자신의 위치 정보에 의거하여 가고자 하는 목적지로 안전하게 시각장애인을 인도할 수 있는 시각장애인용 네비게이션 시스템이 개시되어 있다. 개시된 선행기술은, GPS 위성으로부터 GPS 데이터를 수신하는 GPS 수신 안테나와, GPS 데이터에 의거한 주변 지리 정보 및 항법 정보를 제공하는 외부 장치와 무선 인터넷을 통해 데이터 통신하는 무선 송/수신부, 지도 데이터가 입력된 ROM과, 입력되는 사용자의 명령 데이터에 따라 최적 경로를 산출 처리하도록 상기 ROM과 무선 송/수신부와 연결된 네비게이션 제어회로와, 네비게이션 정보를 음성으로 출력하는 음향발생부를 포함한다.
그러나, 이러한 선행기술은 GPS 기술을 이용하여 하므로, 송수신부를 포함하여 장치 및 구성이 복잡해지며 생산가격이 상승하고, 통신상태에 따라 동작지연 및 오동작이 발생할 수 있으며, 거리측정시 오차범위가 넓은 문제점들이 있었다.
대한민국 공개특허공보 제2007-89263호(2007.08.31)
본 발명은 상술한 종래기술의 문제점을 극복하기 위한 것으로서, 영상의 형태 패턴 정보를 이용하여 보도영역 전체를 검출함으로써, 시각장애우가 점자블록뿐만 아니라 전체의 보도영역을 통하여 안전하게 다양한 경로를 이용할 수 있도록 하는 보도블록의 인식방법을 제공하는 데에 그 목적이 있다.
또한, 영상의 형태 패턴으로 검출되지 않는 영역을 해결하기 위해 텍스처 특징(Textural feature) 정보를 이용함으로써, 상이한 모양을 가진 보도블록들도 검출할 수 있도록 하는 데에 그 목적이 있다.
또한, 영상 정보 및 텍스처 특징을 이용하기 때문에, GPS 기술에 대비하여 장치 및 구조가 간단하여 생산비용을 낮출 수 있고, 통신상태에 따른 동작지연 및 오동작이 발생하지 않으며, 거리측정시의 오차범위를 줄일 수 있는 데에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명은, 입력 영상의 도로 영역에 나타나는 블록들의 형태 패턴을 분석하여 빈도수가 기준 회수 이상인 형태 패턴을 검출하고, 그 형태를 비교하여 검출된 형태 패턴과 동일 형태를 가지는 블록으로 보도블록을 판단하는 보도블록 판단단계; 상기 검출된 보도블록의 각 영역에 대한 텍스처 특징(Textural feature) 정보를 추출하는 텍스처 특징 추출단계; 상기 추출된 텍스처 특징 정보에 대한 가우시안 분포를 산출하여, 상기 텍스처 특징 정보가 가우시안 분포에 포함되는지의 유무를 판단하여 만족된 영역을 보도블록으로 판단하는 보도블록 판단단계를 포함하는 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법을 제공한다.
상기 보도블록 판단단계는; RGB 영상을 입력하는 영상 입력 단계; 각각의 RGB 입력 영상에서 마스크로 닫기 필터링(closing filter)하여 노이즈 색을 제거하는 닫기 필터링 단계; 밝기 차이를 이용한 클러스터링과 화소 레이블링을 이용하여 영역을 분할하는 영역 분할 단계; 분할된 각 영역의 초기 색상값에 대하여 HIS 컬러 모델을 사용하여 후보영역을 검출하는 후보 영역 검출 단계; 검출된 후보영역을 흑백영상으로 변환하고 블록들 사이의 경계 에지를 검출하는 에지 검출 단계; 이진화 영상으로부터 교차점 및 무게중심을 검출하는 교차점 및 무게중심 검출 단계; 각 영역의 무게중심을 기준으로 주변 교차점의 방위각을 계산하는 방위각 계산 단계; 방위각에 해당하는 교차점을 이용하여 각 영역의 형태 패턴을 구하고 정규화하는 형태 패턴 정규화 단계; 및 상기 단계에서 정규화된 형태 패턴의 각 영역들을 서로 비교하여 유사 영역을 검출하고 이 영역들간의 대응되는 위치의 벡터끼리 비교하여 오차범위 이내의 보도블록을 검출하는 보도블록 검출 단계;를 포함하는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따른 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법에 의하면, 점자블록을 검출하는 것에 끝나지 않고, 보도영역 전체를 검출하여 시각장애우에게 정보를 전달해줌으로써, 시각장애우가 단 하나의 경로인 점자블록뿐만 아니라 전체의 보도영역의 정보를 통해 안전하게 다양한 경로를 이용할 수 있는 효과가 있다.
또한, 형태 패턴으로 검출되지 않는 영역을 해결하기 위해 텍스처 특징(Textural feature) 정보를 이용함으로써, 블록의 마모로 인해 형태가 변형되었거나, 보도 위에 놓인 모래, 자갈, 풀 등의 다양한 이물질로 인하여 기존의 블록과는 다른 형태를 띠거나 또는 시공 과정에서 기준 경계부 및 조건에 따라 모서리 및 마감부분이 절단된 블록 등의 기존의 블록과는 상이한 모양을 가진 블록들을 검출할 수 있는 효과도 있다.
또한, 영상 정보 및 텍스처 특징을 이용하기 때문에, GPS 기술에 대비하여 장치가 간단하여 저렴하게 생산할 수 있고, 통신상태에 따른 동작지연 및 오동작이 발생하지 않으며, 거리측정시의 오차범위를 줄일 수 있는 효과도 있다.
도 1은 본 발명에 따른 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법의 일실시예를 나타낸 제어 흐름도.
도 2는 도 1의 보도블록 판단단계를 상세히 나타낸 제어 흐름도.
도 3a 내지 도 3c는 영역 분할 화면을 단계별로 나타낸 도면.
도 4a 내지 도 4d는 에지 검출 화면을 단계별로 나타낸 도면.
도 5는 픽셀 에지 검출 과정을 나타낸 순서도.
도 6은 교차점 추출 처리 과정을 나타낸 개요도.
도 7a 및 도 7b는 레이블링된 영역과 무게중심을 나타낸 도면.
도 8은 각 영역에서 검출된 무게중심과 주변 교차점 사이를 이어놓은 도면.
도 9a는 방위각의 개수에 대한 히스토그램, 도 9b는 에러 방위각 제거 결과 히스토그램.
도 10은 각 벡터 크기의 정규화 과정을 나타낸 도식도.
도 11은 두 영역에 대한 유사도를 판별하는 그래프를 나타낸 도면.
도 12는 색상과 형태 패턴에 의해 검출된 보도블록을 나타낸 도면.
도 13은 흰 블록과 연석 영역에 대한 0도 단방향의 카운트 수를 나타낸 도면.
도 14는 중심픽셀을 기준으로 이웃픽셀에 대한 4가지 방향을 나타낸 도면.
도 15는 0도 방향의 경우의 수를 나타낸 GLCM 도면.
도 16은 0도 방향의 경우의 확률밀도를 나타낸 GLCM 도면.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법의 일실시예를 나타낸 제어 흐름도이다.
도시된 바와 같이, 본 발명의 바람직한 일실시예에 의하면, 입력 영상의 도로 영역에 나타나는 블록들의 형태 패턴을 분석하여 빈도수가 기준 회수 이상인 형태 패턴을 검출하고, 그 형태를 비교하여 검출된 형태 패턴과 동일 형태를 가지는 블록으로 보도블록을 판단하는 보도블록 판단단계(S010); 상기 검출된 보도블록의 각 영역에 대한 텍스처 특징(Textural feature) 정보를 추출하는 텍스처 특징 추출단계(S020); 상기 추출된 텍스처 특징 정보에 대한 가우시안 분포를 산출하여 상기 텍스처 특징 정보가 가우시안 분포에 포함되는지의 유무를 판단하여 만족된 영역을 보도블록으로 판단하는 가우시안 분포 산출단계(S030); 미검출된 각 영역들에 대해 상기 텍스처 특징 정보를 추출하여 가우시안 분포를 산출하는 추가 가우시안 분포 산출단계(S040); 및 상기 텍스처 특징 정보가 가우시안 분포에 포함되는지의 유무를 판단하여 만족된 영역을 보도블록으로 판단하는 추가 보도블록 판단단계(S050)를 포함한다.
도 2는 도 1의 1차 보도블록 판단단계를 상세히 나타낸 제어 흐름도이다.
도시된 바와 같이, 본 발명의 바람직한 일실시예에 따른 상기 1차 보도블록 판단단계는, RGB 영상을 입력하는 영상 입력 단계(S011); 각각의 RGB 입력 영상에서 마스크로 닫기 필터링(closing filter)하여 노이즈 색을 제거하는 닫기 필터링 단계(S012); 밝기 차이를 이용한 클러스터링과 화소 레이블링을 이용하여 영역을 분할하는 영역 분할 단계(S013); 분할된 각 영역의 초기 색상값에 대하여 HIS 컬러 모델을 사용하여 후보영역을 검출하는 후보 영역 검출 단계(S014); 검출된 후보영역을 흑백영상으로 변환하고 블록들 사이의 경계 에지를 검출하는 에지 검출 단계(S015); 이진화 영상으로부터 교차점 및 무게중심을 검출하는 교차점 및 무게중심 검출 단계(S016); 각 영역의 무게중심을 기준으로 주변 교차점의 방위각을 계산하는 방위각 계산 단계(S017); 방위각에 해당하는 교차점을 이용하여 각 영역의 형태 패턴을 구하고 정규화하는 형태 패턴 정규화 단계(S018); 및 상기 단계에서 정규화된 형태 패턴의 각 영역들을 서로 비교하여 유사 영역을 검출하고 이 영역들간의 대응되는 위치의 벡터끼리 비교하여 오차범위 이내의 보도블록을 검출하는 보도블록 검출 단계(S019)를 포함한다.
본 발명의 바람직한 일실시예에 따라 보도블록 판단단계(S010)를 위한 각 단계별 작용을 상세히 설명하면 다음과 같다.
도 3a 내지 도 3c는 영역 분할 화면을 단계별로 나타낸 도면으로서, 도 3a는 입력 영상, 도 3b는 마스크의 닫기 필터 영상, 도 3c는 영역 분할된 영상을 나타낸다.
보도블록의 형태 패턴은 중요한 역할을 한다. 하지만, 이것은 카메라로부터 먼 거리에 있을수록 그 모양이 작아져서 정보를 잃게 된다. 이러한 가시거리의 제한 때문에 본 발명의 바람직한 일실시예에 따르면 입력 영상(640×80)에서 카메라로부터 가까운 1/4크기의 영역을 관심영역으로 추출하여 영상을 입력한다(S010).
추출된 관심 영역은 보도블록, 연석, 차도 등과 같이 다양한 영역을 가진다. 이것은 도 3a와 같이 각 영역을 대표하는 특정한 색을 이용한다. 색을 이용하여 보도블록에 해당하는 영역을 구분하면, 해당 영역에 대한 분석으로 연산량을 줄일 수 있으므로 영역을 분할한다. 본 발명의 바람직한 일실시예에 따르면 각각의 RGB 입력 영상에서 마스크 7×7 마스크로 닫기 필터링(closing filter)하여 에지나 이물질로 인한 노이즈 색을 제거한다(S012).
그 결과 각 영역은 도 3b와 같이 해당 영역을 대표하는 색을 가진다. 이것은 밝기 차이를 이용한 클러스터링과 화소 레이블링을 이용하여 영역을 분할한다(S013).
상기 밝기 차이를 이용한 클러스터링은, 통상의 K-평균 알고리즘(K-means algorithm)을 사용한다. K-평균 알고리즘은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작할 수 있다. 또한, 화소 레이블링(Labeling)이란 인접한 화소에 모두 같은 번호(Label)를 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙이는 것으로 이진 영상에서 수행되는 영역 구분 작업을 말한다.
상기한 레이블링과 클러스터링은 영상 처리 분야에서 일반적으로 사용되는 통상의 학술용어로서 각각의 용어는 사전적 의미로 해석될 수 있으므로, 여기서 이 용어에 대한 상세한 설명은 생략하기로 한다.
또한, 본 발명의 바람직한 일실시예에 따르면 연석과 차도영역은 무채색이므로 채도가 15이하의 값을 가지고, 점자블록은 노란색인 유채색을 가지므로 채도가 15보다 큰 값을 가지면서, 10에서 50사이의 색조값을 가진다. 이를 이용하여 분할된 각 영역의 초기 색상값에 대해 HSI 컬러 모델의 각각의 Hue(색상), Saturation(채도), Intensity(명도) 별로 문턱치를 설정하여 문턱치를 초과하는 값들을 검출하여 보도블록의 후보 영역을 검출한다(S014). 영역 분할의 결과는 도 3c와 같다.
도 4a 내지 도 4d는 에지 검출 화면을 단계별로 나타낸 도면으로서, 도 4a는 흑백 영상, 도 4b는 캐니 필터 영상, 도 4c는 닫기 필터 영상, 도 4d는 세선화 영상을 나타낸다.
보도블록의 후보 영역을 흑백영상으로 변환하고 블록들 사이의 경계인 에지를 검출한다(S015). 이것은 형태 패턴을 검출하기 위한 중요한 정보이다. 보도블록은 블록들이 상호 연결된 구조를 가지므로 그 경계인 에지도 연결성을 가진다. 그러므로 캐니 알고리즘으로 에지를 검출한다. 그 결과는 블록들 사이의 빈 공간을 가진다. 이 문제는 마스크의 닫기 필터를 처리하여 본 발명의 바람직한 일실시예에 따르면 5×5마스크에 포함되는 영역을 채워서 해결한다. 기준값 보다 폭이 넓은 에지는 세선화 알고리즘으로 가늘게 처리한다. 이 과정은 도 4a 내지 4d와 같은 결과를 나타낸다.
영역의 형태 패턴을 정의하기 위해 이진화 영상에서 두 종류의 중요한 특징점을 검출한다. 하나는 독립된 선들이 교차되는 교차점이고, 다른 하나는 영역의 중심인 무게중심이다(S016). 본 발명의 바람직한 일실시예에서 교차점은 다음과 같이 정의한다. 하나의 중심점의 주변 8픽셀에 3개 이상의 상호 독립된 점이 존재할 때, 그 중심점을 교차점이라 한다. 하지만, 세선화로 얻어진 에지의 결과는 에지가 교차되는 부분에 하나의 중심점을 가지지 않고 2개 이상의 픽셀이 모여 있는 상태이다. 그래서 모든 교차점이 1픽셀에 수렴되도록 도 5의 과정을 거친다.
도 5는 본 발명의 바람직한 실시예에 따른 픽셀 에지 검출 과정을 나타낸 순서도이다. 본 발명의 바람직한 일실시예에 따르면, 0의 값을 가진 기준픽셀에서 상하픽셀이 모두 0이고, 왼쪽 또는 오른쪽 픽셀이 0이면서 그것의 상하픽셀 중 하나라도 0의 값을 가지면, 기준픽셀을 제거하여 교차점이 1픽셀에 수렴하도록 한다.
교차점과 무게중심은 에지 영상에서 개별 영역이 가진 형태 패턴을 분석하기 위해 중요한 역할을 한다. 교차점은 한 픽셀을 중심으로 주변 8픽셀에 상호 독립적인 픽셀이 3개 이상 존재하는 중심픽셀이다. 이 정의를 바탕으로 교차점을 찾는 방법은 도 6과 같다.
도 6은 교차점 추출 처리 과정을 나타낸 개요도이다. 먼저, 본 발명의 바람직한 일실시예에 따르면 전경인 0의 값을 가지는 픽셀을 기준으로 주변 8픽셀의 좌측상단 픽셀부터 반시계방향으로 이동하면서 카운터 한다. 카운터는 1부터 시작하고 이웃한 픽셀들의 값이 다를 경우 1씩 증가한다. 최종 카운트 값이 6이상이면 그 중심픽셀을 교차점으로 추출한다.
이진화 영상 내의 각 영역들을 분류하기 위해 레이블링을 한다. 이 결과는 도 7a와 같다. 이것은 다양한 크기를 가진 영역으로 레이블링 된다. 다양한 크기의 영역들 중에서 여러 차례의 실험을 통해 전체 관심영역에 대해 일정범위 이내, 예컨대 35~4%의 크기를 가지는 영역들만 존재시킨다. 그리고 도 7b와 같이 존재하는 영역에 대해 다음의 수학식 1의 1차 모멘트를 적용하여 무게중심을 산출한다.
Figure 112012013650170-pat00001
여기서, xi는 i번째 픽셀의 x축 좌표값, yi는 i번째 픽셀의 y축 좌표값, Ik는 k번째 레이블링 영역, Nk는 k번째 레이블링 영역의 모든 픽셀의 수이다.
다음으로는, 본 발명의 바람직한 일실시예에 따라 각 영역의 무게중심을 기준으로 하여 주변 교차점의 방위각을 계산한다(S017). 앞서 생성된 교차점은 보도블록에 놓인 다양한 이물질(extraneous matter)로 인해 잘못된 교차점이 포함되므로 이를 여과해야 한다. 이물질은 모래, 자갈, 풀과 같은 것들이다. 이 문제는 다음과 같이 해결한다. 보도블록은 단일의 다각형 모양의 블록이 조합되므로 각 블록의 형태 패턴은 유사하다. 이때 형태 패턴은 폐곡선으로 이루어진 면으로 선과 선이 만나서 꺾이는 부분에 각이 생긴다. 이 각의 수에 따라 도형의 모양이 정해진다. 여기서 꺾이는 점이 교차점이다. 이 정의를 바탕으로 각 영역의 무게중심을 기준으로 모든 교차점은 유사한 위치에 놓이게 된다. 따라서 빈도가 높은 위치에 놓인 교차점이 보도블록의 모양을 정의할 수 있는 정보로 이용된다. 이 정의로 에러 점들을 제거한다.
도 9는 에러 점을 제거한 후 각 영역에서 검출된 무게중심과 주변 교차점 사이를 이어놓은 도면이다.
각 영역에서 무게중심을 기준으로 교차점의 방위각을 산출한다. 사전에 검출된 교차점은 에러 교차점을 포함하는데 이것은 히스토그램을 이용하여 제거한다. 방위각은 도 9a에 도시된 방위각의 개수에 대한 히스토그램과 같다. 각의 개수가 큰 값부터 누적시킨 값이 전체 방위각의 개수의 10%를 점유하는 각들을 기준각으로 한다. 이 기준각의 5도 편차 이내의 각도만을 남겨두고 나머지는 노이즈 각도로 제거한다. 이 결과는 도 9b에 도시된 에러 방위각 제거 결과 히스토그램과 같다.
이 방위각에 해당하는 교차점을 이용하여 각 영역의 형태 패턴을 정의한다. 이 방법을 한 예로 설명하면 다음과 같다. 한 영역의 무게중심을 기준으로 한다. 첫 번째로 많은 각도의 교차점을 시작으로 시계방향으로 40도 이상 떨어진 위치의 주변 교차점까지의 벡터 정보를 추출한다. 여기서 벡터는 시작 교차점에서 끝 교차점까지의 크기와 각도를 가지고 있다. 이러한 방식으로 한 바퀴를 돌아 시작 위치까지 오면 한 영역에 대한 형태 패턴이 정의된다. 이와 같은 방식으로 두 번째로 많은 각도를 시작으로 형태 패턴을 정의한다. 따라서 한 영역에 대해 두 가지의 형태 패턴이 정의된다. 한 영역에 정의된 두 가지의 형태 패턴으로 모든 영역에 대해 유사성을 검사한다. 이때 주의할 점은 같은 보도블록이라도 카메라로부터의 거리에 따라 모양의 크기가 달라진다는 것이다. 따라서, 도 10과 같이 벡터 크기의 합 S를 각 벡터의 크기에 나누어 정규화한다(S018).
도 10은 각 벡터 크기의 정규화 과정을 나타낸 도식도이다. 정규화된 형태 패턴을 이용하여 유사한 영역들을 검출한다. 이때 영역들 간의 대응되는 위치의 벡터끼리 비교한다. 다음의 수학식 2와 같이 비교되는 벡터들의 오차가 조건 범위에 포함되는 수가 한 영역이 가지는 벡터의 수와 동일하면 비교된 두 영역을 보도블록으로 검출한다.
Figure 112012013650170-pat00002
여기서, A, B는: 비교대상이 되는 임의 영역, N은 한 영역이 가지는 벡터의 수를 나타낸다.
도 11은 두 영역에 대한 유사도를 판별하는 그래프를 나타낸 도면으로써, 각각의 그래프를 참조하여 두 영역에 대하여 유사도를 판별한 것이다. 본 발명의 바람직한 일실시예에 따르면, 거리오차는 0.05이하이고, 각도오차는 5이하로 나타났다. 따라서 두 영역을 보도블록으로 검출한다.
도 12는 색상과 형태 패턴에 의해 검출된 보도블록을 나타낸 도면으로써, 점자블록이 가지는 특유의 색인 노란색을 HSI 컬러 모델로 검출하고, 보도블록은 형태 패턴을 이용하여 검출한 결과이다.
이 결과에서 일부 영역은 검출되지 않았다. 이것은 같은 모양을 가지는 영역이라도 실제의 블록이 가지는 색상이나 여러 이물질로 인해 에지가 제대로 검출되지 않는다. 그리고 카메라의 화각의 제한으로 획득된 영상 내의 일부 블록이 잘리거나 시공하는 과정에서 보도의 경계부분을 채우기 위해 원래의 보도를 절단한다. 따라서 실제 블록의 모양이 왜곡되거나 다른 모양을 가지게 되어 형태 패턴으로 검출되지 않는 영역이 나타난다. 이러한 문제는 텍스처 특징을 이용하여 해결할 수 있다.
상기 검출된 보도블록의 각 영역에 대한 텍스처 특징(Textural feature) 정보를 추출하는 텍스처 특징 추출단계(S020)에서, 본 발명의 바람직한 일실시예에 따른 상기 텍스처 특징 정보는, 상기 보도블록의 각 영역에 대해 분산, 엔트로피, 동질성 및 대비중에 선택되는 어느 하나 이상의 정보일 수 있다.
본 발명의 바람직한 일실시예에 따라 영상에서 텍스처 특징을 분석하여 동일한 영상 또는 물체를 탐색하거나 분류하는 방법을 참조하여 형태 패턴에 의해 검출되지 않은 보도블록을 검출할 수 있다. 여기서 그레이 영상을 입력으로 하여 미리 검출된 보도블록에 대해 GLCM(Gray-Level Co-occurrence Matrix)을 생성한다. GLCM은 영역을 구성하는 개별 픽셀이 가진 밝기값을 이용하여 이웃한 두 픽셀이 가진 밝기값의 관계에 대한 경우의 수를 행렬로 표현한 것이다. 이때 본 발명의 바람직한 일실시예에 따르면, 입력 영상의 밝기값의 스케일에 따라 GLCM의 크기가 정해지는데 연산량을 줄이기 위해 그레이 영상의 스케일을 256비트에서 16비트로 축소한다. 16비트의 영상을 GLCM으로 변환하고 텍스처 특징을 분석하기 위해 분산(variance), 엔트로피(entropy), 동질성(homogeneity), 대비(contrast) 등 4가지의 특징으로 분석된 값을 구한다. 본 발명의 바람직한 일실시예에 따르면, 미리 검출된 모든 보도블록에서 4가지의 텍스처 특징을 분석 및 취합하여 각각의 가우시안 분포를 생성한다. 이후 미검출된 각 영역에서 4가지의 텍스처 특징의 분석값을 구한다. 다음의 수학식 3과 같이 모든 값이 가우시안 분포의 표준편차 3이내에 포함되면 그 영역을 보도블록으로 검출한다.
Figure 112012013650170-pat00003
여기서, X는 미검출된 각 영역의 텍스처 특징, μ는검출된 영역에 대한 텍스처 특징의 평균, s는 검출된 영역에 대한 텍스처 특징의 표준편차이다.
본 발명의 바람직한 일실시예로서 두 영역의 텍스처 특징을 비교해 보기로 한다. 여기서, 하나는 흰색 블록이고 다른 하나는 연석이다.
도 13은 흰 블록과 연석 영역에 대한 0도 단방향의 카운트 수를 나타낸 도면으로서, 도시된 바와 같이 본 발명의 바람직한 일실시예에 따르면, 영상을 16비트 그레이 영상으로 변환하고 이에 대해 GLCM을 생성한다. 한 픽셀을 기준으로 하여 도 14와 같이 4방향으로 이웃한 주변 픽셀과의 경우의 수를 카운트한다.
도 13과 같이 본 발명의 바람직한 일실시예에 따르면, 0도 방향으로 이웃한 두 픽셀이 13의 값을 가지는 경우의 수는 단방향으로 각각 5개와 16개로 나타난다. 여기서 0도 방향은 좌우측의 양방향으로 카운트가 되므로 경우의 수는 각각 10개와 32개이다. 이러한 방식으로 모든 경우에 수에 대해 생성된 GLCM은 도 15와 같다.
경우의 수로 표현된 GLCM은 도 16과 같이 전체 경우의 수에 대한 각 경우의 수의 비로 나타낸 확률밀도 P로 변환한다. 이 행렬은 분산, 엔트로피, 동질성, 대비 등 4가지의 특징으로 분석한다. 사용된 수식은 다음의 수학식 4와 같다.
Figure 112012013650170-pat00004
그리고 4가지의 특징으로 분석된 결과는 다음의 표 1과 같다. 표 1은 방향에 대해 이웃한 픽셀 사이의 관계의 분석을 나타낸 것으로, 이 결과를 보면 보도블록은 유사한 밝기값의 패턴으로 이루어져 있고, 상대적으로 연석은 변화의 폭이 큰 밝기값의 패턴을 가지고 있음을 알 수 있다.
Figure 112012013650170-pat00005
본 명세서에 기재된 본 발명의 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. 따라서 본 발명은 상술한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.

Claims (6)

  1. 입력 영상의 도로 영역에 나타나는 형태 패턴을 분석하여 빈도수가 기준 회수 이상인 형태 패턴을 검출하고, 빈도수가 기준 회수 이상으로 검출된 형태 패턴들을 서로 비교하여 동일한 형태 패턴을 가질 경우 해당 영역들을 보도블록으로 판단하는 보도블록 판단단계;
    상기 보도블록으로 판단된 영역과 판단되지 않은 영역에 대한 텍스처 특징(Textural feature) 정보를 각각 추출하는 텍스처 특징 추출단계; 및
    상기 보도블록으로 판단된 영역으로부터 추출된 텍스처 특징 정보에 대한 가우시안 분포를 산출하고, 상기 보도블록으로 판단되지 않은 영역의 텍스처 특징 정보가 상기 가우시안 분포의 특정 표준편차 이내에 포함되는지의 유무를 판단하여 상기 특정 표준편차 이내에 포함되는 특징 정보를 갖는 영역을 보도블록으로 추가 판단하는 가우시안 분포 산출단계;를 포함하는 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법.
  2. 제 1항에 있어서,
    상기 보도블록 판단단계는;
    RGB 영상을 입력하는 영상 입력 단계;
    각각의 RGB 입력 영상에서 마스크로 닫기 필터링(closing filter)하여 노이즈 색을 제거하는 닫기 필터링 단계;
    밝기 차이를 이용한 클러스터링과 화소 레이블링을 이용하여 영역을 분할하는 영역 분할 단계;
    분할된 각 영역의 초기 색상값에 대하여 HIS 컬러 모델을 사용하여 후보영역을 검출하는 후보 영역 검출 단계;
    검출된 후보영역을 흑백영상으로 변환하고 블록들 사이의 경계 에지를 검출하는 에지 검출 단계;
    이진화 영상으로부터 교차점 및 무게중심을 검출하는 교차점 및 무게중심 검출 단계;
    각 영역의 무게중심을 기준으로 주변 교차점의 방위각을 계산하는 방위각 계산 단계;
    방위각에 해당하는 교차점을 이용하여 각 영역의 형태 패턴을 구하고 정규화하는 형태 패턴 정규화 단계; 및
    상기 형태 패턴 정규화 단계에서 정규화된 형태 패턴의 각 영역들간의 대응되는시작 교차점에서 끝 교차점까지의 벡터값을 비교하여 거리오차와 각도오차가 기준 오차범위 이내인 영역을 보도블록으로 검출하는 보도블록 검출 단계;를 포함하는 것을 특징으로 하는 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법.
  3. 제 2항에 있어서,
    상기 에지 검출 단계는;
    캐니 알고리즘을 사용하여 에지를 검출하고, 검출 결과 블록들 사이의 빈 공간은 마스크의 닫기 필터를 처리하고, 기준값 보다 폭이 넓은 에지는 세선화 알고리즘으로 가늘게 처리하는 것을 특징으로 하는 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법.
  4. 제 2항에 있어서,
    상기 교차점 및 무게중심 검출 단계는;
    전경인 0의 값을 가지는 픽셀을 기준으로 주변 8픽셀의 좌측상단 픽셀부터 반시계방향으로 이동하면서 1부터 시작하여 카운트하고, 이웃한 픽셀들의 값이 다를 경우 1씩 증가하여 최종 카운트 값이 6이상이면 그 중심픽셀을 교차점으로 추출하는 것을 특징으로 하는 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법.
  5. 제 1항에 있어서,
    상기 텍스처 특징 추출단계의 텍스처 특징 정보는;
    상기 보도블록의 각 영역에 대해 분산, 엔트로피, 동질성 및 대비중에 선택되는 어느 하나 이상의 정보인 것을 특징으로 하는 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법.
  6. 삭제
KR1020120017147A 2012-02-20 2012-02-20 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법 KR101294347B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120017147A KR101294347B1 (ko) 2012-02-20 2012-02-20 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120017147A KR101294347B1 (ko) 2012-02-20 2012-02-20 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법

Publications (1)

Publication Number Publication Date
KR101294347B1 true KR101294347B1 (ko) 2013-08-07

Family

ID=49220091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120017147A KR101294347B1 (ko) 2012-02-20 2012-02-20 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법

Country Status (1)

Country Link
KR (1) KR101294347B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717613B1 (ko) * 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN110084780A (zh) * 2019-03-22 2019-08-02 佛山市科煜智能设备有限公司 一种瓷砖识别分道方法
KR102189406B1 (ko) * 2020-07-30 2020-12-14 마스코리아 주식회사 노면 분류 및 알림 시스템
CN114820742A (zh) * 2022-04-01 2022-07-29 杭州电子科技大学上虞科学与工程研究院有限公司 基于二值化和形态学的瓷砖纹理特征提取方法
KR20240025237A (ko) 2022-08-18 2024-02-27 동의대학교 산학협력단 점자블록 인식 기반의 음성 안내 방법 및 그 시스템
CN118037732A (zh) * 2024-04-12 2024-05-14 陕西仙喜辣木茯茶有限公司 基于人工智能的茯砖茶发花动态检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060008106A (ko) * 2004-07-23 2006-01-26 주식회사 팬택앤큐리텔 시각 장애인을 위한 보행 안내 장치 및 그 방법, 시각장애인을 위한 보행 안내 기능을 갖는 휴대폰 및개인휴대정보단말기
KR20070043223A (ko) * 2005-10-20 2007-04-25 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
KR20110120626A (ko) * 2010-04-29 2011-11-04 숭실대학교산학협력단 시각장애인용 실외 장소인식 및 보행유도 시스템과 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060008106A (ko) * 2004-07-23 2006-01-26 주식회사 팬택앤큐리텔 시각 장애인을 위한 보행 안내 장치 및 그 방법, 시각장애인을 위한 보행 안내 기능을 갖는 휴대폰 및개인휴대정보단말기
KR20070043223A (ko) * 2005-10-20 2007-04-25 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
KR20110120626A (ko) * 2010-04-29 2011-11-04 숭실대학교산학협력단 시각장애인용 실외 장소인식 및 보행유도 시스템과 그 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717613B1 (ko) * 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN110084780A (zh) * 2019-03-22 2019-08-02 佛山市科煜智能设备有限公司 一种瓷砖识别分道方法
CN110084780B (zh) * 2019-03-22 2023-05-23 佛山市科煜智能设备有限公司 一种瓷砖识别分道方法
KR102189406B1 (ko) * 2020-07-30 2020-12-14 마스코리아 주식회사 노면 분류 및 알림 시스템
CN114820742A (zh) * 2022-04-01 2022-07-29 杭州电子科技大学上虞科学与工程研究院有限公司 基于二值化和形态学的瓷砖纹理特征提取方法
KR20240025237A (ko) 2022-08-18 2024-02-27 동의대학교 산학협력단 점자블록 인식 기반의 음성 안내 방법 및 그 시스템
CN118037732A (zh) * 2024-04-12 2024-05-14 陕西仙喜辣木茯茶有限公司 基于人工智能的茯砖茶发花动态检测方法

Similar Documents

Publication Publication Date Title
Riveiro et al. Automatic segmentation and shape-based classification of retro-reflective traffic signs from mobile LiDAR data
CN105809138B (zh) 一种基于分块识别的道路警告标志检测与识别方法
Yang et al. 3D local feature BKD to extract road information from mobile laser scanning point clouds
Son et al. Real-time illumination invariant lane detection for lane departure warning system
KR101294347B1 (ko) 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법
Hui et al. Road centerline extraction from airborne LiDAR point cloud based on hierarchical fusion and optimization
US9396548B2 (en) Multi-cue object detection and analysis
Turker et al. Field-based sub-boundary extraction from remote sensing imagery using perceptual grouping
Matkan et al. Road extraction from lidar data using support vector machine classification
CN103034863B (zh) 一种结合核Fisher与多尺度提取的遥感影像道路获取方法
Fernández et al. Road curb and lanes detection for autonomous driving on urban scenarios
JP6871782B2 (ja) 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置
CN105488454A (zh) 基于单目视觉的前方车辆检测与测距
San et al. Building extraction from high resolution satellite images using Hough transform
CN109086687A (zh) 基于pca降维的hog-mblbp融合特征的交通标志识别方法
US20180114089A1 (en) Attachable matter detection apparatus and attachable matter detection method
CN104778721A (zh) 一种双目图像中显著性目标的距离测量方法
Wang et al. 3-D point cloud object detection based on supervoxel neighborhood with Hough forest framework
CN108256467B (zh) 一种基于视觉注意机制和几何特征的交通标志检测方法
CN106709518A (zh) 基于Android平台的盲道识别***
CN103413131B (zh) 基于光谱及几何特征的塔吊识别方法
CN109635722B (zh) 一种高分辨率遥感影像路口自动识别方法
CN103927759A (zh) 一种航空图像自动云检测方法
Awad A Morphological Model for Extracting Road Networks from High‐Resolution Satellite Images
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee