KR102071128B1 - 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템 - Google Patents

Abstract

본 발명은 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 관한 것으로, 표시 영역 중 일부 영역을 설정하고, 설정된 영역으로부터 이미지를 추출하며, 영역 이미지에 적용된 패턴을 분류 및 분석하고, 적용된 패턴을 이용하여 영역 이미지 내의 열차의 상태, 편성, 시간 정보 등을 추출하는 영상처리를 이용한 실시간 열차 상태정보 추정 방법 및 시스템에 관한 것이다. 본 발명의 일 양상인 영상처리를 이용한 실시간 열차 상태정보 추출 방법은, 영상에서 일정 주기로 복수의 제 1 이미지를 획득하는 제 1 단계; 미리 설정된 기준에 따라 상기 제 1 이미지 각각을 복수의 영역으로 구획하는 제 2 단계; 상기 복수의 영역 각각에서 식별정보 및 이용정보를 적어도 하나 포함하는 복수의 제 2 이미지를 획득하는 제 3 단계; 상기 제 2 이미지에 포함된 식별정보 및 이용정보 중 적어도 하나를 이용하여 상기 제 2 이미지를 복수의 카테고리로 분류하는 제 4 단계; 상기 복수의 카테고리 중 제 1 카테고리에 포함된 제 3 이미지에 포함된 복수의 식별정보를 결정하는 제 5 단계; 상기 제 3 이미지에 포함된 이용정보 중 상기 복수의 식별정보 각각에 관련된 이용정보를 분류하는 제 6 단계; 상기 복수의 식별정보 중 제 1 식별정보와 상기 제 1 식별정보와 관련된 제 1 이용정보를 상기 복수의 영역 중 제 1 영역에 포함된 상태정보로 결정하는 제 7 단계; 및 상기 결정한 상태정보를 이용하여 제 1 식별정보와 연관된 열차의 상태를 판단하는 제 8 단계;를 포함할 수 있다.

Description

영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템{real-time status information extraction method for train using image processing and system}

본 발명은 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 관한 것으로, 표시 영역 중 일부 영역을 설정하고, 설정된 영역으로부터 이미지를 추출하며, 영역 이미지에 적용된 패턴을 분류 및 분석하고, 적용된 패턴을 이용하여 영역 이미지 내의 열차의 상태, 편성, 시간 정보 등을 추출하는 영상처리를 이용한 실시간 열차 상태정보 추정 방법 및 시스템에 관한 것이다.

버스 등 대중교통 시스템의 실시간 위치정보 제공이 활성화되고 있어, 철도에 대한 실시간 열차 위치 정보 요구는 이용객의 안전, 편의 서비스 등을 위해서 지속적으로 증대되고 있다.

수도권 도시철도 구간은 일부 구간을 제외하고 실시간 열차 위치 정보가 제공되고 있으나, 부산, 대구, 광주, 인천, 대전 등의 도시철도 구간과 민간에서 운영하고 있는 대부분의 구간은 현재 실시간 열차 위치 정보를 제공하고 있지 않다.

이러한 문제를 해소하기 위해, 열차선로의 주변상태정보에 대한 전달이 가능한 열차위치검지 태그 시스템 등이 제안된 바 있으나 이러한 태그를 통해 선로주변의 환경정보, 생태정보 및 기상정보를 포함하는 주변상태 정보를 전달하는 방법은 각 선로주변에 태그를 설치하기 위한 비용이 발생하며, 외부환경에 따라 태그인식의 정확도가 저하될 수 있는 문제가 발생할 수 있다.

따라서 이러한 문제점을 해소할 수 있는 방법 및 시스템이 요구되고 있는 실정이다.

대한민국 특허청 출원번호 제10-2015-0054081호 대한민국 특허청 등록번호 제10-1195986호

본 발명은 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 관한 것으로, 표시 영역 중 일부 영역을 설정하고, 설정된 영역으로부터 이미지를 추출하며, 영역 이미지에 적용된 패턴을 분류 및 분석하고, 적용된 패턴을 이용하여 영역 이미지 내의 열차의 상태, 편성, 시간 정보 등을 추출하는 영상처리를 이용한 실시간 열차 상태정보 추정 방법 및 시스템을 제안하고자 한다.

구체적으로 운영기관이 행선 안내 표시를 위해 사용하고 있는 실시간 열차 위치 정보는 열차의 제어 등을 목적으로 사용하고 있어 운영기관 내부의 정보 통신 설비 간 보안 문제를 야기할 수 있으므로, 본 발명은 이를 해결하기 위한 행선 안내 영상기반의 실시간 열차 상태정보 추정 방법을 제안하고자 한다.

또한, 실시간 열차 위치 정보를 구축하기 위해서는 서버 및 네트워크 장비 설치, 소프트웨어 개발, 보안장비 구축 등을 위해 고비용이 요구되고, 고비용의 설비 유지관리비가 발생하며, 노선마다 신호시스템의 운행정보에 사용되는 프로토콜이 상이하고, 신호시스템으로부터 열차운행정보를 추출하기 위해서는 각 노선별 프로토콜을 분석하는데 많은 인력과 예산이 필요하다는 문제점이 있는데, 본 발명의 목적은 이러한 문제를 해결하기 위해 실시간 열차 상태정보 추정 방법을 제시하는데 있다.

또한, 본 발명은 보안 문제를 해결하고 설치, 구축 및 유지보수 비용을 최소화하여 실시간 열차 위치 정보 제공을 할 수 있도록, 관련 데이터를 효율적으로 수집하고, 수집한 데이터를 이용하여 실시간 열차 위치정보를 추출하고자 한다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 영상처리를 이용한 실시간 열차 상태정보 추출 방법은, 영상에서 일정 주기로 복수의 제 1 이미지를 획득하는 제 1 단계; 미리 설정된 기준에 따라 상기 제 1 이미지 각각을 복수의 영역으로 구획하는 제 2 단계; 상기 복수의 영역 각각에서 식별정보 및 이용정보를 적어도 하나 포함하는 복수의 제 2 이미지를 획득하는 제 3 단계; 상기 제 2 이미지에 포함된 식별정보 및 이용정보 중 적어도 하나를 이용하여 상기 제 2 이미지를 복수의 카테고리로 분류하는 제 4 단계; 상기 복수의 카테고리 중 제 1 카테고리에 포함된 제 3 이미지에 포함된 복수의 식별정보를 결정하는 제 5 단계; 상기 제 3 이미지에 포함된 이용정보 중 상기 복수의 식별정보 각각에 근접한 이용정보를 분류하는 제 6 단계; 상기 복수의 식별정보 중 제 1 식별정보와 상기 제 1 식별정보와 근접한 제 1 이용정보를 상기 복수의 영역 중 제 1 영역에 포함된 상태정보로 결정하는 제 7 단계; 및 상기 결정한 상태정보를 이용하여 제 1 식별정보와 연관된 열차의 상태를 판단하는 제 8 단계;를 포함할 수 있다.

또한, 상기 제 7 단계에서 상기 제 1 식별정보와 근접한 제 1 이용정보는 하기의 수학식에 따라 분류될 수 있다.

수학식

상기 수학식에서

는 상기 제 1 식별정보의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이고,

는 상기 제 1 영역의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이며, G는 Green 성분이고, B는 Blue 성분을 의미한다.

또한, 상기 식별정보는 상기 열차와 관련된, 역 이름, 열차번호, 운행상태 및 시간 중 적어도 하나를 포함할 수 있다.

또한, 상기 제 1 단계 내지 상기 제 7 단계는 미리 설정된 횟수만큼 반복하여 수행되고, 상기 반복하여 수행된 이후에 상기 제 8 단계가 진행될 수 있다.

또한, 상기 영상은 복수이고, 상기 복수의 영상은 서로 다른 형식에 따라 상기 열차와 관련된 상태를 표시할 수 있다.

한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 양상인 영상처리를 이용한 실시간 열차 상태정보 추출 시스템은 영상을 표시하는 디스플레이부; 및 상기 영상에서 일정 주기로 복수의 제 1 이미지를 획득하고, 미리 설정된 기준에 따라 상기 제 1 이미지 각각을 복수의 영역으로 구획하며, 상기 복수의 영역 각각에서 식별정보 및 이용정보를 적어도 하나 포함하는 복수의 제 2 이미지를 획득하는 제어부;를 포함하되, 상기 제어부는, 상기 제 2 이미지에 포함된 식별정보 및 이용정보 중 적어도 하나를 이용하여 상기 제 2 이미지를 복수의 카테고리로 분류하고, 상기 복수의 카테고리 중 제 1 카테고리에 포함된 제 3 이미지에 포함된 복수의 식별정보를 결정하며, 상기 제 3 이미지에 포함된 이용정보 중 상기 복수의 식별정보 각각에 근접한 이용정보를 분류하고, 상기 복수의 식별정보 중 제 1 식별정보와 상기 제 1 식별정보와 근접한 제 1 이용정보를 상기 복수의 영역 중 제 1 영역에 포함된 상태정보로 결정하며, 상기 결정한 상태정보를 이용하여 제 1 식별정보와 연관된 열차의 상태를 판단할 수 있다.

또한, 상기 제어부는 하기의 수힉삭에 따라 상기 제 1 식별정보와 근접한 제 1 이용정보를 분류할 수 있다.

수학식

상기 수학식에서

는 상기 제 1 식별정보의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이고,

는 상기 제 1 영역의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이며, G는 Green 성분이고, B는 Blue 성분을 의미한다.

또한, 상기 식별정보는 상기 열차와 관련된, 역 이름, 열차번호, 운행상태 및 시간 중 적어도 하나를 포함할 수 있다.

또한, 상기 영상은 복수이고, 상기 복수의 영상은 서로 다른 형식에 따라 상기 열차와 관련된 상태를 표시할 수 있다.

본 발명은 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 관한 것으로, 표시 영역 중 일부 영역을 설정하고, 설정된 영역으로부터 이미지를 추출하며, 영역 이미지에 적용된 패턴을 분류 및 분석하고, 적용된 패턴을 이용하여 영역 이미지 내의 열차의 상태, 편성, 시간 정보 등을 추출하는 영상처리를 이용한 실시간 열차 상태정보 추정 방법 및 시스템을 제공할 수 있다.

구체적으로 운영기관이 행선 안내 표시를 위해 사용하고 있는 실시간 열차 위치 정보는 열차의 제어 등을 목적으로 사용하고 있어 운영기관 내부의 정보 통신 설비 간 보안 문제를 야기할 수 있으므로, 본 발명은 이를 해결하기 위한 행선 안내 영상기반의 실시간 열차 상태정보 추정 방법을 사용자에게 제공할 수 있다.

또한, 실시간 열차 위치 정보를 구축하기 위해서는 서버 및 네트워크 장비 설치, 소프트웨어 개발, 보안장비 구축 등을 위해 고비용이 요구되고, 고비용의 설비 유지관리비가 발생하며, 노선마다 신호시스템의 운행정보에 사용되는 프로토콜이 상이하고, 신호시스템으로부터 열차운행정보를 추출하기 위해서는 각 노선별 프로토콜을 분석하는데 많은 인력과 예산이 필요하다는 문제점이 있는데, 본 발명은 이러한 문제를 해결하기 위해 실시간 열차 상태정보 추정 방법을 제공할 수 있다.

또한, 본 발명은 보안 문제를 해결하고 설치, 구축 및 유지보수 비용을 최소화하여 실시간 열차 위치 정보 제공을 할 수 있도록, 관련 데이터를 효율적으로 수집하고, 수집한 데이터를 이용하여 실시간 열차 위치정보를 추출할 수 있다.

또한, 본 발명의 실시간 열차 위치 추정방법을 통해 구축된 데이터를 표준화하여 철도 및 도시철도 운영기관별 표준화된 철도 열차 위치 시스템 개발을 위한 인프라 확보가 가능하다.

또한, 본 발명을 통해 실시간 열차 위치 정보를 열차의 제어 등의 목적으로 사용하고 있어 운영기관 내부의 정보 통신설비 간 발생할 수 있는 보안문제를 방지할 수 있다.

또한, 본 발명은 서버 및 네트워크장비 설치, 소프트웨어 개발, 보안장비 구축 등의 비용 문제와 각 노선별 프로토콜을 분석하는데 많은 인력과 예산이 필요한 문제를 해결 할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 영상처리를 이용한 실시간 열차 상태정보 추출 시스템의 블록구성도의 일례를 도시한 것이다.
도 2는 본 발명에 따른 영상처리를 이용한 실시간 열차 상태정보 추출 시스템에 적용되는 서버의 블록구성도의 일례를 도시한 것이다.
도 3은 본 발명에 따른 서버에 표시될 수 있는 다양한 종류의 철도 차량 운행 상태의 표시 내용 일례를 도시한 것이다.
도 4는 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법을 설명하기 위한 순서도이다.
도 5는 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 영역을 설정하는 방법을 설명하는 순서도이다.
도 6a 및 도 6b는 도 5에서 설명한 영역을 설정하는 일례를 설명하는 도면이다.
도 7은 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 영역 이미지 추출, 기본 패턴 선택, 패턴 분류하는 방법을 설명하는 순서도이다.
도 8a 및 도 8b는 정보영역 이미지를 추출하고, 기본 패턴을 선택하는 일례를 도시한 것이다.
도 9a 및 도 9b는 정보 영역 패턴을 분류하고, 패턴을 분석하는 일례를 도시한 것이다.
도 10은 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 새로운 이미지데이터를 인식하기 위해 기준 데이터의 Nomalized Image Distance를 구한 후, 인식할 데이터와의 거리 비교를 통해 실시간 위치정보를 추출하는 알고리즘의 순서도를 도시한 것이다.
도 11은 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 정보 영역의 패턴을 인식하는 방법을 설명하는 순서도이다.
도 12는 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 의한 효과를 설명하는 도면이다.
도 13은 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 의한 다른 효과를 설명하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.

본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 직접 연결되어 있다거나 직접 접속되어 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.

버스 등 대중교통 시스템의 실시간 위치정보 제공이 활성화되고 있어, 철도에 대한 실시간 열차 위치 정보 요구는 이용객의 안전, 편의 서비스 등을 위해서 지속적으로 증대되고 있다.

수도권 도시철도 구간은 일부 구간을 제외하고 실시간 열차 위치 정보가 제공되고 있으나, 부산, 대구, 광주, 인천, 대전 등의 도시철도 구간과 민간에서 운영하고 있는 대부분의 구간은 현재 실시간 열차 위치 정보를 제공하고 있지 않다.

이러한 문제를 해소하기 위해, 열차선로의 주변상태정보에 대한 전달이 가능한 열차위치검지 태그 시스템 등이 제안된 바 있으나 이러한 태그를 통해 선로주변의 환경정보, 생태정보 및 기상정보를 포함하는 주변상태 정보를 전달하는 방법은 각 선로주변에 태그를 설치하기 위한 비용이 발생하며, 외부환경에 따라 태그인식의 정확도가 저하될 수 있는 문제가 발생할 수 있다.

본 발명에서는 이러한 문제점을 해소하고자 표시 영역 중 일부 영역을 설정하고, 설정된 영역으로부터 이미지를 추출하며, 영역 이미지에 적용된 패턴을 분류 및 분석하고, 적용된 패턴을 이용하여 영역 이미지 내의 열차의 상태, 편성, 시간 정보 등을 추출하는 영상처리를 이용한 실시간 열차 상태정보 추정 방법 및 시스템을 제안하고자 한다.

구체적으로 운영기관이 행선 안내 표시를 위해 사용하고 있는 실시간 열차 위치 정보는 열차의 제어 등을 목적으로 사용하고 있어 운영기관 내부의 정보 통신 설비 간 보안 문제를 야기할 수 있으므로, 본 발명은 이를 해결하기 위한 행선 안내 영상기반의 실시간 열차 상태정보 추정 방법을 제안하고자 한다.

또한, 실시간 열차 위치 정보를 구축하기 위해서는 서버 및 네트워크 장비 설치, 소프트웨어 개발, 보안장비 구축 등을 위해 고비용이 요구되고, 고비용의 설비 유지관리비가 발생하며, 노선마다 신호시스템의 운행정보에 사용되는 프로토콜이 상이하고, 신호시스템으로부터 열차운행정보를 추출하기 위해서는 각 노선별 프로토콜을 분석하는데 많은 인력과 예산이 필요하다는 문제점이 있는데, 본 발명의 목적은 이러한 문제를 해결하기 위해 실시간 열차 상태정보 추정 방법을 제시하는데 있다.

또한, 본 발명은 보안 문제를 해결하고 설치, 구축 및 유지보수 비용을 최소화하여 실시간 열차 위치 정보 제공을 할 수 있도록, 관련 데이터를 효율적으로 수집하고, 수집한 데이터를 이용하여 실시간 열차 위치정보를 추출하고자 한다.

도 1은 본 발명에 따른 영상처리를 이용한 실시간 열차 상태정보 추출 시스템의 블록구성도의 일례를 도시한 것이다.

도 1을 참조하면, 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 시스템(1)은 운영기관 행선안내 프로그램 PC(10), 모니터 분배기(11), 운영기관 행선안내 표시 모니터(12) 및 영상분석 시스템(100)을 포함할 수 있다.

여기서 운영기관 행선안내 프로그램 PC(10)는 차량으로부터 운행과 관련된 정보를 수신하여 모니터 분배기(11)로 전달하는 기능을 제공하고, 모니터 분배기는 운영기관 행선안내 표시 모니터(12)를 통해 열차에 대한 정보를 표시할 수 있도록 분배함과 동시에 영상분석 시스템(100)으로 정보를 전달하여 실시간 열차 상태 정보를 분석할 수 있도록 한다.

본 발명에 따른 영상분석 시스템(100)은 서버(100)라고 호칭할 수도 있고, 대표적으로 영상 캡쳐 하드웨어, 영상 분석 PC 및 LTE 기반 통신 모듈 등을 포함할 수 있다.

도 1을 참조하면, 운영 기관의 행선 안내 프로그램PC(11)에서 역 이름, 열차번호, 운행상태, 시간을 포함하는 화면을 영상 캡쳐 H/W를 통해 취득할 수 있다.

취득한 영상으로부터 일정한 간격으로 캡쳐한 이미지 데이터를 기반하여, 실시간 열차 위치정보에 필요한 영역을 설정할 수 있다.

또한, 설정된 영역의 이미지를 추출 한 후, 이를 바탕으로 실시간 열차 위치정보를 추출할 수 있다.

본 발명의 구체적인 설명에 앞서 도 2를 참조하여 본 발명에 적용되는 서버(100)에 대해 보다 구체적으로 설명한다.

도 2는 본 발명에 따른 영상처리를 이용한 실시간 열차 상태정보 추출 시스템에 적용되는 서버의 블록구성도의 일례를 도시한 것이다.

도 2을 참조하면, 서버(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.

단, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 서버가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(110)는 서버와 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.

이때, 근거리 통신이 이용될 수 있고, 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.

또한, 서버(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 이용될 수도 있다.

도 2을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자가 서버의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 서버의 개폐 상태, 서버의 위치, 사용자 접촉 유무, 서버의 방위, 서버의 가속/감속 등과 같이 서버의 현 상태를 감지하여 서버의 동작을 제어하기 위한 센싱 신호를 발생시킨다.

센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153)가 포함될 수 있다.

디스플레이부(151)는 서버에서 처리되는 정보를 표시(출력)한다.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 서버 바디의 디스플레이부(151)가 차지하는 영역을 통해 서버 바디의 후방에 위치한 사물을 볼 수 있다.

서버의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 서버에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 서버의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 서버에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(153)는 서버의 이벤트 발생을 알리기 위한 신호를 출력한다.

알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.

상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.

메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 서버는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 서버에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 서버 내부의 각 구성 요소에 전달하거나, 서버 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 서버의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal SubscriberIdentity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 서버와 연결될 수 있다.

상기 인터페이스부는 서버가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 서버에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller, 180)는 통상적으로 서버의 전반적인 동작을 제어한다.

제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

이하에서는 전술한 본 발명의 구성을 기초로 본 발명의 구체적인 동작에 대해 설명한다.

도 3은 본 발명에 따른 서버에 표시될 수 있는 다양한 종류의 철도 차량 운행 상태의 표시 내용 일례를 도시한 것이다.

도 3의 (a) 내지 조 3의 (i)에 도시된 것과 같이, 철도 차량 운행 상태 정보는 다양한 형태로 표시될 수 있다.

본 발명에서는 도 3에 도시된 다양한 형태의 철도 차량 운행 상태 정보와 관계없이 획득된 이미지 정보만을 가지고 열차 상태정보를 추출하여 표시하는 것이 가능하다.

도 4는 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법을 설명하기 위한 순서도이다.

도 4를 참조하면, 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태 정보 추출 방법은, 6단계로 구성될 수 있다.

즉, 본 발명은 도시철도 차량 운행 상태 인식방법으로 역 이름, 열차번호, 운행상태, 시간을 인식한다.

도 3을 이용하여 전술한 것과 같이, 운영 기관별 인식해야 하는 인터페이스가 다른데, 알고리즘은 6단계이며, 1~5단계는 인식을 위한 사전 준비 단계이고 6단계는 인식 단계이다.

도 4를 참조하면, 1 단계로서 영역 설정 단계(S100), 2 단계로서 영역 이미지 추출 단계(S200), 3 단계로서 기본 패턴 선택 단계(S300), 4 단계로서 패턴 분류 단계(S400), 5 단계로서 패턴 분석 단계(S500) 및 6 단계로서 패턴 인식 단계(S600)를 포함할 수 있다.

도 5는 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 영역을 설정하는 방법을 설명하는 순서도이다.

도 5를 참조하면, 영역 설정 단계(S100)는 Open Image File 즉, 영상에서 추출한 이미지 파일 열기 단계(S111), Create Region 즉, 정보 영역 단위를 포함하는 영역 설정 단계(S112)를 포함할 수 있다.

이후, Create Reference Unit의 참조 영역을 설정(예를 들어, 열차 번호 세 번째 자리)하는 단계(S113)를 포함하고, Find Information Region으로 정보영역 찾기 단계(S114)가 진행된다.

S114 단계 이후, 새로운 정보 영역을 찾았는지 여부를 확인(S115)하고, 찾은 경우에는 Set Reference Unit의 동작을 수행하고(S616), 찾지 못한 경우에는 모든 정보 영역 찾기가 완료되었는지 확인한다(S117).

모든 정보 영역 찾기가 완료되지 않은 경우에는 Open Image File 단계(S119)를 수행하고, 완료된 경우에는 저장하는 단계(S618)가 진행된다.

도 6a 및 도 6b는 도 5에서 설명한 영역을 설정하는 일례를 설명하는 도면이다.

도 6a 및 도 6b를 참조하면, 인식하고자 하는 영역에 있는 정보를 추출하기 위해서 범위영역과 정보영역을 설정한다.

범위 영역 안에 정보 영역을 생성하는데, 범위 영역은 해당 정보의 종류를 설정하게 된다.

여기서 정보 영역은 범위 영역에 포함되어 있고, 상세한 정보를 포함할 수 있다.

대전을 예로 들면, 정보 영역은 판암역 상행으로 설정하고, 그 안에 열차 번호 첫 번째 자리에 해당하는 정보영역을 설정할 수 있다.

또한, 시간 정보 영역은 시간의 연도 첫 번째 자리에 해당하는 정보 영역, 연도 두 번째 자리에 해당하는 정보 영역 등을 설정할 수 있다.

도 7은 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 영역 이미지 추출, 기본 패턴 선택, 패턴 분류하는 방법을 설명하는 순서도이다.

도 7을 참조하면, 먼저, Extract Information Images로서, 정보영역 이미지를 추출하는 단계(S100)가 진행된다.

이후, 기본 패턴을 선택(S200)하는 단계가 진행되면, Classify Information Images로서 정보 영역 이미지를 분류하는 단계(S311)가 진행된다.

이후, 분류된 폴더를 확인하고(S312), 정보 영역 이미지 분류에 오류가 있는지 여부를 확인한다(S313).

이때, 오류가 있는 경우에는 잘못 분류된 파일을 기본 패턴에 추가하는 단계(S314)가 수행되고, 오류가 없는 경우에는 과정이 종료된다.

도 7과 관련하여, 도 8a 및 도 8b는 정보영역 이미지를 추출하고, 기본 패턴을 선택하는 일례를 도시한 것이고, 도 9a 및 도 9b는 정보 영역 패턴을 분류하고, 패턴을 분석하는 일례를 도시한 것이다.

도 8a를 참조하면, 운영 기관의 행선 안내 프로그램 화면에 대한 동영상에서 30초간격으로100~300 장의 이미지를 취득하여 해당 이미지 파일들에서 정보 영역에 있는 이미지 픽셀 데이터를 별도의 이미지 파일로 추출하는 구체적인 일례가 도시된다.

또한, 도 8b를 참조하면, 정보 영역에서 추출한 패턴 이미지 파일에서 대표가 되는 기본 패턴 이미지를 선택하는 일례가 도시된다..

또한, 도 9a를 참조하면, 정보 영역에서 추출한 패턴 이미지 파일들을 기본 패턴 이미지와 가장 유사한 이미지를 찾아서 해당 기본 패턴 이미지에 맞게 분류하는 구체적인 일례가 도시된다.

또한, 도 9b를 참조하면,정보 영역을 분류한 이미지 파일이 분류되는 기준이 되는 이미지를 세분화 하는 단계가 도시된다.

여기서, 분류한 이미지 파일의 픽셀 정보가 조금씩 다른 숫자 8이 존재할 수 있고, 분류가 잘못될 수도 있다.

잘못 분류된 이미지 파일을 기본 패턴에 추가하여 정보 영역 이미지 분류를 다시 수행하는 단계가 정보 영역 패턴 분석 단계가 된다.

정보 영역 기본 패턴 선택, 패턴 분류, 패턴 분석을 반복함으로써, 본 발명에서는 분류에 오류가 생기지 않도록 할 수 있다.

전술한 도면에서 인식할 데이터의 영역을 설정하여 이미지 픽셀 데이터를 별도의 이미지 파일로 추출할 수 있다.

이때, 추출된 이미지 중 열차번호의 숫자를 분류하기 위해서 K-means clustering 기법을 활용할 수 있다.

K-means clustering 기법에서는 각 역별로 0~9까지의 k값으로 설정하고, 각 그룹의 적절한 초기값을 결정한다.

또한, 데이터로부터 임의의 k개 데이터를 선택하기 때문에 Forgy Algorithm을 사용할 수 있다.

즉, 각 데이터에 대해 데이터와 유클리드 거리가 가장 가까운 그룹을 선택하고, 해당 데이터를 선택된 그룹에 포함 시킬 수 있다.

이러한 과정을 위해 사용되는 수식은 다음의 수학식 1과 같다.

상기 수학식 1에서

는 j번째 이미지 데이터를 의미하고,

는 i번째 그룹의 중심을 의미하며,

는 i번째 그룹에 포함된 데이터들의 집합을 의미한다.

또한, 도 10은 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 새로운 이미지데이터를 인식하기 위해 기준 데이터의 Nomalized Image Distance를 구한 후, 인식할 데이터와의 거리 비교를 통해 실시간 위치정보를 추출하는 알고리즘의 순서도를 도시한 것이다.

도 10을 참조하면, 새로운 이미지데이터를 인식하기 위해 기준 데이터의 Nomalized Image Distance를 구한 후, 인식할 데이터와의 거리 비교를 통해 실시간 위치정보를 추출하는 알고리즘의 순서도가 도시된다.

도 10을 참조하면, 일정한 개수의 패턴을 지정하는 단계(S511), Nomalized Image Distance를 계산하는 단계(S512), 최소 Distance를 일정 개수로 선정하는 단계(S513), 최소 Distance가 많은 Class를 선정하는 단계(S514), 소속 Class를 선정하는 단계(S515)가 도시된다.

또한, 하기의 수학식 2는 픽셀 정보를 이용하여 Nomalized Image Distance를 구하는 식이다.

상기 수학식 2에서

는 기본 패턴의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이고,

는 정보 영역의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이며, G는 Green성분, B는 Blue성분을 의미한다.

여기서는 인식해야 되는 정보 영역의 픽셀 정보를 이용하여 가장 거리가 가까운 기본 패턴 이미지를 찾아서 해당 기본 패턴 이미지로 인식한다.

또한, 같은 범위영역에 있는 기본 패턴 이미지를 연결하여 열차의 상태, 편성정보, 시간 등을 인식한다.

도 11은 도 4에서 설명한 영상처리를 이용한 실시간 열차 상태정보 추출 방법 중 정보 영역의 패턴을 인식하는 방법을 설명하는 순서도이다.

도 11을 참조하면, 기본 패턴 이미지와 역코드 로딩(S611), 캡쳐보드에서 이미지 캡쳐하는 단계(S612), 정보 영역의 이미지 추출 단계(S613), 해당 정보 영역 이미지와 기본 패턴 간 비교 계수 중 최소값 선택 단계(S614), 모든 정보 영역에서 최소값 선택 완료되었는지 판단하는 단계(S615)가 진행된다.

여기서 모든 정보 영역의 최소값 선택이 완료된 경우에는 역코드에 매핑, XLM 생성 및 전송 단계(S616)가 진행되고 그렇지 않은 경우에는 다음 정보 영역으로 이동하는 단계(S617)가 진행된다.

전술한 본 발명의 방법인 실시간 열차 위치 추정 방법을 통해 기존 도시철도에서 제공되지 않았던 실시간 열차 위치 정보를 추정이 가능하다.

이를 통해 보다 정확한 열차 운행 정보를 알고 싶어 하는 이용객들의 편의성 향상을 기대한다.

또한, 차량 내부의 행선 안내 표시기의 고장이나 차량 내부의 혼잡으로 인해 차량의 현재 위치를 파악하기 어려울 경우가 많은데, 본 발명의 방법으로 구축된 실시간 열차 위치 데이터로 다양한 서비스(모바일 웹 서비스, App 개발 등)가 가능해지기 때문에 이러한 서비스를 통해 현재 위치를 파악할 수 있다.

또한, 정부 3.0 취지에 맞게 실시간 열차 위치 원천 데이터 공개가 가능하고, 1인 개발자 및 기업의 서비스 개발을 위한 정보 획득이 완화된다.

또한, 도시철도 역사 실시간 열차 도착 정보 제공 서비스 개발이 가능해진다.

도 12는 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 의한 효과를 설명하는 도면이다.

도 12의 (a) 내지 (e)를 참조하면, 기존의 HSE 행선 안내표시 영상에서 역 고정좌표를 이용한 열차 이미지 추출이 가능해지고, 열차 상태정보 추정 알고리즘 적용이 가능하며, 알고리즘을 통한 열차 상태 정보 이미지를 분석하여 노이즈에 따른 분석 알고리즘으로 예측 정확도 결과가 표시될 수 있다.

또한, 도 13은 본 발명이 제안하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 의한 다른 효과를 설명하는 도면이다.

도 13 의 (a) 내지 (e)를 참조하면, 실시간 열차 상태 정보를 기초로 신호 정보를 판단하고(접근, 도착, 출발 등), 실시간 열차 위치 추정 알고리즘을 이용하여 간헐적 신호 단절로 인한 열차 위치 오류 발생에 대비할 수 있고, 실시간 열차 위치 보정 알고리즘에 따라 실시간 운행열차 시각화 서비스가 가능해진다.

결국, 본 발명은 영상처리를 이용한 실시간 열차 상태정보 추출 방법 및 시스템에 관한 것으로, 표시 영역 중 일부 영역을 설정하고, 설정된 영역으로부터 이미지를 추출하며, 영역 이미지에 적용된 패턴을 분류 및 분석하고, 적용된 패턴을 이용하여 영역 이미지 내의 열차의 상태, 편성, 시간 정보 등을 추출하는 영상처리를 이용한 실시간 열차 상태정보 추정 방법 및 시스템을 제공할 수 있다.

구체적으로 운영기관이 행선 안내 표시를 위해 사용하고 있는 실시간 열차 위치 정보는 열차의 제어 등을 목적으로 사용하고 있어 운영기관 내부의 정보 통신 설비 간 보안 문제를 야기할 수 있으므로, 본 발명은 이를 해결하기 위한 행선 안내 영상기반의 실시간 열차 상태정보 추정 방법을 사용자에게 제공할 수 있다.

또한, 실시간 열차 위치 정보를 구축하기 위해서는 서버 및 네트워크 장비 설치, 소프트웨어 개발, 보안장비 구축 등을 위해 고비용이 요구되고, 고비용의 설비 유지관리비가 발생하며, 노선마다 신호시스템의 운행정보에 사용되는 프로토콜이 상이하고, 신호시스템으로부터 열차운행정보를 추출하기 위해서는 각 노선별 프로토콜을 분석하는데 많은 인력과 예산이 필요하다는 문제점이 있는데, 본 발명은 이러한 문제를 해결하기 위해 실시간 열차 상태정보 추정 방법을 제공할 수 있다.

또한, 본 발명은 보안 문제를 해결하고 설치, 구축 및 유지보수 비용을 최소화하여 실시간 열차 위치 정보 제공을 할 수 있도록, 관련 데이터를 효율적으로 수집하고, 수집한 데이터를 이용하여 실시간 열차 위치정보를 추출할 수 있다.

또한, 본 발명의 실시간 열차 위치 추정방법을 통해 구축된 데이터를 표준화하여 철도 및 도시철도 운영기관별 표준화된 철도 열차 위치 시스템 개발을 위한 인프라 확보가 가능하다.

또한, 본 발명을 통해 실시간 열차 위치 정보를 열차의 제어 등의 목적으로 사용하고 있어 운영기관 내부의 정보 통신설비 간 발생할 수 있는 보안문제를 방지할 수 있다.

또한, 본 발명은 서버 및 네트워크장비 설치, 소프트웨어 개발, 보안장비 구축 등의 비용 문제와 각 노선별 프로토콜을 분석하는데 많은 인력과 예산이 필요한 문제를 해결 할 수 있다.

한편, 상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (9)

1. 영상에서 일정 주기로 복수의 제 1 이미지를 획득하는 제 1 단계;
   미리 설정된 기준에 따라 상기 제 1 이미지 각각을 복수의 영역으로 구획하는 제 2 단계;
   상기 복수의 영역 각각에서 식별정보 및 이용정보를 적어도 하나 포함하는 복수의 제 2 이미지를 획득하는 제 3 단계;
   상기 제 2 이미지에 포함된 식별정보 및 이용정보 중 적어도 하나를 이용하여 상기 제 2 이미지를 복수의 카테고리로 분류하는 제 4 단계;
   상기 복수의 카테고리 중 제 1 카테고리에 포함된 제 3 이미지에 포함된 복수의 식별정보를 결정하는 제 5 단계;
   상기 제 3 이미지에 포함된 이용정보 중 상기 복수의 식별정보 각각에 관련된 이용정보를 분류하는 제 6 단계;
   상기 복수의 식별정보 중 제 1 식별정보와 상기 제 1 식별정보와 관련된 제 1 이용정보를 상기 복수의 영역 중 제 1 영역에 포함된 상태정보로 결정하는 제 7 단계; 및
   상기 결정한 상태정보를 이용하여 제 1 식별정보와 연관된 열차의 상태를 판단하는 제 8 단계;를 포함하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법.
2. 제 1항에 있어서,
   상기 제 7 단계에서 상기 제 1 식별정보와 관련된 제 1 이용정보는 하기의 수학식에 따라 분류되는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법.
   수학식
   

   

   
   상기 수학식에서

   

   는 상기 제 1 식별정보의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이고,

   

   는 상기 제 1 영역의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이며, G는 Green 성분이고, B는 Blue 성분을 의미한다.
3. 제 1항에 있어서,
   상기 식별정보는 상기 열차와 관련된, 역 이름, 열차번호, 운행상태 및 시간 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법.
4. 제 1항에 있어서,
   상기 제 1 단계 내지 상기 제 7 단계는 미리 설정된 횟수만큼 반복하여 수행되고,
   상기 반복하여 수행된 이후에 상기 제 8 단계가 진행되는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법.
5. 제 1항에 있어서,
   상기 영상은 복수이고,
   상기 복수의 영상은 서로 다른 형식에 따라 상기 열차와 관련된 상태를 표시하는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 방법.
6. 영상을 표시하는 디스플레이부; 및
   상기 영상에서 일정 주기로 복수의 제 1 이미지를 획득하고, 미리 설정된 기준에 따라 상기 제 1 이미지 각각을 복수의 영역으로 구획하며, 상기 복수의 영역 각각에서 식별정보 및 이용정보를 적어도 하나 포함하는 복수의 제 2 이미지를 획득하는 제어부;를 포함하되,
   상기 제어부는,
   상기 제 2 이미지에 포함된 식별정보 및 이용정보 중 적어도 하나를 이용하여 상기 제 2 이미지를 복수의 카테고리로 분류하고, 상기 복수의 카테고리 중 제 1 카테고리에 포함된 제 3 이미지에 포함된 복수의 식별정보를 결정하며, 상기 제 3 이미지에 포함된 이용정보 중 상기 복수의 식별정보 각각에 관련된 이용정보를 분류하고, 상기 복수의 식별정보 중 제 1 식별정보와 상기 제 1 식별정보와 관련된 제 1 이용정보를 상기 복수의 영역 중 제 1 영역에 포함된 상태정보로 결정하며, 상기 결정한 상태정보를 이용하여 제 1 식별정보와 연관된 열차의 상태를 판단하는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 시스템.
7. 제 6항에 있어서,
   상기 제어부는 하기의 수힉삭에 따라 상기 제 1 식별정보와 관련된 제 1 이용정보를 분류하는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 시스템.
   수학식
   

   

   
   상기 수학식에서

   

   는 상기 제 1 식별정보의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이고,

   

   는 상기 제 1 영역의 픽셀좌표(x, y)에서의 Red 성분 값(0-255)이며, G는 Green 성분이고, B는 Blue 성분을 의미한다.
8. 제 6항에 있어서,
   상기 식별정보는 상기 열차와 관련된, 역 이름, 열차번호, 운행상태 및 시간 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 시스템.
9. 제 6항에 있어서,
   상기 영상은 복수이고,
   상기 복수의 영상은 서로 다른 형식에 따라 상기 열차와 관련된 상태를 표시하는 것을 특징으로 하는 영상처리를 이용한 실시간 열차 상태정보 추출 시스템.

Images