KR19980701535A - 머신비젼 교통 검출기용 자동 차선 한정 장치 및 방법(automated lane definition for machine vision traffic detector) - Google Patents

머신비젼 교통 검출기용 자동 차선 한정 장치 및 방법(automated lane definition for machine vision traffic detector) Download PDF

Info

Publication number
KR19980701535A
KR19980701535A KR1019970704926A KR19970704926A KR19980701535A KR 19980701535 A KR19980701535 A KR 19980701535A KR 1019970704926 A KR1019970704926 A KR 1019970704926A KR 19970704926 A KR19970704926 A KR 19970704926A KR 19980701535 A KR19980701535 A KR 19980701535A
Authority
KR
South Korea
Prior art keywords
image
edge
images
parallel
road
Prior art date
Application number
KR1019970704926A
Other languages
English (en)
Inventor
제이. 브래디 마크
Original Assignee
워렌 리처드 보비
미네소타 마이닝 앤드 매뉴팩츄어링 컴패니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 워렌 리처드 보비, 미네소타 마이닝 앤드 매뉴팩츄어링 컴패니 filed Critical 워렌 리처드 보비
Publication of KR19980701535A publication Critical patent/KR19980701535A/ko

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 실시간 비디오로부터 제공된 화상으로부터 이 화상에 있는 도로 및 차선의 경계를 한정하는 방법 및 장치에 관한 것이다. 차량과 같은 대상의 움직임에 평행하게 이동하는 에지를 위치시키기 위해, 동화상 내의 에지를 검출하고 화상 사이에서의 움직임을 측정함으로써 도로의 화상이 분석되어, 차선 또는 도로의 경계를 한정하게 된다. 차선 또는 도로의 경계를 한정하기 위해 경계에 기초하여 곡선이 생성된다.

Description

머신비젼 교통 검출기용 자동 차선 한정 장치 및 방법
최근에, 차선을 이용하는 차량의 양에 따른 교통량 검출 및 관리가 중요시되고 있다. 진보된 차량 제어 기술에 머신비젼이 채택되어, 루프 검출기와 같은 종래의 포인트 검출(point detection) 기술을 통해 교통 상황을 확인하고 차량 검출 및 정보 추출을 향상시킬 수 있게 되었다. 통상적으로, 머신비젼 시스템은 차선의 일부를 감시하는 비디오 카메라와, 이 비디오 카메라로부터 수신된 화상을 처리하는 처리기(processor)로 구성된다. 이 처리기는 차량의 존재를 검출하고 비디오 화상으로부터 교통 관련 정보를 추출한다.
이러한 머신비젼 시스템의 일예는 Michalopoulous 등에 의한 미국 특허 번호 제 4,847,772호와, 1991년 2월 1일 발행된 IEEE Transactions on Vehicular Technology, The Autoscope System의 Vol.40, No.1, Panos G. Michalopoulos에 의한 Vehicle Detection Video Through Image Processing 에 개시되어 있다. 상기 특허 제 4,847,772호에는 교통 상황의 비디오 화상을 제공하는 비디오 카메라와, 처리할 화상을 선택하는 수단과, 화상의 선택된 부분을 처리하는 처리기 수단을 포함하는 비디오 검출 시스템이 개시되어 있다.
머신 비젼 시스템은 어떤 교통 관리를 실행할 수 있는 능력을 갖기 전에, 비디오 화상내의 차량을 검출할 수 있어야 한다. 화상내의 차량을 검출할 수 있는 머신비젼 시스템의 일예가 1993년 12월 8일 출원된 Brady 등에 의한 Method and Apparatus for Machine Vision Classification and Tracking란 명칭으로 미국 특허 출원 번호 제 08/163,820호에 개시되어 있다. 상기 특허의 시스템은 도로 상황을 감시하는 비디오 카메라가 제공하는 화상으로부터 실시간으로 차량을 검출 및 분류한다. 비디오 카메라에 의해 화상이 실시간으로 획득된 후, 처리기는 에지 엘리먼트 검출을 실행하고, 화상의 각 픽셀에 대한 수평 및 수직 에지 엘리먼트 명암도(intensity)의 세기를 판별한다. 그리고나서, 수평 및 수직 에지 엘리먼트 명암도 데이타로부터 각 픽셀에 대해 세기와 각(angle)을 갖는 벡터가 계산된다. 명암도의 세기에 의해 무게가 주어짐에 따라, 각 및 위치 데이타를 퍼지화(fuzzify)하기 위해, 관련 영역에서 상기 벡터에 퍼지 집합 이론을 적용한다. 퍼지 집합 이론을 적용한 데이타는 전체 관련 영역을 특성화하는 단일 벡터를 생성하는데 사용된다. 끝으로, 신경망은 이 단일 벡터를 분석하고, 차량을 분류한다.
머신비젼 시스템이 화상을 분석하면, 화상의 어떤 영역이 특정 시간에 관련 정보를 갖고 있는지를 판정하는 것이 바람직하다. 전체 화상내의 영역들을 구분함으로써, 화상내의 정보의 중요성을 판정하기 위해 화상의 일부가 분석될 수 있다. 관련 정보를 알아내기 위한 한가지 방법은 얻어진 화상을 관련 영역으로 나누는 것이며, 이 특정한 관련 영역들은 소정의 기준을 만족시키기 위해 선택될 수 있다. 교통 관리 문제에 있어서, 화상의 어떤 영역이 관련 정보를 포함할 것인지를 예정하기 위한 다른 방법은 도로가 화상내의 어디에 있는지, 차선 경계가 도로내의 어디에 있는지를 기록하는 것이다. 그리고나서 도로에서 벗어난 영역은 보통 교통 관리에 덜 관련된 정보를 포함하는데, 특별한 상황은 제외한다. 이 특별한 상황이란 차량이 도로를 벗어나서 가는 경우인데, 이때 도로를 벗어난 영역은 가장 관련있는 정보를 포함할 것이다. 머신비젼 시스템에서 도로를 구분하기 위한 한가지 방법은 도로의 에지에 손으로 도로 표지판을 설치하는 것이다. 그리고나서, 컴퓨터 오퍼레이터는 컴퓨터 스크린상의 도로 표지판의 위치에 들어갈 수 있으며, 그 위치를 메모리에 저장할 수 있다. 그러나, 이러한 방법은 상당한 수작업을 요하며, 많은 수의 설치시설이 있을 때 특히 바람직하지 않다. 머신비젼 시스템에서 발생하는 다른 문제점은 연속적인 관련 영역을 정렬시킬 때 발생한다. 통상적으로, 관련 영역 또는 화상의 다양한 표현의 변환은 머신비젼 시스템에 의해 획득된다. 그러므로, 이러한 다양한 표현에 대한 변환의 정렬은 검출된 또는 추적된 대상이 직선으로 이동하지 않을 때 특히 어려워질 수 있다. 그러나, 도로의 에지와 차선 경계의 윤곽이 그려지면, 연속적인 관련 영역의 정렬이 용이해진다. 왜냐하면, 추적된 대상의 틀이 정해지면, 변하지 않고 고정되기 때문이다. 교통 관리 문제에 있어서, 영역내의 차량의 틀 형성을 용이하게 하도록 각 차선의 중심에 영역들을 집중시킴으로써, 관련 영역의 표현 구성을 더욱 불변으로 할 수 있다.
본 발명은 교통량 검출, 모니터링, 관리 및 차량 분류와 추적에 사용되는 시스템, 상세히 말해서 머신비젼(machine vision)으로부터 실시간으로 비디오에 제공된 화상으로부터 도로 및 차선의 경계를 한정하는 방법 및 장치에 관한 것이다.
도 1은 처리용 화상을 획득하는 비디오 카메라로 차선을 본 사시도.
도 2는 도로 및 차선의 경계를 한정하는 곡선을 생성하는 단계를 나타낸 순서도.
도 3a 및 도 3b는 제 1 시간 및 제 2 시간에서 이동하는 차량의 초기 화상을 나타낸 도면.
도 3c는 도 3a 및 도 3b에 도시된 화상으로부터 얻어진 동화상을 나타낸 도면.
도 4는 동화상의 3×3 부분을 나타낸 도면.
도 5a 및 도 5b는 멕시칸 햇 필터를 나타낸 상면 및 측면도.
도 6은 도 3c에 도시된 동화상으로부터 얻어진 에지 화상을 나타낸 도면.
도 7은 화상내의 픽셀에 대한 명암도를 나타내기 위해 행과 열을 교차시켜 나타낸 단면도.
도 8은 도 7의 화상과 같은 화상이 시간상으로 합해졌을 때 생성된 화상을 나타낸 도면.
도 9는 차선 경계의 에지를 표현하는 포인트를 생성하기 위해 어떻게 행을 구성하는지를 나타낸 도면.
도 10은 차선 경계의 에지를 표현하는 4개의 포인트를 나타내며, 직선구간(tangent)이 개개의 입방체 스플라인 곡선 보간법(cubic spline curve interpolation)으로 어떻게 판정되는 지를 설명하기 위해 사용된 도면.
본 발명은 실시간 비디오로 제공된 화상으로부터 이 화상내의 도로 및 차선의 경계를 자동적으로 한정하는 방법 및 시스템을 제공한다. 비디오 카메라는 이동하는 차량과 도로의 화상을 제공한다. 이 화상내에서 움직임이 검출되고, 움직임이 측정되는 영역을 표현하는 동화상(motion image)이 생성된다. 이 동화상내에서 에지 검출이 실행되어 에지 화상을 생성하게 된다. 차량의 이동에 평행한 에지는 에지 화상내에 위치하며, 평행한 에지에 기초한 곡선이 발생함으로써, 도로나 차선을 한정하게 된다. 본 발명은 첨부 도면을 참조하여 더욱 상세히 기술될 것이며, 동일한 참조 번호는 동일 소자를 나타낸다.
다음에 바람직한 실시예를 더 상세히 기술하며, 첨부 도면의 참조 번호는 실시예의 부분을 형성하는 것이고, 첨부 도면은 특정 실시예를 설명하기 위한 것이고, 첨부 도면과 특정 실시예로 본 발명이 구현된다.
이 기술분야에 속하는 당업자는 다른 실시예를 이용할 수 있다는 것과, 본 발명의 범위를 벗어나지 않고 구조적 변경을 할 수 있다는 것을 알 수 있을 것이다.
도 1에는 도로(4) 위로 차량(12)이 달리고 있는 일반적인 도로 상황이 도시되어 있다. 도로(4)의 측면을 따라 나무(7)와 표지판(10)이 있다. 도로(4)는 교통 관리를 하기 위해 머신비젼 시스템으로 모니터된다. 머신비젼 시스템에 대한 기본적인 정보 성분은 비디오 카메라에 의해 제공된 화상 어레이이다. 이 머신비젼 시스템은 도로(4)부분과 이 도로부분을 따라 달리는 차량(12)의 화상을 얻기 위해 도로(4) 위에 장착된 비디오 카메라(2)를 포함한다. 게다가, 비디오 카메라(2)에 의해 획득된 화상(6)의 경계내에, 표지판(10) 및 나무(7)와 같은 다른 대상이 나타난다. 교통 관리 문제에 대해, 도로(4)를 포함하는 화상(6)부분은 통상적으로 관련 정보, 더욱 상세히 말해서 도로를 달리는 차량에 관련된 정보를 포함할 것이며, 도로(4)가 없는 화상부분은 덜 관련된 정보, 더욱 상세히 말해서 더욱 안정된 배경 대상에 관련된 정보를 포함할 것이다.
비디오 카메라(2)는 전기적 또는 광섬유 케이블에 의한 것과 같이 전기적으로 결합되어, 국부적으로 위치한 설비(14)를 전자적으로 처리하거나 전력을 공급하고, 상호접속 라인(16)을 따라 중앙집중 위치로 정보를 전달할 수 있다. 비디오 카메라(2)는 시청, 처리 또는 저장과 같은 사용을 위해 중앙집중 위치에 실시간 비디오 화상을 보낼 수 있다. 비디오 카메라(2)에 의해 획득된 화상은, 예컨대 0 에서 255 까지의 각 칼라에 대한 선명도 범위를 갖는 명암도를 한정하는 정수를 갖는 512×512 픽셀의 3색 화상 어레이가 될 수 있다. 비디오 카메라(2)는 상기 기술된 바와 같은 디지탈 데이타 형태 또는 아날로그 형태로된 화상 정보를 얻을 수 있다. 화상 정보가 아날로그 형태로 획득된다면, 화상 처리기는 아날로그 화상 정보를 디지탈화하기 위해 처리 장비(14)내에 포함될 수도 있다.
도 2에는 도로가 있는 화상부분을 판정하고, 실시간으로 도로내의 차선의 윤곽을 그리는 방법이 나타나 있다. 이 방법은 도로 및 차선을 구분하기 위해 일정 시간주기 동안 실시간 비디오를 분석한다. 그러나, 다른 실시예에서 도로의 비디오는 일정 시간동안 획득될 수 있으며, 비디오의 분석은 다음 시간에서 실행될 수 있다. 도 2에 있어서, 블록 20에서 비디오 카메라(2)에 의해 제 1 화상이 획득된 후, 블록 22에서 제 2 화상이 획득된다. 상기 기술된 바와 같이, 각 화상은 디지탈 형태로 획득되며, 아날로그 형태로 획득되면 아날로그-디지탈 변환기와 같은 장치에 의해 디지탈 형태로 변환된다.
시간상으로 일련의 화상을 획득 및 분석되면, 특정 픽셀을 확인하기 위해 3개의 변수가 사용되는데, 2개는 화상 어레이 즉 (i,j)내의 픽셀의 위치를 확인하기 위한 것이며, 여기서 i 및 j 는 어레이내의 픽셀의 좌표이며, 나머지 하나의 변수는 시간 t 이다. 시간은 실시간으로 측정될 수 있으며, 또는 획득된 화상의 프레임 수에 의해 측정될 수 있는 것이 바람직하다. 주어진 픽셀(i,j,t)에 대해, 프레임 t 에서 공간 좌표(i,j)에 위치한 픽셀의 명암도를 나타내는 대응 명암도 I(i,j,t)가 존재하며, 일 실시예에서 명암도 값은 0 내지 255 사이의 정수값이 된다.
블록 24에서는, 제 1 및 제 2 화상 사이의 픽셀 명암도의 변화가 제 1 화상으로부터 제 2 화상으로 대상의 위치 변화를 표시하여 차례대로 측정된다. 이동을 검출 또는 측정하는데 다른 방법이 사용되기도 하지만, 바람직한 실시예에서, 이동은 대상의 위치 변화를 분석함으로써 검출된다. 도 3a, 3b 및 도 3c는 시스템에 의해 측정된 위치에서 어떤 변화가 있었는지를 나타내었다. 도 3a에는 도로(52)를 달리는 차량(50)을 나타내며, 시간 t-1 에서 도로(52) 상의 제 1 위치에 위치하고, 시스템에 의해 획득된 제 1 화상을 나타나 있다. 도 3b에는 시스템에 의해 획득된 제 2 화상이 나타나 있는데, 이 화상에는 도로(52)를 달리는 차량(50)이 나타나며, 시간 t에서 도로(52)상의 제 2 위치에 위치한다. 차량(50)은 시간 t-1 및 t 사이에서 일정 거리를 이동하기 때문에, 위치 변화는 2개의 영역에서 검출되어야 한다. 도 3c에는 픽셀 명암도의 변화가 시간 t-1 및 t 사이에서 검출되었던 영역을 나타내는 동화상이 도시되어 있으며, 차량(50) 위치의 변화를 추측하게 된다. 차량(50)이 단시간 주기 동안 앞으로 이동하면, 차량의 후면은 앞으로 이동하게 되고, 픽셀 명암도, 특히 차량의 픽셀 명암도로부터 배경 픽셀 명암도까지 변화가 있게 되어, 도 3c에서 제 1 이동 영역(54)으로 표시된 한정된 양만큼 차량(50)이 앞으로 이동하여 차량(50)의 위치가 변하였다는 것을 추측할 수 있다. 또한, 차량(50)의 전면도 앞으로 이동하고, 픽셀 명암도 특히 배경 픽셀 명암도로부터 차량의 픽셀 명암도까지 변화가 있게 되어, 제 2 이동 영역(56)에 도시된 바와 같이, 차량(50)의 위치 변화가 있었다는 것을 추측할 수 있다. 도 3c에 도시된 바와 같이, 제 1 이동 영역(54)과 제 2 이동 영역(56) 사이의 영역은 픽셀 명암도에서의 변화가 실질적으로 없었으므로, 실질적으로 이동 변화가 없었다는 것을 추측할 수 있다. 바람직한 실시예에 있어서, 동화상은 다음 수학식 1에 의해 판정될 수 있다.
수학식 1은 시간에 대한 명암도 함수 I(i,j,t)의 편도함수(partial derivative)이며, 제 1 화상 및 제 2 화상의 대응하는 픽셀의 세기 차의 절대값을 취함으로써 계산될 수 있다. 이 절대값은 이동의 양적인 변화를 측정하기 위해 취해질 수 있다.
도 2를 다시 참조하면, 블록 26에서 동화상내의 에지 엘리먼트를 확인하기 위해 동화상이 분석된다. 에지 엘리먼트는 특정 픽셀이 에지 상에 놓일 가능성을 표현한다. 특정 픽셀이 에지 상에 놓일 가능성을 판정하기 위해, 해당 픽셀에 이웃하는 픽셀의 명암도가 분석된다. 일 실시예에 있어서, 에지 엘리먼트값의 3-차원 어레이는 에지 화상을 형성하고 다음 수학식 2에 의해 판정된다.
도 4는 동화상의 3×3 부분(60)을 나타낸 것이다. 픽셀(i,j)에 대한 E(i,j,t)를 판정하기 위해, 동화상 M(i,j,t)내의 해당 픽셀(62)의 픽셀 명암도 값은 먼저 8로 승산된다. 그리고나서, 8개의 이웃하는 픽셀 각각의 명암도 값은 상기 승산된 값으로부터 감산된다. 8번의 감산이 실행된 후, 해당 픽셀(62)이 에지 상에 없다면, 픽셀(62)과 그에 이웃하는 픽셀의 명암도 값은 모두 동일하게 되어, E(i,j,t)의 결과는 거의 0이 될 것이다. 그러나, 픽셀(62)이 에지상에 있다면, 픽셀 명암도는 서로 상이하게 되어, E(i,j,t)는 0이 아닌 결과를 생성할 것이다. 더욱 상세히 말해서, 픽셀(62)이 더 높은 픽셀 명암도를 갖는 에지의 측면 상에 있다면 양 결과를, 픽셀(62)이 더 낮은 픽셀 명암도를 갖는 에지의 측면 상에 있다면 음 결과를 생성할 것이다.
다른 실시예에 있어서, 동화상에서의 에지를 판정하기 위해 멕시칸 팻 필터(Mexican Hat Filter)가 사용될 수 있다. 도 5a 및 도 5b는 본 발명에서 사용될 수 있는 멕시칸 햇 필터를 나타내는 상면 및 측면도이다. 멕시칸 햇 필터(70)는 양(positive) 부분(72)과 음(negative) 부분(74)을 가지며, 더 큰 또는 더 작은 수의 픽셀을 샘플링하기 위한 크기가 될 수 있다. 이 필터(70)는 동화상의 일부에 적용되어, 필터가 집중되는 픽셀에 대한 에지 엘리먼트 값을 생성한다. 이 필터가 가지는 장점은, 평탄화 효과로 인해, 에지 화상내의 가상(spurious) 변화를 제거할 수 있다는 것이다. 그러나, 평탄화에 의해, 해상도의 손실을 가져오게 되어, 화상이 선명하지 않게 된다. 시스템의 필요에 따라 본 발명과 사용할 상이한 특성, 예를 들어 상이한 화상 해상도 또는 공간 주파수 특성을 갖는 다른 필터가 선택될 수도 있다. 동화상내의 에지를 판정하기 위해 2가지 특정 필터가 기술되었지만, 이 기술분야에 속하는 당업자는 이 기술분야에서 공지된 많은 필터가 본 발명의 시스템에 사용될 수 있다는 것을 용이하게 알 수 있을 것이다.
도로의 에지를 판정하고 도로내의 차선 경계를 판정하기 위해, 도로 상에 그리고 차선 경계내에서 달리는 차량의 관련 에지가 식별된다. 본 발명의 방법은 화상을 통해 이동하는 대부분의 차량이 도로 상과 일반적인 차선 경계내에서 이동할 것이라는 가능성에 기초한다. 도 2의 블록 28에 있어서, 대상의 이동에 평행한 에지, 특히 도로를 달리는 차량이 식별된다. 도 6에는 도 3c에 도시된 동화상 M(i,j,t)으로부터 에지가 식별된 동화상 E(i,j,t)가 도시되어 있다. 수직 에지(80)는 차량의 이동에 수직인 에지이다. 수직 에지(80)는 동일 차량이 시간별 및 차량별로 변화한다. 그러므로, 시간에 대해 수직 에지를 합하게 되면 결과값은 거의 0이 된다. 그러나, 평행 에지(82)는 차량이 일반적으로 폭 범위내에 있고 차선 경계내에서 이동할 때 차량별로 동일하게 된다. 에지 화상이 시간에 대해 합해지게 되면, 에지 화상으로부터 평행 에지에 대응하는 결과 화상에서의 픽셀은 높은 명암도값을 갖게 되어, 차선 경계가 그래픽으로 나타나게 된다.
일단 모든 평행 에지들이 2개의 화상 사이에 위치하게 되면, 시스템은 다음 화상이 분석되어야 하는지를 블록 29에서 검사한다. 예컨대, 시스템은 비디오 카메라에 의해 획득된 모든 연속적인 화상을 분석하거나, 모두 30개의 화상중에서 하나를 분석하기 위해 선택할 수 있다. 만일 분석될 다음 화상이 존재한다면, 시스템은 블록 22로 되돌아가서, 이전에 획득된 화상과 비교한다. 일단 분석될 화상이 더이상 없다면, 시스템은 블록 24, 26에서 발생된 정보를 이용하여, 도로 및 차선의 에지를 판정하게 된다. 다음 수학식 3에서, F(i,j)는 시간 t에 대해 에지 화상값 E(i,j,t)를 평균화한 것이다.
도 7은 픽셀에 대한 명암도를 나타내기 위해 열 j 와 행 i 를 교차시켜 나타낸 단면도이다. 도 8에 도시된 바와 같이, 에지 화상이 시간에 대해 가산되면, 차선 경계(92)는 F(i,j)의 높은 명암도값(94)과 낮은 명암도값(96) 사이의 차선과 같이 그래픽으로 나타날 수 있다. 그래픽 표현 F(i,j)는 차선 경계를 나타내는 반면, 래스터 표현보다는 차선 경계를 나타내는 곡선을 갖는 것이 바람직하다. 차선 경계를 나타내는 곡선을 생성하는 바람직한 방법은 평탄화 오퍼레이터를 F(i,j)에 적용시키고, 이어서 차선을 한정하는 포인트를 식별하며, 차선 경계를 한정하는 곡선을 생성하기 위해 포인트를 추적한다. 도 2의 블록 30에서, 평탄화 오퍼레이터가 F(i,j)에 적용된다. F(i,j)를 평탄화하는 한가지 방법은 다수의 i 포인트 또는 행을 고정시키는 것이다. 더 많은 곡선을 갖는 도로에 대해서는 곡선을 정확하게 한정하기 위해 포인트를 샘플화하는데 더 많은 행이 사용되어야 하는 반면, 곡선이 덜 있는 도로는 덜 고정된 행으로 표현될 수 있다. 도 9에는 r개의 고정된 행 i0- ir를 갖는 F(i,j)가 도시되어 있다. 각각의 고정된 행 i 를 가로지르는 행의 로컬 최대값은 블록 32에 위치한다. 더욱 상세히 말해서, 각각의 고정된 행을 가로질러, 다음 수학식 4를 만족시키는 포인트가 위치하게 된다.
이 수학식 4는 n×m 화상의 바닥 행에서 시작하며, 행 n에 로컬 최대값이 위치하게 된다. 로컬 최대값은 다음의 고정된 행에서 식별되며, 화상에 대해 고정된 행의 소정수 r 을 설정함으로써 판정하여 그 결과 곡선에 r개의 포인트가 생기고, 또는 매 k 행마다 로컬 최대값을 위치시킴으로써 판정되어 그 결과 곡선에 n/k 개의 포인트가 생긴다. 수학식 4를 만족시키는 포인트는 바람직한 곡선, 차선 경계에 대해 한 개의 곡선을 추적 및 한정한다. 다중 차선의 경우, 로컬 최대값 각 쌍은 차선 경계를 한정할 수 있다. 다중 차선에 대해서는 추가적인 처리과정이 실행될 수 있는데, 이러한 처리로서는 2개의 차선 사이의 단일 차선 경계를 한정하기 위해 인접한 차선 경계 사이를 보간하는 방법이 있다.
블록 34에서, 블록 32에 위치한 포인트는 차선 경계를 한정하는 곡선을 생성하기 위해 추적된다. 이러한 추적은 곡선이 불규칙성에 대한 허용도를 갖고 평행하거나 원근 집중(perspective convergence)을 자연적으로 발생시킨다는 제한에 의해 지배된다. 곡선을 생성하기 위해 포인트를 추적하는 바람직한 방법은 입방체 스플라인 보간법에 의한 것이다. 스플라인 곡선을 생성하는 것은 도로의 에지를 판정하는 곡선을 생성하는데 바람직하다. 왜냐하면, 스플라인 곡선은 도로 및 차선의 에지를 따라 위치한 포인트에 직선구간인 평탄 곡선을 생성하기 때문이다. 이 기술분야의 당업자는 스플라인 곡선의 많은 변형, 예컨대 구분 입방체, Bessier 곡선, B-스플라인 및 비동형 래셔널(non-uniform rational) B-스플라인이 사용될 수 있다는 것을 용이하게 알 수 있을 것이다. 예컨대, 구분식(piecewise) 입방체 스플라인 곡선은 곡선의 4개의 코드(chord) 또는 2개의 포인트 및 2개의 직선구간 사이에서 보간될 수 있다. 도 10에는 4개의 포인트 Pi-1, Pi, Pi+1, Pi+2가 도시되어 있다. 4개의 포인트와 결합된 입방체 곡선은 입방체 곡선에 대한 수학식의 4개의 계수를 결정하기 위해 상이한 수학식을 동시에 해결함으로써 판정될 수 있다. 2개의 포인트 Pi및 Pi+1으로, 2개의 포인트 및 2개의 직선구간의 값은 Pi및 Pi+1사이의 곡선의 수학식의 계수를 결정하기 위해 사용될 수 있다. 포인트 Pi 의 직선구간은 포인트 Pi및 Pi+1시컨트(secant)와 동일한 경사로 할당될 수 있다. 예컨대, 도 10에 있어서, 직선구간(104)의 경사는 포인트 Pi-1및 Pi+1에 접속된 시컨트(102)와 동일한 경사로 할당된다. 포인트 Pi+1에 대해서도 동일하게 실행된다. 게다가, 차선의 양측면상의 직선구간은 균일한 도로 에지 직선구간을 얻기위해 평균화될 수 있으며, 도로는 균일한 폭과 곡률을 갖게 된다. 이러한 방법에 의해 생성된 결과적인 복합 곡선은 어떤 불연속 없이 평탄하게 된다.
본 발명이 비록 일부 특정 실시예에 대해서만 설명되었지만 적절한 변경을 가하여 다른 태양으로도 실시 가능하다. 즉, 첨부된 청구범위의 개념과 범위는 본 명세서에 개시된 실시예에만 한정되지 않는다.

Claims (10)

  1. 도로 및 차선의 경계를 한정하는 시스템에 있어서,
    상기 도로와 이 도로 상으로 이동하는 대상의 화상을 획득하는 화상 획득 수단과;
    상기 화상 사이의 움직임을 측정하여 이 측정된 움직임을 나타내는 동화상을 생성하는 수단과;
    상기 동화상내의 에지를 검출하여 에지 화상을 생성하는 에지 검출 수단과;
    상기 대상의 움직임에 평행한 상기 대상의 에지를 나타내는 평행 에지를 상기 에지 화상내에 위치시키는 수단과;
    상기 평행 에지에 기초하여 곡선을 생성하는 수단을 구비하는 것을 특징으로 하는 시스템.
  2. 제 1 항에 있어서, 상기 곡선을 생성하는 수단은,
    상기 에지 화상을 시간에 대해 가산하여, 가산된 화상을 생성하는 수단과;
    복수의 고정된 행의 로컬 최대값을 상기 가산된 화상내에 위치시키는 수단과;
    상기 로컬 최대값을 추적하여, 복수의 평행 곡선을 생성하는 수단을 구비하는 것을 특징으로 하는 시스템.
  3. 제 1 항에 있어서, 상기 화상 획득 수단은 비디오 카메라로 구성된 것을 특징으로 하는 시스템.
  4. 제 1 항에 있어서, 상기 화상 사이의 움직임을 측정하는 수단은 상기 화상 사이에 있는 대상의 위치 변화를 측정하는 것을 특징으로 하는 시스템.
  5. 제 1 항에 있어서, 상기 에지 검출 수단은 공간에 대한 픽셀 명암도를 비교하는 필터를 구비하는 것을 특징으로 하는 시스템.
  6. 제 2 항에 있어서, 상기 로컬 최대값을 추적하는 수단은 입방체 스플라인 보간법을 실행하는 수단을 구비하는 것을 특징으로 하는 시스템.
  7. 머신비젼 시스템에 의해 획득된 화상내에 있는 도로 및 차선의 경계를 한정하는 방법에 있어서,
    상기 화상 사이의 움직임을 측정하는 단계와;
    상기 움직임을 측정하는 단계에 기초하여 측정된 움직임을 나타내는 동화상을 생성하는 단계와;
    상기 동화상내에서 에지를 검출하는 단계와;
    상기 에지를 검출하는 단계에 기초하여 에지 화상을 생성하는 단계와;
    상기 대상의 움직임에 평행한 상기 대상의 에지를 나타내는 평행 에지를 상기 에지 화상내에 위치시키는 단계와;
    상기 평행 에지에 기초하여 곡선을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서, 상기 평행 에지에 기초하여 곡선을 생성하는 단계는,
    상기 에지 화상을 시간에 대해 가산하여, 가산된 화상을 생성하는 단계와;
    복수의 고정된 행의 로컬 최대값을 상기 가산된 화상내에 위치시키는 단계와;
    상기 로컬 최대값을 추적하여, 복수의 평행 곡선을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제 7 항에 있어서, 상기 화상 사이에서 움직임을 측정하는 단계는 상기 화상 사이에서 상기 대상의 위치 변화를 측정하는 것을 특징으로 하는 방법.
  10. 제 8 항에 있어서, 상기 로컬 최대값을 추적하는 단계는 입방체 스플라인 보간법을 실행하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1019970704926A 1995-01-24 1996-01-16 머신비젼 교통 검출기용 자동 차선 한정 장치 및 방법(automated lane definition for machine vision traffic detector) KR19980701535A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US8/377,711 1995-01-24
US08/377,711 US5621645A (en) 1995-01-24 1995-01-24 Automated lane definition for machine vision traffic detector

Publications (1)

Publication Number Publication Date
KR19980701535A true KR19980701535A (ko) 1998-05-15

Family

ID=23490227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970704926A KR19980701535A (ko) 1995-01-24 1996-01-16 머신비젼 교통 검출기용 자동 차선 한정 장치 및 방법(automated lane definition for machine vision traffic detector)

Country Status (7)

Country Link
US (1) US5621645A (ko)
JP (1) JPH10513288A (ko)
KR (1) KR19980701535A (ko)
AU (1) AU4700596A (ko)
BR (1) BR9606784A (ko)
CA (1) CA2209177A1 (ko)
WO (1) WO1996023290A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160083410A (ko) 2014-12-31 2016-07-12 가천대학교 산학협력단 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법
CN109410608A (zh) * 2018-11-07 2019-03-01 泽交通工程咨询(上海)有限公司 基于卷积神经网络的图片自学习交通信号控制方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0740163B1 (en) * 1995-04-25 2005-12-14 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus for detecting a local position of an automobile on a road
US5857030A (en) * 1995-08-18 1999-01-05 Eastman Kodak Company Automated method and system for digital image processing of radiologic images utilizing artificial neural networks
JP3539087B2 (ja) * 1996-09-27 2004-06-14 トヨタ自動車株式会社 車両走行位置検出システム
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP2000259998A (ja) * 1999-03-12 2000-09-22 Yazaki Corp 車両用後側方監視装置
US6226592B1 (en) * 1999-03-22 2001-05-01 Veridian Erim International, Inc. Method and apparatus for prompting a motor vehicle operator to remain within a lane
JP3092804B1 (ja) * 1999-09-22 2000-09-25 富士重工業株式会社 車両用運転支援装置
JP3651419B2 (ja) * 2001-08-03 2005-05-25 日産自動車株式会社 環境認識装置
US6859705B2 (en) 2001-09-21 2005-02-22 Ford Global Technologies, Llc Method for operating a pre-crash sensing system with object classifier in a vehicle having a countermeasure system
US6944543B2 (en) 2001-09-21 2005-09-13 Ford Global Technologies Llc Integrated collision prediction and safety systems control for improved vehicle safety
US6693557B2 (en) 2001-09-27 2004-02-17 Wavetronix Llc Vehicular traffic sensor
US7426450B2 (en) * 2003-01-10 2008-09-16 Wavetronix, Llc Systems and methods for monitoring speed
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7454287B2 (en) * 2005-07-18 2008-11-18 Image Sensing Systems, Inc. Method and apparatus for providing automatic lane calibration in a traffic sensor
US7558536B2 (en) * 2005-07-18 2009-07-07 EIS Electronic Integrated Systems, Inc. Antenna/transceiver configuration in a traffic sensor
US7768427B2 (en) * 2005-08-05 2010-08-03 Image Sensign Systems, Inc. Processor architecture for traffic sensor and method for obtaining and processing traffic data using same
US7474259B2 (en) * 2005-09-13 2009-01-06 Eis Electronic Integrated Systems Inc. Traffic sensor and method for providing a stabilized signal
US8248272B2 (en) * 2005-10-31 2012-08-21 Wavetronix Detecting targets in roadway intersections
US8665113B2 (en) * 2005-10-31 2014-03-04 Wavetronix Llc Detecting roadway targets across beams including filtering computed positions
US7573400B2 (en) * 2005-10-31 2009-08-11 Wavetronix, Llc Systems and methods for configuring intersection detection zones
US7541943B2 (en) * 2006-05-05 2009-06-02 Eis Electronic Integrated Systems Inc. Traffic sensor incorporating a video camera and method of operating same
JP4579191B2 (ja) * 2006-06-05 2010-11-10 本田技研工業株式会社 移動体の衝突回避システム、プログラムおよび方法
TWI334517B (en) * 2007-08-30 2010-12-11 Ind Tech Res Inst Method for predicting lane line and lane departure warning system using the same
US8253592B1 (en) 2007-11-26 2012-08-28 Rhythm Engineering, LLC External adaptive control systems and methods
US8400507B2 (en) * 2008-03-17 2013-03-19 International Business Machines Corporation Scene selection in a vehicle-to-vehicle network
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
US9123241B2 (en) * 2008-03-17 2015-09-01 International Business Machines Corporation Guided video feed selection in a vehicle-to-vehicle network
CN101751676B (zh) * 2008-12-17 2012-10-03 财团法人工业技术研究院 影像侦测方法及其***
US8331623B2 (en) * 2008-12-23 2012-12-11 National Chiao Tung University Method for tracking and processing image
US9392746B2 (en) 2012-02-10 2016-07-19 Deere & Company Artificial intelligence for detecting and filling void areas of agricultural commodity containers
US9861040B2 (en) 2012-02-10 2018-01-09 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
CN102628814B (zh) * 2012-02-28 2013-12-18 西南交通大学 一种基于数字图像处理的钢轨光带异常自动检测方法
US9064317B2 (en) * 2012-05-15 2015-06-23 Palo Alto Research Center Incorporated Detection of near-field camera obstruction
US9412271B2 (en) 2013-01-30 2016-08-09 Wavetronix Llc Traffic flow through an intersection by reducing platoon interference
US10048688B2 (en) 2016-06-24 2018-08-14 Qualcomm Incorporated Dynamic lane definition
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
US11055991B1 (en) 2018-02-09 2021-07-06 Applied Information, Inc. Systems, methods, and devices for communication between traffic controller systems and mobile transmitters and receivers
US11205345B1 (en) 2018-10-02 2021-12-21 Applied Information, Inc. Systems, methods, devices, and apparatuses for intelligent traffic signaling

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4573547A (en) * 1983-06-28 1986-03-04 Kubota, Ltd. Automatic running work vehicle
EP0273976B1 (en) * 1986-05-21 1993-08-11 Kabushiki Kaisha Komatsu Seisakusho Guiding apparatus for unmanned movable bodies
US4819169A (en) * 1986-09-24 1989-04-04 Nissan Motor Company, Limited System and method for calculating movement direction and position of an unmanned vehicle
US5257355A (en) * 1986-10-01 1993-10-26 Just Systems Corporation Method and apparatus for generating non-linearly interpolated data in a data stream
US4847772A (en) * 1987-02-17 1989-07-11 Regents Of The University Of Minnesota Vehicle detection through image processing for traffic surveillance and control
JPS6434202A (en) * 1987-07-30 1989-02-03 Kubota Ltd Working wagon of automatic conduct type
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
GB8913946D0 (en) * 1989-06-16 1989-08-02 Univ London Method and apparatus for traffic monitoring
JP2843079B2 (ja) * 1989-12-22 1999-01-06 本田技研工業株式会社 走行路判別方法
JP2754871B2 (ja) * 1990-06-01 1998-05-20 日産自動車株式会社 走行路検出装置
US5142592A (en) * 1990-12-17 1992-08-25 Moler Keith E Method and apparatus for detection of parallel edges in image processing
DE69232732T2 (de) * 1991-03-19 2009-09-10 Mitsubishi Denki K.K. Messeinrichtung für sich bewegende Körper und Bildverarbeitungsanordnung zum Messen des Verkehrsflusses
US5318143A (en) * 1992-06-22 1994-06-07 The Texas A & M University System Method and apparatus for lane sensing for automatic vehicle steering
US5351044A (en) * 1992-08-12 1994-09-27 Rockwell International Corporation Vehicle lane position detection system
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
JP3431962B2 (ja) * 1993-09-17 2003-07-28 本田技研工業株式会社 走行区分線認識装置を備えた自動走行車両

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160083410A (ko) 2014-12-31 2016-07-12 가천대학교 산학협력단 차선 변화벡터와 카디널 스플라인을 이용한 차선 검출 시스템 및 그 방법
CN109410608A (zh) * 2018-11-07 2019-03-01 泽交通工程咨询(上海)有限公司 基于卷积神经网络的图片自学习交通信号控制方法
CN109410608B (zh) * 2018-11-07 2021-02-05 泽一交通工程咨询(上海)有限公司 基于卷积神经网络的图片自学习交通信号控制方法

Also Published As

Publication number Publication date
US5621645A (en) 1997-04-15
BR9606784A (pt) 1997-12-23
WO1996023290A1 (en) 1996-08-01
JPH10513288A (ja) 1998-12-15
CA2209177A1 (en) 1996-08-01
AU4700596A (en) 1996-08-14

Similar Documents

Publication Publication Date Title
KR19980701535A (ko) 머신비젼 교통 검출기용 자동 차선 한정 장치 및 방법(automated lane definition for machine vision traffic detector)
US6404455B1 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
DE69635980T2 (de) Verfahren und vorrichtung zur detektierung von objektbewegung in einer bilderfolge
US5434927A (en) Method and apparatus for machine vision classification and tracking
DE19636028C1 (de) Verfahren zur Stereobild-Objektdetektion
DE69523698T2 (de) Verfahren und Gerät zum richtungsselektiven Zählen von sich bewegenden Objekten
DE69624980T2 (de) Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras
Zhu et al. VISATRAM: A real-time vision system for automatic traffic monitoring
US5311305A (en) Technique for edge/corner detection/tracking in image frames
US7460691B2 (en) Image processing techniques for a video based traffic monitoring system and methods therefor
DE69831181T2 (de) Positionsbestimmung
US5757287A (en) Object recognition system and abnormality detection system using image processing
US20020118874A1 (en) Apparatus and method for taking dimensions of 3D object
DE10033599A1 (de) Positionserfassungsvorrichtung
Rojas et al. Vehicle detection in color images
JPH11252587A (ja) 物体追跡装置
Soh et al. Analysis of road image sequences for vehicle counting
CN110443142B (zh) 一种基于路面提取与分割的深度学习车辆计数方法
Dailey et al. An algorithm to estimate vehicle speed using uncalibrated cameras
JPH08249471A (ja) 動画像処理装置
CN110348317A (zh) 一种基于mser区域的城市道路鲁棒检测方法
Ali et al. Vehicle and pedestrian detection and tracking
JPH03286399A (ja) 画像処理式交通流計測装置
Suganyadevi et al. OF-SMED: An optimal foreground detection method in surveillance system for traffic monitoring
Dailey et al. Algorithm for estimating mean traffic speed with uncalibrated cameras

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid