KR19980701568A - 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치(method and apparatus for detecting object movement within an image sequence) - Google Patents

이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치(method and apparatus for detecting object movement within an image sequence) Download PDF

Info

Publication number
KR19980701568A
KR19980701568A KR1019970704959A KR19970704959A KR19980701568A KR 19980701568 A KR19980701568 A KR 19980701568A KR 1019970704959 A KR1019970704959 A KR 1019970704959A KR 19970704959 A KR19970704959 A KR 19970704959A KR 19980701568 A KR19980701568 A KR 19980701568A
Authority
KR
South Korea
Prior art keywords
image
reference image
pixel value
frame
scene
Prior art date
Application number
KR1019970704959A
Other languages
English (en)
Other versions
KR100377067B1 (ko
Inventor
람버트 에너스트 윅슨
스티븐 찰스 에이치에스유
Original Assignee
윌리암 제이. 버크
데이비드 사르노프 리서치 센타, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윌리암 제이. 버크, 데이비드 사르노프 리서치 센타, 인코포레이티드 filed Critical 윌리암 제이. 버크
Publication of KR19980701568A publication Critical patent/KR19980701568A/ko
Application granted granted Critical
Publication of KR100377067B1 publication Critical patent/KR100377067B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 시퀀스내의 객체의 움직임을 검출하기 위하여 이미지의 시퀀스를 처리하기 위한 방법 및 장치에 관한 것이다. 특히, 상기 방법은 (a) 제 1 시퀀스의 이미지 프레임을 공급하는 단계; (b) 상기 제 1 시퀀스의 이미지에 의해 나타난 장면내의 고정 객체에 관한 이미지 정보를 포함하는 기준 이미지를 초기화하는 단계; (c) 상기 제 1 시퀀스의 이미지 프레임을 일시적으로 후속하는 다음 이미지 프레임을 공급하는 단계; (d) 상기 장면내의 객체의 이동에 관한 움직임 정보를 나타내는 이차원 움직임 이미지를 생성하기 위하여 상기 기준 이미지와 상기 다음 이미지 프레임을 비교하는 단계; (e) 상기 기준 이미지를 상기 다음 이미지 프레임내의 정보로 갱신하는 단계를 포함하는데, 상기 기준 이미지를 갱신하기 위하여 사용된 정보는 단지 장면내의 고정 객체를 나타내며 이동 객체 및 상기 장면내의 일시적 고정 객체를 무시하며; 및 (f) 공급된 각 다음 이미지에 대하여 상기 단계(c), (d), 및 (e)를 반복하는 단계를 포함한다. 상기 방법은 이미지 처리 장치에 의해 실행된다. 본 발명의 방법 및 장치의 특정 실시예는 차량의 조도 진폭의 변화를 식별하고 그림자 및 헤드라이트 반사광과 같은 장면에서의 비물리적 움직임의 에러 식별을 제거하는 교통 모니터링 시스템이다.

Description

이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치
이미지 처리를 이용하는 다양한 형태의 교통 모니터링 시스템은 공지되어 있으며 이 시스템의 일례는 미합중국 특허 제 4,433,325호, 제 4,847,772호, 제 5,161,107호 및 제 5,313,295호에 개시되어 있다. 그러나, 효율적으로 계산할 수 있으며 실행시 상대적으로 매우 저렴한 견고한 교통 모니터링 시스템에 대한 필요성이 대두되었다.
더욱이, 본 발명은 9월 8일에 허여된 안데르센등의 미합중국 특허 제 4,692,806호에 개시되어 있는 피라미드 기술과 Proceedings of the European Conference on Computer Vision, Springer-Verlag, 1992에 개시되어 있는 베르겐등의 계층적인 모델 기초 이동추정으로 기술된 이미지 흐름 기술을 이용할 수있다. 상기 두개의 공지 기술은 참조에 의해 여기에 통합된다.
본 발명은 이미지 처리 시스템, 특히 시스템이 이미지 시퀀스내의 객체의 움직임을 검출하도록 장면(scene)을 모니터링하는 비디오 카메라로부터 유도된 연속적인 이미지 프레임(이미지 시퀀스)의 화소를 디지털 방식으로 처리하는 시스템에 관한 것이다. 본 발명의 특정 일 실시예는 교통 모니터링 시스템이다.
도 1a 및 도 1b는 교통 모니터링 이미지 처리기에 비디오 카메라를 결합하는 선택적인 실시간 및 비실시간 방식을 나타낸 도면.
도 2a, 도 2b 및 도 2c는 다차선 도로를 볼 수있는 카메라의 이미지 필드를 나타낸 도면.
도 3은 본 발명의 디지털 이미지 처리기의 사전처리 부분을 나타낸 블록도.
도 4는 본 발명의 디지털 이미지 처리기의 검출 및 트랙킹 부분을 나타낸 도면.
도 5 및 5a는 선으로 그려진 2D 영역의 이미지 화소가 1D 스트립으로 통합되는 방식을 나타낸 도면.
도 6은 기준 이미지를 갱신하는 프로세스의 흐름도.
도 7은 기준 이미지를 수정하는 프로세스의 흐름도.
도 8은 2D 대 1D 컨버터의 블록도.
도 9는 대체 이미지 필터를 나타낸 도면.
본 발명은 시계(field of view)내의 도로 교통의 연속적인 이미지 프레임을 기록하기 위해 소정 시계를 가진 비디오 카메라를 포함하는 자동차 교통 모니터링 시스템에 적용되는 개선된 디지털 이미지 처리 기술에 관한 것이다. 디지털 이미지 처리 수단은 각각의 연속적인 이미지 프레임에 의해 한정된 화소 정보에 응답한다.
특히, 디지털 이미지 처리 기술은, 시계내의 고정 객체만을 한정하는 저장된 초기 기준 이미지를 유도하고 상기 저장된 초기 기준 이미지를 초기 트레인보다 늦게 기록된 이미지 프레임으로부터 유도된 기준 이미지로 갱신하기 위하여 상기 연속 이미지 프레임의 초기 트레인에 응답하는 제 1 수단을 포함하는데, 상기 기준 이미지의 각각의 화소의 디지털 진폭 레벨은 상기 초기 트레인 및 나늦게 기록된 프레임이 기록된 경우에 존재하는 조도 조건에 의해 결정되며; 고정 객체를 한정하는 대응 화소가 서로 동일하게 되도록 저장되는 상기 저장된 기준 이미지와 현재 이미지 프레임중 하나의 화소의 디지털 진폭 레벨을 변형하기 위한 제 2 수단; 상기 연속 이미지 프레임의 각각의 프레임과 상기 시계내의 이동 객체만을 한정하는 연속 이미지를 유도하기 위한 저장된 기준 이미지의 대응 화소간 디지털 진폭 레벨차에 응답하는 제 3 수단; 상기 연속적으로 발생하는 이미지의 각각에 대하여 서로 위치가 고정되어 있는 이동 객체와 연속적으로 발생하는 이미지의 각각에 대하여 서로 위치가 변하는 이동 객체 사이를 식별하기 위한 제 4 수단; 및 물리적인 이동 객체를 한정하는 서로 위치가 고정되어 있는 이동 객체로부터 물리적인 이동 객체에 의하여 캐스트된 그림자 및 반사 헤드라이트와 같은 비물리적 이동 객체를 한정하는 서로 위치가 고정되어 있는 이동 객체의 각각을 구별하고, 비물리적 이동 객체를 한정하는 이동 객체의 각각을 제거하기 위하여, 서로 위치가 고정되어 있는 상기 이동 객체이 각까의 화소의 디지털 진폭 레벨의 변화에 응답하는 제 5 수단을 포함한다.
본 발명은 도로 교통의 연속적인 이미지 프레임을 유도하기 위한 적어도 하나의 비디오 카메라와 연속적인 이미지 프레임의 화소를 디지털 방식으로 처리하는 교통 감시 이미지 처리기를 포함한다. 도 1a에 도시된 것처럼, 비디오 카메라(100)의 출력은 실시간에 연속적인 이미지 프레임의 화소를 디지털 방식으로 처리하기 위해 교통 모니터링 이미지 프로세서(102)의 입력으로써 직접 제공될 수있다. 선택적으로, 도 1b에 도시된 바와같이, 비디오 카메라(100)의 출력은 우선 비디오 카세트 레코더(VCR)(104) 또는 다른 형태의 이미지 레코더에 의해 기록된다. 다음에, 연속적인 이미지 프레임의 화소는 VCR에 의해 판독될 수 있으며 연속적인 이미지 프레임의 화소를 디지털 방식으로 처리하기 위해 교통 모니터링 이미지 처리기(102)의 입력으로써 제공된다.
비디오 카메라(100)는 전하 결합 장치(CCD) 카메라, 적외선(IR) 카메라 또는 이미지 시퀀스를 발생시키는 다른 센서일 수 있다. 본 발명의 교통 모니터링 시스템의 실시예에 있어서, 카메라는 소정의 높이로 도로위에 설치되며 도로의 소정 길이 세그먼트에 대한 소정의 시계를 가진다. 도 2a 및 도 2b에 도시된 것처럼, 비디오 카메라(100)는 30비트 높이로 도로위에 설치될 수있으며, 도로위의 비디오 카메라(100)의 돌출 위치에 대해서 50피트 내지 300피트로 확장하는 도로의 길이 세그먼트의 60피트 폭(5차선)을 관찰하기에 충분한 62°시계를 가진다. 도 2c는 비디오 카메라(100)가 시계내의 도로 부분의 640x480 화소 이미지를 유도하는 것을 도시한다. 도로의 길이 세그먼트위에 존재하는 자동차 교통은 도 2c의 이미지로부터 생략되었다.
설계된 자동차 교통 모니터링 시스템에 있어서, 비디오 카메라(100)는 한 그룹의 4 이분할 카메라중 하나이며, 상기 각각의 카메라는 초당 7.5 프레임의 프레임 비율에서 동작된다.
본 발명의 원리적인 목적은 도로의 소정 길이 세그먼트위에서 이동하는 자동차를 더 정확하게 검출, 카운팅 및 추적할 수있는 효율적으로 계산되는 디지털 교통 모니터링 이미지 처리기를 제공하는 것이다. 이는 예를들어 에러를 검출 및 트랙킹하거나 계산의 효율성을 증가시킬 수있다.
1. 낮은 콘트라스트;
자동차는 배경 도로 표면에 대한 그것의 콘트라스트에 기초하여 검출되어야 한다. 이 콘트라스트는 자동차가 도로의 반사광 세기와 유사한 반사광 세기를 가진다. 약한 광상태 및 흐린 날에는 검출에러가 발생할 수있다. 이때, 시스템은 일부 자동차를 놓칠수 있으며, 또는 만일 검출을 위한 임계 기준치 낮으면 시스템은 도로 마킹과 같은 일부 배경 패턴을 자동차로써 잘 해석할 수있다.
2. 그림자 및 헤드라이트 반사광:
하루중 몇 시간에, 자동차는 그림자로 가려질 수있으며 인접 차선을 교차하는 헤드라이트 반사광을 야기할 수있다. 이러한 그림자 또는 헤드라이트 반사광은 자동차 그 자체보다 더 큰 콘트라스트를 가질 것이다. 종래의 교통 모니터링 시스템은 추가 자동차로써 그림자를 해석할 수있어서, 교통 흐름의 오버 카운트를 야기할 수있다. 트럭과 같은 대형 자동차의 그림자는 승용차 또는 모터 사이클을 완전히 가릴 수있어서, 그늘진 자동차가 카운팅되지 않을 수있다. 그림자는 나무, 빌딩 및 구름과 같은 도로내에 있지 않은 객체에 의해 야기될 수있다. 그림자는 다른 도로위에서 다른 방향으로 진행하는 자동차에 의해 야기될 수있다. 다시, 상기 그림자는 추가 자동차로써 잘못 해석될 수있다.
3. 카메라 진동:
실용 기둥상에 설치된 카메라는 바람에 의한 기둥의 진동에 의해 이동될 수있다. 간선도로 다리에 설치된 카메라는 트럭이 다리위를 지나갈때 진동될 수있다. 어느 경우에, 카메라 이동은 이미지의 이동을 야기할 수있으며, 이는 검출 및 트랙킹 에러를 발생시킬 수있다. 예를들어, 카메라 진동은 검출과정에 차선을 혼동할 수있으며 정지한 자동차가 이동하는 것처럼 보이는 문제점을 야기할 수있다.
4. 계산의 효율성
자동차 움직임이 차선에 한정되고 일반적인 이동 방향이 차선의 길이를 따라 1차원이기 때문에, 자동차의 교통량을 검출 및 트랙킹할때 2차원 이미지 처리를 이용하는 것은 계산적으로 비효율적이다.
본 발명은 상기 4가지 문제점중 하나 이상을 해결하는 수단을 포함하는 교통 모니터링 시스템에 통합된 이미지 처리기에 관한 것이다.
도 3에는 전치 처리기 부분의 디지털 교통 모니터링 이미지 처리기(102)의 바람직한 실시예의 기본적인 블록도가 도시되어 있다. 도 3에는 아날로그 대 디지털(A/D) 컨버터(300), 피라미드 수단(302), 안정화 수단(304), 기준 이미지 유도 및 갱신 수단(306), 프레임 기억장치(308), 기준 이미지 수정 수단(310) 및 감산기(312)가 도시되어 있다.
A/D(300)에 의해 디지털화된 후에 카메라(100) 또는 VCR(104)로 입력된 아날로그 비디오 신호는 화소 밀도 및 이미지 해상도를 감소시키는 피라미드 수단(302)에 의해 특정 수의 가우시안 피라미드 레벨로 분석될 수있다. 피라미드 수단(302)는 자동차 교통 시스템이 비디오 카메라(100)에 의해 발생된 화소 밀도의 해상도(예를들어, 640x480)에서 동작될 수있기 때문에 본질적인 요소가 아니다. 그러나, 해상도가 본 자동차 교통 시스템에 필요한 것보다 높기 때문에, 피라미드 수단(302)의 사용은 시스템 계산 효율을 증가시킨다. 모든 피라미드 레벨은 각 계산에 사용되지 않아야 한다. 더욱이, 피라미드의 모든 레벨은 가장 높은 레벨이 가장 낮은 레벨로부터 계산될 수있기 때문에 각 계산사이에 기억될 필요가 없다. 그러나, 모든 특정 수의 가우시안 피라미드 레벨이 후술되는 각각의 다운스트림 계산을 위해 이용할 수있는 것이 가정된다.
이들 다운스트림의 첫번째 계산은 안정화 수단(304)에 의해 실행된다. 안정화 수단(304)은 바람 또는 트럭의 이동에 이해 유도될 수있는 카메라 진동의 문제점을 보상하기 위해 전자 이미지 안정화를 이용한다. 카메라의 이동에 의해, 이미지의 화소가 이동할 수있다. 카메라 이동을 보상하지 않는 종래 자동차 교통 시스템은 인접 차선의 자동차 또는 표면 마킹의 이미지가 검출영역을 중복하도록 카메라가 이동하는 경우 잘못된 위치 검출을 야기할 것이다. 안정화 수단(304)은 주시 방향에 수직한 축에 대한 카메라 회전 때문에 발생하는 프레임에서 프레임으로의 이미지 이동을 보상한다. 카메라 진도에도 불구하고 이미지가 수단(306)에 의해 유도되고 프레임 기억장치(308)내에 기억된 기준 이미지와 정렬되도록 일정수의 열 및 행을 가진 현재 이미지를 시프트함으로서 보상이 수행된다. 요구된 시프트는 두개의 알려진 목표의 특징을 각 프레임에 위치시킴으로써 결정된다. 이는 매칭 필터를 통해 행해진다.
낮은 콘트라스트의 문제점은 기준 이미지 유도 및 갱신 수단(306), 프레임 기억장치(308) 및 기준 이미지 수정 수단(310)의 협동 동작에 의해 극복된다. 수단(306)은 큰 가우시안 필터를 가진 수단(304)으로부터 입력된 첫번째 발생 이미지 프레임 i0을 흐리게 함으로써(기준 이미지 r0이 높은 피라미드 레벨을 포함할 수있도록) 원시 기준 이미지 r0을 발생시키며, 기준 이미지 r0은 프레임 기억장치(308)에 기억된다. 이 다음에서, 프레임 기억장치(308)에 기억된 이미지는 수단(306)에 의해 제 1 초기화 위상동안 갱신된다. 특히, 수단(306)은 수단(304)으로 입력된 연속적으로 안정화된 이미지 프레임중 몇몇의 제 1 이미지 프레임의 각각의 대응 화소에 대해 순환적인 일시 필터링 동작을 수행하며, 만일 기준 이미지 및 현재 이미지사이의 차가 너무 크면 기준 이미지는 화소가 갱신되지 않는다. 수학적으로는 다음과 같다.
상기 식에서, rt는 프레임 t후의 기준 이미지를 나타내며, it는 수단(304)로부터의 입력 이미지 프레임 시퀀스의 t번째 프레임을 나타낸다. 상수 Υ은 구성 프로세스의 신뢰성을 결정한다.
도 6은 실제 시스템내에서 방정식 1을 실행하는 예시적인 프로세스(600)의 흐름도를 도시한다. 즉, 도 6은 전술한 것처럼 도 3에 도시된 수단(306)의 동작을 기술한다. 특히, 시퀀스내의 기준 이미지 및 다음 이미지는 단계 602에서 수단(306)에 입력된다. 기준 이미지는 이전에 발생된 기준 이미지이며, 또는 만일 이것이 초기 기준 이미지라면 기준 이미지는 이미지 시퀀스에서 제 1이미지 프레임의 불선명 버전이다. 단계 604에서, 화소는 기준 이미지(rt-1(x,y))로부터 선택되며, 화소는 다음 이미지(it(x,y))로부터 선택된다. 다음에, 단계 606에서, 기준 이미지의 화소값은 차동 인자(DIFF=it(x,y))를 발생시키는 다음 이미지의 화소값으로부터 감산된다. 이때, 프로세스는 단계 608에서 차동 인자의 절대값(｜DIFF｜)을 계산한다. 단계 606에서, 차동 인자의 절대값은 임계값(D)에 비교된다. 프로세스는 차동 인자의 절대값이 임계값보다 작은 지의 여부를 질문한다. 만일 질문이 부정으로 응답된다면, 프로세스는 단계 614로 진행한다. 단계 612에서, 프로세스는 선택된 기준 이미지 화소값을 갱신 인자(U)에 의해 승산된 선택된 기준 이미지 화소값과 동일한 화소값으로 갱신한다. 갱신 인자는 상수 γ에 의해 승산된 차동 인자이다. 단계 614에서, 프로세스는 이미지의 모든 화소가 처리되었는지의 여부를 질문한다. 만일 그렇지 않다면, 프로세스는 단계 604로 복귀한다. 만일 모든 화소가 처리되었다면, 프로세스는 단계 616에서 종료된다.
γ의 신뢰성 세팅은 제 1 초기화 위상을 포함하는 수단(306)에 입력되는 몇몇의 이미지 프레임의 종단부에서 프레임 기억장치(308)에 기억된 기준 이미지가 카메라(100)가 볼수있는 정지한 배경 객체만을 포함하도록 이동 자동차 또는 교통 잼(jam)에 의해 일시적으로 정지될 수있는 자동차와 같은 일시적인 객체를 기준 이미지로 유지하기 위해 충분히 느려야 한다. 상기와 같은 γ의 신뢰성 세팅은 기준 이미지에 조명 변화(구름 또는 카메라(100)의 오토-이리스로 인한 변화)를 부가할 수있도록 rt를 충분히 빠르게 조절할 수없다. 이와같은 문제점은 기준 이미지 수정 수단(310)(조명/AGC 보상장치를 포함함), 수단(306) 및 프레임 기억장치(308)의 협동적인 갱신 동작에 의해 초기화 위상의 종단부에서 해결된다. 특히, 초기화 위상(도 6에 도시된 것처럼)이 완료될때, 초기화 위상은 다음과 같은 방정식2(방정식 1보다 오히려)에 따라 동작하는 일반적인 제 2동작위상에 의해 교체된다.
kt및 ct는 수단(310)에 의해 계산된 기준 이미지rt및 현재 이미지it사이의 추정 이득 및 오프셋이다. 수단(310)은 x축이 기준 이미지의 흐린 레벨 세기를 나타내며 y축이 현재 이미지의 흐린 레벨 세기를 나타내는 2D 공간에 구름을 점으로 작도하고 구름을 선으로 작도함으로써 이득 및 오프셋을 계산한다. 구름은 모든 이미지 위치 x,y에 대한 점의 세트(rt-1(x,y), it(x,y))이다. 이와같은 접근 방법은 조명 변화를 나타내는 이득 및 오프셋을 계산하기 위한 방법을 사용하여 실행한다. 예를들어, 이득은 현재 이미지 및 기준 이미지의 히스토그램을 비교함으로써 추정될 수있다. 또한, 특정 갱신 규칙은 전술한 것처럼 절대 임계값 D을 사용할 필요가 없다. 대신에, 갱신은 ｜it(x,y)-rt-1(x,y)｜의 임의의 함수에 의해 가중될 수있다.
도 7은 실제 시스템내에 방정식 2를 실행하기 위한 예시적 프로세스(700)의 흐름도를 도시한다. 즉 도 7은 도 3의 수단(310)의 동작을 설명한다. 시퀀스에서 기준 이미지 및 다음 이미지는 단계(702)에서의 입력이다. 이것이 첫 번째로 수단(310)이 사용되면, 기준 이미지는 수단(306)에 의해 발생된 최종 기준 이미지이며; 반면, 수단(310)에 의해 생성된 이전의 기준 이미지이다. 단계 704에서, 화소는 기준 이미지(rt-1(x,y))로부터 선택되고 다음 이미지(it(x,y))로부터 선택된다. 이어서, 단계 706에서, 기준 이미지의 화소값은 다음 이미지의 화소값에서 감산하여 차동 인자(DIFF=(it(x,y))-(rt-1(x,y))를 산출한다. 이어서, 프로세스는 단계(708)에서 차동인자(DIFF)의 절대값을 계산한다. 단계 710에서, 차동 인자의 절대값은 임계값(D)과 비교된다. 프로세스는 차동 인자의 절대값이 임계값보다 작은 지를 물어 본다. 질문에 대하여 음으로 대답하면, 프로세스는 단계 714로 진행한다. 단계 714에서, 프로세스는 선택된 기준 이미지 화소값을 이득(kt)만큼 곱해지고 오프셋(ct)만큼 스케일링된 선택된 기준 이미지 화소값과 동일한 화소값으로 변형한다. 질문에 대해 긍정적으로 대답하면, 프로세스는 단계 712로 진행한다. 단계 712에서, 프로세스는 선택된 기준 이미지 화소값을 변형 인자(M)만큼 곱해진 선택된 기준 이미지 화소값과 동일한 화소값으로 변형한다. 변형 인자는 상수 γ만큼 곱해진 차동 인자이다. 프로세스가 화소값을 변형하면, 프로세스는 단계 716에서 이미지의 모든 화소가 처리되었는지를 질문한다. 그렇지 않으면, 프로세스는 단계 704로 복귀한다. 모든 화소들이 처리되면, 프로세스는 단계 716에서 종료한다.
상기 접근은 일시적인 객체가 부가되는 것을 방지하면서 빠른 조도 변화가 기준 이미지에 부가되는 것을 허용한다. 이것은 새로운 기준 이미지 화소값이 현재 이미지에서 화소값의 함수로서 계산되어야 하는지 또는 이득 및 오프셋을 현재 기준 이미지에 인가함으로써 간단히 계산될 수 있는지를 결정하기 위하여 유연성을 협조 수단에 제공함으로써 행해진다. 이득 및 오프셋을 현재 기준 이미지에 인가함으로써 조도 변화는 일시적인 객체가 기준 이미지에 나타날 위험성없이 시뮬레이트될 수 있다.
도 3의 결과는 수단(310)의 출력에서 나타나는 조도 보상된 현재 이미지의 고정 배경 표시 화소(고정 배경 표시 화소 및 이동 객체(예; 차량 교통) 둘 다 포함)는 항상 프레임 저장장치(308)의 출력에 나타나는 기준 이미지의 고정 배경 표시 화소(고정 배경 표시 화소만을 포함)와 동일하다. 그러므로, 수단(310) 및 (304)로부터 입력으로서 인가되는 대응 화소의 진폭간의 차를 계산하는 감산기(312)는 연속 2D 이미지 프레임의 각 하나에서 단독으로 이동 객체만을 표시하는 상당한 값의 화소로 이루어진 출력을 유도한다. 감산기(312)의 출력은 도 4에 도시된 교통-모니터링 이미지 처리기(102)의 검출 및 교통부분으로 진행된다.
도 4에는 2D/1D 컨버터(400), 차량 프래그먼트 검출기(402), 이미지 흐름 평가기(404), 단일 프레임 딜레이(406), 화소-진폭 제곱 수단(408), 차량 가설 발생기(410) 및 그림자 및 반사된 헤드라이트 필터(412)가 도시되어 있다.
2D/1D 컨버터(400)는 제 2 입력으로서 인가된 사용자 정보에 따라서 제 1 입력으로서 인가된 도 3으로부터 수신된 2D 이미지 정보를 1D 이미지 정보로 변환하도록 동작한다. 이에 대하여, 도 5 및 5a를 참조한다. 도 5는 좌측으로부터 제 2 차선(506)상에서 주행하는 자동차(504-1) 및 (504-2)가 직선 5차선 도로(502)의 카메라(100)에 의해 유도된 이미지 프레임(500)이 도시되어 있다. 자동차(504-1) 및 (504-2)는 컨버터(400)에 제 2 입력으로서 인가된 사용자 제어 정보에 의해 나타난 이미지 존(508)내에 위치되어 있다. 이미지 존에 걸쳐 화소의 진폭을 수평으로 통합시키고 존(508)의 중심을 따라 수직 방향의 통합된 화소를 부샘플링함으로써, 1D 스트립(510)은 컨버터(400)에 의해 계산된다. 도로는 직선일 필요는 없다. 도 5a에 도시된 바와 같이, 곡선의 도로 차선(512)은 컨버터(400)에 의해 중앙 스트립(518)의 계산을 허용하는 사용자-표시된 차선 경계(516)에 의해 한정된 존(514)을 포함한다. 도 5 및 5a에서, 사용자는 사용자-표시된 차선 경계를 한정하는데 도움을 주기 위하여 랜드마크로서 이미지내에 존재할 수 있는 차선 한정 스트라이프를 사용할 수 있다.
좀 더 설명하면, 컨버터(400)에 의한 계산은 통합 윈도우를 한정하기 위하여 각 화소 위치(x,y)를 사용하는 것을 수반한다. 예를 들면, 이러한 윈도우는 (a) 표시된 차선 경계내에 있는 열y 상의 모든 이미지 화소, (b) 표시된 차선 경계내에 있는 행x 상의 모든 이미지 화소, 또는 (c) 위치(x,y)에서 중앙 스트립의 탄젠트에 수직한 차선상의 모든 화소일 수 있다. 여기에 도시되지 않은 다른 형태의 통합 윈도우가 사용될 수도 있다. 도 8은 이미지 부-샘플러(806)에 직렬접속된 통합기(804)에 직렬접속된 존 한정 블록을 포함하여 2D/1D 컨버터(400)의 블록 다이어그램을 도시한다. 2D 이미지내에 존을 한정하는 사용자 입력은 존 한정 블록(802)에 인가된다.
도 4에서, 컨버터(400)로부터의 1D 출력은 검출기(402), 평가기(404) 및 단일 프레임 딜레이(406), 및 수단(410)을 통하여 필터(412)로 입력으로서 인가된다. 이들 엘리먼트에 의해 수행되는 각 검출, 트랙킹 및 필터링 기능이 1D 또는 2D 신호에서 동작하는지에 관계없기 때문에, 1D 동작은 계산 요건을 상당히 감소시키기 때문에 바람직하다. 그러므로, 컨버터(400)의 존재는 검출, 트랙킹, 및 필터링 기능의 성능에 필수적인 것은 아니다. 다음에 컨버터(400)가 존재하는 것에 대해 설명한다.
검출기(402)는 도 3으로부터 수신된 연속 이미지 프레임의 1D 스트립에서 차량 프래그먼트의 존재 및 부분적 위치를 검출하기 위한 코어스-대- 파인(coarse-to-fine) 동작을 제공하기 위하여 다중 레벨 피라미드를 사용한다. 프래그먼트는 서로 접속된 어떤 피라미드 레벨로 상당한 값의 화소의 그룹으로서 한정된다. 검출기(402)는 각 차량이 단일 프래그먼트에 발생될 수 있는 기회를 최대화하도록 한다. 그러나, 실제로 이것은 각 차량이 다중 프래그먼트(후드, 루프, 및 동일 차량의 헤드라이트에 상응하는 별도의 프래그먼트와 같음)를 발생하는 것을 달성하는 것이 불가능하다. 더욱이, 하나의 차량보다 많은 화소는 단일 프래그먼트내에 접속될 수 있다.
각 화소 스트립 위치에서의 객체 검출 기법중 하나는 그 화소 위치에서 중심화된 통합 윈도우내의 이미지 밀도값의 히스토그램을 계산하는 것이다. 이 히스토그램의 기여를 기초로하여(즉, 어떤 임계값에 걸친 화소의 수나 퍼센트), 검출이나 배경으로서 스트립 화소를 분류한다. 각 스트립 화소에서 이 동작을 수행함으로써, 각 화소 위치에 대하여 검출이나 배경을 포함하는 일차원 어레이를 구성할 수 있다. 이 어레이내에 접속된 컴포넌트 분석을 수행함으로써, 인접한 검출 화소는 프래그먼트내로 그룹화된다.
이미지 흐름 평가기(404)는 객체가 시간동안 트랙킹되도록 하기 위하여 딜레이(406)와 협조한다. 간단히 말하면, 이 경우, 이것은 각 화소 위치에서 통합 윈도우내에 포함된 평균값을 게산 및 저장하는 것을 수반한다. 각 스트립 화소에서 이 동작을 수행함으로써, 평균 휘도값의 일차원 어레이가 구성된다. t-1 과 t 시간에 얻어진 이미지에 대한 두 개의 대응 어레이가 제공되면, 하나의 어레이에서 다른 에너지로 화소를 매핑하는 일차원 이미지 흐름이 계산된다. 이것은 일차원 최소-제곱 최소화나 일차원 패치와이즈 상관을 통하여 계산될 수 있다. 이 흐름 정보는 연속 이미지 프레임쌍 사이의 객체를 트랙킹하는데 사용될 수 있다.
검출기(402) 및 평가기(404)의 각 출력은 차량 가설 발생기(410)에 입력으로서 인가된다. 가까운 프래그먼트는 유사한 방법으로 이동하거나 아주 가깝게 있을 경우에 동일한 객체(즉, 차량)의 부분으로서 함께 그룹화된다. 다중 프래그먼트의 위치가 연속 프레임의 트레인의 각각에서 서로에 대하여 고정되어 남게될 경우, 그들은 단일 차량만을 지시하는 것으로 추측된다. 그러나, 프래그먼트의 위치가 프레임에서 프레임으로 변화할 경우, 그들은 별도의 차량을 지기하는 것으로 추측된다. 더욱이, 한 프레임에서 단일 프래그먼트가 다중 프래그먼트로 브레이크 업되거나 한 프레임에서 다른 프레임으로 형상이 길이방향으로 상당히 스트레칭 아웃될 경우, 그들은 별도의 차량을 지시하는 것으로 추측된다.
밤에, 차량의 존재는 그 헤드라이트에 의해서만 표시될 수 있다. 헤드라이트는 도로상에 헤드라이트 반사광을 발생시키는 경향이 있다. 밤과 낮 동안에 도로에 대한 라이팅 조건은 도로상에 차량 그림자를 초래할 경향이 있다. 이러한 그림자 및 도로상의 헤드라이트 반사광은 부가적인 차량으로서 발생기(410)에 나타날 수 있는 검출된 프래그먼트를 생성함으로써, 발생기(410)로부터 출력에 있어서 결함 포지티브 에러를 생성하게 된다. 적정한 차량에 의해 생성된 프래그먼트 및 그림자와 반사된 헤드라이트에 의해 생성된 프래그먼트 사이를 식별하는 그림자 및 헤드라이트 반사광 필터(412)는 이러한 결함 포지티브 에러를 제거한다.
화소-진폭 제곱 수단(408)으로부터의 출력은 컨버터(400)로부터 각각의 연속 이미지 프레임의 스트립 출력의 각 피라미드 레벨 화소에서의 상대 에너지를 나타낸다. 필터(412)는 적정 차량에 의해 생성된 프래그먼트와 수단(408)으로부터 에너지 표시 화소의 상대 진폭의 분석을 기초로하여 그림자 및 반사된 헤드라이트에 의해 생성된 프래그먼트 사이를 식별한다. 그림자 및 헤드라이트 반사광 프래그먼트의 에너지 화소 진폭(화소 휘도)의 변화가 적정 차량 프래그먼트의 에너지 화소 진폭의 변화보다 상당히 낮다는 사실은 식별로서 사용될 수 있다.
도 4에 도시된 다른 필터링 방법은 배경-조절된 기준 이미지를 사용하여 객체 및 그림자 사이를 식별하기 위한 컨버터(400)를 사용하는 것이다. 도 9는 다른 필터의 블록 다이어그램을 도시한다. 각 화소 위치에서, 다음 정보는 통합 윈도우를 통해 계산된다:
(a) 통합 윈도우내의 모든 이미지 화소에 대하여, 임의의 임계값 p보다 더 큰 휘도값을 갖는 화소수(엘리먼트 904);
(b) 통합 윈도우내에 모든 이미지 화소에 대하여, 최대 절대값(엘리먼트 906);
(c) 절대차I(x1, y1) - I(x2, y2)가 임계값을 초과하는 통합 윈도우내의 인접한 화소(x1, y1),(x2, y2)의 수(엘리먼트 908).
이 정보는 배경-조절된 기준 이미지를 사용하여 객체 및 그림자 사이를 식별하기 위하여 필터(902)에 의해 사용된다.
전술한 바와 같이 추출된 프래그먼트는 이들 또는 다른 성질들을 기초로하여 객체나 그림자로서 분류될 수 있다. 예를 들면, 프래그먼트내의 모든 스트립 화소에 대하여 가산된 측정 (a)의 값이 임계값을 초과하면, 프래그먼트는 그림자일 수 없다(그 이유는 그림자는 도 4로부터 컨버터(400)에 인가된 이미지에서 포지티브 휘도값을 절대로 갖지 않기 때문이다). 측정 (c)를 사용하는 유사한 가산은 프래그먼트가 객체인지 그림자인지를 결정하기 위하여 임계설정될 수 있는 프래그먼트내의 텍스쳐(texture)의 양을 측정하는 다른 테스트를 제공한다. 필터(412)에 대한 입력이 모든 가설된 차량 위치를 한정하기 때문에, 그것으로부터의 출력은 검증된 차량 위치만을 한정한다. 필터(412)로부터의 출력은 속도 및 길이를 계산하고 차량수를 세는 기능을 수행할 수 있는 사용 수단(도시하지 않음)으로 제공된다.
차량 프래그먼트 검출기(402), 이미지 흐름 평가기(402), 및 차량 가설 발생기(410)는 동작에 있어서 소정의 카메라 교정 정보를 사용할 수 있다. 더욱이, 상기한 본 발명의 다양한 기법의 각각은 여기에 기술한 차량 교통 모니터링 시스템으로부터 다른 형태의 이미지 시스템에 이롭게 되도록 사용될 수 있다.

Claims (11)

  1. 이미지 처리 방법에 있어서,
    (a) 제 1 시퀀스의 이미지 프레임을 공급하는 단계;
    (b) 상기 제 1 시퀀스의 이미지에 의해 나타난 장면내의 고정 객체에 관한 이미지 정보를 포함하는 기준 이미지를 초기화하는 단계;
    (c) 상기 제 1 시퀀스의 이미지 프레임을 일시적으로 후속하는 다음 이미지 프레임을 공급하는 단계;
    (d) 상기 장면내의 객체의 이동에 관한 움직임 정보를 나타내는 이차원 움직임 이미지를 생성하기 위하여 상기 기준 이미지와 상기 다음 이미지 프레임을 비교하는 단계;
    (e) 상기 기준 이미지를 상기 다음 이미지 프레임내에의 정보로 갱신하는 단계를 포함하는데, 상기 기준 이미지를 갱신하기 위하여 사용된 정보는 단지 장면내의 고정 객체를 나타내며 이동 객체 및 상기 장면내의 일시적 고정 객체를 무시하며; 및
    (f) 공급된 각 다음 이미지에 대하여 상기 단계(c), (d), 및 (e)를 반복하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 갱신 단계는,
    상기 기준 이미지의 화소값과 상기 기준 이미지의 선택된 화소값과 동일한 화소 위치를 갖는 다음 이미지 프레임의 화소값을 선택하는 단계;
    상기 다음 이미지 프레임의 선택된 화소값과 기준 이미지의 화소값 사이의 차의 절대값과 동일한 차동 인자를 계산하는 단계;
    상기 차이값을 제 1 임계값과 비교하는 단계;
    상기 차이값이 상기 제 1 임계값보다 작으면, 상기 기준 이미지의 화소값을 갱신 인자에 의해 변경된 선택된 기준 이미지 화소값과 동일한 갱신된 기준 화소값으로 대체하는 단계; 및
    상기 차이값이 상기 제 1 임계값보다 크거나 같으면, 상기 기준 이미지의 화소값은 동일하게 남아있는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서, 상기 갱신 인자는 상기 다음 이미지의 선택된 화소값과 응답 인자에 의해 곱해진 기준 이미지의 화소값 사이의 차이며, 상기 응답 인자는 갱신된 기준 이미지가 단지 상기 장면내의 고정 객체를 나타내는 상기 다음 이미지 프레임내의 정보에 관한 정보를 포함하는 것을 보장하기 위하여 갱신의 양을 제한하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서, 상기 방법은 상기 장면의 조도에 대한 변화에 관한 상기 다음 이미지 프레임 내의 이미지 정보를 사용하여 상기 기준 이미지를 변형시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제 4 항에 있어서, 상기 변형 단계는,
    상기 기준 이미지의 화소값과 상기 기준 이미지의 선택된 화소값과 동일한 화소 위치를 갖는 다음 이미지 프레임의 화소값을 선택하는 단계;
    상기 다음 이미지 프레임의 선택된 화소값과 기준 이미지의 화소값 사이의 차의 절대값과 동일한 차동 인자를 계산하는 단계;
    상기 차이값을 제 2 임계값과 비교하는 단계;
    상기 차이값이 상기 제 2 임계값보다 작으면, 상기 기준 이미지의 화소값을 갱신 인자에 의해 변경된 선택된 기준 이미지 화소값과 동일한 갱신된 기준 화소값으로 대체하는 단계; 및
    상기 차이값이 상기 제 2 임계값보다 크거나 같으면, 상기 선택된 기준 이미지 화소값은 가중되고 스케일링 선택된 기준 이미지 화소값과 동일한 새로운 기준 이미지 화소값으로 대체하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서, 상기 변형 인자는 상기 새로운 이미지 프레임의 선택된 화소값과 응답 인자에 의해 곱해진 기준 이미지의 선택된 화소값 사이의 차이며, 상기 응답 인자는 상기 변형된 기준 이미지가 단지 상기 장면내의 고정 객체를 나타내는 새로운 이미지내의 정보에 관한 정보를 포함하는 것을 보장하기 위하여 변형의 양을 제한하며, 상기 가중되고 스케일링 선택된 기준 이미지 회소값은 상기 장면내의 조도 변화를 나타내는 것을 특징으로 하는 방법.
  7. 이미지 처리 장치에 있어서,
    장면을 나타내는 이미지 프레임의 연속 시퀀스를 공급하기 위한 이미지 수단(100);
    상기 장면내의 고정 객체에 관한 이미지 정보를 포함하는 기준 이미지를 초기화하기 위하여, 상기 이미지 수단에 접속된 기준 이미지 초기화 수단(306);
    상기 장면내의 객체의 이동에 관한 움직임 정보를 나타내는 이차원 움직임 이미지를 생성하도록 상기 기준 이미지와 상기 이미지 수단에 의해 공급된 이미지 프레임을 비교하기 위해 상기 이미지 수단 및 상기 기준 이미지 초기화 수단에 접속된 비교기 수단(312); 및
    상기 기준 이미지를 상기 이미지 프레임내의 정보로 갱신하기 위한 수단(306)을 포함하며, 상기 기준 이미지를 갱신하는데 사용된 정보는 장면내의 고정 객체만을 나타내며 장면내의 이동 객체 및 일시적 고정 객체를 무시하는 것을 특징으로 하는 장치.
  8. 제 7 항에 있어서, 상기 방법은 상기 장면의 조도에 대한 변화에 관한 상기 다음 이미지 프레임 내의 이미지 정보를 사용하여 상기 기준 이미지를 변형시키는 수단(310)을 더 포함하는 것을 특징으로 하는 장치.
  9. 시계내에 도로 교통의 연속 이미지 프레임을 기록하기 위한 소정 시계를 갖는 비디오 카메라, 및 상기 연속 이미지 프레임의 각각에 의해 한정된 화소 정보에 응답하는 디지털 이미지 처리 수단을 포함하는 차량 교통 모니터링 시스템에 있어서,
    상기 시계내에 고정 객체만을 한정하는 저장된 초기 기준 이미지를 유도하고 상기 저장된 초기 기준 이미지를 초기 트레인보다 늦게 기록된 이미지 프레임으로부터 유도된 기준 이미지로 갱신하기 위하여 상기 연속 이미지 프레임의 초기 트레인에 응답하는 제 1 수단(306)을 포함하는데, 상기 기준 이미지의 각각의 화소의 디지털 진폭 레벨은 상기 초기 트레인 및 나늦게 기록된 프레임이 기록된 경우에 존재하는 조도 조건에 의해 결정되며;
    고정 객체를 한정하는 대응 화소가 서로 동일하게 되도록 저장되는 상기 저장된 기준 임지와 현재 이미지 프레임중 하나의 화소의 디지털 진폭 레벨을 변형하기 위한 제 2 수단(310);
    상기 연속 이미지 프레임의 각각의 프레임과 상기 시계내의 이동 객체만을 한정하는 연속 이미지를 유도하기 위한 저장된 기준 이미지의 대응 화소간 디지털 진폭 레벨차에 응답하는 제 3 수단(404);
    상기 연속적으로 발생하는 이미지의 각각에 대하여 서로 위치가 고정되어 남아있는 이동 객체와 연속적으로 발생하는 이미지의 각각에 대하여 서로 위치가 변하는 이동 객체 사이를 식별하기 위한 제 4 수단(402, 410); 및
    물리적인 이동 객체를 한정하는 서로 위치가 고정되어 있는 이동 객체로부터 물리적인 이동 객체에 의하여 캐스트된 그림자 및 헤드라이트 반사광과 같은 비물리적 이동 객체를 한정하는 서로 위치가 고정되어 있는 이동 객체의 각각을 구별하고, 비물리적 이동 객체를 한정하는 이동 객체의 각각을 제거하기 위하여, 서로 위치가 고정되어 있는 상기 이동 객체의 각각의 화소의 디지털 진폭 레벨의 변화에 응답하는 제 5 수단을 포함하는 것을 특징으로 하는 장치.
  10. 제 9항에 있어서, 상기 제 1 수단 및 제 2 수단은 제 1 세트의 방정식, 즉
    방정식에 따라 상기 연속 이미지 프레임의 초기 트레인의 발생동안 협조하고, 이후 제 2 세트의 방정식, 즉
    방정식에 따라 협조하며,
    여기서 (x,y)는 이미지 프레임에서 각 화소의 좌표를 나타내며, rt는 프레임 t후의 기준 이미지를 나타내며, it는 연속 이미지 프레임의 t번째 프레임을 나타내며, D는 it와 rt의 각 쌍의 대응 화소의 진폭 레벨간의 소정의 차를 나타내며, k 및 ct는 it와 rt중 하나의 화소에 대한 진폭 레벨에 있어서 단일 쌍의 추정된 이득 및 오프셋값을 나타내고 it와 rt의 대응 화소는 it와 rt의 대응 화소 사이의 진폭 레벨의 각 차에 있어서의 통계적 에러를 감소시키며, 및 g는 연속 이미지 프레임의 초기 트레인의 발생동안 및 이후에 상기 제 1 및 제 2 수단의 협조의 응답을 결정하는 상수인 것을 특징으로 하는 장치.
  11. 제 10 항에 있어서, 상기 k 및 ct는 각각 it와 rt의 대응 화소간의 진폭 레벨의 차에 있어서의 통계적 에러를 최소화하는 it와 rt중 하나의 화소에 대한 진폭 레벨에 있어서 단일 쌍의 추정된 이득 및 오프셋을 나타내는 것을 특징으로 하는 장치.
KR1019970704959A 1995-01-17 1996-01-17 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치 KR100377067B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37292495A 1995-01-17 1995-01-17
US8/372,924 1995-01-17
US08/372,924 1995-01-17

Publications (2)

Publication Number Publication Date
KR19980701568A true KR19980701568A (ko) 1998-05-15
KR100377067B1 KR100377067B1 (ko) 2005-09-08

Family

ID=23470199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970704959A KR100377067B1 (ko) 1995-01-17 1996-01-17 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치

Country Status (9)

Country Link
US (1) US5847755A (ko)
EP (1) EP0804779B1 (ko)
JP (1) JPH10512694A (ko)
KR (1) KR100377067B1 (ko)
CA (1) CA2211079A1 (ko)
DE (1) DE69635980T2 (ko)
ES (1) ES2259180T3 (ko)
MY (1) MY132441A (ko)
WO (1) WO1996022588A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690279B1 (ko) * 2005-09-12 2007-03-09 주식회사 리트코 다목적 영상감지 시스템

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
WO1997016921A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for generating a reference image from an image sequence
JP3809661B2 (ja) * 1995-12-28 2006-08-16 ソニー株式会社 動き検出装置および動き検出方法
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
AUPP839199A0 (en) * 1999-02-01 1999-02-25 Traffic Pro Pty Ltd Object recognition & tracking system
JP4243883B2 (ja) * 1999-03-15 2009-03-25 フジノン株式会社 リモコン雲台システム
ES2155017B1 (es) * 1999-03-25 2001-11-01 Univ Alcala Henares Sistema de vision artificial para la deteccion de vehiculos en sentido contrario en una autovia.
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US6795585B1 (en) * 1999-07-16 2004-09-21 Eastman Kodak Company Representing digital images in a plurality of image processing states
US6647131B1 (en) 1999-08-27 2003-11-11 Intel Corporation Motion detection using normal optical flow
WO2001033503A1 (en) * 1999-11-03 2001-05-10 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
US6654483B1 (en) * 1999-12-22 2003-11-25 Intel Corporation Motion detection using normal optical flow
WO2001048696A1 (en) * 1999-12-23 2001-07-05 Wespot Ab Method, device and computer program for monitoring an area
US7479980B2 (en) * 1999-12-23 2009-01-20 Wespot Technologies Ab Monitoring system
US6774905B2 (en) 1999-12-23 2004-08-10 Wespot Ab Image data processing
US6819353B2 (en) 1999-12-23 2004-11-16 Wespot Ab Multiple backgrounds
US6468891B2 (en) * 2000-02-24 2002-10-22 Micron Technology, Inc. Stereolithographically fabricated conductive elements, semiconductor device components and assemblies including such conductive elements, and methods
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7072521B1 (en) 2000-06-19 2006-07-04 Cadwell Industries, Inc. System and method for the compression and quantitative measurement of movement from synchronous video
KR20010069800A (ko) * 2001-05-11 2001-07-25 노일환 촬상시스템의 영상 재구성장치
US7183944B2 (en) * 2001-06-12 2007-02-27 Koninklijke Philips Electronics N.V. Vehicle tracking and identification of emergency/law enforcement vehicles
US7071978B2 (en) * 2001-07-18 2006-07-04 Hewlett-Packard Development Company, L.P. Image mosaic data reconstruction
US7006686B2 (en) * 2001-07-18 2006-02-28 Hewlett-Packard Development Company, L.P. Image mosaic data reconstruction
US7953219B2 (en) 2001-07-19 2011-05-31 Nice Systems, Ltd. Method apparatus and system for capturing and analyzing interaction based content
AU2002334356A1 (en) * 2001-09-06 2003-03-18 Nice Systems Ltd. Recording of interactions between a customer and a sales person at a point of sales
AU2002337592A1 (en) * 2001-09-24 2003-04-07 Nice Systems Ltd. System and method for the automatic control of video frame rate
EP1306824B1 (de) * 2001-10-23 2004-12-15 Siemens Aktiengesellschaft Verfahren zur Erfassung eines sich auf einer Fahrbahn, insbesondere einer Autobahn bewegenden Fahrzeugs sowie zur Ermittlung fahrzeugspezifischer Daten
JP3849505B2 (ja) * 2001-11-26 2006-11-22 株式会社デンソー 障害物監視装置及びプログラム
US6819991B2 (en) 2001-11-29 2004-11-16 Ford Global Technologies, Llc Vehicle sensing based pre-crash threat assessment system
US6775605B2 (en) 2001-11-29 2004-08-10 Ford Global Technologies, Llc Remote sensing based pre-crash threat assessment system
DE10160719B4 (de) * 2001-12-11 2011-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten
US7158870B2 (en) 2002-01-24 2007-01-02 Ford Global Technologies, Llc Post collision restraints control module
US6831572B2 (en) 2002-01-29 2004-12-14 Ford Global Technologies, Llc Rear collision warning system
US6721659B2 (en) 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
US6519519B1 (en) 2002-02-01 2003-02-11 Ford Global Technologies, Inc. Passive countermeasure methods
WO2003067884A1 (en) * 2002-02-06 2003-08-14 Nice Systems Ltd. Method and apparatus for video frame sequence-based object tracking
US20050128304A1 (en) * 2002-02-06 2005-06-16 Manasseh Frederick M. System and method for traveler interactions management
EP1472869A4 (en) * 2002-02-06 2008-07-30 Nice Systems Ltd SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6498972B1 (en) 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
US7009500B2 (en) 2002-02-13 2006-03-07 Ford Global Technologies, Llc Method for operating a pre-crash sensing system in a vehicle having a countermeasure system using stereo cameras
US7761544B2 (en) * 2002-03-07 2010-07-20 Nice Systems, Ltd. Method and apparatus for internal and external monitoring of a transportation vehicle
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US6999004B2 (en) * 2002-06-17 2006-02-14 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
FR2842637B1 (fr) 2002-07-22 2004-10-01 Citilog Procede pour detecter un incident ou analogue sur une portion de voie
KR20040051777A (ko) * 2002-12-13 2004-06-19 주식회사 엘지씨엔에스 유고 감지 방법
US20060089837A1 (en) * 2003-04-09 2006-04-27 Roy Adar Apparatus, system and method for dispute resolution, regulation compliance and quality management in financial institutions
CA2529903A1 (en) 2003-06-19 2004-12-29 Sarnoff Corporation Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
WO2005018097A2 (en) 2003-08-18 2005-02-24 Nice Systems Ltd. Apparatus and method for audio content analysis, marking and summing
AU2003276661A1 (en) 2003-11-05 2005-05-26 Nice Systems Ltd. Apparatus and method for event-driven content analysis
US7433497B2 (en) * 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
EP1634225A4 (en) * 2004-03-10 2008-01-16 Nice Systems Ltd DEVICE AND METHOD FOR GENERATING CONTENT-BASED FOLLOW-UP
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4555987B2 (ja) * 2004-07-09 2010-10-06 財団法人生産技術研究奨励会 画像における移動物体追跡方法及び装置
JP4628712B2 (ja) * 2004-07-09 2011-02-09 財団法人生産技術研究奨励会 画像上移動物体認識方法及び装置
US8204884B2 (en) * 2004-07-14 2012-06-19 Nice Systems Ltd. Method, apparatus and system for capturing and analyzing interaction based content
GB2416943A (en) * 2004-08-06 2006-02-08 Qinetiq Ltd Target detection
WO2006021943A1 (en) * 2004-08-09 2006-03-02 Nice Systems Ltd. Apparatus and method for multimedia content based
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
FR2875091B1 (fr) 2004-09-08 2006-11-24 Citilog Sa Procede et dispositif pour stabiliser les images donnees par une camera video
US8078463B2 (en) * 2004-11-23 2011-12-13 Nice Systems, Ltd. Method and apparatus for speaker spotting
US8005675B2 (en) * 2005-03-17 2011-08-23 Nice Systems, Ltd. Apparatus and method for audio analysis
US10019877B2 (en) * 2005-04-03 2018-07-10 Qognify Ltd. Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
US7920959B1 (en) 2005-05-01 2011-04-05 Christopher Reed Williams Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera
US7386105B2 (en) * 2005-05-27 2008-06-10 Nice Systems Ltd Method and apparatus for fraud detection
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
US7716048B2 (en) * 2006-01-25 2010-05-11 Nice Systems, Ltd. Method and apparatus for segmentation of audio interactions
US7504942B2 (en) * 2006-02-06 2009-03-17 Videoiq, Inc. Local verification systems and methods for security monitoring
US8725518B2 (en) * 2006-04-25 2014-05-13 Nice Systems Ltd. Automatic speech analysis
WO2007135656A1 (en) * 2006-05-18 2007-11-29 Nice Systems Ltd. Method and apparatus for combining traffic analysis and monitoring center in lawful interception
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
DE102006055904A1 (de) 2006-11-27 2008-05-29 Adc Automotive Distance Control Systems Gmbh Erkennung und Kategorisierung von Lichtpunkten mit einer Kamera in einer Fahrzeugumgebung
US8571853B2 (en) 2007-02-11 2013-10-29 Nice Systems Ltd. Method and system for laughter detection
EP2232463B1 (en) * 2007-11-30 2018-04-11 Searidge Technologies INC. Airport target tracking system
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
DE102008023269A1 (de) 2008-05-13 2009-11-19 Rheinmetall Waffe Munition Gmbh Optisches System bzw. Verfahren zur verbesserten Zielerkennung
TWI389559B (zh) * 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
DE102011079187A1 (de) * 2011-07-14 2013-01-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
WO2014130854A1 (en) 2013-02-21 2014-08-28 Regents Of The Univesity Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
GB201307116D0 (en) 2013-04-18 2013-05-29 Mbda Uk Ltd Imaging apparatus and method
US9607401B2 (en) 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
KR102129798B1 (ko) * 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
US10012504B2 (en) 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
JP6169544B2 (ja) * 2014-09-05 2017-07-26 本田技研工業株式会社 走行支援制御装置
CA2967115C (en) * 2014-11-11 2023-04-25 Cleverciti Systems Gmbh System for displaying parking spaces
PL3082119T3 (pl) * 2015-04-15 2023-03-20 Vitronic Dr.-Ing. Stein Bildverarbeitungssysteme Gmbh Pomiar odległości pojazdów
US9709404B2 (en) 2015-04-17 2017-07-18 Regents Of The University Of Minnesota Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation
US10203209B2 (en) 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
US11466990B2 (en) 2016-07-22 2022-10-11 Regents Of The University Of Minnesota Square-root multi-state constraint Kalman filter for vision-aided inertial navigation system
US11241297B2 (en) 2016-12-12 2022-02-08 Cadwell Laboratories, Inc. System and method for high density electrode management
FR3065560B1 (fr) * 2017-04-25 2019-04-19 Continental Automotive France Procede de traitement d'images pour la suppression de zones lumineuses
DE102017220139A1 (de) 2017-11-13 2019-05-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen einer Position wenigstens eines Objekts
US10907971B2 (en) 2017-12-08 2021-02-02 Regents Of The University Of Minnesota Square root inverse Schmidt-Kalman filters for vision-aided inertial navigation and mapping
TWI644264B (zh) * 2017-12-22 2018-12-11 晶睿通訊股份有限公司 影像辨識方法及其影像辨識裝置
US11517239B2 (en) 2018-04-05 2022-12-06 Cadwell Laboratories, Inc. Systems and methods for processing and displaying electromyographic signals
US11596337B2 (en) 2018-04-24 2023-03-07 Cadwell Laboratories, Inc Methods and systems for operating an intraoperative neurophysiological monitoring system in conjunction with electrocautery procedures
US11940277B2 (en) 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
US11185684B2 (en) 2018-09-18 2021-11-30 Cadwell Laboratories, Inc. Minimally invasive two-dimensional grid electrode
US11517245B2 (en) 2018-10-30 2022-12-06 Cadwell Laboratories, Inc. Method and system for data synchronization
US11471087B2 (en) 2018-11-09 2022-10-18 Cadwell Laboratories, Inc. Integrity verification system for testing high channel count neuromonitoring recording equipment
US11317841B2 (en) 2018-11-14 2022-05-03 Cadwell Laboratories, Inc. Method and system for electrode verification
US11529107B2 (en) 2018-11-27 2022-12-20 Cadwell Laboratories, Inc. Methods for automatic generation of EEG montages
US11277723B2 (en) 2018-12-27 2022-03-15 Continental Automotive Systems, Inc. Stabilization grid for sensors mounted on infrastructure
US11128076B2 (en) 2019-01-21 2021-09-21 Cadwell Laboratories, Inc. Connector receptacle
US11715305B1 (en) * 2022-11-30 2023-08-01 Amitha Nandini Mandava Traffic detection system using machine vision

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE394146B (sv) * 1975-10-16 1977-06-06 L Olesen Anordning for metning resp kontroll av ett foremals, i synnerhet ett fordons hastighet.
US4163257A (en) * 1977-12-27 1979-07-31 Rockwell International Corporation Spatial toner for image reconstitution
US4187519A (en) * 1978-08-17 1980-02-05 Rockwell International Corporation System for expanding the video contrast of an image
US4433325A (en) * 1980-09-30 1984-02-21 Omron Tateisi Electronics, Co. Optical vehicle detection system
US4490851A (en) * 1982-04-16 1984-12-25 The United States Of America As Represented By The Secretary Of The Army Two-dimensional image data reducer and classifier
GB8518803D0 (en) * 1985-07-25 1985-08-29 Rca Corp Locating target patterns within images
FR2609566B1 (fr) * 1987-01-14 1990-04-13 Armine Procede de determination de la trajectoire d'un corps apte a se deplacer sur une voie et dispositif de mise en oeuvre du procede
US4847772A (en) * 1987-02-17 1989-07-11 Regents Of The University Of Minnesota Vehicle detection through image processing for traffic surveillance and control
US5134472A (en) * 1989-02-08 1992-07-28 Kabushiki Kaisha Toshiba Moving object detection apparatus and method
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JPH0335399A (ja) * 1989-06-30 1991-02-15 Toshiba Corp 変化領域統合装置
EP0470268B1 (en) * 1990-02-26 1998-06-10 Matsushita Electric Industrial Co., Ltd. Traffic flow change system
JP2712844B2 (ja) * 1990-04-27 1998-02-16 株式会社日立製作所 交通流計測装置及び交通流計測制御装置
US5161107A (en) * 1990-10-25 1992-11-03 Mestech Creation Corporation Traffic surveillance system
FR2670978A1 (fr) * 1990-12-21 1992-06-26 Philips Electronique Lab Procede d'extraction de mouvement comprenant la formation d'images de differences et un filtrage tridimensionnel.
DE69232732T2 (de) * 1991-03-19 2009-09-10 Mitsubishi Denki K.K. Messeinrichtung für sich bewegende Körper und Bildverarbeitungsanordnung zum Messen des Verkehrsflusses
US5359674A (en) * 1991-12-11 1994-10-25 David Sarnoff Research Center, Inc. Pyramid processor integrated circuit
WO1994006247A1 (en) * 1992-09-08 1994-03-17 Paul Howard Mayeaux Machine vision camera and video preprocessing system
JPH08503316A (ja) * 1992-11-10 1996-04-09 シーメンス アクチエンゲゼルシヤフト 複数のディジタルイメージのシーケンスにおける移動物体の影の検出および識別のための方法
SE502679C2 (sv) * 1993-05-28 1995-12-04 Saab Scania Combitech Ab Förfarande och anordning för registrering av ett fordons förflyttning på ett underlag
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690279B1 (ko) * 2005-09-12 2007-03-09 주식회사 리트코 다목적 영상감지 시스템

Also Published As

Publication number Publication date
ES2259180T3 (es) 2006-09-16
DE69635980D1 (de) 2006-05-18
EP0804779B1 (en) 2006-03-29
DE69635980T2 (de) 2007-01-25
MY132441A (en) 2007-10-31
WO1996022588A1 (en) 1996-07-25
CA2211079A1 (en) 1996-07-25
JPH10512694A (ja) 1998-12-02
KR100377067B1 (ko) 2005-09-08
EP0804779A1 (en) 1997-11-05
US5847755A (en) 1998-12-08

Similar Documents

Publication Publication Date Title
KR100377067B1 (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치
US7460691B2 (en) Image processing techniques for a video based traffic monitoring system and methods therefor
EP1703466B1 (en) Moving object detection apparatus, method and program
EP1574992B1 (en) Method and device for tracking moving objects in images
US6434254B1 (en) Method and apparatus for image-based object detection and tracking
JP3816887B2 (ja) 車両待機行列の長さ測定装置及びその方法
US6044166A (en) Parallel-pipelined image processing system
JP2000011133A (ja) 移動物体検出装置及びその方法
JP2002074368A (ja) 移動物体認識追跡装置
KR101026778B1 (ko) 차량 영상 검지 장치
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
JP3853574B2 (ja) 移動体検出システム
CN111199177A (zh) 一种基于鱼眼图像校正的汽车后视行人检测报警方法
Alefs et al. Accurate speed measurement from vehicle trajectories using adaboost detection and robust template tracking
JP5903901B2 (ja) 車両位置算出装置
KR102492290B1 (ko) 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템
Hoogendoorn et al. Traffic data collection from aerial imagery
JP2876493B2 (ja) 車両動態計測方法
KR100284596B1 (ko) 교차로에서 대기길이 측정방법
JP2006293629A (ja) 移動物体の高さ検出方法及び装置並びに物体形状判定方法
KR960016355B1 (ko) 교통정보 감지방법 및 장치
Hoogendoorn et al. Tracing traffic dynamics with remote sensing
Anfilets et al. Application of algorithms for searching motion in the frame for the detection of vehicles
Giardino et al. MULTIPLE VEHICLE DETECTION AND TRACKING USING AN ADAPTIVE SYSTEM
KR20010001275A (ko) 인터넷에서의 실시간 교통 감시 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060307

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee