KR102096230B1 - 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정 - Google Patents

도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정 Download PDF

Info

Publication number
KR102096230B1
KR102096230B1 KR1020140116128A KR20140116128A KR102096230B1 KR 102096230 B1 KR102096230 B1 KR 102096230B1 KR 1020140116128 A KR1020140116128 A KR 1020140116128A KR 20140116128 A KR20140116128 A KR 20140116128A KR 102096230 B1 KR102096230 B1 KR 102096230B1
Authority
KR
South Korea
Prior art keywords
processor
moving
moving items
items
transactions
Prior art date
Application number
KR1020140116128A
Other languages
English (en)
Other versions
KR20150029551A (ko
Inventor
피. 로체 로버트
우 원청
에프. 웨이드 토마스
에스. 한 다니엘
폴 피터
엠. 버리 애런
Original Assignee
제록스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제록스 코포레이션 filed Critical 제록스 코포레이션
Publication of KR20150029551A publication Critical patent/KR20150029551A/ko
Application granted granted Critical
Publication of KR102096230B1 publication Critical patent/KR102096230B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G06Q20/145—Payments according to the detected use or quantity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Traffic Control Systems (AREA)

Abstract

방법 및 장치는 제1 위치를 겨냥한 카메라 또는 카메라 네트워크를 이용하여 이미지를 획득한다. 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 포함하고, 1차 레인들 내의 이동 아이템들은 1차 레인들 내에 있는 동안 트랜잭션들을 개시하고 2차 레인에 있는 동안 트랜잭션들을 완료한다. 이러한 방법 및 장치는 카메라로부터 이동 아이템들의 거리를 계산하여 각 이동 아이템이 2차 레인으로 합병되기 전에 위치했던 1차 레인을 식별한다. 또한 이러한 방법 및 장치는 이동 아이템들이 1차 레인들로부터 2차 레인으로 들어가는 시퀀스(sequence)에 대응하는 합병 순서로 트랜잭션들을 정렬한다. 또한 방법 및 장치는 합병 순서로 트랜잭션들을 출력한다.

Description

도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정{DETERMINING SOURCE LANE OF MOVING ITEM MERGING INTO DESTINATION LANE}
시스템과 방법들은, 여기서, 일반적으로 아이템 흐름 프로세싱에 관련되며, 좀 더 상세하게는, 복수의 출발 레인이 도착 레인으로 합병됨에 따라, 이동 아이템의 출발 레인을 결정하는 카메라를 사용하는 시스템 및 방법에 관련된다.
컴퓨터화된 시스템은, 제어된 레인이나 경로를 통해 아이템의 이동을 용이하게 하는 것과 같은, 많은 분야에서 효율성 향상에 유용하다. 이와 같은 시스템의 예는, 창고 내의 컨베이어 시스템의 아이템의 이동; 공항, 놀이 공원 및 스포츠 이벤트에서의 사람들의 큐잉, 그리고 차량-내(in-vehicle) 드라이빙 시설에서 음식이나 다른 품목의 운전 중(또는 "드라이브-스루") 주문 프로세싱 등을 포함한다. 여기서, 시스템과 방법들은 드라이브-스루 주문의 예를 사용하여 설명되지만, 이러한 시스템과 방법들은 사람들이나 품목들이 복수의 출발 레인에서 적어도 하나의 도착 레인으로 합병되는 모든 유형의 프로세싱에 적용할 수 있다.
차량 "드라이브 스루" 동작에서, 만일 특정 기능이 (각자의 레인들을 갖는) 복수의 병렬 스테이션에서 수행되고 또한 다른 기능을 수행하는 스테이션들의 더 적은 수의 레인으로 차량들이 합병된다면 고객은 빠르게 서비스를 제공받고 효과적으로 비용을 지불할 수 있다. 예제는 둘 또는 세 개의 병렬 주문 스테이션과 지불과 음식 픽업을 위해 싱글 레인을 갖는 패스트푸드 레스토랑이다. 비효율성과 문제점이 병렬 레인들을 뒤따르는 합병 지역에 존재한다. 현재, 직원들은 비디오 카메라를 사용하여 차량이 합병 라인을 지날 때, 차량의 출발 레인을 추적하기 위해 모니터링한다. 이것은 그 밖의 다른 곳에서 기울일 직원의 노고를 필요로 하며, 또한 후속하는 스테이션에서 시간을 낭비하고 고객을 좌절하게 하는 인간 오류를 유발한다.
여기서 예시되는 장치는 제1 위치를 겨냥하는 광 스테레오 카메라(복수의 이미징 유닛을 갖는 싱글 카메라 또는 복수의 카메라를 갖는 카메라 네트워크)를 포함한다. 복수의 카메라나 이미징 장치는 고정된 뷰 필드를 가지며 제1 위치를 오버랩한다. 제1 위치는 감소한 수의 적어도 하나의 2차 레인, 예를 들면 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 갖는 수평 표면을 포함한다. 스테레오 카메라는 상기 수평 표면에 수평 방향으로 평행하게 겨냥된다. 1차 레인 내의 이동 아이템들은 트랜잭션들을 개시하고 2차 레인에 있는 동안 트랜잭션들을 완료한다.
프로세서는 상기 스테레오 카메라에 작용적으로 연결된다. 프로세서는 복수의 스테레오 카메라에 의해 획득되는 이동 아이템들의 이미지들 간의 차이에 기초하여 수평 방향으로 스테레오 카메라로부터의 이동 아이템의 거리(또는 만일 카메라 네트워크가 사용된다면, 참조 카메라로부터의 거리)를 계산한다. 좀더 상세하게는, 프로세서는 상기 이동 아이템들이 상기 제1 위치를 지날 때 그리고 상기 이동 아이템의 적어도 한 부분이 상기 제1 위치에 있을 때, 상기 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 상기 이동 아이템들이 상기 2차 레인으로 들어가는 시퀀스를 결정한다. 프로세서는 상기 제1 위치를 지나는 상기 각 이동 아이템에 대하여 시간적 깊이 프로파일을 생성함으로써 상기 스테레오 카메라로부터 상기 이동 아이템들의 거리를 측정한다.
이는 상기 각 이동 아이템이 상기 2차 레인으로 합병되기 전에 위치했던 상기 1차 레인을 식별하고 또한 상기 프로세서가 "합병 순서"로 트랜잭션을 정렬 하도록 허용한다. 합병 순서는 상기 이동 아이템들이 상기 1차 레인들로부터 상기 2차 레인으로 들어가는 시퀀스에 대응한다. 인터페이스는 상기 프로세서에 작용적으로 연결되고, 또한 상기 인터페이스는 트랜잭션을 완료하는 트랜잭션 장치로 (상기 합병 순서로) 상기 트랜잭션들을 출력한다.
추가로, 상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 초기 시그니처(signature) 프로파일을 개발할 수 있다. 이러한 초기 시그니처 프로파일은 상기 이동 아이템의 색상, 형태, 높이 및 넓이 등과 같은 아이템을 포함할 수 있다. 장치는 (상기 이동 아이템들이 상기 트랜잭션들을 완료하는 장소에 인접한) 상기 2차 레인의 제2 위치에 2차 스테레오 카메라를 더 포함할 수 있다. 따라서, 상기 프로세서는, 상기 이동 아이템들이 상기 제2 위치를 지날 때, (다시, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이, 등을 포함할 수 있는) 상기 이동 아이템들의 "확정" 시그니처 프로파일을 유사하게 개발할 수 있다.
이러한 초기 및 확정 시그니처는 프로세서가 상기 합병 순서를 확정하거나 변경하는 것을 허용한다. 상세하게는, 프로세서는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 초기 시그니처 프로파일에 매칭하는 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 확정한다. 반대로, 상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하지 않는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 변경한다.
공간 제약조건을 만족하기 위하여, 몇몇 실시예에서, 스테레오 카메라는 이동 아이템 옆에 배치될 수 있고 또한 프로세서는 이동 아이템의 측면 이미지에만 기초한 거리를 산출한다. 또한, 장치를 단순화하고 비용을 절감하기 위하여, 스테레오 카메라는 고정되어, 고정된 위치에서 움직이지 않는 스테레오 카메라일 수 있다.
여기 예시된 방법들은 제1 위치를 겨냥하는 광 스테레오 카메라(또는 카메라 네트워크)를 사용하여 이미지를 획득한다. 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 포함하고, 또한 상기 1차 레인 내의 이동 아이템들은 트랜잭션들을 개시하고 상기 2차 레인 내에 있는 동안 상기 트랜잭션들을 완료한다. 이와 같은 방법들은 프로세서를 사용하여 상기 카메라로부터 상기 이동 아이템들의 거리(또는, 만일 카메라 네트워크가 사용되면, 참조 장치로부터의 거리)를 측정하며, 상기 프로세서는 상기 카메라에 작용적으로 연결되어 상기 각 이동 아이템이 상기 2차 레인으로 합병되기 전에 위치했던 상기 1차 레인의 위치를 식별한다. 따라서 방법들은 여기서, 상기 프로세서를 사용하여, 상기 제1 위치를 지나는 상기 각 이동 아이템에 대하여 시간적 깊이 프로파일을 생성함으로써 상기 카메라로부터 상기 이동 아이템들의 거리를 측정한다.
이 방법들은 다음으로, 상기 프로세서를 사용하여, 상기 이동 아이템들이 상기 1차 레인들로부터 상기 2차 레인으로 들어가는 시퀀스에 대응하는 합병 순서로 상기 트랜잭션들을 정렬한다. 좀 더 상세하게는, 이러한 방법들은 상기 이동 아이템들이 상기 제1 위치를 지날 때 상기 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 상기 이동 아이템들이 상기 2차 레인으로 들어가는 시퀀스를 결정한다. 또한 방법들은 여기서, 상기 프로세서에 작용적으로 연결되는 인터페이스를 사용하여, 상기 트랜잭션들을 상기 합병 순서에 따라 상기 트랜잭션을 완료하는 트랜잭션 장치로 출력한다.
또한, 몇몇 실시예에서, 이 방법들은 상기 이동 아이템들의 초기 시그니처 프로파일을 개발할 수 있다. 이러한 초기 시그니처 프로파일은, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 등을 포함한다. 또한 이 방법들은 유사하게, 상기 이동 아이템들의 확정 시그니처 프로파일을 개발할 수 있고, 또한 이러한 확정 시그니처 프로파일은 유사하게, 상기 이동 아이템들이 (상기 이동 아이템들이 상기 트랜잭션들을 완료하는 장소에 인접한) 상기 2차 레인의 제2 위치를 지날 때, 상기 이동 아이템의 색상, 형태, 높이 및 넓이 등을 포함한다. 따라서 이 방법들은 만일 확정 시그니처 프로파일이 초기 시그니처 프로파일에 매칭한다면, (상기 인터페이스가 상기 트랜잭션들을 상기 트랜잭션 장치로 출력하기 전에) 상기 합병 순서를 확정하고, 또는 이 방법들은 만일 확정 시그니처 프로파일이 초기 시그니처 프로파일에 매칭하지 않는다면, (상기 인터페이스가 상기 트랜잭션들을 상기 트랜잭션 장치로 출력하기 전에) 상기 합병 순서를 변경한다.
도 1은 여기의 다양한 시스템의 컴포넌트 다이어그램이다.
도 2는 여기의 방법과 시스템에 의해 생성되는 스테레오 이미지를 보여준다.
도 3은 여기의 방법과 시스템에 의해 생성되는 시그니처 프로파일을 보여주는 차트이다.
도 4는 여기의 방법과 시스템에 의해 생성되는 이미지와 시그니처 프로파일을 보여주는 차트를 보여준다.
도 5a-5d는 여기의 방법과 시스템에 의해 생성되는 이미지와 시그니처 프로파일을 보여주는 차트를 보여준다.
도 6은 여기의 장치를 보여주는 개요도이다.
도 7은 여기의 장치를 보여주는 개요도이다.
도 8은 여기의 시스템을 보여주는 개요도이다.
도 9는 여기의 장치를 보여주는 개요도이다.
도 10는 여기의 다양한 방법의 흐름도이다.
앞서 언급한 것처럼, 컴퓨터화된 시스템은, 제어된 레인이나 경로를 통해 아이템의 이동을 용이하게 하는 것과 같은, 많은 분야에서 효율성 향상에 유용하다. 이러한 분야에서, 여기의 시스템과 방법들은 차량이 합병 라인을 넘어갈 때 차량의 출발 레인을 결정하는 스테레오-비전 시스템과 방법을 제공한다.
여기의 시스템의 일 예가 도 1에 도시되어 있다. 이러한 예제 시스템은 다양한 모듈을 포함한다. 아이템(100)은 드라이브-스루 레인에 대한 합병 라인(관심 영역, ROI)과 연관되는 영역의 스테레오-페어(멀티 뷰) 비디오나 이미지를 획득하는 스테레오-비전 비디오 캡처 모듈을 포함한다. 아이템(102)은 캡처된 이미지 내의 ROI를 식별하는 ROI 선택 모듈을 나타낸다. 아이템(104)은 ROI 내의 차량의 존재를 결정하는 차량 탐지 모듈을 나타낸다. 아이템(106)은 ROI 내의 특징의 거리 또는 ROI의 깊이 맵을 결정하는 깊이 추정 모듈을 나타낸다. 아이템(108)은 거리 정보를 사용하여 합병 라인 근처 영역 내에 있는 관심 차량의 출발 레인을 결정하는 레인 결정 모듈을 나타낸다. 아이템(110)은 관심 차량의 특징을 추출하여 이를 원래의 주문 레인에서 캡처된 차량의 특징과 매칭하는 차량 식별 및 매칭 모듈을 나타낸다. 이 모듈들은 이하 좀 더 상세하게 설명된다.
스테레오-비전 비디오 캡처 모듈(100)은 적어도 두 개의 카메라, 또는 두 개의 카메라 뷰를 포함한다. 카메라의 상대적 위치는 아이템들이 카메라로부터 위치한 서로 다른 거리를 신뢰성 있게 결정하도록 충분히 다른 앵글을 제공하기 위해 측정되거나 또는 설치 시 설정된다. 여기의 방법과 시스템은 두 개의 뷰가 레인의 표면에 평형한 수평선을 따라 대략 설정되도록 카메라를 정렬함으로써 프로세싱을 단순화할 수 있다. 관심 영역의 3D 기하 배열을 포함하도록 보정이 수행된다. 시중에서 구할 수 있는 어떠한 스테레오 카메라도 여기의 시스템과 방법에서 사용될 수 있다.
도 2는 비디오 카메라로 캡처한 샘플 비디오 프레임을 보여준다. 도 2에 도시된 샘플 비디오 프레임은 서로 다른 앵글에서 동시에 획득한 동일한 관심 영역의 두 개의 뷰(120, 122)를 포함한다. 두 개의 뷰(120, 122) 간의 차이는 오직 그들이 다소 다른 앵글에서 획득되었기 때문에 발생하는데, 이는 두 개의 뷰가 동일한 장소에 있고 실질적으로 동일한 시간에 획득(실질적으로 동시에 획득)되기 때문이다.
ROI 선택 모듈(102)은 캡처된 이미지 내의 ROI를 식별한다. 합병 라인은 (이하 논의되는, 도 6과 도 7에 도시된 합병 영역(216) 같은) 실-세계 공간 내의 물리적 또는 가상의 선이다. 합병 라인 또는 합병 영역은 레인의 수가 감소하는 장소를 구별한다. ROI는 이미지 공간 내에서 보이는 것처럼 합병 라인 근처의 영역이며 이러한 용어는 상호 교환적으로 사용될 수 있다.
ROI는 셋업시 포인트나 영역의 수작업 선택에 의해 비디오 감시(surveilance) 설정에서 설정될 수 있다. 이 예에서, ROI는 도 2에 박스(128)로 도시된다. 여기의 시스템은 포인트로 들어오는 차량에 ROI를 배치함으로써, ROI가 충분히 커서 두 레인을 포함하고 신호 강건성을 확보할 수 있는 한편, ROI는 또한 충분히 작아서 계산적 효율성을 확보할 수 있다. 물리적 또는 가상의 합병 라인 및 대응하는 이미지 ROI는 트래픽 흐름 내의 다운스트림과는 충분히 멀리 위치함으로써 감지된 어떠한 차량도 합병 자원을 점유할 다음 차량이 되며, 한편 트래픽 흐름 내의 업스트림과도 충분히 멀리 있어서 합병하는 차량의 출발 레인을 유일하게 결정할 수 있다. ROI의 위치를 파악하는 일 대안은, 페인팅 라인, 반사물, 또는 포스트 같은, 실-세계 공간 내의 알려진 표지(marker)의 자동 탐지를 사용한다.
다른 실시예에서, ROI는 현재 프레임에 대해 탐지된 모든 차량을 포함하는데, 이에 따라서 프레임에서 프레임으로 위치를 변경할 수 있다. 이러한 접근방법의 이점은 모든 탐지된 차량의 픽셀을 거리 추정 및 레인 결정 모듈을 위해 활용할 하는 것이다. 그러나, 차량 탐지로부터의 잡음(예를 들면, 모션 탐지 방법을 통해 이동 차량의 부분으로서 오인될 수 있는 그림자 픽셀)은 그러한 대안에서 제어되어야 한다.
앞서 언급한 것처럼, 차량 탐지 모듈(104)은 ROI 내의 차량의 존재를 결정한다. 차량 탐지 모듈(104)은, 일반적으로, 특징이나 액티비티 탐지기이다. 그것은 거리 추정을 위해 차량의 존재(또는 특징)를 결정한다. 차량 탐지는 다양한 방법을 수행될 수 있다.
일 실시예에서, 차량 탐지는 형태학적 필터링 및 크기 임계값으로 이어지는 모션 탐지(예를 들면, 프레임-투-프레임 차이, 광 플로우, 등)를 통해 수행된다. 이러한 접근 방법들은 계산적인 이점을 가지며, 실-시간 구현에 매우 적합할 수 있다. 그러나 그러한 접근 방법들은 픽셀 내에 (카메라 앞의 작은 오브젝트나 멀리 있는 큰 오브젝트일 수 있는) 차량의 크기 정도 되는 이동 오브젝트가 보일 때 불리해진다. 이는 흔치 않으며 또한 스테레오 카메라의 작동 깊이 범위를 제한함으로써 그리고 비전-기반의 오브젝트 인식 방법의 유효한 사용에 의해 실제로 쉽게 해결된다.
다른 예에서, 비전-기반의 오브젝트 인식 방법들은 프레임-투-프레임으로 적용될 수 있다. 이는 강건한 차량 탐지를 제공하지만 훨씬 더 높은 계산 비용을 요구하며, 실시간 구현 속도를 만족하기 어렵다. 또 다른 예는 차량 탐지를 위한 모션 탐지, 오브젝트 인식 및 트랙킹 방법의 혼합이다. 이 경우에 모션 탐지의 1차 발견은 오브젝트 탐지를 촉발할 것이다. 만인 차량 인식이 확인되면, 오브젝트 트랙킹은 오브젝트가 장면을 떠날 때까지 미래 프레임을 위해 사용된다. 만일 차량 인식이 확인되지 않으면, 모션 탐지는 다음 프레임을 위해 계속되고 프로세스가 반복된다.
깊이 추정 방법(106)과 관련하여, (스테레오 비전을 위한) 적어도 두 카메라의 상대 위치와 카메라 보정 파라미터에 대한 사전 지식이 주어지면, 깊이 추정 모듈(106)은 관련성 매치와 차이(disparity) 보정으로 축소된다. 따라서, 상술한 카메라 정보는 표준 카메라 보정 절차를 통해 수집되고 만일 카메라가 고정되어 있다면 상수로 남는다. 수평으로 정렬되고 해당 카메라 고유의 파라미터를 보유한 고정된 베이스라인을 갖는 단순화된 스테레오 카메라에 대하여, 깊이d는
Figure 112014083839224-pat00001
로 계산되며, 여기서 f는 초점 길이이고, t는 베이스라인이고, △j는 픽셀 유닛 내의 차이이다. 차이는 관찰된 특징의 픽셀 컬럼 위치의 차이이다.
차이와 거리 간의 관계의 예는 도 2의 두 개의 다른 프레임(120, 122) 내에 도시된 두 차량의 앞 바퀴에서 볼 수 있다. 자동차(124)의 앞 바퀴는 SUV(126)의 앞 바퀴보다 스테레오 페어(120, 122) 내에 훨씬 더 큰 차이를 갖는다. 따라서, 여기의 시스템과 방법들은 SUV(126)가 자동차(124)보다 센서로부터 더 멀리 있다고 결론내린다.
몇몇 예에서, 깊이 추정 모듈(106)은 조밀하거나 희박한 깊이 맵을 사용하여 레인 결정 모듈(108)로 입력을 제공한다. 조밀한 깊이 맵을 계산할 때, 여기의 시스템과 방법들은 스테레오 페어(120, 122) 내의 모든 오버랩하는(대응하는) 픽셀에 대한 깊이를 측정한다. 일 예에서, 이것은 스테레오 페어(120, 122) 내의 대응하는 포인트들을 발견하는 단계와, 이러한 포인트들에 대하여, 차이와 이에 따른 깊이를 계산하는 단계와, 관련성(correspondence)이 직접적으로 발견되지 않는(적어도 강건하게 발견되지 않는) 픽셀의 깊이를 보간하는 단계를 포함한다. 이러한 예(수평적인 차이)에서 사용되는 단순화된 스테레오 카메라에 대하여, 관련성 매치는 페어 중에서 픽셀의 동일한 행(row)에서 발생하고, 이에 따라 검색은 훨씬 더 빠르고 좀 더 강건하다.
많은 스테레오 카메라 제조자에 대해, 조밀한 깊이 맵을 계산하는 툴은 종종 카메라와 함께 제공된다. 그러나, 한정된 ROI와 주로 수평의 차이를 갖는, 이러한 특정 예에서, 계산 부담을 경감하는 유일한 조밀한 깊이 맵을 구현하는 것이 유리할 수 있다. 따라서, 여기의 시스템과 방법들은, 종래의 조밀한 깊이 맵을 사용하는 대신, 여기서 희박한 깊이 맵으로 지칭되는 것을 계산한다.
여기의 시스템과 방법에 의해 수행되는 희박한 깊이 맵 계산은 (모든 데이터/픽셀 포인트보다 적은) 감소한 숫자의 주요 관심 포인트에 대한 깊이를 발견한다. 깊이(차이) 계산은 조밀한 깊이 맵 미분과 유사하지만, 해리스 코너, 스케일 불변 특징 변환(Scale invariant feature transform, SIFT) 관심 포인트, 가속된 강건한 특징(speeded up robust features, SURF) 관심 포인트, 등과 같은, 이미지 특징에 국한된다. 이는 조밀한 깊이 맵을 도출하는 것보다 훨씬 더 계산적으로 효율적인데, 왜냐하면 조밀한 맵 구성의 많은 개발은 근접 텍스처-더 적은 영역(near texture-less regions)(비-관심 포인트를 갖는 것들)에 대한 적절한 거리 추정을 발견하는 문제를 해결하는 것에 집중하기 때문이다.
희박한 깊이 맵 계산에서, 유일하게 필요한 것은, 차량에 대한 충분한 거리 정보가 이동 아이템을 다른 것으로부터 유일하게 구별하기 위해 취합될 수 있을 정도로, ROI 내의 충분한 수의 데이터 포인트이다. 결과적으로, 이러한 포인트들은 희박한 관련성(correspondence)을 발견하기 위해 전형적으로 사용되는 관심 포인트일 수 있다. 이동 아이템은 모서리들을 갖기 때문에, 이러한 목적을 위해 ROI 내에 충분한 포인트가 있다고 기대하는 것은 타당하다. 그러나, 만일 희박한 깊이 맵이 선택되면, 도 2에 도시된 고정된 ROI(128)보다 차라리 모든 탐지된 차량의 픽셀을 포함하는 ROI를 사용하는 것이 때로는 이로울 수 있다.
레인 결정 모듈(108)은 합병 레인에 들어가기 전에 관심 차량의 출발 레인을 결정한다. 출발 레인은 센서까지의 관심 차량의 측면의 거리(즉, 탐지된 차량의 거리)를 파악하고, 다른 레인의 카메라로부터의 상대적 거리에 그것을 매칭함으로써 결정된다.
고정된 ROI(128)의 경우에, 이러한 시스템과 방법들은 여기서 연속되는(running) 시간적 깊이 프로파일을 저장하고 이 깊이 프로파일을 시간에 따라 관찰하고 깊이 프로파일을 일련의 임계값과 비교함으로써 레인 정보를 결정한다. 깊이 프로파일은 하나 이상의 포인트로부터 취해질 수 있고, 강건한 솔루션은 중간값(median) 필터를 탐지된 차량의 복수의 관심 포인트의 깊이에 적용함으로써 프로파일을 생성한다. 여기의 시스템과 방법에 의해 생성되는 중간값-필터링된 깊이 프로파일의 예가 도 3에 도시된다. 레인 정보(레인 1 대 레인 2)는 프로파일(130) 내에 서로 다른 단계로서 명백하게 도시된다.
동적 ROI를 사용할 때, 모든 탐지된 차량 픽셀의 깊이는 여기의 시스템과 방법에 의해 계산된다. 레인 결정 모듈(108)은 차량의 결과 깊이(예를 들면, ROI 내의 차량 픽셀 깊이의 중간값)를 계산한다. 선도 차량의 거리(원천 레인)는, 만일 차량이 프레임 내의 오른쪽에서 왼쪽으로 이동한다면, 차량 자취(blobs)의 맨 왼쪽 픽셀의 깊이에 기초한다. 앞서 논의한 것처럼, 동적 ROI의 계산은 거리 추정 및 다른 요소의 맥락에서 계산적으로 좀더 비싼데, 왜냐하면 이러한 ROI는 프레임마다 변경되고 전형적으로 고정된 ROI 접근 방법보다 더 크기 때문이다. 또한 동적 ROI는, 만일 모션 탐지가 차량 탐지에 사용되면, 그림자 및 기타 불필요한 탐지 모션에 의해 유발되는 잡음에 민감할 수 있다.
합병 레인에 접근하는 차량에 대한 레인 정보의 시간적 뷰는, 앞서 보여준 것처럼, 대개 올바른 차량 순서를 유지하기에 충분하다. 그러나, 특정 잡음이나 고객 행동(끼어들기, 보행자, 차를 몰고 가버리기 등)으로 인해 발생할 잠재적인 이슈가 있다. 이러한 목적으로, 차량 식별 및 매칭 모듈(110)은 합병 장소에서 색상, 모양, 높이, 넓이와 같은 초기 이미지 특징을 수집할 수 있으며, 주문 완료 지역(예를 들면, 주문 픽업 윈도우) 근처에 위치한 2차 카메라를 이용하여 획득한 이러한 이미지 특징과 비교할 수 있다.
도 4 - 5(d)는 여기의 시스템과 방법의 특징과 동작을 더 강조하는 예를 보여준다. 도 4는 차량 탐지 모듈(104)이 차량이 존재한다고 선언한 최초 프레임까지 비디오를 분석한 결과를 보여준다. 좀 더 상세하게, 도 4의 좌측 두 이미지(140, 142)는 스테레오 카메라에 의해 확득한 스테레오-페어이다. 다시, 박스(128)는 미리-정의된 ROI를 나타낸다.
차량 탐지 모듈(104)은 맨 왼쪽 이미지(140)의 전체 프레임에 대하여 형태학적 필터링과 크기 임계값으로 이어지는 모션 탐지를 수행한다. 그러나, 박스(128) 내의 탐지된 모션 픽셀만이 추가적인 프로세싱을 요구한다. 본 구현에서, 모션 탐지를 위한 프레임-투-프레임 차이와 광 플로우의 콤비네이션이 단순화와 계산적인 유리함을 위하여 사용된다.
3차 이미지(144)는 깊이 추정 모듈(106)이 스테레오-페어를 분석할 때 생성된 결과인 조밀한 깊이 맵이다. 몇몇 예에서, 깊이 추정 모듈(106)은 전체 프레임과 모든 프레임에 대한 조밀한 깊이 맵을 계산한다. 다른 예에서, 깊이 추정 모듈(106)은 ROI 내의 그리고 ROI 내에서 감지된 N(예를 들면, N = 100) 모션 픽셀보다 더 많이 포함하는 프레임에 대해 깊이 맵을 계산할 뿐이다. 이것은 깊이 추정 모듈(106)에 대한 계산을 상당히 감소시킨다.
만일 탐지된 모션 픽셀의 수가 N보다 작거나 같다면, 차량 탐지 모듈(104)은 어떤 탐지된 관심 차량도 ROI의 뷰 내에 없다고 결론을 내린다. 이 경우에, 현재 프레임에 대한 시간적인 깊이 데이터가 스테레오 카메라에 의해, 본 예에서 허용되는 가장 큰 깊이 필드인, 최대 관심 영역 깊이로 설정된다.
만일 ROI의 뷰 내에 탐지된 관심 차량이 있다면, ROI 내의 탐지된 모션 픽셀의 결과인 깊이의 중간값은 깊이 추정 모듈(106)에 의해 시간적 깊이 데이터로서 저장된다. 이러한 연속되는 시간적 깊이 데이터는 관심 시간 기간에 걸쳐서 관심 차량의 카메라까지의 거리를 나타내며, 여기서 "시간적 깊이 데이터" 맵, 프로파일 또는 그래프로 지칭되는 아이템(146) 내에 그래픽으로 도시된다. 이와 같이 러닝 시간적 깊이 데이터는, 예를 들면, 7.5 fps 비디오에 대해 2초 지연으로 번역하는, 15-탭 중간값 필터에 의해 추가로 필터링될 수 있다.
도 4의 가장 우측 아이템(146)은, 합병 영역에 접근하는 잠재적인 차량의 거리를 나타내는, 현재 프레임까지의 결과적인 시간적 깊이 데이터이다. 신속한 응답을 위하여, 레인 결정 모듈(108)은 현재 프레임의 깊이 데이터에 기초하여 레인 정보를 결정할 수 있다. 대안으로, 깊이 추정 모듈(106)은 가장 최근의 M 데이터 포인트(예를 들면, M = 10)를 사용하여 좀더 강건한 결정을 산출할 수 있다. 강건성은 차량 속도를 통합함으로써 더 향상될 수 있고 전형적인 차량의 기대 길이는 동적으로 선택된 M일 수 있다.
레인 결정의 일 실시예에서, 만일 모든 M 깊이 데이터가 10과 20 ft 사이에 있다면, 차량은 먼 레인(레인 2)에 있다. 만일 데이터가 모두 0과 10 ft 사이에 있다면, 차량은 가까운 레인(레인 1)에 있다. 한편, 어떠한 차량도 없다면, 이것은 0으로 기재된다. 레인 정보치(0, 1 또는 2)의 스위치는 차량의 시작이나 종료를 지시한다. 이러한 접근 방법에서 발생하는 이슈는 두 대의 연속하는 차량이 동일한 레인에 매우 작은 간격으로 있을 때인데, 그러나 그러한 이슈는 더 높은 비디오 획득율을 사용함으로써 해결될 수 있다. 예를 들면, 30 fps 비디오를 사용하여, 레인 결정 모듈(108)은 20 mph의 차량 이동에 대한 1 ft 갭을 해결할 수 있다.
도 5c - 5d는 도 4에 도시된 프로세싱에 따라 분석된 4개 테스트 비디오 스테레오 프레임 시리즈의 최종 결과(즉, 최종 스테레오-페어 프레임까지)를 보여준다. 최종 스테레오 페어는 도 5a - 5d의 아이템(150, 152, 160, 162; 170, 172; 및 180, 182)으로 표현된다. 생성된 조밀한 깊이 맵은 도 5a - 5d의 아이템(154, 164, 174, 184)으로 표현되고, 차트로 표현된 시간적 깊이 데이터가 도 5a - 5d의 아이템(156, 166, 176, 186)으로 도시된다.
차량이 합병 레인으로 들어오는 순서의 "결과"는, 예를 들면 레인 1이 최초로 들어오는(시간적 깊이 데이터 맵(156) 내에서 더 높은 단계로 이어지는 더 낮은 단계) 도 5a 내의, 시간적 깊이 데이터 맵(156) 내의 단계를 관찰하면 볼 수 있다. 반대로, 예를 들면, 도 5d 내의, 시간적 깊이 데이터 맵(186) 내에, 레인 2가 최초로 들어온다(시간적 깊이 데이터 맵(186) 내에서 더 낮은 단계로 이어지는 더 높은 단계). 도 4와 도 5a - 5d에서, 0이 아닌 레인 상태가 현재 프레임에서 탐지되면, 예를 들면, 맨 왼쪽 이미지의 좌측 상단 코너에, 식별된 레인 정보가 디스플레이될 수 있다(그리고 레인 1은 빨강 색, 레인 2는 파랑 색을 갖는 색상 코드일 수 있다), 이러한 방법으로부터의 결과는, 분석된 모든 4 개의 테스트 비디오 시퀀스에 대하여, 차량이 합병 레인으로 들어오는 실제 순서와 일치한다.
위에서 논의된 모든 이미지의 시리즈는 움직이는 차량에 대한 ROI 내의 레인 결정을 위해서만 거리 정보가 사용된다는 것을 보여준다.
도 6은, 예를 들면, 드라이브-스루 주문 시스템, 또는 이동 아이템(사람들, 재고품, 대용량 재료, 등)이 있는 다른 시스템의 일부일 수 있는 합병 레인(200, 202, 204)의 탑-다운 뷰이다. 아이템(210, 212, 214)은 프로세싱이 개시되는 장치를 보여주며 또한, 예를 들면, 주문이 발생하고 잠재적으로 지불되는 주문 배치 스테이션을 포함할 수 있다. 아이템(230)은 합병 영역(216)(본 예에서, ROI)을 겨냥한 스테레오 카메라(230)를 나타낸다. 카메라 네트워크의 복수의 카메라(또는 스테레오 카메라의 이미징 장치)는 제1 위치(216)에 고정되고 오버랩하는 뷰 필드를 갖는다. 이중 점선은 여기서 스테레오 카메라들의 별도의 카메라 뷰를 나타낸다. 아이템(240)은, 중앙 처리 유닛(CPU), 또는 다른 유형의 프로세서와 같은, 컴퓨터화된 장치이다. 앞서 언급된, 아이템(240)은 도 1에 도시된 많은 아이템을 포함할 수 있다.
아이템(232)은 합병 레인(206) 내의 이동 아이템의 순서를 확인하도록 사용될 수 있는 다른 스테레오 카메라를 나타낸다. 좀 더 상세하게는, 스테레오 카메라(232)는, 아이템들이 수행중인 프로세싱이나 트랜잭션의 다음 단계가 부분적으로 또는 완전히 완료되는 스테이션(아이템(220))에 도달하기 전에, 합병 레인(206) 내의 상기 이동 아이템들의 이미지를 기록하도록 배치된다. 따라서, 아이템(220)은 스테이션(210, 212 또는 214)에 배치되는 주문이 픽업되고 지불될 수 있는 스테이션을 포함할 수 있다.
도 7은 도 6과 유사하지만, 2차 합병 레인(208)을 사용하는 2차 트랜잭션 완료 스테이션(222)을 포함한다. 여기서, 선택적인 확인 스테레오 카메라(234)가 레인(208)으로 합병하는 이동 아이템을 확인하기 위해 사용될 수 있다.
따라서, 여기서 예제 시스템은, 제1 위치(216)를 겨냥하는 광 스테레오 카메라(230)(복수의 이미징 유닛을 갖는 카메라(230)나 카메라들)와 같은 카메라를 포함할 수 있다. 제1 위치(216)는, 예를 들면, 싱글 2차 레인(206) 같은, 감소한 수의 2차 레인으로 합병되는 복수의 병렬 1차 레인(200, 202, 204)을 갖는 수평면을 포함한다. 예를 들면, 스테레오 카메라(230)는, 레인(200, 202, 204)의 수평 표면에 거의 평행하게, 수평 평면에 서로 관련되어 배치된 카메라를 갖는다. 1차 레인(200, 202, 204) 내의 이동 아이템들(예를 들면, 차량, 상품, 사람들, 차량 내의 사람들과 같은 여타 유형의 아이템들)은 트랜잭션을 개시하고, 2차 레인(206)에 있는 동안 트랜잭션을 완료한다.
프로세서(240)는 작용적으로 스테레오 카메라(230)에 연결된다. 프로세서(240)는, 이동 아이템이 스테레오 카메라(230)로부터 수평방향으로 멀어지는 거리를, 스테레오 카메라(230)의 복수의 카메라에 의해 획득되는 이동 아이템의 이미지들 간의 차이에 기초하여, 측정한다. 좀더 상세하게는, 프로세서(240)는, 앞서 논의한 것처럼, 이동 아이템이 제1 위치(216)를 지날 때 이동 아이템들의 상대 위치와 상대 거리를 탐지함으로써, 이동 아이템들이 2차 레인(206)으로 들어가는 시퀀스를 결정한다. 프로세서(240)는, 이동 아이템의 적어도 한 부분이 제1 위치 내에 있을 때, 제1 위치(216)를 지나는 각 이동 아이템에 대한 시간적 깊이 맵 또는 프로파일을 생성함으로써, 스테레오 카메라(230)로부터 이동 아이템의 거리를 계산한다.
이것은 각 이동 아이템이 2차 레인(206)으로 합병되기 전에 위치했던 1차 레인(200, 202, 204)을 식별하고, 또한 프로세서(240)가 "합병 순서"로 트랜잭션을 정렬하도록 허용한다. 합병 순서는 이동 아이템들이 1차 레인(200, 202, 204)으로부터 2차 레인(206)으로 들어가는 시퀀스에 대응한다. 아이템(240)의 인터페이스는 프로세서(240)에 작용적으로 연결되고, 또한 인터페이스는 트랜잭션을 완료하는 트랜잭션 장치(220)로 (합병 순서에 따라) 트랜잭션을 출력한다.
추가로, 프로세서(240)는 이동 아이템이 제1 위치(216)를 지날 때, 이동 아이템의 "초기" 시그니처 프로파일을 개발할 수 있다. 그러한 초기 시그니처 프로파일은 이동 아이템들의 색상, 형태, 높이, 넓이 등과 같은 아이템을 포함할 수 있다. 장치는 (이동 아이템이 트랜잭션을 완료하는 곳에 인접한) 2차 레인(206)의 제2 위치에 2차 스테레오 카메라(230)를 더 포함할 수 있다. 따라서, 프로세서(240)는 유사하게, 이동 아이템이 제2 위치(206)를 지날 때, 이동 아이템의 "확정" 시그니처 프로파일(이는, 다시 이동 아이템들의 색상, 형태, 높이, 넓이 등과 같은 아이템을 포함할 수 있다)을 개발할 수 있다. 또한, 초기 시그니처 프로파일은 앞서 언급된 시간적 깊이 데이터 차트의 패턴에 기초할 수 있으며, 확정 프로파일은 (비록 그들이 잠재적으로 확정 스테레오 카메라(232)에 좀더 가까워지기 때문에 강도의 레벨이 다르지만) 그러한 시간적 깊이 데이터 차트의 패턴에 매치할 수 있다.
이러한 초기 및 확정 시그니처 프로파일은 프로세서(240)가 합병 순서를 확정하거나 변경하는 것을 허용한다. 자세하게는, 프로세서(240)는, 초기 시그니처 프로파일에 매칭하는 확정 시그니처 프로파일에 기초하여, 인터페이스가 트랜잭션을 트랜잭션 장치(220)로 출력하기 전에 합병 순서를 확정한다. 반대로, 프로세서(240)는, 만일 확정 시그니처 프로파일이 초기 시그니처 프로파일에 매칭하지 않는다면, 인터페이스가 트랜잭션을 트랜잭션 장치로 출력하기 전에 합병 순서를 변경한다(확정 시그니처 프로파일의 시퀀스에 의해 지시되는 순서로 순서를 변경한다).
공간 제약조건을 만족하기 위하여, 몇몇 상황에서, (예를 들면, 도 2에 도시된 것처럼) 스테레오 카메라(230)는 이동 아이템 옆에 위치할 수 있으며, 프로세서(240)는 이동 아이템의 측면 이미지에만 기초하여 거리를 측정한다. 또한, 장치를 단순화하고 비용을 절감하기 위하여, 스테레오 카메라(230)는 정지되고, 고정된 위치에서 움직이지 않는 카메라(230)일 수 있다.
도 8에 도시된 것처럼, 여기의 예제 시스템과 방법들은 다양한 다른 물리적 위치(256)에 위치하는 다양한 컴퓨터화된 장치(240, 254)를 포함한다. 컴퓨터화된 장치(240, 254)는 출력 서버, 출력 장치, 개인용 컴퓨터 등을 포함할 수 있고, 또한 로컬 또는 광 대역(무선이나 유선의) 네트워크(252)의 방식으로 (서로 작용적으로 연결되어) 통신한다. 따라서, 프로세싱은 스테레오 카메라의 위치에서 지역적으로 수행될 필요는 없고, 네트워크(252)를 통해 스테레오 카메라(들)에 연결된 중앙 처리 시스템을 사용하여 수행될 수 있다.
도 9는 여기의 시스템 및 방법에 의해 이용될 수 있는 컴퓨터화된 장치(240)의 예시적 구성을 보여주는데, 이는, 예를 들면, 서버, 개인용 컴퓨터, 휴대용 컴퓨팅 장치, 등을 포함할 수 있다. 컴퓨터화된 장치(240)는 컨트롤러/프로세서(264)와 프로세서(264)에 그리고 컴퓨터화된 장치(1620 외부의 컴퓨터화된 네트워크(252)에 작용적으로 연결되는 통신 포트(입력/출력)(270)를 포함한다. 또한, 컴퓨터화된 장치(240)는, 그래픽 사용자 인터페이스 어셈블리(266), 카메라(272), 등과 같은 적어도 하나의 액세서리 기능 컴포넌트를 포함할 수 있는데, 이들은 (전력 공급기(262)를 통해) 외부의 전력 소스(268)로부터 공급되는 전력으로 동작한다.
입력/출력 장치(270)는 컴퓨터화된 장치(240)와의 통신을 위해 사용된다. 프로세서(264)는 컴퓨터화된 장치의 다양한 행위를 제어한다. 비-일시적 컴퓨터 저장 매체 장치(260)(광, 마그네틱, 커패시터 기반일 수 있는)는 프로세서(264)에 의해 판독가능하고 또한 컴퓨터화된 장치가 여기 설명된 다양한 기능을 수행하는 것을 허용하도록 프로세서(264)가 실행하는 명령을 저장한다. 전력 공급기(222)는 전력 저장 구성요소(예를 들면, 배터리, 등)를 포함할 수 있다.
도 10은 여기의 예제 방법을 보여주는 흐름도이다. 아이템(300)에서, 방법들은 제1 위치를 겨냥하는 광 스테레오 카메라나 카메라 네트워크를 사용하여(예를 들면, 합병 영역(216)을 겨냥하는 1차 스테레오 카메라(230)를 사용하여) 이미지를 입수한다. 여기서 장치는 복수의 이미징 유닛을 갖는 싱글 스테레오 카메라나 복수의 카메라를 갖는 카메라 네트워크를 사용할 수 있다. 카메라 네트워크의 복수의 카메라(또는 스테레오 카메라의 이미징 장치)는 고정되고 제1 위치(216)를 오버랩하는 퓨 필드를 갖는다. 다시, 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인을 포함하고, 1차 레인 내의 이동 아이템들은 트랜잭션을 개시하고 2차 레인에서 트랜잭션을 완료한다.
아이템(302)에서, 이 방법들은, 카메라에 작용적으로 연결되는 프로세서를 이용하여 카메라로부터 이동 아이템의 거리(또는 만일 카메라 네트워크가 사용된다면, 참조 카메라로부터의 거리)를 산출하고 각 이동 아이템이 2차 레인으로 합병하기 전에 위치했던 1차 레인을 식별한다. 여기서 방법들은, 프로세서를 사용하여, 카메라로부터 이동 아이템들의 거리를 산출하여 제1 위치를 지나는 각 이동 아이템에 대한 시간적 깊이 프로파일(아이템(304)에 도시된)을 생성한다.
또한, 몇몇 예에서, 이러한 방법들은 아이템(306)에서 이동 아이템들의 초기 시그니처 프로파일을 개발할 수 있다. 이러한 초기 시그니처 프로파일은 (아이템(300)에서 입수된 이미지를 사용하여) 이동 아이템이 제1 위치를 지날 때 이동 아이템의 색상, 모양, 높이, 넓이, 등을 포함한다.
아이템(308)에서, 방법들은, 프로세서를 사용하여, 이동 아이템이 1차 레인으로부터 2차 레인으로 들어가는 시퀀스에 대응하는 합병 순서로 트랜잭션을 정렬한다. 좀 더 상세하게, 방법들은, (아이템(300)에서 획득한 이미지를 사용하여) 이동 아이템들이 제1 위치를 지날 때 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 이동 아이템이 2차 레인으로 들어갔던 시퀀스를 결정한다.
또한, 이 방법들은 유사하게, 아이템(310)으로 도시된 것처럼, (이동 아이템이 트랜잭션을 완료하는 곳에 인접한) 2차 레인의 제 2 위치를 겨냥하는 2차 카메라를 사용하여 추가적인 이미지를 획득할 수 있다. 따라서, 주문 완료 레인(206)을 겨냥하는 2차 카메라(232)는 이와 같은 추가적인 이미지를 입수하도록 사용될 수 있다. 이러한 추가적인 이미지는 아이템(312)에서 이동 아이템들의 확정 시그니처 프로파일을 생성하도록 사용된다. 이러한 확정 시그니처 프로파일은 유사하게, 이동 아이템들이 (이동 아이템들이 트랜잭션을 완료하는 곳에 인접한) 2차 레인의 제 2 위치를 지나갈 때, 이동 아이템의 색상, 모양, 높이, 넓이, 등을 포함한다.
따라서, 아이템(314)에서, 이 방법들은, 만일 확정 시그니처 프로파일이 초기 시그니처 프로파일에 매칭한다면, (인터페이스가 트랜잭션을 트랜잭션 장치로 출력하기 전에) 합병 순서를 확정하거나, 또는 이 방법들은, 만일 확정 시그니처 프로파일이 초기 시그니처 프로파일에 매칭하지 않는다면, (인터페이스가 트랜잭션을 트랜잭션 장치로 출력하기 전에) 합병 순서를 변경한다. 좀더 상세하게는, 아이템(314)은 확정 시그니처 프로파일의 시퀀스에 매칭하는 순서로 트랜잭션 순서를 변경한다. 다음으로, 아이템(316)에서, 여기서의 방법들은, 프로세서에 작용적으로 연결되는 인터페이스를 사용하여, 트랜잭션을 완료하는 트랜잭션 장치로 트랜잭션을 합병 순서에 따라 출력한다.

Claims (24)

  1. 제1 위치를 겨냥한 적어도 두 개의 이미징 장치들을 포함하는 카메라 네트워크로서, 상기 이미징 장치들은 고정되고, 상기 제1 위치를 오버랩하고, 상기 제1 위치의 스테레오 뷰를 제공하기 위해 상이한 각도들로부터 상기 제1 위치의 이미지들을 획득하도록 배치되는 관측 시야들을 가지며, 상기 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 포함하고, 상기 1차 레인들 내의 이동 아이템들은 상기 1차 레인들 내에 있는 동안 트랜잭션들을 개시하고 상기 2차 레인에 있는 동안 상기 트랜잭션들을 완료하는, 상기 카메라 네트워크;
    상기 카메라 네트워크에 작동적으로(operatively) 연결되는 프로세서로서, 상기 1차 레인들 중에, 상기 각 이동 아이템이 상기 2차 레인으로 합병되기 전에 위치했던 1차 레인을 식별하기 위해 상기 상이한 각도들로부터 획득되는 상기 각 이동 아이템의 상기 이미지들 간의 차이들에 기초하여 상기 카메라 네트워크로부터 상기 이동 아이템들의 거리들을 계산하고, 상기 프로세서는 상기 이동 아이템들이 상기 1차 레인들로부터 상기 2차 레인으로 들어간 시퀀스(sequence)에 대응하는 합병 순서로 상기 트랜잭션들을 정렬함으로써 트랜잭션 순서를 변경하는, 상기 프로세서; 및
    상기 프로세서에 작동적으로 연결되는 인터페이스로서, 상기 합병 순서로 상기 트랜잭션들을 출력하는, 상기 인터페이스를 포함하는, 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 상기 이동 아이템들이 상기 2차 레인으로 들어간 상기 시퀀스를 결정하는, 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 제1 위치를 지나는 상기 각 이동 아이템에 대하여 시간적 깊이 프로파일들을 생성함으로써 상기 카메라 네트워크 내의 상기 이미징 장치들의 참조 장치로부터 상기 이동 아이템들의 상기 거리들을 계산하는, 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 적어도 하나를 포함하는 상기 이동 아이템들의 초기 시그니처(signature) 프로파일을 생성하고,
    상기 장치는 상기 이동 아이템들이 상기 트랜잭션들을 완료하는 장소에 인접한 상기 2차 레인의 제2 위치에서 제2 카메라를 더 포함하고,
    상기 프로세서는, 상기 이동 아이템들이 상기 제2 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 상기 적어도 하나를 포함하는 상기 이동 아이템들의 확정 시그니처 프로파일을 생성하고,
    상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 확정하고,
    상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하지 않는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 변경하는, 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들의 적어도 한 부분이 상기 제1 위치 내에 있을 때, 상기 거리들을 계산하는, 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는 움직임 탐지와 비전-기반의 오브젝트 인식 중 적어도 하나에 기초하여 상기 제1 위치 내의 상기 아이템들의 존재를 탐지하는, 장치.
  7. 제1 위치를 겨냥한 복수의 카메라들을 포함하는 광 스테레오 카메라로서, 상기 복수의 카메라들은 고정되고, 상기 제1 위치를 오버랩하고, 상기 제1 위치의 스테레오 뷰를 제공하기 위해 상이한 각도들로부터 상기 제1 위치의 이미지들을 획득하도록 배치되는 관측 시야들을 가지며, 상기 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 포함하고, 상기 1차 레인들 내의 이동 아이템들은 상기 1차 레인들 내에 있는 동안 트랜잭션들을 개시하고 상기 2차 레인에 있는 동안 상기 트랜잭션들을 완료하는, 상기 광 스테레오 카메라;
    상기 스테레오 카메라에 작동적으로 연결되는 프로세서로서, 상기 1차 레인들 중에, 상기 각 이동 아이템이 상기 2차 레인으로 합병되기 전에 위치했던 1차 레인을 식별하기 위해 상기 상이한 각도들로부터 상기 복수의 카메라들에 의해 획득되는 상기 각 이동 아이템의 이미지들 간의 차이들에 기초하여 상기 스테레오 카메라로부터 상기 이동 아이템들의 거리들을 계산하고, 상기 프로세서는 상기 이동 아이템들이 상기 1차 레인들로부터 상기 2차 레인으로 들어간 시퀀스에 대응하는 합병 순서로 상기 트랜잭션들을 정렬함으로써 트랜잭션 순서를 변경하는, 상기 프로세서; 및
    상기 프로세서에 작동적으로 연결되는 인터페이스로서, 상기 합병 순서로 상기 트랜잭션들을 출력하는, 상기 인터페이스를 포함하는, 장치.
  8. 제 7 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 상기 이동 아이템들이 상기 2차 레인으로 들어간 상기 시퀀스를 결정하는, 장치.
  9. 제 7 항에 있어서,
    상기 프로세서는 상기 제1 위치를 지나는 상기 각 이동 아이템에 대하여 시간적 깊이 프로파일들을 생성함으로써 상기 스테레오 카메라로부터 상기 이동 아이템들의 상기 거리들을 계산하는, 장치.
  10. 제 7 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 적어도 하나를 포함하는 상기 이동 아이템들의 초기 시그니처 프로파일을 생성하고,
    상기 장치는 상기 이동 아이템들이 상기 트랜잭션들을 완료하는 장소에 인접한 상기 2차 레인의 제2 위치에서 제2 스테레오 카메라를 더 포함하고,
    상기 프로세서는, 상기 이동 아이템들이 상기 제2 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 상기 적어도 하나를 포함하는 상기 이동 아이템들의 확정 시그니처 프로파일을 생성하고,
    상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 확정하고,
    상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하지 않는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 변경하는, 장치.
  11. 제 7 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들의 적어도 한 부분이 상기 제1 위치 내에 있을 때, 상기 거리들을 계산하는, 장치.
  12. 제 7 항에 있어서,
    상기 프로세서는 움직임 탐지와 비전-기반의 오브젝트 인식 중 적어도 하나에 기초하여 상기 제1 위치 내의 상기 아이템들의 존재를 탐지하는, 장치.
  13. 제1 위치를 겨냥한 복수의 카메라들을 포함하는 광 스테레오 카메라로서, 상기 복수의 카메라들은 고정되고, 상기 제1 위치를 오버랩하고 상기 제1 위치의 스테레오 뷰를 제공하기 위해 상이한 각도들로부터 상기 제1 위치의 이미지들을 획득하도록 배치되는 관측 시야들을 가지며, 상기 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 갖는 수평 표면을 포함하고, 상기 스테레오 카메라는 상기 수평 표면에 평행한 수평 방향으로 겨냥되고, 상기 1차 레인들 내의 이동 아이템들은 상기 1차 레인들 내에 있는 동안 트랜잭션들을 개시하고 상기 2차 레인들에 있는 동안 상기 트랜잭션들을 완료하는, 상기 광 스테레오 카메라;
    상기 스테레오 카메라에 작동적으로 연결되는 프로세서로서, 상기 1차 레인들 중에, 상기 각 이동 아이템이 상기 2차 레인으로 합병되기 전에 위치했던 1차 레인을 식별하기 위해 상기 상이한 각도들로부터 상기 복수의 카메라들에 의해 획득되는 상기 각 이동 아이템의 이미지들 간의 차이들에 기초하여 상기 수평 방향으로 상기 스테레오 카메라로부터 상기 이동 아이템들의 거리들을 계산하고, 상기 프로세서는 상기 이동 아이템들이 상기 1차 레인들로부터 상기 2차 레인으로 들어간 시퀀스에 대응하는 합병 순서로 상기 트랜잭션들을 정렬함으로써 트랜잭션 순서를 변경하는, 상기 프로세서; 및
    상기 프로세서에 작동적으로 연결되는 인터페이스로서, 상기 합병 순서로 상기 트랜잭션들을 출력하는, 상기 인터페이스를 포함하는, 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 상기 이동 아이템들이 상기 2차 레인으로 들어간 상기 시퀀스를 결정하는, 장치.
  15. 제 13 항에 있어서,
    상기 프로세서는 상기 제1 위치를 지나는 상기 각 이동 아이템에 대하여 시간적 깊이 프로파일들을 생성함으로써 상기 스테레오 카메라로부터 상기 이동 아이템들의 상기 거리들을 계산하는, 장치.
  16. 제 13 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 적어도 하나를 포함하는 상기 이동 아이템들의 초기 시그니처 프로파일을 생성하고,
    상기 장치는 상기 이동 아이템들이 상기 트랜잭션들을 완료하는 장소에 인접한 상기 2차 레인의 제2 위치에서 제2 스테레오 카메라를 더 포함하고,
    상기 프로세서는, 상기 이동 아이템들이 상기 제2 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 상기 적어도 하나를 포함하는 상기 이동 아이템들의 확정 시그니처 프로파일을 생성하고,
    상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 확정하고,
    상기 프로세서는 상기 초기 시그니처 프로파일에 매칭하지 않는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 변경하는, 장치.
  17. 제 13 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들의 적어도 한 부분이 상기 제1 위치 내에 있을 때, 상기 거리들을 계산하는, 장치.
  18. 제 13 항에 있어서,
    상기 프로세서는 움직임 탐지와 비전-기반의 오브젝트 인식 중 적어도 하나에 기초하여 상기 제1 위치 내의 상기 아이템들의 존재를 탐지하는, 장치.
  19. 제1 위치를 겨냥한 적어도 두 개의 이미징 장치들을 포함하는 카메라 네트워크를 이용하여 이미지들을 획득하는 단계로서, 상기 이미징 장치들은 고정되고, 상기 제1 위치를 오버랩하고 상기 제1 위치의 스테레오 뷰를 제공하기 위해 상이한 각도들로부터 상기 제1 위치의 이미지들을 획득하도록 배치되는 관측 시야들을 가지며, 상기 제1 위치는 감소한 수의 적어도 하나의 2차 레인으로 합병되는 복수의 병렬 1차 레인들을 포함하고, 상기 1차 레인들 내의 이동 아이템들은 상기 1차 레인들 내에 있는 동안 트랜잭션들을 개시하고 상기 2차 레인들에 있는 동안 상기 트랜잭션들을 완료하는, 상기 이미지들을 획득하는 단계;
    상기 1차 레인들 중에, 상기 각 이동 아이템이 상기 2차 레인으로 합병되기 전에 위치했던 1차 레인을 식별하기 위해 상기 카메라 네트워크에 작동적으로 연결되는 프로세서를 이용하여 상기 상이한 각도들로부터 획득되는 상기 각 이동 아이템의 상기 이미지들 간의 차이들에 기초하여 상기 이동 아이템들의 거리들을 계산하는 단계;
    상기 프로세서를 이용하여, 트랜잭션 순서를 변경하기 위해 상기 이동 아이템들이 상기 1차 레인들로부터 상기 2차 레인으로 들어간 시퀀스에 대응하는 합병 순서로 상기 트랜잭션들을 정렬하는 단계; 및
    상기 프로세서에 작동적으로 연결되는 인터페이스를 이용하여 상기 합병 순서로 상기 트랜잭션들을 출력하는 단계를 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 프로세서를 이용하여, 상기 이동 아이템들이 상기 제1 위치를 지날 때, 상기 이동 아이템들의 상대적 위치와 상대적 거리를 탐지함으로써 상기 이동 아이템들이 상기 2차 레인으로 들어간 상기 시퀀스를 결정하는 단계를 더 포함하는, 방법.
  21. 제 19 항에 있어서,
    상기 이동 아이템들의 거리들을 계산하는 단계는,
    상기 프로세서를 이용하여, 상기 제1 위치를 지나는 상기 각 이동 아이템에 대하여 시간적 깊이 프로파일들을 생성함으로써 상기 카메라 네트워크로부터 상기 이동 아이템들의 상기 거리들을 계산하는 단계를 포함하는, 방법.
  22. 제 19 항에 있어서,
    상기 프로세서를 이용하여, 상기 이동 아이템들이 상기 제1 위치에서 상기 제1 위치를 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 적어도 하나를 포함하는 상기 이동 아이템들의 초기 시그니처 프로파일을 생성하는 단계;
    상기 프로세서를 이용하여, 상기 이동 아이템들이 상기 트랜잭션들을 완료하는 장소에 인접한 상기 2차 레인의 제2 위치를 상기 이동 아이템들이 지날 때, 상기 이동 아이템들의 색상, 형태, 높이 및 넓이 중에 상기 적어도 하나를 포함하는 상기 이동 아이템들의 확정 시그니처 프로파일을 생성하는 단계;
    상기 프로세서를 이용하여, 상기 초기 시그니처 프로파일에 매칭하는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 확정하는 단계; 및
    상기 프로세서를 이용하여, 상기 초기 시그니처 프로파일에 매칭하지 않는 상기 확정 시그니처 프로파일에 기초하여 상기 인터페이스가 상기 트랜잭션들을 출력하기 전에 상기 합병 순서를 변경하는 단계를 더 포함하는, 방법.
  23. 제 19 항에 있어서,
    상기 프로세서는, 상기 이동 아이템들의 적어도 한 부분이 상기 제1 위치 내에 있을 때, 상기 거리들을 계산하는, 방법.
  24. 제 19 항에 있어서,
    움직임 탐지와 비전-기반의 오브젝트 인식 중 적어도 하나에 기초하여 상기 제1 위치 내의 상기 아이템들의 존재를 탐지하는 단계를 더 포함하는, 방법.
KR1020140116128A 2013-09-10 2014-09-02 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정 KR102096230B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/022,488 2013-09-10
US14/022,488 US9503706B2 (en) 2013-09-10 2013-09-10 Determining source lane of moving item merging into destination lane

Publications (2)

Publication Number Publication Date
KR20150029551A KR20150029551A (ko) 2015-03-18
KR102096230B1 true KR102096230B1 (ko) 2020-04-03

Family

ID=52478757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140116128A KR102096230B1 (ko) 2013-09-10 2014-09-02 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정

Country Status (4)

Country Link
US (1) US9503706B2 (ko)
JP (1) JP6533044B2 (ko)
KR (1) KR102096230B1 (ko)
DE (1) DE102014217361B4 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361690B2 (en) * 2013-10-09 2016-06-07 Xerox Corporation Video based method and system for automated side-by-side traffic load balancing
US9865056B2 (en) 2013-10-09 2018-01-09 Conduent Business Services, Llc Video based method and system for automated side-by-side drive thru load balancing
US9228829B2 (en) * 2013-10-31 2016-01-05 Industrial Technology Research Institute Method and system for measuring distance
US10044988B2 (en) 2015-05-19 2018-08-07 Conduent Business Services, Llc Multi-stage vehicle detection in side-by-side drive-thru configurations
US10387945B2 (en) 2016-05-05 2019-08-20 Conduent Business Services, Llc System and method for lane merge sequencing in drive-thru restaurant applications
KR102187211B1 (ko) 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US11023955B1 (en) * 2019-09-27 2021-06-01 Valyant AI, Inc. Outside ordering system
CN115050190B (zh) * 2022-06-13 2024-01-23 天翼数字生活科技有限公司 一种道路车辆监控方法及其相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088620A1 (en) 2003-08-29 2007-04-19 Exit41, Inc. Order processing
US20090255195A1 (en) 2008-04-10 2009-10-15 Ed Bridgman Drive-thru system and method
JP2010066986A (ja) 2008-09-10 2010-03-25 Toshiba Corp カメラシステム
JP2014059655A (ja) 2012-09-14 2014-04-03 Toshiba Corp 道路状況監視装置、及び道路状況監視方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040249497A1 (en) * 2000-07-12 2004-12-09 Autocart, Llc System, method and process for order and delivery of classified goods and services through an amalgamated drive-thru complex
US20020156682A1 (en) * 2001-04-19 2002-10-24 Ncr Corporation Scaleable drive-thru solution for quick service vending
US6556916B2 (en) * 2001-09-27 2003-04-29 Wavetronix Llc System and method for identification of traffic lane positions
US6793068B2 (en) * 2002-02-04 2004-09-21 Conagra Foods, Inc. Food transport routing systems, devices, and guides for food processing systems and related methods
US6940393B2 (en) 2002-06-24 2005-09-06 Nimesa Corporation System and method for improved queuing, service-time, and capacity in drive-through operations
US20050033505A1 (en) * 2002-12-05 2005-02-10 Premier Wireless, Inc. Traffic surveillance and report system
US7426450B2 (en) 2003-01-10 2008-09-16 Wavetronix, Llc Systems and methods for monitoring speed
US8209219B2 (en) * 2004-04-13 2012-06-26 Hyperactive Technologies, Inc. Vision-based measurement of bulk and discrete food products
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US7454287B2 (en) 2005-07-18 2008-11-18 Image Sensing Systems, Inc. Method and apparatus for providing automatic lane calibration in a traffic sensor
US8248272B2 (en) 2005-10-31 2012-08-21 Wavetronix Detecting targets in roadway intersections
US7573400B2 (en) 2005-10-31 2009-08-11 Wavetronix, Llc Systems and methods for configuring intersection detection zones
US7541943B2 (en) 2006-05-05 2009-06-02 Eis Electronic Integrated Systems Inc. Traffic sensor incorporating a video camera and method of operating same
US7501976B2 (en) 2006-11-07 2009-03-10 Dan Manor Monopulse traffic sensor and method
US8228205B2 (en) * 2008-01-23 2012-07-24 Mark Iv Ivhs, Inc. Vehicle lane discrimination in an electronic toll collection system
US7884740B2 (en) 2008-03-28 2011-02-08 National Chiao Tung University Multi-lane vehicle detection apparatus
FR2932466B1 (fr) * 2008-06-13 2010-12-17 Sidel Participations Installation de convoyage multivoies
US8620753B2 (en) * 2010-04-14 2013-12-31 Restaurant Technology, Inc. Restaurant management system and method
US8471683B2 (en) * 2010-06-09 2013-06-25 3M Innovative Properties Company Multilane vehicle tracking system
US20120246007A1 (en) * 2011-03-22 2012-09-27 Restaurant Application Development International LLC Personalized and dynamic restaurant interfaces and systems
US20140267793A1 (en) * 2013-03-15 2014-09-18 Delphi Display Systems, Inc. System and method for vehicle recognition in a dynamic setting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070088620A1 (en) 2003-08-29 2007-04-19 Exit41, Inc. Order processing
US20090255195A1 (en) 2008-04-10 2009-10-15 Ed Bridgman Drive-thru system and method
JP2010066986A (ja) 2008-09-10 2010-03-25 Toshiba Corp カメラシステム
JP2014059655A (ja) 2012-09-14 2014-04-03 Toshiba Corp 道路状況監視装置、及び道路状況監視方法

Also Published As

Publication number Publication date
JP6533044B2 (ja) 2019-06-19
US9503706B2 (en) 2016-11-22
US20150070471A1 (en) 2015-03-12
DE102014217361B4 (de) 2024-05-02
JP2015055875A (ja) 2015-03-23
DE102014217361A1 (de) 2015-03-12
KR20150029551A (ko) 2015-03-18

Similar Documents

Publication Publication Date Title
KR102096230B1 (ko) 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정
US10634506B2 (en) System and method of personalized navigation inside a business enterprise
US10839227B2 (en) Queue group leader identification
US11341740B2 (en) Object identification method and object identification device
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
US7321386B2 (en) Robust stereo-driven video-based surveillance
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
KR101307234B1 (ko) 객체인식 기반의 주차관리 시스템
US12039803B2 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
KR101897018B1 (ko) 객체 추적 방법 및 장치
JP6139088B2 (ja) 車両検知装置
KR20160035121A (ko) 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치
JP6620443B2 (ja) 監視プログラム、監視装置、及び監視方法
CN105096338A (zh) 运动目标提取方法及装置
US20210133491A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP2013104740A (ja) 画像処理装置及び画像処理方法
JP6067527B2 (ja) 移動体情報管理方法及び装置並びにプログラム
JP2017175483A (ja) 撮像装置
JP2006285569A (ja) 人物検出装置
Chmielewska et al. Application of the projective geometry in the density mapping based on CCTV monitoring
KR20220082011A (ko) 비즈니스 엔터프라이즈 내부의 개인화된 내비게이션의 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right