KR20040037145A - Optimal multi-camera setup for computer-based visual surveillance - Google Patents
Optimal multi-camera setup for computer-based visual surveillance Download PDFInfo
- Publication number
- KR20040037145A KR20040037145A KR10-2004-7004440A KR20047004440A KR20040037145A KR 20040037145 A KR20040037145 A KR 20040037145A KR 20047004440 A KR20047004440 A KR 20047004440A KR 20040037145 A KR20040037145 A KR 20040037145A
- Authority
- KR
- South Korea
- Prior art keywords
- placement
- cameras
- camera
- computer
- measure
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/1968—Interfaces for setting up or customising the system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
카메라의 배치의 유효성의 측정은 이미지 정보를 컴퓨터-시각 애플리케이션에 제공하는 경우에 카메라의 유효성을 포함한다. 다중 카메라들의 배치에 의해 제공되는 영상 유효범위에 기초한 측정들 이외에 또는 그 대신에, 배치의 유효성은 배치된 카메라들에 의해 제공된 이미지 정보를 사용하여 의도하는 기능들을 수행하기 위해 하나 이상의 컴퓨터-시각 애플리케이션의 능력에 기초하는 측정들을 포함한다. 특히, 카메라들의 배치는 배치에 의해 제공되는 원근 정보의 고려를 포함한다.Measurement of the validity of the placement of the camera includes the validity of the camera when providing image information to a computer-visual application. In addition to or instead of measurements based on image coverage provided by a batch of multiple cameras, the validity of the batch may be determined by using one or more computer-visual applications to perform the intended functions using the image information provided by the deployed cameras. It includes measurements based on the ability of. In particular, the placement of the cameras includes consideration of the perspective information provided by the placement.
Description
카메라들은 보안 시스템들 및 다른 영상 모니터링 애플리케이션들에서 종종 사용된다. 컴퓨터 프로그램들 및 애플리케이션들은 카메라들, 또는 다중 카메라들로부터 얻어진 이미지 정보를 처리하기 위해 지속적으로 개발되었다. 안면 및 형상 인식 시스템들은, 사람들이 시계 (a field of view) 주위, 또는 다중 시계들 사이에서 이동할 때 식별된 사람들을 트래킹하는 능력을 제공한다.Cameras are often used in security systems and other video monitoring applications. Computer programs and applications have been developed continuously to process image information obtained from cameras, or multiple cameras. Facial and shape recognition systems provide the ability to track identified people as they move around a field of view or between multiple fields of view.
Soumitra Sengupta, Damian Lyons, Thomas Murphy, 및 Daniel Reese에 의해 2002년 3월 19일에 출원한 "Automated camera handoff system for figure tracking in a multiple camera system"이라는 명칭의 미국 특허 제 6,359,647 호는 보안된 빌딩 또는 지역에서 타겟이 룸 (room) 에서 룸으로, 또는 영역에서 영역으로 이동할 때 하나 이상의 카메라의 시계내에서 타겟 이미지를 유지하도록 다중-카메라 환경에서 카메라들을 자동적으로 방향설정하도록 구성되는 자동 트래킹 시스템을 개시하고, 이 출원은 본 명세서에 참조된다. 다른 다중-카메라 이미지 처리 시스템들은 당업계에 일반적이다.US Patent No. 6,359,647, entitled "Automated camera handoff system for figure tracking in a multiple camera system," filed March 19, 2002 by Soumitra Sengupta, Damian Lyons, Thomas Murphy, and Daniel Reese. Initiates an automatic tracking system configured to automatically orient cameras in a multi-camera environment to maintain a target image within the field of view of one or more cameras when a target in a region moves from room to room or from region to region And this application is incorporated herein by reference. Other multi-camera image processing systems are common in the art.
다중-카메라 시스템들에서, 각 카메라의 배치는 이미지 처리 시스템의 성능 및 효과에 영향을 미친다. 통상적으로, 각 카메라의 적절한 배치를 결정하는 것은 수동 처리이고, 여기서, 전문적인 보안으로 영역을 평가하고 효과적이고 효율적인 유효범위를 제공하는 위치에 카메라를 배치한다. 일반적으로, 효과적인 유효범위는 각 카메라의 시계내에서 "사각 (blind spots)" 을 최소화하는 카메라 배치로서 정의된다. 일반적으로, 효율적인 유효범위는 비용 및 복잡성을 감소시키기 위해 가능한 한 소수의 카메라들을 사용하는 유효범위로서 정의된다.In multi-camera systems, the placement of each camera affects the performance and effectiveness of the image processing system. Typically, determining the proper placement of each camera is a manual process, where cameras are placed in positions that provide expert security to assess the area and provide effective and efficient coverage. In general, the effective coverage is defined as camera placement that minimizes "blind spots" within the field of view of each camera. In general, effective coverage is defined as coverage using as few cameras as possible to reduce cost and complexity.
다중-카메라 배치에서 카메라 시계의 교차, 및 각 카메라 위치에 상대적인 방해에 의해 초래되는 상이한 숨겨진 뷰들 (views) 로 인해, 카메라들의 최적의 배치를 결정하는 것은 사소한 문제가 아니다. 보안 영역의 효과적이고 효율적인 유효범위에 대해 카메라들의 배치를 최적화하기 위한 알고리즘들이 계속 개발되었다. 본 명세서에 참조되는, Moshe Levin 및 Ben Mordechai에 의한 2000년 9월 21일에 WO 00/56056으로 공개된 PCT 출원 제 PCT/US00/40011 호는 유전적 알고리즘들과 모의 실험한 어닐링 알고리즘들을 사용하여, 최적의 유효범위에 대한 다중 카메라들의 위치와 각 배향을 결정하는 방법을 개시하고 있다. 알고리즘들이 시스템에 의해 제공되는 유효범위를 최적화하는 솔루션에 집중할 때까지 대안의 잠재적 배치가 발생 및 평가된다.Due to the different hidden views caused by the intersection of the camera field of view in the multi-camera arrangement, and the relative disturbance of each camera position, determining the optimal placement of the cameras is not a trivial problem. Algorithms have been developed to optimize the placement of cameras for the effective and efficient coverage of the security domain. PCT Application No. PCT / US00 / 40011, published as WO 00/56056 on September 21, 2000 by Moshe Levin and Ben Mordechai, referenced herein, uses genetic algorithms and simulated annealing algorithms. A method for determining the position and angular orientation of multiple cameras for optimal coverage is disclosed. Alternative potential deployments occur and are evaluated until the algorithms focus on solutions that optimize the coverage provided by the system.
보안 영역 주위에 다중 카메라들을 최적으로 배치하기 위해 사용되는 종래의 구조에서, 수동 구조 또는 자동 구조, 또는 이들의 결합이든, 배치의 목적은 최소 수의 카메라들을 사용하여 보안 영역의 영상 유효범위를 최대화하는 것이다. 그러나, 이러한 목적을 달성하는 것은 종종 컴퓨터-시각 (computer-vision) 애플리케이션들에 대해 효과적이거나 효율적이지 못하다.In conventional structures used to optimally place multiple cameras around the security area, whether manual or automatic, or a combination thereof, the purpose of the deployment is to maximize the image coverage of the security area using a minimum number of cameras. It is. However, achieving this goal is often not effective or efficient for computer-vision applications.
본 출원은 2001년 9월 27일 출원한 미국 가출원 제 60/325,399 호의 이점을 청구한다 (대리인 식별 번호 US010482P).This application claims the benefit of US Provisional Application No. 60 / 325,399, filed September 27, 2001 (agent identification number US010482P).
본 발명은 보안 시스템들의 분야에 관한 것으로, 특히, 컴퓨터-비전 애플리케이션들을 용이하게 하기 위한 다중 카메라의 배치에 관한 것이다.TECHNICAL FIELD The present invention relates to the field of security systems, and in particular, to the deployment of multiple cameras to facilitate computer-vision applications.
도 1은 본 발명에 따른 다중-카메라 배치 시스템의 예시적인 흐름도를 도시한다.1 shows an exemplary flow chart of a multi-camera placement system in accordance with the present invention.
도 2는 본 발명에 따른 다중-카메라 배치 시스템의 제 2의 예시적인 흐름도를 도시한다.2 shows a second exemplary flow chart of a multi-camera placement system in accordance with the present invention.
본 발명의 목적은 컴퓨터-시각 애플리케이션들을 용이하게 하는 다중-카메라 환경에서 카메라들의 배치를 결정하는 방법 및 시스템을 제공하는 것이다. 본 발명의 또 다른 목적은 컴퓨터-시각 애플리케이션들을 용이하게 하기 위해 배치된 종래의 다중-카메라에서의 추가의 카메라들의 배치를 결정하는 것이다.It is an object of the present invention to provide a method and system for determining placement of cameras in a multi-camera environment that facilitates computer-visual applications. It is another object of the present invention to determine the placement of additional cameras in a conventional multi-camera arranged to facilitate computer-visual applications.
이들 및 다른 목적들은 이미지 정보를 컴퓨터-시각 애플리케이션들에 제공하는데 있어서 카메라의 유효성을 포함하는 카메라 배치의 유효성의 측정을 정의함으로써 달성된다. 또한, 다중 카메라들의 배치에 의해 제공되는 영상 유효범위에 기초한 측정 대신에, 배치의 유효성은 배치된 카메라들에 의해 제공되는 이미지 정보를 사용하여 의도한 기능들을 수행하기 위한 하나 이상의 컴퓨터-시각 애플리케이션들의 능력에 기초한 측정을 포함한다. 특히, 카메라들의 배치는 배치에 의해 제공되는 원근 정보의 고려를 포함한다.These and other objects are achieved by defining a measure of the validity of the camera placement including the validity of the camera in providing image information to computer-visual applications. Furthermore, instead of the measurement based on the image coverage provided by a batch of multiple cameras, the validity of the batch is determined by one or more computer-visual applications for performing the intended functions using the image information provided by the batch cameras. Includes measures based on ability. In particular, the placement of the cameras includes consideration of the perspective information provided by the placement.
예로서, 첨부한 도면을 참조하여 본 발명을 더욱 상세히 설명한다.By way of example, the present invention will be described in more detail with reference to the accompanying drawings.
도면 전반적으로, 동일한 참조 번호는 유사하거나 대응하는 특징들 또는 기능들을 표시한다.Throughout the drawings, the same reference numerals indicate similar or corresponding features or functions.
본 발명은, 효과적인 영상 유효범위를 제공하는 카메라 배치가 반드시 효과적인 컴퓨터-시각 프로세싱에 충분한 이미지 정보를 제공하지는 않는다는 것을 전제로 하고 있다. 넓은 유효범위 영역을 제공하는 카메라 위치가 원근 정보를 제공하지 않을 수도 있고, 원근 구별을 제공하는 카메라 위치가 식별 가능한 컨텍스트 정보를 제공하지 않을 수도 있다. 통상의 '최적' 카메라 배치에서, 예를 들어, 방해물을 갖지 않는 보통형의 룸에는, 룸의 상부 코너에 위치하고, 룸의 대각선과 일치하게 조준되고, 약간 아래를 향하는, 단일 카메라가 배치된다. 카메라의 시계가 전체 룸을 둘러싸기에 충분히 넓거나, 전체 룸을 스위프하기 위해 조정 가능하다고 가정하면, 단일 카메라는 룸의 영상 유효범위에 충분할 것이다. 참조하는 US 특허 6,359,647 호에 나타난 바와 같이, 룸 또는 복도는 좀처럼 하나 이상의 카메라를 포함하지 않고, 추가의 카메라는 방해물이 카메라의 시계를 방해할 때만 사용된다.The present invention is based on the premise that a camera arrangement providing effective image coverage does not necessarily provide sufficient image information for effective computer-visual processing. Camera positions that provide a wide coverage area may not provide perspective information, or camera positions that provide perspective discrimination may not provide identifiable context information. In a typical 'optimal' camera arrangement, for example, in a normal room with no obstructions, a single camera is placed at the top corner of the room, aimed in line with the diagonal of the room, and facing slightly downward. Assuming a camera's field of view is wide enough to enclose the entire room or adjustable to sweep the entire room, a single camera will be sufficient for the image coverage of the room. As shown in US Pat. No. 6,359,647, the room or hallway rarely includes one or more cameras, and additional cameras are used only when the obstruction interferes with the camera's field of view.
컴퓨터-시각 시스템은 뷰의 컨텍스트를 식별하고 신 (scene) 내의 객체들의 3-차원 위치에 기초하여 신의 해석을 제공하기 위해 신의 하나 이상의 카메라의 뷰를 종종 요청한다. 이와 같이, 영상 유효범위를 제공하기 위한 카메라들의 배치는종종 불충분하다. 알고리즘들이 단일 2-D 이미지로부터, 또는 팬-틸트-줌 (pan-tilt-zoom) 능력을 갖는 단일 카메라로부터의 다중 2-D 이미지로부터 3-D 창원을 평가하기 위해 사용 가능하더라도, 이러한 접근방법은 상이한 뷰포인트 (viewpoint) 로부터 동일한 신의 이미지를 사용하는 알고리즘들 보다 실질적으로 덜 효과적이고 덜 효율적이다.Computer-visual systems often request a view of one or more cameras of the scene to identify the context of the view and provide an interpretation of the scene based on the three-dimensional position of objects in the scene. As such, the placement of cameras to provide image coverage is often insufficient. Although the algorithms can be used to evaluate 3-D window origins from a single 2-D image, or from multiple 2-D images from a single camera with pan-tilt-zoom capability, this approach. Is substantially less effective and less efficient than algorithms using images of the same scene from different viewpoints.
타겟 객체가 위치한 룸을 이미지가 식별하고, 객체의 유형이 대략 높이를 식별하기 때문에, 단일 카메라로부터의 어떤 2-D 이미지는 실링 (ceiling)-장착 카메라로부터 탑-다운 뷰와 같은, 뛰어난 3-D 차원을 제공한다. 그러나, 이러한 이미지는 신의 컨텍스트를 결정하는데 현저하게 불량하고, 이미지 또는 제스처 인식과 같은 통상의 컴퓨터-시각 애플리케이션들에 대해 특히 불량하다.Because the image identifies the room in which the target object is located, and the type of object identifies approximately the height, any 2-D image from a single camera is an excellent 3-, such as a top-down view from a ceiling-mounted camera. Provides the D dimension. However, such images are markedly poor in determining the context of the scene and are particularly bad for conventional computer-visual applications such as image or gesture recognition.
도 1은 본 발명에 따른 배치의 컴퓨터-시각 유효성의 고려를 포함하는 다중-카메라 배치 시스템의 흐름도를 도시한다. 110에서, 예를 들어, 고정된 영역의 디스플레이된 평면도상에서 카메라 위치를 식별함으로써, 제안된 초기 카메라 배치가 정의된다. 추가로, 120에서, 배치에 의해 제공된 영상 유효범위는 당업계에 일반적인 기술을 사용하여 결정된다. 130에서, 배치의 "컴퓨터-시각 유효성"이 아래에 설명하는 바와 같이 결정된다.1 shows a flow diagram of a multi-camera deployment system that includes consideration of computer-visual validity of deployment in accordance with the present invention. At 110, the proposed initial camera placement is defined, for example, by identifying the camera position on the displayed plan view of the fixed area. Additionally, at 120, the image coverage provided by the batch is determined using techniques common in the art. At 130, the “computer-visual validity” of the batch is determined as described below.
각 컴퓨터-시각 애플리케이션은 이미지로부터 추출되는 선택 파라미터에 기초하여 그 기능을 수행한다. 특정한 파라미터, 및 기능의 감도는 식별 가능하다. 예를 들어, 제스처-인식 기능은 수평 및 수직 이동들 (팔을 흔드는 것) 에 매우 민감하고, 깊이 이동들에 대해 다소 민감하지 않다. 수평, 수직, 깊이 치수들로서 각각 x, y, 및 z를 정의하면, 제스처-인식 기능은 델타-x 및 델타-y 검출에 민감하다고 말할 수 있다. 따라서, 이러한 예에서, 제스처-인식에 대한 배치의 컴퓨터-시각 유효성을 결정하는 것은 배치가 이미지로부터 델타-x 및 델타-y 파라미터들을 얼마나 충분히 제공하는지에 기초한다. 이러한 결정은 예를 들어, 기하학적 모델 및 통상의 미분 수학을 사용하여 보안 영역에 대한 각 카메라의 위치 및 배향에 기초하여 이루어진다. 또한, 발견적 방법 (heuristics) 및 다른 단순화가 사용될 수도 있다. 명백하게, 예를 들어, 다운워드 포인팅 카메라는 최소의 델타-y 정보를 제공하고, 제스처-인식에 대한 유효성의 측정은 불량할 것이다. 형식적인 기하학적 모델 대신에, 레이팅 (rating) 시스템이 사용될 수도 있고, 여기서, 각 카메라는 수평에 대한 뷰잉 각 (viewing angle) 에 기초한 스코어가 할당된다.Each computer-visual application performs its function based on selection parameters extracted from the image. Certain parameters and sensitivity of the function are discernible. For example, the gesture-recognition function is very sensitive to horizontal and vertical movements (swinging arms) and somewhat insensitive to depth movements. By defining x, y, and z as horizontal, vertical, and depth dimensions, respectively, it can be said that the gesture-recognition function is sensitive to delta-x and delta-y detection. Thus, in this example, determining the computer-visual validity of the placement for gesture-recognition is based on how sufficiently the placement provides delta-x and delta-y parameters from the image. This determination is made based on the position and orientation of each camera relative to the secure area using, for example, a geometric model and conventional differential math. Heuristics and other simplifications may also be used. Obviously, for example, the downward pointing camera provides minimal delta-y information, and the measure of effectiveness for gesture-recognition would be poor. Instead of a formal geometric model, a rating system may be used, where each camera is assigned a score based on a viewing angle with respect to the horizontal.
유사한 방식으로, 이미지-인식 기능은 x 및 y 방향의 이미지의 해상도에 민감할 수도 있고, 이미지-인식 유효성의 측정은 커버되는 영역 전반의 달성 가능한 해상도에 기초할 것이다. 이 예에서, 룸의 벽상의 카메라는 벽 가까이의 객체들에 대해 양호한 x 및 y 해상도를 제공할 수도 있지만, 멀리있는 반대편 벽에 가까운 객체들에 대해 불량한 x 및 y 해상도를 제공한다. 이러한 예에서, 멀리있는 반대편 벽상의 추가의 카메라를 배치하는 것은 룸 전반에 사용 가능한 해상도를 증가시키지만, 룸의 영상 유효범위를 제공하는 것에 비하여 리던던트 (redundant) 할 것이다.In a similar manner, the image-recognition function may be sensitive to the resolution of the image in the x and y directions, and the measurement of the image-recognition effectiveness will be based on the attainable resolution over the area covered. In this example, the camera on the wall of the room may provide good x and y resolution for objects near the wall, but poor x and y resolution for objects near the far opposite wall. In this example, placing additional cameras on distant opposite walls increases the resolution available throughout the room, but will be redundant compared to providing a room's image coverage.
한편, 보안 영역에서 침입자의 진로를 예측하는 이동-추정 기능은 수평 및 깊이 이동 (델타-x 및 델타-z) 에 민감할 수도 있지만, 수직 출구를 제공하지 않는룸들과 같은 영역들에서 수직 이동 (델타-y) 에 비교적 민감하지 않고, 수직 출구를 제공하는 계단과 같은 수직 이동에 민감하다. 이러한 애플리케이션에서, 컴퓨터-시각 유효성의 측정은 룸의 카메라들에 의해 제공된 델타-x 및 델타-z 감도의 측정 및 복도의 카메라들에 의해 제공된 델타-y 감도의 측정을 포함할 것이다.On the other hand, the move-estimation function that predicts the intruder's path in the security zone may be sensitive to horizontal and depth movements (delta-x and delta-z), but vertical movement in areas such as rooms that do not provide a vertical exit. It is relatively insensitive to (delta-y) and is sensitive to vertical movement, such as stairs providing a vertical exit. In such an application, the measurement of computer-visual validity will include measurement of delta-x and delta-z sensitivity provided by cameras in the room and measurement of delta-y sensitivity provided by cameras in the hallway.
컴퓨터-시각 시스템의 감도는 전술한 예시적인 x, y, 및 z 파라미터들에 한정될 필요가 없다. 안면-인식 시스템이, 사람이 향하고 있는 방향과 관계없이 사람을 인식할 것이라고 예상될 수 있다. 이와 같이, x 및 y 해상도에 더하여, 시스템은 각 카메라의 시계의 배향에 민감할 것이고, 배치의 유효성은 복수의 방향으로부터의 교차하는 시계를 갖는 것에 따를 것이다.The sensitivity of the computer-visual system need not be limited to the exemplary x, y, and z parameters described above. It can be expected that a facial-recognition system will recognize a person regardless of the direction in which the person is facing. As such, in addition to the x and y resolutions, the system will be sensitive to the orientation of each camera's field of view, and the validity of the placement will depend on having the field of view intersecting from multiple directions.
통상적으로, 배치의 유효성의 평가는 각 카메라의 유효성 뿐만 아니라 카메라들의 결합의 유효성에 기초한 합성 측정이다. 예를 들어, 컴퓨터-시각 애플리케이션이 델타-x, 델타-y, 및 델타-z에 민감한 경우에, 서로 및 보안 영역에 대한 2개 카메라의 관계는 2개의 카메라가 모든 3개의 파라미터들을 제공하지 않더라도, 델타-x, 델타-y, 및 델타-z를 결정하기 위한 충분한 원근 정보를 제공할 수도 있다. 이러한 상황에서, 본 발명의 배치 시스템은, 더 높은 스코어가 이 카메라와 또 다른 카메라와의 결합에 대해 결정될 때 개별 카메라에 대해 결정될 수도 있는 불량한 스코어들을 "무시"하도록 구성된다.Typically, the evaluation of the validity of a batch is a composite measure based on the validity of each camera as well as the combination of cameras. For example, if a computer-visual application is sensitive to delta-x, delta-y, and delta-z, the relationship of the two cameras to each other and to the security zone may be true even if the two cameras do not provide all three parameters. Sufficient perspective information may be provided for determining delta-x, delta-y, and delta-z. In this situation, the placement system of the present invention is configured to "ignore" poor scores that may be determined for an individual camera when a higher score is determined for the combination of this camera and another camera.
배치의 컴퓨터-시각 유효성을 결정하는 이들 및 다른 방법들은 본 개시물의관점 및 컴퓨터-시각 애플리케이션에 의해 수행되는 특정한 기능들의 관점에서 당업자에게 명백할 것이다.These and other methods of determining the computer-visual validity of a deployment will be apparent to those skilled in the art in view of the present disclosure and the specific functions performed by the computer-visual application.
바람직한 실시형태에서, 특정한 컴퓨터-시각 애플리케이션이 알려지지 않는 경우에, 배치 시스템은, 배치가 보안 영역에서 객체들에 적절한 x, y, 및 z 좌표를 제공해야 하고, 배치에 의해 제공된 원근 정보에 관한 컴퓨터-시각 유효성을 측정한다는 것을 가정하여 구성된다. 전술한 바와 같이, 이러한 원근 측정은 보안 영역에서 교차하는 시계를 갖는 2개 이상의 카메라들의 위치 및 배향에 기초하여 일반적으로 결정된다.In a preferred embodiment, in the case where a particular computer-visual application is unknown, the placement system must provide the x, y, and z coordinates that the placement is appropriate to the objects in the secure area, and that the computer relates to the perspective information provided by the placement. It is constructed assuming that the visual validity is measured. As mentioned above, this perspective measurement is generally determined based on the position and orientation of two or more cameras having a field of view that intersects in the secure area.
140에서, 배치의 수용 가능성이, 130으로부터의 컴퓨터-시각 유효성의 측정에 기초하여 평가되고, 추가로, 120으로부터의 이러한 배치에 의해 제공되는 영상 유효범위가 평가된다. 배치가 수용 불가능한 경우에, 150에서 변경되고, 프로세스 (130-140) (추가로 120-130-140) 는 수용 가능한 배치가 발견될 때 까지 반복된다. 150에서의 변경은 기존의 카메라 배치들의 재배치, 또는 배치에 새로운 카메라들의 추가, 또는 둘 모두를 포함할 수도 있다.At 140, the acceptability of a batch is evaluated based on the measurement of computer-visual effectiveness from 130, and further, the image coverage provided by this batch from 120 is evaluated. If the batch is unacceptable, it is changed at 150 and the process 130-140 (further 120-130-140) is repeated until an acceptable batch is found. The change at 150 may include relocation of existing camera placements, addition of new cameras to the placement, or both.
150에서의 변경은 자동, 또는 수동, 또는 이들의 결합일 수도 있다. 바람직한 실시형태에서, 배치 시스템은 불충분한 컴퓨터-시각 유효성을 갖는 영역 또는 영역들을 하이라이트하고, 추가의 카메라에 대한 위치를 제안한다. 통상적으로, 초기 배치 (110) 가 충분한 영상 유효범위를 보장하도록 설계되기 때문에, 사용자에게 이들 초기 위치들을 변화시키는 옵션이 제공되더라도, 추가의 카메라를 제공하는 것이 초기 카메라 위치들을 변화시키는 것에 대한 바람직한 대안이다. 또한, 이들 배치 시스템은 기존의 다중-카메라 시스템들을 강화시키는데 특히 적합하고, 카메라의 추가는 이전에 설치된 카메라를 이동시키는 것 보다 더 쉬운 작업이다.The change at 150 may be automatic, manual, or a combination thereof. In a preferred embodiment, the placement system highlights an area or regions with insufficient computer-visual validity and suggests a location for additional cameras. Typically, since the initial placement 110 is designed to ensure sufficient image coverage, providing additional cameras is a preferred alternative to changing the initial camera positions, even if the user is given the option to change these initial positions. to be. In addition, these deployment systems are particularly suitable for strengthening existing multi-camera systems, and the addition of a camera is an easier task than moving a previously installed camera.
도 2는 본 발명에 따른 다중-카메라 배치 시스템의 제 2의 예시적인 흐름도를 도시한다. 이 실시형태에서, 카메라 위치들은 충분한 영상 유효범위를 제공하도록 210에서 결정된다. 210에서의 이 배치는 영상 유효범위를 제공하기 위해 설치되어 있는 기존의 배치에 대응할 수도 있거나, 상기 참조한 PCT 출원 PCT/US00/40011에 개시한 기술에 의해 제공되는 바와 같은 제안된 배치, 또는 당업계에 일반적인 다른 자동 배치 프로세스들에 대응할 수도 있다.2 shows a second exemplary flow chart of a multi-camera placement system in accordance with the present invention. In this embodiment, camera positions are determined at 210 to provide sufficient image coverage. This arrangement at 210 may correspond to an existing arrangement installed to provide image coverage, or a proposed arrangement as provided by the technique disclosed in the above referenced PCT application PCT / US00 / 40011, or in the art. May correspond to other automatic batch processes that are common to.
배치의 컴퓨터-시각 유효성은 도 1의 블록 130과 관련하여 전술한 바와 같이 220에서 결정된다. 230에서, 배치의 수용 가능성이 결정된다. 이 실시형태에서, 210에서, 초기 배치가 충분한 영상 유효범위를 제공하도록 명시적으로 설계되기 때문에, 230에서의 배치의 수용 가능성은 220으로부터의 결정된 컴퓨터-시각 유효성에만 기초한다.The computer-visual validity of the deployment is determined at 220 as described above with respect to block 130 of FIG. 1. At 230, the acceptability of the batch is determined. In this embodiment, at 210, since the initial placement is explicitly designed to provide sufficient image coverage, the acceptability of the placement at 230 is only based on the determined computer-visual validity from 220.
240에서, 새로운 카메라가 배치에 추가되고, 250에서, 각 새로운 카메라에 대한 위치가 결정된다. 본 발명의 바람직한 실시형태에서, 특정한 컴퓨터-시각 애플리케이션의 전술한 감도에 대한 기존의 배치의 특정한 결함이 결정된다. 예를 들어, 델타-z 감도가 현재의 배치에 의해 제공되지 않는 경우에, 실링-장착 카메라 위치가 알맞은 해결방안이다. 바람직한 실시형태에서, 사용자에게는, 새로운 카메라들이 추가될 수 있는 영역들 및/또는 새로운 카메라들이 추가될 수 없는 영역들을 식별하는 옵션이 제공된다. 예를 들어, 외부 영역에서, 카메라가 장착될 수 있는 기존의 기둥들 또는 다른 구조물의 위치가 식별된다.At 240, a new camera is added to the batch, and at 250, a location for each new camera is determined. In a preferred embodiment of the present invention, certain deficiencies of existing arrangements for the aforementioned sensitivity of particular computer-visual applications are determined. For example, where delta-z sensitivity is not provided by the current deployment, the sealing-mounted camera position is a suitable solution. In a preferred embodiment, the user is provided with the option of identifying areas in which new cameras can be added and / or areas in which new cameras cannot be added. For example, in the outer zone, the location of existing pillars or other structures on which the camera can be mounted is identified.
본 발명의 바람직한 실시형태에서, 프로세스 (250) 는 새로운 카메라가 추가되는 각 시간에, 추가된 카메라 각각의 위치를 재결정하도록 구성된다. 즉, 당업계에 공지된 바와 같이, 하나의 카메라의 최적 배치는 또 다른 카메라가 배치에 사용 가능한 경우에 상기 카메라의 최적의 배치에 대응하지 못할 수도 있다. 유사하게는, 제 3 카메라가 추가되는 경우에, 제 1의 2개의 카메라의 최적의 위치가 변화할 수도 있다.In a preferred embodiment of the present invention, process 250 is configured to reposition each of the added cameras at each time a new camera is added. That is, as is known in the art, the optimal placement of one camera may not correspond to the optimal placement of the camera when another camera is available for placement. Similarly, when a third camera is added, the optimal position of the first two cameras may change.
바람직한 실시형태에서, 복잡한 환경에서 프로세싱 작업을 용이하게 하기 위해, 보안 영역이 서브-영역으로 분할되고, 여기서, 하나의 서브-영역에서의 카메라들의 배치는 또 다른 서브-영역에서의 배치에 실질적으로 독립적이다. 즉, 예를 들어, 하나의 룸에 배치된 카메라들의 컴퓨터-시각 유효성이 제 1 룸과 실질적으로 분리된 또 다른 룸에 배치된 카메라들의 컴퓨터-시각 유효성과 독립적이기 때문에, 각 룸에서의 카메라의 배치는 독립적인 배치 프로세스로서 프로세스된다.In a preferred embodiment, to facilitate processing operations in a complex environment, the security zone is divided into sub-zones, where the placement of cameras in one sub-zone is substantially in place in another sub-zone. Independent. That is, for example, because the computer-visual validity of cameras placed in one room is independent of the computer-visual validity of cameras placed in another room substantially separate from the first room, Deployment is processed as an independent deployment process.
이상, 본 발명의 원리를 설명하였다. 따라서, 본 명세서의 명백하게 설명 또는 도시하지는 않았지만, 본 발명의 원리들을 포함하고 이하 청구범위의 사상 및 범위내에 있는 다양한 배열들을 당업자가 발명할 수 있다는 것이 이해될 것이다.The principle of the present invention has been described above. Thus, although not explicitly described or shown herein, it will be understood that those skilled in the art may invent various arrangements that include the principles of the invention and are within the spirit and scope of the following claims.
Claims (16)
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US32539901P | 2001-09-27 | 2001-09-27 | |
| US60/325,399 | 2001-09-27 | ||
| US10/165,089 US20030058342A1 (en) | 2001-09-27 | 2002-06-07 | Optimal multi-camera setup for computer-based visual surveillance |
| US10/165,089 | 2002-06-07 | ||
| US10/189,272 | 2002-07-03 | ||
| US10/189,272 US20030058111A1 (en) | 2001-09-27 | 2002-07-03 | Computer vision based elderly care monitoring system |
| PCT/IB2002/003717 WO2003030550A1 (en) | 2001-09-27 | 2002-09-11 | Optimal multi-camera setup for computer-based visual surveillance |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20040037145A true KR20040037145A (en) | 2004-05-04 |
Family
ID=27389101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2004-7004440A KR20040037145A (en) | 2001-09-27 | 2002-09-11 | Optimal multi-camera setup for computer-based visual surveillance |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP1433326A1 (en) |
| JP (1) | JP2005505209A (en) |
| KR (1) | KR20040037145A (en) |
| CN (1) | CN1561640A (en) |
| WO (1) | WO2003030550A1 (en) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITMI20071016A1 (en) * | 2007-05-19 | 2008-11-20 | Videotec Spa | METHOD AND SYSTEM FOR SURPRISING AN ENVIRONMENT |
| CN101572804B (en) * | 2009-03-30 | 2012-03-21 | 浙江大学 | Multi-camera intelligent control method and device |
| WO2010125489A1 (en) * | 2009-04-29 | 2010-11-04 | Koninklijke Philips Electronics N.V. | Method of selecting an optimal viewing angle position for a camera |
| CN101853399B (en) * | 2010-05-11 | 2013-01-09 | 北京航空航天大学 | Method for realizing blind road and pedestrian crossing real-time detection by utilizing computer vision technology |
| JP5269002B2 (en) | 2010-06-28 | 2013-08-21 | 株式会社日立製作所 | Camera placement decision support device |
| WO2013149340A1 (en) * | 2012-04-02 | 2013-10-10 | Mcmaster University | Optimal camera selection iν array of monitoring cameras |
| EP2973072A1 (en) * | 2013-03-15 | 2016-01-20 | ADT US Holdings, Inc. | Security system using visual floor plan |
| WO2014152486A1 (en) | 2013-03-15 | 2014-09-25 | Adt Us Holdings, Inc. | Security system installation |
| US9905010B2 (en) | 2013-06-18 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Image position determination device and image position determination method for reducing an image of a closed eye person |
| WO2014203389A1 (en) * | 2013-06-21 | 2014-12-24 | 株式会社日立製作所 | Sensor placement determination device and sensor placement determination method |
| EP2835792B1 (en) * | 2013-08-07 | 2016-10-05 | Axis AB | Method and system for selecting position and orientation for a monitoring camera |
| US10074184B2 (en) * | 2015-08-10 | 2018-09-11 | Koniklijke Philips N.V. | Occupancy detection |
| CN108471496B (en) * | 2018-02-13 | 2020-11-03 | 深圳市瑞立视多媒体科技有限公司 | Camera configuration method and device |
| CN108234900B (en) * | 2018-02-13 | 2020-11-20 | 深圳市瑞立视多媒体科技有限公司 | Camera configuration method and device |
| CN108449551B (en) * | 2018-02-13 | 2020-11-03 | 深圳市瑞立视多媒体科技有限公司 | Camera configuration method and device |
| CN108495057B (en) * | 2018-02-13 | 2020-12-08 | 深圳市瑞立视多媒体科技有限公司 | Camera configuration method and device |
| US11380013B2 (en) | 2019-08-22 | 2022-07-05 | Cubic Corporation | Self-initializing machine vision sensors |
| US11496674B2 (en) * | 2020-09-18 | 2022-11-08 | Microsoft Technology Licensing, Llc | Camera placement guidance |
| EP4220214A4 (en) * | 2020-10-29 | 2023-11-01 | NEC Corporation | Allocation determination device, allocation determination method, and computer-readable medium |
| CN112291526B (en) * | 2020-10-30 | 2022-11-22 | 重庆紫光华山智安科技有限公司 | Monitoring point determining method and device, electronic equipment and storage medium |
| CN114724323B (en) * | 2022-06-09 | 2022-09-02 | 北京科技大学 | Point distribution method of portable intelligent electronic fence for fire scene protection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5164827A (en) * | 1991-08-22 | 1992-11-17 | Sensormatic Electronics Corporation | Surveillance system with master camera control of slave cameras |
| US5331413A (en) * | 1992-09-28 | 1994-07-19 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Adjustable control station with movable monitors and cameras for viewing systems in robotics and teleoperations |
| CA2155719C (en) * | 1994-11-22 | 2005-11-01 | Terry Laurence Glatt | Video surveillance system with pilot and slave cameras |
| US6215519B1 (en) * | 1998-03-04 | 2001-04-10 | The Trustees Of Columbia University In The City Of New York | Combined wide angle and narrow angle imaging system and method for surveillance and monitoring |
-
2002
- 2002-09-11 JP JP2003533612A patent/JP2005505209A/en not_active Withdrawn
- 2002-09-11 CN CNA028190580A patent/CN1561640A/en active Pending
- 2002-09-11 KR KR10-2004-7004440A patent/KR20040037145A/en not_active Application Discontinuation
- 2002-09-11 EP EP02765217A patent/EP1433326A1/en not_active Withdrawn
- 2002-09-11 WO PCT/IB2002/003717 patent/WO2003030550A1/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003030550A1 (en) | 2003-04-10 |
| CN1561640A (en) | 2005-01-05 |
| EP1433326A1 (en) | 2004-06-30 |
| JP2005505209A (en) | 2005-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20040037145A (en) | Optimal multi-camera setup for computer-based visual surveillance | |
| US20030058342A1 (en) | Optimal multi-camera setup for computer-based visual surveillance | |
| RU2251739C2 (en) | Objects recognition and tracking system | |
| US7397929B2 (en) | Method and apparatus for monitoring a passageway using 3D images | |
| US6690374B2 (en) | Security camera system for tracking moving objects in both forward and reverse directions | |
| US7400744B2 (en) | Stereo door sensor | |
| US6816186B2 (en) | Automatic zone monitoring | |
| Snidaro et al. | Video security for ambient intelligence | |
| US20130163879A1 (en) | Method and system for extracting three-dimensional information | |
| US20080101652A1 (en) | Method and apparatus for tracking objects over a wide area using a network of stereo sensors | |
| KR20010024452A (en) | Figure tracking in a multiple camera system | |
| WO1999045511A1 (en) | A combined wide angle and narrow angle imaging system and method for surveillance and monitoring | |
| WO2008147794A2 (en) | Multi-zone passageway monitoring system and method | |
| Wang et al. | An intelligent surveillance system based on an omnidirectional vision sensor | |
| WO2019186890A1 (en) | Video monitoring device, control method for same, and computer-readable medium | |
| US20020052708A1 (en) | Optimal image capture | |
| Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
| US11227376B2 (en) | Camera layout suitability evaluation apparatus, control method thereof, optimum camera layout calculation apparatus, and computer readable medium | |
| KR20210051555A (en) | Safety Fence System Using Multi 2D Lidar Sensor | |
| Conci et al. | Camera placement using particle swarm optimization in visual surveillance applications | |
| KR102441436B1 (en) | System and method for security | |
| KR102630275B1 (en) | Multi-camera fire detector | |
| KR101629738B1 (en) | Method and system for evaluating the performance of CCTV surveillance system | |
| JP4116393B2 (en) | Fire source exploration system | |
| Peixoto et al. | Real-time human activity monitoring exploring multiple vision sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |