KR20070031896A

KR20070031896A - Individual detector and accompaniment detection device

Info

Publication number: KR20070031896A
Application number: KR1020067022873A
Authority: KR
Inventors: 히로시 마쓰다; 히로유키 후지이; 나오야 루이케
Original assignee: 마츠시다 덴코 가부시키가이샤
Priority date: 2004-07-30
Filing date: 2005-07-29
Publication date: 2007-03-20

Abstract

개체 검출기는 거리 화상 센서 및 대상 검출단을 포함한다. 거리 화상 센서는 검출 영역에 면해 배치되고, 거리 화상을 생성한다. 하나 이상의 물리 대상이 상기 검출 영역에 있을 때, 상기 거리 화상의 각 화상 요소는, 상기 하나 이상의 물리 대상까지의 각 거리 값을 각각 포함한다. 센서에 의해 생성된 거리 화상에 기초하여, 대상 검출단은 상기 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출한다. 따라서, 검출 영역에서의 하나 이상의 물리 대상을, 그 하나 이상의 물리 대상을 검출하기 위한 구성 요소의 수를 증가시키지 않고, 개별로 검출할 수 있다.The object detector includes a distance image sensor and an object detection stage. The distance image sensor is disposed facing the detection area and generates a distance image. When one or more physical objects are in the detection area, each image element of the distance image includes each distance value to the one or more physical objects, respectively. Based on the distance image generated by the sensor, the object detection stage separately detects one or more physical objects in the detection area. Therefore, one or more physical objects in the detection area can be detected individually without increasing the number of components for detecting the one or more physical objects.

출입 관리, 동반입장, 개별 검출, 거리 화상, 거리값 Access control, accompanying entrance, individual detection, distance image, distance value

Description

개체 검출기 및 동반입장 검출 디바이스 {INDIVIDUAL DETECTOR AND ACCOMPANIMENT DETECTION DEVICE}Object detector and accompanying entrance detection device {INDIVIDUAL DETECTOR AND ACCOMPANIMENT DETECTION DEVICE}

본 발명은 검출 영역에서의 하나 이상의 물리적 대상을 개별로 검출하기 위한 개체 검출기 및, 개체 검출기를 장착한 동반입장(tailgate) 검출 디바이스에 관한 것이다. The present invention relates to an object detector for individually detecting one or more physical objects in a detection area and a tailgate detection device equipped with the object detector.

최첨단의 출입 관리 시스템은 바이오 메트릭 정보를 이용함으로써 정확한 식별을 가능하게 하지만, 그와 같은 하이테크에 기초한 보안도 빠져나가는 간단한 방법이 존재한다. 즉, 인증에 의해 권한을 부여받은 개체(예를 들면, 종업원 또는 거주자 등)가 열린 도어를 통하여 들어갈 때, 도어가 열려있는 동안에 권한을 부여받은 개체에 바짝 붙어서 함께 들어가는 "동반입장(tailgate)"에 의해 침입이 이루어질 여지가 있다.State-of-the-art access management systems enable accurate identification by using biometric information, but there is a simple way to escape such high-tech security. That is, when an object authorized by authentication (such as an employee or a resident) enters through an open door, a "tailgate" that enters closely with the authorized object while the door is open. There is room for intrusion.

일본 특허공개공보 제2004-124497호에 기재된 종래 기술의 시스템은 사람의 삼차원 실루엣의 수를 계수함으로써 동반입장을 검출한다. 상기 실루엣은, 2 이상의 시점(veiwpoint)에 대응하는 체적의 공통 영역(시각적 외곽, visual hu11)의 내측에 물리 대상이 존재한다는 원리에 근거하는 체적 교차법에 의해, 컴퓨터상에서 가상으로 구현된다. 즉, 이 방법은, 2 이상의 카메라를 사용하고, 각 카메라의 출력으로부터 얻어지는 이차원의 실루엣을 실제 공간에 가상으로 투영하여, 물리 대 상 전체의 형상에 대응하는 삼차원 실루엣을 구성한다.The prior art system described in Japanese Patent Laid-Open No. 2004-124497 detects the co-occupation by counting the number of three-dimensional silhouettes of a person. The silhouette is virtually embodied on a computer by a volume intersection method based on the principle that a physical object exists inside a common area (visual hu11, visual hu11) of a volume corresponding to two or more viewpoints. That is, this method uses two or more cameras, and virtually projects the two-dimensional silhouette obtained from the output of each camera in the real space to form a three-dimensional silhouette corresponding to the shape of the entire physical object.

그러나, 상기 시스템에서는, 체적 교차법 때문에 2 이상의 카메라를 사용할 필요가 있다. 또 상기 시스템은 2대의 카메라 중 하나를 사용하여 사람의 얼굴을 포착하고, 체적 교차법은 검출 영역을 각 카메라의 시계 영역(viewrange) 내에 두는 것을 필요로 하므로, 시스템은 얼굴 또는 그 정면이 시계 영역 내에 있는 동안, 3차원 실루엣을 구성할 수 없다. 이 때문에, 검출 영역 내의 하나 이상의 물리 대상의 이동의 궤적을 추적하는 것이 곤란해진다. 이 문제는 카메라를 더 추가함으로써 해결 가능하지만, 시스템의 설치 면적 및 비용의 증대를 초래한다. 특히, 카메라의 수는 도어의 수가 증가함에 따라 대단히 증가한다.However, in the above system, it is necessary to use two or more cameras because of the volume crossing method. The system also captures the face of a person using one of the two cameras, and the volumetric crossover requires that the detection area be placed within the viewrange of each camera, so that the system has a face or face in front of it. While inside, three-dimensional silhouettes cannot be constructed. For this reason, it becomes difficult to track the trajectory of the movement of one or more physical objects in the detection area. This problem can be solved by adding more cameras, but it results in an increase in the footprint and cost of the system. In particular, the number of cameras increases greatly as the number of doors increases.

또한, 체적 교차법은 서로 겹치는 물리 대상을 분리하기 위한 기술은 아니기 때문에, 서로 겹치는 물리 대상으로 삼차원 실루엣이 구성되는 때에 다른 과제를 가진다. 종래 기술의 시스템은, 하나의 물리 대상에 대응하는 기준 사이즈를 사용함으로써, 2 이상의 물리 대상이 겹쳐있는 상태를 검출할 수 있지만, 사람과 하물이 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 없다. 전자는 경보할 필요가 없지만, 후자는 경보할 필요가 있다. 또, 종래 기술의 시스템은 미리 기록된 배경 화상과 현재의 화상과의 차분을 계산함으로써 노이즈를 제거하지만, 벽 또는 식물 등의 정적인 물리 대상(이하 "정적 노이즈"라고 한다)을 제거할 수는 있어도 하물, 짐수레(car) 등의 동적인 물리 대상(이하 "동적 노이즈"라고 한다)을 제거할 수 없다.In addition, since the volume crossing method is not a technique for separating physical objects that overlap each other, there is a different problem when a three-dimensional silhouette is composed of physical objects that overlap each other. The prior art system can detect a state where two or more physical objects overlap by using a reference size corresponding to one physical object, but distinguishes a state where a person and a thing overlap with a state where two or more people overlap. Can not. The former does not need to alarm, but the latter needs to alarm. In addition, while the prior art system removes noise by calculating the difference between the pre-recorded background image and the current image, it is possible to remove static physical objects such as walls or plants (hereinafter referred to as "static noise"). Even if it does, dynamic physical objects (henceforth "dynamic noise"), such as a luggage and a car, cannot be removed.

그러므로, 본 발명의 제1 목적은, 검출 영역 내의 하나 이상의 물리 대상을, 그 하나 이상의 물리 대상을 검출하기 위한 구성 요소의 수를 증가시키지 않고, 개별로 검출하는 것이다.Therefore, the first object of the present invention is to individually detect one or more physical objects in the detection area without increasing the number of components for detecting the one or more physical objects.

본 발명의 제2 목적은, 사람 및 동적 노이즈가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별하는 것이다.A second object of the present invention is to distinguish a state where a person and dynamic noise overlap with a state where two or more people overlap.

본 발명의 개체 검출기는, 거리 화상 센서(range image sensor) 및 대상 검출단(object detctection stage)을 구비한다. 상기 거리 화상 센서는, 검출 영역에 면하여 배치되고, 거리 화상을 생성한다. 하나 이상의 물리 대상이 영역에 있을 때, 거리 화상의 각 화상 요소(image element)는, 상기 하나 이상의 물리 대상까지의 각 거리 값을 각각 포함한다. 대상 검출단은 센서에 의해 생성된 거리 화상에 기초하여, 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출한다.The object detector of the present invention includes a range image sensor and an object detctection stage. The said distance image sensor is arrange | positioned facing the detection area, and produces | generates a distance image. When one or more physical objects are in the area, each image element of the distance image includes each distance value to the one or more physical objects, respectively. The object detecting stage individually detects one or more physical objects in the detection area based on the distance image generated by the sensor.

이 구성에서는, 검출 영역에서의 하나 이상의 물리 대상이 센서에 의해 생성된 거리 화상에 기초하여 개별로 검출되기 때문에, 검출 영역에서의 하나 이상의 물리 대상을, 그 하나 이상의 물리 대상을 검출하기 위한 구성 요소(센서)의 수를 증가시키지 않고, 개별로 검출할 수 있다.In this configuration, since one or more physical objects in the detection area are individually detected based on the distance image generated by the sensor, one or more physical objects in the detection area detect the one or more physical objects. It can be detected individually without increasing the number of (sensors).

본 발명의 대체 실시예에 있어서, 거리 화상 센서는 하방의 검출 영역에 대해 하향으로 면하여 배치된다. 대상 검출단은 검출 영역에서 검출되어야 할 하나 이상의 물리 대상을, 거리 화상으로부터 얻어지는 그 검출되어야 할 하나 이상의 물리 대상의 특정 또는 각 고도에 있는 부분의 데이터에 기초하여 개별로 검출한다In an alternative embodiment of the invention, the distance image sensor is disposed facing downward with respect to the downward detection area. The object detecting stage individually detects one or more physical objects to be detected in the detection area based on data of a specific or angular portion of the one or more physical objects to be detected obtained from the distance image.

이 구성에서는, 예를 들면, 동적 노이즈가 나타나지 않는 그러한 고도에 있는 물리 대상의 부분을 검출하거나, 또는 검출되어야 할 각 물리 대상의 소정 부분을 검출할 수 있다. 그 결과, 사람 및 동적 노이즈가 겹쳐 있는 상태를, 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, for example, it is possible to detect a portion of a physical object at such altitude where no dynamic noise appears, or to detect a predetermined portion of each physical object to be detected. As a result, it is possible to distinguish the state where the person and the dynamic noise overlap with the state where the two or more persons overlap.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 센서로부터 미리 얻어진 거리 화상인 배경 거리 화상과, 센서로부터 얻어진 현재의 거리 화상과의 차분에 기초하여 전경(foreground, 前景) 거리 화상을 생성하고, 상기 전경 거리 화상에 기초하여 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서 하나 이상의 사람을 개별로 검출한다. 본 발명에 의하면, 전경 거리 화상이 정적 노이즈를 포함하지 않기 때문에, 정적 노이즈를 제거할 수 있다.In another alternative embodiment of the present invention, the object detecting stage generates a foreground distance image based on the difference between the background distance image, which is a distance image previously obtained from the sensor, and the current distance image obtained from the sensor, One or more persons are individually detected as one or more physical objects to be detected in the detection area based on the foreground distance image. According to the present invention, since the foreground distance image does not contain static noise, static noise can be removed.

본 발명의 다른 대체 실시예에 있어서, 상기 대상 검출단은 현재의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써, 전경 거리 화상을 생성한다. 상기 특정 화상 요소는, 현재의 거리 화상의 화상 요소를 배경 거리 화상의 대응하는 화상 요소에서 감산하여 얻은 거리 차분이 소정의 거리 한계치(threshold value)보다 큰 경우에, 추출된다 In another alternative embodiment of the present invention, the target detection end generates a foreground distance image by extracting a specific image element from each image element of the current distance image. The specific image element is extracted when the distance difference obtained by subtracting the image element of the current distance image from the corresponding image element of the background distance image is greater than a predetermined distance threshold value.

이 구성에서는, 배경 거리 화상에 대응하는 위치로부터 소정의 거리 한계치대응하는 거리 만큼의 전방의 위치보다 후방에 있는 하나 이상의 물리 대상을 제거할 수 있으므로, 동적 노이즈(예를 들면, 하물, 짐수레 등)가 소정의 거리 한계치가 적절한 값으로 설정되면 제거된다. 그 결과, 사람과 동적 노이즈가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, since one or more physical objects behind the position corresponding to the predetermined distance threshold value can be removed from the position corresponding to the background distance image, dynamic noise (for example, luggage, luggage, etc.) can be removed. Is removed if the predetermined distance threshold is set to an appropriate value. As a result, it is possible to distinguish the state where the person and the dynamic noise overlap with the state where two or more people overlap.

본 발명의 다른 대체 실시예에 있어서, 거리 화상 센서는 광학 시스템과, 상기 광학 시스템을 통하여 검출 영역에 면하여 배치되는 2차원 감광 어레이(photosensitive array)로 구성되는 카메라 구조를 가진다. 대상 검출단은, 미리 기록된 거리 화상 센서에 대한 카메라 캘리브레이션(calibration) 데이터에 기초하여, 카메라 구조에 의존하는 전경 거리 화상의 카메라 좌표계를 직교 좌표계로 변환하여, 상기 물리 대상의 존재/부존재의 각 위치를 나타낸 직교 좌표 변환 화상을 생성한다.In another alternative embodiment of the invention, the distance image sensor has a camera structure consisting of an optical system and a two-dimensional photosensitive array disposed to face the detection area through the optical system. The object detecting stage converts the camera coordinate system of the foreground distance image depending on the camera structure into a Cartesian coordinate system based on camera calibration data for the distance image sensor recorded in advance, and thus the angle of presence / absence of the physical object. A Cartesian coordinate transform image showing the position is generated.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 직교 좌표 변환 화상의 직교 좌표계를, 실제 공간 상에 가상으로 설정되는 세계 좌표계(world coordinate system)로 변환하여, 상기 물리 대상의 존재/부존재의 각 위치를 실제 위치 및 실제 치수로 나타낸 세계 좌표 변환 화상을 생성한다.In another alternative embodiment of the present invention, the object detecting stage converts the Cartesian coordinate system of the Cartesian coordinate transformation image into a world coordinate system virtually set in the real space, so that the presence / absence of the physical object is present. A world coordinate transformed image is generated that represents each position in actual position and in actual dimensions.

이 구성에서는, 직교 좌표 변환 화상의 직교 좌표계가, 예를 들면 센서의 위치, 내림 각(depression angle) 등의 데이터에 기초하여, 회전 및 평행이동 등에 의해 세계 좌표계로 변환되어, 세계 좌표 변환 화상에서의 하나 이상의 물리 대상의 데이터를 실제 위치 및 실제 치수(거리, 크기)로 취급할 수 있다.In this configuration, the Cartesian coordinate system of the Cartesian coordinate transformed image is converted into the world coordinate system by rotation and parallel movement or the like based on data such as the position of the sensor, the depression angle, and the like. The data of one or more physical objects of may be treated as actual location and actual dimensions (distance, size).

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 세계 좌표 변환 화상을 평행 투영으로 소정 평면상에 투영하여, 세계 좌표 변환 화상에서의 소정 평면에서 본 각 화상 요소로부터 구성되는 평행 투영 화상을 생성한다.In another alternative embodiment of the present invention, the target detecting end projects the world coordinate converted image on a predetermined plane in parallel projection to generate a parallel projection image composed from each image element viewed from a predetermined plane in the world coordinate converted image. do.

이 구성에서는, 평행 투영 화상을 생성함으로써 세계 좌표 변환 화상의 데이터량을 삭감할 수 있다. 또 예를 들면, 평면이 천정 측의 수평면일 때, 평행 투영 화상으로부터 검출되어야 할 하나 이상의 사람의 데이터를 개별로 추출할 수 있다. 평면이 수직면일 때, 평행 투영 화상으로부터 사람의 측면의 2차원 실루엣을 얻을 수 있고, 그 실루엣에 대응하는 패턴을 사용하면, 평행 투영 화상에 기초하여 사람(들)을 검출할 수 있다.In this structure, the data amount of a world coordinate conversion image can be reduced by generating a parallel projection image. Further, for example, when the plane is a horizontal plane on the ceiling side, data of one or more persons to be detected can be separately extracted from the parallel projection image. When the plane is a vertical plane, a two-dimensional silhouette of the side of the person can be obtained from the parallel projection image, and by using a pattern corresponding to the silhouette, the person (s) can be detected based on the parallel projection image.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 세계 좌표 변환 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 샘플링 데이터가 사람의 부위(region)에 기초하여 미리 기록된 기준 데이터에 대응하는 지 여부를 식별하여, 각각 상기 샘플링 데이터에 대응하는 물리 대상(들)이 사람(들)인지 여부를 판별한다.In another alternative embodiment of the present invention, the object detecting stage extracts sampling data corresponding to the portion of the one or more physical objects from the world coordinate transformation image, wherein the sampling data is pre-recorded based on the region of the person. By identifying whether or not corresponding to the reference data, it is determined whether the physical object (s) corresponding to the sampling data, respectively, is the person (s).

이 구성에서는, 기준 데이터는 정적 노이즈 및 동적 노이즈(예를 들면, 하물, 짐수레 등)가 제거된 세계 좌표 변환 화상에 있어서 실질적으로 사람 특징을 갖는 데이터의 역할을 하므로, 검출 영역에서의 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, the reference data serves as data having substantially human characteristics in the world coordinate transformation image from which static noise and dynamic noise (for example, luggage, trolleys, etc.) have been removed, and therefore, at least one person in the detection area. Can be detected individually.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 평행 투영 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 샘플링 데이터가 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는 지 여부를 식별하고, 각각 상기 샘플링 데이터에 대응하는 물리 대상(들)이 사람(들)인지 여부를 판별한다.In another alternative embodiment of the present invention, the object detecting end extracts sampling data corresponding to the portion of the one or more physical objects from the parallel projection image, and the sampling data corresponds to previously recorded reference data based on the part of the person. And whether the physical object (s) corresponding to the sampling data are the person (s), respectively.

이 구성에서는, 사람의 부위(윤곽)의 기준 데이터는 정적 노이즈 및 동적 노이즈(예를 들면, 하물, 짐수레 등)가 제거된 평행 투영 화상에 있어서 실질적으로 사람 특징을 갖는 데이터의 역할을 하므로, 검출 영역에서의 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, since the reference data of the human part (contour) serves as data having substantially human characteristics in the parallel projection image from which static noise and dynamic noise (for example, loads, carts, etc.) have been removed, One or more people in the area can be detected individually.

본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 세계 좌표 변환 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 체적이나, 폭과 깊이와 높이의 비를 포함한다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 사람의 부위의 체적이나, 폭과 깊이와 높이의 비에 대한 값 또는 값의 범위이다. 본 발명에 의하면, 검출 영역에서의 사람의 수를 검출할 수 있다.In another alternative embodiment of the invention, the sampling data comprises the volume of one or more portions of the physical object virtually represented in the world coordinate transformed image, or the ratio of width to depth and height. The reference data is pre-recorded based on one or more parts of the person and is a value or range of values for the volume of the part of the person or the ratio of width to depth to height. According to the present invention, the number of people in the detection area can be detected.

본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 면적이나, 폭과 깊이의 비이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 사람의 부위의 면적이나, 폭과 깊이의 비에 대한 값 또는 값의 범위이다. 본 발명에 의하면, 검출 영역에서의 사람의 수를 검출할 수 있다.In another alternative embodiment of the invention, the sampling data is the area of one or more portions of the physical object virtually represented in the parallel projection image, or the ratio of width and depth. The reference data is previously recorded based on one or more human parts and is a value or range of values for the area of the human part or the ratio of width to depth. According to the present invention, the number of people in the detection area can be detected.

본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 세계 좌표 변환 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 3차원 패턴이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 3차원 패턴이다.In another alternative embodiment of the invention, the sampling data is a three-dimensional pattern of portions of one or more physical objects virtually represented in a world coordinate transformed image. The reference data is at least one three-dimensional pattern previously recorded based on one or more human portions.

이 구성에서는, 예를 들면, 사람의 어깨에서부터 머리부분(head)까지의 3차원 패턴을 기준 데이터에 선정함으로써, 검출 영역에서의 사람의 수를 검출할 수 있고, 또 사람의 움직이는 손의 영향도 배제할 수 있다. 또한, 사람의 머리부분의 3차원 패턴을 기준 데이터에 선정함으로써, 각자의 체격에 관계없이 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, for example, by selecting the three-dimensional pattern from the shoulder of the person to the head as reference data, the number of people in the detection area can be detected, and the influence of the moving hand of the person is also achieved. Can be excluded. In addition, by selecting the three-dimensional pattern of the head of the person to the reference data, one or more people can be detected individually regardless of their physique.

본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 2차원 패턴이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 2차원 패턴이다.In another alternative embodiment of the invention, the sampling data is a two-dimensional pattern of portions of one or more physical objects virtually represented in a parallel projection image. The reference data is at least one two-dimensional pattern previously recorded based on one or more human portions.

이 구성에서는, 예를 들면, 사람의 어깨와 머리부분 사이의 적어도 하나의 2차원 윤곽 패턴을 기준 데이터에 선정함으로써, 검출 영역에서의 사람의 수를 검출할 수 있고, 또 사람의 움직이는 손의 영향도 배제할 수 있다. 또한, 사람의 머리부분의 2차원 윤곽 패턴을 기준 데이터에 선정함으로써, 각자의 체격에 관계없이 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, for example, by selecting at least one two-dimensional contour pattern between the shoulder and the head of a person as reference data, the number of people in the detection area can be detected, and the influence of the moving hand of the person can be detected. Can also be excluded. In addition, by selecting the two-dimensional contour pattern of the head of a person as reference data, one or more people can be detected individually regardless of their physique.

본 발명의 다른 대체 실시예에 있어서, 거리 화상 센서는 강도 변조광을 검출 영역으로 방출하는 광원을 더 포함하고, 화상 요소마다의 수광 강도에 기초하여 거리 화상에 더해 강도 화상을 생성한다. 대상 검출단은 직교 좌표 변환 화상에 기초하여, 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 강도 화상에 기초하여, 샘플링 데이터에 대응하는 물리 대상(들)의 부분에 소정 강도보다 낮은 부분(들)이 있는지 여부를 판별한다. 이 구성에서는, 소정 강도보다 낮은 물리 대상(들)의 부분을 검출할 수 있다.In another alternative embodiment of the present invention, the distance image sensor further includes a light source for emitting intensity modulated light to the detection area, and generates an intensity image in addition to the distance image based on the received intensity of each image element. The object detecting stage extracts sampling data corresponding to the portion of the one or more physical objects based on the Cartesian coordinate transform image, and based on the intensity image, the object detecting end is lower than the predetermined intensity to the portion of the physical object (s) corresponding to the sampling data. Determine if there is part (s). In this configuration, the portion of the physical object (s) lower than the predetermined intensity can be detected.

본 발명의 다른 대체 실시예에 있어서, 거리 화상 센서는 강도 변조 적외광을 검출 영역에 방출하는 광원을 더 포함하고, 검출 영역으로부터의 적외광에 기초하여, 거리 화상에 더해 적외광의 강도 화상을 생성한다. 대상 검출단은 세계 좌표 변환 화상에 기초하여, 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 강도 화상에 기초하여, 샘플링 데이터에 대응하는 각 물리 대상의 부분으로부터의 적외광의 평균 강도가 소정 강도보다 낮은지 여부를 식별하여, 그 샘플링 데이터에 대응하는 각 물리 대상의 부분이 사람의 머리부분인지 여부를 판별한다. 이 구성에서는, 적외광에 대한 사람의 두발의 반사율은 통상 사람의 어깨 측의 반사율보다 낮기 때문에, 사람의 머리부분을 검출할 수 있다.In another alternative embodiment of the invention, the distance image sensor further comprises a light source for emitting intensity modulated infrared light to the detection area, and based on the infrared light from the detection area, the intensity image of the infrared light in addition to the distance image. Create The object detecting stage extracts sampling data corresponding to one or more parts of the physical object based on the world coordinate transform image, and average intensity of infrared light from each part of the physical object corresponding to the sampling data based on the intensity image. Is identified as lower than a predetermined intensity, and it is determined whether the portion of each physical object corresponding to the sampling data is the head of a person. In this configuration, since the reflectance of the human head with respect to infrared light is lower than that of the human shoulder side, the human head can be detected.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 사람으로서 판별된 물리 대상의 수를 기초로, 평행 투영 화상에서의 사람으로서 판별된 물리 대상의 부분의 위치를 클러스터(cluster)의 구성요소에 할당하고, 클러스터링(clustering)의 K-평균 알고리즘에 의해 얻어지는 분할 영역에 기초하여, 물리 대상의 수를 검증한다. 이 구성에서는, 사람으로서 판별된 물리 대상의 수를 검증할 수 있고, 또한 그 사람의 위치를 추정할 수 있다.In another alternative embodiment of the present invention, the object detecting stage is configured to assign the position of the portion of the physical object determined as the person in the parallel projection image to the components of the cluster based on the number of physical objects determined as the person. The number of physical objects is verified based on the partitions allocated and obtained by the K-average algorithm of clustering. In this configuration, the number of physical objects determined as a person can be verified, and the position of the person can be estimated.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써, 전경 거리 화상을 생성하고, 그 전경 거리 화상에 기초하여 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서의 하나 이상의 사람을 개별로 검출한다. 특정 화상 요소는 거리 화상의 화상 요소의 거리 값이 소정의 거리 한계치보다 작을 때 추출된다.In another alternative embodiment of the present invention, the target detecting end generates a foreground distance image by extracting a specific image element from each image element of the distance image, and one to be detected in the detection area based on the foreground distance image. One or more persons as the above physical objects are detected individually. The specific image element is extracted when the distance value of the image element of the distance image is smaller than the predetermined distance limit.

이 구성에서는, 거리 화상 센서의 위치와 거리 화상 센서로부터 (소정의 거리 한계치에 대응하는 거리) 떨어진 전방의 위치 사이의 물리 대상을 검출할 수 있으므로, 소정의 거리 한계치가 적절한 값으로 설정되는 경우, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를, 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, since the physical object can be detected between the position of the distance image sensor and the position in front of the distance image sensor (the distance corresponding to the predetermined distance limit value), when the predetermined distance limit value is set to an appropriate value, The state where a person and dynamic noise (for example, a baggage, a cart, etc.) overlap is distinguishable from the state which two or more people overlap.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 거리 화상의 거리값 분포의 최소값을 가지는 화상 요소 부근의 거리 화상이, 사람의 부위에 기초하여 미리 기록된 특정 형상 및 그 특정 형상의 크기에 대응하는지 여부를 식별하여, 각각 상기 최소값을 가지는 화상 요소 부근의 거리 화상에 대응하는 물리 대상(들)이 사람(들)인지 여부를 판별한다. 이 구성에서는, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를, 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In another alternative embodiment of the present invention, the target detecting end is configured to display a distance image in the vicinity of an image element having a minimum value of the distance value distribution of the distance image in a predetermined shape and the size of the specific shape previously recorded based on the part of the person. By identifying whether or not they correspond, it is determined whether or not the physical object (s) corresponding to the distance image in the vicinity of the image element each having the minimum value is a person (s). In this configuration, it is possible to distinguish a state where a person and dynamic noise (for example, a load, a cart, etc.) overlap with a state where two or more persons overlap.

본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 거리 화상의 각 거리값으로부터 분포 화상을 생성하고, 분포 화상에 기초하여 상기 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출한다. 분포 화상은 하나 이상의 물리 대상이 검출 영역에 있을 때, 하나 이상의 분포 영역을 포함한다. 분포 영역은 거리 화상에서의 소정의 거리 한계치보다 작은 거리값을 가지는 각 화상 요소로부터 형성된다. 소정의 거리 한계치는, 거리 화상의 각 거리값의 최소값에 소정의 거리값을 가산하여 얻어진다.In another alternative embodiment of the present invention, the object detection stage generates a distribution image from each distance value of the distance image, and individually detects one or more physical objects in the detection area based on the distribution image. The distribution image includes one or more distribution areas when one or more physical objects are in the detection area. A distribution area is formed from each image element having a distance value smaller than a predetermined distance threshold in the distance image. The predetermined distance limit value is obtained by adding the predetermined distance value to the minimum value of each distance value of the distance image.

이 구성에서는, 검출 영역에서의 검출되어야 할 하나 이상의 사람의 머리부분을 검출할 수 있으므로, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, since the head of one or more persons to be detected in the detection area can be detected, the state in which the human and the dynamic noise (for example, luggage, cart, etc.) overlap with the state in which two or more persons overlap. Can be distinguished.

본 발명의 동반입장 검출 디바이스는, 상기 개체 검출기 및 동반입장 검출단을 포함한다. 거리 화상 센서는 거리 화상을 연속적으로 생성한다. 동반입장 검출단은 동반입장 경계 시에, 대상 검출단에 의해 검출된 하나 이상의 사람의 이동 궤적을 개별로 추적한다. 동반입장 검출단은 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동한 때, 동반입장의 발생을 검출하여 경보 신호를 출력한다.The co-occurrence detection device of the present invention includes the individual detector and the co-occurrence detection stage. The range image sensor produces the range image continuously. The co-occupation detection stage separately tracks the movement trajectories of one or more persons detected by the target detection stage at the co-entry boundary. The companion entrance detecting stage detects the occurrence of companion entrance and outputs an alarm signal when two or more persons move to / from the detection area in a predetermined direction.

이 구성에서는, 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동한 때에 경보 신호가 출력되므로, 동반입장을 방지할 수 있다. 또, 복수의 사람을 검출하여도, 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동하지 않을 때는 경보 신호를 전송하지 않기 때문에, 오보를 방지할 수 있다.In this configuration, the alarm signal is output when two or more people move to / from the detection area in a predetermined direction, so that the accompanying entrance can be prevented. In addition, even if a plurality of people are detected, a false alarm can be prevented because an alarm signal is not transmitted when two or more people do not move to / from the detection area in a predetermined direction.

본 발명의 다른 동반입장 검출 디바이스는, 상기 개체 검출기 및 동반입장 검출단을 포함한다. 거리 화상 센서는 거리 화상을 연속적으로 생성한다. 동반입장 검출단은 대상 검출단에 의해 검출된 하나 이상의 사람의 출입과 출입의 각 방향을 감시한다. 동반입장 경계용으로 설정된 소정의 시간 내에, 2 이상의 사람이 소정 방향으로 상기 검출 영역에/검출 영역으로부터 이동한 때에, 동반입장의 발생을 검출하여 경보 신호를 전송한다.Another co-occurrence detection device of the present invention includes the individual detector and the co-occupation detection stage. The range image sensor produces the range image continuously. The companion entrance detection stage monitors the entry and exit of each of the one or more persons detected by the target detection stage and the respective directions of entry and exit. When two or more persons move to / from the detection area in the predetermined direction within a predetermined time set for the accompanying entrance boundary, the occurrence of the accompanying entrance is detected and an alarm signal is transmitted.

이 구성에서는, 2 이상의 사람이 소정 방향으로 검출 영역에/검출 영역으로부터 이동한 때에 경보 신호가 전송되므로, 따라 들어가는 것을 방지할 수 있다. 또, 복수의 사람을 검출하여도, 2 이상의 사람이 소정 방향으로 검출 영역에/검출 영역로부터 이동하지 않을 때는 경보 신호가 전송되지 않기 때문에, 오보를 방지할 수 있다.In this configuration, the alarm signal is transmitted when two or more people move to / from the detection area in a predetermined direction, so that it can be prevented from entering. In addition, even if a plurality of people are detected, a false alarm can be prevented because an alarm signal is not transmitted when two or more people do not move to / from the detection area in a predetermined direction.

본 발명의 바람직한 실시예를 보다 상세하게 기술한다. 본 발명의 다른 특징 및 이점은 이하의 상세한 기술 및 첨부 도면과 관련하여 한층 잘 이해될 것이다.Preferred embodiments of the invention are described in more detail. Other features and advantages of the invention will be better understood with reference to the following detailed description and accompanying drawings.

도 1은 본 발명에 따른 제1 실시예의 동반입장 검출 디바이스를 구비한 관리 시스템을 나타낸 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the management system provided with the companion entrance detection device of 1st Embodiment which concerns on this invention.

도 2는 도 1의 관리 시스템에 의해 관리될 방의 도어 근방을 나타낸 도면이다.FIG. 2 is a view showing the vicinity of a door of a room to be managed by the management system of FIG. 1.

도 3은 동반입장 검출 디바이스의 거리 화상 센서로부터 얻어지는 거리 화상 또는 전경 거리 화상의 각 화상 요소의 3차원에의 전개도이다.3 is a developed view in three dimensions of each image element of a distance image or a foreground distance image obtained from a distance image sensor of a companion entrance detection device.

도 4a는 검출 영역의 상태의 예를 나타낸 도면이다.4A is a diagram illustrating an example of a state of a detection area.

도 4b는 도 4a의 거리 화상을 나타낸 도면이다.4B is a diagram illustrating the distance image of FIG. 4A.

도 4c는 도 4b의 거리 화상으로부터 생성되는 전경 거리 화상을 나타낸 도면이다.4C is a diagram illustrating a foreground distance image generated from the distance image of FIG. 4B.

도 5은 전경 거리 화상으로부터 생성되는 직교 좌표 변환 화상 및 평행 투영 화상을 나타낸 도면이다.5 is a view showing a rectangular coordinate transform image and a parallel projection image generated from a foreground distance image.

도 6은 평행 투영 화상으로부터 추출되는 각 부 위를 나타낸 도면이다.Fig. 6 is a diagram showing each part extracted from the parallel projection image.

도 7a는 도 6의 추출된 부위의 예를 나타낸 도면이다.7A is a diagram illustrating an example of the extracted region of FIG. 6.

도 7b는 도 6의 추출된 부위의 예를 나타낸 도면이다.FIG. 7B is a diagram illustrating an example of the extracted region of FIG. 6.

도 8a는 도 6의 추출된 부위의 예를 나타낸 도면이다.8A is a diagram illustrating an example of the extracted region of FIG. 6.

도 8b는 미리 기록된 패턴의 예를 나타낸 도면이다.8B is a diagram illustrating an example of a pre-recorded pattern.

도 8c는 미리 기록된 패턴의 다른 예를 나타낸 도면이다.8C is a diagram showing another example of a pre-recorded pattern.

도 9는 3차원의 직교 좌표 변환 화상 또는 3차원의 세계 좌표 변환 화상으로부터 얻어지는 각 수평 단면 화상을 나타낸 도면이다.Fig. 9 is a diagram showing each horizontal cross-sectional image obtained from a three-dimensional rectangular coordinate converted image or a three-dimensional world coordinate converted image.

도 10a은 머리부분의 단면 및 두발을 기초로 검출된 머리부분의 위치를 나타낸 도면이다.Figure 10a is a view showing the position of the detected head based on the cross section of the head and the hair.

도 10b는 머리부분의 단면 및 두발을 기초로 검출된 머리부분의 위치를 나타낸 도면이다.10B is a view showing the position of the detected head based on the cross section of the head and the hair.

도 11은 대상 검출단 및 동반입장 검출단을 구성하는 CPU에 의해 실행되는 흐름도이다.11 is a flowchart executed by a CPU constituting the target detection stage and the companion entrance detection stage.

도 12는 상기 CPU에 의해 실행되는 흐름도이다.12 is a flowchart executed by the CPU.

도 13은 본 발명에 따른 제2 실시예의 들어감 검출 디바이스에서의 대상 검출단에 의해 실행되는 클러스터링 처리를 나타낸 도면이다.Fig. 13 is a diagram showing the clustering process executed by the target detecting end in the inlet detecting device of the second embodiment according to the present invention.

도 14는 본 발명에 따른 제3 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다.Fig. 14 is an explanatory view of the operation of the target detection stage in the companion entrance detecting device of the third embodiment according to the present invention.

도 15는 본 발명에 따른 제4 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다.15 is an explanatory diagram of the operation of the target detection stage in the companion entrance detecting device according to the fourth embodiment of the present invention.

도 16은 본 발명에 따른 제5 실시예의 동반입장 검출 디바이스에서의 동반입장 검출단의 동작 설명도이다.Fig. 16 is an explanatory view of the operation of the co-occupation detection stage in the co-occupation detection device of the fifth embodiment according to the present invention.

도 17은 본 발명에 따른 제6 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서의 구성도이다.Fig. 17 is a configuration diagram of a distance image sensor in the companion entrance detecting device of the sixth embodiment according to the present invention.

도 18은 도 17의 거리 화상 센서의 동작 설명도이다.18 is an explanatory diagram of the operation of the distance image sensor of FIG. 17.

도 19a는 도 17의 거리 화상 센서에서의 하나의 감광부에 대응하는 영역을 나타낸 도면이다.19A is a diagram illustrating a region corresponding to one photosensitive portion in the distance image sensor of FIG. 17.

도 19b는 도 17의 거리 화상 센서에서의 하나의 감광부에 대응하는 영역을 나타낸 도면이다.FIG. 19B is a diagram illustrating a region corresponding to one photosensitive portion in the distance image sensor of FIG. 17.

도 20은 도 17의 거리 화상 센서에서의 전하 픽업 유닛의 설명도이다.20 is an explanatory diagram of a charge pickup unit in the distance image sensor of FIG. 17.

도 21은 본 발명에 의한 제7 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서의 동작 설명도이다.Fig. 21 is an explanatory diagram of the operation of the distance image sensor in the companion entrance detecting device according to the seventh embodiment of the present invention.

도 22a는 도 21의 거리 화상 센서의 동작 설명도이다.22A is an explanatory diagram of the operation of the range image sensor of FIG. 21.

도 22b는 도 21의 거리 화상 센서의 동작 설명도이다.22B is an operation explanatory diagram of the distance image sensor in FIG. 21.

도 23a는 도 21의 거리 화상 센서의 대체 실시예를 나타낸 도면이다.FIG. 23A illustrates an alternative embodiment of the distance image sensor of FIG. 21.

도 23b는 도 21의 거리 화상 센서의 대체 실시예를 나타낸 도면이다.FIG. 23B illustrates an alternative embodiment of the distance image sensor of FIG. 21.

도 1은 본 발명에 따른 제1 실시예의 동반입장 검출 디바이스를 갖춘 관리 시스템을 나타낸 것이다.1 shows a management system with a co-occurrence detection device of a first embodiment according to the present invention.

관리 시스템은, 도 1 및 도 2에 나타낸 바와 같이, 적어도 하나의 동반입장 검출 디바이스(1), 보안 디바이스(2) 및 적어도 하나의 입력 디바이스(3)를, 관리되어야 할 방의 도어(20)마다 포함하고, 또 각 동반입장 검출 디바이스(1), 각 보안 디바이스(2) 및 각 입력 디바이스(3)와 통신하는 제어 디바이스(4)를 포함한다. 그리고, 본 발명의 관리 시스템은 입장 관리 시스템에 한정되지 않고, 출입 관리 시스템일 수도 있다.As shown in FIGS. 1 and 2, the management system includes at least one companion entrance detection device 1, a security device 2, and at least one input device 3 for each door 20 of a room to be managed. And a control device 4 which communicates with each of the accompanying entrance detection devices 1, each security device 2, and each input device 3. Incidentally, the management system of the present invention is not limited to the entrance management system, but may be an access management system.

보안 디바이스(2)는 자동 잠금 기능을 가지고, 제어 디바이스(4)로부터의 잠금해제 제어신호에 따라 도어(20)를 여는 전자 자물쇠(electric lock)이다. 전자 자물쇠는 도어(20)를 잠근 후, 폐쇄 통지 신호를 제어 디바이스(4)에 송신한다.The security device 2 has an automatic lock function and is an electric lock which opens the door 20 according to the unlock control signal from the control device 4. The electronic lock locks the door 20 and then transmits a closing notification signal to the control device 4.

일 대체예에서는, 보안 디바이스(2)는 자동 도어 시스템에서의 개폐 제어 디바이스이다. 개폐 제어 디바이스는 제어 디바이스(4)로부터의 개방 또는 폐쇄 제어 신호에 따라, 각각 도어(20)를 열거나 도어(20)를 닫은 후, 폐쇄 통지 신호를 제어 디바이스(4)에 송신한다.In one alternative, the security device 2 is an opening and closing control device in an automatic door system. The open / close control device transmits the closing notification signal to the control device 4 after opening or closing the door 20 or closing the door 20, respectively, in accordance with the opening or closing control signal from the control device 4.

입력 디바이스(3)는 도어(20) 외측의 인접한 벽에 설치되어 ID 카드의 ID 정보를 판독하여 제어 디바이스(4)에 송신하는 카드 판독기이다. 관리 시스템이 출입 관리 시스템인 경우에는, 다른 입력 디바이스(3), 예를 들면 카드 판독기가 도어(20) 내측의 관리될 방의 벽에도 설치된다.The input device 3 is a card reader provided on an adjacent wall outside the door 20 to read ID information of the ID card and transmit it to the control device 4. In the case where the management system is an access control system, another input device 3, for example, a card reader, is also provided in the wall of the room to be managed inside the door 20.

제어 디바이스(4)는 CPU 및 미리 등록된 각 ID 정보 및 프로그램 등을 기억하는 스토리지 디바이스 등으로 구성되며, 시스템 전반의 제어를 실행한다.The control device 4 is composed of a CPU and a storage device for storing each registered ID information, a program, and the like, and performs control of the system as a whole.

예를 들면, 제어 디바이스(4)는 입력 디바이스(3)으로부터의 ID 정보가 기억 장치에 미리 기록된 ID 정보와 일치한 때, 대응하는 보안 디바이스(2)에 잠금해제 제어 신호를 송신하고, 또한 대응하는 동반입장 검출 디바이스(1)에 입장 허가 신호를 송신한다. 또, 제어 디바이스(4)는 보안 디바이스(2)로부터 폐쇄 통지 신호를 수신한 때, 대응하는 동반입장 검출 디바이스(1)에 입장 금지 신호를 송신한다.For example, the control device 4 transmits the unlock control signal to the corresponding security device 2 when the ID information from the input device 3 matches the ID information previously recorded in the storage device, The entrance permission signal is transmitted to the corresponding companion entrance detection device 1. In addition, when the control device 4 receives the closing notification signal from the security device 2, the control device 4 transmits an entrance prohibition signal to the corresponding companion entrance detection device 1.

보안 디바이스(2)가 개폐 제어 디바이스인 대체예에서는, 제어 디바이스(4)는 입력 디바이스(3)로부터의 ID 정보가 기억 장치에 기록된 ID 정보와 일치한 때, 대응하는 개폐 제어 디바이스에 개방 제어 신호를 송신하고, 일정 시간 후, 대응하는 개폐 제어 디바이스에 폐쇄 제어 신호를 송신한다. 또, 제어 디바이스(4)는 개폐 제어 디바이스로부터 폐쇄 통지 신호를 수신한 때, 대응하는 동반입장 검출 디바이스(1)에 입장 금지 신호를 송신한다.In an alternative example where the security device 2 is an open / close control device, the control device 4 controls opening to the corresponding open / close control device when the ID information from the input device 3 matches the ID information recorded in the storage device. The signal is transmitted, and after a certain time, the closing control signal is transmitted to the corresponding opening and closing control device. In addition, when the control device 4 receives the closing notification signal from the open / close control device, the control device 4 transmits an entrance prohibition signal to the corresponding companion entrance detection device 1.

또, 제어 디바이스(4)는 동반입장 검출 디바이스(1)로부터 경보 신호를 수신한 때, 예를 들면 관리자에게 통지, 카메라(도시하지 않음)의 작동 시간 연장 등의 소정의 처리를 실행한다. 경보 신호를 수신한 후, 소정의 해제 조작이 실행되거나, 소정의 시간이 경과하면, 제어 디바이스(4)는 대응하는 동반입장 검출 디바이스(1)에 해제 신호를 송신한다.In addition, when the control device 4 receives the alarm signal from the companion entrance detection device 1, for example, the control device 4 performs predetermined processing such as notification to the administrator, extension of the operating time of a camera (not shown), and the like. After the warning signal is received, if a predetermined release operation is executed or a predetermined time elapses, the control device 4 transmits a release signal to the corresponding companion entrance detection device 1.

동반입장 검출 디바이스(1)는 거리 화상 센서(10) 및 대상 검출단(16)에 의해 구성되는 개체 검출기, 동반입장 검출단(17) 및 경보단(18)을 구비한다. 대상 검출단(16) 및 동반입장 검출단(17)은, CPU 및 프로그램 등을 기억하는 스토리지 디바이스 등에 의해 구성된다.The companion entrance detecting device 1 includes an object detector, a companion entrance detection stage 17 and an alarm stage 18 constituted by the distance image sensor 10 and the target detection stage 16. The target detecting stage 16 and the accompanying entrance detecting stage 17 are configured by a storage device that stores a CPU, a program, and the like.

거리 화상 센서(10)는 하방의 검출 영역(A1)에 대해서 하향으로 면하여 배치되고, 거리 화상을 연속적으로 생성한다. 하나 이상의 물리 대상이 검출 영역(A1)에 있을 때, 각각의 거리 화상의 각 화상 요소는, 도 3에 나타낸 바와 같이, 그 하나 이상의 물리 대상까지의 각각의 거리 값을 각각 포함한다. 예를 들면, 도 4a에 나타낸 바와 같이, 사람(B1) 및 짐수레(C1)가 검출 영역에 있을 때는, 도 4b에 나 타낸 바와 같은 거리 화상(D1)을 얻을 수 있다.The distance image sensor 10 faces downward with respect to the downward detection area | region A1, and produces | generates a distance image continuously. When one or more physical objects are in the detection area A1, each image element of each distance image includes respective distance values to the one or more physical objects, as shown in FIG. For example, as shown in FIG. 4A, when the person B1 and the luggage cart C1 are in the detection area, the distance image D1 as shown in FIG. 4B can be obtained.

제1 실시예에서는, 센서(10)는 강도 변조 적외광을 검출 영역(A1)에 방출하는 광원(도시하지 않음)을 포함하고, 렌즈 및 적외광 투과 필터 등의 광학계와, 광학계를 통하여 검출 영역(A1)에 면하여 배치되는 2차원 감광 어레이에 의해 구성되는 카메라 구조(도시하지 않음)를 가진다. 또 카메라 구조를 가지는 센서(10)는 검출 영역(A1)으로부터의 적외광에 기초하여, 거리 화상에 더해 적외광의 강도 화상을 생성한다.In the first embodiment, the sensor 10 includes a light source (not shown) that emits the intensity modulated infrared light to the detection area A1, and includes an optical system such as a lens and an infrared light transmission filter, and a detection area through the optical system. It has a camera structure (not shown) comprised by the two-dimensional photosensitive array arrange | positioned facing A1. Moreover, the sensor 10 which has a camera structure produces | generates the intensity image of infrared light in addition to a distance image based on the infrared light from detection area A1.

대상 검출단(16)은, 검출 영역(A1)에서의 검출되어야 할 하나 이상의 물리 대상으로서 하나 이상의 사람을, 센서(10)에 의해 생성된 거리 화상으로부터 얻어지는, 검출되어야 할 하나 이상의 사람의 특정 고도 또는 각 고도에서의 부분(부위)에 기초로, 개별로 검출한다. 따라서, 대상 검출단(16)은 이하의 각 처리를 실행한다.The object detecting stage 16 obtains one or more persons as one or more physical objects to be detected in the detection area A1 from a distance image generated by the sensor 10, and the specific altitude of one or more persons to be detected. Or based on the part (part) in each altitude, it detects individually. Therefore, the target detection stage 16 executes the following processes.

제1 처리에서는 도 4c에 나타낸 바와 같이, 대상 검출단(16)은 센서(10)로부터 미리 얻어진 거리 화상인 배경 거리 화상(D0)과, 센서(10)로부터 얻어진 현재의 거리 화상(D1)의 차분에 기초하여, 전경 거리 화상(D2)을 생성한다. 배경 거리 화상(D0)는 도어(20)를 닫은 상태에서 포착된다. 또, 배경 거리 화상은 거리값의 불균일을 억제하기 위해, 시간 및 공간 방향의 평균 거리값을 포함할 수 있다..In the first process, as shown in FIG. 4C, the target detection stage 16 includes a background distance image D0 which is a distance image previously obtained from the sensor 10, and a current distance image D1 obtained from the sensor 10. Based on the difference, the foreground distance image D2 is generated. The background distance image D0 is captured while the door 20 is closed. Further, the background distance image may include average distance values in the temporal and spatial directions in order to suppress nonuniformity of the distance values.

제1 처리를 더욱 상세하게 설명하면, 전경 거리 화상은 현재의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써 생성된다. 특정 화상 요소는 현재의 거리 화상의 화상 요소를 배경 거리 화상의 대응하는 화상 요소로부터 감산 하여 얻어진 거리 차분이, 소정의 거리 한계치보다 크면, 추출된다. 이 경우, 전경 거리 화상은 정적 노이즈를 포함하지 않기 때문에, 정적 노이즈가 제거된다. 또, 배경 거리 화상에 대응하는 위치로부터 소정의 거리 한계치에 대응하는 거리 전방의 위치보다 후방에 있는 하나 이상의 물리 대상을 제거할 수 있으므로, 소정의 거리 한계치가 적절한 값으로 설정되면, 도 4c에 나타낸 바와 같이, 동적 노이즈로서의 짐수레(C1)가 제거된다. 또, 도어(20)가 열려 있더라도, 도어(20)의 후방의 물리 대상도 제거된다. 따라서, 사람과 동적 노이즈[짐수레(C1), 도어(20) 후방의 물리 대상 등)가 겹쳐있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.To describe the first process in more detail, the foreground distance image is generated by extracting a specific image element from each image element of the current distance image. The specific image element is extracted if the distance difference obtained by subtracting the image element of the current distance image from the corresponding image element of the background distance image is greater than the predetermined distance limit. In this case, since the foreground distance image does not contain static noise, the static noise is removed. In addition, since one or more physical objects that are behind the position in front of the distance corresponding to the predetermined distance limit value can be removed from the position corresponding to the background distance image, when the predetermined distance limit value is set to an appropriate value, it is shown in Fig. 4C. As described above, the luggage cart C1 as the dynamic noise is removed. In addition, even if the door 20 is open, the physical object behind the door 20 is also removed. Therefore, the state in which the person and the dynamic noise (the cart C1, the physical object behind the door 20, etc.) overlap can be distinguished from the state in which two or more persons overlap.

제2 처리에서, 도 5에 나타낸 바와 같이, 대상 검출단(16)은 센서(10)에 대해 미리 기록된 카메라 캘리브레이션 데이터(예를 들면, 화소 피치 및 렌즈 변형 등)에 기초하여, 카메라 구조에 의존하는 전경 거리 화상(D2)의 카메라 좌표계를 3차원 직교 좌표계(x, y, z)로 변환한다. 이에 의해, 물리 대상의 존재/부존재의 각 위치를 나타내는 직교 좌표 변환 화상(E1)을 생성한다. 즉, 직교 좌표 변환 화상(E1)의 각 화상 요소(xi, xj, xk)는, "TRUE" 또는"FALSE"로 표현된다. "TRUE"는 물리 대상의 존재를 나타내고, "FALSE"는 물리 대상의 부존재를 나타낸다.In the second process, as shown in Fig. 5, the object detection stage 16 is based on the camera calibration data (e.g., pixel pitch and lens deformation, etc.) recorded in advance for the sensor 10, and the The camera coordinate system of the dependent foreground distance image D2 is converted into a three-dimensional rectangular coordinate system (x, y, z). Thereby, the rectangular coordinate conversion image E1 which shows each position of the presence / absence of a physical object is produced | generated. That is, each image element (xi, xj, xk) of the rectangular coordinate transformation image E1 is represented by "TRUE" or "FALSE". "TRUE" indicates the presence of a physical object, and "FALSE" indicates the absence of a physical object.

제2 처리의 대체예에서는, 전경 거리 화상의 화상 요소가 "TRUE"에 대응하는 경우, 그 화상 요소의 값이 가변 고도의 한계치보다 작으면, 그 화상 요소에 대응하는 직교 좌표 변환 화상의 화상 요소에 "FALSE"를 저장한다. 따라서, 가변 고도의 한계치의 고도보다 낮은 동적 노이즈를 적응적으로(adaptively) 제거할 수 있 다.In an alternative example of the second process, when the image element of the foreground distance image corresponds to "TRUE", and if the value of the image element is smaller than the limit of the variable altitude, the image element of the Cartesian coordinate conversion image corresponding to the image element Save "FALSE" in. Therefore, it is possible to adaptively remove the dynamic noise lower than the altitude of the variable altitude threshold.

제3 처리에서는, 대상 검출단(16)은 미리 기록된 카메라 캘리브레이션 데이터(예를 들면, 센서(10)의 위치, 내림 각, 화소 피치의 실제 거리 등)에 기초하여, 회전, 평행이동 등에 의해 직교 좌표 변환 화상의 직교 좌표계를, 실제 공간 상에 가상으로 설정되는 3차원 세계 좌표계로 변환한다. 이에 의해, 대상 검출단(16)은, 물리 대상이 존재/부존재하는 각 위치를 실제 위치 및 실제 치수로 나타낸 세계 좌표 변환 화상을 생성한다. 이 경우, 세계 좌표 변환 화상에서의 하나 이상의 물리 대상의 데이터를 실제 위치 및 실제 치수(거리, 크기)로 취급할 수 있다.In the third process, the target detection stage 16 is rotated, moved in parallel, or the like based on previously recorded camera calibration data (for example, the position of the sensor 10, the lowering angle, the actual distance of the pixel pitch, and the like). Cartesian Coordinate Transformation The Cartesian coordinate system of the image is converted into a three-dimensional world coordinate system virtually set in real space. Thereby, the target detection end 16 produces | generates the world coordinate conversion image which shows each position where a physical object exists or exists by an actual position and an actual dimension. In this case, data of one or more physical objects in the world coordinate transformation image can be treated as an actual position and an actual dimension (distance, size).

제4 처리에서는, 대상 검출단(16)은 세계 좌표 변환 화상을 평행 투영으로 수평면 또는 수직면 등의 소정의 평면상에 투영한다. 이에 의해, 대상 검출단(16)은 세계 좌표 변환 화상에서의 소정의 평면에서 본, 각 화상 요소로부터 구성되는 평행 투영 화상을 생성한다. 제1 실시예에서는, 도 5에 나타낸 바와 같이, 평행 투영 화상(F1)은 천정면 측(ceiling side)의 수평면에서 본, 각 화상 요소로부터 구성되며, 검출되어야 할 물리 대상을 나타낸 각 화상 요소는 최고 고도의 위치에 있다.In the fourth process, the target detection end 16 projects the world coordinate converted image on a predetermined plane such as a horizontal plane or a vertical plane in parallel projection. Thereby, the target detection end 16 produces | generates the parallel projection image comprised from each image element seen from the predetermined plane in the world coordinate conversion image. In the first embodiment, as shown in Fig. 5, the parallel projection image F1 is constituted from each image element viewed from the horizontal plane of the ceiling side, and each image element representing the physical object to be detected is It is in the highest altitude position.

제5 처리에서는, 도 6에 나타낸 바와 같이, 대상 검출단(16)은 평행 투영 화상(F1)으로부터 대상 추출 영역(A2) 내의 하나 이상의 물리 대상의 부분(Blob)에 대응하는 샘플링 데이터를 추출하여 라벨링(labeling) 작업을 수행한 다음, 샘플링 데이터(물리 대상(들)의 부분)의 위치(예를 들면, 중심 위치(들))를 특정한다. 샘플링 데이터가 대상 추출 영역(A2)의 경계와 겹쳐지는 경우, 대상 검출단(16)은 그 샘플링 데이터가 대상 추출 영역(A2) 내부와 외부의 면적 중 큰 면적의 영역에 속하도록 처리할 수 있다. 도 6의 예에서는, 대상 추출 영역(A2) 외의 사람(B2)에 대응하는 샘플링 데이터는 제외된다. 이 경우, 대상 추출 영역(A2) 내의 물리 대상(들)의 부분만을 추출할 수 있으므로, 예를 들면 유리문에의 반사 등에 의한 동적 노이즈를 제거할 수 있고, 또 관리될 방에 적합한 개체 검출이 가능하다.In the fifth process, as shown in FIG. 6, the target detection end 16 extracts sampling data corresponding to one or more portions of one or more physical objects in the object extraction area A2 from the parallel projection image F1. After the labeling operation is performed, the position (eg, the center position (s)) of the sampling data (part of the physical object (s)) is specified. When the sampling data overlaps the boundary of the object extraction area A2, the object detection stage 16 may process the sampling data to belong to a larger area of an area inside and outside the object extraction area A2. . In the example of FIG. 6, sampling data corresponding to the person B2 other than the target extraction area A2 is excluded. In this case, since only a part of the physical object (s) in the object extraction area A2 can be extracted, dynamic noise, for example, by reflection on a glass door, can be removed, and an object suitable for the room to be managed can be detected. Do.

이어서, 제6 처리 및 제7 처리가 병렬로 실행된다. 제6 처리 및 제7 처리에서, 대상 검출단(16)은 제5 처리로 추출된 샘플링 데이터가 하나 이상의 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는지 여부를 식별하여, 각각 그 샘플링 데이터에 대응하는 물리 대상이 사람인지 여부를 판별한다.Subsequently, the sixth process and the seventh process are executed in parallel. In the sixth processing and the seventh processing, the object detecting stage 16 identifies whether the sampling data extracted by the fifth processing corresponds to the pre-recorded reference data on the basis of one or more portions of the person, and respectively, the sampling data. It is determined whether or not the physical object corresponding to the person is a person.

제6 처리에서는, 도 7a 및 도 7b에 나타낸 바와 같이, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 면적(S)이나, 폭과 깊이의 비이다. 비는 물리 대상(들)의 부분을 포함하는 외접 사각형(circumscribed square)의 폭(W)과 깊이(D)의 비(W: D)이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 해당 부위의 면적이나, 폭과 깊이의 비에 대한 값 또는 값의 범위이다. 따라서, 검출 영역(A1)에서의 대상 추출 영역(A2) 내의 사람의 수를 검출할 수 있다.In the sixth process, as shown in Figs. 7A and 7B, the sampling data is the area S of one or more physical object portions virtually represented in the parallel projection image, or the ratio of width and depth. The ratio is the ratio (W: D) of the width (W) to the depth (D) of a circumscribed square that includes a portion of the physical object (s). The reference data is prerecorded based on the site of one or more persons and is a value or range of values for the area of the site or the ratio of width to depth. Therefore, the number of people in the target extraction area A2 in the detection area A1 can be detected.

제7 처리에서, 도 8a에 나타낸 바와 같이, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 2차원 패턴이다. 기준 데이터는, 도 8b 및 도 8c에 나타낸 바와 같이, 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 2차원 패턴이다. 제1 실시예에서, 도 8b 및 도 8c에 나타낸 바와 같은 패턴이 사용되고, 패턴 매칭(pattern matching)에 의해 취득되는 상관값(correlation value)이 소정의 값보다 크면, 그 패턴에 대응하는 인원수가 가산된다. 따라서, 예를 들면, 사람의 어깨와 그 머리부분 사이의 각 패턴을, 기준 데이터로 선정함으로써, 검출 영역에서의 사람의 수를 검출할 수 있고, 또 사람의 움직이는 손의 영향도 배제할 수 있다. 또한, 사람의 머리부분의 2차원 윤곽 패턴을 기준 데이터로 선정함으로써, 각자의 체격에 관계없이 하나 이상의 사람을 개별로 검출할 수 있다.In the seventh process, as shown in Fig. 8A, the sampling data is a two-dimensional pattern of portions of one or more physical objects virtually represented in the parallel projection image. The reference data is at least one two-dimensional pattern previously recorded based on one or more human portions, as shown in FIGS. 8B and 8C. In the first embodiment, when a pattern as shown in Figs. 8B and 8C is used, and a correlation value obtained by pattern matching is larger than a predetermined value, the number of persons corresponding to the pattern is added. do. Therefore, for example, by selecting each pattern between the human shoulder and its head as reference data, the number of persons in the detection area can be detected, and the influence of the human's moving hand can also be excluded. . In addition, by selecting the two-dimensional contour pattern of the head of the person as reference data, one or more people can be detected individually regardless of their physique.

제1 실시예에서는, 제6 처리로 계산된 인원수 및 제7 처리로 계산된 인원수가 동일하면, 그 다음의 처리는 제1 처리로 복귀된다. 한편, 제6 처리로 계산된 인원수 및 제7 처리로 계산된 인원수가 다르면, 제8 처리 내지 제11 처리가 또한 실행된다.In the first embodiment, if the number of people calculated by the sixth process and the number of people calculated by the seventh process are the same, the next process is returned to the first process. On the other hand, if the number of people calculated by the sixth process and the number of people calculated by the seventh process differ, the eighth to eleventh processes are also executed.

제8 처리에서, 대상 검출단(16)은 3차원의 직교 좌표 변환 화상 또는 3차원의 세계 좌표 변환 화상의 각 화상 요소로부터 소정의 평면상의 각 화상 요소를 추출함으로써, 단면 화상을 생성한다. 도 9에 나타낸 바와 같이, 제1 처리에서의 거리 한계치의 고도로부터 위쪽으로 각 고도(예를 들면, 10cm)마다 수평면의 각 화상 요소를 추출함으로써, 수평 단면 화상(G1-G5)을 생성한다. 그리고, 대상 검출단(16)은, 수평 단면 화상을 생성할 때마다, 수평 단면 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하여 저장한다.In the eighth process, the object detecting end 16 generates a cross-sectional image by extracting each image element on a predetermined plane from each image element of the three-dimensional rectangular coordinate transformed image or the three-dimensional world coordinate transformed image. As shown in FIG. 9, horizontal cross-sectional images G1-G5 are produced | generated by extracting each image element of a horizontal plane for every altitude (for example, 10 cm) upwards from the altitude of the distance limit value in a 1st process. The target detection stage 16 extracts and stores sampling data corresponding to one or more parts of the physical object from the horizontal cross-sectional image each time a horizontal cross-sectional image is generated.

제9 처리에서, 대상 검출단(16)은 제8 처리로 추출된 샘플링 데이터가, 하나 이상의 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는지 여부를 식 별하여, 각각 샘플링 데이터에 대응하는 각 물리 대상이 사람인지 여부를 판별한다. 샘플링 데이터는 수평 단면 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 단면이다. 기준 데이터는 하나 이상의 사람의 머리부분의 단면에 대한 값 또는 값의 범위이다. 대상 검출단(16)은 수평 단면 화상이 생성될 때마다, 샘플링 데이터가 기준 데이터보다 작아졌는지 여부를 식별한다. 샘플링 데이터가 기준 데이터보다 작아졌을 때(G4, G5), 대상 검출단(16)은 최고 고도의 샘플링 데이터를 사람의 머리부분에 대응하는 데이터로서 계수 한다.In the ninth process, the object detecting stage 16 identifies whether the sampling data extracted by the eighth process corresponds to the previously recorded reference data based on one or more portions of the person, and corresponds to the sampling data, respectively. Determine whether each physical object is a person. Sampling data is a cross section of a portion of one or more physical objects virtually represented in a horizontal cross section image. The reference data is a value or range of values for a cross section of one or more human heads. The object detecting end 16 identifies whether or not the sampling data is smaller than the reference data each time a horizontal cross-sectional image is generated. When the sampling data becomes smaller than the reference data (G4, G5), the object detecting stage 16 counts the highest altitude sampling data as data corresponding to the human head.

제10 처리에서, 수평 단면 화상의 고도가 소정의 고도에 도달한 후, 수평 단면 화상이 생성될 때마다, 대상 검출단(16)은 샘플링 데이터에 대응하는 각 물리 대상의 부분으로부터의 적외광의 평균 강도가 소정의 강도보다 낮은지 여부를 식별하여, 각각 그 샘플링 데이터에 대응하는 물리 대상의 부분이 사람의 머리부분인지 여부를 판별한다. 샘플링 데이터에 대응하는 물리 대상(들)의 부분이 사람의 머리부분(들)일 때, 그 샘플링 데이터는 사람의 머리부분에 대응하는 데이터로서 계수된다. 적외광에 대한 사람의 두발의 반사율은 통상 사람의 어깨 측의 반사율보다도 낮기 때문에, 소정의 강도를 적절한 값으로 설정하면, 사람의 머리부분을 검출할 수 있다.In the tenth process, after the altitude of the horizontal cross-sectional image reaches a predetermined altitude, each time the horizontal cross-sectional image is generated, the object detecting end 16 is configured to display the infrared light from the portion of each physical object corresponding to the sampling data. Whether the average intensity is lower than the predetermined intensity is discriminated, and whether or not the portion of the physical object corresponding to the sampling data is the head of the person, respectively. When the portion of the physical object (s) corresponding to the sampling data is the head (s) of the person, the sampling data is counted as data corresponding to the head of the person. Since the reflectance of the human head with respect to infrared light is lower than that of the human shoulder side, the head of the human can be detected by setting the predetermined intensity to an appropriate value.

제11 처리에서, 도 10a에 나타낸 바와 같이, 제9 처리에서 판별된 최고 고도에서의 사람(B3)의 머리부분의 위치(B31)와, 제10 처리에서 판별된 사람(B3)의 머리부분의 위치(B32)가 서로 동일하면, 대상 검출단(16)은, 사람(B3)이 직립하고, 두발을 가지고 있는 것으로 판정한다. 그렇지 않으면, 도 10a 및 도 10b에 나타낸 바와 같이, 제9 처리만으로 최고 고도에서의 사람(B4)의 머리부분의 위치(B41)가 판별되면, 대상 검출단(16)은, 사람(B4)이 직립하고, 두발이 없거나 모자를 착용하고 있는 것으로 판정한다. 도 10b에 나타낸 바와 같이, 제10 처리만으로 사람(B5)의 머리부분의 위치(B52)가 판별되면, 대상 검출단(16)은, 사람(B5)이 머리부분을 기울이고 있고 두발을 가지고 있는 것으로 판정한다. 그리고 대상 검출단(16)은 인원수를 집계한다.In the eleventh process, as shown in Fig. 10A, the position B31 of the head of the person B3 at the highest altitude determined in the ninth process, and the head of the person B3 determined in the tenth process, If the positions B32 are identical to each other, the object detecting end 16 determines that the person B3 stands up and has two hairs. Otherwise, as shown in FIGS. 10A and 10B, when the position B41 of the head portion of the person B4 at the highest altitude is determined only by the ninth process, the object detecting end 16 determines that the person B4 It is upright and judges that there is no hair or is wearing a hat. As shown in FIG. 10B, when the position B52 of the head portion of the person B5 is determined only by the tenth process, the object detecting stage 16 indicates that the person B5 is tilting the head portion and has two feet. Determine. The target detection stage 16 counts the number of people.

도 1의 동반입장 검출단(17)은, 제어 디바이스(4)로부터 입장 허가 신호를 수신한 후, 대상 검출단(16)에 의해 검출된 인원수에 기초하여, 동반입장이 발생하였는지 여부를 검출한다.After receiving the entrance permission signal from the control device 4, the accompanying entrance detection stage 17 of FIG. 1 detects whether or not accompanying entrance occurred based on the number of people detected by the target detection stage 16. FIG. .

제1 실시예에서, 동반입장 검출단(17)은, 대상 검출단(16)에 의해 검출된 인원수가 2 이상이면, 동반입장이 발생한 것으로 검출하여, 경보 신호를 제어 디바이스(4)로부터 해제 신호를 수신할 때까지 제어 디바이스(4) 및 경보단(18)에 송신한다. 또, 동반입장 검출단(17)은 경보 신호를 제어 디바이스(4) 및 경보단(18)에 송신하고 있지 않으면, 제어 디바이스(4)로부터 입장 금지 신호를 수신한 후, 대기 모드로 이행한다. 경보단(18)은 동반입장 검출단(17)으로부터 경보 신호를 수신하고 있는 동안, 경보를 낸다.In the first embodiment, the companion entrance detection stage 17 detects that companion entrance has occurred when the number of people detected by the target detection stage 16 is 2 or more, and releases an alarm signal from the control device 4. To the control device 4 and the alarm stage 18 until it is received. In addition, when the accompanying entrance detection stage 17 does not transmit the alarm signal to the control device 4 and the alarm stage 18, after receiving an entrance prohibition signal from the control device 4, it transfers to a standby mode. The alarm stage 18 issues an alarm while receiving an alarm signal from the companion entrance detection stage 17.

제1 실시예의 동작을 설명한다. 대기 모드에 있어서, 입력 디바이스(3)가 ID 카드의 ID 정보를 판독한 때, 입력 디바이스(3)는 ID 정보를 제어 디바이스(4)에 송신한다. 이어서, 제어 디바이스(4)는, ID 정보가 미리 기록된 ID 정보와 일치하는지 여부를 인증한다. 두 ID 정보가 서로 일치한 때, 입장 허가 신호와 잠금 해제 제어 신호를 대응하는 동반입장 검출 디바이스(1)와 보안 디바이스(2)에 각각 송신한다. 따라서, ID 카드의 휴대자는 도어(20)를 열어, 관리되어야 할 방에 들어갈 수가 있다.The operation of the first embodiment will be described. In the standby mode, when the input device 3 reads the ID information of the ID card, the input device 3 transmits the ID information to the control device 4. Subsequently, the control device 4 authenticates whether the ID information matches the previously recorded ID information. When the two ID information coincide with each other, the admission permission signal and the unlock control signal are transmitted to the corresponding companion entrance detection device 1 and the security device 2, respectively. Therefore, the holder of the ID card can open the door 20 and enter the room to be managed.

도 11 및 도 12를 참조하여, 동반입장 검출 디바이스(1)가 제어 디바이스(4)로부터 입장 허가 신호를 수신한 후의 동작을 설명한다. 동반입장 검출 디바이스(1)에 있어서, 거리 화상 및 적외광의 강도 화상이 거리 화상 센서(10)에 의해 생성된다(도 11의 S10 참조).With reference to FIG. 11 and FIG. 12, operation | movement after the companion entrance detection device 1 receives the entrance permission signal from the control device 4 is demonstrated. In the companion entrance detection device 1, the distance image and the intensity image of the infrared light are generated by the distance image sensor 10 (see S10 in FIG. 11).

이어서, 대상 검출단(16)은 거리 화상, 배경 거리 화상 및 거리 한계치에 기초하여 전경 거리 화상을 생성하고(S11), 전경 거리 화상으로부터 직교 좌표 변환 화상을 생성하며(S12)), 직교 좌표 변환 화상으로부터 세계 좌표 변환 화상을 생성하고(S13), 세계 좌표 변환 화상으로부터 평행 투영 화상을 생성한다(S14). 그런 다음 대상 검출단(16)은 평행 투영 화상으로부터 물리 대상의 부분(윤곽)의 데이터(샘플링 데이터)를 추출한다(S15).Subsequently, the object detecting stage 16 generates a foreground distance image based on the distance image, the background distance image, and the distance limit value (S11), generates an orthogonal coordinate transform image from the foreground distance image (S12), and converts the rectangular coordinates. A world coordinate converted image is generated from the image (S13), and a parallel projection image is generated from the world coordinate converted image (S14). Then, the object detecting end 16 extracts data (sampling data) of the portion (contour) of the physical object from the parallel projection image (S15).

단계 S16에서, 대상 검출단(16)은 기준 데이터(사람의 기준 부위의 면적 및 비에 대한 값 또는 값의 범위)에 기초하여, 샘플링 데이터(윤곽의 면적 및 비)에 대응하는 물리 대상이 사람인지 여부를 판별한다. 대상 검출단(16)은 어떤 물리 대상이 사람으로 판별되면(S16에서 "YES"), 단계 S17에서, 대상 추출 영역(A2) 내의 인원수(N1)를 계수하고, 또한 어떤 물리 대상도 사람으로 판별되지 않으면(S16에서 "NO"), 단계 S18에서, N1로서 영(zero)을 계수한다.In step S16, the object detecting stage 16 determines that the physical object corresponding to the sampling data (the area and the ratio of the contour) is based on the reference data (the value or range of values for the area and the ratio of the reference region of the person). Determine whether or not. If the object detection stage 16 determines that any physical object is a person ("YES" in S16), in step S17, the number of persons N1 in the object extraction area A2 is counted, and any physical object is also identified as a person. If not (NO at S16), at step S18, zero is counted as N1.

또, 대상 검출단(16)은 단계 S19에서, 기준 데이터(사람의 기준 부위의 패 턴)에 기초하여, 샘플링 데이터(윤곽의 패턴)에 대응하는 물리 대상이 사람인지 여부를 판별한다. 대상 검출단(16)은 어떤 물리 대상이 사람으로서 판별되면(S19에서 " YES"), 단계 S20에서 대상 추출 영역(A2) 내의 인원수(N2)를 계수하고, 또 어떤 물리 대상도 사람으로 판별되지 않으면(S19에서 "NO"), 단계 S21에서, N2로서 영(zero)을 계수한다.Further, in step S19, the object detecting stage 16 determines whether or not the physical object corresponding to the sampling data (pattern of the outline) is a person based on the reference data (pattern of the reference portion of the person). If the object detection stage 16 determines that any physical object is a person ("YES" in S19), the number of persons N2 in the object extraction area A2 is counted in step S20, and no physical object is determined as a person. If not (NO in S19), in step S21, zero is counted as N2.

이어서, 동반입장 검출단(17)은, N1과 N2가 서로 일치하는지 여부를 판별한다(S 22). N1과 N2가 서로 일치하면(S22에서 "YTS"), 동반입장 검출단(17)은 단계 S23에서, N1 또는 N2에 기초하여 동반입장이 발생하였는지 여부를 검출한다. 또, 그렇지 않으면(S22에서 "NO"), 대상 검출단(16)에 의해 도 12의 단계 S30으로 진행한다.Subsequently, the companion entrance detecting stage 17 determines whether N1 and N2 coincide with each other (S22). If N1 and N2 coincide with each other ("YTS" in S22), the co-occupation detecting stage 17 detects whether co-occupation has occurred based on N1 or N2 in step S23. Otherwise (NO in S22), the target detection stage 16 proceeds to step S30 in FIG.

동반입장이 발생하고 있는 것으로 검출된 때(S23에서 "YES"), 동반입장 검출단(17)은 경보 신호를 제어 디바이스(4) 및 경보단(18)에, 제어 디바이스(4)로부터 해제 신호를 수신할 때까지 송신한다(S24, S25). 이로써, 경보단(18)이 경보를 낸다. 동반입장 검출단(17)이 제어 디바이스(4)로부터 해제 신호를 수신한 후, 동반입장 검출 디바이스(1)는 대기 모드로 돌아간다.When it is detected that a companion entrance is occurring ("YES" in S23), the companion entrance detection stage 17 sends an alarm signal to the control device 4 and the alarm stage 18 from the control device 4. Is transmitted until it is received (S24, S25). As a result, the alarm stage 18 issues an alarm. After the companion entrance detection stage 17 receives the release signal from the control device 4, the companion entrance detection device 1 returns to the standby mode.

동반입장이 발생하고 있는 것으로 검출되지 않았을 때(S23에서 "NO"), 동반입장 검출단(17)이 제어 디바이스(4)로부터 입장 금지 신호를 수신하면(S26에서 "YES"), 동반입장 검출 디바이스(1)는 대기 모드로 복귀한다. 또 그렇지 않으면(S26에서 "NO"), 단계 S10으로 돌아간다.When the companion entrance is not detected as occurring ("NO" in S23), when the companion entrance detection stage 17 receives the entry prohibition signal from the control device 4 ("YES" in S26), the companion entrance is detected. The device 1 returns to the standby mode. Otherwise (NO in S26), the flow returns to step S10.

도 12의 단계 S30에서, 대상 검출단(16)은 제1 처리에서의 거리 한계치의 고 도로부터 수평 단면 화상을 생성한다. 이어서, 대상 검출단(16)은, 단계 S31에서 수평 단면 화상으로부터 각 물리 대상의 부분(단면의 윤곽)의 데이터(샘플링 데이터)를 추출한다. 단계 S32에서, 기준 데이터(사람의 머리부분의 단면에 대한 값 또는 값의 범위)에 기초하여, 대상 검출단(16)은 샘플링 데이터(윤곽의 면적)에 대응하는 물리 대상의 부분이 사람의 머리부분인지 여부를 판별함으로써, 사람의 머리부분의 위치(M1)를 검출한다. 이어서, 모든 수평 단면 화상이 생성되었으면(S33에서 "YES), 대상 검출단(16)은 단계 S35로 진행하고, 또 그렇지 않으면(S33에서 "NO"), 단계 S30으로 돌아간다.In step S30 of FIG. 12, the target detection stage 16 generates a horizontal cross-sectional image from the altitude of the distance limit value in the first process. Next, in step S31, the target detection end 16 extracts data (sampling data) of the portion (contour of the cross section) of each physical object from the horizontal cross section image. In step S32, based on the reference data (value or range of values for the cross section of the head of the person), the object detecting stage 16 determines that the part of the physical object corresponding to the sampling data (the area of the contour) is the head of the person. By determining whether or not the portion is a portion, the position M1 of the human head portion is detected. Subsequently, if all the horizontal cross-sectional images have been generated (YES in S33), the object detection stage 16 proceeds to step S35, and otherwise (NO in S33), and returns to step S30.

또, 대상 검출단(16)은, 단계 S34에서, 강도 화상 및 소정의 강도에 기초하여, 사람의 머리부분의 위치(M2)를 검출하고, 이어서 단계 S35로 진행한다.In addition, in step S34, the object detecting end 16 detects the position M2 of the human head based on the intensity image and the predetermined intensity, and then proceeds to step S35.

단계 S35에서, 대상 검출단(16)은 M1를 M2와 비교하여, 양자가 일치하면(S36에서 "YES"), 단계 S37에서 직립하고 두발을 가지는 사람을 검출한다. 그렇지 않고(S36에서 "NO"), M1만이 검출되면(S38에서 "YES"), 대상 검출단(16)은 단계 S39에서 직립하고 두발을 갖지 않는 사람을 검출한다. 그렇지 않고(S38에서 "NO"), M2만이 검출되면(S40에서 "YES"), 대상 검출단(16)은 단계 S41에서 머리부분을 기울이고 있는 두발을 가지는 사람을 검출한다. 그렇지 않으면(S40에서 "NO"), 대상 검출단(16)은 단계 S42에서 사람을 검출하지 않는다.In step S35, the object detecting stage 16 compares M1 with M2, and if they match (YES in S36), it detects a person standing upright and having two feet in step S37. Otherwise ("NO" in S36), if only M1 is detected ("YES" in S38), the object detecting stage 16 detects a person standing upright and having no hair in step S39. Otherwise ("NO" in S38), if only M2 is detected ("YES" in S40), the object detecting stage 16 detects a person having the head tilting the head in step S41. Otherwise (NO in S40), the object detecting stage 16 does not detect a person in step S42.

그런 다음, 대상 검출단(16)은, 단계 S43에서 인원수를 집계하고, 도 11의 단계 S23로 돌아간다.Then, the target detection stage 16 counts the number of persons in step S43, and returns to step S23 in FIG.

일 대체 실시예에 있어서, 동반입장 검출 디바이스(1)는, 도어(20)의 외측에 설치된다. 이 경우, 대기 모드에 있어서, 입력 디바이스(3)가 ID 카드의 ID 정보를 판독하여 제어 디바이스(4)에 송신한 때, 제어 디바이스(4)는 동반입장 검출 디바이스(1)를 기동시킨다. 도어(20)의 외측에 있어서 동반입장 상태가 발생하면, 동반입장 검출 디바이스(1)는 경보 신호를 제어 디바이스(4) 및 경보단(18)에 송신하고, 제어 디바이스(4)는 동반입장 검출 디바이스(1)로부터의 경보 신호에 기초하여, ID 카드의 ID 정보에 관계없이 도어(20)의 잠금상태를 유지한다. 이로써, 동반입장을 방지할 수 있다. 도어(20)의 외측에 있어서 동반입장 상태가 발생하지 않으면, 제어 디바이스(4)는 보안 디바이스(2)에 잠금해제 제어 신호를 송신한다. 이로써, ID 카드의 휴대자는 도어(20)를 열어, 관리되어야 하는 방에 들어 갈 수 있다.In one alternative embodiment, the companion entrance detection device 1 is provided outside the door 20. In this case, in the standby mode, when the input device 3 reads the ID information of the ID card and transmits it to the control device 4, the control device 4 activates the companion entrance detection device 1. When the companion position occurs outside the door 20, the companion position detection device 1 transmits an alarm signal to the control device 4 and the alarm stage 18, and the control device 4 detects the companion position. Based on the alarm signal from the device 1, the door 20 is kept locked regardless of the ID information of the ID card. As a result, it is possible to prevent accompanying entrance. If the companion position does not occur outside the door 20, the control device 4 transmits an unlock control signal to the security device 2. This allows the holder of the ID card to open the door 20 and enter a room to be managed.

도 13은 본 발명에 의한 제2 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다. 제2 실시예의 대상 검출단은, 제1 처리로부터 제7 처리를 제1 실시예의 그것들과 마찬가지로 실행한다. 제2 실시예의 특징으로서, 제7 처리의 후, 제6 처리로 계수된 인원수 N1과, 제7 처리로 계수된 인원수 N2가 상이하면, K-평균 알고리즘의 클러스터링 처리를 실행한다.Fig. 13 is an explanatory view of the operation of the target detection stage in the companion entrance detecting device according to the second embodiment of the present invention. The target detection stage of the second embodiment executes the seventh processing from the first processing in the same manner as those of the first embodiment. As a feature of the second embodiment, after the seventh process, if the number N1 counted by the sixth process differs from the number N2 counted by the seventh process, the clustering process of the K-average algorithm is executed.

즉, 제2 실시예의 대상 검출단은, 사람으로 판별된 물리 대상의 수를 기초로, 평행 투영 화상에서의 사람으로 판별된 물리 대상의 부분의 위치를 클러스터의 구성 요소에 할당하고, 클러스터 링의 K-평균 알고리즘에 의해, 상기 사람으로 판별된 물리 대상의 수를 검증한다.That is, the object detection stage of the second embodiment assigns the position of the portion of the physical object determined by the person in the parallel projection image to the components of the cluster based on the number of physical objects determined by the person, The K-average algorithm verifies the number of physical objects identified as the person.

예를 들면, 클러스터 링의 분할 수의 초기값으로는 Nl과 N2 중 큰 것이 사용 된다. 대상 검출단은, K-평균 알고리즘에 의해 각 분할 영역을 얻어, 그 분할 영역의 면적을 계산한다. 분할 영역의 면적과, 미리 기록된 사람의 면적의 차가 소정의 한계치 이하일 때, 대상 검출단은 그 분할 영역을 사람의 부위로 간주하여 계수한다. 그 차가 소정의 한계치보다 크면, 대상 검출단은 분할 수의 초기값을 증감하여 K-평균 알고리즘을 다시 실행한다. 이 K-평균 알고리즘에 의하면, 각자의 위치를 추정할 수 있다.For example, the larger of Nl and N2 is used as the initial value of the number of divisions of the cluster ring. The target detection stage obtains each divided area by the K-average algorithm and calculates the area of the divided area. When the difference between the area of the divided area and the area of the person previously recorded is equal to or less than a predetermined threshold value, the object detecting end counts the divided area as a part of the person. If the difference is larger than a predetermined threshold, the target detection stage increases or decreases the initial value of the number of divisions and executes the K-average algorithm again. According to this K-average algorithm, each position can be estimated.

도 14에 나타낸 바와 같이, 제3 실시예의 대상 검출단은, 제1 실시예의 각 처리에 대신하여, 거리 화상 센서(10)로부터의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써, 전경 거리 화상(D20)을 생성한다. 특정 화상 요소는, 거리 화상의 화상 요소의 거리 값이 소정의 거리 한계치보다 작을 때, 추출된다. 대상 검출단은, 전경 거리 화상(D20)에 기초하여, 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서의 하나 이상의 사람을 개별로 검출한다. 도 14의 예에서, 흑색 부분은 소정의 거리 한계치보다 작은 거리값을 가지는 화상 요소로부터 형성되고, 백색 부분은, 소정의 거리 한계치보다 큰 거리값을 가지는 화상 요소로부터 형성된다.As shown in Fig. 14, the target detection end of the third embodiment extracts a specific image element from each image element of the distance image from the distance image sensor 10, instead of each process of the first embodiment, so that the foreground distance is reduced. An image D20 is generated. The specific image element is extracted when the distance value of the image element of the distance image is smaller than the predetermined distance limit value. The object detecting stage individually detects one or more persons as one or more physical objects to be detected in the detection area, based on the foreground distance image D20. In the example of Fig. 14, the black portion is formed from an image element having a distance value smaller than the predetermined distance limit, and the white portion is formed from an image element having a distance value larger than the predetermined distance limit.

제3 실시예에서, 거리 화상 센서의 위치와, 거리 화상 센서로부터(소정의 거리 한계치에 대응하는 거리) 떨어져 있는 전방의 위치 사이의 물리 대상을 검출할 수 있다. 따라서, 소정의 거리 한계치를 적절한 값으로 설정하면, 사람과 동적 노 이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다. 도 14의 예에서는, 검출 영역에서의 사람(B6)의 어깨에서부터 위의 부위 및 사람(B7)의 머리부분의 부위를 개별로 검출할 수 있다.In the third embodiment, a physical object can be detected between the position of the distance image sensor and the position in front of the distance image sensor (distance corresponding to a predetermined distance limit). Therefore, if the predetermined distance limit value is set to an appropriate value, the state in which the person and the dynamic noise (for example, the article, the cart) can be distinguished from the state in which two or more persons overlap. In the example of FIG. 14, the site | part from the shoulder of the person B6 in a detection area | region, and the site | part of the head part of the person B7 can be detected separately.

도 15에 나타낸 바와 같이, 제4 실시예의 대상 검출단은, 제1 실시예의 각 처리에 대신하여, 거리 화상 센서(10)에 의해 생성된 거리 화상의 각 거리값으로부터 분포 화상(distribution image)(J)을 생성한다. 대상 검출단은, 분포 화상(J)에서의 하나 이상의 분포 영역이, 사람의 부위에 기초하여 미리 기록된 데이터에 대응하는지 여부를 식별하여, 각각 분포 화상(J)에서의 하나 이상의 분포 영역에 대응하는 물리 대상이 사람인지 여부를 판별한다. 분포 화상은, 하나 이상의 물리 대상이 검출 영역에 있을 때, 하나 이상의 분포 영역을 포함한다. 분포 영역은 거리 화상에서의 소정의 거리 한계치보다 작은 거리 값을 가지는 각 화상 요소로부터 형성된다. 소정의 거리 한계치는, 거리 화상의 각 거리값의 최소값에 소정의 거리값(예를 들면, 평균적인 얼굴의 길이의 반 정도의 값)를 가산하여 얻어진다.As shown in Fig. 15, the target detection stage of the fourth embodiment replaces each of the distance values of the distance image generated by the distance image sensor 10, instead of the respective processes of the first embodiment. Generate J). The object detecting end identifies whether the one or more distribution areas in the distribution image J correspond to the pre-recorded data based on the part of the person, and corresponds to one or more distribution areas in the distribution image J, respectively. It is determined whether or not the physical object is a person. The distribution image includes one or more distribution areas when one or more physical objects are in the detection area. A distribution area is formed from each image element having a distance value smaller than a predetermined distance threshold in the distance image. The predetermined distance limit value is obtained by adding a predetermined distance value (for example, about half of the average face length) to the minimum value of each distance value of the distance image.

도 15의 예에서, 분포 화상(J)는 2치(値) 화상이며, 흑색 부분은 분포 영역이고, 백색 부분은 거리 화상에서의 특정 거리값보다 큰 각 거리값로부터 형성된다. 분포 화상(J)이 2치 화상이므로, 미리 기록된 데이터는 사람의 부위의 윤곽의 면적 또는 직경이며, 패턴 매칭(pattern matching)을 사용하는 경우에는 사람의 머리부분의 윤곽으로부터 얻어지는 형상(예를 들면, 원 등)의 패턴이다.In the example of FIG. 15, the distribution image J is a binary image, the black portion is a distribution region, and the white portion is formed from each distance value larger than a specific distance value in the distance image. Since the distribution image J is a binary image, the pre-recorded data is the area or diameter of the contour of the human part, and in the case of using pattern matching, the shape obtained from the contour of the human head part (e.g., For example, circles).

제4 실시예에서는, 검출 영역에서의 검출되어야 할 하나 이상의 사람의 머리부분이 검출되므로, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다. 도 15의 예에서는, 검출 영역에서의 사람(B8, B9)의 각 머리부분을 개별로 검출할 수 있다.In the fourth embodiment, since the head of one or more persons to be detected in the detection area is detected, the state in which the human and the dynamic noise (for example, luggage, cart, etc.) overlap with the state in which two or more persons overlap. Can be distinguished. In the example of FIG. 15, each head part of the people B8 and B9 in a detection area can be detected separately.

도 16에 나타낸 바와 같이, 제5 실시예의 동반입장 검출단은, 동반입장 경계 시에, 대상 검출단에 의해 검출된 하나 이상의 사람의 이동 궤적을 개별로 추적한다. 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동한 때, 대상 검출단은 동반입장의 발생을 검출하여, 경보 신호를 제어 디바이스(4) 및 경보단(18)에 송신한다. 도 16에 있어서, 도면부호 20은 자동 도어이다.As shown in Fig. 16, the companion position detecting stage of the fifth embodiment separately tracks the movement trajectories of one or more persons detected by the target detecting stage at the time of the companion position boundary. When two or more persons move to / from the detection area in a predetermined direction, the target detection end detects the occurrence of the accompanying entrance and transmits an alarm signal to the control device 4 and the alarm end 18. In Fig. 16, reference numeral 20 denotes an automatic door.

제5 실시예에서, 소정의 방향은, 도어(20) 측에서의 검출 영역(A1)의 경계선을 횡단하여 검출 영역(A1)으로 이동하는 방향으로 설정된다. 예를 들면, 도 16에 나타낸 바와 같이, 한 사람의 이동 궤적 B1₁, B1₂, B1₃의 이동 궤적 및 다른 사람의 이동궤적 B2₁, B2₂의 이동 궤적은, 다 같이 소정의 방향에 대응하므로, 경보 신호가 전송된다. 이 경우에, 각자의 이동 궤적을 B1₃ 및 B2₂의 시점에서 판단할 수 있고, 이 시점에서 경보 신호가 전송된다. 또, 사람(B1)이 도어를 횡단하고 나서, 사람(B2)이 도어를 횡단할 때까지의 시간에 기초하여, 동반입장 경계용 규정 시간(예를 들면, 2초)이 정해진다. 예를 들면, 이 규정 시간은 자동 도어(20)가 열리고 나서 닫힐 때까지의 시간으로 설정할 수도 있다.In the fifth embodiment, the predetermined direction is set in the direction moving to the detection area A1 across the boundary line of the detection area A1 on the door 20 side. For example, as shown in FIG. 16, the movement trajectories of one person's movement trajectories B1 ₁ , B1 ₂ , and B1 _{3 and} the movement trajectories of the other person's movement trajectories B2 ₁ and B2 _{2 all} correspond to a predetermined direction. Thus, an alarm signal is transmitted. In this case, the respective movement trajectories can be determined at the time points B1 ₃ and B2 ₂ , and the alarm signal is transmitted at this time point. In addition, based on the time from when the person B1 crosses the door and the person B2 crosses the door, a prescribed time (for example, two seconds) for the companion entrance is determined. For example, this prescribed time may be set to the time from when the automatic door 20 is opened to closed.

제5 실시예에서는, 2 이상의 사람이 도어(20)측에서의 검출 영역(A1)의 경계선을 횡단하여 검출 영역(A1)으로 이동했을 때, 경보 신호가 전송되므로, 동반입장을 즉시 검출할 수 있다. 또, 복수의 사람을 검출하더라도, 2 이상의 사람이 소정의 방향으로 검출 영역으로 이동하지 않으면, 경보 신호가 전송되지 않으므로, 오보를 방지할 수 있다.In the fifth embodiment, when two or more persons move across the boundary of the detection area A1 on the door 20 side to the detection area A1, an alarm signal is transmitted, so that the accompanying entrance can be detected immediately. In addition, even if a plurality of people are detected, if two or more people do not move to the detection area in a predetermined direction, an alarm signal is not transmitted, thereby making it possible to prevent misinformation.

일 대체 실시예에 있어서, 동반입장 검출 디바이스(1)는 도어(20)의 외측에 설치된다. 이 경우, 소정의 방향은 검출 영역으로부터 도어(20)측에서의 검출 영역의 경계선으로 이동하는 방향으로 설정된다.In one alternative embodiment, the companion entrance detection device 1 is installed outside the door 20. In this case, the predetermined direction is set in the direction moving from the detection area to the boundary line of the detection area on the door 20 side.

도 17은 본 발명에 따른 제6 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서(10)을 나타낸다. 제6 실시예의 거리 화상 센서(10)은, 광원(11), 광학계(12), 광검출 소자(13), 센서 제어단(14), 및 화상 구성단(15)을 구비하고, 상기 각 실시예에서 이용 가능하다.Fig. 17 shows the distance image sensor 10 in the companion entrance detecting device of the sixth embodiment according to the present invention. The distance image sensor 10 of the sixth embodiment includes a light source 11, an optical system 12, a light detecting element 13, a sensor control stage 14, and an image forming stage 15, and each of the above implementations. Available in the example.

광원(11)은 광의 강도를 확보하기 위해, 예를 들면 평면에 배열된 적외선 LED 어레이, 반도체 레이저, 및 발산 렌즈(divergent lens) 등으로 구성된다. 도 18에 나타낸 바와 같이, 센서 제어단(14)으로부터의 변조 신호에 따라 적외광의 강도(K1)를 일정 주기로 주기적으로 변화하도록 변조하여, 강도 변조 적외광을 검출 영역에 조사한다. 하지만, 강도 변조 적외광의 강도 파형은 정현파에 한정되지 않고, 삼각파, 톱니파 등의 형상일 수 있다.The light source 11 is composed of, for example, an infrared LED array, a semiconductor laser, a divergent lens, or the like arranged in a plane to secure the light intensity. As shown in FIG. 18, the intensity K1 of the infrared light is periodically changed at regular intervals according to the modulation signal from the sensor control stage 14, and the intensity modulated infrared light is irradiated to the detection area. However, the intensity waveform of the intensity modulated infrared light is not limited to the sine wave, but may be in the shape of a triangular wave, sawtooth wave, or the like.

광학계(12)는 수광 광학계이며, 예를 들면 렌즈 및 적외광 투과 필터 등으로 구성된다. 광학계(12)는 검출 영역으로부터의 적외광을 광검출 소자(13)의 수광면[각 감광 유닛(131)]에 집광한다. 예를 들면, 광학계(12)는, 광축이 광검출 소자(13)의 수광면과 직교하도록 배치된다.The optical system 12 is a light receiving optical system, and is composed of, for example, a lens, an infrared light transmitting filter, and the like. The optical system 12 condenses the infrared light from the detection area on the light receiving surface (each photosensitive unit 131) of the photodetecting element 13. For example, the optical system 12 is disposed so that the optical axis is orthogonal to the light receiving surface of the photodetecting element 13.

광검출 소자(13)는 반도체 장치에 형성되고, 복수의 감광 유닛(131), 복수의 감도 제어 유닛(132), 복수의 전하 집적 유닛(133) 및 전하 픽업 유닛(134)을 포함한다. 각 감광 유닛(131), 각 감도 제어 유닛(132), 및 각 전하 집적 유닛(133)은, 광학계(12)를 통하여 검출 영역에 면하여 배치되는 수광면으로서의 2차원 감광 어레이를 구성한다.The photodetecting element 13 is formed in a semiconductor device and includes a plurality of photosensitive units 131, a plurality of sensitivity control units 132, a plurality of charge integration units 133, and a charge pickup unit 134. Each photosensitive unit 131, each sensitivity control unit 132, and each charge integration unit 133 constitute a two-dimensional photosensitive array as a light receiving surface disposed to face the detection area via the optical system 12.

도 19a 및 도 19b에 나타낸 바와 같이, 각 감광 유닛(131)은, 반도체 기판에 불순물이 첨가된 반도체층(13a)에 의해, 예를 들면 100×100의 2차원 감광 어레이의 감광 소자로서 형성된다. 감광 유닛(131)은 대응하는 감도 제어 유닛(132)에 의해 제어되는 감광 감도에서의, 검출 영역으로부터의 적외광 양에 상응하는 양의 전하를 생성한다. 예를 들면, 반도체층(13a)는 n형이며, 생성되는 전하는 전자로부터 얻는다.As shown in FIGS. 19A and 19B, each photosensitive unit 131 is formed as a photosensitive element of, for example, a 100 × 100 two-dimensional photosensitive array by a semiconductor layer 13a to which impurities are added to a semiconductor substrate. . The photosensitive unit 131 generates an amount of electric charge corresponding to the amount of infrared light from the detection region at the photosensitive sensitivity controlled by the corresponding sensitivity control unit 132. For example, the semiconductor layer 13a is n-type, and the generated electric charge is obtained from an electron.

광학계(12)의 광축이 수광면과 직교하는 경우, 수광면의 수직 방향(길이 방향) 및 수평 방향(폭 방향)의 양축과 광축을 직교 좌표계의 3축으로 설정하고, 그 원점을 광학계(12)의 중심에 설정하면, 각 감광 유닛(131)은 방위각 및 앙각에 의해 표현되는 방향으로부터의 광량에 상응하는 양의 전하를 생성한다. 검출 영역에 하나 이상의 물리 대상이 있는 경우, 광원(11)으로부터 방출된 적외광이 물리 대상에서 반사하여 감광 유닛(131)에 의해 수광된다. 따라서, 감광 유닛(131)은, 도 18에 나타낸 바와 같이, 물리 대상과의 사이의 왕복 거리에 대응하는 위상 Ψ만큼 지연된 강도 변조 적외광을 수광하고, 그 강도 K2에 따른 양의 전하를 생성한다. 그 강도 변조 적외광은 아래의 식 1로 표현된다.When the optical axis of the optical system 12 is orthogonal to the light receiving surface, the two axes and the optical axis in the vertical direction (length direction) and the horizontal direction (width direction) of the light receiving surface are set to three axes of the Cartesian coordinate system, and the origin thereof is the optical system 12 When set at the center of), each photosensitive unit 131 generates an amount of electric charge corresponding to the amount of light from the direction represented by the azimuth and elevation angles. When there is at least one physical object in the detection area, the infrared light emitted from the light source 11 is reflected by the physical object and received by the photosensitive unit 131. Therefore, the photosensitive unit 131 receives the intensity modulated infrared light delayed by the phase Ψ corresponding to the round trip distance between the physical object and generates a positive charge according to the intensity K2, as shown in FIG. . The intensity modulated infrared light is expressed by Equation 1 below.

위 식에서 ω는 각 진동수, B는 외광 성분이다.Where ω is the angular frequency and B is the external light component.

감도 제어 유닛(132)은, 반도체층(13a)의 표면에 절연막(산화막)(13e)을 통하여 적층되는 복수의 제어 전극(13b)으로 형성된다. 감도 제어 유닛(132)은 센서 제어단(14)의 감도 제어 신호에 따라, 대응하는 감광 유닛(131)의 감도를 제어한다. 도 19a 및 도 19b에서, 제어 전극(13b)의 좌우 방향의 폭 크기는 약 1μm로 설정된다. 제어 전극(13b) 및 절연막(13e)은, 광원(11)의 적외광에 대해 투광성(translucency)을 가지는 재료에 의해 형성된다. 도 19a 및 도 19b에 나타낸 바와 같이, 감도 제어 유닛(132)은 대응하는 감광 유닛(131)에 대해 복수(예를 들면, 5개)의 제어 전극으로 구성된다. 예를 들면, 생성되는 전하를 전자로부터 얻는 경우, 전압(+V, 0V)이 감도 제어 신호로서 각 제어 전극(13b)에 인가된다.The sensitivity control unit 132 is formed of a plurality of control electrodes 13b stacked on the surface of the semiconductor layer 13a via an insulating film (oxide film) 13e. The sensitivity control unit 132 controls the sensitivity of the corresponding photosensitive unit 131 according to the sensitivity control signal of the sensor control stage 14. In FIGS. 19A and 19B, the width in the left and right directions of the control electrode 13b is set to about 1 μm. The control electrode 13b and the insulating film 13e are formed of a material having translucency with respect to the infrared light of the light source 11. As shown in Figs. 19A and 19B, the sensitivity control unit 132 is composed of a plurality of (e.g., five) control electrodes for the corresponding photosensitive unit 131. Figs. For example, when the generated charge is obtained from electrons, voltages (+ V, 0V) are applied to each control electrode 13b as a sensitivity control signal.

전하 집적 유닛(133)은 대응하는 각 제어 전극(13b)에 인가되는 감도 제어 신호에 응답하여 변화하는 전위 우물(공핍층)(13c)로 구성된다. 전하 집적 유닛(133)은 전위 우물(13c)의 근방의 전자(e)를 포획하여 집적한다. 전하 집적 유닛(133)에 집적되지 않는 전자는 홀(hole)과의 재결합에 의해 소멸한다. 따라서, 전위 우물(13c)의 영역의 크기를 감도 제어 신호에 의해 변경함으로써, 광검출 소 자(13)의 감광 감도를 제어할 수 있다. 예를 들면, 도 19a 상태의 감도는 도 19b 상태의 감도보다 높다.The charge integration unit 133 is composed of a potential well (depletion layer) 13c that changes in response to a sensitivity control signal applied to each corresponding control electrode 13b. The charge integration unit 133 captures and accumulates electrons e in the vicinity of the potential well 13c. Electrons that are not integrated in the charge integration unit 133 disappear by recombination with holes. Therefore, the photosensitive sensitivity of the photodetecting element 13 can be controlled by changing the size of the region of the potential well 13c by the sensitivity control signal. For example, the sensitivity of the state of FIG. 19A is higher than that of the state of FIG. 19B.

예를 들면 도 20에 나타낸 바와 같이, 전하 픽업 유닛(134)은 프레임 전송 타입(frame transfer type)의 CCD 이미지 센서와 유사한 구조를 가진다. 복수의 감광 유닛(131)으로 구성되는 촬상(image pickup) 영역(L1) 및 촬상 영역(L1)에 인접한 차광된 축적(storage) 영역(L2)에 있어서, 각 수직 방향(길이 방향)에 일체로 연속하는 반도체층(13a)이 수직 방향으로의 전하의 전송 경로로 사용된다. 수직 방향은, 도 19a 및 도 19b의 좌우방향에 대응한다.For example, as shown in FIG. 20, the charge pickup unit 134 has a structure similar to that of a CCD image sensor of a frame transfer type. In the image pickup area L1 composed of the plurality of photosensitive units 131 and the shielded storage area L2 adjacent to the imaging area L1, integrally in each vertical direction (length direction). A continuous semiconductor layer 13a is used as a transfer path of charge in the vertical direction. The vertical direction corresponds to the left and right directions in FIGS. 19A and 19B.

전하 픽업 유닛(134)은, 축적 영역(L2), 각 전송 경로, 및 각 전송 경로의 일단으로부터 전하를 받아 전하를 수평 방향으로 전송하는 CCD인 수평 전송부(13d)로 구성된다. 촬상 영역(L1)으로부터 축적 영역(L2)에의 전하의 전송은, 수직 블랭킹(blanking) 기간에 한 번 실행된다. 즉, 전하가 전위 우물(13c)에 집적된 후, 감도 제어 신호의 전압 패턴과 상이한 전압 패턴이 수직 전송 신호로서 각 제어 전극(13b)에 인가되어, 전위 우물(13c)에 집적된 전하가 수직 방향으로 전송된다. 수평 전송부(13d)로부터 화상 구성단(15)에의 전송에 대해서는, 수평 전송 신호가 수평 전송부(13d)에 공급되고, 1 수평 라인에 대한 전하가 1 수평 기간에 전송된다. 일 대체예에서, 수평 전송부는, 도 19a 및 도 19b의 면에 대한 법선 방향으로 전하를 전송한다.The charge pick-up unit 134 includes a storage region L2, each transfer path, and a horizontal transfer part 13d which is a CCD that receives charges from one end of each transfer path and transfers charges in the horizontal direction. The transfer of charges from the imaging area L1 to the accumulation area L2 is performed once in the vertical blanking period. That is, after charge is accumulated in the potential well 13c, a voltage pattern different from the voltage pattern of the sensitivity control signal is applied to each control electrode 13b as a vertical transfer signal so that the charge integrated in the potential well 13c is vertical. Direction is transmitted. For the transfer from the horizontal transfer unit 13d to the image forming stage 15, the horizontal transfer signal is supplied to the horizontal transfer unit 13d, and the charge for one horizontal line is transferred in one horizontal period. In one alternative, the horizontal transfer unit transfers charge in the normal direction to the plane of FIGS. 19A and 19B.

센서 제어단(14)은 동작 타이밍 제어 회로이며, 광원(11), 각 감도 제어 유닛(132), 및 전하 픽업 유닛(134)의 동작 타이밍을 제어한다. 즉, 상기 왕복 거리 의 광의 전파 시간이 나노초 레벨의 매우 짧은 시간이기 때문에, 센서 제어단(14)은 특정 변조 주파수(예를 들면, 20MHz)인 변조 신호를 광원(11)에 공급하여, 강도 변조 적외광의 강도의 변화 타이밍을 제어한다.The sensor control stage 14 is an operation timing control circuit, and controls the operation timing of the light source 11, each sensitivity control unit 132, and the charge pickup unit 134. That is, since the propagation time of the light of the round trip distance is a very short time of the nanosecond level, the sensor control stage 14 supplies a modulated signal having a specific modulation frequency (for example, 20 MHz) to the light source 11 to perform intensity modulation. Controls the timing of change in the intensity of the infrared light.

또한, 센서 제어단(14)은 감도 제어 신호로서 전압(+V, 0V)을 각 제어 전극(13b)에 인가하여, 광검출 소자(13)의 감도를 고감도 또는 저감도로 변경한다.The sensor control stage 14 also applies voltages (+ V, 0V) to the control electrodes 13b as sensitivity control signals, thereby changing the sensitivity of the photodetecting element 13 to high sensitivity or low sensitivity.

더욱이, 센서 제어단(14)은 수직 블랭킹 기간에 수직 전송 신호를 각 제어 전극(13b)에 공급하고, 1 수평 기간 동안에 수평 전송 신호를 수평 전송부(13d)에 공급한다.Further, the sensor control stage 14 supplies a vertical transmission signal to each control electrode 13b in the vertical blanking period, and supplies a horizontal transmission signal to the horizontal transmission unit 13d in one horizontal period.

화상 구성단(15)은, 예를 들면 CPU 및 프로그램 등을 기억하는 스토리지 디바이스 등에 의해 구성되며, 광검출 소자(13)로부터의 신호에 기초하여 거리 화상 및 강도 화상을 구성(생성)한다.The image configuration stage 15 is configured by, for example, a storage device that stores a CPU, a program, and the like, and constructs (generates) a distance image and an intensity image based on a signal from the photodetecting element 13.

이제, 센서 제어단(14) 및 화상 구성단(15)의 동작 원리를 설명한다. 도 18의 위상(위상 차) Ψ는 광검출 소자(13)의 수광면과, 검출 영역에서의 물리 대상 사이의 왕복 거리에 대응한다. 그러므로, 위상 Ψ을 계산함으로써 물리 대상까지의 거리를 계산할 수 있다. 위상 Ψ는, 상기 식 1에 의해 표현되는 곡선의 시간 적분값(예를 들면, 기간 Tw의 적분값 Q0, Q1, Q2 및 Q3)으로부터 계산할 수 있다. 시간 적분값(수광량) Q0, Q1, Q2 및 Q3은 , 각각 위상 0°,90°, 180°, 및 270°를 시점으로 한다. Q0, Q1, Q2, 및 Q3의 순간값 q0, q1, q2, 및 q3은 각각 다음과 같이 주어진다. The operation principle of the sensor control stage 14 and the image forming stage 15 will now be described. The phase (phase difference) Ψ in FIG. 18 corresponds to the round trip distance between the light receiving surface of the photodetecting element 13 and the physical object in the detection area. Therefore, the distance to the physical object can be calculated by calculating the phase Ψ. The phase Ψ can be calculated from the time integration values (for example, the integration values Q0, Q1, Q2 and Q3 of the period Tw) of the curve represented by the above formula 1. The time integration values (light reception amount) Q0, Q1, Q2, and Q3 make phase 0 degrees, 90 degrees, 180 degrees, and 270 degrees, respectively. The instantaneous values q0, q1, q2, and q3 of Q0, Q1, Q2, and Q3 are respectively given as follows.

따라서, 위상 Ψ는 다음의 식 2로 주어지고, 시간 적분값의 경우도, 식 2에 의해 위상 Ψ를 구할 수 있다.Therefore, the phase Ψ is given by the following equation 2, and even in the case of a time integration value, the phase Ψ can be obtained by the equation 2.

강도 변조 적외광의 1 주기 동안에, 감광 유닛(131)에서 생성되는 전하량은 적기 때문에, 센서 제어단(14)은 광검출 소자(13)의 감도를 제어하여, 강도 변조 적외광의 복수 주기의 동안에 감광 유닛(131)에서 생성된 전하를 전하 집적 유닛(133)에 집적한다. 강도 변조 적외광의 복수 주기에 있어, 위상 Ψ 및 물리 대상의 반사율은 거의 변화하지 않는다. 그러므로, 예를 들면,시간 적분값 Q0에 대응하는 전하를 전하 집적 유닛(133)에 집적할 때, Q0에 대응하는 기간 동안에 광검출 소자(13)의 감도를 올리고, 그 이외의 기간 동안에 광검출 소자(13)의 감도를 내린다.During one period of the intensity modulated infrared light, since the amount of charge generated in the photosensitive unit 131 is small, the sensor control stage 14 controls the sensitivity of the photodetecting element 13, so that during a plurality of cycles of the intensity modulated infrared light, The charge generated in the photosensitive unit 131 is integrated in the charge integration unit 133. In a plurality of periods of the intensity modulated infrared light, the phase Ψ and the reflectance of the physical object hardly change. Therefore, for example, when integrating the charge corresponding to the time integration value Q0 in the charge integration unit 133, the sensitivity of the photodetecting element 13 is raised during the period corresponding to Q0, and the photodetection during the other periods. The sensitivity of the element 13 is lowered.

감광 유닛(131)이 수광량에 비례하는 전하를 생성하는 경우에, 전하 집적 유닛(133)이 Q0의 전하를 집적할 때, αQ0 + β(Q 1 + Q2 + Q3) +βQx에 비례하는 전하가 집적되며, 여기서 α는 Q0 내지 Q3에 대응하는 기간의 감도이고, β는 그 이외의 기간의 감도이며, Qx는 Q0, Q1, Q2 및 Q3를 얻을 수 있는 기간 이외의 수광)량이다. 마찬가지로, 전하 집적 유닛(133)이 Q2의 전하를 집적할 때, αQ2 + β(Q 0 + Q1 + Q3) + βQx에 비례하는 전하가 집적된다. Q2 - Q0 = (α- β)(Q2 - Q0) 및 Q1 - Q(3) = (α -β)(Q1 - Q3)에 의해, 식 2로부터 (Q2 - Q0)/(Q1 - Q3)가 불필요한 전하의 혼합의 유무에 관계없이 이론상 같은 값이 된다. 그러므로, 불필요한 전하가 혼합되더라도 구하는 위상 Ψ는 같은 값이 된다.In the case where the photosensitive unit 131 generates charge proportional to the amount of received light, when the charge integration unit 133 accumulates the charge of Q0, the charge proportional to αQ0 + β (Q 1 + Q2 + Q3) + βQx Where? Is the sensitivity of the period corresponding to Q0 to Q3,? Is the sensitivity of the other period, and Qx is the amount of light reception other than the period from which Q0, Q1, Q2 and Q3 can be obtained). Similarly, when the charge integration unit 133 accumulates the charge of Q2, charges proportional to αQ2 + β (Q 0 + Q1 + Q3) + βQx are accumulated. Q2-Q0 = (α-β) (Q2-Q0) and Q1-Q (3) = (α-β) (Q1-Q3), where (Q2-Q0) / (Q1-Q3) It is theoretically the same value whether or not unnecessary charges are mixed. Therefore, even if unnecessary charges are mixed, the obtained phase Ψ is the same value.

강도 변조 적외광의 복수 주기에 대응하는 기간 후에, 센서 제어단(14)은 전하 집적 유닛(133)에 집적된 전하를 픽업하기 위해, 수직 블랭킹 기간에 수직 전송 신호를 각 제어 전극(13b)에 공급하고, 1 수평 기간에 수평 전송 신호를 수평 전송부(13d)에 공급한다.After a period corresponding to a plurality of periods of intensity modulated infrared light, the sensor control stage 14 sends a vertical transfer signal to each control electrode 13b in the vertical blanking period to pick up the charge accumulated in the charge integration unit 133. The horizontal transmission signal is supplied to the horizontal transmission unit 13d in one horizontal period.

또, Q0 - Q3은 물리 대상의 밝기를 나타내므로, Q0 - Q3의 가산값 또는 평균값은 적외광의 강도 화상(그레이 화상)에서의 강도(농도) 값에 상당한다. 따라서, 화상 구성단(15)은 Q0 - Q3으로부터 거리 화상 및 강도 화상을 생성할 수 있다. 또한, Q0 - Q3로부터 거리 화상 및 강도 화상을 생성함으로써, 같은 위치의 거리값 및 강도값를 얻을 수 있다. 화상 구성단(15)은 식 2에 의해 Q0 - Q3으로부터 거리 값을 계산하고, 각 거리값으로부터 거리 화상을 생성한다. 이 경우에, 각 거리값으로부터 검출 영역의 3차원 정보를 계산하고, 3차원 정보로부터 거리 화상을 생성 할 수도 있다. 강도 화상은 Q0 - Q3의 평균값을 강도값으로서 포함하므로, 광원(11)으로부터의 광의 영향을 제거할 수 있다.In addition, since Q0-Q3 represents the brightness of a physical object, the addition value or average value of Q0-Q3 is corresponded to the intensity (concentration) value in the intensity image (gray image) of infrared light. Therefore, the image forming stage 15 can generate the distance image and the intensity image from Q0 to Q3. Further, by generating the distance image and the intensity image from Q0 to Q3, the distance value and the intensity value at the same position can be obtained. The image construction stage 15 calculates the distance value from Q0-Q3 by Equation 2, and generates a distance image from each distance value. In this case, three-dimensional information of the detection area can be calculated from each distance value, and a distance image can be generated from the three-dimensional information. Since the intensity image includes the average value of Q0-Q3 as the intensity value, the influence of the light from the light source 11 can be eliminated.

제7 실시예의 거리 화상 센서는, 제6 실시예의 거리 화상 센서와의 상위점으로서 2개의 감광 유닛을 1 화소로서 사용하고, 변조 신호의 1 주기 내에서 Q0 - Q3에 대응하는 전하를 2 종류 생성한다.The distance image sensor of the seventh embodiment uses two photosensitive units as one pixel as a difference from the distance image sensor of the sixth embodiment, and generates two kinds of charges corresponding to Q0-Q3 within one period of the modulation signal. do.

Q0 - Q3에 대응하는 전하가 하나의 감광 유닛(131)에서 생성되면, 시선 방향의 분해능은 높아지지만 시간차의 문제가 생기므로, Q0 - Q3에 대응하는 전하가 4개의 감광 유닛에서 생성되면, 시간차는 작아지지만, 시선 방향의 분해능은 저하된다.When charges corresponding to Q0 to Q3 are generated in one photosensitive unit 131, the resolution in the visual direction increases, but there is a problem of time difference. Therefore, when charges corresponding to Q0 to Q3 are generated in four photosensitive units, the time difference Decreases, but the resolution in the visual direction decreases.

제7 실시예에서, 도 22a 및 도 22b에 나타낸 바와 같이, 이 문제를 해결하기 위해 2개의 감광 유닛이 1 화소로서 사용된다. 제6 실시예의 도 19a 및 도 19b에서는, 전하가 감광 유닛(131)에서 생성되는 동안에, 양쪽의 2개의 제어 전극은 인접하는 감광 유닛(131)에 전하가 유출하는 것을 방지하기 위한 전위 장벽(potential barrier)을 형성하는 역할을 담당한다. 제7 실시예에서는, 인접하는 감광 유닛(131)의 전위 우물(potential well)들 사이에 임의의 감광 유닛(131)에 의해 장벽이 형성되기 때문에, 각 감광 유닛에 대해 3개의 제어 전극이 설치되고, 하나의 유닛에 대해 6개의 제어 전극(13b-1, 13b-2, 13b―3, 13b-4, 13b-5, 13b-6)이 설치된다.In the seventh embodiment, as shown in Figs. 22A and 22B, two photosensitive units are used as one pixel to solve this problem. In FIGS. 19A and 19B of the sixth embodiment, while charge is generated in the photosensitive unit 131, two control electrodes on both sides are provided with a potential barrier for preventing charge from flowing out to the adjacent photosensitive unit 131. It is responsible for forming a barrier. In the seventh embodiment, since a barrier is formed by any photosensitive unit 131 between the potential wells of adjacent photosensitive units 131, three control electrodes are provided for each photosensitive unit. Six control electrodes 13b-1, 13b-2, 13b-3, 13b-4, 13b-5, 13b-6 are provided for one unit.

이제, 제7 실시예의 동작을 설명한다. 도 22a에서, +V(소정의 정전압)의 전압이, 제어 전극(13b-1, 13b-2, 13b-3, 13b-5)에 각각 인가되고, 0V의 전압이 제어 전극(13b-4, 13b-6)에 각각 인가된다. 도 22b에서, +V의 전압이 제어 전극(13b-2, 13b-4, 13b-5, 13b-6)에 각각 인가되고, 0V의 전압이 제어 전극(13b-1, 13b-3)에 각각 인가된다. 이들 전압 패턴은, 변조 신호의 위상이 역위상(180°)으로 바뀔 때마다, 교대로 바뀐다. 또, 다른 기간에 있어서는, +V의 전압이 제어 전극(13b-2, 13b-5)에 각각 인가되고, 0V의 전압이 나머지 각 제어 전극에 인가된다. 이로써, 예를 들면 도 21에 나타낸 바와 같이, 광검출 소자는 도 22a의 전압 패턴으로 Q0에 대응하는 전하를 생성할 수 있고, 도 22b의 전압 패턴으로 Q2에 대응하는 전하를 생성할 수 있다. 또, +V의 전압이 제어 전극(13b-2, 13b-5)에 각각 항상 인가되기 때문에, Q0에 대응하는 전하 및 Q2에 대응하는 전하가 집적되어 유지된다. 마찬가지로, 도 22a 및 도 22b의 전압 패턴을 모두 사용하고, 양 전압 패턴이 인가하는 타이밍을 90°시프트하면, Q1에 대응하는 전하 및 Q3에 대응하는 전하를 생성하여 유지할 수 있다.The operation of the seventh embodiment will now be described. In Fig. 22A, a voltage of + V (predetermined constant voltage) is applied to the control electrodes 13b-1, 13b-2, 13b-3, and 13b-5, respectively, and a voltage of 0V is applied to the control electrodes 13b-4, 13b-6) respectively. In FIG. 22B, a voltage of + V is applied to the control electrodes 13b-2, 13b-4, 13b-5, and 13b-6, respectively, and a voltage of 0V is applied to the control electrodes 13b-1 and 13b-3, respectively. Is approved. These voltage patterns alternate with each time the phase of the modulated signal changes out of phase (180 °). In another period, a voltage of + V is applied to the control electrodes 13b-2 and 13b-5, respectively, and a voltage of 0V is applied to the remaining control electrodes. As a result, for example, as shown in FIG. 21, the photodetecting device can generate charges corresponding to Q0 with the voltage pattern of FIG. 22A, and generate charges corresponding to Q2 with the voltage pattern of FIG. 22B. In addition, since the voltage of + V is always applied to the control electrodes 13b-2 and 13b-5, respectively, the charge corresponding to Q0 and the charge corresponding to Q2 are integrated and held. Similarly, by using both the voltage patterns of FIGS. 22A and 22B and shifting the timing applied by both voltage patterns by 90 °, the charge corresponding to Q1 and the charge corresponding to Q3 can be generated and maintained.

Q0 및 Q2에 대응하는 전하를 생성하는 기간과, Q1 및 Q3에 대응하는 전하를 생성하는 기간 사이에서 촬상 영역(L1)으로부터 축적 영역(L2)에 전하가 전송된다. 즉, Q0에 대응하는 전하가 제어 전극(13b-1, 13b-2, 13b-3)에 대응하는 전위 우물(13c)에 축적되고, 또한 Q2에 대응하는 전하가 제어 전극(13b-4, 13b-5, 13b-6)에 대응하는 전위 우물(13c)에 축적되면, Q0 및 Q2에 대응하는 전하가 픽업된다. 그러고나서, Q1에 대응하는 전하가 제어 전극(13b-1, 13b-2, 13b-3)에 대응하는 전 위 우물(13c)에 축적되고, 또한 Q3에 대응하는 전하가 제어 전극(13b-4, 13b-5, 13b-6)에 대응하는 전위 우물(13c)에 축적되면, Q1 및 Q3에 대응하는 전하가 픽업된다. 이와 같은 동작을 반복함으로써, Q0-Q3에 대응하는 전하를 2회의 판독 동작으로 픽업할 수 있고, 픽업한 전하를 사용하여 위상 Ψ를 구할 수 있다. 예를 들면, 초당 30 프레임의 화상이 필요할 때, Q0 및 Q2에 대응하는 전하를 생성하는 기간과, Q1 및 Q3에 대응하는 전하를 생성하는 기간의 합계 기간은, 60분의 1초보다 짧은 기간이 된다.The charge is transferred from the imaging area L1 to the accumulation area L2 between the period for generating charges corresponding to Q0 and Q2 and the period for generating charges corresponding to Q1 and Q3. That is, the charge corresponding to Q0 is accumulated in the potential well 13c corresponding to the control electrodes 13b-1, 13b-2 and 13b-3, and the charge corresponding to Q2 is also stored in the control electrodes 13b-4 and 13b. When accumulated in the potential well 13c corresponding to -5, 13b-6, electric charges corresponding to Q0 and Q2 are picked up. Then, the charge corresponding to Q1 is accumulated in the potential well 13c corresponding to the control electrodes 13b-1, 13b-2, and 13b-3, and the charge corresponding to Q3 is also stored in the control electrode 13b-4. Is accumulated in the potential well 13c corresponding to 13b-5 and 13b-6, electric charges corresponding to Q1 and Q3 are picked up. By repeating such an operation, the charges corresponding to Q0-Q3 can be picked up in two read operations, and the phase? Can be obtained using the picked up charges. For example, when an image of 30 frames per second is required, the sum of the periods for generating charges corresponding to Q0 and Q2 and the periods for generating charges corresponding to Q1 and Q3 is a period shorter than one sixtyth of a second. Becomes

일 대체 실시예에서는, 도 23a에 나타낸 바와 같이, +V의 전압이 제어 전극(13b-1, 13b-2, 13b-3)에 각각 인가되고, +V와 0V 사이의 전압이 제어 전극(13b -5)에 인가되며, 0V의 전압이 제어 전극(13b-4, 13b-6)에 각각 인가된다. 한편, 도 23b에 나타낸 바와 같이, +V와 0V의 사이의 전압이, 제어 전극(13b-2)에 인가되고, +V의 전압이 제어 전극(13b-4, 13b-5, 13b-6)에 각각 인가되며, 0V의 전압이 제어 전극(13b-1, 13b-3)에 각각 인가된다. 따라서, 주로 전하를 생성하는 전위 우물은 주로 전하를 유지하는 전위 우물보다 깊게 만들어지므로, 0V의 전압을 인가하는 각 제어 전극에 대응하는 영역에서 생성된 전하가, 더 깊은 전위 우물에 흘러들기 쉽다. 그러므로, 전하를 유지하는 전위 우물에 흘러드는 잡음 성분을 저감시킬 수 있다.In one alternative embodiment, as shown in FIG. 23A, a voltage of + V is applied to the control electrodes 13b-1, 13b-2, and 13b-3, respectively, and a voltage between + V and 0V is applied to the control electrode 13b. -5), a voltage of 0V is applied to the control electrodes 13b-4 and 13b-6, respectively. On the other hand, as shown in Fig. 23B, a voltage between + V and 0V is applied to the control electrode 13b-2, and the voltage of + V is applied to the control electrodes 13b-4, 13b-5, and 13b-6. Are applied to the control electrodes 13b-1 and 13b-3, respectively. Thus, since the potential wells that mainly generate charge are made deeper than the potential wells that mainly hold charge, the charges generated in the regions corresponding to the respective control electrodes applying a voltage of 0 V are likely to flow into the deeper potential wells. Therefore, it is possible to reduce the noise component flowing into the potential well that holds the electric charge.

본 발명을 일정한 바람직한 실시예에 대하여 기술하였지만, 본 발명의 본래의 사상 및 범위를 일탈하지 않고, 당업자에 의해 다양한 수정 및 변형이 가능하다.Although the present invention has been described with respect to certain preferred embodiments, various modifications and variations can be made by those skilled in the art without departing from the spirit and scope of the invention.

예를 들면, 제6 및 제7 실시예에서, 프레임 전송 타입의 CCD 이미지 센서와 유사한 구성에 대신하여, 인터라인 전송(interline transfer, IT) 타입 또는 프레임 인터라인 전송(frame interline transfer, FIT) 타입과 유사한 구성을 사용할 수 있다.For example, in the sixth and seventh embodiments, an interline transfer (IT) type or a frame interline transfer (FIT) type, instead of a structure similar to the CCD image sensor of the frame transfer type, is used. Similar configurations can be used.

Claims

검출 영역에 면하여 배치되고, 거리 화상(range image)을 생성하는 거리 화상 센서 및A distance image sensor disposed to face the detection area and generating a range image;

상기 거리 화상 센서에 의해 생성된 거리 화상에 기초하여, 상기 검출 영역에서의 하나 이상의 물리 대상(physical object)을 개별로 검출하는 대상 검출단(object detection stage)An object detection stage for individually detecting one or more physical objects in the detection area based on the distance image generated by the distance image sensor

을 포함하며,Including;

상기 거리 화상의 각 화상 요소는, 상기 하나 이상의 물리 대상이 상기 검출 영역에 있을 때, 상기 하나 이상의 물리 대상까지의 각(each) 거리 값을 포함하는, 개체 검출기.Each image element of the distance image includes an each distance value to the one or more physical objects when the one or more physical objects are in the detection area.

제1항에 있어서,The method of claim 1,

상기 거리 화상 센서는 하방의 상기 검출 영역에 대해 하향으로 면하여 배치되고,The distance image sensor is disposed facing downward with respect to the detection area below,

상기 대상 검출단은 상기 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상을, 상기 거리 화상으로부터 얻어지는, 상기 검출되어야 할 하나 이상의 물리 대상의 특정 고도(altitude) 또는 각 고도에 있는 부분의 데이터에 기초하여, 개별로 검출하는, 개체 검출기.The object detecting stage obtains one or more physical objects to be detected in the detection area based on data of a specific altitude of each of the one or more physical objects to be detected, or data of a portion at each altitude, obtained from the distance image. Object detector, detected individually.

제2항에 있어서,The method of claim 2,

상기 대상 검출단은 상기 거리 화상 센서로부터 미리 얻어진 거리 화상인 배경(background) 거리 화상과, 상기 거리 화상 센서로부터 얻어진 현재의 거리 화상의 차분에 기초하여, 전경(foreground) 거리 화상을 생성하고, 상기 전경 거리 화상에 기초하여, 상기 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서 하나 이상의 사람을 개별로 검출하는, 개체 검출기.The object detecting end generates a foreground distance image based on a difference between a background distance image, which is a distance image previously obtained from the distance image sensor, and a current distance image obtained from the distance image sensor. Based on the foreground distance image, individually detecting one or more persons as one or more physical objects to be detected in the detection area.

제3항에 있어서,The method of claim 3,

상기 대상 검출단은 상기 현재의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써 상기 전경 거리 화상을 생성하고,The target detecting end generates the foreground distance image by extracting a specific image element from each image element of the current distance image,

상기 특정 화상 요소는, 상기 현재의 거리 화상의 화상 요소를 상기 배경 거리 화상의 대응하는 화상 요소로부터 감산하여 얻어지는 거리 차분이, 소정의 거리 한계치보다 클 때 추출되는, 개체 검출기.And the specific image element is extracted when a distance difference obtained by subtracting an image element of the current distance image from a corresponding image element of the background distance image is greater than a predetermined distance limit.

제4항에 있어서,The method of claim 4, wherein

상기 거리 화상 센서는 광학계와, 상기 광학계를 통하여 상기 검출 영역에 면하여 배치되는 2차원 감광 어레이로 구성되는 카메라 구조를 가지고,The distance image sensor has a camera structure composed of an optical system and a two-dimensional photosensitive array disposed to face the detection area through the optical system,

상기 대상 검출단은, 상기 거리 화상 센서에 대해 미리 기록된 카메라 캘리브레이션 데이터에 기초하여, 상기 카메라 구조에 의존하는 상기 전경 거리 화상의 카메라 좌표계를 직교 좌표계로 변환하여, 상기 물리 대상의 존재/부존재의 각 위 치를 나타낸 직교 좌표 변환 화상을 생성하는, 개체 검출기.The object detecting stage converts a camera coordinate system of the foreground distance image, which is dependent on the camera structure, into a rectangular coordinate system based on camera calibration data recorded in advance for the distance image sensor, to determine whether the physical object is present or absent. An object detector for generating a Cartesian coordinate transform image representing each position.

제5항에 있어서,The method of claim 5,

상기 대상 검출단은, 상기 직교 좌표 변환 화상의 직교 좌표계를 실제 공간 상에 가상으로 설정되는 세계 좌표계(world coordinate system)로 변환하여, 상기 물리 대상의 존재/부존재의 각 위치를 실제 위치 및 실제 치수로 나타낸 세계 좌표 변환 화상을 생성하는, 개체 검출기.The object detecting end converts the rectangular coordinate system of the rectangular coordinate transformed image into a world coordinate system virtually set in real space, thereby converting each position of the presence / absence of the physical object into actual position and actual dimension. An object detector for generating a world coordinate transformed image represented by.

제6항에 있어서,The method of claim 6,

상기 대상 검출단은, 상기 세계 좌표 변환 화상을 평행 투영으로 소정의 평면상에 투영하여, 상기 세계 좌표 변환 화상의 상기 소정의 평면에서 본 각 화상 요소로 구성되는 평행 투영 화상을 생성하는, 개체 검출기.The object detecting end projects the world coordinate converted image on a predetermined plane in parallel projection to generate a parallel projection image composed of the respective image elements viewed in the predetermined plane of the world coordinate converted image. .

제6항에 있어서,The method of claim 6,

상기 대상 검출단은, 상기 세계 좌표 변환 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 샘플링 데이터가 사람의 부위(region)에 기초하여 미리 기록된 기준 데이터에 대응하는지 여부를 식별하여, 상기 샘플링 데이터에 대응하는 각 물리 대상이 사람인지 여부를 각각 판별하는, 개체 검출기.The object detecting end extracts sampling data corresponding to a portion of one or more physical objects from the world coordinate conversion image, and determines whether the sampling data corresponds to previously recorded reference data based on a region of a person. Identifying and discriminating whether or not each physical object corresponding to the sampling data is a person.

제7항에 있어서,The method of claim 7, wherein

상기 대상 검출단은 상기 평행 투영 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 샘플링 데이터가 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는지 여부를 식별하여, 상기 샘플링 데이터에 대응하는 각 물리 대상이 사람인지 여부를 각각 판별하는, 개체 검출기.The object detecting end extracts sampling data corresponding to a portion of one or more physical objects from the parallel projection image, and discriminates whether the sampling data corresponds to previously recorded reference data based on a part of the person, and thus the sampling. An individual detector for determining whether each physical object corresponding to the data is a person.

제8항에 있어서,The method of claim 8,

상기 샘플링 데이터는 상기 세계 좌표 변환 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 체적, 또는 폭과 깊이와 높이의 비를 포함하며,The sampling data includes a volume of a portion of one or more physical objects virtually represented in the world coordinate transformed image, or a ratio of width to depth and height,

상기 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 상기 부위의 체적, 또는 폭과 깊이와 높이의 비에 대한 값 또는 값의 범위인, 개체 검출기.Wherein said reference data is pre-recorded based on a site of one or more persons and is a volume of said site or a value or range of values for a ratio of width to depth to height.

제9항에 있어서,The method of claim 9,

상기 샘플링 데이터는 상기 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 면적, 또는 폭과 깊이의 비를 포함하며,The sampling data includes an area of a portion of one or more physical objects virtually represented in the parallel projection image, or a ratio of width and depth,

상기 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 상기 부위의 면적, 또는 폭과 깊이의 비에 대한 값 또는 값의 범위인, 개체 검출기.Wherein said reference data is pre-recorded based on a site of one or more persons and is a value or range of values for the area of said site or the ratio of width to depth.

제8항에 있어서,The method of claim 8,

상기 샘플링 데이터는 상기 세계 좌표 변환 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 3차원 패턴을 포함하며,The sampling data includes a three-dimensional pattern of portions of one or more physical objects virtually represented in the world coordinate transformation image,

상기 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 3차원 패턴인, 개체 검출기.The reference data is at least one three-dimensional pattern previously recorded based on one or more portions of the person.

제9항에 있어서,The method of claim 9,

상기 샘플링 데이터는 상기 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 2차원 패턴을 포함하며,The sampling data includes a two-dimensional pattern of portions of one or more physical objects virtually represented in the parallel projection image,

상기 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 2차원 패턴인, 개체 검출기.Wherein the reference data is at least one two-dimensional pattern previously recorded based on one or more portions of the person.

제5항에 있어서,The method of claim 5,

상기 거리 화상 센서는 강도 변조광을 상기 검출 영역으로 방출하는 광원을 더 포함하고, 화상 요소마다의 수광 강도에 기초하여, 상기 거리 화상 외에 강도 화상을 더 생성하며,The distance image sensor further includes a light source for emitting intensity modulated light to the detection area, further generating an intensity image in addition to the distance image, based on the received light intensity for each image element,

상기 대상 검출단은 상기 직교 좌표 변환 화상에 기초하여, 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 강도 화상에 기초하여, 상기 샘플링 데이터에 대응하는 각 물리 대상의 부분에 소정의 강도보다 낮은 부분이 있는지 여부를 판별하는, 개체 검출기.The object detecting end extracts sampling data corresponding to one or more parts of the physical object based on the rectangular coordinate transform image, and predetermined to each part of the physical object corresponding to the sampling data based on the intensity image. An object detector for determining whether there is a portion lower than the intensity.

제6항에 있어서,The method of claim 6,

상기 거리 화상 센서는 강도 변조된 적외광을 상기 검출 영역으로 방출하는 광원을 더 포함하고, 상기 검출 영역으로부터의 상기 적외광에 기초하여, 상기 거리 화상 외에 상기 적외광의 강도 화상을 더 생성하며,The distance image sensor further comprises a light source for emitting intensity modulated infrared light to the detection area, further generating an intensity image of the infrared light in addition to the distance image, based on the infrared light from the detection area,

상기 대상 검출단은 상기 세계 좌표 변환 화상에 기초하여, 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 강도 화상에 기초하여, 상기 샘플링 데이터에 대응하는 물리 대상의 부분으로부터의 상기 적외광의 평균 강도가 소정의 강도보다 낮은지 여부를 식별하여, 상기 샘플링 데이터에 대응하는 각 물리 대상의 부분이 사람의 머리부분인지 여부를 각각 판별하는, 개체 검출기.The object detecting end extracts sampling data corresponding to one or more portions of the physical object based on the world coordinate transform image, and the redundancy from the portion of the physical object corresponding to the sampling data based on the intensity image. Identifying whether the average intensity of external light is lower than a predetermined intensity, and discriminating whether each part of each physical object corresponding to the sampling data is a human head.

제8항에 있어서,The method of claim 8,

상기 대상 검출단은, 사람으로 판별된 물리 대상의 수에 기초하여, 상기 평행 투영 화상에서의 사람으로 판별된 물리 대상의 부분의 위치를 클러스터(cluster)의 구성 요소에 할당하고, 클러스터링(clustering)의 K-평균 알고리즘에 의해 얻어지는 분할 영역에 기초하여, 상기 물리 대상의 수를 검증하는, 개체 검출기.The object detecting end assigns the position of the portion of the physical object determined by the person in the parallel projection image to the components of the cluster based on the number of physical objects determined by the person, and clusters the cluster. An object detector for verifying the number of physical objects based on the partitions obtained by the K-average algorithm of.

제9항에 있어서,The method of claim 9,

상기 대상 검출단은, 사람으로 판별된 물리 대상의 수에 기초하여, 상기 평행 투영 화상에서의 사람으로 판별된 물리 대상의 부분의 위치를 클러스터의 구성 요소에 할당하고, 클러스터 링의 K-평균 알고리즘에 의해 얻어지는 분할 영역에 기초하여, 상기 물리 대상의 수를 검증하는, 개체 검출기.The object detecting end assigns the position of the portion of the physical object determined by the person in the parallel projection image to the components of the cluster based on the number of physical objects determined by the person, and the K-average algorithm of clustering. An individual detector for verifying the number of the physical objects based on the divided region obtained by the method.

제2항에 있어서,The method of claim 2,

상기 대상 검출단은 상기 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써 전경 거리 화상을 생성하고, 상기 전경 거리 화상에 기초하여, 상기 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서 하나 이상의 사람을 개별로 검출하며,The object detecting end generates a foreground distance image by extracting a specific image element from each image element of the distance image, and based on the foreground distance image, one or more persons as one or more physical objects to be detected in the detection area. Is detected separately,

상기 특정 화상 요소는, 상기 거리 화상의 화상 요소의 거리 값이 소정의 거리 한계치보다 작을 때 추출되는, 개체 검출기.The specific image element is extracted when the distance value of the image element of the distance image is smaller than a predetermined distance threshold.

제2항에 있어서,The method of claim 2,

상기 대상 검출단은, 상기 거리 화상의 거리값 분포의 최소값을 가지는 화상 요소 부근의 거리 화상이, 사람의 부위에 기초하여 미리 기록된 특정 형상 및 그 특정 형상의 크기에 대응하는지 여부를 식별하여, 상기 최소값을 가지는 화상 요소 부근의 거리 화상에 대응하는 각 물리 대상이 사람인지 여부를 판별하는, 개체 검출기.The target detecting end identifies whether or not the distance image in the vicinity of the image element having the minimum value of the distance value distribution of the distance image corresponds to a specific shape previously recorded based on the part of the person and the size of the specific shape, An individual detector for discriminating whether or not each physical object corresponding to the distance image in the vicinity of the image element having the minimum value is a person.

제2항에 있어서,The method of claim 2,

상기 대상 검출단은, 상기 거리 화상의 각 거리값으로부터 분포 화상(distribution image)을 생성하고, 상기 분포 화상에 기초하여, 상기 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출하며,The object detecting end generates a distribution image from each distance value of the distance image, and individually detects one or more physical objects in the detection area based on the distribution image,

상기 분포 화상은, 하나 이상의 물리 대상이 상기 검출 영역에 있을 때, 하나 이상의 분포 영역을 포함하고,The distribution image includes one or more distribution areas when one or more physical objects are in the detection area,

상기 분포 영역은, 상기 거리 화상에서의 소정의 거리 한계치보다 작은 거리 값을 가지는 각 화상 요소로부터 형성되며,The distribution area is formed from each image element having a distance value smaller than a predetermined distance threshold in the distance image,

상기 소정의 거리 한계치는, 상기 거리 화상의 각 거리값의 최소값에 소정의 거리 값을 가산하여 얻어지는, 개체 검출기.The predetermined distance threshold value is obtained by adding a predetermined distance value to a minimum value of each distance value of the distance image.

제2항의 개체 검출기와, 동반입장 검출단(tailgate detection stage)을 포함하는 동반입장 검출 디바이스로서,A companion entrance detection device comprising the subject detector of claim 2 and a tailgate detection stage,

상기 거리 화상 센서는 상기 거리 화상을 연속적으로 생성하며,The distance image sensor continuously generates the distance image,

상기 동반입장 검출단은, The accompanying entrance detection stage,

동반입장 경계 시에, 상기 대상 검출단에 의해 검출된 하나 이상의 사람의 이동 궤적을 개별로 추적하고,At the entrance guard boundary, the movement trajectories of one or more persons detected by the target detection stage are individually tracked,

2 이상의 사람이 소정의 방향으로 상기 검출 영역에/상기 검출 영역으로부터 이동한 때에, 동반입장의 발생을 검출하여 경보 신호를 전송하는, 동반입장 검출 디바이스. The companion entrance detection device which detects the occurrence of a companion entrance and transmits an alarm signal when two or more people move to the detection area / from the detection area in a predetermined direction.

제2항의 개체 검출기와, 동반입장 검출단을 구비하는 동반입장 검출 디바이스로서, A companion entrance detection device comprising the object detector of claim 2 and a companion entrance detection stage,

상기 동반입장 검출단은,The accompanying entrance detection stage,

상기 대상 검출단에 의해 검출된 하나 이상의 사람의 출입과, 상기 출입의 각 방향을 감시하고,Monitoring the entrance and exit of at least one person detected by the target detection stage and each direction of the entry and exit,

동반입장 경계용으로 설정된 규정 시간 내에, 2 이상의 사람이 소정의 방향으로 상기 검출 영역에/상기 검출 영역으로부터 이동한 때에, 동반입장의 발생을 검출하여 경보 신호를 전송하는,동반입장 검출 디바이스.A companion entrance detection device that detects the occurrence of a companion entrance and transmits an alarm signal when two or more persons move to the detection area / from the detection area in a predetermined direction within a prescribed time set for a companion entrance boundary.