KR20070031896A - Individual detector and accompaniment detection device - Google Patents
Individual detector and accompaniment detection device Download PDFInfo
- Publication number
- KR20070031896A KR20070031896A KR1020067022873A KR20067022873A KR20070031896A KR 20070031896 A KR20070031896 A KR 20070031896A KR 1020067022873 A KR1020067022873 A KR 1020067022873A KR 20067022873 A KR20067022873 A KR 20067022873A KR 20070031896 A KR20070031896 A KR 20070031896A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- distance
- distance image
- person
- physical objects
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
개체 검출기는 거리 화상 센서 및 대상 검출단을 포함한다. 거리 화상 센서는 검출 영역에 면해 배치되고, 거리 화상을 생성한다. 하나 이상의 물리 대상이 상기 검출 영역에 있을 때, 상기 거리 화상의 각 화상 요소는, 상기 하나 이상의 물리 대상까지의 각 거리 값을 각각 포함한다. 센서에 의해 생성된 거리 화상에 기초하여, 대상 검출단은 상기 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출한다. 따라서, 검출 영역에서의 하나 이상의 물리 대상을, 그 하나 이상의 물리 대상을 검출하기 위한 구성 요소의 수를 증가시키지 않고, 개별로 검출할 수 있다.The object detector includes a distance image sensor and an object detection stage. The distance image sensor is disposed facing the detection area and generates a distance image. When one or more physical objects are in the detection area, each image element of the distance image includes each distance value to the one or more physical objects, respectively. Based on the distance image generated by the sensor, the object detection stage separately detects one or more physical objects in the detection area. Therefore, one or more physical objects in the detection area can be detected individually without increasing the number of components for detecting the one or more physical objects.
출입 관리, 동반입장, 개별 검출, 거리 화상, 거리값 Access control, accompanying entrance, individual detection, distance image, distance value
Description
본 발명은 검출 영역에서의 하나 이상의 물리적 대상을 개별로 검출하기 위한 개체 검출기 및, 개체 검출기를 장착한 동반입장(tailgate) 검출 디바이스에 관한 것이다. The present invention relates to an object detector for individually detecting one or more physical objects in a detection area and a tailgate detection device equipped with the object detector.
최첨단의 출입 관리 시스템은 바이오 메트릭 정보를 이용함으로써 정확한 식별을 가능하게 하지만, 그와 같은 하이테크에 기초한 보안도 빠져나가는 간단한 방법이 존재한다. 즉, 인증에 의해 권한을 부여받은 개체(예를 들면, 종업원 또는 거주자 등)가 열린 도어를 통하여 들어갈 때, 도어가 열려있는 동안에 권한을 부여받은 개체에 바짝 붙어서 함께 들어가는 "동반입장(tailgate)"에 의해 침입이 이루어질 여지가 있다.State-of-the-art access management systems enable accurate identification by using biometric information, but there is a simple way to escape such high-tech security. That is, when an object authorized by authentication (such as an employee or a resident) enters through an open door, a "tailgate" that enters closely with the authorized object while the door is open. There is room for intrusion.
일본 특허공개공보 제2004-124497호에 기재된 종래 기술의 시스템은 사람의 삼차원 실루엣의 수를 계수함으로써 동반입장을 검출한다. 상기 실루엣은, 2 이상의 시점(veiwpoint)에 대응하는 체적의 공통 영역(시각적 외곽, visual hu11)의 내측에 물리 대상이 존재한다는 원리에 근거하는 체적 교차법에 의해, 컴퓨터상에서 가상으로 구현된다. 즉, 이 방법은, 2 이상의 카메라를 사용하고, 각 카메라의 출력으로부터 얻어지는 이차원의 실루엣을 실제 공간에 가상으로 투영하여, 물리 대 상 전체의 형상에 대응하는 삼차원 실루엣을 구성한다.The prior art system described in Japanese Patent Laid-Open No. 2004-124497 detects the co-occupation by counting the number of three-dimensional silhouettes of a person. The silhouette is virtually embodied on a computer by a volume intersection method based on the principle that a physical object exists inside a common area (visual hu11, visual hu11) of a volume corresponding to two or more viewpoints. That is, this method uses two or more cameras, and virtually projects the two-dimensional silhouette obtained from the output of each camera in the real space to form a three-dimensional silhouette corresponding to the shape of the entire physical object.
그러나, 상기 시스템에서는, 체적 교차법 때문에 2 이상의 카메라를 사용할 필요가 있다. 또 상기 시스템은 2대의 카메라 중 하나를 사용하여 사람의 얼굴을 포착하고, 체적 교차법은 검출 영역을 각 카메라의 시계 영역(viewrange) 내에 두는 것을 필요로 하므로, 시스템은 얼굴 또는 그 정면이 시계 영역 내에 있는 동안, 3차원 실루엣을 구성할 수 없다. 이 때문에, 검출 영역 내의 하나 이상의 물리 대상의 이동의 궤적을 추적하는 것이 곤란해진다. 이 문제는 카메라를 더 추가함으로써 해결 가능하지만, 시스템의 설치 면적 및 비용의 증대를 초래한다. 특히, 카메라의 수는 도어의 수가 증가함에 따라 대단히 증가한다.However, in the above system, it is necessary to use two or more cameras because of the volume crossing method. The system also captures the face of a person using one of the two cameras, and the volumetric crossover requires that the detection area be placed within the viewrange of each camera, so that the system has a face or face in front of it. While inside, three-dimensional silhouettes cannot be constructed. For this reason, it becomes difficult to track the trajectory of the movement of one or more physical objects in the detection area. This problem can be solved by adding more cameras, but it results in an increase in the footprint and cost of the system. In particular, the number of cameras increases greatly as the number of doors increases.
또한, 체적 교차법은 서로 겹치는 물리 대상을 분리하기 위한 기술은 아니기 때문에, 서로 겹치는 물리 대상으로 삼차원 실루엣이 구성되는 때에 다른 과제를 가진다. 종래 기술의 시스템은, 하나의 물리 대상에 대응하는 기준 사이즈를 사용함으로써, 2 이상의 물리 대상이 겹쳐있는 상태를 검출할 수 있지만, 사람과 하물이 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 없다. 전자는 경보할 필요가 없지만, 후자는 경보할 필요가 있다. 또, 종래 기술의 시스템은 미리 기록된 배경 화상과 현재의 화상과의 차분을 계산함으로써 노이즈를 제거하지만, 벽 또는 식물 등의 정적인 물리 대상(이하 "정적 노이즈"라고 한다)을 제거할 수는 있어도 하물, 짐수레(car) 등의 동적인 물리 대상(이하 "동적 노이즈"라고 한다)을 제거할 수 없다.In addition, since the volume crossing method is not a technique for separating physical objects that overlap each other, there is a different problem when a three-dimensional silhouette is composed of physical objects that overlap each other. The prior art system can detect a state where two or more physical objects overlap by using a reference size corresponding to one physical object, but distinguishes a state where a person and a thing overlap with a state where two or more people overlap. Can not. The former does not need to alarm, but the latter needs to alarm. In addition, while the prior art system removes noise by calculating the difference between the pre-recorded background image and the current image, it is possible to remove static physical objects such as walls or plants (hereinafter referred to as "static noise"). Even if it does, dynamic physical objects (henceforth "dynamic noise"), such as a luggage and a car, cannot be removed.
그러므로, 본 발명의 제1 목적은, 검출 영역 내의 하나 이상의 물리 대상을, 그 하나 이상의 물리 대상을 검출하기 위한 구성 요소의 수를 증가시키지 않고, 개별로 검출하는 것이다.Therefore, the first object of the present invention is to individually detect one or more physical objects in the detection area without increasing the number of components for detecting the one or more physical objects.
본 발명의 제2 목적은, 사람 및 동적 노이즈가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별하는 것이다.A second object of the present invention is to distinguish a state where a person and dynamic noise overlap with a state where two or more people overlap.
본 발명의 개체 검출기는, 거리 화상 센서(range image sensor) 및 대상 검출단(object detctection stage)을 구비한다. 상기 거리 화상 센서는, 검출 영역에 면하여 배치되고, 거리 화상을 생성한다. 하나 이상의 물리 대상이 영역에 있을 때, 거리 화상의 각 화상 요소(image element)는, 상기 하나 이상의 물리 대상까지의 각 거리 값을 각각 포함한다. 대상 검출단은 센서에 의해 생성된 거리 화상에 기초하여, 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출한다.The object detector of the present invention includes a range image sensor and an object detctection stage. The said distance image sensor is arrange | positioned facing the detection area, and produces | generates a distance image. When one or more physical objects are in the area, each image element of the distance image includes each distance value to the one or more physical objects, respectively. The object detecting stage individually detects one or more physical objects in the detection area based on the distance image generated by the sensor.
이 구성에서는, 검출 영역에서의 하나 이상의 물리 대상이 센서에 의해 생성된 거리 화상에 기초하여 개별로 검출되기 때문에, 검출 영역에서의 하나 이상의 물리 대상을, 그 하나 이상의 물리 대상을 검출하기 위한 구성 요소(센서)의 수를 증가시키지 않고, 개별로 검출할 수 있다.In this configuration, since one or more physical objects in the detection area are individually detected based on the distance image generated by the sensor, one or more physical objects in the detection area detect the one or more physical objects. It can be detected individually without increasing the number of (sensors).
본 발명의 대체 실시예에 있어서, 거리 화상 센서는 하방의 검출 영역에 대해 하향으로 면하여 배치된다. 대상 검출단은 검출 영역에서 검출되어야 할 하나 이상의 물리 대상을, 거리 화상으로부터 얻어지는 그 검출되어야 할 하나 이상의 물리 대상의 특정 또는 각 고도에 있는 부분의 데이터에 기초하여 개별로 검출한다In an alternative embodiment of the invention, the distance image sensor is disposed facing downward with respect to the downward detection area. The object detecting stage individually detects one or more physical objects to be detected in the detection area based on data of a specific or angular portion of the one or more physical objects to be detected obtained from the distance image.
이 구성에서는, 예를 들면, 동적 노이즈가 나타나지 않는 그러한 고도에 있는 물리 대상의 부분을 검출하거나, 또는 검출되어야 할 각 물리 대상의 소정 부분을 검출할 수 있다. 그 결과, 사람 및 동적 노이즈가 겹쳐 있는 상태를, 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, for example, it is possible to detect a portion of a physical object at such altitude where no dynamic noise appears, or to detect a predetermined portion of each physical object to be detected. As a result, it is possible to distinguish the state where the person and the dynamic noise overlap with the state where the two or more persons overlap.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 센서로부터 미리 얻어진 거리 화상인 배경 거리 화상과, 센서로부터 얻어진 현재의 거리 화상과의 차분에 기초하여 전경(foreground, 前景) 거리 화상을 생성하고, 상기 전경 거리 화상에 기초하여 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서 하나 이상의 사람을 개별로 검출한다. 본 발명에 의하면, 전경 거리 화상이 정적 노이즈를 포함하지 않기 때문에, 정적 노이즈를 제거할 수 있다.In another alternative embodiment of the present invention, the object detecting stage generates a foreground distance image based on the difference between the background distance image, which is a distance image previously obtained from the sensor, and the current distance image obtained from the sensor, One or more persons are individually detected as one or more physical objects to be detected in the detection area based on the foreground distance image. According to the present invention, since the foreground distance image does not contain static noise, static noise can be removed.
본 발명의 다른 대체 실시예에 있어서, 상기 대상 검출단은 현재의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써, 전경 거리 화상을 생성한다. 상기 특정 화상 요소는, 현재의 거리 화상의 화상 요소를 배경 거리 화상의 대응하는 화상 요소에서 감산하여 얻은 거리 차분이 소정의 거리 한계치(threshold value)보다 큰 경우에, 추출된다 In another alternative embodiment of the present invention, the target detection end generates a foreground distance image by extracting a specific image element from each image element of the current distance image. The specific image element is extracted when the distance difference obtained by subtracting the image element of the current distance image from the corresponding image element of the background distance image is greater than a predetermined distance threshold value.
이 구성에서는, 배경 거리 화상에 대응하는 위치로부터 소정의 거리 한계치대응하는 거리 만큼의 전방의 위치보다 후방에 있는 하나 이상의 물리 대상을 제거할 수 있으므로, 동적 노이즈(예를 들면, 하물, 짐수레 등)가 소정의 거리 한계치가 적절한 값으로 설정되면 제거된다. 그 결과, 사람과 동적 노이즈가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, since one or more physical objects behind the position corresponding to the predetermined distance threshold value can be removed from the position corresponding to the background distance image, dynamic noise (for example, luggage, luggage, etc.) can be removed. Is removed if the predetermined distance threshold is set to an appropriate value. As a result, it is possible to distinguish the state where the person and the dynamic noise overlap with the state where two or more people overlap.
본 발명의 다른 대체 실시예에 있어서, 거리 화상 센서는 광학 시스템과, 상기 광학 시스템을 통하여 검출 영역에 면하여 배치되는 2차원 감광 어레이(photosensitive array)로 구성되는 카메라 구조를 가진다. 대상 검출단은, 미리 기록된 거리 화상 센서에 대한 카메라 캘리브레이션(calibration) 데이터에 기초하여, 카메라 구조에 의존하는 전경 거리 화상의 카메라 좌표계를 직교 좌표계로 변환하여, 상기 물리 대상의 존재/부존재의 각 위치를 나타낸 직교 좌표 변환 화상을 생성한다.In another alternative embodiment of the invention, the distance image sensor has a camera structure consisting of an optical system and a two-dimensional photosensitive array disposed to face the detection area through the optical system. The object detecting stage converts the camera coordinate system of the foreground distance image depending on the camera structure into a Cartesian coordinate system based on camera calibration data for the distance image sensor recorded in advance, and thus the angle of presence / absence of the physical object. A Cartesian coordinate transform image showing the position is generated.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 직교 좌표 변환 화상의 직교 좌표계를, 실제 공간 상에 가상으로 설정되는 세계 좌표계(world coordinate system)로 변환하여, 상기 물리 대상의 존재/부존재의 각 위치를 실제 위치 및 실제 치수로 나타낸 세계 좌표 변환 화상을 생성한다.In another alternative embodiment of the present invention, the object detecting stage converts the Cartesian coordinate system of the Cartesian coordinate transformation image into a world coordinate system virtually set in the real space, so that the presence / absence of the physical object is present. A world coordinate transformed image is generated that represents each position in actual position and in actual dimensions.
이 구성에서는, 직교 좌표 변환 화상의 직교 좌표계가, 예를 들면 센서의 위치, 내림 각(depression angle) 등의 데이터에 기초하여, 회전 및 평행이동 등에 의해 세계 좌표계로 변환되어, 세계 좌표 변환 화상에서의 하나 이상의 물리 대상의 데이터를 실제 위치 및 실제 치수(거리, 크기)로 취급할 수 있다.In this configuration, the Cartesian coordinate system of the Cartesian coordinate transformed image is converted into the world coordinate system by rotation and parallel movement or the like based on data such as the position of the sensor, the depression angle, and the like. The data of one or more physical objects of may be treated as actual location and actual dimensions (distance, size).
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 세계 좌표 변환 화상을 평행 투영으로 소정 평면상에 투영하여, 세계 좌표 변환 화상에서의 소정 평면에서 본 각 화상 요소로부터 구성되는 평행 투영 화상을 생성한다.In another alternative embodiment of the present invention, the target detecting end projects the world coordinate converted image on a predetermined plane in parallel projection to generate a parallel projection image composed from each image element viewed from a predetermined plane in the world coordinate converted image. do.
이 구성에서는, 평행 투영 화상을 생성함으로써 세계 좌표 변환 화상의 데이터량을 삭감할 수 있다. 또 예를 들면, 평면이 천정 측의 수평면일 때, 평행 투영 화상으로부터 검출되어야 할 하나 이상의 사람의 데이터를 개별로 추출할 수 있다. 평면이 수직면일 때, 평행 투영 화상으로부터 사람의 측면의 2차원 실루엣을 얻을 수 있고, 그 실루엣에 대응하는 패턴을 사용하면, 평행 투영 화상에 기초하여 사람(들)을 검출할 수 있다.In this structure, the data amount of a world coordinate conversion image can be reduced by generating a parallel projection image. Further, for example, when the plane is a horizontal plane on the ceiling side, data of one or more persons to be detected can be separately extracted from the parallel projection image. When the plane is a vertical plane, a two-dimensional silhouette of the side of the person can be obtained from the parallel projection image, and by using a pattern corresponding to the silhouette, the person (s) can be detected based on the parallel projection image.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 세계 좌표 변환 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 샘플링 데이터가 사람의 부위(region)에 기초하여 미리 기록된 기준 데이터에 대응하는 지 여부를 식별하여, 각각 상기 샘플링 데이터에 대응하는 물리 대상(들)이 사람(들)인지 여부를 판별한다.In another alternative embodiment of the present invention, the object detecting stage extracts sampling data corresponding to the portion of the one or more physical objects from the world coordinate transformation image, wherein the sampling data is pre-recorded based on the region of the person. By identifying whether or not corresponding to the reference data, it is determined whether the physical object (s) corresponding to the sampling data, respectively, is the person (s).
이 구성에서는, 기준 데이터는 정적 노이즈 및 동적 노이즈(예를 들면, 하물, 짐수레 등)가 제거된 세계 좌표 변환 화상에 있어서 실질적으로 사람 특징을 갖는 데이터의 역할을 하므로, 검출 영역에서의 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, the reference data serves as data having substantially human characteristics in the world coordinate transformation image from which static noise and dynamic noise (for example, luggage, trolleys, etc.) have been removed, and therefore, at least one person in the detection area. Can be detected individually.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 평행 투영 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 상기 샘플링 데이터가 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는 지 여부를 식별하고, 각각 상기 샘플링 데이터에 대응하는 물리 대상(들)이 사람(들)인지 여부를 판별한다.In another alternative embodiment of the present invention, the object detecting end extracts sampling data corresponding to the portion of the one or more physical objects from the parallel projection image, and the sampling data corresponds to previously recorded reference data based on the part of the person. And whether the physical object (s) corresponding to the sampling data are the person (s), respectively.
이 구성에서는, 사람의 부위(윤곽)의 기준 데이터는 정적 노이즈 및 동적 노이즈(예를 들면, 하물, 짐수레 등)가 제거된 평행 투영 화상에 있어서 실질적으로 사람 특징을 갖는 데이터의 역할을 하므로, 검출 영역에서의 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, since the reference data of the human part (contour) serves as data having substantially human characteristics in the parallel projection image from which static noise and dynamic noise (for example, loads, carts, etc.) have been removed, One or more people in the area can be detected individually.
본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 세계 좌표 변환 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 체적이나, 폭과 깊이와 높이의 비를 포함한다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 사람의 부위의 체적이나, 폭과 깊이와 높이의 비에 대한 값 또는 값의 범위이다. 본 발명에 의하면, 검출 영역에서의 사람의 수를 검출할 수 있다.In another alternative embodiment of the invention, the sampling data comprises the volume of one or more portions of the physical object virtually represented in the world coordinate transformed image, or the ratio of width to depth and height. The reference data is pre-recorded based on one or more parts of the person and is a value or range of values for the volume of the part of the person or the ratio of width to depth to height. According to the present invention, the number of people in the detection area can be detected.
본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 면적이나, 폭과 깊이의 비이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 사람의 부위의 면적이나, 폭과 깊이의 비에 대한 값 또는 값의 범위이다. 본 발명에 의하면, 검출 영역에서의 사람의 수를 검출할 수 있다.In another alternative embodiment of the invention, the sampling data is the area of one or more portions of the physical object virtually represented in the parallel projection image, or the ratio of width and depth. The reference data is previously recorded based on one or more human parts and is a value or range of values for the area of the human part or the ratio of width to depth. According to the present invention, the number of people in the detection area can be detected.
본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 세계 좌표 변환 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 3차원 패턴이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 3차원 패턴이다.In another alternative embodiment of the invention, the sampling data is a three-dimensional pattern of portions of one or more physical objects virtually represented in a world coordinate transformed image. The reference data is at least one three-dimensional pattern previously recorded based on one or more human portions.
이 구성에서는, 예를 들면, 사람의 어깨에서부터 머리부분(head)까지의 3차원 패턴을 기준 데이터에 선정함으로써, 검출 영역에서의 사람의 수를 검출할 수 있고, 또 사람의 움직이는 손의 영향도 배제할 수 있다. 또한, 사람의 머리부분의 3차원 패턴을 기준 데이터에 선정함으로써, 각자의 체격에 관계없이 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, for example, by selecting the three-dimensional pattern from the shoulder of the person to the head as reference data, the number of people in the detection area can be detected, and the influence of the moving hand of the person is also achieved. Can be excluded. In addition, by selecting the three-dimensional pattern of the head of the person to the reference data, one or more people can be detected individually regardless of their physique.
본 발명의 다른 대체 실시예에 있어서, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 2차원 패턴이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 2차원 패턴이다.In another alternative embodiment of the invention, the sampling data is a two-dimensional pattern of portions of one or more physical objects virtually represented in a parallel projection image. The reference data is at least one two-dimensional pattern previously recorded based on one or more human portions.
이 구성에서는, 예를 들면, 사람의 어깨와 머리부분 사이의 적어도 하나의 2차원 윤곽 패턴을 기준 데이터에 선정함으로써, 검출 영역에서의 사람의 수를 검출할 수 있고, 또 사람의 움직이는 손의 영향도 배제할 수 있다. 또한, 사람의 머리부분의 2차원 윤곽 패턴을 기준 데이터에 선정함으로써, 각자의 체격에 관계없이 하나 이상의 사람을 개별로 검출할 수 있다.In this configuration, for example, by selecting at least one two-dimensional contour pattern between the shoulder and the head of a person as reference data, the number of people in the detection area can be detected, and the influence of the moving hand of the person can be detected. Can also be excluded. In addition, by selecting the two-dimensional contour pattern of the head of a person as reference data, one or more people can be detected individually regardless of their physique.
본 발명의 다른 대체 실시예에 있어서, 거리 화상 센서는 강도 변조광을 검출 영역으로 방출하는 광원을 더 포함하고, 화상 요소마다의 수광 강도에 기초하여 거리 화상에 더해 강도 화상을 생성한다. 대상 검출단은 직교 좌표 변환 화상에 기초하여, 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 강도 화상에 기초하여, 샘플링 데이터에 대응하는 물리 대상(들)의 부분에 소정 강도보다 낮은 부분(들)이 있는지 여부를 판별한다. 이 구성에서는, 소정 강도보다 낮은 물리 대상(들)의 부분을 검출할 수 있다.In another alternative embodiment of the present invention, the distance image sensor further includes a light source for emitting intensity modulated light to the detection area, and generates an intensity image in addition to the distance image based on the received intensity of each image element. The object detecting stage extracts sampling data corresponding to the portion of the one or more physical objects based on the Cartesian coordinate transform image, and based on the intensity image, the object detecting end is lower than the predetermined intensity to the portion of the physical object (s) corresponding to the sampling data. Determine if there is part (s). In this configuration, the portion of the physical object (s) lower than the predetermined intensity can be detected.
본 발명의 다른 대체 실시예에 있어서, 거리 화상 센서는 강도 변조 적외광을 검출 영역에 방출하는 광원을 더 포함하고, 검출 영역으로부터의 적외광에 기초하여, 거리 화상에 더해 적외광의 강도 화상을 생성한다. 대상 검출단은 세계 좌표 변환 화상에 기초하여, 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하고, 강도 화상에 기초하여, 샘플링 데이터에 대응하는 각 물리 대상의 부분으로부터의 적외광의 평균 강도가 소정 강도보다 낮은지 여부를 식별하여, 그 샘플링 데이터에 대응하는 각 물리 대상의 부분이 사람의 머리부분인지 여부를 판별한다. 이 구성에서는, 적외광에 대한 사람의 두발의 반사율은 통상 사람의 어깨 측의 반사율보다 낮기 때문에, 사람의 머리부분을 검출할 수 있다.In another alternative embodiment of the invention, the distance image sensor further comprises a light source for emitting intensity modulated infrared light to the detection area, and based on the infrared light from the detection area, the intensity image of the infrared light in addition to the distance image. Create The object detecting stage extracts sampling data corresponding to one or more parts of the physical object based on the world coordinate transform image, and average intensity of infrared light from each part of the physical object corresponding to the sampling data based on the intensity image. Is identified as lower than a predetermined intensity, and it is determined whether the portion of each physical object corresponding to the sampling data is the head of a person. In this configuration, since the reflectance of the human head with respect to infrared light is lower than that of the human shoulder side, the human head can be detected.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 사람으로서 판별된 물리 대상의 수를 기초로, 평행 투영 화상에서의 사람으로서 판별된 물리 대상의 부분의 위치를 클러스터(cluster)의 구성요소에 할당하고, 클러스터링(clustering)의 K-평균 알고리즘에 의해 얻어지는 분할 영역에 기초하여, 물리 대상의 수를 검증한다. 이 구성에서는, 사람으로서 판별된 물리 대상의 수를 검증할 수 있고, 또한 그 사람의 위치를 추정할 수 있다.In another alternative embodiment of the present invention, the object detecting stage is configured to assign the position of the portion of the physical object determined as the person in the parallel projection image to the components of the cluster based on the number of physical objects determined as the person. The number of physical objects is verified based on the partitions allocated and obtained by the K-average algorithm of clustering. In this configuration, the number of physical objects determined as a person can be verified, and the position of the person can be estimated.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써, 전경 거리 화상을 생성하고, 그 전경 거리 화상에 기초하여 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서의 하나 이상의 사람을 개별로 검출한다. 특정 화상 요소는 거리 화상의 화상 요소의 거리 값이 소정의 거리 한계치보다 작을 때 추출된다.In another alternative embodiment of the present invention, the target detecting end generates a foreground distance image by extracting a specific image element from each image element of the distance image, and one to be detected in the detection area based on the foreground distance image. One or more persons as the above physical objects are detected individually. The specific image element is extracted when the distance value of the image element of the distance image is smaller than the predetermined distance limit.
이 구성에서는, 거리 화상 센서의 위치와 거리 화상 센서로부터 (소정의 거리 한계치에 대응하는 거리) 떨어진 전방의 위치 사이의 물리 대상을 검출할 수 있으므로, 소정의 거리 한계치가 적절한 값으로 설정되는 경우, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를, 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, since the physical object can be detected between the position of the distance image sensor and the position in front of the distance image sensor (the distance corresponding to the predetermined distance limit value), when the predetermined distance limit value is set to an appropriate value, The state where a person and dynamic noise (for example, a baggage, a cart, etc.) overlap is distinguishable from the state which two or more people overlap.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 거리 화상의 거리값 분포의 최소값을 가지는 화상 요소 부근의 거리 화상이, 사람의 부위에 기초하여 미리 기록된 특정 형상 및 그 특정 형상의 크기에 대응하는지 여부를 식별하여, 각각 상기 최소값을 가지는 화상 요소 부근의 거리 화상에 대응하는 물리 대상(들)이 사람(들)인지 여부를 판별한다. 이 구성에서는, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를, 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In another alternative embodiment of the present invention, the target detecting end is configured to display a distance image in the vicinity of an image element having a minimum value of the distance value distribution of the distance image in a predetermined shape and the size of the specific shape previously recorded based on the part of the person. By identifying whether or not they correspond, it is determined whether or not the physical object (s) corresponding to the distance image in the vicinity of the image element each having the minimum value is a person (s). In this configuration, it is possible to distinguish a state where a person and dynamic noise (for example, a load, a cart, etc.) overlap with a state where two or more persons overlap.
본 발명의 다른 대체 실시예에 있어서, 대상 검출단은 거리 화상의 각 거리값으로부터 분포 화상을 생성하고, 분포 화상에 기초하여 상기 검출 영역에서의 하나 이상의 물리 대상을 개별로 검출한다. 분포 화상은 하나 이상의 물리 대상이 검출 영역에 있을 때, 하나 이상의 분포 영역을 포함한다. 분포 영역은 거리 화상에서의 소정의 거리 한계치보다 작은 거리값을 가지는 각 화상 요소로부터 형성된다. 소정의 거리 한계치는, 거리 화상의 각 거리값의 최소값에 소정의 거리값을 가산하여 얻어진다.In another alternative embodiment of the present invention, the object detection stage generates a distribution image from each distance value of the distance image, and individually detects one or more physical objects in the detection area based on the distribution image. The distribution image includes one or more distribution areas when one or more physical objects are in the detection area. A distribution area is formed from each image element having a distance value smaller than a predetermined distance threshold in the distance image. The predetermined distance limit value is obtained by adding the predetermined distance value to the minimum value of each distance value of the distance image.
이 구성에서는, 검출 영역에서의 검출되어야 할 하나 이상의 사람의 머리부분을 검출할 수 있으므로, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.In this configuration, since the head of one or more persons to be detected in the detection area can be detected, the state in which the human and the dynamic noise (for example, luggage, cart, etc.) overlap with the state in which two or more persons overlap. Can be distinguished.
본 발명의 동반입장 검출 디바이스는, 상기 개체 검출기 및 동반입장 검출단을 포함한다. 거리 화상 센서는 거리 화상을 연속적으로 생성한다. 동반입장 검출단은 동반입장 경계 시에, 대상 검출단에 의해 검출된 하나 이상의 사람의 이동 궤적을 개별로 추적한다. 동반입장 검출단은 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동한 때, 동반입장의 발생을 검출하여 경보 신호를 출력한다.The co-occurrence detection device of the present invention includes the individual detector and the co-occurrence detection stage. The range image sensor produces the range image continuously. The co-occupation detection stage separately tracks the movement trajectories of one or more persons detected by the target detection stage at the co-entry boundary. The companion entrance detecting stage detects the occurrence of companion entrance and outputs an alarm signal when two or more persons move to / from the detection area in a predetermined direction.
이 구성에서는, 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동한 때에 경보 신호가 출력되므로, 동반입장을 방지할 수 있다. 또, 복수의 사람을 검출하여도, 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동하지 않을 때는 경보 신호를 전송하지 않기 때문에, 오보를 방지할 수 있다.In this configuration, the alarm signal is output when two or more people move to / from the detection area in a predetermined direction, so that the accompanying entrance can be prevented. In addition, even if a plurality of people are detected, a false alarm can be prevented because an alarm signal is not transmitted when two or more people do not move to / from the detection area in a predetermined direction.
본 발명의 다른 동반입장 검출 디바이스는, 상기 개체 검출기 및 동반입장 검출단을 포함한다. 거리 화상 센서는 거리 화상을 연속적으로 생성한다. 동반입장 검출단은 대상 검출단에 의해 검출된 하나 이상의 사람의 출입과 출입의 각 방향을 감시한다. 동반입장 경계용으로 설정된 소정의 시간 내에, 2 이상의 사람이 소정 방향으로 상기 검출 영역에/검출 영역으로부터 이동한 때에, 동반입장의 발생을 검출하여 경보 신호를 전송한다.Another co-occurrence detection device of the present invention includes the individual detector and the co-occupation detection stage. The range image sensor produces the range image continuously. The companion entrance detection stage monitors the entry and exit of each of the one or more persons detected by the target detection stage and the respective directions of entry and exit. When two or more persons move to / from the detection area in the predetermined direction within a predetermined time set for the accompanying entrance boundary, the occurrence of the accompanying entrance is detected and an alarm signal is transmitted.
이 구성에서는, 2 이상의 사람이 소정 방향으로 검출 영역에/검출 영역으로부터 이동한 때에 경보 신호가 전송되므로, 따라 들어가는 것을 방지할 수 있다. 또, 복수의 사람을 검출하여도, 2 이상의 사람이 소정 방향으로 검출 영역에/검출 영역로부터 이동하지 않을 때는 경보 신호가 전송되지 않기 때문에, 오보를 방지할 수 있다.In this configuration, the alarm signal is transmitted when two or more people move to / from the detection area in a predetermined direction, so that it can be prevented from entering. In addition, even if a plurality of people are detected, a false alarm can be prevented because an alarm signal is not transmitted when two or more people do not move to / from the detection area in a predetermined direction.
본 발명의 바람직한 실시예를 보다 상세하게 기술한다. 본 발명의 다른 특징 및 이점은 이하의 상세한 기술 및 첨부 도면과 관련하여 한층 잘 이해될 것이다.Preferred embodiments of the invention are described in more detail. Other features and advantages of the invention will be better understood with reference to the following detailed description and accompanying drawings.
도 1은 본 발명에 따른 제1 실시예의 동반입장 검출 디바이스를 구비한 관리 시스템을 나타낸 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the management system provided with the companion entrance detection device of 1st Embodiment which concerns on this invention.
도 2는 도 1의 관리 시스템에 의해 관리될 방의 도어 근방을 나타낸 도면이다.FIG. 2 is a view showing the vicinity of a door of a room to be managed by the management system of FIG. 1.
도 3은 동반입장 검출 디바이스의 거리 화상 센서로부터 얻어지는 거리 화상 또는 전경 거리 화상의 각 화상 요소의 3차원에의 전개도이다.3 is a developed view in three dimensions of each image element of a distance image or a foreground distance image obtained from a distance image sensor of a companion entrance detection device.
도 4a는 검출 영역의 상태의 예를 나타낸 도면이다.4A is a diagram illustrating an example of a state of a detection area.
도 4b는 도 4a의 거리 화상을 나타낸 도면이다.4B is a diagram illustrating the distance image of FIG. 4A.
도 4c는 도 4b의 거리 화상으로부터 생성되는 전경 거리 화상을 나타낸 도면이다.4C is a diagram illustrating a foreground distance image generated from the distance image of FIG. 4B.
도 5은 전경 거리 화상으로부터 생성되는 직교 좌표 변환 화상 및 평행 투영 화상을 나타낸 도면이다.5 is a view showing a rectangular coordinate transform image and a parallel projection image generated from a foreground distance image.
도 6은 평행 투영 화상으로부터 추출되는 각 부 위를 나타낸 도면이다.Fig. 6 is a diagram showing each part extracted from the parallel projection image.
도 7a는 도 6의 추출된 부위의 예를 나타낸 도면이다.7A is a diagram illustrating an example of the extracted region of FIG. 6.
도 7b는 도 6의 추출된 부위의 예를 나타낸 도면이다.FIG. 7B is a diagram illustrating an example of the extracted region of FIG. 6.
도 8a는 도 6의 추출된 부위의 예를 나타낸 도면이다.8A is a diagram illustrating an example of the extracted region of FIG. 6.
도 8b는 미리 기록된 패턴의 예를 나타낸 도면이다.8B is a diagram illustrating an example of a pre-recorded pattern.
도 8c는 미리 기록된 패턴의 다른 예를 나타낸 도면이다.8C is a diagram showing another example of a pre-recorded pattern.
도 9는 3차원의 직교 좌표 변환 화상 또는 3차원의 세계 좌표 변환 화상으로부터 얻어지는 각 수평 단면 화상을 나타낸 도면이다.Fig. 9 is a diagram showing each horizontal cross-sectional image obtained from a three-dimensional rectangular coordinate converted image or a three-dimensional world coordinate converted image.
도 10a은 머리부분의 단면 및 두발을 기초로 검출된 머리부분의 위치를 나타낸 도면이다.Figure 10a is a view showing the position of the detected head based on the cross section of the head and the hair.
도 10b는 머리부분의 단면 및 두발을 기초로 검출된 머리부분의 위치를 나타낸 도면이다.10B is a view showing the position of the detected head based on the cross section of the head and the hair.
도 11은 대상 검출단 및 동반입장 검출단을 구성하는 CPU에 의해 실행되는 흐름도이다.11 is a flowchart executed by a CPU constituting the target detection stage and the companion entrance detection stage.
도 12는 상기 CPU에 의해 실행되는 흐름도이다.12 is a flowchart executed by the CPU.
도 13은 본 발명에 따른 제2 실시예의 들어감 검출 디바이스에서의 대상 검출단에 의해 실행되는 클러스터링 처리를 나타낸 도면이다.Fig. 13 is a diagram showing the clustering process executed by the target detecting end in the inlet detecting device of the second embodiment according to the present invention.
도 14는 본 발명에 따른 제3 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다.Fig. 14 is an explanatory view of the operation of the target detection stage in the companion entrance detecting device of the third embodiment according to the present invention.
도 15는 본 발명에 따른 제4 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다.15 is an explanatory diagram of the operation of the target detection stage in the companion entrance detecting device according to the fourth embodiment of the present invention.
도 16은 본 발명에 따른 제5 실시예의 동반입장 검출 디바이스에서의 동반입장 검출단의 동작 설명도이다.Fig. 16 is an explanatory view of the operation of the co-occupation detection stage in the co-occupation detection device of the fifth embodiment according to the present invention.
도 17은 본 발명에 따른 제6 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서의 구성도이다.Fig. 17 is a configuration diagram of a distance image sensor in the companion entrance detecting device of the sixth embodiment according to the present invention.
도 18은 도 17의 거리 화상 센서의 동작 설명도이다.18 is an explanatory diagram of the operation of the distance image sensor of FIG. 17.
도 19a는 도 17의 거리 화상 센서에서의 하나의 감광부에 대응하는 영역을 나타낸 도면이다.19A is a diagram illustrating a region corresponding to one photosensitive portion in the distance image sensor of FIG. 17.
도 19b는 도 17의 거리 화상 센서에서의 하나의 감광부에 대응하는 영역을 나타낸 도면이다.FIG. 19B is a diagram illustrating a region corresponding to one photosensitive portion in the distance image sensor of FIG. 17.
도 20은 도 17의 거리 화상 센서에서의 전하 픽업 유닛의 설명도이다.20 is an explanatory diagram of a charge pickup unit in the distance image sensor of FIG. 17.
도 21은 본 발명에 의한 제7 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서의 동작 설명도이다.Fig. 21 is an explanatory diagram of the operation of the distance image sensor in the companion entrance detecting device according to the seventh embodiment of the present invention.
도 22a는 도 21의 거리 화상 센서의 동작 설명도이다.22A is an explanatory diagram of the operation of the range image sensor of FIG. 21.
도 22b는 도 21의 거리 화상 센서의 동작 설명도이다.22B is an operation explanatory diagram of the distance image sensor in FIG. 21.
도 23a는 도 21의 거리 화상 센서의 대체 실시예를 나타낸 도면이다.FIG. 23A illustrates an alternative embodiment of the distance image sensor of FIG. 21.
도 23b는 도 21의 거리 화상 센서의 대체 실시예를 나타낸 도면이다.FIG. 23B illustrates an alternative embodiment of the distance image sensor of FIG. 21.
도 1은 본 발명에 따른 제1 실시예의 동반입장 검출 디바이스를 갖춘 관리 시스템을 나타낸 것이다.1 shows a management system with a co-occurrence detection device of a first embodiment according to the present invention.
관리 시스템은, 도 1 및 도 2에 나타낸 바와 같이, 적어도 하나의 동반입장 검출 디바이스(1), 보안 디바이스(2) 및 적어도 하나의 입력 디바이스(3)를, 관리되어야 할 방의 도어(20)마다 포함하고, 또 각 동반입장 검출 디바이스(1), 각 보안 디바이스(2) 및 각 입력 디바이스(3)와 통신하는 제어 디바이스(4)를 포함한다. 그리고, 본 발명의 관리 시스템은 입장 관리 시스템에 한정되지 않고, 출입 관리 시스템일 수도 있다.As shown in FIGS. 1 and 2, the management system includes at least one companion
보안 디바이스(2)는 자동 잠금 기능을 가지고, 제어 디바이스(4)로부터의 잠금해제 제어신호에 따라 도어(20)를 여는 전자 자물쇠(electric lock)이다. 전자 자물쇠는 도어(20)를 잠근 후, 폐쇄 통지 신호를 제어 디바이스(4)에 송신한다.The
일 대체예에서는, 보안 디바이스(2)는 자동 도어 시스템에서의 개폐 제어 디바이스이다. 개폐 제어 디바이스는 제어 디바이스(4)로부터의 개방 또는 폐쇄 제어 신호에 따라, 각각 도어(20)를 열거나 도어(20)를 닫은 후, 폐쇄 통지 신호를 제어 디바이스(4)에 송신한다.In one alternative, the
입력 디바이스(3)는 도어(20) 외측의 인접한 벽에 설치되어 ID 카드의 ID 정보를 판독하여 제어 디바이스(4)에 송신하는 카드 판독기이다. 관리 시스템이 출입 관리 시스템인 경우에는, 다른 입력 디바이스(3), 예를 들면 카드 판독기가 도어(20) 내측의 관리될 방의 벽에도 설치된다.The
제어 디바이스(4)는 CPU 및 미리 등록된 각 ID 정보 및 프로그램 등을 기억하는 스토리지 디바이스 등으로 구성되며, 시스템 전반의 제어를 실행한다.The
예를 들면, 제어 디바이스(4)는 입력 디바이스(3)으로부터의 ID 정보가 기억 장치에 미리 기록된 ID 정보와 일치한 때, 대응하는 보안 디바이스(2)에 잠금해제 제어 신호를 송신하고, 또한 대응하는 동반입장 검출 디바이스(1)에 입장 허가 신호를 송신한다. 또, 제어 디바이스(4)는 보안 디바이스(2)로부터 폐쇄 통지 신호를 수신한 때, 대응하는 동반입장 검출 디바이스(1)에 입장 금지 신호를 송신한다.For example, the
보안 디바이스(2)가 개폐 제어 디바이스인 대체예에서는, 제어 디바이스(4)는 입력 디바이스(3)로부터의 ID 정보가 기억 장치에 기록된 ID 정보와 일치한 때, 대응하는 개폐 제어 디바이스에 개방 제어 신호를 송신하고, 일정 시간 후, 대응하는 개폐 제어 디바이스에 폐쇄 제어 신호를 송신한다. 또, 제어 디바이스(4)는 개폐 제어 디바이스로부터 폐쇄 통지 신호를 수신한 때, 대응하는 동반입장 검출 디바이스(1)에 입장 금지 신호를 송신한다.In an alternative example where the
또, 제어 디바이스(4)는 동반입장 검출 디바이스(1)로부터 경보 신호를 수신한 때, 예를 들면 관리자에게 통지, 카메라(도시하지 않음)의 작동 시간 연장 등의 소정의 처리를 실행한다. 경보 신호를 수신한 후, 소정의 해제 조작이 실행되거나, 소정의 시간이 경과하면, 제어 디바이스(4)는 대응하는 동반입장 검출 디바이스(1)에 해제 신호를 송신한다.In addition, when the
동반입장 검출 디바이스(1)는 거리 화상 센서(10) 및 대상 검출단(16)에 의해 구성되는 개체 검출기, 동반입장 검출단(17) 및 경보단(18)을 구비한다. 대상 검출단(16) 및 동반입장 검출단(17)은, CPU 및 프로그램 등을 기억하는 스토리지 디바이스 등에 의해 구성된다.The companion
거리 화상 센서(10)는 하방의 검출 영역(A1)에 대해서 하향으로 면하여 배치되고, 거리 화상을 연속적으로 생성한다. 하나 이상의 물리 대상이 검출 영역(A1)에 있을 때, 각각의 거리 화상의 각 화상 요소는, 도 3에 나타낸 바와 같이, 그 하나 이상의 물리 대상까지의 각각의 거리 값을 각각 포함한다. 예를 들면, 도 4a에 나타낸 바와 같이, 사람(B1) 및 짐수레(C1)가 검출 영역에 있을 때는, 도 4b에 나 타낸 바와 같은 거리 화상(D1)을 얻을 수 있다.The
제1 실시예에서는, 센서(10)는 강도 변조 적외광을 검출 영역(A1)에 방출하는 광원(도시하지 않음)을 포함하고, 렌즈 및 적외광 투과 필터 등의 광학계와, 광학계를 통하여 검출 영역(A1)에 면하여 배치되는 2차원 감광 어레이에 의해 구성되는 카메라 구조(도시하지 않음)를 가진다. 또 카메라 구조를 가지는 센서(10)는 검출 영역(A1)으로부터의 적외광에 기초하여, 거리 화상에 더해 적외광의 강도 화상을 생성한다.In the first embodiment, the
대상 검출단(16)은, 검출 영역(A1)에서의 검출되어야 할 하나 이상의 물리 대상으로서 하나 이상의 사람을, 센서(10)에 의해 생성된 거리 화상으로부터 얻어지는, 검출되어야 할 하나 이상의 사람의 특정 고도 또는 각 고도에서의 부분(부위)에 기초로, 개별로 검출한다. 따라서, 대상 검출단(16)은 이하의 각 처리를 실행한다.The
제1 처리에서는 도 4c에 나타낸 바와 같이, 대상 검출단(16)은 센서(10)로부터 미리 얻어진 거리 화상인 배경 거리 화상(D0)과, 센서(10)로부터 얻어진 현재의 거리 화상(D1)의 차분에 기초하여, 전경 거리 화상(D2)을 생성한다. 배경 거리 화상(D0)는 도어(20)를 닫은 상태에서 포착된다. 또, 배경 거리 화상은 거리값의 불균일을 억제하기 위해, 시간 및 공간 방향의 평균 거리값을 포함할 수 있다..In the first process, as shown in FIG. 4C, the
제1 처리를 더욱 상세하게 설명하면, 전경 거리 화상은 현재의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써 생성된다. 특정 화상 요소는 현재의 거리 화상의 화상 요소를 배경 거리 화상의 대응하는 화상 요소로부터 감산 하여 얻어진 거리 차분이, 소정의 거리 한계치보다 크면, 추출된다. 이 경우, 전경 거리 화상은 정적 노이즈를 포함하지 않기 때문에, 정적 노이즈가 제거된다. 또, 배경 거리 화상에 대응하는 위치로부터 소정의 거리 한계치에 대응하는 거리 전방의 위치보다 후방에 있는 하나 이상의 물리 대상을 제거할 수 있으므로, 소정의 거리 한계치가 적절한 값으로 설정되면, 도 4c에 나타낸 바와 같이, 동적 노이즈로서의 짐수레(C1)가 제거된다. 또, 도어(20)가 열려 있더라도, 도어(20)의 후방의 물리 대상도 제거된다. 따라서, 사람과 동적 노이즈[짐수레(C1), 도어(20) 후방의 물리 대상 등)가 겹쳐있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다.To describe the first process in more detail, the foreground distance image is generated by extracting a specific image element from each image element of the current distance image. The specific image element is extracted if the distance difference obtained by subtracting the image element of the current distance image from the corresponding image element of the background distance image is greater than the predetermined distance limit. In this case, since the foreground distance image does not contain static noise, the static noise is removed. In addition, since one or more physical objects that are behind the position in front of the distance corresponding to the predetermined distance limit value can be removed from the position corresponding to the background distance image, when the predetermined distance limit value is set to an appropriate value, it is shown in Fig. 4C. As described above, the luggage cart C1 as the dynamic noise is removed. In addition, even if the
제2 처리에서, 도 5에 나타낸 바와 같이, 대상 검출단(16)은 센서(10)에 대해 미리 기록된 카메라 캘리브레이션 데이터(예를 들면, 화소 피치 및 렌즈 변형 등)에 기초하여, 카메라 구조에 의존하는 전경 거리 화상(D2)의 카메라 좌표계를 3차원 직교 좌표계(x, y, z)로 변환한다. 이에 의해, 물리 대상의 존재/부존재의 각 위치를 나타내는 직교 좌표 변환 화상(E1)을 생성한다. 즉, 직교 좌표 변환 화상(E1)의 각 화상 요소(xi, xj, xk)는, "TRUE" 또는"FALSE"로 표현된다. "TRUE"는 물리 대상의 존재를 나타내고, "FALSE"는 물리 대상의 부존재를 나타낸다.In the second process, as shown in Fig. 5, the
제2 처리의 대체예에서는, 전경 거리 화상의 화상 요소가 "TRUE"에 대응하는 경우, 그 화상 요소의 값이 가변 고도의 한계치보다 작으면, 그 화상 요소에 대응하는 직교 좌표 변환 화상의 화상 요소에 "FALSE"를 저장한다. 따라서, 가변 고도의 한계치의 고도보다 낮은 동적 노이즈를 적응적으로(adaptively) 제거할 수 있 다.In an alternative example of the second process, when the image element of the foreground distance image corresponds to "TRUE", and if the value of the image element is smaller than the limit of the variable altitude, the image element of the Cartesian coordinate conversion image corresponding to the image element Save "FALSE" in. Therefore, it is possible to adaptively remove the dynamic noise lower than the altitude of the variable altitude threshold.
제3 처리에서는, 대상 검출단(16)은 미리 기록된 카메라 캘리브레이션 데이터(예를 들면, 센서(10)의 위치, 내림 각, 화소 피치의 실제 거리 등)에 기초하여, 회전, 평행이동 등에 의해 직교 좌표 변환 화상의 직교 좌표계를, 실제 공간 상에 가상으로 설정되는 3차원 세계 좌표계로 변환한다. 이에 의해, 대상 검출단(16)은, 물리 대상이 존재/부존재하는 각 위치를 실제 위치 및 실제 치수로 나타낸 세계 좌표 변환 화상을 생성한다. 이 경우, 세계 좌표 변환 화상에서의 하나 이상의 물리 대상의 데이터를 실제 위치 및 실제 치수(거리, 크기)로 취급할 수 있다.In the third process, the
제4 처리에서는, 대상 검출단(16)은 세계 좌표 변환 화상을 평행 투영으로 수평면 또는 수직면 등의 소정의 평면상에 투영한다. 이에 의해, 대상 검출단(16)은 세계 좌표 변환 화상에서의 소정의 평면에서 본, 각 화상 요소로부터 구성되는 평행 투영 화상을 생성한다. 제1 실시예에서는, 도 5에 나타낸 바와 같이, 평행 투영 화상(F1)은 천정면 측(ceiling side)의 수평면에서 본, 각 화상 요소로부터 구성되며, 검출되어야 할 물리 대상을 나타낸 각 화상 요소는 최고 고도의 위치에 있다.In the fourth process, the
제5 처리에서는, 도 6에 나타낸 바와 같이, 대상 검출단(16)은 평행 투영 화상(F1)으로부터 대상 추출 영역(A2) 내의 하나 이상의 물리 대상의 부분(Blob)에 대응하는 샘플링 데이터를 추출하여 라벨링(labeling) 작업을 수행한 다음, 샘플링 데이터(물리 대상(들)의 부분)의 위치(예를 들면, 중심 위치(들))를 특정한다. 샘플링 데이터가 대상 추출 영역(A2)의 경계와 겹쳐지는 경우, 대상 검출단(16)은 그 샘플링 데이터가 대상 추출 영역(A2) 내부와 외부의 면적 중 큰 면적의 영역에 속하도록 처리할 수 있다. 도 6의 예에서는, 대상 추출 영역(A2) 외의 사람(B2)에 대응하는 샘플링 데이터는 제외된다. 이 경우, 대상 추출 영역(A2) 내의 물리 대상(들)의 부분만을 추출할 수 있으므로, 예를 들면 유리문에의 반사 등에 의한 동적 노이즈를 제거할 수 있고, 또 관리될 방에 적합한 개체 검출이 가능하다.In the fifth process, as shown in FIG. 6, the
이어서, 제6 처리 및 제7 처리가 병렬로 실행된다. 제6 처리 및 제7 처리에서, 대상 검출단(16)은 제5 처리로 추출된 샘플링 데이터가 하나 이상의 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는지 여부를 식별하여, 각각 그 샘플링 데이터에 대응하는 물리 대상이 사람인지 여부를 판별한다.Subsequently, the sixth process and the seventh process are executed in parallel. In the sixth processing and the seventh processing, the
제6 처리에서는, 도 7a 및 도 7b에 나타낸 바와 같이, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 면적(S)이나, 폭과 깊이의 비이다. 비는 물리 대상(들)의 부분을 포함하는 외접 사각형(circumscribed square)의 폭(W)과 깊이(D)의 비(W: D)이다. 기준 데이터는 하나 이상의 사람의 부위에 기초하여 미리 기록되고, 해당 부위의 면적이나, 폭과 깊이의 비에 대한 값 또는 값의 범위이다. 따라서, 검출 영역(A1)에서의 대상 추출 영역(A2) 내의 사람의 수를 검출할 수 있다.In the sixth process, as shown in Figs. 7A and 7B, the sampling data is the area S of one or more physical object portions virtually represented in the parallel projection image, or the ratio of width and depth. The ratio is the ratio (W: D) of the width (W) to the depth (D) of a circumscribed square that includes a portion of the physical object (s). The reference data is prerecorded based on the site of one or more persons and is a value or range of values for the area of the site or the ratio of width to depth. Therefore, the number of people in the target extraction area A2 in the detection area A1 can be detected.
제7 처리에서, 도 8a에 나타낸 바와 같이, 샘플링 데이터는 평행 투영 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 2차원 패턴이다. 기준 데이터는, 도 8b 및 도 8c에 나타낸 바와 같이, 하나 이상의 사람의 부위에 기초하여 미리 기록된 적어도 하나의 2차원 패턴이다. 제1 실시예에서, 도 8b 및 도 8c에 나타낸 바와 같은 패턴이 사용되고, 패턴 매칭(pattern matching)에 의해 취득되는 상관값(correlation value)이 소정의 값보다 크면, 그 패턴에 대응하는 인원수가 가산된다. 따라서, 예를 들면, 사람의 어깨와 그 머리부분 사이의 각 패턴을, 기준 데이터로 선정함으로써, 검출 영역에서의 사람의 수를 검출할 수 있고, 또 사람의 움직이는 손의 영향도 배제할 수 있다. 또한, 사람의 머리부분의 2차원 윤곽 패턴을 기준 데이터로 선정함으로써, 각자의 체격에 관계없이 하나 이상의 사람을 개별로 검출할 수 있다.In the seventh process, as shown in Fig. 8A, the sampling data is a two-dimensional pattern of portions of one or more physical objects virtually represented in the parallel projection image. The reference data is at least one two-dimensional pattern previously recorded based on one or more human portions, as shown in FIGS. 8B and 8C. In the first embodiment, when a pattern as shown in Figs. 8B and 8C is used, and a correlation value obtained by pattern matching is larger than a predetermined value, the number of persons corresponding to the pattern is added. do. Therefore, for example, by selecting each pattern between the human shoulder and its head as reference data, the number of persons in the detection area can be detected, and the influence of the human's moving hand can also be excluded. . In addition, by selecting the two-dimensional contour pattern of the head of the person as reference data, one or more people can be detected individually regardless of their physique.
제1 실시예에서는, 제6 처리로 계산된 인원수 및 제7 처리로 계산된 인원수가 동일하면, 그 다음의 처리는 제1 처리로 복귀된다. 한편, 제6 처리로 계산된 인원수 및 제7 처리로 계산된 인원수가 다르면, 제8 처리 내지 제11 처리가 또한 실행된다.In the first embodiment, if the number of people calculated by the sixth process and the number of people calculated by the seventh process are the same, the next process is returned to the first process. On the other hand, if the number of people calculated by the sixth process and the number of people calculated by the seventh process differ, the eighth to eleventh processes are also executed.
제8 처리에서, 대상 검출단(16)은 3차원의 직교 좌표 변환 화상 또는 3차원의 세계 좌표 변환 화상의 각 화상 요소로부터 소정의 평면상의 각 화상 요소를 추출함으로써, 단면 화상을 생성한다. 도 9에 나타낸 바와 같이, 제1 처리에서의 거리 한계치의 고도로부터 위쪽으로 각 고도(예를 들면, 10cm)마다 수평면의 각 화상 요소를 추출함으로써, 수평 단면 화상(G1-G5)을 생성한다. 그리고, 대상 검출단(16)은, 수평 단면 화상을 생성할 때마다, 수평 단면 화상으로부터 하나 이상의 물리 대상의 부분에 대응하는 샘플링 데이터를 추출하여 저장한다.In the eighth process, the
제9 처리에서, 대상 검출단(16)은 제8 처리로 추출된 샘플링 데이터가, 하나 이상의 사람의 부위에 기초하여 미리 기록된 기준 데이터에 대응하는지 여부를 식 별하여, 각각 샘플링 데이터에 대응하는 각 물리 대상이 사람인지 여부를 판별한다. 샘플링 데이터는 수평 단면 화상에 가상으로 표현되는 하나 이상의 물리 대상의 부분의 단면이다. 기준 데이터는 하나 이상의 사람의 머리부분의 단면에 대한 값 또는 값의 범위이다. 대상 검출단(16)은 수평 단면 화상이 생성될 때마다, 샘플링 데이터가 기준 데이터보다 작아졌는지 여부를 식별한다. 샘플링 데이터가 기준 데이터보다 작아졌을 때(G4, G5), 대상 검출단(16)은 최고 고도의 샘플링 데이터를 사람의 머리부분에 대응하는 데이터로서 계수 한다.In the ninth process, the
제10 처리에서, 수평 단면 화상의 고도가 소정의 고도에 도달한 후, 수평 단면 화상이 생성될 때마다, 대상 검출단(16)은 샘플링 데이터에 대응하는 각 물리 대상의 부분으로부터의 적외광의 평균 강도가 소정의 강도보다 낮은지 여부를 식별하여, 각각 그 샘플링 데이터에 대응하는 물리 대상의 부분이 사람의 머리부분인지 여부를 판별한다. 샘플링 데이터에 대응하는 물리 대상(들)의 부분이 사람의 머리부분(들)일 때, 그 샘플링 데이터는 사람의 머리부분에 대응하는 데이터로서 계수된다. 적외광에 대한 사람의 두발의 반사율은 통상 사람의 어깨 측의 반사율보다도 낮기 때문에, 소정의 강도를 적절한 값으로 설정하면, 사람의 머리부분을 검출할 수 있다.In the tenth process, after the altitude of the horizontal cross-sectional image reaches a predetermined altitude, each time the horizontal cross-sectional image is generated, the
제11 처리에서, 도 10a에 나타낸 바와 같이, 제9 처리에서 판별된 최고 고도에서의 사람(B3)의 머리부분의 위치(B31)와, 제10 처리에서 판별된 사람(B3)의 머리부분의 위치(B32)가 서로 동일하면, 대상 검출단(16)은, 사람(B3)이 직립하고, 두발을 가지고 있는 것으로 판정한다. 그렇지 않으면, 도 10a 및 도 10b에 나타낸 바와 같이, 제9 처리만으로 최고 고도에서의 사람(B4)의 머리부분의 위치(B41)가 판별되면, 대상 검출단(16)은, 사람(B4)이 직립하고, 두발이 없거나 모자를 착용하고 있는 것으로 판정한다. 도 10b에 나타낸 바와 같이, 제10 처리만으로 사람(B5)의 머리부분의 위치(B52)가 판별되면, 대상 검출단(16)은, 사람(B5)이 머리부분을 기울이고 있고 두발을 가지고 있는 것으로 판정한다. 그리고 대상 검출단(16)은 인원수를 집계한다.In the eleventh process, as shown in Fig. 10A, the position B31 of the head of the person B3 at the highest altitude determined in the ninth process, and the head of the person B3 determined in the tenth process, If the positions B32 are identical to each other, the
도 1의 동반입장 검출단(17)은, 제어 디바이스(4)로부터 입장 허가 신호를 수신한 후, 대상 검출단(16)에 의해 검출된 인원수에 기초하여, 동반입장이 발생하였는지 여부를 검출한다.After receiving the entrance permission signal from the
제1 실시예에서, 동반입장 검출단(17)은, 대상 검출단(16)에 의해 검출된 인원수가 2 이상이면, 동반입장이 발생한 것으로 검출하여, 경보 신호를 제어 디바이스(4)로부터 해제 신호를 수신할 때까지 제어 디바이스(4) 및 경보단(18)에 송신한다. 또, 동반입장 검출단(17)은 경보 신호를 제어 디바이스(4) 및 경보단(18)에 송신하고 있지 않으면, 제어 디바이스(4)로부터 입장 금지 신호를 수신한 후, 대기 모드로 이행한다. 경보단(18)은 동반입장 검출단(17)으로부터 경보 신호를 수신하고 있는 동안, 경보를 낸다.In the first embodiment, the companion
제1 실시예의 동작을 설명한다. 대기 모드에 있어서, 입력 디바이스(3)가 ID 카드의 ID 정보를 판독한 때, 입력 디바이스(3)는 ID 정보를 제어 디바이스(4)에 송신한다. 이어서, 제어 디바이스(4)는, ID 정보가 미리 기록된 ID 정보와 일치하는지 여부를 인증한다. 두 ID 정보가 서로 일치한 때, 입장 허가 신호와 잠금 해제 제어 신호를 대응하는 동반입장 검출 디바이스(1)와 보안 디바이스(2)에 각각 송신한다. 따라서, ID 카드의 휴대자는 도어(20)를 열어, 관리되어야 할 방에 들어갈 수가 있다.The operation of the first embodiment will be described. In the standby mode, when the
도 11 및 도 12를 참조하여, 동반입장 검출 디바이스(1)가 제어 디바이스(4)로부터 입장 허가 신호를 수신한 후의 동작을 설명한다. 동반입장 검출 디바이스(1)에 있어서, 거리 화상 및 적외광의 강도 화상이 거리 화상 센서(10)에 의해 생성된다(도 11의 S10 참조).With reference to FIG. 11 and FIG. 12, operation | movement after the companion
이어서, 대상 검출단(16)은 거리 화상, 배경 거리 화상 및 거리 한계치에 기초하여 전경 거리 화상을 생성하고(S11), 전경 거리 화상으로부터 직교 좌표 변환 화상을 생성하며(S12)), 직교 좌표 변환 화상으로부터 세계 좌표 변환 화상을 생성하고(S13), 세계 좌표 변환 화상으로부터 평행 투영 화상을 생성한다(S14). 그런 다음 대상 검출단(16)은 평행 투영 화상으로부터 물리 대상의 부분(윤곽)의 데이터(샘플링 데이터)를 추출한다(S15).Subsequently, the
단계 S16에서, 대상 검출단(16)은 기준 데이터(사람의 기준 부위의 면적 및 비에 대한 값 또는 값의 범위)에 기초하여, 샘플링 데이터(윤곽의 면적 및 비)에 대응하는 물리 대상이 사람인지 여부를 판별한다. 대상 검출단(16)은 어떤 물리 대상이 사람으로 판별되면(S16에서 "YES"), 단계 S17에서, 대상 추출 영역(A2) 내의 인원수(N1)를 계수하고, 또한 어떤 물리 대상도 사람으로 판별되지 않으면(S16에서 "NO"), 단계 S18에서, N1로서 영(zero)을 계수한다.In step S16, the
또, 대상 검출단(16)은 단계 S19에서, 기준 데이터(사람의 기준 부위의 패 턴)에 기초하여, 샘플링 데이터(윤곽의 패턴)에 대응하는 물리 대상이 사람인지 여부를 판별한다. 대상 검출단(16)은 어떤 물리 대상이 사람으로서 판별되면(S19에서 " YES"), 단계 S20에서 대상 추출 영역(A2) 내의 인원수(N2)를 계수하고, 또 어떤 물리 대상도 사람으로 판별되지 않으면(S19에서 "NO"), 단계 S21에서, N2로서 영(zero)을 계수한다.Further, in step S19, the
이어서, 동반입장 검출단(17)은, N1과 N2가 서로 일치하는지 여부를 판별한다(S 22). N1과 N2가 서로 일치하면(S22에서 "YTS"), 동반입장 검출단(17)은 단계 S23에서, N1 또는 N2에 기초하여 동반입장이 발생하였는지 여부를 검출한다. 또, 그렇지 않으면(S22에서 "NO"), 대상 검출단(16)에 의해 도 12의 단계 S30으로 진행한다.Subsequently, the companion
동반입장이 발생하고 있는 것으로 검출된 때(S23에서 "YES"), 동반입장 검출단(17)은 경보 신호를 제어 디바이스(4) 및 경보단(18)에, 제어 디바이스(4)로부터 해제 신호를 수신할 때까지 송신한다(S24, S25). 이로써, 경보단(18)이 경보를 낸다. 동반입장 검출단(17)이 제어 디바이스(4)로부터 해제 신호를 수신한 후, 동반입장 검출 디바이스(1)는 대기 모드로 돌아간다.When it is detected that a companion entrance is occurring ("YES" in S23), the companion
동반입장이 발생하고 있는 것으로 검출되지 않았을 때(S23에서 "NO"), 동반입장 검출단(17)이 제어 디바이스(4)로부터 입장 금지 신호를 수신하면(S26에서 "YES"), 동반입장 검출 디바이스(1)는 대기 모드로 복귀한다. 또 그렇지 않으면(S26에서 "NO"), 단계 S10으로 돌아간다.When the companion entrance is not detected as occurring ("NO" in S23), when the companion
도 12의 단계 S30에서, 대상 검출단(16)은 제1 처리에서의 거리 한계치의 고 도로부터 수평 단면 화상을 생성한다. 이어서, 대상 검출단(16)은, 단계 S31에서 수평 단면 화상으로부터 각 물리 대상의 부분(단면의 윤곽)의 데이터(샘플링 데이터)를 추출한다. 단계 S32에서, 기준 데이터(사람의 머리부분의 단면에 대한 값 또는 값의 범위)에 기초하여, 대상 검출단(16)은 샘플링 데이터(윤곽의 면적)에 대응하는 물리 대상의 부분이 사람의 머리부분인지 여부를 판별함으로써, 사람의 머리부분의 위치(M1)를 검출한다. 이어서, 모든 수평 단면 화상이 생성되었으면(S33에서 "YES), 대상 검출단(16)은 단계 S35로 진행하고, 또 그렇지 않으면(S33에서 "NO"), 단계 S30으로 돌아간다.In step S30 of FIG. 12, the
또, 대상 검출단(16)은, 단계 S34에서, 강도 화상 및 소정의 강도에 기초하여, 사람의 머리부분의 위치(M2)를 검출하고, 이어서 단계 S35로 진행한다.In addition, in step S34, the
단계 S35에서, 대상 검출단(16)은 M1를 M2와 비교하여, 양자가 일치하면(S36에서 "YES"), 단계 S37에서 직립하고 두발을 가지는 사람을 검출한다. 그렇지 않고(S36에서 "NO"), M1만이 검출되면(S38에서 "YES"), 대상 검출단(16)은 단계 S39에서 직립하고 두발을 갖지 않는 사람을 검출한다. 그렇지 않고(S38에서 "NO"), M2만이 검출되면(S40에서 "YES"), 대상 검출단(16)은 단계 S41에서 머리부분을 기울이고 있는 두발을 가지는 사람을 검출한다. 그렇지 않으면(S40에서 "NO"), 대상 검출단(16)은 단계 S42에서 사람을 검출하지 않는다.In step S35, the
그런 다음, 대상 검출단(16)은, 단계 S43에서 인원수를 집계하고, 도 11의 단계 S23로 돌아간다.Then, the
일 대체 실시예에 있어서, 동반입장 검출 디바이스(1)는, 도어(20)의 외측에 설치된다. 이 경우, 대기 모드에 있어서, 입력 디바이스(3)가 ID 카드의 ID 정보를 판독하여 제어 디바이스(4)에 송신한 때, 제어 디바이스(4)는 동반입장 검출 디바이스(1)를 기동시킨다. 도어(20)의 외측에 있어서 동반입장 상태가 발생하면, 동반입장 검출 디바이스(1)는 경보 신호를 제어 디바이스(4) 및 경보단(18)에 송신하고, 제어 디바이스(4)는 동반입장 검출 디바이스(1)로부터의 경보 신호에 기초하여, ID 카드의 ID 정보에 관계없이 도어(20)의 잠금상태를 유지한다. 이로써, 동반입장을 방지할 수 있다. 도어(20)의 외측에 있어서 동반입장 상태가 발생하지 않으면, 제어 디바이스(4)는 보안 디바이스(2)에 잠금해제 제어 신호를 송신한다. 이로써, ID 카드의 휴대자는 도어(20)를 열어, 관리되어야 하는 방에 들어 갈 수 있다.In one alternative embodiment, the companion
도 13은 본 발명에 의한 제2 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다. 제2 실시예의 대상 검출단은, 제1 처리로부터 제7 처리를 제1 실시예의 그것들과 마찬가지로 실행한다. 제2 실시예의 특징으로서, 제7 처리의 후, 제6 처리로 계수된 인원수 N1과, 제7 처리로 계수된 인원수 N2가 상이하면, K-평균 알고리즘의 클러스터링 처리를 실행한다.Fig. 13 is an explanatory view of the operation of the target detection stage in the companion entrance detecting device according to the second embodiment of the present invention. The target detection stage of the second embodiment executes the seventh processing from the first processing in the same manner as those of the first embodiment. As a feature of the second embodiment, after the seventh process, if the number N1 counted by the sixth process differs from the number N2 counted by the seventh process, the clustering process of the K-average algorithm is executed.
즉, 제2 실시예의 대상 검출단은, 사람으로 판별된 물리 대상의 수를 기초로, 평행 투영 화상에서의 사람으로 판별된 물리 대상의 부분의 위치를 클러스터의 구성 요소에 할당하고, 클러스터 링의 K-평균 알고리즘에 의해, 상기 사람으로 판별된 물리 대상의 수를 검증한다.That is, the object detection stage of the second embodiment assigns the position of the portion of the physical object determined by the person in the parallel projection image to the components of the cluster based on the number of physical objects determined by the person, The K-average algorithm verifies the number of physical objects identified as the person.
예를 들면, 클러스터 링의 분할 수의 초기값으로는 Nl과 N2 중 큰 것이 사용 된다. 대상 검출단은, K-평균 알고리즘에 의해 각 분할 영역을 얻어, 그 분할 영역의 면적을 계산한다. 분할 영역의 면적과, 미리 기록된 사람의 면적의 차가 소정의 한계치 이하일 때, 대상 검출단은 그 분할 영역을 사람의 부위로 간주하여 계수한다. 그 차가 소정의 한계치보다 크면, 대상 검출단은 분할 수의 초기값을 증감하여 K-평균 알고리즘을 다시 실행한다. 이 K-평균 알고리즘에 의하면, 각자의 위치를 추정할 수 있다.For example, the larger of Nl and N2 is used as the initial value of the number of divisions of the cluster ring. The target detection stage obtains each divided area by the K-average algorithm and calculates the area of the divided area. When the difference between the area of the divided area and the area of the person previously recorded is equal to or less than a predetermined threshold value, the object detecting end counts the divided area as a part of the person. If the difference is larger than a predetermined threshold, the target detection stage increases or decreases the initial value of the number of divisions and executes the K-average algorithm again. According to this K-average algorithm, each position can be estimated.
도 14는 본 발명에 따른 제3 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다.Fig. 14 is an explanatory view of the operation of the target detection stage in the companion entrance detecting device of the third embodiment according to the present invention.
도 14에 나타낸 바와 같이, 제3 실시예의 대상 검출단은, 제1 실시예의 각 처리에 대신하여, 거리 화상 센서(10)로부터의 거리 화상의 각 화상 요소로부터 특정 화상 요소를 추출함으로써, 전경 거리 화상(D20)을 생성한다. 특정 화상 요소는, 거리 화상의 화상 요소의 거리 값이 소정의 거리 한계치보다 작을 때, 추출된다. 대상 검출단은, 전경 거리 화상(D20)에 기초하여, 검출 영역에서의 검출되어야 할 하나 이상의 물리 대상으로서의 하나 이상의 사람을 개별로 검출한다. 도 14의 예에서, 흑색 부분은 소정의 거리 한계치보다 작은 거리값을 가지는 화상 요소로부터 형성되고, 백색 부분은, 소정의 거리 한계치보다 큰 거리값을 가지는 화상 요소로부터 형성된다.As shown in Fig. 14, the target detection end of the third embodiment extracts a specific image element from each image element of the distance image from the
제3 실시예에서, 거리 화상 센서의 위치와, 거리 화상 센서로부터(소정의 거리 한계치에 대응하는 거리) 떨어져 있는 전방의 위치 사이의 물리 대상을 검출할 수 있다. 따라서, 소정의 거리 한계치를 적절한 값으로 설정하면, 사람과 동적 노 이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다. 도 14의 예에서는, 검출 영역에서의 사람(B6)의 어깨에서부터 위의 부위 및 사람(B7)의 머리부분의 부위를 개별로 검출할 수 있다.In the third embodiment, a physical object can be detected between the position of the distance image sensor and the position in front of the distance image sensor (distance corresponding to a predetermined distance limit). Therefore, if the predetermined distance limit value is set to an appropriate value, the state in which the person and the dynamic noise (for example, the article, the cart) can be distinguished from the state in which two or more persons overlap. In the example of FIG. 14, the site | part from the shoulder of the person B6 in a detection area | region, and the site | part of the head part of the person B7 can be detected separately.
도 15는 본 발명에 따른 제4 실시예의 동반입장 검출 디바이스에서의 대상 검출단의 동작 설명도이다.15 is an explanatory diagram of the operation of the target detection stage in the companion entrance detecting device according to the fourth embodiment of the present invention.
도 15에 나타낸 바와 같이, 제4 실시예의 대상 검출단은, 제1 실시예의 각 처리에 대신하여, 거리 화상 센서(10)에 의해 생성된 거리 화상의 각 거리값으로부터 분포 화상(distribution image)(J)을 생성한다. 대상 검출단은, 분포 화상(J)에서의 하나 이상의 분포 영역이, 사람의 부위에 기초하여 미리 기록된 데이터에 대응하는지 여부를 식별하여, 각각 분포 화상(J)에서의 하나 이상의 분포 영역에 대응하는 물리 대상이 사람인지 여부를 판별한다. 분포 화상은, 하나 이상의 물리 대상이 검출 영역에 있을 때, 하나 이상의 분포 영역을 포함한다. 분포 영역은 거리 화상에서의 소정의 거리 한계치보다 작은 거리 값을 가지는 각 화상 요소로부터 형성된다. 소정의 거리 한계치는, 거리 화상의 각 거리값의 최소값에 소정의 거리값(예를 들면, 평균적인 얼굴의 길이의 반 정도의 값)를 가산하여 얻어진다.As shown in Fig. 15, the target detection stage of the fourth embodiment replaces each of the distance values of the distance image generated by the
도 15의 예에서, 분포 화상(J)는 2치(値) 화상이며, 흑색 부분은 분포 영역이고, 백색 부분은 거리 화상에서의 특정 거리값보다 큰 각 거리값로부터 형성된다. 분포 화상(J)이 2치 화상이므로, 미리 기록된 데이터는 사람의 부위의 윤곽의 면적 또는 직경이며, 패턴 매칭(pattern matching)을 사용하는 경우에는 사람의 머리부분의 윤곽으로부터 얻어지는 형상(예를 들면, 원 등)의 패턴이다.In the example of FIG. 15, the distribution image J is a binary image, the black portion is a distribution region, and the white portion is formed from each distance value larger than a specific distance value in the distance image. Since the distribution image J is a binary image, the pre-recorded data is the area or diameter of the contour of the human part, and in the case of using pattern matching, the shape obtained from the contour of the human head part (e.g., For example, circles).
제4 실시예에서는, 검출 영역에서의 검출되어야 할 하나 이상의 사람의 머리부분이 검출되므로, 사람과 동적 노이즈(예를 들면, 하물, 짐수레 등)가 겹쳐 있는 상태를 2 이상의 사람이 겹쳐 있는 상태와 구별할 수 있다. 도 15의 예에서는, 검출 영역에서의 사람(B8, B9)의 각 머리부분을 개별로 검출할 수 있다.In the fourth embodiment, since the head of one or more persons to be detected in the detection area is detected, the state in which the human and the dynamic noise (for example, luggage, cart, etc.) overlap with the state in which two or more persons overlap. Can be distinguished. In the example of FIG. 15, each head part of the people B8 and B9 in a detection area can be detected separately.
도 16은 본 발명에 따른 제5 실시예의 동반입장 검출 디바이스에서의 동반입장 검출단의 동작 설명도이다.Fig. 16 is an explanatory view of the operation of the co-occupation detection stage in the co-occupation detection device of the fifth embodiment according to the present invention.
도 16에 나타낸 바와 같이, 제5 실시예의 동반입장 검출단은, 동반입장 경계 시에, 대상 검출단에 의해 검출된 하나 이상의 사람의 이동 궤적을 개별로 추적한다. 2 이상의 사람이 소정의 방향으로 검출 영역에/검출 영역으로부터 이동한 때, 대상 검출단은 동반입장의 발생을 검출하여, 경보 신호를 제어 디바이스(4) 및 경보단(18)에 송신한다. 도 16에 있어서, 도면부호 20은 자동 도어이다.As shown in Fig. 16, the companion position detecting stage of the fifth embodiment separately tracks the movement trajectories of one or more persons detected by the target detecting stage at the time of the companion position boundary. When two or more persons move to / from the detection area in a predetermined direction, the target detection end detects the occurrence of the accompanying entrance and transmits an alarm signal to the
제5 실시예에서, 소정의 방향은, 도어(20) 측에서의 검출 영역(A1)의 경계선을 횡단하여 검출 영역(A1)으로 이동하는 방향으로 설정된다. 예를 들면, 도 16에 나타낸 바와 같이, 한 사람의 이동 궤적 B11, B12, B13의 이동 궤적 및 다른 사람의 이동궤적 B21, B22의 이동 궤적은, 다 같이 소정의 방향에 대응하므로, 경보 신호가 전송된다. 이 경우에, 각자의 이동 궤적을 B13 및 B22의 시점에서 판단할 수 있고, 이 시점에서 경보 신호가 전송된다. 또, 사람(B1)이 도어를 횡단하고 나서, 사람(B2)이 도어를 횡단할 때까지의 시간에 기초하여, 동반입장 경계용 규정 시간(예를 들면, 2초)이 정해진다. 예를 들면, 이 규정 시간은 자동 도어(20)가 열리고 나서 닫힐 때까지의 시간으로 설정할 수도 있다.In the fifth embodiment, the predetermined direction is set in the direction moving to the detection area A1 across the boundary line of the detection area A1 on the
제5 실시예에서는, 2 이상의 사람이 도어(20)측에서의 검출 영역(A1)의 경계선을 횡단하여 검출 영역(A1)으로 이동했을 때, 경보 신호가 전송되므로, 동반입장을 즉시 검출할 수 있다. 또, 복수의 사람을 검출하더라도, 2 이상의 사람이 소정의 방향으로 검출 영역으로 이동하지 않으면, 경보 신호가 전송되지 않으므로, 오보를 방지할 수 있다.In the fifth embodiment, when two or more persons move across the boundary of the detection area A1 on the
일 대체 실시예에 있어서, 동반입장 검출 디바이스(1)는 도어(20)의 외측에 설치된다. 이 경우, 소정의 방향은 검출 영역으로부터 도어(20)측에서의 검출 영역의 경계선으로 이동하는 방향으로 설정된다.In one alternative embodiment, the companion
도 17은 본 발명에 따른 제6 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서(10)을 나타낸다. 제6 실시예의 거리 화상 센서(10)은, 광원(11), 광학계(12), 광검출 소자(13), 센서 제어단(14), 및 화상 구성단(15)을 구비하고, 상기 각 실시예에서 이용 가능하다.Fig. 17 shows the
광원(11)은 광의 강도를 확보하기 위해, 예를 들면 평면에 배열된 적외선 LED 어레이, 반도체 레이저, 및 발산 렌즈(divergent lens) 등으로 구성된다. 도 18에 나타낸 바와 같이, 센서 제어단(14)으로부터의 변조 신호에 따라 적외광의 강도(K1)를 일정 주기로 주기적으로 변화하도록 변조하여, 강도 변조 적외광을 검출 영역에 조사한다. 하지만, 강도 변조 적외광의 강도 파형은 정현파에 한정되지 않고, 삼각파, 톱니파 등의 형상일 수 있다.The
광학계(12)는 수광 광학계이며, 예를 들면 렌즈 및 적외광 투과 필터 등으로 구성된다. 광학계(12)는 검출 영역으로부터의 적외광을 광검출 소자(13)의 수광면[각 감광 유닛(131)]에 집광한다. 예를 들면, 광학계(12)는, 광축이 광검출 소자(13)의 수광면과 직교하도록 배치된다.The
광검출 소자(13)는 반도체 장치에 형성되고, 복수의 감광 유닛(131), 복수의 감도 제어 유닛(132), 복수의 전하 집적 유닛(133) 및 전하 픽업 유닛(134)을 포함한다. 각 감광 유닛(131), 각 감도 제어 유닛(132), 및 각 전하 집적 유닛(133)은, 광학계(12)를 통하여 검출 영역에 면하여 배치되는 수광면으로서의 2차원 감광 어레이를 구성한다.The
도 19a 및 도 19b에 나타낸 바와 같이, 각 감광 유닛(131)은, 반도체 기판에 불순물이 첨가된 반도체층(13a)에 의해, 예를 들면 100×100의 2차원 감광 어레이의 감광 소자로서 형성된다. 감광 유닛(131)은 대응하는 감도 제어 유닛(132)에 의해 제어되는 감광 감도에서의, 검출 영역으로부터의 적외광 양에 상응하는 양의 전하를 생성한다. 예를 들면, 반도체층(13a)는 n형이며, 생성되는 전하는 전자로부터 얻는다.As shown in FIGS. 19A and 19B, each
광학계(12)의 광축이 수광면과 직교하는 경우, 수광면의 수직 방향(길이 방향) 및 수평 방향(폭 방향)의 양축과 광축을 직교 좌표계의 3축으로 설정하고, 그 원점을 광학계(12)의 중심에 설정하면, 각 감광 유닛(131)은 방위각 및 앙각에 의해 표현되는 방향으로부터의 광량에 상응하는 양의 전하를 생성한다. 검출 영역에 하나 이상의 물리 대상이 있는 경우, 광원(11)으로부터 방출된 적외광이 물리 대상에서 반사하여 감광 유닛(131)에 의해 수광된다. 따라서, 감광 유닛(131)은, 도 18에 나타낸 바와 같이, 물리 대상과의 사이의 왕복 거리에 대응하는 위상 Ψ만큼 지연된 강도 변조 적외광을 수광하고, 그 강도 K2에 따른 양의 전하를 생성한다. 그 강도 변조 적외광은 아래의 식 1로 표현된다.When the optical axis of the
위 식에서 ω는 각 진동수, B는 외광 성분이다.Where ω is the angular frequency and B is the external light component.
감도 제어 유닛(132)은, 반도체층(13a)의 표면에 절연막(산화막)(13e)을 통하여 적층되는 복수의 제어 전극(13b)으로 형성된다. 감도 제어 유닛(132)은 센서 제어단(14)의 감도 제어 신호에 따라, 대응하는 감광 유닛(131)의 감도를 제어한다. 도 19a 및 도 19b에서, 제어 전극(13b)의 좌우 방향의 폭 크기는 약 1μm로 설정된다. 제어 전극(13b) 및 절연막(13e)은, 광원(11)의 적외광에 대해 투광성(translucency)을 가지는 재료에 의해 형성된다. 도 19a 및 도 19b에 나타낸 바와 같이, 감도 제어 유닛(132)은 대응하는 감광 유닛(131)에 대해 복수(예를 들면, 5개)의 제어 전극으로 구성된다. 예를 들면, 생성되는 전하를 전자로부터 얻는 경우, 전압(+V, 0V)이 감도 제어 신호로서 각 제어 전극(13b)에 인가된다.The
전하 집적 유닛(133)은 대응하는 각 제어 전극(13b)에 인가되는 감도 제어 신호에 응답하여 변화하는 전위 우물(공핍층)(13c)로 구성된다. 전하 집적 유닛(133)은 전위 우물(13c)의 근방의 전자(e)를 포획하여 집적한다. 전하 집적 유닛(133)에 집적되지 않는 전자는 홀(hole)과의 재결합에 의해 소멸한다. 따라서, 전위 우물(13c)의 영역의 크기를 감도 제어 신호에 의해 변경함으로써, 광검출 소 자(13)의 감광 감도를 제어할 수 있다. 예를 들면, 도 19a 상태의 감도는 도 19b 상태의 감도보다 높다.The
예를 들면 도 20에 나타낸 바와 같이, 전하 픽업 유닛(134)은 프레임 전송 타입(frame transfer type)의 CCD 이미지 센서와 유사한 구조를 가진다. 복수의 감광 유닛(131)으로 구성되는 촬상(image pickup) 영역(L1) 및 촬상 영역(L1)에 인접한 차광된 축적(storage) 영역(L2)에 있어서, 각 수직 방향(길이 방향)에 일체로 연속하는 반도체층(13a)이 수직 방향으로의 전하의 전송 경로로 사용된다. 수직 방향은, 도 19a 및 도 19b의 좌우방향에 대응한다.For example, as shown in FIG. 20, the
전하 픽업 유닛(134)은, 축적 영역(L2), 각 전송 경로, 및 각 전송 경로의 일단으로부터 전하를 받아 전하를 수평 방향으로 전송하는 CCD인 수평 전송부(13d)로 구성된다. 촬상 영역(L1)으로부터 축적 영역(L2)에의 전하의 전송은, 수직 블랭킹(blanking) 기간에 한 번 실행된다. 즉, 전하가 전위 우물(13c)에 집적된 후, 감도 제어 신호의 전압 패턴과 상이한 전압 패턴이 수직 전송 신호로서 각 제어 전극(13b)에 인가되어, 전위 우물(13c)에 집적된 전하가 수직 방향으로 전송된다. 수평 전송부(13d)로부터 화상 구성단(15)에의 전송에 대해서는, 수평 전송 신호가 수평 전송부(13d)에 공급되고, 1 수평 라인에 대한 전하가 1 수평 기간에 전송된다. 일 대체예에서, 수평 전송부는, 도 19a 및 도 19b의 면에 대한 법선 방향으로 전하를 전송한다.The charge pick-up
센서 제어단(14)은 동작 타이밍 제어 회로이며, 광원(11), 각 감도 제어 유닛(132), 및 전하 픽업 유닛(134)의 동작 타이밍을 제어한다. 즉, 상기 왕복 거리 의 광의 전파 시간이 나노초 레벨의 매우 짧은 시간이기 때문에, 센서 제어단(14)은 특정 변조 주파수(예를 들면, 20MHz)인 변조 신호를 광원(11)에 공급하여, 강도 변조 적외광의 강도의 변화 타이밍을 제어한다.The
또한, 센서 제어단(14)은 감도 제어 신호로서 전압(+V, 0V)을 각 제어 전극(13b)에 인가하여, 광검출 소자(13)의 감도를 고감도 또는 저감도로 변경한다.The
더욱이, 센서 제어단(14)은 수직 블랭킹 기간에 수직 전송 신호를 각 제어 전극(13b)에 공급하고, 1 수평 기간 동안에 수평 전송 신호를 수평 전송부(13d)에 공급한다.Further, the
화상 구성단(15)은, 예를 들면 CPU 및 프로그램 등을 기억하는 스토리지 디바이스 등에 의해 구성되며, 광검출 소자(13)로부터의 신호에 기초하여 거리 화상 및 강도 화상을 구성(생성)한다.The
이제, 센서 제어단(14) 및 화상 구성단(15)의 동작 원리를 설명한다. 도 18의 위상(위상 차) Ψ는 광검출 소자(13)의 수광면과, 검출 영역에서의 물리 대상 사이의 왕복 거리에 대응한다. 그러므로, 위상 Ψ을 계산함으로써 물리 대상까지의 거리를 계산할 수 있다. 위상 Ψ는, 상기 식 1에 의해 표현되는 곡선의 시간 적분값(예를 들면, 기간 Tw의 적분값 Q0, Q1, Q2 및 Q3)으로부터 계산할 수 있다. 시간 적분값(수광량) Q0, Q1, Q2 및 Q3은 , 각각 위상 0°,90°, 180°, 및 270°를 시점으로 한다. Q0, Q1, Q2, 및 Q3의 순간값 q0, q1, q2, 및 q3은 각각 다음과 같이 주어진다. The operation principle of the
따라서, 위상 Ψ는 다음의 식 2로 주어지고, 시간 적분값의 경우도, 식 2에 의해 위상 Ψ를 구할 수 있다.Therefore, the phase Ψ is given by the
강도 변조 적외광의 1 주기 동안에, 감광 유닛(131)에서 생성되는 전하량은 적기 때문에, 센서 제어단(14)은 광검출 소자(13)의 감도를 제어하여, 강도 변조 적외광의 복수 주기의 동안에 감광 유닛(131)에서 생성된 전하를 전하 집적 유닛(133)에 집적한다. 강도 변조 적외광의 복수 주기에 있어, 위상 Ψ 및 물리 대상의 반사율은 거의 변화하지 않는다. 그러므로, 예를 들면,시간 적분값 Q0에 대응하는 전하를 전하 집적 유닛(133)에 집적할 때, Q0에 대응하는 기간 동안에 광검출 소자(13)의 감도를 올리고, 그 이외의 기간 동안에 광검출 소자(13)의 감도를 내린다.During one period of the intensity modulated infrared light, since the amount of charge generated in the
감광 유닛(131)이 수광량에 비례하는 전하를 생성하는 경우에, 전하 집적 유닛(133)이 Q0의 전하를 집적할 때, αQ0 + β(Q 1 + Q2 + Q3) +βQx에 비례하는 전하가 집적되며, 여기서 α는 Q0 내지 Q3에 대응하는 기간의 감도이고, β는 그 이외의 기간의 감도이며, Qx는 Q0, Q1, Q2 및 Q3를 얻을 수 있는 기간 이외의 수광)량이다. 마찬가지로, 전하 집적 유닛(133)이 Q2의 전하를 집적할 때, αQ2 + β(Q 0 + Q1 + Q3) + βQx에 비례하는 전하가 집적된다. Q2 - Q0 = (α- β)(Q2 - Q0) 및 Q1 - Q(3) = (α -β)(Q1 - Q3)에 의해, 식 2로부터 (Q2 - Q0)/(Q1 - Q3)가 불필요한 전하의 혼합의 유무에 관계없이 이론상 같은 값이 된다. 그러므로, 불필요한 전하가 혼합되더라도 구하는 위상 Ψ는 같은 값이 된다.In the case where the
강도 변조 적외광의 복수 주기에 대응하는 기간 후에, 센서 제어단(14)은 전하 집적 유닛(133)에 집적된 전하를 픽업하기 위해, 수직 블랭킹 기간에 수직 전송 신호를 각 제어 전극(13b)에 공급하고, 1 수평 기간에 수평 전송 신호를 수평 전송부(13d)에 공급한다.After a period corresponding to a plurality of periods of intensity modulated infrared light, the
또, Q0 - Q3은 물리 대상의 밝기를 나타내므로, Q0 - Q3의 가산값 또는 평균값은 적외광의 강도 화상(그레이 화상)에서의 강도(농도) 값에 상당한다. 따라서, 화상 구성단(15)은 Q0 - Q3으로부터 거리 화상 및 강도 화상을 생성할 수 있다. 또한, Q0 - Q3로부터 거리 화상 및 강도 화상을 생성함으로써, 같은 위치의 거리값 및 강도값를 얻을 수 있다. 화상 구성단(15)은 식 2에 의해 Q0 - Q3으로부터 거리 값을 계산하고, 각 거리값으로부터 거리 화상을 생성한다. 이 경우에, 각 거리값으로부터 검출 영역의 3차원 정보를 계산하고, 3차원 정보로부터 거리 화상을 생성 할 수도 있다. 강도 화상은 Q0 - Q3의 평균값을 강도값으로서 포함하므로, 광원(11)으로부터의 광의 영향을 제거할 수 있다.In addition, since Q0-Q3 represents the brightness of a physical object, the addition value or average value of Q0-Q3 is corresponded to the intensity (concentration) value in the intensity image (gray image) of infrared light. Therefore, the
도 21은 본 발명에 의한 제7 실시예의 동반입장 검출 디바이스에서의 거리 화상 센서의 동작 설명도이다.Fig. 21 is an explanatory diagram of the operation of the distance image sensor in the companion entrance detecting device according to the seventh embodiment of the present invention.
제7 실시예의 거리 화상 센서는, 제6 실시예의 거리 화상 센서와의 상위점으로서 2개의 감광 유닛을 1 화소로서 사용하고, 변조 신호의 1 주기 내에서 Q0 - Q3에 대응하는 전하를 2 종류 생성한다.The distance image sensor of the seventh embodiment uses two photosensitive units as one pixel as a difference from the distance image sensor of the sixth embodiment, and generates two kinds of charges corresponding to Q0-Q3 within one period of the modulation signal. do.
Q0 - Q3에 대응하는 전하가 하나의 감광 유닛(131)에서 생성되면, 시선 방향의 분해능은 높아지지만 시간차의 문제가 생기므로, Q0 - Q3에 대응하는 전하가 4개의 감광 유닛에서 생성되면, 시간차는 작아지지만, 시선 방향의 분해능은 저하된다.When charges corresponding to Q0 to Q3 are generated in one
제7 실시예에서, 도 22a 및 도 22b에 나타낸 바와 같이, 이 문제를 해결하기 위해 2개의 감광 유닛이 1 화소로서 사용된다. 제6 실시예의 도 19a 및 도 19b에서는, 전하가 감광 유닛(131)에서 생성되는 동안에, 양쪽의 2개의 제어 전극은 인접하는 감광 유닛(131)에 전하가 유출하는 것을 방지하기 위한 전위 장벽(potential barrier)을 형성하는 역할을 담당한다. 제7 실시예에서는, 인접하는 감광 유닛(131)의 전위 우물(potential well)들 사이에 임의의 감광 유닛(131)에 의해 장벽이 형성되기 때문에, 각 감광 유닛에 대해 3개의 제어 전극이 설치되고, 하나의 유닛에 대해 6개의 제어 전극(13b-1, 13b-2, 13b―3, 13b-4, 13b-5, 13b-6)이 설치된다.In the seventh embodiment, as shown in Figs. 22A and 22B, two photosensitive units are used as one pixel to solve this problem. In FIGS. 19A and 19B of the sixth embodiment, while charge is generated in the
이제, 제7 실시예의 동작을 설명한다. 도 22a에서, +V(소정의 정전압)의 전압이, 제어 전극(13b-1, 13b-2, 13b-3, 13b-5)에 각각 인가되고, 0V의 전압이 제어 전극(13b-4, 13b-6)에 각각 인가된다. 도 22b에서, +V의 전압이 제어 전극(13b-2, 13b-4, 13b-5, 13b-6)에 각각 인가되고, 0V의 전압이 제어 전극(13b-1, 13b-3)에 각각 인가된다. 이들 전압 패턴은, 변조 신호의 위상이 역위상(180°)으로 바뀔 때마다, 교대로 바뀐다. 또, 다른 기간에 있어서는, +V의 전압이 제어 전극(13b-2, 13b-5)에 각각 인가되고, 0V의 전압이 나머지 각 제어 전극에 인가된다. 이로써, 예를 들면 도 21에 나타낸 바와 같이, 광검출 소자는 도 22a의 전압 패턴으로 Q0에 대응하는 전하를 생성할 수 있고, 도 22b의 전압 패턴으로 Q2에 대응하는 전하를 생성할 수 있다. 또, +V의 전압이 제어 전극(13b-2, 13b-5)에 각각 항상 인가되기 때문에, Q0에 대응하는 전하 및 Q2에 대응하는 전하가 집적되어 유지된다. 마찬가지로, 도 22a 및 도 22b의 전압 패턴을 모두 사용하고, 양 전압 패턴이 인가하는 타이밍을 90°시프트하면, Q1에 대응하는 전하 및 Q3에 대응하는 전하를 생성하여 유지할 수 있다.The operation of the seventh embodiment will now be described. In Fig. 22A, a voltage of + V (predetermined constant voltage) is applied to the
Q0 및 Q2에 대응하는 전하를 생성하는 기간과, Q1 및 Q3에 대응하는 전하를 생성하는 기간 사이에서 촬상 영역(L1)으로부터 축적 영역(L2)에 전하가 전송된다. 즉, Q0에 대응하는 전하가 제어 전극(13b-1, 13b-2, 13b-3)에 대응하는 전위 우물(13c)에 축적되고, 또한 Q2에 대응하는 전하가 제어 전극(13b-4, 13b-5, 13b-6)에 대응하는 전위 우물(13c)에 축적되면, Q0 및 Q2에 대응하는 전하가 픽업된다. 그러고나서, Q1에 대응하는 전하가 제어 전극(13b-1, 13b-2, 13b-3)에 대응하는 전 위 우물(13c)에 축적되고, 또한 Q3에 대응하는 전하가 제어 전극(13b-4, 13b-5, 13b-6)에 대응하는 전위 우물(13c)에 축적되면, Q1 및 Q3에 대응하는 전하가 픽업된다. 이와 같은 동작을 반복함으로써, Q0-Q3에 대응하는 전하를 2회의 판독 동작으로 픽업할 수 있고, 픽업한 전하를 사용하여 위상 Ψ를 구할 수 있다. 예를 들면, 초당 30 프레임의 화상이 필요할 때, Q0 및 Q2에 대응하는 전하를 생성하는 기간과, Q1 및 Q3에 대응하는 전하를 생성하는 기간의 합계 기간은, 60분의 1초보다 짧은 기간이 된다.The charge is transferred from the imaging area L1 to the accumulation area L2 between the period for generating charges corresponding to Q0 and Q2 and the period for generating charges corresponding to Q1 and Q3. That is, the charge corresponding to Q0 is accumulated in the
일 대체 실시예에서는, 도 23a에 나타낸 바와 같이, +V의 전압이 제어 전극(13b-1, 13b-2, 13b-3)에 각각 인가되고, +V와 0V 사이의 전압이 제어 전극(13b -5)에 인가되며, 0V의 전압이 제어 전극(13b-4, 13b-6)에 각각 인가된다. 한편, 도 23b에 나타낸 바와 같이, +V와 0V의 사이의 전압이, 제어 전극(13b-2)에 인가되고, +V의 전압이 제어 전극(13b-4, 13b-5, 13b-6)에 각각 인가되며, 0V의 전압이 제어 전극(13b-1, 13b-3)에 각각 인가된다. 따라서, 주로 전하를 생성하는 전위 우물은 주로 전하를 유지하는 전위 우물보다 깊게 만들어지므로, 0V의 전압을 인가하는 각 제어 전극에 대응하는 영역에서 생성된 전하가, 더 깊은 전위 우물에 흘러들기 쉽다. 그러므로, 전하를 유지하는 전위 우물에 흘러드는 잡음 성분을 저감시킬 수 있다.In one alternative embodiment, as shown in FIG. 23A, a voltage of + V is applied to the
본 발명을 일정한 바람직한 실시예에 대하여 기술하였지만, 본 발명의 본래의 사상 및 범위를 일탈하지 않고, 당업자에 의해 다양한 수정 및 변형이 가능하다.Although the present invention has been described with respect to certain preferred embodiments, various modifications and variations can be made by those skilled in the art without departing from the spirit and scope of the invention.
예를 들면, 제6 및 제7 실시예에서, 프레임 전송 타입의 CCD 이미지 센서와 유사한 구성에 대신하여, 인터라인 전송(interline transfer, IT) 타입 또는 프레임 인터라인 전송(frame interline transfer, FIT) 타입과 유사한 구성을 사용할 수 있다.For example, in the sixth and seventh embodiments, an interline transfer (IT) type or a frame interline transfer (FIT) type, instead of a structure similar to the CCD image sensor of the frame transfer type, is used. Similar configurations can be used.
Claims (22)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020067022873A KR20070031896A (en) | 2004-07-30 | 2005-07-29 | Individual detector and accompaniment detection device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2004-00224485 | 2004-07-30 | ||
KR1020067022873A KR20070031896A (en) | 2004-07-30 | 2005-07-29 | Individual detector and accompaniment detection device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087010556A Division KR101072950B1 (en) | 2004-07-30 | 2005-07-29 | An individual detector and a tailgate detection device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20070031896A true KR20070031896A (en) | 2007-03-20 |
Family
ID=43656034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067022873A KR20070031896A (en) | 2004-07-30 | 2005-07-29 | Individual detector and accompaniment detection device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20070031896A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100986603B1 (en) * | 2008-01-17 | 2010-10-08 | 정래준 | The polynucleotide fragments complex separated from fish's semen or egg and its separating process |
KR101518485B1 (en) * | 2013-11-29 | 2015-05-11 | 김홍기 | Intelligent object tracking system |
KR20170007070A (en) * | 2015-07-08 | 2017-01-18 | 주식회사 케이티 | Method for visitor access statistics analysis and apparatus for the same |
-
2005
- 2005-07-29 KR KR1020067022873A patent/KR20070031896A/en not_active Application Discontinuation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100986603B1 (en) * | 2008-01-17 | 2010-10-08 | 정래준 | The polynucleotide fragments complex separated from fish's semen or egg and its separating process |
KR101518485B1 (en) * | 2013-11-29 | 2015-05-11 | 김홍기 | Intelligent object tracking system |
KR20170007070A (en) * | 2015-07-08 | 2017-01-18 | 주식회사 케이티 | Method for visitor access statistics analysis and apparatus for the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101072950B1 (en) | An individual detector and a tailgate detection device | |
US11836995B2 (en) | Traffic list generation for passenger conveyance | |
CN106144795B (en) | System and method for passenger transport control and security by identifying user actions | |
US7397929B2 (en) | Method and apparatus for monitoring a passageway using 3D images | |
CN106144796B (en) | Depth sensor based occupant sensing for air passenger transport envelope determination | |
US10055657B2 (en) | Depth sensor based passenger detection | |
CN106144862B (en) | Depth sensor based passenger sensing for passenger transport door control | |
US10074017B2 (en) | Sensor fusion for passenger conveyance control | |
CN104828664B (en) | Automatic debugging system and method | |
CN106144861B (en) | Depth sensor based passenger sensing for passenger transport control | |
US7400744B2 (en) | Stereo door sensor | |
US20050249382A1 (en) | System and Method for Restricting Access through a Mantrap Portal | |
US7801330B2 (en) | Target detection and tracking from video streams | |
JP5155553B2 (en) | Entrance / exit management device | |
MX2007016406A (en) | Target detection and tracking from overhead video streams. | |
EP1771749A1 (en) | Image processing device | |
KR20070031896A (en) | Individual detector and accompaniment detection device | |
US20220092807A1 (en) | Method and system for monitoring a spatial area in a personnel interlock | |
Jia et al. | Anti-Tailing AB-Door Detection Based on Motion Template Algorithm | |
US20230410545A1 (en) | Lidar-based Alert System | |
Izquierdo-Fuente et al. | A human classification system for a video-acoustic detection platform | |
Zhang et al. | A Fast Recognition Algorithm for Photoelectric Peeping Equipment | |
Bloisi | Visual Tracking and Data Fusion for Automatic Video Surveillance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |