KR20130105246A - System and method of processing image for preserving private life - Google Patents
System and method of processing image for preserving private life Download PDFInfo
- Publication number
- KR20130105246A KR20130105246A KR1020120091345A KR20120091345A KR20130105246A KR 20130105246 A KR20130105246 A KR 20130105246A KR 1020120091345 A KR1020120091345 A KR 1020120091345A KR 20120091345 A KR20120091345 A KR 20120091345A KR 20130105246 A KR20130105246 A KR 20130105246A
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- image data
- image
- zone
- privacy
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 사생활 보호 영상 처리 시스템 및 방법에 관한 것으로, 더욱 구체적으로 획득한 영상 내의 보호 영역을 정밀하게 프라이버시 마스크 처리를 수행할 수 있는 사생활 보호 영상 처리 시스템 및 방법에 관한 것이다.The present invention relates to a privacy protection image processing system and method, and more particularly, to a privacy protection image processing system and method capable of precisely performing a privacy mask process on a protected area in an acquired image.
방범 또는 보안 등의 목적으로 사용되는 감시용 카메라는, 감시하고자 하는 특정 지역 또는 장소 등에 부착 설치되며, 감시용 카메라에 의해 촬영된 카메라 영상들은, 디지털 비디오 레코더(DVR) 등으로 출력되어, 모니터 화면에 표시되거나, 또는 하드디스크 등과 같은 기록 매체에 녹화된다.The surveillance camera used for the purpose of security or security is attached to a specific area or place to be monitored, and the camera images photographed by the surveillance camera are output to a digital video recorder (DVR) or the like, and the monitor screen. Is recorded on the recording medium such as a hard disk or the like.
감시용 카메라는 수평 방향으로 회전되거나 수직 방향으로 회전되어 감시 영역을 다른 방향으로 변경시킬 수 있으며, 감시용 카메라 내에 구비된 줌 렌즈 등을 조절하여, 피사체(Object)를 확대 촬영하거나 또는 축소 촬영할 수 있다.The surveillance camera can be rotated in the horizontal direction or rotated in the vertical direction to change the surveillance region to another direction and the zoom object or the like provided in the surveillance camera can be adjusted to enlarge or reduce the object have.
감시용 카메라에서는, 마스크(Mask) 기능이 구비되어 사생활 보호 등이 요구되는 특정 피사체(Object) 위에, 소정 크기의 프라이버시 마스크를 생성 표시하여, 특정 피사체가 감시 영상 내에 노출 표시되지 않도록 한다.In the surveillance camera, a mask function is provided to generate and display a privacy mask having a predetermined size on a specific object for which privacy protection or the like is required, so that the specific subject is not exposed and displayed in the surveillance image.
즉, 카메라 영상의 특정 부분에 표시되는 피사체가, 무단으로 노출 표시되는 것을 방지하기 위하여 마스크 생성 모드가 설정되면, 감시용 카메라에서는, 특정 부분에 해당하는 시작 위치 좌표(Xs, Ys)와 끝 위치 좌표(Xe, Ye)에 대응되는 크기의 마스크를 생성하게 된다.That is, when the mask generation mode is set to prevent an object displayed on a specific portion of the camera image from being exposed to unauthorized exposure, the surveillance camera has a start position coordinate (Xs, Ys) and an end position corresponding to the specific portion. A mask having a size corresponding to the coordinates Xe and Ye is generated.
위와 같이, 피사체의 프라이버시를 보호하기 위한 종래의 마스크 기법은, 획득된 영상을 2차원 평면으로 취급하기 때문에, 피사체를 보호하기 위해 피사체의 위치에 마스크가 겹쳐지도록 마스크를 배치하여 피사체가 노출되는 것을 차단하게 된다.As described above, since the conventional mask technique for protecting the privacy of the subject treats the acquired image as a two-dimensional plane, the mask is disposed so that the subject is exposed by overlapping the mask at the position of the subject to protect the subject. Will be blocked.
이와 같은 평면적인 마스크 기법은, 획득한 영상에 포착된 실제 3차원 상의 공간 및 거리 개념을 고려하고 있지 않으며, 이로 인해 동적인 피사체의 마스크 처리가 원활하지 못하다.Such a planar mask technique does not consider the concept of space and distance on an actual three-dimensional image captured in an acquired image, and thus mask processing of a dynamic object is not smooth.
또한, 감시용 카메라로 촬영하고 있는 지역 중에서 특정 구역을 구획하여 일부 구역에는 피사체에 마스크를 생성하고, 다른 구역에는 피사체에 마스크를 생성하지 않도록 구분하여 설정하는 등의 입체적인 활용이 곤란한 측면이 있으며, 2차원 평면적으로 구역을 구획한다고 하더라도 감시용 카메라가 뷰 앵글을 변경하는 경우에는 2차원 평면적으로 구획한 경계의 축이 달라지게 되므로, 매번 새롭게 설정해야 하는 불편함이 따른다.In addition, there are aspects that are difficult to use in three dimensions such as creating a mask on a subject in some areas by dividing a specific area among the areas photographed by the surveillance camera, and setting a mask so as not to create a mask on the subject in other areas. Even if the zone is divided into two-dimensional planes, when the surveillance camera changes the view angle, the axis of the boundary divided into two-dimensional planes is changed, which causes inconvenience to be newly set up every time.
특히, 소정의 감시 영역에 한 번 진입했던 주요 감시 대상 피사체의 경우에는 감시 영역에서 빠져나온 경우라고 하더라도 지속적으로 모니터링할 필요가 있으며, 보다 체계적인 감시가 가능하도록 감시 영역에 진입하기 전의 영상도 함께 모니터링할 필요가 있다.In particular, the main subject to be monitored once entered the surveillance area needs to be monitored continuously even if it exits from the surveillance area, and the video before entering the surveillance area is monitored together to enable more systematic surveillance. Needs to be.
본 발명은 이와 같은 점으로부터 착안된 것으로, 본 발명이 해결하려는 과제는 감시용 카메라에 의해 획득한 영상 데이터에 촬상된 피사체에 대한 프라이버시 마스크 처리를 정밀하게 수행할 수 있는 사생활 보호 영상 처리 시스템 및 방법을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION The present invention has been conceived from this point, and a problem to be solved by the present invention is a privacy protection image processing system and method capable of precisely performing a privacy mask processing on a subject photographed on image data obtained by a surveillance camera. Is to provide.
본 발명이 해결하고자 하는 다른 과제는 감시용 카메라에 의해 획득한 영상 데이터를 실제 촬영된 앵글에 의해 변경된 기준축을 고려한 좌표를 이용하여 피사체의 위치를 결정함으로써 실제 3차원 공간인 감시 영역의 정보를 입체적으로 파악할 수 있는 사생활 보호 영상 처리 시스템 및 방법을 제공하고자 하는 것이다.Another problem to be solved by the present invention is to determine the position of the subject by using the coordinates in consideration of the reference axis changed by the actual photographing angle of the image data acquired by the surveillance camera to three-dimensional information of the surveillance region of the actual three-dimensional space It is an object of the present invention to provide a privacy protection image processing system and method.
본 발명이 해결하고자 하는 또 다른 과제는, 소정의 감시 영역에 한 번 진입했던 주요 감시 대상 피사체의 경우에는 감시 영역에서 빠져나온 경우라고 하더라도 마스크를 해제함으로써 지속적으로 모니터링할 수 있도록 하며, 마스크가 없는 로우 데이터(raw data)를 저장하는 버퍼부를 더 구비함으로써, 주요 감시 대상 피사체 예를 들어 범법자 등이 감시 영역에 진입하기 전의 마스크 해제된 영상을 함께 확보할 수 있는 사생활 보호 영상 처리 시스템 및 방법을 제공하고자 하는 것이다.Another problem to be solved by the present invention is that the main subject to be monitored once entered a certain surveillance area, even if it is out of the surveillance area to be monitored continuously by releasing the mask, without the mask By further providing a buffer unit for storing raw data, the present invention provides a privacy protection image processing system and method that can secure an unmasked image before a main subject to be monitored, such as an offender, enters a surveillance area. I would like to.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템은, 제1 영상 데이터를 생성하는 영상촬상부, 상기 제1 영상 데이터의 프라이버시 정보를 설정하는 정보설정부, 및 상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 영상편집부를 포함하되, 상기 영상편집부는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제한다.According to an aspect of the present invention, there is provided a privacy protection image processing system including an image photographing unit generating first image data, an information setting unit setting privacy information of the first image data, and the privacy. And an image editing unit for generating second image data by generating or releasing a mask area that blocks identification of a subject by editing the first image data based on the information, wherein the image editing unit, when a predetermined event occurs Correspondingly, the mask area for the subject is generated or released.
본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법은, 제1 영상 데이터를 생성하는 단계, 상기 제1 영상 데이터의 프라이버시 정보를 설정하는 단계, 및 상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 단계를 포함하되, 상기 제2 영상 데이터를 생성하는 단계는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제하는 단계를 더 포함한다.The privacy protection image processing method according to the embodiment of the present invention may include generating first image data, setting privacy information of the first image data, and generating the first image data based on the privacy information. Generating second image data by generating or releasing a mask area to block identification of the subject by editing, wherein generating the second image data corresponds to the subject when a predetermined event occurs. Generating or releasing the mask area for.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
도 1은 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템을 나타내는 블록도이다.
도 2는 도 1의 시스템에 의해 획득한 영상 데이터의 일 예를 도시한 도면이다.
도 3은 도 2의 영상 데이터에 좌표 데이터를 적용한 모습을 도시한 도면이다.
도 4는 도 3의 좌표 데이터에 기초하여 소정 범위의 좌표에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.
도 5는 도 2의 영상 데이터를 복수의 구역으로 구획한 모습을 도시한 도면이다.
도 6은 도 5의 영상 데이터 중 제1 구역에 존재하는 피사체의 PIP 데이터를 나타내는 도면이다.
도 7은 도 5의 영상 데이터 중 제3 구역에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.
도 8a 및 도 8b는 도 5의 영상 데이터 중 제2 구역의 소정 범위 내에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법을 나타내는 순서도이다.
도 10은 도 9의 프라이버시 설정 과정을 상세히 설명하는 순서도이다.1 is a block diagram illustrating a privacy protection image processing system according to an exemplary embodiment.
FIG. 2 is a diagram illustrating an example of image data acquired by the system of FIG. 1.
3 is a diagram illustrating a state in which coordinate data is applied to the image data of FIG. 2.
FIG. 4 is a diagram illustrating a state in which a privacy mask is set for a subject present in a predetermined range of coordinates based on the coordinate data of FIG. 3.
FIG. 5 is a diagram illustrating the image data of FIG. 2 divided into a plurality of zones.
FIG. 6 is a diagram illustrating PIP data of a subject existing in a first region of the image data of FIG. 5.
FIG. 7 is a diagram illustrating a state in which a privacy mask is set for a subject existing in a third region of the image data of FIG. 5.
8A and 8B illustrate a state in which a privacy mask is set on a subject existing within a predetermined range of the second zone among the image data of FIG. 5.
9 is a flowchart illustrating a privacy protection image processing method according to an embodiment of the present invention.
FIG. 10 is a flowchart illustrating a privacy setting process of FIG. 9.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. The dimensions and relative sizes of layers and regions in the figures may be exaggerated for clarity of illustration.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms "comprises" and / or "made of" means that a component, step, operation, and / or element may be embodied in one or more other components, steps, operations, and / And does not exclude the presence or addition thereof.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 구성 요소들 상호 간의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The terms spatially relative, "below", "beneath", "lower", "above", "upper" and the like, Lt; / RTI > can be used to easily describe the correlation between the two. Like reference numerals refer to like elements throughout.
이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템에 대해 설명한다. 도 1은 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템을 나타내는 블록도이고, 도 2는 도 1의 시스템에 의해 획득한 영상 데이터의 일 예를 도시한 도면이고, 도 3은 도 2의 영상 데이터에 좌표 데이터를 적용한 모습을 도시한 도면이고, 도 4는 도 3의 좌표 데이터에 기초하여 소정 범위의 좌표에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.Hereinafter, a privacy protection image processing system according to an embodiment of the present invention will be described with reference to FIGS. 1 to 4. 1 is a block diagram illustrating a privacy protection image processing system according to an exemplary embodiment of the present invention, FIG. 2 is a diagram illustrating an example of image data acquired by the system of FIG. 1, and FIG. 3 is a diagram of FIG. 2. FIG. 4 is a diagram illustrating a state in which coordinate data is applied to image data, and FIG. 4 is a diagram illustrating a state in which a privacy mask is set for a subject existing at a predetermined range of coordinates based on the coordinate data of FIG. 3.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템은, 영상 데이터를 생성하는 영상촬상부(110), 상기 영상 데이터의 프라이버시 정보를 설정하는 정보설정부(120), 및 상기 프라이버시 정보를 기초로 상기 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성하는 영상편집부(130)를 포함한다.Referring to FIG. 1, the privacy protection image processing system according to an exemplary embodiment of the present invention includes an
몇몇 다른 실시예에서, 상기 프라이버시 정보는 상기 영상 데이터 상에서 범위로 설정된 좌표 데이터를 포함하고, 상기 좌표 데이터는 상기 영상 데이터 상에 존재하는 피사체의 3차원 상의 좌표 정보 또는 거리 정보를 포함할 수 있다.In some other embodiments, the privacy information may include coordinate data set as a range on the image data, and the coordinate data may include coordinate information or distance information on 3D of a subject present on the image data.
영상촬상부(110)는 건물 또는 특정 지역의 내부나 외부의 영상을 획득하여 이를 영상 데이터화 한다. 영상촬상부(110)는 실제 영상을 촬영하는 카메라 유닛과, 상기 카메라 유닛에 연결되어 아날로그 또는 디지털 영상 데이터를 생성하는 인코더 유닛과, 상기 영상 데이터를 감지 모니터 등으로 전송하는 송수신 유닛을 포함할 수 있다.The
예를 들어, 영상촬상부(110)는 CCTV(closed-circuit television) 일 수 있으나, 이에 한정되는 것은 아니며, 복수의 광학 렌즈, CCD등과 같은 촬상 소자 등으로 구성된 공지의 카메라 유닛을 모두 포함하는 개념일 수 있다.For example, the
도 2에 도시된 바와 같이, 영상촬상부(110)는 설치된 지점에서 소정 각도로 일정한 영역의 영상 데이터(200)를 생성할 수 있다. 영상 데이터(200)에는 다양한 피사체가 포함될 수 있으며, 피사체는 사람 이외에도 다양한 물체가 포함될 수 있다. 또한, 영상촬상부(110)는 액추에이터 등의 구동수단을 포함하여, 소정의 회전축을 따라 다른 각도의 영상을 획득할 수 있도록 회전할 수 있다.As shown in FIG. 2, the
일반적으로 영상촬상부(110)는, 방범 또는 보안 등의 목적으로 소정 위치에 설치되어 불법으로 사유지나 사적인 영역을 침범한 침입자나 거동수상자의 이미지를 확보하여 미리 침입에 대비하거나, 도주한 침입자의 인적사항을 파악하기 위해 사용될 수 있다.In general, the
다만, 영상촬상부(110)의 촬영 각도에 따라서 타인의 프라이버시 영역의 영상을 획득할 수 있는데, 이와 같은 경우 사생활 침해 등의 문제가 발생할 소지가 있다. 예를 들어, 사용자의 주택 내부와 담 경계선 근방의 영상을 획득하기 위해 영상촬상부(110)를 소정의 위치에 설치한 경우, 담 경계 너머의 주택 외부의 영상이 함께 획득될 수 있으며, 영상촬상부(110)와 지면이 이루는 각도가 낮은 경우에는 원거리의 영상이 함께 포착되므로, 타인의 주택 내부의 영상도 함께 획득될 수 있다.However, according to the photographing angle of the
다시, 도 1을 참조하면, 이와 같은 의도하지 않은 프라이버시 침해를 방지하기 위해, 정보설정부(120)에서 미리 프라이버시 정보를 설정할 수 있으며, 설정된 프라이버시 정보를 기초로 영상편집부(130)에서 영상촬상부(110)에 의해 획득된 영상 데이터를 수정하여 프라이버시 마스크가 설정된 영상 데이터를 사용자에게 제공할 수 있다.Referring back to FIG. 1, in order to prevent such an unintended invasion of privacy, the
예를 들어, 도 4에 도시된 바와 같이, 자신이 감시하고자 하는 영역 이외에 존재하는 피사체(P1, P2, P3)의 프라이버시를 고려하여, 영상편집부(130)는 영상 데이터(200)를 수정하여 영상 데이터(200) 상의 소정 위치에 프라이버시 마스크(M1, M2, M3)가 오버랩 되도록 설정할 수 있다. 이와 같은 프라이버시 마스크로 인해 피사체(P1, P2, P3)의 식별이 차단되어 의도하지 않은 사생활 침해를 차단할 수 있다.For example, as shown in FIG. 4, in consideration of the privacy of the subjects P1, P2, and P3 existing outside the region to be monitored, the
마스킹 대상이 되는 피사체는 사람이 한정되지 않을 수 있으며, 프라이버시 침해가 우려되는 소정의 영역 예를 들어 영상 데이터(200)에 포착된 타인 주택의 창문 등과 같은 물체가 될 수도 있다. 또한, 피사체가 사람인 경우, 얼굴 영역을 추출하는 소정의 알고리즘을 통해 얼굴 영역을 추출하고 이를 바탕으로 얼굴 영역에만 프라이버시 마스크를 설정할 수도 있다.The subject to be masked may not be limited to a person, and may be an object such as a window of another house captured in the
얼굴 영역 추출 알고리즘은 다양한 공지의 기법이 사용될 수 있다. 예를 들어, 평면의 단색 배경 이미지를 이용하거나 사전에 정의된 고정 배경 이미지를 이용하여 통제된 배경 이미지 하에서 얼굴을 탐지하는 기법, 전형적인 피부색을 이용하여 얼굴색을 기초로 얼굴을 탐지하는 기법, 영상 데이터 상에서 움직이는 얼굴영역을 단순 추출하는 기법, 통계적 클러스터 정보를 이용하는 신경회로망 접근 기법 등이 사용될 수 있으나 이에 한정되는 것은 아니다.As the face region extraction algorithm, various known techniques may be used. For example, using a solid background image on a plane or using a predefined fixed background image to detect a face under a controlled background image, using a typical skin color to detect a face based on the face color, image data Techniques for simple extraction of facial regions moving on the network, and neural network access techniques using statistical cluster information may be used, but are not limited thereto.
또한, 프라이버시 마스크는 소정의 영역을 불투명한 색 또는 피사체 식별이 불가능한 색으로 착색할 수 있으나, 이에 한정되는 것은 아니며, 미사체에 대한 모자이크 효과를 적용하여 마스크 영역을 생성할 수도 있다.In addition, the privacy mask may color a predetermined area with an opaque color or a color in which the subject cannot be identified. However, the privacy mask is not limited thereto, and the mask area may be generated by applying a mosaic effect to the mass.
영상 편집부(130)는 이벤트 주도 방식(event driven marking system)을 채용할 수 있으며, 소정의 이벤트가 발생하면 이에 대응하여 피사체(P1, P2, P3)에 대한 마스크 영역(M1, M2, M3)을 생성 또는 해제할 수 있다.The
일예로, 이벤트는 영상촬상부(110)의 촬영시각이 야간일 경우 발생할 수 있으며, 이때, 영상 편집부(130)는 피사체의 마스크 영역을 해제할 수 있다. 예를 들어, 우범 시간대인 오후 10시부터 오전 4시까지에 찰영된 영상에서는 영역이나 위치에 무관하게 모든 피사체의 마스크 영역이 해제될 수 있으며, 일부 영역에서의 피사체의 마스크 영역이 해제될 수도 있다. For example, the event may occur when the photographing time of the
다른 일예로, 이벤트는 피사체가 영상촬상부(110)에 노출되는 시간이 소정 시간단위 이상일 경우 발생할 수 있으며, 이때, 영상편집부(130)는 피사체의 마스크 영역을 해제할 수 있다. 즉, 소정 시간 이상 노출되는 피사체의 경우 특정한 위험 행동을 행할 확률이 증가되는 것으로 인식할 수 있으며, 해당 피사체의 마스크를 해제하여 피사체의 정보를 획득할 수 있다.As another example, the event may occur when a time for which the subject is exposed to the
또 다른 일예로, 프라이버시 정보는, 감시 대상 구역의 정보 및 프라이버시 보호 구역의 정보를 포함할 수 있으며, 이벤트는 피사체가 감시 대상 구역에 진입한 경우 발생하고, 영상편집부(130)는 피사체의 마스크 영역을 해제할 수 있다. 즉, 후술하는 도 5에서와 같이 영상에서의 구역을 분할하여 특정 구역에 피사체가 진입하는 경우, 해당 피사체의 마스크 영역을 설정하거나 해제할 수 있다.As another example, the privacy information may include information of the zone to be monitored and information of the privacy protection zone, an event occurs when the subject enters the zone to be monitored, and the
이때, 영상편집부(130)는, 감시 대상 구역에 진입한 피사체가 프라이버시 보호 구역으로 이동한 경우, 마스크 처리된 제2 영상 데이터 상에서 피사체에 대한 마스크 영역을 해제한 상태를 유지할 수 있다. 즉, 명시적으로 감시 대상 구역을 이탈 후에도 피사체의 마스크 해제 상태를 유지하여 피사체의 감시를 지속적으로 수행할 수 있다.In this case, when the subject entering the surveillance region moves to the privacy protection region, the
이와 별도로, 영상촬상부(110)로부터 생성된 마스크 처리되기 전의 로우 데이터(raw data)에 해당하는 제1 영상 데이터를 임시로 저장하는 데이터버퍼부(미도시)를 더 포함할 수 있으며, 이때 영상편집부(130)는, 피사체에 대한 감시 대상 구역에 진입하기 이전의 마스크 처리된 제2 영상 데이터를 동일 시간 구간의 마스크 처리되지 않은 제1 영상 데이터로 대체할 수 있다. 즉, 추후에 관리자 등이 제2 영상 데이터를 모니터링할 때, 이미 위험인물 등으로 판단된 피사체의 전체 경로 및 행동을 추적할 수 있도록, 감시 대상 구역에 진입한 피사체에 대한 감시 대상 구역 진입 전의 마스크 해제된 상태의 로우 데이터(raw data)를 생성할 수 있다.Separately, a data buffer unit (not shown) for temporarily storing first image data corresponding to raw data before mask processing generated from the
이에 더 나아가 상기 프라이버시 정보는 선택적 감시 대상 구역의 정보를 더 포함할 수 있으며, 감시 대상 구역의 마스크 영역 및 선택적 감시 대상 구역의 마스크 영역을 서로 다르게 설정할 수 있다. 예를 들어, 앞서 설명한 바와 같이, 촬영시각이 야간인 경우 이벤트가 발생하게 되면, 감시 대상 구역의 피사체에 대해서는 마스크를 설정하고, 선택적 감시 대상 구역의 피사체에 대해서는 마스크를 해제할 수 있다.In addition, the privacy information may further include information on the selective monitoring target zone, and the mask area of the monitoring target zone and the mask area of the selective monitoring target zone may be different from each other. For example, as described above, when an event occurs when the photographing time is night, the mask may be set for the subject in the surveillance region and the mask may be released for the subject in the selective surveillance region.
또한, 영상편집부(130)는 발생하는 이벤트의 종류에 따라 피사체에 대한 마스크 영역의 농도를 다르게 설정할 수 있다. 예를 들어, 촬영시각이 야간인 경우 발생하는 이벤트의 경우, 이미 촬영된 영상 데이터의 휘도가 낮기 때문에 이에 대응하여 마스크 영역의 농도를 옅게 할 수 있으며, 피사체가 영상촬영부(110)에 소정 시간 이상 예를 들어 5분 이상 노출되는 경우에는 피사체에 형성된 마스크 영역의 농도를 소정 비율 예를 들어 30% 감소하도록 설정할 수 있다. 피사체가 영상촬영부(110)에 노출되는 시간이 늘어날수록 마스크 영역의 농도가 점진적으로 낮아지도록 설정될 수도 있다.In addition, the
도 3에 도시된 바와 같이, 정보설정부(120)에 의해 설정되는 프라이버시 정보는 영상 데이터(200) 상의 소정 범위로 설정된 좌표 데이터를 포함할 수 있으며, 이와 같은 좌표 데이터는 영상 데이터(200) 상에 존재하는 피사체의 3차원 상의 좌표 정보 또는 거리 정보를 포함할 수 있다.As shown in FIG. 3, the privacy information set by the
예를 들어, 프라이버시 정보가 프라이버시 마스크를 설정해야 하는 좌표 데이터로써, X축과 Y축의 1사분면 상에 존재하되 이동하는 피사체를 프라이버시 보호 대상으로 설정한 경우, 1사분면에 존재하는 제1 피사체 내지 제3 피사체(P1, P2, P3)가 프라이버시 보호 대상으로 인식될 수 있다. 영상편집부(130)는 영상 데이터(200)를 구성하는 각 프레임을 분석하여 이동하는 피사체를 검출하고, 이동하는 피사체 중에서 좌표 상의 1사분면에 존재하는 피사체(P1, P2, P3)의 존재 위치에 프라이버시 마스크를 설정할 수 있다.For example, when privacy information is a coordinate data for which a privacy mask is to be set, and a moving subject is set as a privacy protection target when a moving subject exists on one quadrant of the X-axis and the Y-axis, the first subject to the first quadrant present in the first quadrant. 3 The subjects P1, P2, and P3 may be recognized as privacy protection objects. The
이를 위해, 영상편집부(130)는 Z축(미도시) 상의 지면을 기준으로 XY평면을 정의할 수 있으며, 영상촬영부(110)의 촬영 각도 정보를 수신하여 영상 데이터 상의 X축과 Y축을 설정할 수 있다.To this end, the
이를 기준으로 추출된 각 피사체의 좌표는 피사체의 지면 상에서의 중심점을 기준으로 결정될 수 있으나 이에 한정되는 것은 아니며, 피사체의 말단부가 지면보다 높은 위치에 있는 경우에는 Z축 상의 높이 정보를 고려할 수도 있다. 예를 들어, 제2 피사체(P2)의 경우에는 지면과 맞닿아 있기 때문에, Z축의 높이 정보가 생략될 수 있는 반면, 소정의 건물 내부에 위치하는 제1 피사체(P1)의 경우에는 지면 보다 소정 높이에 존재할 수 있으며 이와 같은 경우 Z축 상의 높이를 고려하여 프라이버시 정보가 설정될 수 있다.Coordinates of each subject extracted based on this may be determined based on a center point on the ground of the subject. However, the present invention is not limited thereto, and height information on the Z axis may be considered when the end portion of the subject is higher than the ground. For example, since the second subject P2 is in contact with the ground, the height information of the Z axis may be omitted, whereas in the case of the first subject P1 located inside a predetermined building, the height of the second subject P2 may be lower than the ground. In this case, privacy information may be set in consideration of the height on the Z axis.
몇몇 실시예에서, 제1 피사체(P1)의 위치를 Z=0인 XY평면 상으로 일괄적으로 투영하여 높이를 고려하지 않고 XY평면 상에서의 좌표 정보만을 포함할 수도 있다.In some embodiments, the location of the first subject P1 may be collectively projected onto the XY plane where Z = 0 to include only coordinate information on the XY plane without considering height.
이와 같이, 설정된 프라이버시 정보에 포함된 좌표 데이터를 구성하는, 3차원 상의 좌표 정보는, 영상편집부(130)에 의해 2차원 평면 형태인 영상 데이터와 매핑되어, 정밀한 프라이버시 마스크 작업이 가능하도록 한다.In this way, the coordinate information on the 3D, which constitutes the coordinate data included in the set privacy information, is mapped by the
또한, 영상촬상부(110)의 촬영 앵글이 변할 경우에는, 이에 대응하여, 좌표 데이터가 영상 데이터(200)의 촬상 각도를 기준으로 3차원 좌표의 각 축이 회전될 수 있다.In addition, when the photographing angle of the
따라서, 기준선을 중심으로 영상 데이터(200)의 구도 내지 초점이 달라지는 경우에도 이에 대응하여 좌표 데이터를 이루는 축이 회전함으로써 다양한 영상 데이터(200)에 프라이버시 마스크 설정 작업을 정밀하게 수행할 수 있다.Therefore, even when the composition or the focus of the
이어서, 도 5 내지 도 8b를 참조하여, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템에 대해 설명한다. 도 5는 도 2의 영상 데이터를 복수의 구역으로 구획한 모습을 도시한 도면이고, 도 6은 도 5의 영상 데이터 중 제1 구역에 존재하는 피사체의 PIP(Picture In Picture) 데이터를 나타내는 도면이고, 도 7은 도 5의 영상 데이터 중 제3 구역에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이고, 도 8a 및 도 8b는 도 5의 영상 데이터 중 제2 구역의 소정 범위 내에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.Next, a privacy protection image processing system according to an embodiment of the present invention will be described with reference to FIGS. 5 to 8B. 5 is a diagram illustrating a state in which the image data of FIG. 2 is divided into a plurality of zones, and FIG. 6 is a diagram illustrating PIP (Picture In Picture) data of a subject existing in a first zone among the image data of FIG. 5. FIG. 7 is a diagram illustrating a privacy mask set for a subject in a third zone of the image data of FIG. 5, and FIGS. 8A and 8B are within a predetermined range of the second zone of the image data of FIG. 5. FIG. 1 shows a state in which a privacy mask is set for a subject.
영상 데이터(200)에 대한 프라이버시 정보는 영상 데이터(200) 상에 촬영된 화면을 복수의 구역으로 구획한 구역 정보를 더 포함할 수 있다.The privacy information on the
예를 들어, 도 5에 도시된 바와 같이, 영상촬상부(110)에 의해 획득된 영상 데이터(200) 상에서, 경계면(담)을 기준으로 사용자의 주거 영역을 제1 구역(200a)으로 설정하고, 거주 공간 외부에 존재하여 보행자가 이용하는 공용 도로 영역을 제2 구역(200b)으로 설정하고, 공용 도로의 반대측편 타인의 건물 영역을 제3 구역(200c)으로 설정한 후, 각 구역 별로 서로 다른 프라이버시 레벨을 설정할 수 있다.For example, as shown in FIG. 5, on the
도 6을 참조하면, 사용자의 주거 영역인 제1 구역(200a)의 경우에는 실제 사용자가 감시하고자 하는 주된 대상 영역이며, 무단으로 침입하지 않는 경우에는 보행자가 포착되지 않는 영역이기 때문에, 제1 구역(200a) 내의 피사체(P4)에 대해서는 감지된 얼굴 영역을 확대한 PIP(Picture In Picture) 데이터(210)를 영상 데이터(200)에 추가하여 사용자가 제1 구역(200a) 내의 피사체의 정보를 확보할 수 있다. 사용자의 설정에 따라, 제1 구역(200a) 내에서 소정 시간단위 동안 피사체(P4)가 감지되는 경우에만 제한적으로 PIP 데이터(210)가 표시되도록 할 수도 있다.Referring to FIG. 6, in the case of the
반면, 일반적인 보행자가 이용하는 공용 도로 영역인 제2 구역(200b)의 경우에는 선택적 감시 대상으로서, 설정에 따라 피사체(P2, P3)에 프라이버시 마스크 처리를 수행할수도 수행하지 않을수도 있다. 이와 같은 설정사항은 정보설정부(120)를 통해 사용자가 임의로 설정할 수 있다.On the other hand, in the case of the
도 7을 참조하면, 타인의 건물 영역인 제3 구역(200c)은 건물 내부의 영상이 확보될 수 있으므로 프라이버시 침해 문제가 발생할 가능성이 높기 때문에, 제3 구역(200c)을 프라이버시 보호 대상으로 설정하여, 제3 구역(200c) 내의 모든 피사체를 식별하지 못하도록 마스크 처리를 수행할 수 있으며, 또는 움직이는 피사체에 한정하여 마스크 처리를 수행할 수도 있다.Referring to FIG. 7, since the
이와 같이, 미리 감지 영역을 소정 단위로 구획하여, 각 구역별로 다른 프라이버시 레벨을 설정할 수 있으며, 하나의 구역 내에서도 소정 구간을 나눠서 프라이버시 마스크 설정을 다르게 적용할 수 있다.As described above, the detection area may be previously divided into predetermined units to set different privacy levels for each zone, and the privacy mask setting may be differently applied by dividing the predetermined zone even in one zone.
예를 들어, 도 8a 및 도 8b를 참조하면, 영상 데이터(200)에 매핑된 좌표 데이터 상에서 제2 구역(200b) 내의 피사체 중에서 Y축을 기준으로 Y1 < Y < Y2 범위에 속한 피사체에만 프라이버시 마스크(M2)가 적용되도록 설정할 수 있다. 따라서, 동일한 제2 구역(200b) 내의 피사체라고 하더라도 해당 Y축 범위를 벗어난 피사체는 프라이버시 마스크가 설정되지 않을 수 있다.For example, referring to FIGS. 8A and 8B, a privacy mask may be applied only to a subject in the range Y1 <Y <Y2 among the subjects in the
또한, 영상 데이터(200)에 매핑된 좌표 데이터 상에서 제2 구역(200b) 내의 피사체 중에서 X축과 Y축을 기준으로 Y1 < Y < Y2이고, X1 < X < X2 범위에 속한 피사체에만 프라이버시 마스크(M2)가 적용되도록 설정할 수 있다. 따라서, 동일한 제2 구역(200b) 내의 피사체라고 하더라도 해당 X축 및 Y축 범위를 벗어난 피사체는 프라이버시 마스크가 설정되지 않을 수 있다.In addition, the privacy mask M2 may be applied only to a subject in the range X1 <Y <Y2 and X1 <X <X2 among the subjects in the
몇몇 실시예에서, 피사체가 프라이버시 레벨이 서로 다르게 설정된 구역 사이를 이동하는 경우에, 영상편집부(130)는 이를 감지하여, 피사체에 설정된 프라이버시 마스크를 설정하거나 해제할 수 있다.In some embodiments, when the subject moves between zones having different privacy levels, the
예를 들어, 도 7에 도시된 제1 피사체(P1)가 프라이버시 보호 구역인 제3 구역(200c)에서 이탈하여 제2 구역(200b) 또는 제1 구역(200a)으로 진입한 경우에는, 제1 피사체(P1)에 마스킹된 프라이버시 마스크(M1)가 해제되고 제1 피사체(P1)를 식별할 수 있게 된다.For example, when the first subject P1 illustrated in FIG. 7 is separated from the
반대로, 도 6에 도시된 바와 같이, 제4 피사체(P4)가 집중 감시 구역인 제1 구역(200a)에 소정 시간 이상 머물다가 제2 구역(200b) 또는 제3 구역(200c)으로 진입한 경우에는, 제4 피사체(P4)를 요주의 인물로 인식하여, 제4 피사체(P4)의 이동 위치가 무관하게 프라이버시 마스크를 해제할 수 있다. 따라서, 제4 피사체(P4)가 프라이버시 보호 구역인 제3 구역(200c)으로 진입하더라도 제4 피사체(P4)에 대해서는 마스크가 설정되지 않는 상태로 유지될 수 있다.On the contrary, as shown in FIG. 6, when the fourth subject P4 stays in the
또한, 도 8a에 도시된 바와 같이, 현재 제2 구역(200b) 상의 소정 구역(Y1 < Y < Y2)에 위치하는 제2 피사체(P2)가 이동하여 Y축 좌표가 Y1과 Y2 사이를 벗어난 경우에는 프라이버시 마스크(M2)가 해제될 수 있다.In addition, as shown in FIG. 8A, when the second subject P2 currently located in the predetermined area Y1 <Y <Y2 on the
이와 같이 피사체 특히 사람의 경우에는 대체로 영상 데이터(200) 상에서 시간의 추이에 따라 소정 위치로 이동하기 때문에, 영상 데이터(200)를 구성하는 각 프레임 별로 피사체의 위치를 고려하여 마스크를 설정하거나 해제할 수 있으며, 상황에 따라 다양한 옵션을 설정하여, 각 구역에서의 프라이버시 마스크 설정 여부 및 각 구역 간의 이동시의 프라이버시 마스크 설정 내지 설정해제 여부를 사용자의 편의에 따라 설정할 수 있다.As described above, since a subject, in particular, a person generally moves to a predetermined position on the
이하, 도 9 및 도 10을 참조하여, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법에 대해 설명한다. 도 9는 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법을 나타내는 순서도이고, 도 10은 도 9의 프라이버시 설정 과정을 상세히 설명하는 순서도이다.Hereinafter, a privacy guard image processing method according to an embodiment of the present invention will be described with reference to FIGS. 9 and 10. 9 is a flowchart illustrating a privacy protection image processing method according to an embodiment of the present invention, and FIG. 10 is a flowchart illustrating the privacy setting process of FIG. 9 in detail.
도 9를 참조하면, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법은, 영상 데이터를 촬상하는 단계(S120), 미리 설정된 프라이버시 정보를 로드하는 단계(S130), 상기 프라이버시 정보를 기초로 상기 영상 데이터 상에서 상기 프라이버시 정보와 대응되는 피사체가 존재하는지 판단하는 단계(S140), 및 상기 판단된 피사체에 대한 식별을 차단하는 마스크 영역을 생성하는 단계(S150)를 포함할 수 있다.Referring to FIG. 9, in the privacy protection image processing method according to the exemplary embodiment of the present disclosure, the method may include capturing image data (S120), loading preset privacy information (S130), and based on the privacy information. The method may include determining whether a subject corresponding to the privacy information exists in the image data (S140), and generating a mask region that blocks identification of the determined subject (S150).
몇몇 다른 실시예에서, 상기 프라이버시 정보는 상기 영상 데이터 상에서 범위로 설정된 좌표 데이터를 포함하고, 상기 좌표 데이터는 상기 영상 데이터 상에 존재하는 피사체의 3차원 상의 좌표 정보를 포함할 수도 있다.In some other embodiments, the privacy information may include coordinate data set to a range on the image data, and the coordinate data may include coordinate information on three-dimensional images of a subject present on the image data.
도 9 및 도 10을 함께 참조하면, 사용자의 상황에 따라 프라이버시 정보를 설정한다(S110). 프라이버시 정보를 설정하는 단계는 영상 데이터를 촬상하는 단계(S120)전에 수행되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 영상 데이터를 촬상한 후에 수행될 수도 있으며, 별도의 프라이버시 정보가 설정되지 않은 상태에서 감시용 카메라를 작동시키다가 사용 중에 프라이버시 정보를 새롭게 설정 내지 설정 내용을 변경할 수도 있다.9 and 10, privacy information is set according to a user's situation (S110). The setting of the privacy information is illustrated as being performed before the imaging of the image data (S120), but is not limited thereto. The privacy information may be performed after the imaging of the image data, and the privacy information is not set. While operating the surveillance camera in use, privacy information may be newly set or changed.
앞서 살펴본 바와 같이, 사용자가 설정한 감시용 카메라의 설치 위치 및 주변 상황 등을 고려하여 감시용 카메라에 의해 획득한 영상 데이터를 복수의 구역으로 구획할 수 있으며(S111), 하나의 구역 내에서도 좌표의 위치를 설정하여 해당 위치의 피사체에 한정하여 프라이버시 마스크가 생성되도록 설정할 수 있다. 복수로 구획된 각 구역은 서로 다른 프라이버시 레벨이 적용되어, 프라이버시 마스크가 생성되거나 PIP 데이터가 생성될 수 있다.As described above, the image data acquired by the surveillance camera may be divided into a plurality of zones in consideration of the installation location and surrounding conditions of the surveillance camera set by the user (S111), and coordinates within one zone The location may be set to generate a privacy mask only for a subject at the location. Each zone divided into a plurality of zones may be applied with different privacy levels, so that a privacy mask may be generated or PIP data may be generated.
또한, 영상 데이터에 적용되는 좌표의 종류를 설정하는 단계(S112)를 더 포함할 수 있다. 예를 들어, 영상 데이터에 적용되는 좌표는 영상 데이터 내에 존재하는 피사체를 3차원 좌표로 취급할 수 있으며, 이러한 경우에는 지면으로부터의 높이 정보(Z축 좌표)가 함께 고려될 수 있따. 즉, 획득된 영상 데이터의 지면 상태, 건물 배치 상태 등을 분석하여 기준이 되는 3축을 설정할 수 있으며, 3축을 기초로 영상 데이터 내의 피사체의 위치 정보를 정밀하게 추출할 수 있다.In addition, the method may further include setting a type of coordinates applied to the image data (S112). For example, the coordinates applied to the image data may treat a subject existing in the image data as three-dimensional coordinates, in which case the height information from the ground (Z-axis coordinate) may be considered together. That is, three axes as a reference may be set by analyzing the ground state, the building arrangement state, and the like of the acquired image data, and the position information of the subject in the image data may be precisely extracted based on the three axes.
반면, 영상 데이터 내에 존재하는 피사체를 2차원 좌표로 취급할 수도 있다. 이러한 경우에는 피사체 간의 높낮이 차이에 대한 고려 없이 2차원 XY 평면, 예를 들어 지면에 투영하여 각각의 위치 정보 및 거리 정보를 고려할 수 있다.On the other hand, a subject existing in the image data may be treated as two-dimensional coordinates. In this case, each position information and distance information may be considered by projecting on a two-dimensional XY plane, for example, the ground, without considering height difference between subjects.
이와 같이 설정된 좌표 종류를 기준으로 프라이버시 정보에 포함되는 좌표 데이터를 설정할 수 있다(S113). 즉, 영상 데이터 상의 어느 지점에 존재하는 피사체를 마스킹하고, 어느 지점에 존재하는 피사체를 마스킹하지 않을지를 결정하여, 좌표 데이터를 생성할 수 있다. 추후에 이와 같은 좌표 데이터를 기초로 피사체의 프라이버시 마스크 생성여부를 결정할 수 있다.Coordinate data included in privacy information may be set based on the set coordinate type as described above (S113). That is, the coordinate data may be generated by masking a subject existing at the image data and determining which object is not masked at which point. Later, based on such coordinate data, it may be determined whether the subject has a privacy mask.
이와 같은 좌표 데이터는 앞서 설명한 바와 같이, 특정 위치로 설정될 수도 있으며, 구획된 복수의 구역 단위로 설정될 수도 있다.As described above, the coordinate data may be set to a specific position or may be set in a plurality of divided zone units.
또한, 프라이버시 정보에 포함되는 구역에 대한 옵션 및/또는 피사체에 대한 옵션을 다양하게 설정할 수 있다(S114). 피사체가 각 구역 간을 이동하거나, 하나의 구역 내에서 피사체가 이동하는 경우, 이를 감지하여 이동하는 위치에 따라 현재 피사체에 설정된 프라이버시 마스크를 생성하거나 해제할 수 있으며, 피사체에 설정되는 마스크의 종류 내지 마스크의 생성 범위(얼굴 또는 몸 전체) 등을 설정할 수 있으며, 해당 구역에 머무르는 시간범위를 설정하여 소정 시간 이상 머무르는 경우 마스크를 설정 또는 해제할 수 있다.In addition, the option for the zone included in the privacy information and / or the option for the subject may be variously set (S114). When the subject moves between the zones, or when the subject moves within one zone, the subject may detect and move to create or release a privacy mask set for the current subject. The generation range (face or entire body) of the mask may be set, and the time range staying in the corresponding area may be set, and the mask may be set or released when staying for a predetermined time or more.
이와 같이 생성된 프라이버시 정보를 저장하고(S115), 추후에 영상 데이터가 확보되면 해당 프라이버시 정보를 로드하여 사생활 보호 정책을 적용할 수 있다.The privacy information generated as described above is stored (S115), and if the image data is secured later, the privacy information may be loaded by applying the corresponding privacy information.
이어서, 영상촬상부를 동작시켜서 영상 데이터를 촬상하고(S120), 영상 데이터가 확보되면 저장했던 프라이버시 정보를 읽어들인다(S130). 프라이버시 정보는 언제든지 사용자에 따라 변경, 수정 또는 삭제될 수 있다.Subsequently, the image capturing unit is operated to capture image data (S120), and when the image data is secured, the stored privacy information is read (S130). Privacy information may be changed, modified or deleted according to the user at any time.
영상 데이터를 분석하여 프라이버시 정보와 대응되는 피사체가 존재하는지를 판단한 후(S140), 이에 대응되는 피사체에 대한 프라이버시 마스크를 생성하여 피사체가 식별되지 않도록 보호한다(S150).After analyzing the image data to determine whether there is a subject corresponding to the privacy information (S140), a privacy mask is generated for the subject corresponding thereto to protect the subject from being identified (S150).
앞서 설명한 바와 같이, 영상촬영부에 의해 최초로 획득한 로우 데이터에 해당하는 제1 영상 데이터는 별도로 구비된 버퍼부 등에 의해 별도로 보관 및 관리될 수도 있다.As described above, the first image data corresponding to the raw data initially acquired by the image capturing unit may be separately stored and managed by a buffer unit or the like separately provided.
나머지 언급하지는 않았으나, 본 실시예에 따른 사생활 보호 영상 처리 방법은 이전에 설명한 사생활 보호 영상 처리 시스템의 구성 및 동작원리와 실질적으로 동일할 수 있으며, 중복된 설명은 생략한다.Although not mentioned above, the privacy protection image processing method according to the present embodiment may be substantially the same as the configuration and operation principle of the privacy protection image processing system described above, and a redundant description thereof will be omitted.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
110: 영상촬상부
120: 정보설정부
130: 영상편집부110: image pickup unit
120: information setting unit
130: image editing unit
Claims (20)
상기 제1 영상 데이터의 프라이버시 정보를 설정하는 정보설정부; 및
상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 영상편집부를 포함하되,
상기 영상편집부는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제하는, 사생활 보호 영상 처리 시스템.An image photographing unit generating first image data;
An information setting unit for setting privacy information of the first image data; And
And an image editing unit configured to generate second image data by generating or releasing a mask area that blocks identification of a subject by editing the first image data based on the privacy information.
And the image editing unit generates or releases the mask area for the subject when a predetermined event occurs.
상기 이벤트는 상기 영상촬상부의 촬영시각이 야간일 경우 발생하고,
상기 영상편집부는 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 시스템.The method of claim 1,
The event occurs when the shooting time of the image pickup unit is night,
And the image editing unit releases the mask area of the subject.
상기 이벤트는 상기 피사체가 상기 영상촬상부에 노출되는 시간이 소정 시간단위 이상일 경우 발생하고,
상기 영상편집부는 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 시스템.The method of claim 1,
The event occurs when the time that the subject is exposed to the image capturing unit is more than a predetermined time unit,
And the image editing unit releases the mask area of the subject.
상기 프라이버시 정보는,
감시 대상인 제1 구역의 정보 및 프라이버시 보호 대상인 제2 구역의 정보를 포함하며,
상기 이벤트는 상기 피사체가 상기 제1 구역에 진입한 경우 발생하고,
상기 영상편집부는 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 시스템.The method of claim 1,
The privacy information,
Includes information in the first zone being monitored and information in the second zone being privacy protected,
The event occurs when the subject enters the first zone,
And the image editing unit releases the mask area of the subject.
상기 영상편집부는, 상기 제1 구역에 진입한 상기 피사체가 상기 제2 구역으로 이동한 경우, 상기 제2 영상 데이터 상에서 상기 피사체에 대한 상기 마스크 영역을 해제한 상태를 유지하는, 사생활 보호 영상 처리 시스템.5. The method of claim 4,
The image editing unit maintains a state in which the mask area for the subject is released on the second image data when the subject entering the first region moves to the second region. .
상기 영상촬상부로부터 생성된 상기 제1 영상 데이터를 임시로 저장하는 데이터버퍼부를 더 포함하는, 사생활 보호 영상 처리 시스템.5. The method of claim 4,
And a data buffer unit for temporarily storing the first image data generated from the image capturing unit.
상기 영상편집부는,
상기 피사체에 대한 상기 제1 구역에 진입하기 이전의 상기 제2 영상 데이터를 동일 시간 구간의 상기 제1 영상 데이터로 대체하는, 사생활 보호 영상 처리 시스템.The method according to claim 6,
The image editing unit,
And replacing the second image data before entering the first zone with respect to the subject with the first image data in the same time interval.
상기 영상편집부는,
상기 제1 구역에 소정 시간단위 동안 얼굴 영역을 가지는 상기 피사체가 감지될 경우, 상기 제2 영상 데이터에 상기 얼굴 영역을 확대한 PIP 데이터를 추가하는, 사생활 보호 영상 처리 시스템.5. The method of claim 4,
The image editing unit,
And when the subject having the face area is detected in the first area for a predetermined time unit, adding the PIP data in which the face area is enlarged to the second image data.
상기 프라이버시 정보는,
감시 대상인 제1 구역의 정보, 프라이버시 보호 대상인 제2 구역의 정보, 및 선택적 감시 대상인 제3 구역의 정보를 포함하며,
상기 영상편집부는 상기 제2 구역에 진입한 상기 피사체의 상기 마스크 영역과 상기 제3 구역에 진입한 상기 피사체의 상기 마스크 영역을 다르게 설정하는, 사생활 보호 영상 처리 시스템.The method of claim 1,
The privacy information,
Information of the first zone to be monitored, information of the second zone to be privacy protected, and information of the third zone to be selectively monitored,
And the image editing unit sets the mask area of the subject entering the second zone differently from the mask area of the subject entering the third zone.
상기 영상편집부는, 상기 이벤트의 종류에 따라 상기 피사체에 대한 상기 마스크 영역의 농도를 다르게 설정하는, 사생활 보호 영상 처리 시스템.The method of claim 1,
And the image editing unit sets different concentrations of the mask area for the subject according to the type of the event.
상기 제1 영상 데이터의 프라이버시 정보를 설정하는 단계; 및
상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 단계를 포함하되,
상기 제2 영상 데이터를 생성하는 단계는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제하는 단계를 더 포함하는, 사생활 보호 영상 처리 방법.Generating first image data;
Setting privacy information of the first image data; And
And generating second image data by generating or releasing a mask area that blocks identification of a subject by editing the first image data based on the privacy information.
The generating of the second image data may further include generating or releasing the mask area for the subject when a predetermined event occurs.
상기 이벤트는 상기 영상촬상부의 촬영시각이 야간일 경우 발생하고,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 방법.12. The method of claim 11,
The event occurs when the shooting time of the image pickup unit is night,
And in the generating of the second image data, the mask area of the subject is released.
상기 이벤트는 상기 피사체가 상기 영상촬상부에 노출되는 시간이 소정 시간단위 이상일 경우 발생하고,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 방법.12. The method of claim 11,
The event occurs when the time that the subject is exposed to the image capturing unit is more than a predetermined time unit,
And in the generating of the second image data, the mask area of the subject is released.
상기 프라이버시 정보는,
감시 대상인 제1 구역의 정보 및 프라이버시 보호 대상인 제2 구역의 정보를 포함하며,
상기 이벤트는 상기 피사체가 상기 제1 구역에 진입한 경우 발생하고,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 방법.12. The method of claim 11,
The privacy information,
Includes information in the first zone being monitored and information in the second zone being privacy protected,
The event occurs when the subject enters the first zone,
And in the generating of the second image data, the mask area of the subject is released.
상기 제2 영상 데이터를 생성하는 단계에서, 상기 제1 구역에 진입한 상기 피사체가 상기 제2 구역으로 이동한 경우, 상기 제2 영상 데이터 상에서 상기 피사체에 대한 상기 마스크 영역을 해제한 상태를 유지하는, 사생활 보호 영상 처리 방법.15. The method of claim 14,
In the generating of the second image data, when the subject entering the first zone moves to the second zone, the mask area for the subject is released on the second image data. , Privacy image processing method.
상기 영상촬상부로부터 생성된 상기 제1 영상 데이터를 임시로 저장하는 단계를 더 포함하는, 사생활 보호 영상 처리 방법.15. The method of claim 14,
And temporarily storing the first image data generated from the image capturing unit.
상기 제2 영상 데이터를 생성하는 단계에서,
상기 피사체에 대한 상기 제1 구역에 진입하기 이전의 상기 제2 영상 데이터를 동일 시간 구간의 상기 제1 영상 데이터로 대체하는, 사생활 보호 영상 처리 방법.17. The method of claim 16,
In generating the second image data,
And replacing the second image data before entering the first zone with respect to the subject with the first image data in the same time interval.
상기 제2 영상 데이터를 생성하는 단계에서,
상기 제1 구역에 소정 시간단위 동안 얼굴 영역을 가지는 상기 피사체가 감지될 경우, 상기 제2 영상 데이터에 상기 얼굴 영역을 확대한 PIP 데이터를 추가하는, 사생활 보호 영상 처리 방법.15. The method of claim 14,
In generating the second image data,
And detecting the subject having the face area in the first area for a predetermined time unit, adding the PIP data in which the face area is enlarged to the second image data.
상기 프라이버시 정보는,
감시 대상인 제1 구역의 정보, 프라이버시 보호 대상인 제2 구역의 정보, 및 선택적 감시 대상인 제3 구역의 정보를 포함하며,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 제2 구역에 진입한 상기 피사체의 상기 마스크 영역과 상기 제3 구역에 진입한 상기 피사체의 상기 마스크 영역을 다르게 설정하는, 사생활 보호 영상 처리 방법.12. The method of claim 11,
The privacy information,
Information of the first zone to be monitored, information of the second zone to be privacy protected, and information of the third zone to be selectively monitored,
And generating the second image data, differently setting the mask area of the subject entering the second zone and the mask area of the subject entering the third zone.
상기 제2 영상 데이터를 생성하는 단계에서, 상기 이벤트의 종류에 따라 상기 피사체에 대한 상기 마스크 영역의 농도를 다르게 설정하는, 사생활 보호 영상 처리 방법.12. The method of claim 11,
In the generating of the second image data, the concentration of the mask area for the subject is set differently according to the type of the event.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2012/009124 WO2013137534A1 (en) | 2012-03-12 | 2012-11-01 | System and method for processing image to protect privacy |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120025140 | 2012-03-12 | ||
KR1020120025140 | 2012-03-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130105246A true KR20130105246A (en) | 2013-09-25 |
KR101890589B1 KR101890589B1 (en) | 2018-09-28 |
Family
ID=49453941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120091345A KR101890589B1 (en) | 2012-03-12 | 2012-08-21 | System and method of processing image for preserving private life |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101890589B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150137891A (en) * | 2014-05-30 | 2015-12-09 | 한화테크윈 주식회사 | Method and apparatus of masking process for privacy protection |
WO2016017975A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method of modifying image including photographing restricted element, and device and system for performing the method |
KR20160091238A (en) * | 2015-01-23 | 2016-08-02 | 가시오게산키 가부시키가이샤 | Image processing apparatus, image processing method, and program |
KR20170002308A (en) * | 2015-06-29 | 2017-01-06 | 캐논 가부시끼가이샤 | Apparatus for and method of processing image based on object region |
KR20200117111A (en) * | 2019-04-03 | 2020-10-14 | 주식회사 엘지유플러스 | Image Streaming Control Method and Apparatus |
JP2021192238A (en) * | 2016-12-08 | 2021-12-16 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
KR20230068553A (en) * | 2021-11-11 | 2023-05-18 | 한국도로공사 | Method and System for Protecting Occupant Personal Information on Vehicle Image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003061076A (en) * | 2001-08-10 | 2003-02-28 | Sogo Keibi Hosho Co Ltd | Supervisory device, supervisory method and program for making computer execute the method |
KR20100045713A (en) * | 2008-10-24 | 2010-05-04 | 삼성테크윈 주식회사 | Apparatus and method for masking privacy area in digital image processing device |
KR20110051308A (en) * | 2009-11-10 | 2011-05-18 | 엘지전자 주식회사 | Apparatus and method for photographing face image |
-
2012
- 2012-08-21 KR KR1020120091345A patent/KR101890589B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003061076A (en) * | 2001-08-10 | 2003-02-28 | Sogo Keibi Hosho Co Ltd | Supervisory device, supervisory method and program for making computer execute the method |
KR20100045713A (en) * | 2008-10-24 | 2010-05-04 | 삼성테크윈 주식회사 | Apparatus and method for masking privacy area in digital image processing device |
KR20110051308A (en) * | 2009-11-10 | 2011-05-18 | 엘지전자 주식회사 | Apparatus and method for photographing face image |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150137891A (en) * | 2014-05-30 | 2015-12-09 | 한화테크윈 주식회사 | Method and apparatus of masking process for privacy protection |
WO2016017975A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method of modifying image including photographing restricted element, and device and system for performing the method |
US9911002B2 (en) | 2014-07-31 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method of modifying image including photographing restricted element, and device and system for performing the method |
KR20160091238A (en) * | 2015-01-23 | 2016-08-02 | 가시오게산키 가부시키가이샤 | Image processing apparatus, image processing method, and program |
KR20170002308A (en) * | 2015-06-29 | 2017-01-06 | 캐논 가부시끼가이샤 | Apparatus for and method of processing image based on object region |
US10163027B2 (en) | 2015-06-29 | 2018-12-25 | Canon Kabushiki Kaisha | Apparatus for and method of processing image based on object region |
JP2021192238A (en) * | 2016-12-08 | 2021-12-16 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
KR20200117111A (en) * | 2019-04-03 | 2020-10-14 | 주식회사 엘지유플러스 | Image Streaming Control Method and Apparatus |
KR20230068553A (en) * | 2021-11-11 | 2023-05-18 | 한국도로공사 | Method and System for Protecting Occupant Personal Information on Vehicle Image |
Also Published As
Publication number | Publication date |
---|---|
KR101890589B1 (en) | 2018-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101890589B1 (en) | System and method of processing image for preserving private life | |
CN104980653B (en) | The method that camera parameter in video monitoring system updates | |
US10937290B2 (en) | Protection of privacy in video monitoring systems | |
ES2288610T3 (en) | PROCESSING AND SYSTEM FOR THE EFFECTIVE DETECTION OF EVENTS IN A LARGE NUMBER OF SEQUENCES OF SIMULTANEOUS IMAGES. | |
US20180103206A1 (en) | Mobile camera and system with automated functions and operational modes | |
CN106803943A (en) | Video monitoring system and equipment | |
CN101933027A (en) | Masking module for a video monitoring system method for masking selected objects and computer programme | |
WO2013137534A1 (en) | System and method for processing image to protect privacy | |
KR101381343B1 (en) | The method for appling the masking for the protection of privacy to the face area detected by using face recognition technology | |
US20160021309A1 (en) | Image based surveillance system | |
KR101466374B1 (en) | Integrated monitoring and controlling system and method including privacy protecion and interest emphasis function | |
US20150093102A1 (en) | Monitoring apparatus, monitoring system, and monitoring method | |
KR101747213B1 (en) | A control system for in and out based on scenario and method thereof | |
WO2018061792A1 (en) | Light-blocking device, light-blocking method, and program | |
KR101487461B1 (en) | Security control system by face recognition with private image secure function | |
Patel et al. | Blindspot: Creating capture-resistant spaces | |
US9202356B1 (en) | Shutter for limiting image capturing area | |
JP2008182459A (en) | Passage monitoring system | |
KR101393302B1 (en) | Cctv system with video image comparison unit | |
KR101028524B1 (en) | Cctv system for conducting regulation, warning and information for a restricted area including areas forbidden from trespassing and swimming and operating method thereof | |
KR101393303B1 (en) | Method for managing cctv system with video image comparison unit | |
US20200126383A1 (en) | Alarm dependent video surveillance | |
Zhang et al. | Physical security detectors for critical infrastructures against new-age threat of drones and human intrusion | |
KR101237966B1 (en) | Monitoring system for controlling masking of object and method thereof | |
KR101061868B1 (en) | Monitoring system using dual surveillance camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right |