KR102094509B1 - Method of modifying image including photographing restricted element, device and system for performing the same - Google Patents
Method of modifying image including photographing restricted element, device and system for performing the same Download PDFInfo
- Publication number
- KR102094509B1 KR102094509B1 KR1020150051133A KR20150051133A KR102094509B1 KR 102094509 B1 KR102094509 B1 KR 102094509B1 KR 1020150051133 A KR1020150051133 A KR 1020150051133A KR 20150051133 A KR20150051133 A KR 20150051133A KR 102094509 B1 KR102094509 B1 KR 102094509B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- person
- shooting
- location
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 152
- 238000012545 processing Methods 0.000 claims description 107
- 230000015572 biosynthetic process Effects 0.000 claims description 34
- 238000003786 synthesis reaction Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 14
- 230000006855 networking Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 27
- 239000004984 smart glass Substances 0.000 description 22
- 238000010191 image analysis Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 11
- 238000003702 image correction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
Landscapes
- Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명의 실시예에 따른 사용자 디바이스는, 데이터가 저장되는 저장부, 및 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 제어부를 포함한다.The user device according to an embodiment of the present invention recognizes a person included in an image and a storage unit in which data is stored, and if the recognized person is not related to the user by using the data stored in the storage unit, And a controller that corrects a part of the image corresponding to the recognized person so that the recognized person cannot be identified.
Description
본 발명은 사용자 디바이스에서 촬영된 사진 또는 동영상에 촬영이 제한되는 요소가 포함된 경우 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템에 관한 것이다.The present invention relates to a method for correcting an image when a photograph or video photographed on a user device includes an element for which photographing is restricted, and a device and a system for performing the same.
카메라 또는 캠코더와 같은 촬영 디바이스를 통해 사진 또는 동영상을 촬영하는 경우 촬영자가 모르는 사람이 촬영 영상에 포함될 수도 있다. 그런데, 본인의 의도와 상관 없이 다른 사람의 촬영에 노출되는 것을 피촬영자의 입장에서는 원하지 않을 수 있으며, 경우에 따라서는 프라이버시 보호 문제가 대두될 수 있다. 하지만, 촬영자는 촬영을 할 때마다 자신이 모르는 사람이 영상에 포함되지 않도록 하기란 어려운 일이다.In the case of taking a picture or a video through a shooting device such as a camera or a camcorder, a person unknown to the photographer may be included in the captured image. However, irrespective of the intention of the person, the photographed person may not want to be exposed to another person's intention, and in some cases, a privacy protection issue may arise. However, it is difficult for the photographer to ensure that the person who does not know is not included in the video every time he shoots.
만약, 촬영된 영상에 포함된 인물들 중에서 촬영이 제한되는 인물을 구분하고, 해당 인물에 대해서 식별이 불가능하도록 영상 처리를 수행한다면 촬영자는 기존과 같은 방법으로 간편하게 촬영을 하면서도 피촬영자의 프라이버시를 보호하는 효과를 기대할 수 있다.If, among the characters included in the captured image, a person whose shooting is restricted is classified and image processing is performed so that the person cannot be identified, the photographer can easily shoot the same way and protect the privacy of the subject. You can expect the effect.
특히 최근에는 스마트폰 또는 태블릿과 같이 개인이 항시 휴대하는 디바이스들이 일반적으로 촬영 기능을 지원함에 따라 모르는 타인의 촬영에 노출될 가능성이 증가하였으며, 따라서 이에 대한 대비책이 필요하다.In particular, in recent years, as devices, such as smartphones or tablets, which are always carried by individuals at all times support the shooting function, there is an increased possibility of being exposed to other people's shooting, and thus, a countermeasure is needed.
한편, 개인에게 촬영이 제한될 필요가 있는 것은 비단 모르는 타인뿐만 아니라, 특정 사물 또는 특정 위치가 될 수도 있다. 따라서, 개인의 디바이스에서 촬영한 영상에 포함된 촬영이 제한되는 사물 또는 위치가 포함되어 있을 경우 이를 영상에서 식별할 수 없도록 영상 처리를 수행할 필요도 있다.On the other hand, it may be a specific object or a specific location, as well as others who do not know that the shooting needs to be restricted to the individual. Accordingly, when an object or location in which an image is captured included in an image captured by an individual device is restricted, it is necessary to perform image processing so that it cannot be identified from the image.
개인의 디바이스에서 촬영한 영상에 촬영이 제한되는 요소가 포함되어 있을 경우 영상을 수정하는 방법을 제공하고자 한다.It is intended to provide a method of correcting an image when an element for which shooting is restricted is included in an image photographed on a personal device.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 사용자 디바이스는, 데이터가 저장되는 저장부, 및 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 제어부를 포함한다.The user device according to an embodiment of the present invention for solving the above technical problem recognizes a storage unit in which data is stored, and a person included in an image, and uses the data stored in the storage unit to recognize the recognized person. And a control unit that corrects a part of the image corresponding to the recognized person so that identification of the recognized person is not possible if the user is not related to each other.
이때, 상기 사용자 디바이스는 영상을 촬영하는 촬영부를 더 포함할 수 있다.In this case, the user device may further include a photographing unit for photographing an image.
이때, 상기 제어부는 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 것을 특징으로 할 수 있다.At this time, the control unit may be characterized in that it determines whether the location where the image is photographed is a location where photographing is restricted, and when a photographing is restricted, a part of the image corresponding to the recognized person is corrected.
이때, 상기 저장부에 저장된 데이터가 주소록인 경우, 상기 제어부는 상기 인식된 인물이 상기 주소록에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 할 수 있다.In this case, when the data stored in the storage unit is an address book, the controller may determine that the user and the recognized person are not related to each other if the recognized person does not exist in the address book.
이때, 상기 저장부에 저장된 데이터가 적어도 하나의 사진인 경우, 상기 제어부는 상기 인식된 인물이 상기 적어도 하나의 사진에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 할 수 있다.At this time, when the data stored in the storage unit is at least one picture, the controller determines that the user and the recognized person are not related to each other if the recognized person does not exist in the at least one picture. It can be characterized as.
이때, 상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 것을 특징으로 할 수 있다.At this time, the control unit may be characterized by determining whether the user and the recognized person are related to each other by analyzing the user's SNS (Social Networking Service) record using the data stored in the storage unit. .
이때, 상기 제어부는 외부 서버의 데이터베이스에 접근하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하여, 촬영이 제한되는 위치인 것으로 판단되면 상기 영상의 일부를 수정하는 것을 특징으로 할 수 있다.At this time, the controller may access the database of an external server to determine whether the location where the image is captured is a location where photography is restricted, and if it is determined that the location is restricted, a part of the image may be corrected have.
이때, 상기 제어부는 상기 영상에서 촬영 제한 사물을 인식하면, 상기 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단하는 것을 특징으로 할 수 있다.At this time, the control unit may be characterized in that, when recognizing a shooting-restricted object from the image, the location where the image is captured is determined as a location where the shooting is restricted.
이때, 상기 제어부는 상기 영상의 일부에 수정이 필요하다고 판단되면, 상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 것을 특징으로 할 수 있다.In this case, when it is determined that a part of the image needs to be corrected, the controller performs at least one of mosaic processing, blur processing, background screen synthesis processing, or alternative image synthesis processing on a part of the video. You can.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 영상을 수정하는 시스템은, 영상을 서버로 전송하며 영상 처리를 요청하는 사용자 디바이스, 및 상기 사용자 디바이스로부터 수신된 영상에 포함된 인물을 인식하고, 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하고, 상기 사용자 디바이스로 수정된 영상을 전송하는 서버를 포함한다.A system for modifying an image according to another embodiment of the present invention for solving the above technical problem recognizes a user device transmitting an image to a server and requesting image processing, and a person included in the image received from the user device And if the recognized person is not related to the user, modify a part of the image corresponding to the recognized person so that identification of the recognized person is impossible, and transmit a modified image to the user device. Includes.
이때, 상기 서버는 미리 저장된 데이터를 이용하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 것을 특징으로 할 수 있다.At this time, the server is characterized in that using the pre-stored data to determine whether the location where the image is photographed is a location where photography is restricted, and if a location where the image is restricted is to modify a part of the image corresponding to the recognized person. Can be done with
이때, 상기 서버는 상기 사용자 디바이스로부터 상기 영상이 촬영된 시간 및 위치를 수신하고, 미리 저장된 데이터를 이용하여 상기 수신한 시간 및 위치에서 상기 인식된 인물의 촬영이 제한되는지 여부를 판단하는 것을 특징으로 할 수 있다.At this time, the server receives the time and location at which the image was taken from the user device, and determines whether or not shooting of the recognized person is restricted at the received time and location using pre-stored data. can do.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부, 촬영 수행시 피촬영자의 디바이스로 촬영 통지를 전송하고, 상기 피촬영자의 디바이스로부터 촬영 허용 여부를 수신하는 통신부, 및 상기 촬영 허용 여부에 따라 상기 촬영된 영상을 수정하는 제어부를 포함한다.The user device according to another embodiment of the present invention for solving the above technical problem, a photographing unit for photographing an image, and when photographing is performed, transmits a photographing notification to a device of a photographed person, and determines whether photographing is allowed from the photographed device. It includes a receiving communication unit, and a control unit that corrects the captured image according to whether the photographing is allowed.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상을 수정하는 방법은, 영상에 포함된 인물을 인식하는 단계, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계, 및 상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 상기 영상의 일부를 수정하는 단계를 포함한다.A method of correcting an image according to an embodiment of the present invention for solving the technical problem includes: recognizing a person included in the image, determining whether the recognized person is related to the user, and And if the recognized person is not related to the user, modifying a part of the image corresponding to the recognized person so that identification of the recognized person is impossible.
이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인지를 판단하는 단계를 더 포함하고, 상기 영상의 일부를 수정하는 단계는, 상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인 경우, 상기 영상의 일부를 수정하는 단계인 것을 특징으로 할 수 있다.At this time, the step of determining whether or not the recognized person is related to the user may further include determining whether a location where the image is photographed is a location where photographing is restricted, and correcting a part of the image. The step may be a step of correcting a part of the image when the location where the image is photographed is a location where photographing is restricted.
이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 사용자 디바이스에 저장된 주소록에 상기 인식된 인물이 존재하지 않는 경우, 상기 사용자와 상기 인식된 인물은 서로 관련이 없는 것으로 판단하는 단계인 것을 특징으로 할 수 있다.At this time, the step of determining whether the recognized person is related to the user may include: if the recognized person does not exist in the address book stored in the user device, the user and the recognized person are not related to each other. It may be characterized in that the step of judging.
이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 사용자 디바이스에 저장된 적어도 하나의 사진에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 단계인 것을 특징으로 할 수 있다.At this time, the step of determining whether the recognized person is related to the user may include: if the recognized person does not exist in at least one picture stored in the user device, the user and the recognized person are related to each other. It may be characterized in that the step of determining that there is no.
이때, 상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는, 상기 사용자 디바이스에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 단계인 것을 특징으로 할 수 있다.At this time, the step of determining whether or not the recognized person is related to the user is analyzed by analyzing the user's SNS (Social Networking Service) record using the data stored in the user device. It may be characterized in that it is a step of determining whether the characters are related to each other.
이때, 상기 영상의 일부를 수정하는 단계는, 상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 단계를 포함할 수 있다.At this time, the step of correcting a part of the image may include performing at least one of mosaic processing, blur processing, background screen synthesis processing, or alternative image synthesis processing on a part of the video.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부; 및 상기 촬영된 영상에 포함된 인물, 사물 또는 상기 영상이 촬영된 위치 중 적어도 하나를 인식하고, 상기 디바이스의 사용자와 상기 인식된 인물간의 관계(relationship), 상기 인식된 사물 또는 상기 인식된 위치 중 적어도 하나에 기초하여 상기 영상의 수정을 수행하는 제어부를 포함할 수 있다.A user device according to an embodiment of the present invention for solving the above technical problem includes: a photographing unit for photographing an image; And a recognition of at least one of a person, an object, or a location where the image is captured, included in the captured image, and a relationship between a user of the device and the recognized character, the recognized object, or the recognized location. It may include a control unit for performing the correction of the image based on at least one.
이때, 데이터가 저장되는 저장부를 더 포함하며, 상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 관련이 없다고 판단되면 상기 영상을 수정할 수 있다.At this time, it further includes a storage unit in which data is stored, and the control unit determines whether the user and the recognized person are related to each other by using the data stored in the storage unit and corrects the image when it is determined that it is not related. You can.
또한 이때, 상기 저장부에는 주소록이 저장되며, 상기 제어부는 상기 인식된 인물이 상기 주소록에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.In addition, at this time, an address book is stored in the storage unit, and if the recognized person does not exist in the address book, the controller may determine that the user and the recognized person are not related to each other.
또는, 상기 저장부에는 적어도 하나의 사진이 저장되며, 상기 제어부는 상기 인식된 인물이 상기 적어도 하나의 사진에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.Alternatively, at least one picture is stored in the storage unit, and if the recognized person does not exist in the at least one picture, the controller may determine that the user and the recognized person are not related to each other.
또는, 상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단할 수 있다.Alternatively, the controller may determine whether the user and the recognized person are related to each other by analyzing the user's SNS (Social Networking Service) usage record using the data stored in the storage unit.
한편, 상기 제어부는 외부 서버의 데이터베이스에 접근하여 상기 인식된 사물 또는 위치의 촬영이 제한되는지 여부를 판단하고, 촬영이 제한된다고 판단되면 상기 영상을 수정할 수 있다.Meanwhile, the control unit may access a database of an external server to determine whether photographing of the recognized object or location is restricted, and if it is determined that photographing is restricted, the image may be corrected.
또는, 상기 제어부는 상기 영상에서 촬영 금지 표지를 인식하면, 상기 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단할 수 있다.Alternatively, if the controller recognizes a photographing prohibition sign from the image, the controller may determine a location where the image is photographed as a location where photographing is restricted.
또는, 상기 제어부는 상기 영상에 수정이 필요하다고 판단되면, 상기 영상에 포함된 인물, 사물 또는 영상 전체에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행할 수 있다.Alternatively, if it is determined that the image needs to be corrected, the control unit performs at least one of mosaic processing, blur processing, background screen synthesis processing, or alternative image synthesis processing on all persons, objects, or images included in the video. can do.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 촬영 영상을 수정하는 시스템은, 영상을 촬영하고, 촬영된 영상을 서버로 전송하며 영상 처리를 요청하는 사용자 디바이스; 및 상기 사용자 디바이스로부터 수신한 영상에 포함된 인물, 사물 또는 상기 영상이 촬영된 위치 중 적어도 하나를 인식하고, 디바이스의 사용자와 상기 인식된 인물간의 관계, 상기 인식된 사물 또는 상기 인식된 위치 중 적어도 하나에 기초하여 상기 영상의 수정이 필요한지 여부를 판단하고, 수정이 필요하다면 상기 영상을 수정한 후 상기 사용자 디바이스로 수정된 영상을 전송하는 서버를 포함할 수 있다.A system for correcting a photographed image according to another embodiment of the present invention for solving the above technical problem includes: a user device that photographs an image, transmits the photographed image to a server, and requests image processing; And at least one of a person, an object, or a location where the image is captured, included in an image received from the user device, and at least one of a relationship between a user of the device and the recognized person, the recognized object, or the recognized location. It may include a server for determining whether or not the image needs to be modified based on one, and if it is necessary to correct the image, transmit the modified image to the user device.
이때, 상기 서버는 미리 저장된 데이터를 참조하여 상기 인식된 인물이 상기 사용자의 촬영을 허용하는지 여부를 판단하고, 허용하지 않는 경우 영상의 수정이 필요한 것으로 판단할 수 있다.At this time, the server may determine whether or not the recognized person permits the user's photographing by referring to the pre-stored data, and if not, it may be determined that the image needs to be corrected.
또한 이때, 상기 서버는 미리 저장된 촬영 제한 사물 또는 위치에 대한 데이터베이스를 이용하여 상기 인식된 사물 또는 위치의 촬영이 제한되는지 여부를 판단하고, 제한되는 경우 영상의 수정이 필요한 것으로 판단할 수 있다.In addition, at this time, the server may determine whether or not the photographing of the recognized object or location is restricted by using a database of pre-stored photographing limitation objects or locations, and if it is restricted, it may be determined that image modification is necessary.
또는, 상기 서버는 상기 사용자 디바이스로부터 상기 영상이 촬영된 시간 및 위치를 수신하고, 미리 저장된 데이터를 이용하여 상기 수신한 시간 및 위치에서 상기 인식된 인물의 촬영이 제한되는지 여부를 판단할 수 있다.Alternatively, the server may receive a time and location at which the image was taken from the user device, and determine whether or not shooting of the recognized person is restricted at the received time and location using previously stored data.
또는, 상기 사용자 디바이스는 상기 서버로부터 수신한 암호화 키를 이용하여 촬영된 영상을 암호화 한 후 상기 서버로 전송하며, 상기 서버는 수신한 영상을 복호화 한 후 인물, 사물 또는 위치 중 적어도 하나의 인식 및 영상의 수정을 수행할 수 있다.Alternatively, the user device encrypts the captured image using the encryption key received from the server and transmits it to the server, and the server decodes the received image and recognizes at least one of a person, object, or location, and The image can be corrected.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부; 촬영 수행시 피촬영자의 디바이스로 촬영 통지를 전송하고, 상기 피촬영자의 디바이스로부터 촬영 허용 여부를 수신하는 통신부; 및 상기 촬영 허용 여부에 따라 상기 촬영된 영상을 수정하는 제어부를 포함할 수 있다.A user device according to another embodiment of the present invention for solving the above technical problem includes: a photographing unit for photographing an image; A communication unit that transmits a photographing notification to a device to be photographed when performing photographing and receives whether photographing is allowed from the device of the photographed person; And a control unit that corrects the captured image according to whether the photographing is allowed.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 촬영 영상을 수정하는 방법은, 사용자의 디바이스에서 영상을 촬영하는 단계; 상기 촬영된 영상에 포함된 인물, 사물 또는 상기 영상이 촬영된 위치 중 적어도 하나를 인식하는 단계; 및 디바이스의 사용자와 상기 인식된 인물간의 관계(relationship), 상기 인식된 사물 또는 상기 인식된 위치 중 적어도 하나에 기초하여 상기 영상을 수정하는 단계를 포함할 수 있다.A method of modifying a photographed image according to another embodiment of the present invention for solving the above technical problem includes: photographing an image on a user's device; Recognizing at least one of a person, an object, or a location where the image is captured in the captured image; And correcting the image based on at least one of a relationship between a user of the device and the recognized person, the recognized object, or the recognized location.
이때, 상기 수정하는 단계는, 상기 사용자의 디바이스에 저장된 데이터를 이용하여 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 관련이 없다면 상기 영상을 수정할 수 있다.At this time, the modifying step may determine whether the user and the recognized person are related to each other using data stored in the user's device, and if not, modify the image.
또한 이때, 상기 수정하는 단계는, 상기 사용자 디바이스에 저장된 주소록에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물은 서로 관련이 없는 것으로 판단하고, 상기 영상을 수정할 수 있다.In addition, in this case, if the recognized person does not exist in the address book stored in the user device, the modifying step may determine that the user and the recognized person are not related to each other and correct the image.
또는, 상기 수정하는 단계는, 상기 사용자 디바이스에 미리 저장된 적어도 하나의 사진에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하고, 상기 영상을 수정할 수 있다.Alternatively, if the recognized person does not exist in at least one photo previously stored in the user device, the correcting step may determine that the user and the recognized person are not related to each other and correct the image. .
또는, 상기 수정하는 단계는, 상기 사용자 디바이스에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 상기 영상을 수정할 수 있다.Alternatively, the modifying step may determine whether the user and the recognized person are related to each other by analyzing the user's social networking service (SNS) usage record using data stored in the user device, and the image Can be modified.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 사용자 디바이스는, 영상을 촬영하는 촬영부; 데이터가 저장되는 저장부; 및 상기 촬영된 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 디바이스의 사용자와 상기 인식된 인물간의 관계(relationship)를 판단하고, 상기 디바이스의 사용자와 상기 인식된 인물이 서로 관련이 없다면 상기 영상을 수정하는 제어부를 포함할 수 있다.A user device according to another embodiment of the present invention for solving the above technical problem includes: a photographing unit for photographing an image; A storage unit in which data is stored; And recognizing a person included in the photographed image, and determining a relationship between a user of the device and the recognized person using data stored in the storage unit, and the user of the device and the recognized person. If not related to each other may include a control unit for modifying the image.
본 발명의 실시예에 따르면, 사용자의 디바이스에서 촬영이 제한되는 인물, 사물 또는 위치에 대한 영상이 촬영된 경우 영상의 일부분 또는 전부를 식별할 수 없도록 수정함으로써 피촬영자의 프라이버시를 보호하고, 보안 또는 저작권의 문제로 인해 촬영이 제한되는 사물 또는 위치에 대한 영상을 개인이 획득하는 것을 방지할 수 있는 효과가 있다.According to an embodiment of the present invention, when an image of a person, object, or location for which shooting is restricted is captured on a user's device, a part or all of the image cannot be identified so as to protect the privacy of the photographed person, and security or It is possible to prevent an individual from obtaining an image of an object or location where shooting is restricted due to a problem of copyright.
도 1은 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법의 실시 환경을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 촬영 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 7 내지 도 12는 본 발명의 실시예들에 따라 촬영이 제한되는 인물이 영상에 포함된 경우 영상을 수정하는 다양한 방법들을 도시한 도면들이다.
도 13 내지 도 16은 본 발명의 실시예들에 따른 촬영이 제한되는 인물이 포함된 영상을 수정하는 방법들을 나타내는 순서도들이다.
도 17 내지 도 18은 본 발명의 실시예에 따른, 둘 이상의 사용자 디바이스를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 19는 본 발명의 실시예에 따른, 둘 이상의 사용자 디바이스를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 20 내지 도 22는 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 23 및 도 24는 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도들이다.
도 25 내지 도 26은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 28 내지 도 31은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 32는 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 33 내지 도 37은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 38은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.
도 39 내지 도 41은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 42는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.
도 43 내지 도 45는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다.
도 46은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.
도 47 내지 도 49는 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 설명하기 위한 도면들이다.
도 50은 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 나타내는 순서도이다.
도 51은 본 발명의 실시예에 따른 사용자 디바이스의 구성을 도시한 도면이다.
도 52는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 도면이다.
도 53은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 순서도이다.
도 54 및 55는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 도면들이다.
도 56은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 순서도이다.
도 57은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 도면이다.
도 58은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 순서도이다.
도 59 내지 도 61은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.
도 62는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.
도 63 내지 도 66은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.
도 67 및 도 68은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.1 is a view showing an implementation environment of a method of modifying an image including a shooting restriction element according to an embodiment of the present invention.
2 is a flowchart illustrating a method of modifying an image including a shooting restriction element according to an embodiment of the present invention.
3 to 6 are diagrams for explaining a method of modifying a captured image according to an embodiment of the present invention.
7 to 12 are diagrams illustrating various methods of modifying an image when a person whose shooting is restricted is included in an image according to embodiments of the present invention.
13 to 16 are flowcharts illustrating methods of correcting an image including a person whose shooting is restricted according to embodiments of the present invention.
17 to 18 are diagrams for explaining a method of modifying an image including a shooting restriction element using two or more user devices according to an embodiment of the present invention.
19 is a flowchart illustrating a method of modifying an image including a shooting restriction element using two or more user devices according to an embodiment of the present invention.
20 to 22 are diagrams for explaining a method of modifying an image including a shooting restriction element through communication with a device of a photographed person according to an embodiment of the present invention.
23 and 24 are flowcharts illustrating a method of modifying an image including a photographing restriction element through communication with a device of a photographed subject according to an embodiment of the present invention.
25 to 26 are diagrams for explaining a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention.
28 to 31 are diagrams for explaining a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention.
32 is a flowchart illustrating a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention.
33 to 37 are diagrams for explaining a method of modifying an image including an object to which shooting is restricted according to an embodiment of the present invention.
38 is a flowchart illustrating a method of modifying an image including an object to which shooting is restricted according to an embodiment of the present invention.
39 to 41 are diagrams for explaining a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
42 is a flowchart illustrating a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
43 to 45 are diagrams for explaining a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
46 is a flowchart illustrating a method of correcting an image captured at a location where photography is restricted according to an embodiment of the present invention.
47 to 49 are diagrams for explaining an embodiment of limiting photographing of a person according to privacy protection information according to an embodiment of the present invention.
50 is a flowchart illustrating an embodiment of limiting photographing of a person according to privacy protection information according to an embodiment of the present invention.
51 is a diagram showing the configuration of a user device according to an embodiment of the present invention.
52 is a view for explaining an embodiment of modifying a captured image before storing the captured image in a user terminal in a method of modifying the captured image according to an embodiment of the present invention.
53 is a flowchart for explaining an embodiment of modifying a captured image before storing the captured image in a user terminal in a method of modifying the captured image according to an embodiment of the present invention.
54 and 55 are diagrams for explaining an embodiment of modifying an image stored in a user terminal when transmitting it to the outside in a method of correcting a captured image according to an embodiment of the present invention.
56 is a flowchart for explaining an embodiment of modifying an image stored in a user terminal when transmitting it to the outside in a method of modifying a captured image according to an embodiment of the present invention.
FIG. 57 is a view for explaining an embodiment in which a method of correcting a captured image according to an embodiment of the present invention transmits the captured image to the outside without directly storing the captured image in a user terminal.
58 is a flowchart for explaining an embodiment in which a captured image is directly modified and transmitted to the outside without storing the captured image in the user terminal in the method of correcting the captured image according to an embodiment of the present invention.
59 to 61 are diagrams for explaining an embodiment of modifying an image photographed at a location where photographing is restricted according to an embodiment of the present invention.
62 is a flowchart illustrating a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
63 to 66 are diagrams for explaining an embodiment of modifying a photographed image according to a user's selection according to an embodiment of the present invention.
67 and 68 are flowcharts illustrating a method of correcting a photographed image according to a user's selection according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명은 생략하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In order to more clearly describe the features of the present embodiments, detailed descriptions of matters well known to those skilled in the art to which the following embodiments pertain will be omitted.
도 1은 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법의 실시 환경을 도시한 도면이다.1 is a view showing an implementation environment of a method of modifying an image including a shooting restriction element according to an embodiment of the present invention.
도 1을 참조하면, 사용자 A(1)는 스마트 글래스(100)를 이용하여 인물 또는 사물을 포함하는 영상, 또는 특정 위치에 대한 영상을 촬영할 수 있다. 이때, 촬영되는 영상이란 사진과 같은 정지 영상뿐만 아니라 동영상도 포함한다.Referring to FIG. 1, the
스마트 글래스(100)는 도시된 바와 같이 인물(사용자 B(2)), 사물(조각품(20)) 또는 촬영 금지 표지(30) 등을 포함하는 영상을 촬영할 수 있다. 스마트 글래스(100)는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식하고, 인식 결과에 기초하여 영상에 촬영이 제한되는 요소, 즉 촬영 제한 요소(photographing restricted element)가 포함되어 있는지를 판단할 수 있다.As illustrated, the
이때, 촬영 제한 요소(photographing restricted element)란 프라이버시, 저작권 또는 보안 등의 이유로 촬영이 제한되는 인물, 사물 또는 위치 등을 의미한다. 이러한 촬영 제한 요소는 모든 사람에게 일괄적으로 적용될 수도 있고, 또는 촬영자에 따라서 촬영 제한 요소가 달라질 수도 있다. 예를 들어, 군사 보안 지역에 대한 촬영은 모든 사람에게 제한되지만, 특정 인물에 대한 촬영은 상기 특정인물을 모르는 사람에게만 제한될 수 있다. 촬영이 제한되는 인물 또는 사물이 영상에 포함되어 있거나, 촬영이 제한 되는 위치에 대한 영상이 포함되어 있다면 해당 영상은 촬영 제한 요소를 포함하는 것으로 판단한다.Here, the photographing restricted element means a person, object, or location where photography is restricted due to privacy, copyright, or security reasons. The photographing limiting element may be applied to all persons at once, or the photographing limiting element may vary depending on the photographer. For example, photographing a military security area is restricted to everyone, but photographing a specific person may be restricted to a person who does not know the specific person. If a person or object for which shooting is restricted is included in an image, or if an image for a location where shooting is restricted is included, it is determined that the image includes a shooting restriction element.
한편, 스마트 글래스(100)가 영상을 촬영하고, 촬영된 영상을 스마트 글래스(100)와 연결된 다른 디바이스나 서버로 전송하면, 영상을 수신한 디바이스 또는 서버가 인물, 사물 또는 위치의 인식을 수행하고, 영상에 촬영 제한 요소가 포함되어 있는지를 판단할 수도 있다.Meanwhile, when the
영상에 촬영 제한 요소가 포함되어 있다고 판단되면, 스마트 글래스(100), 스마트 글래스(100)와 연결된 다른 디바이스 또는 서버는 촬영된 영상을 수정한다. 자세하게는, 촬영된 영상에서 촬영 제한 요소를 식별할 수 없도록 영상을 수정한다. 영상을 수정하는 구체적인 방법들은 아래에서 도면을 참조하여 자세하게 설명한다.When it is determined that the image includes the shooting limiting element, the
한편, 사용자 A(1)는 스마트 글래스(100) 이외에도 다양한 디바이스를 이용하여 촬영을 할 수 있는데, 스마트 워치(100-1)와 같은 웨어러블 디바이스, 스마트폰(100-2) 또는 태블릿(100-5)과 같은 모바일 디바이스, 카메라(100-3) 또는 캠코더(100-4)와 같은 일반적인 촬영 디바이스 등을 사용할 수 있다. 또한, 비록 위에서 언급되지 않은 디바이스일지라도 사진 또는 동영상의 촬영이 가능한 다양한 디바이스들이 본 발명의 실시예에 적용될 수 있음은 자명하다.On the other hand, the user A (1) can take pictures using various devices in addition to the
일반적으로 가장 많은 사용자가 휴대하는 디바이스가 스마트폰(100-2)인데다가, 스마트폰(100-2)에 본 발명의 실시에 필요한 사용자의 정보가 저장될 가능성이 높으며, 스마트폰(100-2)은 영상의 수정과 같은 처리의 수행도 가능하므로 이하의 실시예에서는 사용자 디바이스로서 스마트폰(100-2)을 이용하는 경우를 가정한다.
In general, the device that is carried by the most users is the smartphone 100-2, and it is highly likely that the user's information necessary for the implementation of the present invention is stored in the smartphone 100-2, and the smartphone 100-2 ) Is also possible to perform processing such as image modification. In the following embodiments, it is assumed that the smartphone 100-2 is used as a user device.
도 2는 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법의 단계들을 도시한 순서도이다.2 is a flowchart illustrating steps of a method of modifying an image including a shooting restriction element according to an embodiment of the present invention.
도 2를 참조하면, 201 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 2, an image is captured on the user's device in
202 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 사용자의 디바이스가 영상에 포함된 인물을 인식하는 구체적인 방법은, 예를 들어 얼굴 인식(face recognition) 방식이 이용될 수 있다. 다만, 이에 한정되지 않고 인물을 식별할 수 있는 다양한 방식이 이용될 수도 있다. 얼굴 인식은 구체적으로 영상에서 얼굴을 검출하고, 검출된 얼굴에서 특징을 추출하는 프로세스들을 포함하는데 얼굴 인식과 관련된 기술들은 널리 알려져 있으므로 여기에서 자세한 설명은 생략한다.In
한편, 사용자의 디바이스는 영상에 포함된 사물을 검출하고, 검출된 사물의 형태 및 색상과 같은 특징들을 추출하는 방식으로 사물의 인식을 수행할 수 있다.On the other hand, the user's device may perform recognition of the object by detecting an object included in the image and extracting features such as the shape and color of the detected object.
한편, 사용자의 디바이스가 영상이 촬영된 위치를 인식하는 방법에는 절대적인 위치를 인식하는 방법, 특정 장소에 해당되는지 여부를 판단하는 방법 또는 촬영이 제한되는 위치에 해당되는지 여부를 판단하는 방법 등이 이용될 수 있다.On the other hand, the method of recognizing the location where the image is captured by the user's device includes a method of recognizing an absolute location, a method of determining whether it is in a specific place, or a method of determining whether it is a location where the shooting is restricted. Can be.
첫번째로, 절대적인 위치를 인식하는 방법은 촬영을 수행하는 사용자의 디바이스가 직접 내장된 GPS(Global Positioning system)를 통해 촬영이 수행된 시점의 위도와 경도와 같은 절대적인 위치를 인식하는 방식으로 수행될 수 있다.First, the method of recognizing the absolute position may be performed by a method in which the user's device performing the shooting recognizes an absolute position such as latitude and longitude at the time when the shooting is performed through a built-in GPS (Global Positioning System). have.
두번째로, 특정 장소에 해당되는지 여부를 판단하는 방법은 촬영을 수행하는 사용자의 디바이스가 촬영이 수행되는 시점에 특정 장소(예를 들어, 박물관 등) 내에 위치하는지 여부를 판단하는 방식으로 수행될 수 있다. 예를 들어, 사용자의 디바이스가 특정 장소에 위치하는 경우 해당 장소에 구비된 서버 등과의 통신을 통해 특정 장소에 위치하는 것으로 판단할 수 있다. 또는, 사용자의 디바이스가 GPS를 이용한 절대적인 위치를 인식한 뒤 데이터베이스에 미리 저장된 특정 장소의 절대적 위치와 비교할 수도 있다.Second, the method of determining whether or not a particular place is applicable may be performed in a manner of determining whether a device of a user performing shooting is located in a specific place (eg, a museum, etc.) at the time when the shooting is performed. have. For example, when a user's device is located in a specific place, it may be determined that the user's device is located in a specific place through communication with a server provided in the place. Alternatively, the user's device may recognize the absolute location using GPS and compare it with the absolute location of a specific location previously stored in the database.
세번째로, 촬영이 제한되는 위치에 해당되는지 여부를 판단하는 방법은 촬영을 수행하는 사용자의 디바이스가 촬영이 수행되는 시점에 촬영 금지 구역에 위치하는지 여부를 판단하는 방식으로 수행될 수 있다. 예를 들어, 사용자의 디바이스가 촬영된 영상에 포함된 표지판(e.g. 촬영 금지 구역 표지)을 인식 및 분석하여 촬영 금지 구역 여부를 판단할 수 있다. 또는, 사용자의 디바이스가 GPS를 이용한 절대적인 위치를 인식한 뒤 데이터베이스에 미리 저장된 촬영 금지 구역의 절대적 위치와 비교할 수도 있다.Third, the method of determining whether the photographing is limited to a location where the photographing is restricted may be performed in a manner of determining whether the device of the user who performs photographing is located in the photographing prohibition zone at the time when photographing is performed. For example, a user's device may recognize and analyze a sign (e.g. a photographing prohibition zone sign) included in the photographed image to determine whether or not the photographing prohibition zone. Alternatively, the user's device may recognize the absolute location using GPS and then compare it with the absolute location of the prohibition zone previously stored in the database.
영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나에 대한 인식이 완료되었으면, 203 단계에서 사용자의 디바이스는 디바이스의 사용자와 인식된 인물간의 관계(relationship), 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 즉, 사용자의 디바이스는 영상에 수정이 필요한지 여부를 판단한다. 만약, 영상에 촬영 제한 요소가 포함되어 있다면 사용자의 디바이스는 영상의 수정이 필요한 것으로 판단하고, 포함되어 있지 않다면 수정이 필요하지 않은 것으로 판단한다.If recognition of at least one of a person, an object, or a location in which the image is captured in the image is completed, in
이때, 디바이스의 사용자와 인식된 인물간의 관계란, 다시 말해 촬영자와 피촬영자간의 관계로서 촬영자와 피촬영자가 서로 아는 사이인지 여부, 피촬영자가 촬영자에게 자신의 촬영을 허용한 관계인지 여부, 또는 피촬영자가 유명인이어서 특별히 촬영자의 촬영이 제한되지 않는 관계인지 여부 등을 의미한다. 이러한 디바이스의 사용자와 인식된 인물간의 관계에 기초하여 영상에 포함된 피촬영자의 촬영이 제한되는 경우라면 영상에 촬영 제한 요소가 포함된 것으로 판단한다.At this time, the relationship between the user of the device and the recognized person, that is, the relationship between the photographer and the subject, whether the photographer and the subject know each other, whether the subject allowed the photographer to take his or her photograph, or avoided It means whether the photographer is a celebrity, so whether or not the photographer's shooting is not restricted. Based on the relationship between the user of the device and the recognized person, if the photographing of the photographed person included in the image is restricted, it is determined that the photographing restriction element is included in the image.
한편, 인식된 사물이 촬영이 제한되는 사물이라면 사용자의 디바이스는 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 촬영이 제한되는 사물이란, 예를 들어 예술품과 같이 저작권 보호의 대상이 되는 사물일 수 있으며, 이외에도 다양한 이유로 일반인의 촬영이 제한되는 사물일 수 있다.On the other hand, if the recognized object is an object to which shooting is restricted, the user's device determines that the image has a shooting restriction element. Objects for which photography is restricted may be objects that are subject to copyright protection, for example, artworks, or objects for which photography of the general public is restricted for various reasons.
인식된 사물이 촬영이 제한되는 사물에 해당되는지에 대한 구체적인 판단은 다양한 방법으로 수행될 수 있는데, 예를 들어 사용자의 디바이스 내의 메모리에 촬영이 제한되는 사물에 대한 데이터베이스가 저장되고, 사용자의 디바이스는 인식된 사물을 저장된 데이터베이스와 비교할 수 있다. 또는, 외부의 서버에 촬영이 제한되는 사물에 대한 데이터베이스가 저장되어 있고, 사용자의 디바이스는 서버와 통신을 수행하여 데이터베이스에 접근하고 인식된 사물을 데이터베이스와 비교할 수도 있다. 또는, 사용자의 디바이스는 박물관과 같은 특정 장소에 진입하였을 때 해당 장소에서 관리하는 서버로부터 해당 장소 내에 존재하는 촬영이 제한되는 사물에 대한 데이터베이스를 수신하고, 이를 인식된 사물과 비교할 수도 있다. 이외에도 인식된 사물이 촬영이 제한되는 사물인지에 대한 판단은 다양한 방법으로 수행될 수 있다.The detailed determination of whether the recognized object corresponds to an object to which shooting is restricted may be performed in various ways. For example, a database for an object whose shooting is restricted is stored in a memory in the user's device, and the user's device Recognized objects can be compared to stored databases. Alternatively, a database for an object to which shooting is restricted is stored in an external server, and the user's device may communicate with the server to access the database and compare the recognized object with the database. Alternatively, when the user's device enters a specific place, such as a museum, the server managing the corresponding place may receive a database of objects whose shooting is restricted in the corresponding place, and compare it with the recognized object. In addition, the determination of whether the recognized object is an object to which shooting is restricted may be performed in various ways.
한편, 인식된 위치가 촬영이 제한되는 위치라면 사용자의 디바이스는 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 촬영이 제한되는 위치란, 예를 들어 군사 보안 지역과 같이 보안상의 이유로 촬영이 제한되는 위치일 수도 있고, 또는 공연장과 같이 저작권상의 이유로 촬영이 제한되는 위치일 수도 있다. 이외에도 다양한 이유로 일반인의 촬영이 제한되는 위치가 있을 수 있다.On the other hand, if the recognized location is a location where photography is restricted, the user's device determines that the image capture restriction element is included in the image. The location where photography is restricted may be a location where photography is restricted for security reasons, such as a military security area, or may be a location where photography is restricted for copyright reasons such as a venue. In addition, there may be locations where photography of the general public is restricted for various reasons.
인식된 위치가 촬영이 제한되는 위치에 해당되는지에 대한 구체적인 판단은 다양한 방법으로 수행될 수 있는데, 예를 들어 사용자의 디바이스 내의 메모리에 촬영이 제한되는 위치에 대한 데이터베이스가 저장되고, 사용자의 디바이스는 인식된 위치를 저장된 데이터베이스와 비교할 수 있다. 또는, 외부의 서버에 촬영이 제한되는 위치에 대한 데이터베이스가 저장되어 있고, 사용자의 디바이스는 서버와 통신을 수행하여 데이터베이스에 접근하고 인식된 위치를 데이터베이스와 비교할 수도 있다. 또는, 사용자의 디바이스는 촬영된 영상에 포함된 표지판(e.g. 촬영 금지 구역 표시)을 인식 및 분석하여 촬영 금지 구역 여부를 판단할 수도 있다.The detailed determination of whether the recognized location corresponds to a location where shooting is restricted can be performed in various ways. For example, a database of locations where shooting is restricted is stored in a memory in the user's device, and the user's device The recognized location can be compared with the stored database. Alternatively, a database on a location where shooting is restricted is stored in an external server, and the user's device can communicate with the server to access the database and compare the recognized location with the database. Alternatively, the user's device may recognize and analyze a sign included in the captured image (e.g., a photographing prohibition zone) and determine whether or not the photographing prohibition zone.
204 단계에서 영상에 촬영 제한 요소가 포함되어 있다면 205 단계로 진행하여 사용자의 디바이스는 촬영 영상을 수정한다. 자세하게는, 사용자의 디바이스는 영상에 포함된 촬영 제한 요소가 식별이 불가능하도록 영상을 수정할 수 있다. 예를 들어, 사용자의 디바이스는 촬영이 제한되는 인물 또는 사물을 모자이크 처리하거나, 또는 블러(blur) 처리할 수 있다. 또는, 사용자의 디바이스는 촬영이 제한되는 인물 또는 사물을 제외한 촬영된 영상 내의 화면과 합성하거나, 또는 미리 설정된 대체 이미지를 합성할 수도 있다. 한편, 촬영이 제한되는 위치에서 촬영된 영상이라면 사용자의 디바이스는 영상 전체를 식별할 수 없도록 모자이크 처리, 블러 처리하거나, 또는 영상 전체에 미리 설정된 대체 이미지를 합성할 수도 있다. 이외에도 사용자의 디바이스는 다양한 방법으로 영상에 포함된 촬영 제한 요소를 식별 불가능하도록 영상을 수정할 수 있다. 영상을 수정하는 구체적인 방법은 아래에서 해당 도면들을 참조하여 자세하게 설명하도록 한다.If the image capturing restriction element is included in the image in
204 단계에서 영상에 촬영 제한 요소가 포함되어 있지 않다면 영상의 수정 없이 프로세스를 종료한다.In
한편, 상기에서는 도 2의 202 단계 내지 205 단계가 촬영을 수행한 사용자의 디바이스에서 수행되는 것으로 설명하였으나, 이와 다르게 사용자의 디바이스와 연결된 다른 디바이스 또는 서버에서 상기 단계들 중 일부 또는 전부를 수행할 수도 있다. 자세한 예시는 아래에서 설명하도록 한다.
On the other hand, in the above,
도 3 내지 도 6은 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.3 to 6 are diagrams for explaining a method of modifying an image including a shooting restriction element according to an embodiment of the present invention.
도 3을 참조하면, 사용자 A(1)의 스마트폰(100-2)에서 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영한다. 이어서, 사용자 A(1)의 스마트폰(100-2)은 촬영된 영상에 촬영이 제한되는 인물이 포함되어 있는지를 판단하고, 촬영이 제한되는 인물이 포함되어 있는 경우 영상을 수정한다.Referring to FIG. 3, an image including the user B (2) and the user C (3) is photographed on the smartphone 100-2 of the user A (1). Subsequently, the smartphone 100-2 of the
도 4 내지 도 6에는 사용자 A(1)의 스마트폰(100-2)이 각각 다른 방법에 의해 영상에 촬영이 제한되는 인물이 포함되었는지를 판단하고, 영상을 수정하는 예들을 각각 도시하였다.4 to 6 show examples of determining whether the smartphone 100-2 of the
도 4를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(400a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 스마트폰(100-2)은 영상에서 인식된 얼굴들을 각각 스마트폰(100-2)에 저장된 주소록에 포함된 사진들과 비교한다. 스마트폰(100-2)에 저장된 주소록에는 이름 및 전화번호 등과 함께 대응되는 사람의 사진이 저장되어 있을 수 있다.Referring to FIG. 4, the smartphone 100-2 recognizes the faces of the user B (2) and the user C (3) by performing face recognition on the captured
도 4에서 스마트폰(100-2)은 원본 영상(400a)에서 인식된 얼굴들과 주소록에 포함된 사진들을 비교한 결과, 사용자 B(2)의 사진이 주소록에 존재함을 확인한다. 스마트폰(100-2)은 주소록에 사진이 존재하는 사용자 B(2)를 촬영이 허용되는 인물로 판단한다.In FIG. 4, the smartphone 100-2 compares the faces recognized in the
하지만, 스마트폰(100-2)은 사용자 C(3)와 일치하는 사진을 주소록에서 찾을 수 없다면 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 다시 말해, 스마트폰(100-2)은 사용자 A(1)과 사용자 C(3)가 서로 관련이 없는 것으로 판단할 수 있다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 인식된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 도 4에 도시된 바와 같이 촬영이 제한되는 인물인 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하여 수정 영상(400b)을 출력한다. However, the smartphone 100-2 determines that the user C (3) is a person whose shooting is restricted if a picture matching the user C (3) cannot be found in the address book. In other words, the smartphone 100-2 may determine that the user A (1) and the user C (3) are not related to each other. Therefore, the smartphone 100-2 determines that the photographing restriction element is included in the image and corrects the image. For example, the smartphone 100-2 may modify a part of the image corresponding to the user C (3) so that the recognized user C (3) cannot be identified. Specifically, as shown in FIG. 4, the smartphone 100-2 performs mosaic processing on the face region of the
이와 같이 스마트폰(100-2)이 인식된 얼굴을 주소록에 포함된 사진과 비교하여 촬영 제한 요소의 포함 여부를 판단하는 이유는, 사용자 A(1)의 스마트폰(100-2)의 주소록에 등록된 사람이라면 사용자 A(1)와 서로 아는 관계일 가능성이 높기 때문이다. 즉, 스마트폰(100-2)은 저장된 주소록을 이용하여 사용자 A(1)와 피촬영자들간의 관계를 파악하고, 이에 기초하여 촬영 제한 요소의 포함 여부를 판단한다.The reason for determining whether the photographing restriction element is included by comparing the face recognized by the smartphone 100-2 with the picture included in the address book is the address book of the smartphone 100-2 of the user A (1). This is because the registered person is likely to have a relationship with the user A (1). That is, the smartphone 100-2 uses the stored address book to grasp the relationship between the user A (1) and the subjects, and based on this, determines whether or not the shooting restriction element is included.
도 5를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(500a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 스마트폰(100-2)은 영상에서 인식된 얼굴들을 각각 스마트폰(100-2)의 앨범에 저장된 사진들과 비교한다.Referring to FIG. 5, the smartphone 100-2 recognizes the faces of the user B (2) and the user C (3) by performing face recognition on the photographed
도 5에서 스마트폰(100-2)은 원본 영상(500a)에서 인식된 얼굴들과 앨범에 저장된 사진들을 비교한 결과, 사용자 B(2)가 앨범에 저장된 사진들 중 적어도 하나에 포함되었음을 확인한다. 스마트폰(100-2)은 앨범에 저장된 사진에 포함된 사용자 B(2)를 촬영이 허용되는 인물로 판단한다.In FIG. 5, the smartphone 100-2 compares the faces recognized in the
하지만, 스마트폰(100-2)은 사용자 C(3)가 포함된 사진을 앨범에서 찾을 수 없다면 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 다시 말해, 스마트폰(100-2)은 사용자 A(1)과 사용자 C(3)가 서로 관련이 없는 것으로 판단할 수 있다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 인식된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 도 5에 도시된 바와 같이 촬영이 제한되는 인물인 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하여 수정 영상(500b)을 출력한다.However, the smartphone 100-2 determines that the user C (3) is a person whose shooting is restricted if the photo containing the user C (3) cannot be found in the album. In other words, the smartphone 100-2 may determine that the user A (1) and the user C (3) are not related to each other. Therefore, the smartphone 100-2 determines that the photographing restriction element is included in the image and corrects the image. For example, the smartphone 100-2 may modify a part of the image corresponding to the user C (3) so that the recognized user C (3) cannot be identified. Specifically, as shown in FIG. 5, the smartphone 100-2 performs mosaic processing on the face region of the user C (3), which is a person whose shooting is restricted, and outputs the corrected
이와 같이 스마트폰(100-2)이 인식된 얼굴을 앨범에 저장된 사진들과 비교하여 촬영 제한 요소의 포함 여부를 판단하는 이유는, 사용자 A(1)의 스마트폰(100-2)의 앨범에 저장된 사진에 포함된 사람이라면 사용자 A(1)와 서로 아는 관계일 가능성이 높기 때문이다. 즉, 스마트폰(100-2)은 저장된 앨범의 사진들을 이용하여 사용자 A(1)와 피촬영자들간의 관계를 파악하고, 이에 기초하여 촬영 제한 요소의 포함 여부를 판단한다.The reason for determining whether the photographing restriction element is included by comparing the face recognized by the smartphone 100-2 with the pictures stored in the album is the album of the smartphone 100-2 of the user A (1). This is because the person included in the stored picture is more likely to have a relationship with the
도 6을 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(600a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 스마트폰(100-2)은 사용자 A(1)의 SNS(Social Networking Service) 사용 기록을 분석하여 인식된 인물들과 사용자 A(1)간의 관계를 파악한다.Referring to FIG. 6, the smartphone 100-2 recognizes the faces of the user B (2) and the user C (3) by performing face recognition on the captured
도 6에서 스마트폰(100-2)은 SNS의 사용 기록을 분석한 결과, 사용자 B(2)가 사용자 A(1)와 서로 아는 사이라고 판단되었다면, 사용자 B(2)를 촬영이 허용되는 인물로 판단한다. 예를 들어, 사용자 A(1)와 사용자 B(2)가 SNS상에서 친구로 등록한 사이이거나, 둘 중 어느 하나가 SNS상에 등록한 게시물에 다른 하나가 덧글을 달았다면 사용자 A(1)와 사용자 B(2)는 서로 아는 사이라고 판단할 수 있다.In FIG. 6, as a result of analyzing the usage record of the SNS, the smartphone 100-2 determines that the user B (2) knows each other with the user A (1), and the person allowed to photograph the user B (2) Judging by. For example, if user A (1) and user B (2) are registered as friends on SNS, or if one of them has commented on the post registered on SNS, user A (1) and user B (2) can be judged to know each other.
하지만, 스마트폰(100-2)은 SNS의 사용 기록을 분석한 결과, 사용자 C(3)는 사용자 A(1)와 서로 아는 사이가 아니라고 판단되었다면, 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 다시 말해, 스마트폰(100-2)은 사용자 A(1)과 사용자 C(3)가 서로 관련이 없는 것으로 판단할 수 있다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 인식된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 도 6에 도시된 바와 같이 촬영이 제한되는 인물인 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하여 수정 영상(600b)을 출력한다.However, as a result of analyzing usage records of the SNS of the smartphone 100-2, if it is determined that the user C (3) is not in contact with the user A (1), the user C (3) is restricted from shooting Judging by. In other words, the smartphone 100-2 may determine that the user A (1) and the user C (3) are not related to each other. Therefore, the smartphone 100-2 determines that the photographing restriction element is included in the image and corrects the image. For example, the smartphone 100-2 may modify a part of the image corresponding to the user C (3) so that the recognized user C (3) cannot be identified. Specifically, as shown in FIG. 6, the smartphone 100-2 performs mosaic processing on the face area of the
도 7 내지 도 12에는 본 발명의 실시예들에 따라 촬영 제한 요소가 영상에 포함된 경우 영상을 수정하는 다양한 방법들을 도시하였다.7 to 12 illustrate various methods of modifying an image when a shooting restriction element is included in an image according to embodiments of the present invention.
도 7에는 촬영 제한 요소에 블러(blur) 처리를 수행하는 예를 도시하였다. 도 7을 참조하면, 원본 영상(700a)에는 사용자 B(2) 및 사용자 C(3)가 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 따라서, 영상에서 사용자 C(3)가 표시된 영역은 블러 처리된다. 수정 영상(700b)을 참조하면, 사용자 C(3)가 블러 처리되었음을 확인할 수 있다. 한편, 영상의 특정 영역에 블러 처리를 수행하는 구체적인 방법은 일반적으로 널리 알려진 기술이므로 여기에서는 자세한 설명은 생략한다.7 shows an example of performing a blur treatment on a photographing limiting element. Referring to FIG. 7, the
도 8에는 촬영 제한 요소를 배경화면과 합성하는 예를 도시하였다. 도 8을 참조하면, 원본 영상(800a)에는 사용자 B(2) 및 사용자 C(3)가 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 따라서, 영상에서 사용자 C(3)는 배경화면과 합성된다.FIG. 8 shows an example of combining the shooting restriction element with the background screen. Referring to FIG. 8, a user B (2) and a user C (3) are included in the
이때, 사용자 C(3)를 배경화면과 합성하는 방법은, 구체적으로 영상에서 사용자 C(3)를 삭제하고, 사용자 C(3) 주변의 배경화면과 유사한 이미지로 사용자 C(3)가 삭제된 영역을 채운다.At this time, the method for synthesizing the user C (3) with the background screen, specifically deleting the user C (3) from the image, and deleting the user C (3) with an image similar to the background screen around the user C (3) Fill the area.
도 8의 수정 영상(800b)을 참조하면, 사용자 C(3)의 테두리(edge)(3-1)를 경계로 외부에 존재하는 픽셀들과 동일 또는 유사한 픽셀들로 테두리(3-1)의 내부를 채운다. 예를 들어, 테두리(3-1)에 인접한 내부의 픽셀(802)은 테두리(3-1)에 인접한 외부의 픽셀(801)과 동일 또는 유사한 색상, 채도 및 명도를 갖도록 설정된다. 또한, 테두리(3-1) 내부의 픽셀들 중 픽셀(802)과 인접한 다른 픽셀들은 픽셀(802)과 유사한 색상, 채도 및 명도 등을 갖도록 설정된다. 한편, 영상 중 특정 영역을 배경화면과 합성하는 방법에는 당해 기술분야에서 일반적으로 사용되는 다양한 기술들이 적용될 수 있으므로 여기에서 자세한 설명은 생략한다.Referring to the modified
도 9에는 촬영 제한 요소를 포함하는 영상에 미리 저장된 배경화면을 합성하는 예를 도시하였다. 도 9를 참조하면, 원본 영상(900a)에는 사용자 B(2), 사용자 C(3) 및 구조물(901)이 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 원본 영상(900a)을 참조하면, 사용자 C(3)는 구조물(901)과 일부가 겹치도록 표시되어 있다. 따라서, 영상에서 사용자 C(3)를 삭제하고, 미리 저장된 구조물(901)의 이미지로 사용자 C(3)가 삭제된 영역을 채운다. 수정 영상(900b)을 참조하면, 영상에서 사용자 C(3)가 표시된 영역 중 구조물(901)과 겹치는 부분은 미리 저장된 구조물(901)의 이미지로 대체되었음을 알 수 있다. 이때, 구조물(901)의 전체 이미지는 영상을 수정하는 사용자 디바이스 또는 서버 등에 미리 저장되어 있을 수 있다.FIG. 9 shows an example of synthesizing a background image previously stored in an image including a shooting restriction element. Referring to FIG. 9, the
도 10에는 촬영 제한 요소를 미리 저장된 대체 이미지와 합성하는 예를 도시하였다. 도 10을 참조하면, 원본 영상(1000a)에는 사용자 B(2) 및 사용자 C(3)가 포함되어 있다. 이 중 사용자 C(3)가 촬영 제한 요소에 해당된다고 가정한다. 미리 저장된 대체 이미지(1001)로 사용자 C(3)를 대체함으로써 수정 영상(1000b)을 생성한다. 도 10에서 대체 이미지(1001)는 인물의 얼굴을 대체하기 위한 이미지로 선택되었다. 하지만, 이와 다르게 인물 전체를 대체하기 위한 이미지가 선택될 수도 있다.FIG. 10 shows an example of synthesizing a photographing restriction element with a pre-stored alternative image. Referring to FIG. 10, a user B (2) and a user C (3) are included in the
한편, 촬영 제한 요소에 해당되는 인물의 얼굴에 대체 이미지를 합성함에 있어서 보다 자연스러운 영상을 얻기 위해 원본 영상에서의 인물의 얼굴 방향 및 각도에 따라 대체 이미지를 합성할 수도 있다. 이에 대한 예를 도 11 및 도 12에 도시하였다.Meanwhile, in synthesizing the substitute image on the face of the person corresponding to the photographing restriction element, the alternative image may be synthesized according to the face direction and angle of the person in the original image to obtain a more natural image. Examples of this are shown in FIGS. 11 and 12.
도 11을 참조하면, 원본 영상(1100a)에 포함된 인물의 얼굴이 정면을 바라보고 있다. 따라서, 수정 영상(1100b)에 도시된 바와 같이, 원본 영상(1100a)의 인물의 얼굴 방향 및 각도에 따라 정면을 바라보는 대체 이미지(1110)를 인물의 얼굴 부분에 합성하였다.Referring to FIG. 11, the face of a person included in the
한편, 도 12를 참조하면, 원본 영상(1200a)에 포함된 인물의 얼굴이 측면을 바라보고 있다. 따라서, 수정 영상(1200b)에 도시된 바와 같이, 원본 영상(1200a)의 인물의 얼굴 방향 및 각도에 따라 측면을 바라보는 대체 이미지(1210)를 인물의 얼굴 부분에 합성하였다.On the other hand, referring to Figure 12, the face of the person included in the
이와 같이 인물의 얼굴 방향 및 각도에 따라 대응되는 대체 이미지를 합성함으로써 보다 자연스러운 영상을 얻을 수 있다.
As described above, a more natural image can be obtained by synthesizing a corresponding alternative image according to the face direction and angle of the person.
도 13 내지 도 16은 본 발명의 실시예들에 따른 촬영이 제한되는 인물이 포함된 영상을 수정하는 방법들을 나타내는 순서도들이다.13 to 16 are flowcharts illustrating methods of correcting an image including a person whose shooting is restricted according to embodiments of the present invention.
도 13을 참조하면, 1301 단계에서 사용자 디바이스에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 13, in
1302 단계에서 사용자 디바이스는 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.In step 1302, the user device performs face recognition of the person included in the captured image. Specifically, face recognition may be performed by detecting a face region in an image and extracting features from the detected face region.
1303 단계에서 사용자 디바이스는 사용자 디바이스에 저장된 데이터를 이용하여 촬영자와 피촬영자간의 관련도를 판단한다. 즉, 사용자 디바이스는 촬영자와 피촬영자가 서로 아는 사이인지 여부를 판단한다.In
1304 단계에서 사용자 디바이스는 촬영된 영상에 촬영자와 관련이 없는 인물이 포함되어 있는지 여부를 판단한다. 이때, 촬영자와 피촬영자간의 관련도를 판단하고, 영상에 촬영자와 관련이 없는 인물이 포함되어 있는지 여부를 판단하는 구체적인 방법은 다양하게 구현될 수 있으며, 몇 가지 실시예들을 아래의 도 14 내지 도 16에 도시하였다.In
판단 결과, 촬영자와 관련이 없는 인물이 촬영 영상에 포함되어 있다면 1305 단계로 진행하여 사용자 디바이스는 촬영자와 관련이 없는 인물에 대한 보호 처리를 수행한다. 즉, 사용자 디바이스는 촬영자와 관련이 없는 인물을 영상에서 식별할 수 없도록 영상을 수정한다. 영상을 수정하는 구체적인 방법은 앞서 도 7 내지 도 12를 참조하여 설명한 바와 같다.As a result of the determination, if a person not related to the photographer is included in the captured image, the process proceeds to step 1305 and the user device performs a protection process for the person not related to the photographer. That is, the user device modifies the image so that a person not related to the photographer cannot be identified from the image. The specific method of modifying the image is as described above with reference to FIGS. 7 to 12.
도 14를 참조하면, 1401 단계에서 스마트폰에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 14, in
1402 단계에서 스마트폰은 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.In
1403 단계에서 스마트폰은 인식된 인물이 스마트폰의 주소록에 존재하는지 여부를 판단한다. 자세하게는, 인식된 인물이 스마트폰의 주소록에 포함된 적어도 하나의 사진과 일치하는지 여부를 판단한다. 판단 결과, 인식된 인물이 스마트폰의 주소록에 존재하지 않는다면 1404 단계로 진행한다.In
1404 단계에서 스마트폰은 인식된 인물에 대하여 모자이크 처리를 수행한다. 한편, 스마트폰은 인식된 인물에 대하여 블러 처리, 배경화면과의 합성 처리 등을 수행할 수도 있다.In
도 15를 참조하면, 1501 단계에서 스마트폰에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 15, in
1502 단계에서 스마트폰은 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.In
1503 단계에서 스마트폰은 인식된 인물이 스마트폰의 앨범에 저장된 사진에 존재하는지 여부를 판단한다. 자세하게는, 인식된 인물과 일치하는 인물이 앨범에 저장된 적어도 하나의 사진에 포함되어 있는지 여부를 판단한다. 판단 결과, 인식된 인물이 스마트폰의 앨범에 저장된 사진에 존재하지 않는다면 1504 단계로 진행한다.In
1504 단계에서 스마트폰은 인식된 인물에 대하여 모자이크 처리를 수행한다. 한편, 스마트폰은 인식된 인물에 대하여 블러 처리, 배경화면과의 합성 처리 등을 수행할 수도 있다.In
도 16을 참조하면, 1601 단계에서 스마트폰에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 16, in
1602 단계에서 스마트폰은 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.In
1603 단계에서 스마트폰은 촬영자, 즉 스마트폰 사용자의 SNS 사용 기록을 분석한다. 스마트폰에는 사용자가 스마트폰을 사용한 다양한 기록이 저장되어 있을 수 있으며, 그 중 SNS 사용 기록을 분석한다.In
1604 단계에서 스마트폰은 인식된 인물이 SNS상에 촬영자의 지인으로 등록되어 있는지 여부를 판단한다. 판단 결과, 인식된 인물이 SNS상에 촬영자의 지인으로 등록되어 있지 않다면 1605 단계로 진행한다.In
1605 단계에서 스마트폰은 인식된 인물에 대하여 모자이크 처리를 수행한다. 한편, 스마트폰은 인식된 인물에 대하여 블러 처리, 배경화면과의 합성 처리 등을 수행할 수도 있다.In
한편, 도 14 내지 도 16에서는 사용자 디바이스가 스마트폰인 경우를 예로 들었으나, 이와 다르게 태블릿 등과 같이 사진 촬영이 가능하고 주소록을 포함하는 다양한 디바이스가 사용될 수 있다.
Meanwhile, in FIG. 14 to FIG. 16, the case where the user device is a smart phone is exemplified, but differently, various devices including an address book and a picture can be used, such as a tablet.
도 17 내지 도 18은 본 발명의 실시예에 따른, 둘 이상의 사용자 디바이스를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 17 내지 도 19에 도시된 실시예에서는 촬영을 수행하는 사용자 디바이스와 영상 처리를 수행하는 사용자 디바이스가 서로 분리된다.17 to 18 are diagrams for explaining a method of modifying an image including a shooting restriction element using two or more user devices according to an embodiment of the present invention. In particular, in the embodiments shown in Figs. 17 to 19, the user device performing the imaging and the user device performing the image processing are separated from each other.
도 17을 참조하면, 사용자 A(1)는 자신의 웨어러블 디바이스인 스마트 글래스(100)를 이용하여 인물을 포함하는 영상을 촬영한다. 이때, 촬영 영상에는 사용자 B(2) 및 사용자 C(3)가 포함된다. 스마트 글래스(100)는 촬영된 영상을 역시 사용자 A(1)의 디바이스인 스마트폰(100-2)에 전송한다. 촬영 영상을 수신한 스마트폰(100-2)은 수신된 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있는 것으로 판단되면 영상의 수정을 수행한다.Referring to FIG. 17, the
도 18을 참조하면, 스마트폰(100-2)은 스마트 글래스(100)로부터 수신한 원본 영상(1800a)에 포함된 인물들의 얼굴 인식을 수행한다. 원본 영상(1800a)에 포함된 사용자 B(2) 및 사용자 C(3)의 얼굴 인식이 완료되면, 스마트폰(100-2)은 인식된 인물들의 얼굴을 각각 스마트폰(100-2)에 저장된 주소록에 포함된 사진들과 비교한다. 스마트폰(100-2)에 저장된 주소록에는 이름 및 전화번호 등과 함께 대응되는 사람의 사진이 저장되어 있을 수 있다.Referring to FIG. 18, the smartphone 100-2 performs face recognition of people included in the
도 18에서 스마트폰(100-2)이 원본 영상(1800a)에서 인식된 얼굴들과 주소록에 포함된 사진들을 비교한 결과, 사용자 B(2)의 사진이 주소록에 존재하는 것으로 확인되었다면, 스마트폰(100-2)은 사용자 B(2)를 촬영이 허용되는 인물로 판단한다. 하지만, 스마트폰(100-2)은 사용자 C(3)와 일치하는 사진은 주소록에서 찾을 수 없다면 사용자 C(3)를 촬영이 제한되는 인물로 판단한다. 따라서, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 예를 들어, 스마트폰(100-2)은 촬영이 제한되는 인물인 사용자 C(3)를 배경화면과 합성하여 수정 영상(1800b)을 출력할 수 있다. 사용자 C(3)를 배경화면과 합성하는 구체적인 방법은 앞서 도 8을 참조하여 설명한 바와 같다.In FIG. 18, when the smartphone 100-2 compares the faces recognized in the
이외에도 스마트폰(100-2)은 원본 영상(1800a)에서 인식된 얼굴들을 스마트폰(100-2)의 앨범에 저장된 사진들과 비교하거나, 또는 사용자 A(1)의 SNS 사용 기록을 분석하는 방법으로 촬영이 제한되는 인물을 판단할 수도 있다. 구체적인 방법은 앞서 도 5 및 도 6을 참조하여 설명한 부분을 참조한다.In addition, the smartphone 100-2 compares faces recognized in the
또한, 도 18에는 스마트폰(100-2)이 사용자 C(3)를 배경화면과 합성하는 예를 도시하였으나, 이외에도 사용자 C(3)를 모자이크 처리하거나, 블러 처리하거나 또는 대체 이미지로 합성하는 등 다양한 방법으로 영상을 수정할 수 있다. 자세한 내용은 도 7 내지 도 12를 참조한다.In addition, although FIG. 18 shows an example in which the smartphone 100-2 synthesizes the user C (3) with a background screen, in addition, the user C (3) is mosaic-processed, blur-processed, or synthesized as an alternative image. The image can be modified in various ways. For details, refer to FIGS. 7 to 12.
도 19는 본 발명의 실시예에 따른 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.19 is a flowchart illustrating a method of modifying an image including a shooting restriction element according to an embodiment of the present invention.
도 19를 참조하면, 1901 단계에서 웨어러블 디바이스에서 인물이 포함된 영상을 촬영한다. 이때, 웨어러블 디바이스는 스마트 글래스 또는 스마트 워치 등과 같이 촬영 기능이 구비된 웨어러블 디바이스가 사용될 수 있다.Referring to FIG. 19, in
1902 단계에서 웨어러블 디바이스는 촬영 영상을 스마트폰으로 전송한다. 이때, 웨어러블 디바이스의 사용자가 소지한 스마트폰으로 영상이 전송되며, 스마트폰이 아닌 태블릿 등의 디바이스가 사용될 수도 있다.In
1903 단계에서 영상을 수신한 스마트폰은 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.In
1904 단계에서 스마트폰은 인식된 인물이 스마트폰의 주소록에 존재하는지를 판단한다. 즉, 스마트폰은 인식된 얼굴을 주소록에 저장된 사진들과 비교하여 일치하는 사진이 있는지를 판단한다.In
판단 결과, 인식된 인물이 스마트폰의 주소록에 존재하지 않는다면, 1905 단계로 진행하여 인식된 인물을 배경화면과 합성 처리한다.
As a result of the determination, if the recognized person does not exist in the address book of the smartphone, the process proceeds to step 1905 to synthesize the recognized person with the background screen.
도 20 내지 도 22는 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 20 내지 도 22에 도시된 실시예에서는 피촬영자의 디바이스가 촬영자의 디바이스에 촬영 허용 여부를 전송한다.20 to 22 are diagrams for explaining a method of modifying an image including a shooting restriction element through communication with a device of a photographed person according to an embodiment of the present invention. In particular, in the embodiment shown in FIGS. 20 to 22, the device of the person to be photographed transmits whether or not photography is permitted to the device of the photographer.
도 20을 참조하면, 사용자 A(1)의 스마트폰(100-2)에서 사용자 B(2)를 포함하는 영상을 촬영한다. 사용자 A(1)의 스마트폰(100-2)은 촬영을 할 때 피촬영자인 사용자 B(2)의 스마트폰(200)에 촬영 통지를 전송한다. 이때, 전송되는 촬영 통지에는 사용자 A(1)를 식별할 수 있는 식별정보가 포함되어 있을 수 있다.Referring to FIG. 20, an image including the
촬영 통지를 수신한 사용자 B(2)의 스마트폰(200)은 촬영 통지에 포함된 식별정보를 이용하여 촬영자가 사용자 A(1)임을 확인하고, 사용자 A(1)의 촬영을 허용할 것인지를 판단한다. 촬영 통지에 포함된 식별 정보를 이용하여 촬영자를 식별하고, 촬영 허용 여부를 판단하는 구체적인 방법은 아래에서 도 21을 참조하여 설명하도록 한다.The
사용자 B(2)의 스마트폰(200)은 촬영 허용 여부를 판단하였으면, 사용자 A(1)의 스마트폰(100-2)으로 촬영 허용 여부를 전송한다. 사용자 A(1)의 스마트폰(100-2)은 수신한 촬영 허용 여부에 따라 영상을 수정하거나 또는 수정 없이 저장한다.When determining whether the photographing is allowed, the
도 21에는 사용자 A(1)의 스마트폰(100-2)이 사용자 B(2)의 스마트폰(200)에 촬영 통지를 전송하고, 사용자 B(2)의 스마트폰(200)이 촬영 허용 여부를 판단한 후 이를 사용자 A(1)의 스마트폰(100-2)에 전송하는 과정을 도시하였다.In FIG. 21, the smartphone 100-2 of the user A (1) sends a shooting notification to the
도 21을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2)를 촬영시 사용자 B(2)의 스마트폰(200)으로 사용자 A(1)의 식별정보를 포함하는 촬영 통지를 전송한다. 이때, 촬영 통지에 포함되는 식별정보에는 사용자 A(1)의 이름 및 사진 등이 포함되어 있을 수 있다.Referring to FIG. 21, the smartphone 100-2 of the user A (1) includes identification information of the user A (1) as the
사용자 B(2)의 스마트폰(200)은 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 촬영 통지에 포함된 사용자 A(1)의 식별정보를 이용하여 촬영 허용 여부를 판단한다. 자세하게는, 사용자 B(2)의 스마트폰(200)은 식별정보에 포함된 사용자 A(1)의 사진을 주소록에 저장된 사진들과 비교하거나, 또는 식별 정보에 포함된 사용자 A(1)의 이름을 주소록에 저장된 이름들과 비교한다. 비교한 결과 주소록에 사용자 A(1)의 사진 또는 이름이 존재하지 않는다면, 스마트폰(200)은 촬영이 허용되지 않는 것으로 판단한다. 반대로, 주소록에 사용자 A(1)의 사진 또는 이름이 존재한다면 스마트폰(200)은 촬영이 허용되는 것으로 판단한다.The user B (2) '
한편, 사용자 B(2)의 스마트폰(200)은 식별정보에 포함된 사용자 A(1)의 사진을 스마트폰(200)의 앨범에 저장된 사진과 비교하거나, 또는 사용자 B(2)의 SNS 사용 기록 분석을 통해 촬영 허용 여부를 판단할 수도 있다.On the other hand, the
도 21에서 사용자 B(2)의 스마트폰(200)은 주소록에 사용자 A(1)의 사진이 존재하지 않는다면 촬영이 불가한 것으로 판단하고, 사용자 A(1)의 스마트폰(100-2)에 촬영 불가 메시지를 전송한다. 이때, 사용자 B(2)의 스마트폰(200)은 촬영 불가 메시지와 함께 사용자 B(2)의 사진을 사용자 A(1)의 스마트폰(100-2)에 전송한다.In FIG. 21, the
이어서 도 22를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 촬영된 원본 영상(1600a)에서 얼굴 인식을 수행한다. 얼굴 인식이 완료되면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2)의 스마트폰(200)으로부터 촬영 불가 메시지와 함께 수신한 사용자 B(2)의 사진과 원본 영상(1600a)에서 인식된 얼굴을 비교한다. 비교 결과 인식된 얼굴이 촬영 불가 메시지와 함께 수신한 사용자 B(2)의 사진과 일치하는 것으로 판단되면, 사용자 A(1)의 스마트폰(100-2)은 원본 영상(1600a)에서 사용자 B(2)의 얼굴 부분을 모자이크 처리하여 수정 영상(1600b)을 출력한다. 한편, 사용자 A(1)의 스마트폰(100-2)은 모자이크 처리 이외에 블러 처리, 배경화면과의 합성 또는 대체 이미지와의 합성 등의 방법으로 영상을 수정할 수도 있다.Subsequently, referring to FIG. 22, the smartphone 100-2 of the
도 23은 본 발명의 실시예에 따른, 피촬영자의 디바이스와의 통신을 통해 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.23 is a flowchart illustrating a method of modifying an image including a photographing restriction element through communication with a device to be photographed according to an embodiment of the present invention.
도 23을 참조하면, 2301 단계에서 촬영자의 디바이스는 피촬영자의 디바이스로 촬영자의 식별정보를 포함하는 촬영 통지를 전송한다. 예를 들어, 촬영자의 디바이스는 촬영 수행시 주변의 일정 거리 이내에 위치하는 디바이스를 검색하고, 검색된 디바이스에 촬영 통지를 전송할 수 있다. 디바이스의 검색 및 촬영 통지의 전송에는 와이파이 다이렉트 또는 블루투스와 같은 근거리 무선 통신이 사용될 수 있으며, 촬영 통지를 수신하기 위해서는 피촬영자의 디바이스에서 동의가 필요할 수도 있다.Referring to FIG. 23, in
2302 단계에서 피촬영자의 디바이스는 수신한 촬영 통지에 포함된 촬영자의 식별정보를 이용하여 촬영의 허용 여부를 판단한다.In
판단 결과, 촬영이 허용되는 것으로 판단되면 2303 단계를 거쳐 2307 단계로 진행한다. 2307 단계에서 피촬영자의 디바이스는 촬영 허용 메시지를 촬영자의 디바이스로 전송한다. 이를 수신한 촬영자의 디바이스는 촬영된 영상에 촬영 제한 요소가 포함되지 않았다고 판단하고, 영상을 수정 없이 저장한다.As a result of the determination, if it is determined that shooting is allowed, the process proceeds to step 2307 through
한편, 판단 결과, 촬영이 허용되지 않는 것으로 판단되면 2303 단계를 거쳐 2304 단계로 진행한다. 2304 단계에서 피촬영자의 디바이스는 피촬영자의 사진과 함께 촬영 불가 메시지를 촬영자의 디바이스로 전송한다.Meanwhile, if it is determined that shooting is not allowed as a result of the determination, the process proceeds to step 2303 and
2305 단계에서 촬영자의 디바이스는 촬영 영상에 포함된 인물들의 얼굴 인식을 수행한다.In
2306 단계에서 촬영자의 디바이스는 촬영 영상에서 인식된 얼굴들을 수신한 피촬영자의 사진과 비교하고, 피촬영자의 사진과 일치하는 얼굴을 보호 처리한다. 즉, 피촬영자의 사진과 일치하는 얼굴에 모자이크 처리, 블러 처리, 배경화면과 합성 처리 또는 대체 이미지와 합성 처리 등을 수행한다.In
도 24에는 피촬영자의 디바이스의 주소록을 이용하여 촬영 허용 여부를 판단하는 구체적인 실시예의 순서도를 도시하였다.FIG. 24 is a flowchart of a specific embodiment of determining whether or not photographing is allowed using the address book of the device to be photographed.
도 24를 참조하면, 2401 단계에서 촬영자의 스마트폰은 피촬영자의 스마트폰으로 촬영자의 식별정보를 포함하는 촬영 통지를 전송한다.Referring to FIG. 24, in
2402 단계에서 피촬영자의 스마트폰은 수신한 촬영자의 식별정보를 이용하여 주소록에 촬영자가 존재하는지 여부를 판단한다. 자세하게는, 촬영자의 식별정보에 포함된 촬영자의 이름 또는 사진을 주소록에 저장된 이름 또는 사진들과 비교한다. 한편, 피촬영자의 스마트폰은 촬영자의 식별정보를 피촬영자의 스마트폰에 저장된 앨범과 비교하거나, 피촬영자의 SNS 사용 기록을 분석함으로써 촬영 허용 여부를 판단할 수도 있다.In
판단 결과, 주소록에 촬영자가 존재한다면 촬영이 허용되는 것으로 판단하고, 2406 단계로 진행하여 피촬영자의 스마트폰은 촬영 허용 메시지를 촬영자의 스마트폰으로 전송한다.As a result of the determination, if a photographer exists in the address book, it is determined that shooting is allowed, and the process proceeds to step 2406, where the smartphone of the subject sends a shooting permission message to the photographer's smartphone.
반면, 판단 결과, 주소록에 촬영자가 존재하지 않는다면 촬영이 허용되지 않는 것으로 판단하고 2403 단계로 진행한다.On the other hand, as a result of the determination, if there is no photographer in the address book, it is determined that shooting is not permitted and the process proceeds to step 2403.
2403 단계에서 피촬영자의 스마트폰은 피촬영자의 사진과 함께 촬영 불가 메시지를 촬영자의 스마트폰으로 전송한다.In
2404 단계에서 촬영자의 스마트폰은 촬영 영상에 포함된 인물들의 얼굴 인식을 수행한다.In
2405 단계에서 촬영자의 스마트폰은 촬영 영상에서 인식된 얼굴들을 수신한 피촬영자의 사진과 비교하고, 피촬영자의 사진과 일치하는 얼굴을 보호 처리한다. 즉, 피촬영자의 사진과 일치하는 얼굴에 모자이크 처리, 블러 처리, 배경화면과 합성 처리 또는 대체 이미지와 합성 처리 등을 수행한다.
In
도 25 내지 도 26은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.25 to 26 are diagrams for explaining a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention.
도 25를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영하고, 촬영된 원본 영상을 서버(300)로 전송하며 영상 처리를 요청한다. 서버(300)는 수신한 원본 영상에 촬영 제한 요소가 포함되어 있는지를 판단한 후, 포함되어 있다고 판단된 경우 영상을 수정하여 사용자 A(1)의 스마트폰(100-2)으로 전송한다. 서버(300)가 영상에 촬영 제한 요소가 포함되었는지를 판단하는 구체적인 방법은 아래에서 도 26을 참조하여 자세히 설명한다.Referring to FIG. 25, the smartphone 100-2 of the user A (1) photographs an image including the user B (2) and the user C (3), and transmits the photographed original image to the
도 26을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 원본 영상(2600a)에서 사용자 B(2) 및 사용자 C(3)의 얼굴 인식을 수행한다. 서버(300)는 미리 저장된 프라이버시 보호 정보(2610)를 참조하여 인식된 인물들이 촬영이 허용되는지를 판단한다.Referring to FIG. 26, the
이때, 프라이버시 보호 정보(2610)는 적어도 하나의 사용자에 대해서 촬영이 허용되는 다른 사용자를 정의한다. 도 26을 참조하면, 프라이버시 보호 정보(2610)에는 각 사용자 별로 촬영이 허용되는 다른 사용자가 맵핑되어 있다. 예를 들어, 사용자 A는 다른 사용자의 촬영을 전혀 허용하지 않는다. 또한, 사용자 B는 사용자 A의 촬영만을 허용하며, 사용자 C는 사용자 B 및 사용자 D의 촬영을 허용한다.At this time, the privacy protection information 2610 defines another user who is allowed to shoot for at least one user. Referring to FIG. 26, other users who are allowed to shoot for each user are mapped to the privacy protection information 2610. For example, user A does not allow other users to shoot at all. In addition, user B only allows user A to be photographed, and user C allows user B and user D to be photographed.
서버(300)는 원본 영상(2600a)에서 인식된 사용자 B(2) 및 사용자 C(3)의 얼굴을 프라이버시 보호 정보(2610)와 비교하여 촬영 허용 여부를 판단한다. 프라이버시 보호 정보(2610)에 따르면, 사용자 B(2)는 사용자 A(1)의 촬영을 허용하고, 사용자 C(3)는 사용자 A(1)의 촬영을 허용하지 않으므로, 서버(300)는 사용자 C(3)를 촬영 제한 요소로 판단한다. The
한편, 촬영 허용 여부의 판단을 위해 서버(300)는 원본 영상(2600a)의 촬영자가 사용자 A(1)임을 확인해야 하는데, 이를 위해 사용자 A(1)의 스마트폰(100-2)은 원본 영상(2600a)과 함께 사용자 A(1)의 식별 정보를 서버(300)로 전송할 수 있다.On the other hand, in order to determine whether shooting is allowed, the
서버(300)는 사용자 C(3)가 촬영 제한 요소임을 확인하면 원본 영상(2600a)에서 사용자 C(3)에 모자이크 처리하여 수정 영상(2600b)을 생성하고, 생성된 수정 영상(2600b)을 사용자 A(1)의 스마트폰(100-2)으로 전송한다. 한편, 서버(300)는 모자이크 처리 이외에 블러 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리를 통해 영상을 수정할 수도 있다.When the
도 27은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.27 is a flowchart illustrating a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention.
도 27을 참조하면, 2701 단계에서 사용자 디바이스에서 영상을 촬영한다.Referring to FIG. 27, in
2702 단계에서 사용자 디바이스는 촬영된 영상을 서버로 전송하며 영상 처리를 요청한다.In
2703 단계에서 서버는 사용자 디바이스로부터 수신한 촬영 영상에 포함된 인물의 얼굴 인식을 수행한다.In
2704 단계에서 서버는 미리 저장된 프라이버시 보호 정보를 참조하여 인식된 인물의 촬영 허용 여부를 판단한다. 즉, 서버는 수신한 촬영 영상의 촬영자에게 인식된 인물의 촬영이 허용되는지 여부를 판단한다. 프라이버시 보호 정보를 이용하여 촬영 허용 여부를 판단하는 구체적인 방법은 앞서 설명한 도 26을 참조한다.In
2705 단계에서 서버는 인식된 인물이 사용자의 촬영을 허용하지 않는 것으로 판단하면, 2706 단계로 진행하여 수신한 촬영 영상에서 인물에 대한 보호 처리를 수행한다. 이어서 2707 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.If it is determined in
한편, 2705 단계에서 서버는 인식된 인물이 사용자의 촬영을 허용하는 것을 판단하면, 2707 단계로 진행하여 수신한 영상을 수정 없이 사용자 디바이스로 전송한다.
Meanwhile, if it is determined in
도 28 내지 도 31은 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 28 내지 도 31에 도시된 실시예에서 촬영을 수행하는 사용자 디바이스는 서버가 관리하는 암호화 키를 이용하여 촬영 영상을 암호화 한 후 서버로 전송함으로써, 촬영자는 서버에서의 처리를 거치지 않은 원본 영상에 접근할 수 없다.28 to 31 are diagrams for explaining a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention. In particular, in the embodiment shown in FIGS. 28 to 31, the user device performing the shooting encrypts the captured image using the encryption key managed by the server and then transmits the captured image to the server, so that the photographer is the original that has not been processed by the server Video is not accessible.
도 28을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 서버(300)로부터 암호화 키를 수신한다. 이때, 암호화 키는 서버(300)에 의해 관리된다. 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)를 촬영하고, 서버(300)로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화한다. 이때, 사용자 A(1)의 스마트폰(100-2)은 촬영 후 즉시 영상을 암호화하므로 사용자 A(1)는 원본 영상에 접근할 수 없다.Referring to FIG. 28, the smartphone 100-2 of the
도 29에 도시된 바와 같이 사용자 A(1)의 스마트폰(100-2)은 암호화된 영상을 서버(300)로 전송한다.As shown in FIG. 29, the smartphone 100-2 of the
도 30을 참조하면, 서버(300)는 수신한 영상을 복호화한다. 영상의 암호화에 사용된 암호화 키는 서버(300)에서 관리되므로 서버(300)는 이를 이용하여 수신한 영상을 복호화 할 수 있다. 서버(300)는 복호화된 영상에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 얼굴 인식 수행 후, 서버(300)는 미리 저장된 프라이버시 보호 정보(3010)를 이용하여 인식된 인물들의 촬영 허용 여부를 판단한다. 프라이버시 보호 정보(3010)를 이용하여 촬영 허용 여부를 판단하는 구체적인 방법은 앞서 도 26을 참조하여 설명한 바와 같다.Referring to FIG. 30, the
서버(300)는 프라이버시 보호 정보(3010)를 참조하여 촬영 허용 여부를 판단한 결과, 사용자 C(3)의 촬영이 허용되지 않는다고 판단되면 영상에서 사용자 C(3)를 모자이크 처리하여 영상을 수정한다.The
이어서 서버(300)는 도 31에 도시된 바와 같이 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.Subsequently, the
도 32는 본 발명의 실시예에 따른, 서버를 이용하여 촬영 제한 요소를 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.32 is a flowchart illustrating a method of modifying an image including a shooting restriction element using a server according to an embodiment of the present invention.
도 32를 참조하면, 3201 단계에서 사용자 디바이스는 인물이 포함된 영상을 촬영한다.Referring to FIG. 32, in
3202 단계에서 사용자 디바이스는 서버로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화한다. 이때, 암호화 키는 서버에서 관리한다.In
3203 단계에서 사용자 디바이스는 암호화된 영상을 서버로 전송한다.In
3204 단계에서 서버는 사용자 디바이스로부터 수신한 영상을 복호화하고, 영상에 포함된 인물들의 얼굴 인식을 수행한다.In
3205 단계에서 서버는 미리 저장된 프라이버시 보호 정보를 참조하여 인식된 인물의 촬영 허용 여부를 판단한다. 프라이버시 보호 정보를 참조하여 촬영 허용 여부를 판단하는 구체적인 방법은 앞서 도 26을 참조하여 설명한 바와 같다.In
3206 단계에서 서버는 촬영이 허용되지 않는 인물에 대한 보호 처리를 수행한다. 예를 들어, 영상에 포함된 인물 중 촬영이 허용되지 않는 인물에 대하여 모자이크 처리, 블러 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 등을 수행한다.In
3207 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.
In
도 33 내지 도 37은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 설명하기 위한 도면들이다.33 to 37 are diagrams for explaining a method of modifying an image including an object to which shooting is restricted according to an embodiment of the present invention.
도 33을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 조각품(20)을 포함하는 영상을 촬영한다. 사용자 A(1)의 스마트폰(100-2)은 촬영 영상을 서버(300)로 전송하며 영상 처리를 요청한다. 서버(300)는 수신한 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있다고 판단되는 경우 영상을 수정하여 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다. 이때, 서버(300)가 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하고, 영상을 수정하는 실시예들을 도 34 내지 도 37에 도시하였다.Referring to FIG. 33, the smartphone 100-2 of the
도 34를 참조하면, 서버(300)는 원본 영상(3400a)에 포함된 사물을 인식한다. 즉, 원본 영상(3400a)에 포함된 조각품(20)의 형태 및 색상 등의 특징을 추출하는 방식으로 조각품(20)을 인식한다. 서버(300)는 인식한 조각품(20)이 서버(300)에 저장된 촬영 제한 사물 데이터베이스에 존재하는지 여부를 판단한다. 촬영 제한 사물 데이터베이스에는 촬영이 제한되는 사물들의 사진이 저장되어 있다.Referring to FIG. 34, the
판단 결과, 촬영 제한 사물 데이터베이스에 인식된 조각품(20)이 포함되어 있다면, 서버(300)는 조각품(20)을 촬영 제한 요소로 판단한다. 서버(300)는 원본 영상(3400a)에서 조각품(20)을 모자이크 처리하여 수정 영상(3400b)을 생성하고, 생성된 수정 영상(3400b)을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.As a result of the determination, if the recognized
한편, 도 35 내지 도 37에는 다른 방법으로 영상을 수정하는 실시예들을 도시하였다. 도 35 내지 도 37에서 서버(300)가 영상에서 사물을 인식하고, 미리 저장된 촬영 제한 사물 데이터베이스를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하는 방법은 도 34에서 설명한 바와 같다. 다만, 영상을 수정함에 있어서, 도 35에서는 블러 처리를 수행하여 수정 영상(3500b)을 생성한다. 도 36에서는 배경화면 합성 처리를 수행하여 수정 영상(3600b)을 생성하는데, 배경화면과 합성을 하는 구체적인 방법은 앞서 도 8에서 설명한 바와 같다. 도 37에서는 대체 이미지(3710)를 합성하여 수정 영상(3700b)을 생성한다.Meanwhile, in FIGS. 35 to 37, embodiments for modifying an image in different ways are illustrated. The method in which the
도 38은 본 발명의 실시예에 따른, 촬영이 제한되는 사물을 포함하는 영상을 수정하는 방법을 나타내는 순서도이다.38 is a flowchart illustrating a method of modifying an image including an object to which shooting is restricted according to an embodiment of the present invention.
도 38을 참조하면, 3801 단계에서 사용자의 디바이스에서 영상을 촬영한다.Referring to FIG. 38, in
3802 단계에서 사용자의 디바이스는 촬영 영상을 서버로 전송한다.In
3803 단계에서 서버는 촬영 영상에 포함된 사물의 인식을 수행한다. 구체적으로 영상에 포함된 사물을 검출하고, 검출된 사물의 형태 및 색상과 같은 특징들을 추출한다.In
3804 단계에서 서버는 인식된 사물이 미리 저장된 촬영 제한 사물 데이터베이스에 존재하는지 여부를 판단한다. 촬영 제한 사물 데이터베이스에는 촬영이 제한되는 사물의 목록이 저장되어 있다.In
판단 결과, 인식된 사물이 촬영 제한 사물 데이터베이스에 존재하면, 3805 단계로 진행하여 서버는 인식된 사물에 대한 보호 처리를 수행하여 영상을 수정하고, 3806 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.As a result of the determination, if the recognized object is present in the object database for shooting restrictions, the process proceeds to step 3805, the server performs a protection process on the recognized object to correct the image, and in
하지만 판단 결과, 인식된 사물이 촬영 제한 사물 데이터베이스에 존재하지 않는다면, 3806 단계로 진행하여 서버는 영상의 수정 없이 영상을 사용자 디바이스에 전송한다.
However, as a result of the determination, if the recognized object does not exist in the shooting restriction object database, the process proceeds to step 3806, and the server transmits the image to the user device without modifying the image.
도 39 내지 도 41은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다.39 to 41 are diagrams for explaining a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
도 39를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 촬영이 제한되는 공연장에서 촬영을 하고, 촬영 영상을 서버(300)로 전송하며 영상 처리를 요청한다. 이때, 사용자 A(1)의 스마트폰(100-2)은 촬영 영상과 함께 위치 정보를 서버(300)로 전송한다. 전송되는 위치 정보는 스마트폰(100-2)이 촬영을 수행한 위치에 대한 정보로서, 스마트폰(100-2)은 내장된 GPS 등을 이용하여 촬영시의 위치를 확인하고, 확인된 위치를 서버(300)로 전송한다. 또는, 스마트폰(100-2)은 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인하는 등 다양한 방법으로 위치 정보를 생성할 수 있다.Referring to FIG. 39, the smartphone 100-2 of the user A (1) takes a picture at a venue where shooting is restricted, sends the captured image to the
서버(300)는 수신한 위치 정보를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단한다. 서버(300)가 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하는 구체적인 방법은 아래에서 도 40 및 도 41을 참조하여 설명한다.The
한편, 서버(300)는 영상에 촬영 제한 요소가 포함되어 있다면, 영상을 수정하고 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.On the other hand, if the photographing restriction element is included in the image, the
도 40을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 촬영이 제한되는 위치에 해당되는지를 판단한다. 즉, 서버(300)는 미리 저장된 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 포함되어 있는지를 판단한다. 이때, 촬영 제한 위치 데이터베이스에는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.Referring to FIG. 40, the
판단 결과, 확인된 촬영 위치가 촬영 제한 위치 데이터베이스에 포함되어 있다면, 서버(300)는 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 도 40에서 서버(300)는 원본 영상(4000a) 전체에 모자이크 처리를 수행하여 수정 영상(4000b)을 생성하였다.As a result of the determination, if the identified shooting location is included in the shooting restriction location database, the
도 41을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 촬영이 제한되는 위치에 해당되는지를 판단한다. 즉, 서버(300)는 미리 저장된 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 포함되어 있는지를 판단한다. 이때, 촬영 제한 위치 데이터베이스에는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.Referring to FIG. 41, the
판단 결과, 확인된 촬영 위치가 촬영 제한 위치 데이터베이스에 포함되어 있다면, 서버(300)는 영상에 촬영 제한 요소가 포함된 것으로 판단하고 영상을 수정한다. 도 41에서 서버(300)는 원본 영상(4100a) 전체에 대체 이미지를 합성하여 수정 영상(4100b)을 생성하였다. 한편, 이외에도 서버(300)는 영상 전체를 블러 처리하는 방식으로 영상을 수정할 수도 있다.As a result of the determination, if the identified shooting location is included in the shooting restriction location database, the
한편, 도 39 내지 도 41에서는 서버(300)가 영상을 수정하는 실시예를 설명하였으나, 이와 다르게 서버(300)는 단지 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영 제한 위치에 해당되는지 여부만을 판단하여 스마트폰(100-2)으로 전송하고, 이를 수신한 스마트폰(100-2)이 영상을 수정할 수도 있다.Meanwhile, in FIGS. 39 to 41, an embodiment in which the
도 42는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.42 is a flowchart illustrating a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
도 42를 참조하면, 4201 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 42, in
4202 단계에서 사용자의 디바이스는 촬영시의 위치를 인식하고, 위치 정보를 서버로 전송한다. 이때, 사용자의 디바이스는 내장된 GPS 등을 이용하여 촬영시의 위치를 확인할 수 있다. 또는, 사용자의 디바이스는 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인할 수도 있다.In
4203 단계에서 서버는 인식된 위치가 촬영 제한 위치에 포함되는지 여부를 판단한다. 자세하게는, 서버는 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치를 미리 저장된 촬영 제한 위치 데이터베이스와 비교한다. 이때, 촬영 제한 위치 데이터베이스에는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.In
판단 결과, 확인된 촬영 위치가 촬영 제한 위치 데이터베이스에 포함되어 있다면, 서버는 영상에 촬영 제한 요소가 포함된 것으로 판단하고 4204 단계로 진행한다. 4204 단계에서 서버는 영상을 수정하고, 수정된 영상을 사용자의 디바이스로 전송한다. 즉, 서버는 영상에 모자이크 처리, 블러 처리 또는 대체 이미지 합성 처리를 수행하여 수정 영상을 생성하고, 생성된 수정 영상을 사용자의 디바이스로 전송한다.
As a result of the determination, if the identified shooting location is included in the shooting restriction location database, the server determines that the shooting restriction element is included in the image and proceeds to step 4204. In
도 43 내지 도 45는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 설명하기 위한 도면들이다. 특히, 도 43 내지 도 45에 도시된 실시예에서 사용자 디바이스는 촬영 금지 표지의 인식을 통해 촬영 제한 위치에 해당됨을 판단한다.43 to 45 are diagrams for explaining a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention. Particularly, in the embodiments shown in FIGS. 43 to 45, the user device determines that the photographing restriction location corresponds to the photographing restriction position.
도 43을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 촬영 금지 표지(30)를 포함하는 영상을 촬영한다. 이때, 촬영 금지 표지(30)는 도 43에 도시된 바와 같이 촬영 금지를 의미하는 기호 및 문구로 구성될 수도 있고, 또는 이와 다른 형태로 구성될 수도 있다. 예를 들어, 촬영 금지의 의미를 포함하는 바코드, QR코드 또는 컬러 코드 형태로 구성될 수도 있다. 촬영 금지 표지가 바코드, QR 코드 또는 컬러 코드로 구성되면, 촬영자는 해당 표지가 촬영 금지 표지에 해당됨을 알 수 없으므로, 촬영자가 의도적으로 표지를 피해 촬영하는 것을 방지할 수 있다.Referring to FIG. 43, the smartphone 100-2 of the
도 44를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 원본 영상(4400a)에 포함된 촬영 금지 표지(30)를 인식한다. 자세하게는, 스마트폰(100-2)은 촬영 금지 표지(30)에 포함된 기호(30-1) 또는 문구(30-2) 중 적어도 하나를 인식한다. 촬영 금지 표지(30)를 인식한 스마트폰(100-2)은 영상이 촬영 제한 위치에서 촬영된 것으로 판단한다. 즉, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 따라서, 스마트폰(100-2)은 원본 영상(4400a) 전체를 모자이크 처리하여 수정 영상(4400b)을 생성한다.Referring to FIG. 44, the smartphone 100-2 of the
도 45를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 원본 영상(4500a)에 포함된 촬영 금지 표지(30)를 인식한다. 자세하게는, 스마트폰(100-2)은 촬영 금지 표지(30)에 포함된 기호(30-1) 또는 문구(30-2) 중 적어도 하나를 인식한다. 촬영 금지 표지(30)를 인식한 스마트폰(100-2)은 영상이 촬영 제한 위치에서 촬영된 것으로 판단한다. 즉, 스마트폰(100-2)은 영상에 촬영 제한 요소가 포함된 것으로 판단한다. 따라서, 스마트폰(100-2)은 원본 영상(4500a) 전체에 대체 이미지를 합성하여 수정 영상(4500b)을 생성한다.Referring to FIG. 45, the smartphone 100-2 of the
도 46은 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.46 is a flowchart illustrating a method of correcting an image captured at a location where photography is restricted according to an embodiment of the present invention.
도 46을 참조하면, 4601 단계에서 사용자의 디바이스에서 영상을 촬영한다.Referring to FIG. 46, in
4602 단계에서 사용자의 디바이스는 영상에 포함된 객체들을 인식한다.In
4603 단계에서 사용자의 디바이스는 인식된 객체 중 촬영 제한 표지가 존재하는지 여부를 판단한다. 판단 결과, 인식된 객체 중 촬영 제한 표지가 존재한다면, 4604 단계로 진행하여 사용자 디바이스는 영상을 수정한다. 이때, 사용자 디바이스는 영상 전체를 모자이크 처리, 블러 처리 또는 대체 이미지 합성 처리하는 방식으로 영상을 수정한다.
In
도 47 내지 도 49는 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 설명하기 위한 도면들이다.47 to 49 are diagrams for explaining an embodiment of limiting photographing of a person according to privacy protection information according to an embodiment of the present invention.
도 47을 참조하면, 사용자 A(1)의 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영한다. 촬영 후, 사용자 A(1)의 스마트폰(100-2)은 서버(300)로 촬영 영상을 전송하며 영상 처리를 요청한다. 이때, 사용자 A(1)의 스마트폰(100-2)은 서버(300)로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화 한 후 서버(300)로 전송할 수도 있다.Referring to FIG. 47, the smartphone 100-2 of the user A (1) photographs an image including the user B (2) and the user C (3). After shooting, the smartphone 100-2 of the user A (1) transmits the captured image to the
서버(300)는 미리 저장된 프라이버시 보호 정보(4710)를 이용하여 수신한 영상에 촬영 제한 요소가 포함되는지 여부를 판단한다. 만약, 수신한 영상이 암호화 된 영상이라면 서버(300)는 암호화 키를 이용하여 영상의 복호화를 수행한 후 촬영 제한 요소의 포함 여부를 판단한다. 이때, 프라이버시 보호 정보(4710)에는 각 사용자 별로 촬영이 제한되는 시간 및 위치가 맵핑되어 저장되어 있다.The
한편, 프라이버시 보호 정보(4710)를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하는 구체적인 방법은 아래에서 도 48 및 도 49를 참조하여 자세하게 설명한다.Meanwhile, a specific method of determining whether an image capturing restriction element is included in the image using the
서버(300)는 수신한 영상에 촬영 제한 요소가 포함되어 있다고 판단된 경우, 영상을 수정하고 수정된 영상을 사용자 A(1)의 스마트폰(100-2)으로 전송한다.When it is determined that the photographing restriction element is included in the received image, the
이하에서는 도 48 및 도 49를 참조하여, 서버(300)가 프라이버시 보호 정보(4710)를 이용하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하고, 영상을 수정하는 구체적인 방법을 자세하게 설명한다.Hereinafter, with reference to FIGS. 48 and 49, the
도 48을 참조하면, 스마트폰(100-2)은 암호화 된 촬영 영상을 서버(300)로 전송한다. 이때, 스마트폰(100-2)은 영상과 함께 촬영이 수행된 위치에 대한 위치 정보도 서버(300)로 전송한다. 스마트폰(100-2)은 내장된 GPS를 이용하거나, 연결된 기지국 또는 AP의 위치를 이용하여 촬영이 수행되는 위치를 파악하고, 이를 위치 정보로서 서버(300)에 전송할 수 있다. 도 48에 도시된 실시예에서는 스마트폰(100-2)은 촬영 위치에 대한 위치 정보로서 “학교”를 서버(300)에 전송하였다.Referring to FIG. 48, the smartphone 100-2 transmits the encrypted captured image to the
도 49를 참조하면, 서버(300)는 수신한 영상을 복호화 한 후 영상에서 사용자 B(2) 및 사용자 C(3)에 대한 얼굴 인식을 수행한다. 서버(300)는 인식된 얼굴의 사용자에 대응되는 촬영 제한 시간 및 위치를 미리 저장된 프라이버시 보호 정보(4910)에서 확인한다. 프라이버시 보호 정보(4910)에는 각 사용자 별로 촬영이 제한되는 시간 또는 위치 중 적어도 하나가 저장되어 있다.Referring to FIG. 49, the
도 49에 도시된 프라이버시 보호 정보(4910)를 보면, 사용자 A는 24시부터 06시 사이에는 촬영을 허용하지 않으며, “집”에서의 촬영을 허용하지 않는다. 사용자 B는 22시부터 09시 사이에는 촬영을 허용하지 않으나, 촬영이 제한되는 위치는 설정하고 있지 않다. 사용자 C는 촬영이 제한되는 시간을 설정하지 않고, “학교”에서의 촬영을 허용하지 않는다.Looking at the privacy protection information 4910 shown in FIG. 49, the user A does not allow photographing between 24 and 06, and does not allow photographing at the “home”. User B does not allow shooting between 22:00 and 09:00, but the location where the shooting is restricted is not set. User C does not set a time limit for shooting, and does not allow shooting in “school”.
서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보(“학교”)와 촬영 시각에 기초하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단한다. 이를 위해, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 촬영 영상 수신시 촬영이 수행된 시각을 함께 수신할 수 있다.The
도 49에서 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보 및 시각 정보를 이용하여, 촬영이 수행된 위치 및 시각이 각각 “학교” 및 “21시”임을 확인한다.In FIG. 49, the
서버(300)는 프라이버시 보호 정보(4710)를 참조하여 사용자 B(2)는 22시부터 9시 사이에 촬영이 제한되고, 위치에 대해서는 촬영 제한 조건이 없음을 확인한다. 서버(300)는 확인된 촬영 시각(“21시”)은 사용자 B(2)의 촬영 제한 시간대에 포함되지 않으므로 사용자 B(2)는 촬영이 제한되지 않는 것으로 판단한다. 즉, 서버(300)는 사용자 B(2)는 촬영 제한 요소가 아닌 것으로 판단한다.The
한편, 서버(300)는 프라이버시 보호 정보(4710)를 참조하여 사용자 C(3)는 “학교”에서의 촬영이 제한되고, 시간에 대해서는 촬영 제한 조건이 없음을 확인한다. 서버(300)는 확인된 촬영 위치(“학교”)가 사용자 C(3)의 촬영 제한 위치에 포함되므로 사용자 C(3)는 촬영이 제한되는 것으로 판단한다. 즉, 서버(300)는 사용자 C(3)는 촬영 제한 요소에 해당되는 것으로 판단한다.On the other hand, the
따라서, 서버(300)는 사용자 C(3)에 대해서만 모자이크 처리하여 영상을 수정한다.Therefore, the
도 50은 본 발명의 실시예에 따른, 프라이버시 보호 정보에 따라 인물의 촬영을 제한하는 실시예를 나타내는 순서도이다.50 is a flowchart illustrating an embodiment of limiting photographing of a person according to privacy protection information according to an embodiment of the present invention.
도 50을 참조하면, 5001 단계에서 사용자 디바이스에서 인물이 포함된 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 50, in
5002 단계에서 사용자 디바이스는 서버로부터 수신한 암호화 키를 이용하여 촬영 영상을 암호화 한다. 이때, 암호화 키는 서버에서 관리한다.In
5003 단계에서 사용자 디바이스는 암호화된 영상 및 디바이스의 위치 정보를 서버로 전송한다.In
5004 단계에서 서버는 수신한 영상을 복호화하고, 영상에 포함된 인물의 얼굴 인식을 수행한다. 구체적으로 영상에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 특징을 추출하는 방식으로 얼굴 인식을 수행할 수 있다.In
5005 단계에서 서버는 사용자 디바이스로부터 수신한 위치 정보 및 촬영 시각에 기초하여, 미리 저장된 프라이버시 보호 정보를 참조하여 인식된 인물의 촬영 허용 여부를 판단한다.In
5006 단계에서 서버는 촬영이 허용되지 않는 인물에 대한 보호 처리를 수행한다. 즉, 서버는 영상에서 촬영이 허용되지 않는 인물을 식별할 수 없도록 모자이크 처리, 블러 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하여 영상을 수정할 수 있다.In
5007 단계에서 서버는 수정된 영상을 사용자 디바이스로 전송한다.
In
도 51은 본 발명의 실시예에 따른 사용자 디바이스의 구성을 도시한 도면이다. 도 51을 참조하면, 본 발명의 실시예에 따른 사용자 디바이스(1000)는 사용자 인터페이스부(1100), 촬영부(1200), 저장부(1300), 통신부(1400) 및 제어부(1500)를 포함할 수 있다. 그리고, 제어부(1500)는 영상 분석부(1510) 및 영상 수정부(1520)를 포함할 수 있다.51 is a diagram showing the configuration of a user device according to an embodiment of the present invention. Referring to FIG. 51, the
한편, 본 발명의 실시예에 따른 사용자 디바이스(1000)는 앞서 설명한 바와 같이 스마트 글래스, 스마트 워치, 스마트폰, 태블릿, 카메라 또는 캠코더와 같이 촬영이 가능한 디바이스 중 하나일 수 있다.On the other hand, the
사용자 인터페이스부(1100)는 사용자로부터 입력을 수신하고 사용자에게 화면을 표시하는 구성으로서, 디바이스의 종류에 따라 다양하게 구현될 수 있다. 예를 들어, 사용자 디바이스(1000)가 스마트폰이라면 사용자 인터페이스부(1100)는 터치 스크린을 포함할 수 있다.The
촬영부(1200)는 스마트 글래스, 스마트 워치, 스마트폰 또는 태블릿 등에 내장된 카메라 모듈을 포함할 수 있다. 촬영부(1200)는 정지 영상 또는 동영상 등을 촬영하고, 촬영된 이미지를 제어부(1500)로 전송할 수 있다.The photographing
저장부(1300)는 촬영된 영상이 저장되거나, 또는 다양한 데이터가 저장되는 메모리를 포함할 수 있다. 예를 들어, 저장부(1300)에는 주소록, 사진, 동영상 또는 디바이스의 사용 기록 등이 저장될 수 있으며, 제어부(1500)에서 수정된 영상이 저장될 수도 있다.The
통신부(1400)는 외부의 다른 디바이스 또는 서버와 유무선을 통해 데이터 통신을 수행할 수 있다.The
제어부(1500)는 사용자 디바이스(1000)에 포함된 구성들의 동작을 제어하는 구성으로서, 특히 촬영 영상을 분석하여 영상에 촬영 제한 요소가 포함되었는지 여부를 판단하고, 촬영 제한 요소가 포함된 경우 영상을 수정한다. 제어부(1500)는 영상 분석부(1510) 및 영상 수정부(1520)를 포함할 수 있다.The
영상 분석부(1510)는 영상 분석을 통해 촬영 영상에서 인물, 사물 또는 영상이 촬영된 위치를 인식하고, 디바이스의 사용자와 인식된 인물간의 관계(relations), 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상의 수정이 필요한지 여부를 판단할 수 있다. 특히, 영상 분석부(1510)는 저장부(1300)에 저장된 데이터를 이용하여 디바이스의 사용자와 인식된 인물이 서로 관련이 있는지 여부를 판단하고, 관련이 없다고 판단되면 영상의 수정이 필요한 것으로 판단할 수 있다.The
예를 들어, 영상 분석부(1510)는 인식된 인물이 저장부(1300)에 저장된 주소록에 존재하는지를 확인하고, 인식된 인물이 주소록에 존재하지 않는다면 디바이스의 사용자와 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.For example, the
또는, 영상 분석부(1510)는 인식된 인물이 저장부(1300)에 저장된 적어도 하나의 사진에 존재하는지를 확인하고, 인식된 인물이 저장된 적어도 하나의 사진에 존재하지 않는다면 디바이스의 사용자와 인식된 인물이 서로 관련이 없는 것으로 판단할 수 있다.Alternatively, the
또는, 영상 분석부(1510)는 저장부(1300)에 저장된 데이터를 이용하여 디바이스의 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 디바이스의 사용자와 인식된 인물이 서로 관련이 있는지 여부를 판단할 수 있다.Alternatively, the
또는, 영상 분석부(1510)는 통신부(1400)를 통해 외부 서버의 데이터베이스에 접근하여 인식된 사물 또는 위치의 촬영이 제한되는지 여부를 판단하고, 촬영이 제한된다면 영상의 수정이 필요한 것으로 판단할 수 있다.Alternatively, the
또한, 영상 분석부(1510)는 촬영 영상에서 촬영 금지 표지를 인식하면, 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단하고, 따라서 영상의 수정이 필요한 것으로 판단할 수 있다.In addition, when the
한편, 영상 수정부(1520)는 영상 분석부(1510)에서 영상의 수정이 필요하다고 판단된 경우 영상의 수정을 수행하는 구성이다. 영상 수정부(1520)는 영상에 포함된 인물, 사물 또는 영상 전체에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행할 수 있다. 영상 수정부(1520)가 영상을 수정하는 구체적인 예시는 앞서 설명한 도 7 내지 도 12를 참조한다.Meanwhile, the
한편, 상기 사용자 디바이스(1000)에 포함된 구성들은, 비록 도 51을 참조하여 설명하지 않은 동작일지라도, 앞서 도 1 내지 도 50을 참조하여 설명한 컨텐츠 재생 제어 방법을 실시하기 위한 동작들을 수행할 수 있다.
Meanwhile, the components included in the
한편, 촬영된 영상이 수정되는 시점은 다양하게 설정될 수 있다. 예를 들어, 촬영 후 사용자 단말에 저장 전에 영상이 수정될 수 있다. 또는, 사용자 단말에는 원본 영상이 저장되고, 이후에 저장된 영상을 외부의 서버 또는 다른 단말로 전송할 때 영상이 수정될 수도 있다. 또는, 촬영을 수행하는 사용자 단말에는 영상을 저장하지 않고, 촬영된 영상을 바로 수정하여 외부의 서버 또는 다른 단말로 전송할 수도 있다. 이하에서는 이와 같이 영상의 수정 시점을 달리 하는 다양한 실시예들에 대해서 설명한다.Meanwhile, a point in time at which the captured image is modified may be set in various ways. For example, an image may be corrected after shooting and before storing it in a user terminal. Alternatively, the original image is stored in the user terminal, and the image may be modified when the stored image is transmitted to an external server or another terminal. Alternatively, an image may not be stored in a user terminal performing shooting, and the captured image may be directly modified and transmitted to an external server or another terminal. Hereinafter, various embodiments in which the viewpoint of modification of the image is different will be described.
도 52는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 도면이다.52 is a view for explaining an embodiment of modifying a captured image before storing the captured image in a user terminal in a method of modifying the captured image according to an embodiment of the present invention.
도 52의 왼편에는 스마트폰(100-2)에서 갤러리 앱이 실행되어 복수의 이미지들이 화면에 표시된 상태를 도시하였고, 복수의 이미지 중 어느 하나의 이미지(5210)를 터치하여 선택하는 경우, 오른편에 도시된 바와 같이 선택된 이미지(5210)가 확대 이미지(5220)로 표시된다.On the left side of FIG. 52, a gallery app is executed on the smartphone 100-2 to show a plurality of images displayed on the screen, and when a
도 52의 왼편에 표시되는 복수의 이미지들 중 선택된 이미지(5210)는 촬영이 제한되는 인물을 포함하고 있으며, 따라서 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5211)은 모자이크 처리되어 있음을 알 수 있다. 또한, 오른편에 표시되는 확대 이미지(5220)에서도 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5221)은 모자이크 처리되어 있다.It is understood that the selected
스마트폰(100-2)에서 영상을 촬영하고, 촬영된 영상을 스마트폰(100-2)에 저장하기 전에 촬영된 영상에 촬영 제한 요소가 있는지 판단하고, 촬영 제한 요소가 있다고 판단되는 경우 영상을 수정한 후 수정된 영상을 스마트폰(100-2)에 저장한다. 즉, 스마트폰(100-2)에는 원본 영상이 저장되지 않아 스마트폰(100-2)상에서 저장된 영상에 접근하더라도 수정된 영상만을 확인할 수 있다. 따라서, 본 실시예에 따를 경우 스마트폰(100-2)의 사용자 조차도 수정된 영상에만 접근이 가능하게 된다.Before capturing an image on the smartphone 100-2, and saving the captured image on the smartphone 100-2, it is determined whether there is a shooting limit element in the captured image, and if it is determined that there is a shooting limit element, the image After correction, the corrected image is stored in the smartphone 100-2. That is, since the original image is not stored in the smartphone 100-2, only the modified image can be checked even if the stored image is accessed on the smartphone 100-2. Accordingly, according to the present embodiment, even the user of the smartphone 100-2 can access the modified image only.
촬영 제한 요소가 포함되었는지 여부를 판단하고, 영상을 수정하는 구체적인 방법은 앞서 설명한 바를 참고한다.For a detailed method of determining whether a shooting restriction element is included and correcting an image, refer to the foregoing.
도 53은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하기 전에 수정하는 실시예를 설명하기 위한 순서도이다.53 is a flowchart for explaining an embodiment of modifying a captured image before storing the captured image in a user terminal in a method of modifying the captured image according to an embodiment of the present invention.
도 53을 참조하면, 5301 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.Referring to FIG. 53, in
5302 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치를 인식하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.In
5303 단계에서 사용자의 디바이스는 디바이스의 사용자와 인식된 인물간의 관계, 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 이때, 촬영 제한 요소의 포함 여부를 판단하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.In
5304 단계에서 사용자의 디바이스는 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단하고, 만약 포함되어 있다면 5305 단계로 진행하여 촬영된 영상을 수정하고, 수정된 영상을 사용자의 디바이스에 저장한다. 하지만, 판단 결과 영상에 촬영 제한 요소가 포함되어 있지 않다면, 5306 단계로 진행하여 사용자의 디바이스는 촬영된 영상을 수정 없이 저장한다.In
도 54 및 55는 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 도면들이다.54 and 55 are diagrams for explaining an embodiment of modifying an image stored in a user terminal when transmitting it to the outside in a method of correcting a captured image according to an embodiment of the present invention.
도 54의 왼편에는 스마트폰(100-2)에서 갤러리 앱이 실행되어 복수의 이미지들이 화면에 표시된 상태를 도시하였고, 복수의 이미지 중 어느 하나의 이미지(5410)를 터치하여 선택하는 경우, 오른편에 도시된 바와 같이 선택된 이미지(5410)가 확대 이미지(5420)로 표시된다.On the left side of FIG. 54, a gallery app is executed on the smartphone 100-2 to show a state in which a plurality of images are displayed on the screen, and when any one of the plurality of images is touched and selected, the right side is selected. As shown, the selected
도 54의 왼편에 표시되는 복수의 이미지들 중 선택된 이미지(5410)는 촬영이 제한되는 인물을 포함하고 있지만, 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5411)에는 모자이크 처리가 되지 않았음을 알 수 있다. 또한, 오른편에 표시되는 확대 이미지(5420)에서도 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5421)에는 모자이크 처리가 되어 있지 않다.The selected
본 실시예에서 스마트폰(100-2)은 촬영 후 촬영된 영상을 수정 없이 저장하므로, 사용자는 스마트폰(100-2)의 갤러리 앱을 통해서 수정이 되지 않은 원본 영상에 접근할 수 있다.In this embodiment, since the smartphone 100-2 stores the captured image without modification, the user can access the original unmodified image through the gallery app of the smartphone 100-2.
하지만, 본 실시예에서는 스마트폰(100-2)에 저장된 영상을 외부의 서버 또는 다른 디바이스로 전송하는 경우, 저장된 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있다면 영상을 수정한 후 외부로 전송한다.However, in the present exemplary embodiment, when the image stored in the smartphone 100-2 is transmitted to an external server or other device, it is determined whether the stored restriction element is included in the stored image, and if it is included, the image is corrected Transfer to the outside.
도 55를 참조하면, 사용자가 스마트폰(100-2)의 갤러리 앱에 표시된 복수의 이미지들 중에서 어느 하나(5510)를 선택하고, 선택된 이미지(5510)를 공유하기 위한 센드 버튼(5530)을 선택하면, 스마트폰(100-2)은 저장된 원본 영상에 촬영 제한 요소가 포함되어 있는지를 판단하고, 포함되어 있다면 영상을 수정한 후 수정된 영상을 외부로 전송한다.Referring to FIG. 55, a user selects any one 5510 from a plurality of images displayed in the gallery app of the smartphone 100-2, and selects a
도 55에서 스마트폰(100-2)은 촬영이 제한되는 인물의 얼굴에 해당되는 영역(5521)이 모자이크 처리된 수정된 영상(5520)을 목적지로 지정된 서버(300)로 전송한다.In FIG. 55, the smartphone 100-2 transmits the modified
도 56은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 사용자 단말에 저장된 영상을 외부로 전송시에 수정하는 실시예를 설명하기 위한 순서도이다.56 is a flowchart for explaining an embodiment of modifying an image stored in a user terminal when transmitting it to the outside in a method of modifying a captured image according to an embodiment of the present invention.
도 56을 참조하면, 5601 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.Referring to FIG. 56, in
5602 단계에서 사용자 디바이스는 촬영된 영상을 사용자 디바이스 내부의 메모리에 저장한다.In
5603 단계에서 사용자 디바이스는 사용자로부터 저장된 영상을 외부의 서버 또는 다른 디바이스로 전송하라는 요청을 수신한다.In
5604 단계에서 사용자 디바이스는 저장된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치를 인식하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.In
5605 단계에서 사용자 디바이스는 디바이스의 사용자와 인식된 인물간의 관계, 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 이때, 촬영 제한 요소의 포함 여부를 판단하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.In
5606 단계에서 사용자 디바이스는 저장된 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단하고, 만약 포함되어 있다면 5607 단계로 진행하여 저장된 영상을 수정하고, 수정된 영상을 외부로 전송한다. 하지만, 판단 결과 영상에 촬영 제한 요소가 포함되어 있지 않다면, 5608 단계로 진행하여 사용자 디바이스는 저장된 영상을 수정 없이 외부로 전송한다.In
도 57은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 도면이다.FIG. 57 is a view for explaining an embodiment in which a method of correcting a captured image according to an embodiment of the present invention transmits the captured image to the outside without directly storing the captured image in a user terminal.
도 57에는 서로 영상 통화를 수행하는 두 대의 스마트폰(100-2a, 100-2b)을 도시하였다.Fig. 57 shows two smartphones 100-2a and 100-2b performing video calls with each other.
영상 통화를 수행하는 경우 스마트폰(100-2a, 100-2b)은 특별한 요청이 없다면 영상 통화 화면을 저장하지는 않는다. 그러나, 영상 통화의 경우에도 촬영 제한 요소에 대한 수정의 필요성은 있기 때문에, 본 실시예에서 스마트폰(100-2a)은 촬영 영상을 저장 없이 바로 수정하여 다른 스마트폰(100-2b)으로 전송한다. 스마트폰(100-2b)에 표시된 영상 통화 화면(5710)을 참조하면, 영상 통화의 당사자의 얼굴 영역(5712)에는 아무런 수정이 가해지지 않았으나, 촬영이 제한되는 인물의 얼굴 영역(5711)은 모자이크 처리가 되어 있음을 알 수 있다.When making a video call, the smartphones 100-2a and 100-2b do not save the video call screen unless there is a special request. However, even in the case of a video call, since there is a need to correct the shooting limiting element, in this embodiment, the smartphone 100-2a directly modifies the captured image without saving and transmits it to another smartphone 100-2b. . Referring to the
도 58은 본 발명의 실시예에 따른 촬영 영상의 수정 방법에 있어서, 촬영된 영상을 사용자 단말에 저장하지 않고 바로 수정하여 외부로 전송하는 실시예를 설명하기 위한 순서도이다.58 is a flowchart for explaining an embodiment in which a captured image is directly modified and transmitted to the outside without storing the captured image in the user terminal in the method of correcting the captured image according to an embodiment of the present invention.
도 58을 참조하면, 5801 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.Referring to FIG. 58, in
5802 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치 중 적어도 하나를 인식한다. 이때, 영상에 포함된 인물, 사물 또는 영상이 촬영된 위치를 인식하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.In
5803 단계에서 사용자의 디바이스는 디바이스의 사용자와 인식된 인물간의 관계, 인식된 사물 또는 인식된 위치 중 적어도 하나에 기초하여 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단한다. 이때, 촬영 제한 요소의 포함 여부를 판단하는 구체적인 방법은 앞서 도 2를 참조하여 설명한 바를 참고한다.In
5804 단계에서 사용자의 디바이스는 영상에 촬영 제한 요소가 포함되어 있는지 여부를 판단하고, 만약 포함되어 있다면 5805 단계로 진행하여 촬영된 영상을 수정하고, 수정된 영상을 외부의 서버 또는 다른 디바이스로 전송한다. 하지만, 판단 결과 영상에 촬영 제한 요소가 포함되어 있지 않다면, 5806 단계로 진행하여 사용자의 디바이스는 촬영된 영상을 수정 없이 외부의 서버 또는 다른 디바이스로 전송한다.
In
도 59 내지 도 61은 본 발명의 다른 실시예에 따른, 특정 위치에서의 촬영이 제한되는 인물이 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.59 to 61 are diagrams for explaining an embodiment in which a person whose photographing is restricted at a specific location modifies the photographed image according to another embodiment of the present invention.
도 59를 참조하면, 사용자 A(1)의 스마트폰(100-2)은 동일한 인물(5911)에 대해서 촬영이 허가되는 장소(예로, 거리, 음식점 등)(5910a) 또는 촬영이 제한되는 장소(예로, 공연장, 박물관 또는 군사 보안 지역 등)(5920a)에 대한 영상을 촬영할 수 있다. 동일한 인물(5911)일지라도 촬영 위치에 따라서 촬영 제한 여부가 달라질 수 있다. 예를 들어, 연예인의 경우 공연장에서의 사진 촬영은 저작권 문제로 인하여 제한되지만, 거리에서의 사진 촬영은 제한되지 않을 수 있다. 사용자의(A1)의 스마트폰(100-2)은 촬영 영상을 서버(300)로 전송하여 영상 처리를 요청한다. 이 때, 사용자 A(1)의 스마트폰(100-2)는 촬영 영상과 함께 위치 정보를 서버(300)로 전송한다. 전송되는 위치 정보는 스마트폰(100-2)이 촬영을 수행한 위치에 대한 정보로서, 스마트폰(100-2)은 내장된 GPS 등을 이용하여 촬영시의 위치를 확인하고, 확인된 위치를 서버(300)로 전송할 수 있다. 또는, 스마트폰(100-2)은 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인하는 등 다양한 방법으로 위치 정보를 생성할 수 있다.Referring to FIG. 59, the smartphone 100-2 of the user A (1) is allowed to photograph (for example, a street, a restaurant, etc.) 5910a for a
도 60을 참조하면, 서버(300)는 사용자 A(1)의 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치에 해당되는지를 판단할 수 있다. 즉, 서버(300)는 미리 저장된 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치로서 포함되어 있는지를 판단한다. 이때, 촬영 제한 위치 데이터베이스에는 사용자 별로 촬영이 제한되는 위치들이 저장되어 있을 수도 있고, 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있을 수도 있다.Referring to FIG. 60, the
판단 결과, 원본 영상(5910a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치가 아니라면, 서버(300)는 수정되지 않은 영상(5910b)을 사용자의 디바이스로 전송할 수 있다. 또는, 서버(300)는 영상이 수정될 필요가 없다는 메시지를 사용자의 디바이스로 전송할 수 있다.As a result of the determination, if the photographing location where the
한편, 판단 결과, 원본 영상(5920a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치라면, 서버(300)는 원본 영상(5920a)에 촬영 제한 요소가 포함되어 있는 것으로 판단한다. 그리고, 서버(300)는 촬영이 제한되는 인물에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 원본 영상(5920a)에서 촬영이 제한되는 인물(5911)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정 영상(5920b)을 출력할 수 있다.On the other hand, as a result of the determination, if the photographing location where the
한편, 도 59 내지 도 60에서는 서버(300)가 영상을 수정하는 실시예를 설명하였으나, 이와 다르게 서버(300)는 단지 스마트폰(100-2)으로부터 수신한 위치 정보를 분석하여 촬영 제한 위치에 해당되는지 여부만을 판단하여 스마트폰(100-2)으로 전송하고, 이를 수신한 스마트폰(100-2)이 영상을 수정할 수도 있다.On the other hand, in FIGS. 59 to 60, an embodiment in which the
한편, 도 59 내지 도 60에서는 피촬영자에 따라서 촬영이 제한되는 위치가 다르게 적용되는 실시예를 설명하였으나, 이와 다르게 모든 사용자에 대해서 촬영이 제한되는 위치는 동일하게 적용될 수도 있다. 즉, 촬영 영상에 포함된 인물과 관계 없이 촬영 제한 위치를 판단하고, 촬영 제한 위치에 해당된다고 판단되면 영상에 포함된 인물 또는 사물에 대응되는 영상의 일부를 수정할 수도 있다.On the other hand, in FIGS. 59 to 60, an exemplary embodiment in which a location in which photographing is restricted is applied differently according to an individual to be photographed has been described, but differently, a location in which photographing is restricted for all users may be equally applied. In other words, regardless of the person included in the captured image, the location of the restricted image may be determined, and if it is determined that the image is in the restricted location, a part of the image corresponding to the person or object included in the image may be corrected.
또는, 도 61에 도시된 바와 같이, 사용자 A(1)의 스마트폰(100-2)이 확인된 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치가 촬영이 제한되는 위치에 해당되는지를 판단할 수도 있다. 즉, 스마트폰(100-2)은 스마트폰(100-2)의 저장부(1300)의 촬영 제한 위치 데이터베이스에 확인된 촬영 위치가 포함되어 있는지를 판단한다.Alternatively, as shown in FIG. 61, the smartphone 100-2 of the
판단 결과, 원본 영상(5910a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치가 아니라면, 스마트폰(100-2)은 영상을 수정되지 않은 영상(5910b)을 저장할 수 있다. As a result of the determination, if the photographing location where the
한편, 판단 결과, 원본 영상(5920a)이 촬영된 촬영 위치가 영상에 포함된 인물에 대한 촬영이 제한되는 위치라면, 스마트폰(100-2)은 원본 영상(5920a)에 촬영 제한 요소가 포함되어 있는 것으로 판단한다. 그리고, 스마트폰(100-2)는 촬영이 제한되는 인물에 대응하는 영상의 일부를 수정할 수 있다. 구체적으로, 스마트폰(100-2)은 촬 원본 영상(5920a)에서 영이 제한되는 인물(5911)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정 영상(5920b)을 저장할 수 있다.On the other hand, as a result of the determination, if the photographing location where the
이와 같이, 인물 또는 사물을 촬영하는 경우에, 인물 또는 사물이 촬영된 촬영 위치에 따라서, 인물 또는 사물의 촬영이 제한될 수도 있고, 인물 또는 사물의 촬영이 제한되지 않을 수도 있다.As described above, when photographing a person or object, photographing of the person or object may be restricted or photographing of the person or object may not be limited according to a photographing position where the person or object is photographed.
도 62는 본 발명의 실시예에 따른, 촬영이 제한되는 위치에서 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.62 is a flowchart illustrating a method of correcting a photographed image at a location where photographing is restricted according to an embodiment of the present invention.
도 62를 참조하면, 6201 단계에서 사용자의 디바이스에서 영상을 촬영한다. 이때, 촬영에는 카메라 또는 캠코더 등의 일반적인 촬영 디바이스, 스마트 글래스 또는 스마트 워치 등의 웨어러블 디바이스, 스마트폰 또는 태블릿 등의 모바일 디바이스 중 어느 하나가 사용될 수 있으며, 이외에도 촬영이 가능한 다양한 디바이스가 사용될 수 있다.Referring to FIG. 62, in
6202 단계에서 사용자의 디바이스는 촬영시의 위치를 인식한다. 이때, 사용자의 디바이스는 내장된 GPS 등을 이용하여 촬영시의 위치를 확인할 수 있다. 또는, 사용자의 디바이스는 연결된 기지국 또는 AP(Access Point)의 위치 등을 이용하여 촬영시의 위치를 확인할 수도 있다. In
6203 단계에서 서버는 인식된 위치가 촬영 제한 위치에 포함되는지 여부를 판단한다. 또는, 사용자의 디바이스가 인식된 위치가 촬영 제한 위치에 포함되는지 여부를 판단할 수 있다. 구체적으로, 영상에 포함된 인물에 대한 촬영이 제한되는 위치에 해당되는지, 또는 피촬영자에 관계 없이 촬영이 제한되는 위치에 해당되는지를 판단할 수 있다. 이를 위해, 서버 또는 사용자의 디바이스는 수신한 위치 정보를 분석하여 촬영이 수행된 위치를 확인하고, 확인된 위치를 미리 저장된 촬영 제한 위치 데이터베이스와 비교한다. 이때, 촬영 제한 위치 데이터베이스에는 인물별로 촬영이 제한되는 위치 정보가 저장되거나, 또는 공연장, 박물관 또는 군사 보안 지역과 같이 일반인의 촬영이 제한되는 위치 정보가 저장되어 있다.In
판단 결과, 인식된 촬영 위치가 촬영 제한 위치에 해당하면, 6204 단계에서 서버 또는 사용자의 디바이스는 영상에 촬영 제한 요소가 있는지 여부를 판단할 수 있다. 즉, 인식된 촬영 위치가 특정 인물에 대한 촬영이 제한되는 위치라면 촬영이 제한되는 특정 인물이 포함되어 있는지, 또는 인식된 촬영 위치가 모든 인물 또는 사물에게 촬영이 제한되는 위치라면 적어도 하나의 인물 또는 사물이 포함되어 있는지 여부를 판단할 수 있다. 영상에 촬영 제한 요소가 포함되어 있다면, 6205 단계에서 서버는 영상을 수정하고, 수정된 영상을 사용자의 디바이스로 전송할 수 있다. 또는, 사용자의 디바이스가 영상을 수정하고, 수정된 영상을 저장할 수 있다. 예를 들어, 서버 또는 사용자의 디바이스는 영상에 모자이크 처리, 블러 처리 또는 대체 이미지 합성 처리를 수행하여 수정 영상을 생성할 수 있다.
As a result of the determination, if the recognized shooting position corresponds to the shooting limit position, in
도 63 내지 도 66은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 실시예를 설명하기 위한 도면들이다.63 to 66 are diagrams for explaining an embodiment of modifying a photographed image according to a user's selection according to an embodiment of the present invention.
도 63을 참조하면, 사용자 A(1)의 스마트폰(100-2)에서 사용자 B(2) 및 사용자 C(3)를 포함하는 영상을 촬영한다. 이어서, 사용자 A(1)의 스마트폰(100-2)은 촬영된 영상을 화면에 표시한다.Referring to FIG. 63, an image including the user B (2) and the user C (3) is photographed on the smartphone 100-2 of the user A (1). Subsequently, the smartphone 100-2 of the
도 64 및 도 65는 각각 다른 방법에 의해 사용자가 촬영된 영상에서 보호 처리를 수행할 인물을 선택하면, 선택된 인물의 대응하는 영상의 일부가 수정되는 예들을 도시하였다. 여기에서, 사용자가 보호 처리를 수행할 인물을 선택하는 상황은, 예를 들어, 촬영된 영상이 스마트폰(100-2)의 저장부에 저장되거나 또는 외부 기기로 공유되기 전에 스마트폰(100-2)상에서 프리뷰 화면 또는 임시 화면으로 제공된 상태에서, 사용자가 촬영된 영상에서 보호 처리를 수행할 인물을 선택하는 상황이 될 수 있다.64 and 65 respectively show examples in which a part of a corresponding image of a selected person is modified when a user selects a person to perform a protection process from a captured image by a different method. Here, the situation in which the user selects a person to perform the protection process, for example, before the photographed image is stored in the storage unit of the smartphone 100-2 or shared with an external device, the smartphone 100- 2) In the state of being provided as a preview screen or a temporary screen on the screen, it may be a situation in which the user selects a person to perform protection processing on the captured image.
도 64의 (a)를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(6400a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 이어서, 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)의 얼굴이 인식된 것을 나타내는 인식 결과를 제공할 수 있다. 인식 결과는, 예로, 시각적 피드백으로서 인식된 사용자 B(2) 및 사용자 C(3)의 얼굴 또는 얼굴의 외곽선을 하이라이트(예, 점멸 또는 채색 등)하여 표시하는 것이 될 수 있다. 이어서, 사용자가 사용자 B(2) 및 사용자 C(3) 중 어느 하나(C(3))를 선택하면, 스마트폰(100-2)은 선택된 사용자 C(3)에 대하여 보호 처리를 수행할 수 있다. 예를 들어, 스마트폰(100-2)은 선택된 사용자 C(3)의 식별이 불가능하도록 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 자세하게는, 도 64의 (b)에 도시된 바와 같이, 스마트폰(100-2)은 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정된 영상(6400b)을 화면에 표시할 수 있다.Referring to (a) of FIG. 64, the smartphone 100-2 recognizes the faces of the user B (2) and the user C (3) by performing face recognition on the captured
다른 실시 예로, 도 65의 (a)를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 이어서, 스마트폰(100-2)은 인식된 얼굴이 촬영이 제한되는 인물인지를 판단할 수 있다. 판단 결과, 사용자 B(2) 및 사용자 C(3)가 촬영이 제한되는 인물이면, 스마트폰(100-2)은 사용자 B(2) 및 사용자 C(3)에 대하여 보호 처리를 수행할 수 있다. 예를 들어, 스마트폰(1002)은 사용자 B(2) 및 사용자 C(3)의 식별이 불가능하도록 사용자 B(2)에 대응하는 영상의 일부 및 사용자 C(3)에 대응하는 영상의 일부를 수정할 수 있다. 자세하게는, 스마트폰(100-2)은 촬영이 제한되는 인물인 사용자 B(2) 및 사용자 C(3)의 얼굴 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리하여 수정된 영상(6500a)을 화면에 표시할 수 있다. 이어서, 사용자가 사용자 B(2) 및 사용자 C(3) 중 어느 하나(B(2))를 선택하면, 스마트폰(100-2)은 선택된 사용자 B(2)의 보호 처리를 해제할 인물로 판단할 수 있다. 이어서, 스마트폰(100-2)은 선택된 사용자 B(2)의 식별이 가능하도록 사용자 B(2)에 대응하는 영상의 일부를 수정할 수 있다. 자세하게는, 도 65의 (b)에 도시된 바와 같이, 스마트폰(100-2)은 사용자 B(2)의 얼굴 영역에 모자이크 처리를 해제하거나 대체 이미지의 합성을 해제하거나 또는 블러 처리를 해제하여 수정된 영상(6500b)를 화면에 표시할 수 있다.As another embodiment, referring to (a) of FIG. 65, the smartphone 100-2 recognizes the faces of the user B (2) and the user C (3) by performing face recognition on the captured original image. Subsequently, the smartphone 100-2 may determine whether the recognized face is a person whose shooting is restricted. As a result of determination, if the user B (2) and the user C (3) are persons whose shooting is restricted, the smartphone 100-2 may perform protection processing for the user B (2) and the user C (3). . For example, the smartphone 1002 displays a portion of the image corresponding to the user B (2) and a portion of the image corresponding to the user C (3) so that the identification of the user B (2) and the user C (3) is impossible. Can be modified. In detail, the smartphone 100-2 performs mosaic processing on the face regions of the user B (2) and the user C (3), which are persons whose shooting is restricted, or synthesizes or substitutes an alternate image or blurs the modified image ( 6500a) on the screen. Subsequently, when the user selects one of the user B (2) and the user C (3) (B (2)), the smartphone 100-2 is a person to release the protection process of the selected user B (2). I can judge. Subsequently, the smartphone 100-2 may modify a part of the image corresponding to the
또 다른 실시 예로, 도 66의 (a)를 참조하면, 스마트폰(100-2)은 촬영된 원본 영상(6600a)에서 얼굴 인식을 수행하여 사용자 B(2) 및 사용자 C(3)의 얼굴을 인식한다. 이어서, 스마트폰(100-2)은 인식된 사용자 C(3)에 대하여 보호 처리의 수행 여부를 묻는 팝업 화면(6610)을 제공할 수 있다. 팝업 화면(6610)을 통해, 사용자가 보호 처리의 수행을 요청하는 버튼을 선택하면, 스마트폰(100-2)은 사용자 C(3)에 대하여 보호 처리를 수행할 수 있다. 그리고, 도 66의 (b)에 도시된 바와 같이, 스마트폰(100-2)은 사용자 C(3)의 얼굴 영역에 모자이크 처리를 하거나 대체 이미지를 합성하거나 또는 블러 처리를 하여 수정된 영상(6600b)를 화면에 표시할 수 있다.As another embodiment, referring to (a) of FIG. 66, the smartphone 100-2 performs face recognition on the captured
전술한 사용자가 보호 처리를 수행할 인물을 선택할 수 있는 화면은, 영상이 촬영된 후에 스마트폰(100-2)이 촬영된 영상을 스마트폰(100-2)의 저장부에 저장하기 전에 표시될 수 있다. 또는, 스마트폰(100-2)이 촬영된 영상을 외부 기기(예로, 서버 또는 제3 자의 스마트폰)로 제공하기 전에 표시될 수 있다. The screen through which the user can select a person to perform the protection process will be displayed after the image is taken and before the smartphone 100-2 stores the captured image in the storage unit of the smartphone 100-2. You can. Alternatively, it may be displayed before the smartphone 100-2 provides the captured image to an external device (eg, a server or a third-party smartphone).
한편, 사용자에 의하여 보호 처리를 수행할 인물이 선택되면, 선택된 인물에 대한 정보는 스마트폰(100-2) 또는 서버(300)의 데이터베이스에 저장될 수 있다. 예를 들어, 선택된 인물의 사진이 촬영 제한 요소로서 저장될 수 있다. 이 경우, 추후 촬영된 영상에 사용자가 보호 처리를 수행한 인물이 있으면, 스마트폰(100-2)은 자동으로 보호 처리가 수행된 인물을 촬영이 제한되는 인물로 판단할 수 있다. 그리고, 스마트폰(100-2)은 상기 인물에 대응하는 영상에 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리를 수행할 수 있다.Meanwhile, when a person to be protected is selected by the user, information on the selected person may be stored in a database of the smartphone 100-2 or the
이와 같이, 사용자가 촬영을 제한할 인물을 선택하는 방법은, 스마트폰(100-2) 또는 서버(300)가 촬영된 영상의 인식된 얼굴에 대한 정보를 가지지 않은 상황에서 더욱 유용할 수 있다. 즉, 인식된 얼굴에 대한 정보가 없는 경우, 인식된 얼굴에 대하여 촬영을 제한하거나 촬영을 해제하는 등의 획일적인 처리를 수행하지 않고, 사용자의 선택에 의하여 인식된 얼굴의 처리를 결정함으로써 영상을 처리하는 사용자의 자유도가 더욱 증대될 수 있다.
As such, the method for the user to select a person to limit shooting may be more useful in a situation in which the smartphone 100-2 or the
도 67 및 도 68은 본 발명의 실시예에 따른, 사용자의 선택에 따라 촬영된 영상을 수정하는 방법을 나타내는 순서도이다.67 and 68 are flowcharts illustrating a method of correcting a photographed image according to a user's selection according to an embodiment of the present invention.
도 67을 참조하면, 6701 단계에서 사용자의 디바이스에서 인물이 포함된 영상을 촬영한다. 이때 사용자의 디바이스는 스마트폰, 카메라 또는 태블릿 등과 같이 촬영이 가능한 다양한 디바이스일 수 있다.Referring to FIG. 67, in
6702 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물의 얼굴 인식을 수행한다.In
6703 단계에서 사용자의 디바이스는 촬영된 영상에서 얼굴이 인식된 것을 나타내는 인식 결과를 제공할 수 있다. 예를 들어, 사용자의 디바이스는 인식된 인물에 시각적 피드백이 적용된 화면을 표시할 수 있다. In
6704 단계에서 인식 결과가 제공된 화면이 표시된 상태에서, 사용자의 디바이스는 사용자로부터 보호 처리가 필요한 인물을 선택 받을 수 있다.In a state in which the recognition result screen is displayed in
사용자에 의하여 보호 처리가 필요한 인물이 선택되면, 6705 단계에서, 사용자 디바이스는 선택된 인물에 대한 보호 처리를 수행할 수 있다. 예를 들어, 사용자 디바이스는 선택된 인물이 영상에서 식별될 수 없도록 영상을 수정할 수 있다.If a person requiring protection is selected by the user, in
다른 실시 예로, 도 68을 참조하면, 6801 단계에서 사용자의 디바이스에서 영상을 촬영한다. As another embodiment, referring to FIG. 68, in
6802 단계에서 사용자의 디바이스는 촬영된 영상에 포함된 인물의 얼굴 인식을 수행한다.In
6803 단계에서 사용자의 디바이스는 인식된 얼굴이 촬영이 제한되는 인물인지를 판단할 수 있다. 판단 결과, 인식된 인물이 촬영이 제한되는 인물이면, 6804 단계에서, 사용자의 디바이스는 촬영이 제한되는 인물에 대하여 보호 처리를 수행할 수 있다. 판단 결과, 인식된 인물이 촬영이 제한되지 않는 인물이면, 사용자의 디바이스는 보호 처리를 수행하지 않을 수 있다.In
6805 단계에서, 사용자의 디바이스는 보호 처리가 수행된 인물을 표시할 수 있다. 예를 들어, 사용자의 디바이스는 촬영된 영상에서 인식된 인물에 대응하는 영역에 모자이크 처리를 수행하거나 대체 이미지를 합성하거나 또는 블러 처리를 수행할 수 있다.In
6806 단계에서, 보호 처리가 수행된 인물이 표시된 상태에서, 사용자의 디바이스는 사용자로부터 보호 처리를 해제할 인물을 선택 받을 수 있다. In
보호 처리를 해제할 인물이 선택되면, 6807 단계에서, 사용자의 디바이스는 보호 처리가 수행된 인물에 대하여 보호 처리를 해제할 수 있다. 예를 들어, 사용자의 디바이스는 촬영된 영상에서 선택된 인물에 대응하는 영역에 모자이크 처리를 해제하거나 대체 이미지의 합성을 해제하거나 또는 블러 처리를 해제할 수 있다.
If a person to cancel the protection process is selected, in
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.So far, the present invention has been focused on the preferred embodiments. Those skilled in the art to which the present invention pertains will appreciate that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in terms of explanation, not limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range should be construed as being included in the present invention.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 예컨데 롬, 플로피 디스크, 하드디스크 등과 같은 마그네틱 저장매체, 예컨데 씨디롬, 디브이디 등과 같은 광학적 판독매체, 및 예컨데 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written in a program executable on a computer, and can be implemented on a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium includes, for example, magnetic storage media such as a ROM, floppy disk, or hard disk, optical read media such as CD-ROM, DVD, etc., and storage media such as carrier waves such as transmission via the Internet. .
1000: 사용자 디바이스 1100: 사용자 인터페이스부
1200: 촬영부 1300: 저장부
1400: 통신부 1500: 제어부1000: user device 1100: user interface
1200: recording unit 1300: storage unit
1400: communication unit 1500: control unit
Claims (20)
데이터가 저장되는 저장부; 및
상기 사용자 디바이스에 의해 촬영되거나 또는 상기 사용자 디바이스에 의해 외부로부터 수신한 영상에 포함된 인물을 인식하고, 상기 저장부에 저장된 데이터를 이용하여 상기 인식된 인물이 상기 사용자 디바이스의 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하는 제어부를 포함하고,
상기 제어부는 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우에, 상기 영상을 다른 영상으로 대체하는 사용자 디바이스.For a user device,
A storage unit in which data is stored; And
If a person photographed by the user device or included in an image received from the outside by the user device is recognized, and the recognized person is not related to a user of the user device by using data stored in the storage unit , A control unit for correcting a part of the image corresponding to the recognized person so that the recognized person cannot be identified,
The control unit determines whether a location where the image is photographed is a location where photographing is restricted, and when the photographing is restricted, a user device that replaces the image with another image.
상기 영상을 촬영하는 촬영부를 더 포함하는 사용자 디바이스.The method of claim 1, wherein the user device,
A user device further comprising a photographing unit for photographing the image.
상기 저장부에 저장된 데이터가 주소록인 경우,
상기 제어부는 상기 인식된 인물이 상기 주소록에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 하는 사용자 디바이스.According to claim 1,
When the data stored in the storage unit is an address book,
The control unit determines that the user and the recognized person are not related to each other if the recognized person does not exist in the address book.
상기 저장부에 저장된 데이터가 적어도 하나의 사진인 경우,
상기 제어부는 상기 인식된 인물이 상기 적어도 하나의 사진에 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 하는 사용자 디바이스.According to claim 1,
When the data stored in the storage unit is at least one picture,
The control unit determines that the user and the recognized person are not related to each other if the recognized person does not exist in the at least one picture.
상기 제어부는 상기 저장부에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 것을 특징으로 하는 사용자 디바이스.According to claim 1,
The control unit determines whether the user and the recognized person are related to each other by analyzing the user's social networking service (SNS) record using the data stored in the storage unit.
상기 제어부는 외부 서버의 데이터베이스에 접근하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하는 것을 특징으로 하는 사용자 디바이스.According to claim 1,
The control unit accesses the database of the external server to determine whether the location where the image is captured is a location where the shooting is restricted.
상기 제어부는 상기 영상에서 촬영 제한 사물을 인식하면, 상기 영상이 촬영된 위치를 촬영이 제한되는 위치로 판단하는 것을 특징으로 하는 사용자 디바이스.According to claim 1,
When the control unit recognizes a shooting restriction object in the image, the user device characterized in that it determines the location where the image is captured as a location where the shooting is restricted.
상기 제어부는 상기 영상의 일부에 수정이 필요하다고 판단되면, 상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 것을 특징으로 하는 사용자 디바이스.According to claim 1,
When it is determined that a part of the image needs to be corrected, the control unit performs at least one of mosaic processing, blur processing, background screen synthesis processing, or alternative image synthesis processing on a part of the video. .
상기 영상을 서버로 전송하며 영상 처리를 요청하는 사용자 디바이스; 및
상기 사용자 디바이스로부터 수신된 영상에 포함된 인물을 인식하고, 상기 인식된 인물이 상기 사용자 디바이스의 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 영상의 일부를 수정하고, 상기 사용자 디바이스로 수정된 영상을 전송하고,
미리 저장된 데이터를 이용하여 상기 영상이 촬영된 위치가 촬영이 제한되는 위치인지를 판단하고, 촬영이 제한되는 위치인 경우에, 상기 영상을 다른 영상으로 대체하고, 상기 사용자 디바이스로 상기 다른 영상으로 대체된 영상을 전송하는 서버를 포함하는 시스템.In the system for modifying the image,
A user device that transmits the image to a server and requests image processing; And
If a person included in the image received from the user device is recognized, and the recognized person is not related to the user of the user device, a part of the image corresponding to the recognized person is impossible to identify the recognized person Correcting, transmitting the corrected image to the user device,
Using the pre-stored data, it is determined whether the location where the image is photographed is a location where the photographing is restricted, and if the photographing is restricted, the image is replaced with another image, and the user device is replaced with the other image. System comprising a server that transmits the video.
상기 서버는 상기 사용자 디바이스로부터 상기 영상이 촬영된 시간 및 위치를 수신하고, 미리 저장된 데이터를 이용하여 상기 수신한 시간 및 위치에서 상기 인식된 인물의 촬영이 제한되는지 여부를 판단하는 것을 특징으로 하는 시스템.The method of claim 10,
The server receives the time and location at which the image was taken from the user device, and determines whether or not shooting of the recognized person is restricted at the received time and location using pre-stored data. .
상기 사용자 디바이스는 상기 서버로부터 수신한 암호화 키를 이용하여 상기 영상을 암호화 한 후 상기 서버로 전송하며,
상기 서버는 수신한 영상을 복호화 한 후 상기 영상에 포함된 인물에 대응하는 영상을 수정하는 것을 특징으로 하는 시스템.The method of claim 10,
The user device encrypts the image using the encryption key received from the server and transmits it to the server,
The server decodes the received image and then corrects the image corresponding to the person included in the image.
영상을 촬영하는 촬영부;
상기 촬영부를 이용한 촬영 수행시, 피촬영자의 디바이스로 촬영 통지를 전송하고, 상기 피촬영자에 의해 촬영이 허용되지 않음에 따라 상기 피촬영자의 디바이스로부터 상기 피촬영자의 사진과 촬영 허용 여부 메시지를 수신하는 통신부; 및
상기 촬영 허용 여부 메시지가 촬영 불가 메시지를 나타냄에 따라 상기 촬영부를 통해 촬영된 영상에서 인식된 얼굴과 수신된 상기 피촬영자의 사진을 비교하고, 상기 촬영된 영상에서 상기 피촬영자의 사진과 일치하는 얼굴을 보호처리하기 위해 상기 촬영된 영상을 수정하는 제어부를 포함하는 사용자 디바이스.For a user device,
A photographing unit for photographing an image;
When performing shooting using the photographing unit, a photographing notification is transmitted to a photographed device, and a photograph of the photographed subject and a photographing permission message are received from the photographed device as photographing is not permitted by the photographed photograph Communication department; And
As the message indicating whether or not the shooting is allowed indicates a non-shooting message, a face recognized in the image photographed through the photographing unit is compared with the received photograph of the subject, and a face matching the photograph of the subject in the photographed image The user device including a control unit for modifying the captured image to protect the process.
영상에 포함된 인물을 인식하는 단계;
상기 인식된 인물이 상기 사용자 디바이스의 사용자와 서로 관련이 있는지 여부를 판단하는 단계;
상기 인식된 인물이 상기 사용자와 서로 관련이 없으면, 상기 인식된 인물의 식별이 불가능하도록 상기 인식된 인물에 대응하는 상기 영상의 일부를 수정하는 단계;
상기 영상이 촬영되는 위치가 촬영이 제한되는 위치인지를 판단하는 단계; 및
상기 영상이 촬영되는 위치가 촬영이 제한되는 위치이면, 상기 영상을 다른 영상으로 대체하는 단계를 포함하는 방법.In the method of modifying the image by the user device,
Recognizing a person included in the image;
Determining whether the recognized person is related to a user of the user device;
Modifying a part of the image corresponding to the recognized person so that the recognized person cannot be identified if the recognized person is not related to the user;
Determining whether a location where the image is photographed is a location where photographing is restricted; And
And replacing the image with another image if the location where the image is photographed is a location where photography is restricted.
상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
상기 사용자 디바이스에 저장된 주소록에 상기 인식된 인물이 존재하지 않는 경우, 상기 사용자와 상기 인식된 인물은 서로 관련이 없는 것으로 판단하는 것을 특징으로 하는 방법.The method of claim 15,
Determining whether or not the recognized person is related to the user,
And when the recognized person does not exist in the address book stored in the user device, determining that the user and the recognized person are not related to each other.
상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
상기 사용자 디바이스에 저장된 적어도 하나의 사진에 상기 인식된 인물이 존재하지 않는다면, 상기 사용자와 상기 인식된 인물이 서로 관련이 없는 것으로 판단하는 것을 특징으로 하는 방법.The method of claim 15,
Determining whether or not the recognized person is related to the user,
And if the recognized person does not exist in at least one picture stored in the user device, determining that the user and the recognized person are not related to each other.
상기 인식된 인물이 상기 사용자와 서로 관련이 있는지 여부를 판단하는 단계는,
상기 사용자 디바이스에 저장된 데이터를 이용하여 상기 사용자의 SNS(Social Networking Service) 사용 기록을 분석함으로써 상기 사용자와 상기 인식된 인물이 서로 관련이 있는지 여부를 판단하는 것을 특징으로 하는 방법.The method of claim 15,
Determining whether or not the recognized person is related to the user,
A method characterized by determining whether the user and the recognized person are related to each other by analyzing the user's social networking service (SNS) usage record using data stored in the user device.
상기 영상의 일부를 수정하는 단계는,
상기 영상의 일부에 모자이크 처리, 블러(blur) 처리, 배경화면 합성 처리 또는 대체 이미지 합성 처리 중 적어도 하나를 수행하는 단계를 포함하는 방법.The method of claim 15,
Step of correcting a part of the image,
And performing mosaic processing, blur processing, wallpaper synthesis processing, or alternative image synthesis processing on a part of the image.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15177260.5A EP2981063B1 (en) | 2014-07-31 | 2015-07-17 | Method of modifying image including photographing restricted element, and device for performing the method |
PCT/KR2015/007502 WO2016017975A1 (en) | 2014-07-31 | 2015-07-20 | Method of modifying image including photographing restricted element, and device and system for performing the method |
AU2015297230A AU2015297230B2 (en) | 2014-07-31 | 2015-07-20 | Method of modifying image including photographing restricted element, and device and system for performing the method |
JP2017504398A JP6571160B2 (en) | 2014-07-31 | 2015-07-20 | Method for correcting video including shooting restriction element, device for performing the method, and system |
TW104124006A TWI673682B (en) | 2014-07-31 | 2015-07-24 | Method of modifying image including photographing restricted element, and device and system for performing the method |
CN201510463505.6A CN105323473B (en) | 2014-07-31 | 2015-07-31 | Method, device and system for modifying image including shooting limitation element |
US14/815,440 US9911002B2 (en) | 2014-07-31 | 2015-07-31 | Method of modifying image including photographing restricted element, and device and system for performing the method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20140098652 | 2014-07-31 | ||
KR1020140098652 | 2014-07-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160016553A KR20160016553A (en) | 2016-02-15 |
KR102094509B1 true KR102094509B1 (en) | 2020-03-27 |
Family
ID=55357241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150051133A KR102094509B1 (en) | 2014-07-31 | 2015-04-10 | Method of modifying image including photographing restricted element, device and system for performing the same |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6571160B2 (en) |
KR (1) | KR102094509B1 (en) |
AU (1) | AU2015297230B2 (en) |
TW (1) | TWI673682B (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3514760B1 (en) * | 2018-01-23 | 2020-06-17 | Honda Research Institute Europe GmbH | Method and system for privacy compliant data recording |
US10630866B2 (en) * | 2018-01-28 | 2020-04-21 | Motorola Mobility Llc | Electronic devices and methods for blurring and revealing persons appearing in images |
KR20190096748A (en) * | 2018-02-09 | 2019-08-20 | 삼성전자주식회사 | electronic device and method for correcting image using external electronic device |
US10757323B2 (en) | 2018-04-05 | 2020-08-25 | Motorola Mobility Llc | Electronic device with image capture command source identification and corresponding methods |
US11605242B2 (en) | 2018-06-07 | 2023-03-14 | Motorola Mobility Llc | Methods and devices for identifying multiple persons within an environment of an electronic device |
JP7035886B2 (en) * | 2018-07-30 | 2022-03-15 | トヨタ自動車株式会社 | Image processing device, image processing method |
KR102238939B1 (en) * | 2018-11-29 | 2021-04-14 | 오지큐 주식회사 | Method for Protecting Portrait Right by Using Mobile Device |
WO2020136794A1 (en) * | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | Information processing system, information processing device, information processing method, and program |
KR102256640B1 (en) * | 2019-10-15 | 2021-05-26 | 주식회사 테크포아이 | A system and method for finding the senior memories |
KR20220032867A (en) * | 2020-09-08 | 2022-03-15 | 삼성전자주식회사 | Electronic apparatus and the method thereof |
US11445121B2 (en) | 2020-12-29 | 2022-09-13 | Industrial Technology Research Institute | Movable photographing system and photography composition control method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090216769A1 (en) * | 2008-02-26 | 2009-08-27 | Bellwood Thomas A | Digital Rights Management of Captured Content Based on Criteria Regulating a Combination of Elements |
US20090257589A1 (en) * | 2005-04-25 | 2009-10-15 | Matsushita Electric Industrial Co., Ltd. | Monitoring camera system, imaging device, and video display device |
WO2013098587A1 (en) | 2011-12-27 | 2013-07-04 | Nokia Corporation | Preventing unintentionally violating privacy when sharing and/or publishing content |
JP2014082695A (en) * | 2012-10-18 | 2014-05-08 | Nec Casio Mobile Communications Ltd | Portable terminal device, portable terminal system, control method of portable terminal device, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009147647A (en) * | 2007-12-13 | 2009-07-02 | Sony Corp | Automatic imaging apparatus |
JP2013210828A (en) * | 2012-03-30 | 2013-10-10 | Sony Corp | Information processing apparatus, information processing method, information processing system, and program |
KR101917698B1 (en) * | 2012-09-14 | 2018-11-13 | 엘지전자 주식회사 | Sns system and sns information protecting method thereof |
DE102013019488A1 (en) * | 2012-11-19 | 2014-10-09 | Mace Wolf | PHOTO WITH PROTECTION OF THE PRIVACY |
-
2015
- 2015-04-10 KR KR1020150051133A patent/KR102094509B1/en active IP Right Grant
- 2015-07-20 AU AU2015297230A patent/AU2015297230B2/en not_active Ceased
- 2015-07-20 JP JP2017504398A patent/JP6571160B2/en not_active Expired - Fee Related
- 2015-07-24 TW TW104124006A patent/TWI673682B/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090257589A1 (en) * | 2005-04-25 | 2009-10-15 | Matsushita Electric Industrial Co., Ltd. | Monitoring camera system, imaging device, and video display device |
US20090216769A1 (en) * | 2008-02-26 | 2009-08-27 | Bellwood Thomas A | Digital Rights Management of Captured Content Based on Criteria Regulating a Combination of Elements |
WO2013098587A1 (en) | 2011-12-27 | 2013-07-04 | Nokia Corporation | Preventing unintentionally violating privacy when sharing and/or publishing content |
JP2014082695A (en) * | 2012-10-18 | 2014-05-08 | Nec Casio Mobile Communications Ltd | Portable terminal device, portable terminal system, control method of portable terminal device, and program |
Also Published As
Publication number | Publication date |
---|---|
KR20160016553A (en) | 2016-02-15 |
TWI673682B (en) | 2019-10-01 |
AU2015297230B2 (en) | 2018-10-11 |
JP6571160B2 (en) | 2019-09-04 |
TW201618033A (en) | 2016-05-16 |
AU2015297230A1 (en) | 2017-02-02 |
JP2017533484A (en) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102094509B1 (en) | Method of modifying image including photographing restricted element, device and system for performing the same | |
EP2981063B1 (en) | Method of modifying image including photographing restricted element, and device for performing the method | |
US11334687B2 (en) | Systems and methods for authenticating photographic image data | |
US9350914B1 (en) | Methods of enforcing privacy requests in imaging systems | |
US10165178B2 (en) | Image file management system and imaging device with tag information in a communication network | |
JP6209962B2 (en) | Information processing apparatus and information processing program | |
US11336968B2 (en) | Method and device for generating content | |
EP2973031B1 (en) | Method and apparatus for requesting and providing access to information associated with an image | |
US8498627B2 (en) | Intuitive computing methods and systems | |
WO2016024173A1 (en) | Image processing apparatus and method, and electronic device | |
US20070217680A1 (en) | Digital Image Pickup Device, Display Device, Rights Information Server, Digital Image Management System and Method Using the Same | |
US9141848B2 (en) | Automatic media distribution | |
CN104838642A (en) | Method and apparatus for tagging media with identity of creator or scene | |
KR20100107684A (en) | Picture jointing apparatus and method providing differential picture according to jointing level | |
JPWO2015170409A1 (en) | Imaging apparatus and imaging system | |
JP2024020650A (en) | Imaged data provision system | |
KR101546606B1 (en) | Evidence image processing terminl and method using thereof | |
WO2018092378A1 (en) | Information processing device, information processing method, and program | |
JP5880946B2 (en) | Image processing apparatus, terminal apparatus, image processing method, and program | |
JP2016085594A (en) | Portrait right protection program, information communication apparatus and portrait right protection method | |
JP2022178687A (en) | Information processing apparatus and information processing program | |
KR20140094331A (en) | Apparatus and method for identifying photographer of image | |
Geradts | Image processing and analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |