JP2014089625A - Method of searching for still image or moving image of human in consideration of privacy - Google Patents
Method of searching for still image or moving image of human in consideration of privacy Download PDFInfo
- Publication number
- JP2014089625A JP2014089625A JP2012239806A JP2012239806A JP2014089625A JP 2014089625 A JP2014089625 A JP 2014089625A JP 2012239806 A JP2012239806 A JP 2012239806A JP 2012239806 A JP2012239806 A JP 2012239806A JP 2014089625 A JP2014089625 A JP 2014089625A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- person
- search
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、人物画像の検索装置、人物画像の検索方法、人物画像の検索サービス等に適用される。 The present invention is applied to a person image search device, a person image search method, a person image search service, and the like.
デジタルカメラやデジタルビデオにおいて、人物の顔の位置に露出やピントを合わせるなど、顔認識技術は一般化している。特許文献１、特許文献２、特許文献３、特許文献４、は顔認識及び人物認識に関する技術である。 In digital cameras and digital videos, face recognition technology has become commonplace, such as adjusting the exposure and focus to the position of a person's face. Patent Literature 1, Patent Literature 2, Patent Literature 3, and Patent Literature 4 are techniques relating to face recognition and person recognition.
また、インターネットのサービスでは、画像を登録すると、本人や友人の顔を認識して自動で情報を付与、あるいは付与の補助をするサービスが存在する。これらのサービスの背景には、画像中の顔画像から人物を特定し、既存の画像データ中の人物と照合する技術がある。特許文献５、特許文献６、特許文献７、特許文献８、特許文献９、特許文献１０、特許文献１１、は多数の画像の中から特定の人物を照合する技術である In addition, in the Internet service, there is a service that recognizes the face of a person or a friend and automatically gives information or assists the granting when an image is registered. As a background of these services, there is a technique for identifying a person from a face image in an image and collating it with a person in existing image data. Patent Literature 5, Patent Literature 6, Patent Literature 7, Patent Literature 8, Patent Literature 9, Patent Literature 10, and Patent Literature 11 are techniques for collating a specific person from a large number of images.
また、特許文献１２は画像の中から登録されている複数の人物を一括して抽出する技術が含まれる。
これらの技術を用いることにより、多数の画像の中から特定の人物画像が含まれている写真を効率よく検索することができる。これにより、家族や友人、知人、あるいはコミュニティなどの参加者が持っている画像を共有することができる。
例えば、学校の運動会のように、多数の保護者が多数の競技者を撮影するような場面では、直接面識のない保護者同士が画像を共有することにより、希望する画像を入手する機会は増える。これは共有される画像数が増えれば、希望する画像を入手する機会はより増大する。
Patent Document 12 includes a technique for extracting a plurality of registered persons from an image at once.
By using these techniques, it is possible to efficiently search for a photo including a specific person image from among a large number of images. This makes it possible to share images held by participants such as family members, friends, acquaintances, or communities.
For example, in situations where many parents take pictures of many athletes, such as school athletic meet, parents who are not directly acquainted with each other share more images, thereby increasing the chance of obtaining the desired image. . As the number of images to be shared increases, the opportunity to obtain a desired image increases.
しかしながら、家族や友人・知人の範囲を超えて、多数の人間が画像を供給するような場では、肖像権やプライバシーの問題が存在する。 また、自分の知らない第三者に自分や家族の写真を見られたくない人や、画像を提供したくない人も多く存在する。そのため、プライバシーに配慮した画像検索方法が確立されないかぎり、家族や友人・知人の範囲を超えた大規模コミュニティにおいて、プライバシー保護の必要な画像の共有は事実上困難である。 However, in a place where many people supply images beyond the scope of family, friends and acquaintances, there are problems of portrait rights and privacy. In addition, there are many people who do not want to see photos of themselves or their family by a third party that they do not know, or who do not want to provide images. Therefore, unless a privacy-aware image search method is established, it is practically difficult to share images that need privacy protection in a large-scale community that exceeds the scope of family, friends, and acquaintances.
そこで、本発明は、静止画および動画の検索において、プライバシーに配慮した画像検索方法を得ることを課題とする。 Therefore, an object of the present invention is to obtain an image search method in consideration of privacy in searching for still images and moving images.
請求項１に記載の発明は、画像検索の利用者を登録する利用者登録工程と、静止画または動画を登録する画像登録工程と、利用者が画像検索を行う画像検索工程と、を有する、
演算装置を用いる人物画像検索方法であって、
前記演算装置において、
前記利用者登録工程は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認工程と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録工程と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録工程と、
を有し、
前記画像登録工程は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出工程と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納工程と
を有し、
前記画像検索工程は、
前記利用者登録工程にて登録された検索キーを用いて、前記画像登録工程でデータベースに格納された情報を抽出する人物画像検索工程と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録工程にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工工程と、
を有する、
人物画像検索方法である。
The invention according to claim 1 includes a user registration step for registering a user for image search, an image registration step for registering a still image or a moving image, and an image search step for the user to perform an image search.
A human image search method using an arithmetic device,
In the arithmetic unit,
The user registration process includes:
An identity verification step for confirming the identity of the user for a user who searches for still images and videos;
A facial photo registration step of registering a facial photo of the user himself or a third party who has given permission for facial photo search to the user;
Detecting a facial feature that can identify a person from the facial photograph, and registering facial feature data as a search key;
Have
The image registration step includes
Detecting facial features that can identify a person from human face images captured in still images and videos, person identification information detection process, detected human facial features, and still images and videos to be detected Storing information in the database for specifying the position of the person in the image,
The image search step includes
Using the search key registered in the user registration step, a person image search step for extracting information stored in the database in the image registration step;
Privacy protection that processes an image of a face part other than the person registered by the user in the facial photo registration process on the still image or image from the extracted information so that the user cannot be identified. Processing steps;
Having
This is a person image search method.
以下に請求項１記載の各工程について説明する。 Each process of Claim 1 is demonstrated below.
画像検索の利用者を登録する利用者登録工程は、本人確認工程と、顔写真登録工程と、人物特定情報登録工程により構成される。 The user registration process for registering the user of the image search includes an identity verification process, a face photo registration process, and a person identification information registration process.
本人確認工程では、静止画および動画の検索を行う利用者に対し、利用者本人であることを確認する。これには、ログイン管理、捺印文書の郵送、本人確認の電話など既存の本人確認技術を用いてもよい。これにより、プライバシー保護の障害となる不正利用を防止する。 In the identity verification step, the identity of the user is confirmed to the user who searches for still images and moving images. For this purpose, existing identity verification techniques such as login management, mailing of stamped documents, and identity verification telephones may be used. This prevents unauthorized use that becomes an obstacle to privacy protection.
顔写真登録工程では、利用者本人または、利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する。 In the face photo registration process, the face photo of the user himself or a third party who has given the user permission to search for the face photo is registered.
人物特定情報登録工程は、前記登録した顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する。 In the person identification information registration step, a facial feature capable of identifying a person is detected from the registered facial photograph, and facial feature data is registered as a search key.
これにより、本人やその家族などの顔写真を登録し、その人物と同一人物と判定される画像を検索するキーとすることができる。 As a result, a facial photograph of the person or his / her family can be registered and used as a key for searching for an image determined to be the same person as that person.
静止画または動画を登録する画像登録工程は、人物特定情報検出工程と、画像中人物情報格納工程により構成される。 The image registration process for registering a still image or a moving image includes a person identification information detection process and a person information storage process in the image.
人物特定情報検出工程では、現在保有している、あるいは保有しようとする静止画、及び動画の中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する。 In the person specifying information detecting step, a feature of a face that can specify a person is detected from a still image that is currently held or to be held and a human face image shown in a moving image.
画像中人物情報格納工程では、検出した人物の顔の特徴と、検出対象の前記静止画および動画中の人物の位置を特定する情報を、データベースに格納する。 In the person-in-image information storing step, information for identifying the characteristics of the detected person's face and the position of the person in the still image and moving image to be detected is stored in a database.
これにより、多数の画像が、そこに写っている人物の情報で検索できる状態となる。たとえば多数の人間がコミュニティなどの場に写真を共有するような場合、写真共有時に写っている人物の特徴情報を予め抽出しておくことにより、システムに未登録の顔写真に対しても迅速に照合できる。 Thereby, it will be in the state which can search many images with the information of the person reflected in there. For example, when a large number of people share photos in places such as communities, it is possible to quickly extract facial features that are not registered in the system by extracting in advance the feature information of the person in the photo. Can be verified.
利用者が画像検索を行う画像検索工程は、人物画像検索工程と、プライバシー保護加工工程と、により構成される An image search process in which a user searches for an image includes a person image search process and a privacy protection processing process.
人物画像検索工程は、前記利用者登録工程にて登録された検索キーを用いて、前記画像登録工程でデータベースに格納された情報を抽出する。 In the person image search step, the information stored in the database in the image registration step is extracted using the search key registered in the user registration step.
プライバシー保護加工工程は、前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録工程にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する。 In the privacy protection processing step, the image of the face portion other than the person registered by the user in the face photo registration step cannot be specified for the still image or the image from the extracted information. To process.
図３に画像検索工程のフローチャートを示す。 FIG. 3 shows a flowchart of the image search process.
これにより、自分の顔、家族の顔、許可を与えた知人の顔、など、自分の登録した顔写真の人物が写っている画像を選択的に抽出することができると同時に、利用者が登録した人物以外の顔にプライバシー保護加工を施す。プライバシー保護加工は、顔の部分にボカシを入れる、モザイク処理をする、目の部分を線で塗りつぶすなどの加工が考えられる。
つまり、登録した人物が写っていない画像は検索結果から除外することができ、また、検索結果画像からも、登録した人物以外の顔はプライバシー保護加工がされていて、鮮明な画像としてみることができない。
This makes it possible to selectively extract images of the person's registered facial photo, such as their own face, family face, acquaintance's face, etc. Privacy protection is applied to the faces other than the person who made it. Privacy protection processing can include processing such as blurring the face, mosaic processing, and painting the eyes with lines.
In other words, images that do not show the registered person can be excluded from the search results. Also, from the search result images, faces other than the registered person can be viewed as clear images with privacy protection processing. Can not.
これら一連の工程の組み合わせにより、利用者は登録した顔写真と同一人物と判定される顔画像が写っている画像のみを、プライバシーを保護した状態で検索することができる。 Through a combination of these series of steps, the user can search for only an image that contains a face image that is determined to be the same person as the registered face photo, while protecting privacy.
請求項２に記載の発明は、請求項１の前記画像検索工程は、前記プライバシー保護加工工程で加工した画像を表示する工程、を有する人物画像検索方法、である。 The invention described in claim 2 is a person image search method, wherein the image search step of claim 1 includes a step of displaying an image processed in the privacy protection processing step.
以下に請求項２記載の各工程について説明する。
前記加工した画像を表示する工程では、プライバシー保護加工をした画像を検索結果として表示する工程である。
The steps described in claim 2 will be described below.
The step of displaying the processed image is a step of displaying an image subjected to privacy protection processing as a search result.
例えば、互いの面識のない多数の利用者が多数の画像を共有するような場であっても、個々の利用者はその中から自分が登録した顔が写っている画像のみが鮮明に見える状態で、画像検索結果が表示される。例として、不特定多数の保護者が、学校の運動会の写真を共有しているような場合でも、個々の保護者は自分の子供が写っている写真のみを検索および閲覧できる。 また自分の子供の写真は他の利用者が不正に写真登録をしていない限り、他の利用者からは検索結果に表示されることがないので、プライバシーの保護やセキュリティの向上につながる。 For example, even if a large number of users who are not familiar with each other share a large number of images, each user can clearly see only the image that contains the face that he / she registered. The image search result is displayed. As an example, even when an unspecified number of parents share photos of school athletic meet, each parent can search and view only photos of their children. In addition, unless the other user has illegally registered the photo of his child, the other user will not be displayed in the search result, which leads to privacy protection and security improvement.
請求項３に記載の発明は、請求項１の前記利用者登録工程は、
利用者への連絡手段を登録する、連絡手段登録工程と、
複数の利用者が、前記利用者登録工程にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出工程と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知工程と、
を有する請求項１または２に記載の人物画像検索方法、である。
As for invention of Claim 3, the said user registration process of Claim 1 is:
Registering a means of contacting the user, a means of registering contact means,
A duplicate registration detection step of detecting a fact that a plurality of users registered face images having the same facial features as search keys in the user registration step;
A notification step of notifying all users who have registered the same search key, using the contact means, the occurrence of the fact;
The person image search method according to claim 1, further comprising:
以下に請求項３記載の各工程について説明する。 The steps described in claim 3 will be described below.
連絡手段登録工程では、利用者への連絡手段を登録する。
これは、Eメールアドレス、電話番号、など利用者本人に連絡が取れる連絡先を登録する。
In the contact means registration step, a contact means to the user is registered.
This registers contact information such as an e-mail address, telephone number, etc. that can be contacted by the user.
重複登録検出工程では、複数の利用者が、前記利用者登録工程にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する。
これにより、他人が無許可で他の利用者の写真を登録するなどの不正利用の可能性のある行為を検出できる。
In the duplicate registration detection step, the fact that a plurality of users registered face images having the same facial features as search keys in the user registration step is detected.
As a result, it is possible to detect an action that may be illegally used, such as registration of a photograph of another user without permission by another person.
例えば、ある利用者が自分の写真を登録し、他の利用者が同じ顔写真と判定される写真を登録すると、重複するデータが発生した時点で潜在的な不正利用の可能性を検出できる。 For example, if a user registers his / her photo and another user registers a photo that is determined to be the same face photo, the possibility of potential unauthorized use can be detected when duplicate data occurs.
通知工程では、同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する。
これにより、同一の検索キーを登録した全ての利用者が、自分の登録している顔写真に関する、第三者の利用の状態をチェックできるようになり、さらに不正利用の防止とプライバシー保護に役立つ。
In the notification step, all users who have registered the same search key are notified of the occurrence of the fact using the contact means.
As a result, all users who have registered the same search key can check the status of third-party usage related to their registered facial photos, and further help prevent unauthorized use and protect privacy. .
請求項４に記載の発明は、
画像検索を行う利用者を登録する利用者登録手段と、
静止画または動画を登録する画像登録手段と、
利用者が画像検索を行う画像検索手段と、
を有する人物画像検索装置であって、
前記利用者登録手段は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認手段と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録手段と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録手段と、
を有し、
前記画像登録手段は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出手段と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納手段と
を有し、
前記画像検索手段は、
前記利用者登録手段にて登録された検索キーを用いて、前記画像登録手段でデータベースに格納された情報を抽出する人物画像検索手段と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録手段にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工手段と、
を有する、
人物画像検索装置
である
これは、請求項１に記載の方法を実装した装置である。
The invention according to claim 4
A user registration means for registering a user for image search;
Image registration means for registering still images or moving images;
An image search means for a user to perform an image search;
A person image search device having
The user registration means includes:
Identity verification means for confirming the identity of the user to a user who searches for still images and videos;
A facial photo registration means for registering a facial photo of the user himself or a third party who has given the user permission to search for facial photos;
A person identifying information registering means for detecting a facial feature capable of identifying a person from the facial photograph and registering facial feature data as a search key;
Have
The image registration means
Human identification information detection means that detects human face features that can be identified from human face images in still images and moving images, detected human face features, and detection target still images and moving images Information for specifying the position of the person in the image is stored in the database,
The image search means includes
Using a search key registered by the user registration means, a person image search means for extracting information stored in a database by the image registration means;
Privacy protection that processes the image of the face portion other than the person registered by the face photo registration means for the still image or image from the extracted information so that the user cannot be identified. Processing means;
Having
This is a person image search apparatus, which is an apparatus in which the method according to claim 1 is implemented.
請求項５に記載の発明は、
請求項４の前記画像検索手段は、前記プライバシー保護加工手段で加工した画像を表示する手段、
を有する人物画像検索装置、
である。
これは、請求項２に記載の方法を実装した装置である。
The invention described in claim 5
The image search means of claim 4 is means for displaying an image processed by the privacy protection processing means,
A person image search device having
It is.
This is an apparatus in which the method according to claim 2 is implemented.
請求項６に記載の発明は、
請求項４の前記利用者登録手段は、
利用者への連絡手段を登録する、連絡手段登録手段と、
複数の利用者が、前記利用者登録手段にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出手段と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知手段と、
を有する請求項４または５に記載の人物画像検索装置、
である。
これは、請求項３に記載の方法を実装した装置である。
The invention described in claim 6
The user registration means of claim 4 comprises:
A means for registering means for registering means for contacting the user;
A plurality of users detecting the fact that the user registration means registered the face image having the same facial feature as a search key in the user registration means;
Notifying means for notifying the occurrence of the fact to all users who have registered the same search key using the contact means;
The person image search device according to claim 4, comprising:
It is.
This is an apparatus in which the method according to claim 3 is implemented.
本発明による人物画像検索方法では、画像検索利用者数、画像の供給者数、および画像数にかかわらず、利用者は利用者が登録した人物が写っている画像のみを検索し、またそれ以外の人物の画像にはプライバシー加工がなされることにより、プライバシーに配慮した人物画像の検索が実現できる。 In the person image search method according to the present invention, regardless of the number of image search users, the number of image suppliers, and the number of images, the user searches only for images in which the person registered by the user is shown. Privacy processing is performed on the person's image, so that it is possible to search for a person image in consideration of privacy.
最良の実施形態として、以下の実施例を挙げる。
なお、以下の例は最良の実施形態と思われる実施例の一つであり、発明の本質ではない。
The following example is given as the best mode.
The following example is one of the examples considered to be the best mode and is not the essence of the invention.
実施例として、小中学校の運動会で保護者が撮影した写真を共有し、利用者それぞれが自分の子が写っている写真を探すというシステムを例に挙げる。
図１に本システムの検索部分の概念図を示す。
As an example, a system in which a photograph taken by a parent at an elementary and junior high school athletic meet is shared, and each user searches for a photograph in which his / her child is photographed is taken as an example.
FIG. 1 shows a conceptual diagram of the search part of this system.
１．利用者登録
利用者は利用者登録を行う。登録では、身分証明書の提示、署名捺印した申込書の郵送、電話による確認など、なんらかの確認手段を用いて、本人確認を行う。
この例の場合では、保護者が自分の子の写真を検索するが、これは保護者に検索の許可が与えられているとみなす。利用者である保護者は、検索したい顔写真、つまり自分の子の写真を検索登録画像として登録する。
1. User registration The user performs user registration. In registration, identity verification is performed using some means of confirmation, such as presenting an identification card, mailing an application form signed and sealed, and confirmation by telephone.
In this example, the guardian searches for a picture of his child, which is considered to be granted search permission. A guardian who is a user registers a face photograph to be searched, that is, a photograph of his child as a search registration image.
システムは登録された子の写真から、人物特定可能な顔の特徴を検出し、利用者のデータとして保管しておく。この登録された子の写真が検索のキーとなる。
図１に例として、利用者Aと利用者Bが登録されており、利用者AおよびBは、それぞれ自分の子の写真を検索登録画像として登録してある状態を図示している。
なお、図１には記載していないが、利用者AおよびBの検索登録画像から人物を特定可能な情報が抽出され、利用者それぞれと紐づいたデータとして保管されている。
The system detects facial features that can identify a person from registered child photographs and stores them as user data. This registered child photo is the key to search.
As an example in FIG. 1, a user A and a user B are registered, and each of the users A and B has registered their child photos as search registration images.
Although not shown in FIG. 1, information that can identify a person is extracted from the search and registration images of the users A and B, and is stored as data associated with each user.
また、利用者登録の際は、連絡方法を登録しておくことにより、不正利用を検出した場合などの警告や連絡に使うことができる。
図２は、利用者Bが利用者Aの子の写真を不正に登録しようとし、システムが利用者A、およびB両方に不正利用の疑いを通知する図である。
In addition, when registering a user, by registering a contact method, it can be used for warning or communication when unauthorized use is detected.
FIG. 2 is a diagram in which user B attempts to illegally register a picture of child of user A, and the system notifies both user A and B of a suspected unauthorized use.
２．画像の共有
利用者本人、あるいは他の利用者が、特定の運動会等で撮影した写真をシステムにアップロードする。
この際、システムでは、個々の写真中の人物の顔写真から、人物を特定可能な顔の特徴を検出し、データベースに格納する。
図１では、不特定多数の利用者がアップロードした画像が画像ストレージにある状態が示されている。なお、図1には書かれていないが、アップロードされた各画像からは、写っている人物を特定可能な情報が抽出され、それぞれの画像と紐づいた情報として、データベースに保管されている。
2. An image sharing user himself / herself or another user uploads a photograph taken at a specific athletic meet to the system.
At this time, the system detects a facial feature that can identify a person from a facial photograph of the person in each photograph and stores it in the database.
FIG. 1 shows a state where images uploaded by an unspecified number of users are in the image storage. Although not shown in FIG. 1, information that can identify the person in the image is extracted from each uploaded image and stored in the database as information associated with each image.
３．画像の検索
利用者が検索を実行すると、利用者が登録した自分の子の特徴情報を含む画像がデータベースより検索される。
検索結果は画面に表示されてもよい。
これにより利用者は、自分の子が写っていない写真は省いて、自分の子が写っている写真のみを検索することができる。
この際、登録した自分の子以外の顔は、モザイクをかけるなどのプライバシー保護加工がされている。
3. When an image search user performs a search, an image including feature information of his / her child registered by the user is searched from the database.
The search result may be displayed on the screen.
As a result, the user can search for only photos in which his / her child is shown, omitting photos in which his / her child is not shown.
At this time, the faces other than the registered child are subjected to privacy protection processing such as mosaic.
図１では、利用者A、およびBそれぞれによる検索結果表示の概念図が示されている。それぞれ、検索登録画像が写っている写真のみが検索され、検索登録画像が写っていない写真は検索結果には現れない。検索・表示された写真でも、検索登録画像の人物以外の顔には、プライバシー保護加工が行われた状態で表示されている図が示されている。
つまり、利用者が自分の子以外が写っている写真をアップロードしても、自分の子の顔は他の利用者からはプライバシー加工されていて鮮明には見えないので、安心して画像を共有できる。
利用者の子以外の第三者が写っていて、それが他の特定の利用者の検索キーと一致する場合は、それは他の特定の利用者のみが顔を見ることができる。
FIG. 1 shows a conceptual diagram of search result display by users A and B, respectively. In each case, only the photos that contain the search registration image are searched, and the photos that do not contain the search registration image do not appear in the search results. Even in the searched / displayed picture, the face other than the person in the search registered image is displayed in a state where privacy protection processing is performed.
In other words, even if a user uploads a photo that shows something other than their child, their child's face is privacy-processed by other users and is not clearly visible, so you can share images with peace of mind. .
If a third party other than the user's child is shown and it matches the search key of another specific user, it can only be seen by the other specific user.
４．なりすましなどの防止
他の利用者が、別の利用者の子供の写真を勝手に検索登録するような不正があった場合、不正登録された人物が既に検索キー登録されている場合、あるいは後から正統な利用者が検索キー登録した場合には、検索キー登録情報の重複が発生する。
この重複の発生を、同じ重複キーを登録した利用者に通知することにより、写真を不正登録された利用者は不正利用をしたと思われる利用者に警告を送ることができる。
4). Prevention of impersonation, etc. When another user has an illegal act of searching and registering a picture of another user's child without permission, the illegally registered person has already been registered as a search key, or later When a legitimate user registers a search key, duplication of search key registration information occurs.
By notifying the user who has registered the same duplicate key of the occurrence of this duplication, the user who has illegally registered the photo can send a warning to the user who seems to have used the photo illegally.
Claims (6)
静止画または動画を登録する画像登録工程と、
利用者が画像検索を行う画像検索工程と、
を有する、
演算装置を用いる人物画像検索方法であって、
前記演算装置において、
前記利用者登録工程は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認工程と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録工程と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録工程と、
を有し、
前記画像登録工程は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出工程と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納工程と
を有し、
前記画像検索工程は、
前記利用者登録工程にて登録された検索キーを用いて、前記画像登録工程でデータベースに格納された情報を抽出する人物画像検索工程と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録工程にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工工程と、
を有する、
人物画像検索方法。 A user registration process for registering image search users;
An image registration process for registering still images or videos;
An image search process in which the user searches for images;
Having
A human image search method using an arithmetic device,
In the arithmetic unit,
The user registration process includes:
An identity verification step for confirming the identity of the user for a user who searches for still images and videos;
A facial photo registration step of registering a facial photo of the user himself or a third party who has given permission for facial photo search to the user;
Detecting a facial feature that can identify a person from the facial photograph, and registering facial feature data as a search key;
Have
The image registration step includes
Detecting facial features that can identify a person from human face images captured in still images and videos, person identification information detection process, detected human facial features, and still images and videos to be detected Storing information in the database for specifying the position of the person in the image,
The image search step includes
Using the search key registered in the user registration step, a person image search step for extracting information stored in the database in the image registration step;
Privacy protection that processes an image of a face part other than the person registered by the user in the facial photo registration process on the still image or image from the extracted information so that the user cannot be identified. Processing steps;
Having
People image search method.
を有する人物画像検索方法。 The image search step according to claim 1, wherein the image processed in the privacy protection processing step is displayed.
A person image search method comprising:
利用者への連絡手段を登録する、連絡手段登録工程と、
複数の利用者が、前記利用者登録工程にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出工程と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知工程と、
を有する請求項１または２に記載の人物画像検索方法。 The user registration process according to claim 1 comprises:
Registering a means of contacting the user, a means of registering contact means,
A duplicate registration detection step of detecting a fact that a plurality of users registered face images having the same facial features as search keys in the user registration step;
A notification step of notifying all users who have registered the same search key, using the contact means, the occurrence of the fact;
The person image search method according to claim 1, further comprising:
静止画または動画を登録する画像登録手段と、
利用者が画像検索を行う画像検索手段と、
を有する人物画像検索装置であって、
前記利用者登録手段は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認手段と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録手段と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録手段と、
を有し、
前記画像登録手段は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出手段と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納手段と
を有し、
前記画像検索手段は、
前記利用者登録手段にて登録された検索キーを用いて、前記画像登録手段でデータベースに格納された情報を抽出する人物画像検索手段と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録手段にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工手段と、
を有する、
人物画像検索装置。 A user registration means for registering a user for image search;
Image registration means for registering still images or moving images;
An image search means for a user to perform an image search;
A person image search device having
The user registration means includes:
Identity verification means for confirming the identity of the user to a user who searches for still images and videos;
A facial photo registration means for registering a facial photo of the user himself or a third party who has given the user permission to search for facial photos;
A person identifying information registering means for detecting a facial feature capable of identifying a person from the facial photograph and registering facial feature data as a search key;
Have
The image registration means
Human identification information detection means that detects human face features that can be identified from human face images in still images and moving images, detected human face features, and detection target still images and moving images Information for specifying the position of the person in the image is stored in the database,
The image search means includes
Using a search key registered by the user registration means, a person image search means for extracting information stored in a database by the image registration means;
Privacy protection that processes the image of the face portion other than the person registered by the face photo registration means for the still image or image from the extracted information so that the user cannot be identified. Processing means;
Having
Human image search device.
を有する人物画像検索装置。 The image search means of claim 4 is means for displaying an image processed by the privacy protection processing means,
A person image retrieval apparatus having
利用者への連絡手段を登録する、連絡手段登録手段と、
複数の利用者が、前記利用者登録手段にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出手段と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知手段と、
を有する請求項４または５に記載の人物画像検索装置。
The user registration means of claim 4 comprises:
A means for registering means for registering means for contacting the user;
A plurality of users detecting the fact that the user registration means registered the face image having the same facial feature as a search key in the user registration means;
Notifying means for notifying the occurrence of the fact to all users who have registered the same search key using the contact means;
The person image search device according to claim 4 or 5, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012239806A JP2014089625A (en) | 2012-10-31 | 2012-10-31 | Method of searching for still image or moving image of human in consideration of privacy |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012239806A JP2014089625A (en) | 2012-10-31 | 2012-10-31 | Method of searching for still image or moving image of human in consideration of privacy |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014089625A true JP2014089625A (en) | 2014-05-15 |
Family
ID=50791475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012239806A Pending JP2014089625A (en) | 2012-10-31 | 2012-10-31 | Method of searching for still image or moving image of human in consideration of privacy |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014089625A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101621723B1 (en) * | 2015-02-13 | 2016-05-19 | 경일대학교산학협력단 | Apparatus for processing picture adapted to protect privacy based on face recognition, method thereof and computer recordable medium storing the method |
| JP2016143338A (en) * | 2015-02-04 | 2016-08-08 | 富士フイルム株式会社 | Image display control device, image display control method, image display control program, and recording medium storing the program |
| DE102015103121A1 (en) | 2015-03-04 | 2016-09-08 | Omid SULTANI | METHOD AND SYSTEM FOR COMPUTER-BASED SAFE COMMUNICATION BETWEEN DATA PROCESSING UNITS |
| WO2017034225A1 (en) * | 2015-08-21 | 2017-03-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of transforming content thereof |
| JP2017167957A (en) * | 2016-03-17 | 2017-09-21 | 日本電信電話株式会社 | Image processing device and image processing method |
| WO2019193708A1 (en) * | 2018-04-05 | 2019-10-10 | 三菱電機株式会社 | Moving image-providing device and moving image-providing method |
| CN110572604A (en) * | 2019-09-27 | 2019-12-13 | 上海依图网络科技有限公司 | Imaging system and video processing method |
| CN110620891A (en) * | 2019-09-27 | 2019-12-27 | 上海依图网络科技有限公司 | Imaging system and video processing method |
| CN110674765A (en) * | 2019-09-27 | 2020-01-10 | 上海依图网络科技有限公司 | Imaging system and video processing method |
| US20200234060A1 (en) * | 2019-01-17 | 2020-07-23 | Nec Corporation | Image processing device and image processing method |
-
2012
- 2012-10-31 JP JP2012239806A patent/JP2014089625A/en active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016143338A (en) * | 2015-02-04 | 2016-08-08 | 富士フイルム株式会社 | Image display control device, image display control method, image display control program, and recording medium storing the program |
| WO2016125418A1 (en) * | 2015-02-04 | 2016-08-11 | 富士フイルム株式会社 | Image display control device, image display control method, image display control program, and recording medium which stores program |
| US10572111B2 (en) | 2015-02-04 | 2020-02-25 | Fujifilm Corporation | Image display control device, image display control method, image display control program, and recording medium having the program stored thereon |
| CN107209772A (en) * | 2015-02-04 | 2017-09-26 | 富士胶片株式会社 | Image display control apparatus, image display control method, image display control program and storage have the recording medium of the program |
| US20170308254A1 (en) * | 2015-02-04 | 2017-10-26 | Fujifilm Corporation | Image display control device, image display control method, image display control program, and recording medium having the program stored thereon |
| KR101621723B1 (en) * | 2015-02-13 | 2016-05-19 | 경일대학교산학협력단 | Apparatus for processing picture adapted to protect privacy based on face recognition, method thereof and computer recordable medium storing the method |
| DE102015103121A1 (en) | 2015-03-04 | 2016-09-08 | Omid SULTANI | METHOD AND SYSTEM FOR COMPUTER-BASED SAFE COMMUNICATION BETWEEN DATA PROCESSING UNITS |
| US9521135B2 (en) | 2015-03-04 | 2016-12-13 | Omid SULTANI | Method and system for a computer-based, secured communication between data processing units |
| WO2017034225A1 (en) * | 2015-08-21 | 2017-03-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of transforming content thereof |
| US10671745B2 (en) | 2015-08-21 | 2020-06-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of transforming content thereof |
| US11423168B2 (en) | 2015-08-21 | 2022-08-23 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of transforming content thereof |
| JP2017167957A (en) * | 2016-03-17 | 2017-09-21 | 日本電信電話株式会社 | Image processing device and image processing method |
| WO2019193708A1 (en) * | 2018-04-05 | 2019-10-10 | 三菱電機株式会社 | Moving image-providing device and moving image-providing method |
| US20200234060A1 (en) * | 2019-01-17 | 2020-07-23 | Nec Corporation | Image processing device and image processing method |
| JP2020115607A (en) * | 2019-01-17 | 2020-07-30 | 日本電気株式会社 | Image processing device, image processing method, and program |
| US11144768B2 (en) | 2019-01-17 | 2021-10-12 | Nec Corporation | Image processing device and image processing method |
| CN110674765A (en) * | 2019-09-27 | 2020-01-10 | 上海依图网络科技有限公司 | Imaging system and video processing method |
| CN110620891A (en) * | 2019-09-27 | 2019-12-27 | 上海依图网络科技有限公司 | Imaging system and video processing method |
| CN110572604A (en) * | 2019-09-27 | 2019-12-13 | 上海依图网络科技有限公司 | Imaging system and video processing method |
| CN110620891B (en) * | 2019-09-27 | 2023-04-07 | 上海依图网络科技有限公司 | Imaging system and video processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014089625A (en) | Method of searching for still image or moving image of human in consideration of privacy | |
| Eiband et al. | Understanding shoulder surfing in the wild: Stories from users and observers | |
| US9350914B1 (en) | Methods of enforcing privacy requests in imaging systems | |
| US20180324177A1 (en) | Smart wearable devices | |
| Acquisti et al. | Face recognition and privacy in the age of augmented reality | |
| Lynch | Face off: Law enforcement use of face recognition technology | |
| Kemp et al. | Improving unfamiliar face matching by masking the external facial features | |
| McClellan | Facial recognition technology: balancing the benefits and concerns | |
| Senior et al. | Privacy protection and face recognition | |
| Fretty | Face-recognition surveillance: a moment of truth for fourth amendment rights in public places | |
| Welinder | Facing real-time identification in mobile apps & wearable computers | |
| JP2019057880A (en) | Imaging device, image processing system, image processing program, retrieval program and photographic program | |
| Rengel | Privacy-invading technologies and recommendations for designing a better future for privacy rights | |
| Gissell | Felony count 1: Indecent disclosure | |
| Wong et al. | A privacy-preserving framework for surveillance systems | |
| Sarpu | Google: The endemic threat to privacy | |
| Carrero | Biometrics and Federal Databases: Could You Be in It | |
| Blount | Body worn cameras with facial recognition technology: when it constitutes a search | |
| Davis | Face Time | |
| Tucker | How facial recognition technology came to be | |
| Loll | Two Case Studies of Automated Fingerprint Identifications Using Cellular Phone Photographs | |
| US20160306959A1 (en) | Method of authentication | |
| Michael | Redefining surveillance: Implications for privacy, security, trust and the law | |
| Yan | Novel security and privacy perspectives of camera fingerprints (transcript of discussion) | |
| Grover | Technology: a tangible threat to our privacy |