JP2021043525A - Image processing apparatus and image search method - Google Patents

Image processing apparatus and image search method Download PDF

Info

Publication number
JP2021043525A
JP2021043525A JP2019163070A JP2019163070A JP2021043525A JP 2021043525 A JP2021043525 A JP 2021043525A JP 2019163070 A JP2019163070 A JP 2019163070A JP 2019163070 A JP2019163070 A JP 2019163070A JP 2021043525 A JP2021043525 A JP 2021043525A
Authority
JP
Japan
Prior art keywords
image
search
face
sales
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019163070A
Other languages
Japanese (ja)
Other versions
JP7395888B2 (en
Inventor
亜紗実 横山
Asami Yokoyama
亜紗実 横山
晃司 大津
Koji Otsu
晃司 大津
宮本　大輔
Daisuke Miyamoto
大輔 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2019163070A priority Critical patent/JP7395888B2/en
Publication of JP2021043525A publication Critical patent/JP2021043525A/en
Application granted granted Critical
Publication of JP7395888B2 publication Critical patent/JP7395888B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To easily set a face to be used for face search and efficiently search for an image including one or more target persons.SOLUTION: An image processing apparatus includes: a communication unit which transmits data on a plurality of sales images to an analysis terminal; an image receiving unit which receives a search image including a plurality of persons including a person to be searched, from a user terminal; a clipping unit which clips face images of the persons from the search image; a search condition setting unit which receives settings for a search condition including selection of a face image to be used for face search of the sales images, out of face images of the persons, from the user terminal, and transmits the selected face image to the analysis terminal; a similar image information receiving unit which receives similar image information indicating a sales image including a face similar to the selected face image, from the analysis terminal; and a browsing page generation unit which generates a browsing page including a list of search results, by use of the similar image information and the data on the sales image, and transmits the browsing page to the user terminal.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置及び画像検索方法に関する。 The present invention relates to an image processing apparatus and an image retrieval method.

マラソンやスポーツ大会、学校行事等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの写真を選択して購入することができる。購入した画像は、データがダウンロード可能となったり、印刷物が顧客へ配送されたりする。 A service that sells photographs taken by professional photographers at events such as marathons, sports competitions, and school events is known. Image data taken by a professional photographer is uploaded to a photo sales system via a network. Customers can browse the uploaded images and select and purchase their favorite photos. Data of purchased images can be downloaded, and printed matter is delivered to customers.

顧客は、写真販売システムに掲載されている大量の画像の中から、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。 The customer had to find an image of himself or his family from a large number of images posted on the photo sales system, which was troublesome to order.

大量の画像の中から所望の画像を抽出するための手法の１つとして、顔検索機能が知られている。この顔検索機能では、まず、ユーザが、自分自身が写っている画像を写真販売システムにアップロードする。写真販売システムは、ユーザからアップロードされた画像に写っている顔を検出し、検出した顔に類似している顔を含む画像を、販売中の画像から検索する。これにより、ユーザは、自分が写っている画像（自分に似た顔が写っている画像）を容易に見つけ出すことができる。 A face search function is known as one of the methods for extracting a desired image from a large number of images. In this face search function, the user first uploads an image of himself / herself to the photo sales system. The photo sales system detects the face in the image uploaded by the user, and searches the images for sale for an image including a face similar to the detected face. As a result, the user can easily find an image in which he / she is shown (an image in which a face similar to himself / herself is shown).

しかし、顔検索用に写真販売システムにアップロードするための、自分だけが写っている画像を準備することが難しい場合があった。また、親子や兄弟など、複数人を同時に顔検索することが困難であった。 However, it was sometimes difficult to prepare an image showing only oneself for uploading to a photo sales system for face search. In addition, it was difficult to search the faces of multiple people such as parents and children and siblings at the same time.

特開２０１４−１０７８８号公報Japanese Unexamined Patent Publication No. 2014-10788 特開２００１−３２５０８２号公報Japanese Unexamined Patent Publication No. 2001-325802

本発明は、顔検索に用いる顔の設定が容易であり、一又は複数の対象人物が写っている画像を効率良く検索できる画像処理装置及び画像検索方法を提供することを課題とする。 An object of the present invention is to provide an image processing device and an image search method that can easily set a face to be used for face search and can efficiently search for an image in which one or a plurality of target persons are captured.

本発明の画像処理装置は、複数の販売画像のデータを記憶する記憶部と、前記複数の販売画像のデータを解析端末へ送信する通信部と、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信する画像受信部と、前記検索用画像から前記複数の人物の顔画像を切り出す切出部と、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信する検索条件設定部と、前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、を備えるものである。 The image processing device of the present invention includes a storage unit that stores data of a plurality of sales images, a communication unit that transmits the data of the plurality of sales images to an analysis terminal, and a search in which a plurality of persons including a search target person are captured. The image receiving unit that receives the image for use from the user terminal, the cutout unit that cuts out the face image of the plurality of persons from the search image, and the sales image among the face images of the plurality of persons from the user terminal. The search condition setting unit that accepts the setting of the search condition including the selection of the face image used for the face search and transmits the selected face image to the analysis terminal is similar to the selected face image from the analysis terminal. Using the similar image information receiving unit that receives similar image information indicating a sales image including a face, the similar image information, and the data of the sales image, a browsing page including a search result list is generated, and the browsing page is referred to as the above. It includes a browsing page generation unit for transmitting to a user terminal.

本発明の一態様では、前記検索条件設定部は、前記ユーザ端末から、前記販売画像の顔検索に用いる顔画像として複数の顔画像の選択を受け付けた場合、選択された複数の顔画像の全てが写っている販売画像を検索するＡＮＤ検索を行うか、又は選択された複数の顔画像の少なくとも１つが写っている販売画像を検索するＯＲ検索を行うかの検索方法の設定を受け付ける。 In one aspect of the present invention, when the search condition setting unit receives selection of a plurality of face images as face images used for face search of the sales image from the user terminal, all of the selected face images are selected. Accepts the setting of the search method whether to perform an AND search for searching for a sales image in which is shown, or an OR search for searching for a sales image in which at least one of a plurality of selected face images is shown.

本発明の一態様では、前記検索用画像を前記解析端末へ送信する画像送信部と、前記解析端末から、前記検索用画像内の顔の位置を示す顔座標を受信する顔座標受信部と、をさらに備え、前記切出部は、前記顔座標に基づいて、前記検索用画像から前記複数の人物の顔画像を切り出す。 In one aspect of the present invention, an image transmitting unit that transmits the search image to the analysis terminal, a face coordinate receiving unit that receives face coordinates indicating the position of a face in the search image from the analysis terminal, and a face coordinate receiving unit. The cutout portion further cuts out the face images of the plurality of persons from the search image based on the face coordinates.

本発明の画像検索方法は、複数の販売画像のデータを解析端末へ送信するステップと、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信するステップと、前記検索用画像から前記複数の人物の顔画像を切り出すステップと、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信するステップと、前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信するステップと、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、をサーバが実行するものである。 The image search method of the present invention includes a step of transmitting data of a plurality of sales images to an analysis terminal, a step of receiving a search image showing a plurality of persons including a search target person from a user terminal, and the search image. The step of cutting out the face images of the plurality of persons from the user terminal and the setting of the search condition including the selection of the face image used for the face search of the sales image among the face images of the plurality of persons are received and selected from the user terminal. A step of transmitting the obtained face image to the analysis terminal, a step of receiving similar image information indicating a sales image including a face similar to the selected face image from the analysis terminal, the similar image information, and the above-mentioned The server executes a step of generating a browsing page including a search result list using the data of the sales image and transmitting the browsing page to the user terminal.

本発明によれば、顔検索に用いる顔を容易に設定でき、一又は複数の対象人物が写っている画像を効率良く検索できる。 According to the present invention, the face used for the face search can be easily set, and an image showing one or a plurality of target persons can be efficiently searched.

本発明の実施形態に係る画像販売システムの概略図である。It is the schematic of the image sales system which concerns on embodiment of this invention. 同実施形態に係るサーバの概略構成図である。It is a schematic block diagram of the server which concerns on the same embodiment. 画像処理プログラムを実行することで実現される機能ブロック図である。It is a functional block diagram realized by executing an image processing program. 画像販売方法を説明するフローチャートである。It is a flowchart explaining the image selling method. 検索用にユーザがアップロードする画像の例を示す図である。It is a figure which shows the example of the image which the user uploads for a search. 検索対象設定画面の例を示す図である。It is a figure which shows the example of the search target setting screen.

以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページをユーザ端末４へ配信する画像処理装置としてのサーバ１、販売画像を登録するために使用される登録端末２、画像の解析を行う解析端末３などを有する。販売する画像は、例えば、プロカメラマン等が、スポーツ大会や学校行事等のイベントを撮影した画像である。画像を購入するユーザは、イベントに参加した本人や参加者の親などである。 FIG. 1 is a schematic view of an image sales system according to an embodiment of the present invention. The image sales system includes a server 1 as an image processing device that distributes a viewing page of a sales image to a user terminal 4, a registration terminal 2 used for registering a sales image, an analysis terminal 3 that analyzes an image, and the like. .. The images to be sold are, for example, images taken by a professional photographer or the like of an event such as a sports competition or a school event. The user who purchases the image is the person who participated in the event or the parent of the participant.

ユーザは、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。大量の販売画像の中から、自分自身や家族等が写っている画像を探し出すのは手間がかかるため、ユーザは、自分や家族等の検索したい人（検索対象人物）が写っている画像をアップロードし、顔検索により、販売画像の中から、検索対象人物が写っている画像を絞り込む。この顔検索処理の詳細については、後述する。 The user selects a favorite image from the browsing page using the user terminal 4 such as a smartphone or a PC, and when the payment process is performed, the user downloads the image data of the sales image or orders the printed matter. Can be done. Since it takes time to find an image of yourself or your family from a large number of sales images, the user uploads an image of the person you want to search for, such as yourself or your family (the person to be searched). Then, by face search, the images showing the person to be searched are narrowed down from the sales images. The details of this face search process will be described later.

サーバ１は、プリント物の注文を受け付けると、購入された画像のデータを工場５へ送信する。工場５で製造されたプリント物６は顧客の元へ配送される。プリント物６は、例えば、写真、ポスター、フォトブック、マグカップ等である。 When the server 1 receives the order for the printed matter, the server 1 transmits the data of the purchased image to the factory 5. The printed matter 6 manufactured in the factory 5 is delivered to the customer. The printed matter 6 is, for example, a photograph, a poster, a photo book, a mug, or the like.

図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。 As shown in FIG. 2, the server 1 is a computer having a CPU 10 (central processing unit), a storage unit 11, a communication unit 12, and the like.

通信部１２は、登録端末２、解析端末３、ユーザ端末４等との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。また、通信部１２は、登録端末２から、販売する画像に関連するイベントの名称等の情報を受信し、画像データと対応付けて記憶部１１に格納する。また、通信部１２は、販売画像のデータを解析端末３へ送信する。 The communication unit 12 performs communication processing with the registration terminal 2, the analysis terminal 3, the user terminal 4, and the like, and transmits / receives data. The communication unit 12 receives the image data to be sold from the registration terminal 2 and stores it in the storage unit 11. Further, the communication unit 12 receives information such as the name of an event related to the image to be sold from the registration terminal 2, and stores the information in the storage unit 11 in association with the image data. Further, the communication unit 12 transmits the data of the sales image to the analysis terminal 3.

通信部１２は、販売画像の閲覧ページをユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から購入画像の選択を受け付けたり、決済情報を受信したりする。 The communication unit 12 transmits the viewing page of the sales image to the user terminal 4. In addition, the communication unit 12 accepts the selection of the purchased image from the user terminal 4 and receives the payment information.

記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク等の組み合わせであり、販売画像の画像データ、及び画像処理プログラム等を記憶する。 The storage unit 11 is a combination of a flash memory, a ROM (Read-only Memory), a RAM (Random Access Memory), a hard disk, and the like, and stores image data of sales images, an image processing program, and the like.

ＣＰＵ１０が画像処理プログラムを実行することで、図３に示すように、閲覧ページ生成部１０１、画像受信部１０２、画像送信部１０３、顔座標受信部１０４、切出部１０５、検索条件設定部１０６及び類似画像情報受信部１０７が実現される。各部の機能は後述する。 When the CPU 10 executes the image processing program, as shown in FIG. 3, the browsing page generation unit 101, the image receiving unit 102, the image transmitting unit 103, the face coordinate receiving unit 104, the cutting unit 105, and the search condition setting unit 106 And the similar image information receiving unit 107 is realized. The functions of each part will be described later.

次に、この画像販売システムを用いた画像検索処理を含む画像販売方法を図４に示すフローチャートに沿って説明する。 Next, an image sales method including an image search process using this image sales system will be described with reference to the flowchart shown in FIG.

ユーザがユーザ端末４を用いてサーバ１にアクセスすると、閲覧ページ生成部１０１が販売画像の一覧画面やイベント名を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１）。この閲覧ページには顔検索用の画像アップロードボタンが含まれており、ユーザが画像アップロードボタンを押すと、ユーザ端末４内に保存されている画像がアップロードできるようになる。ユーザは、ユーザ端末４内に保存されている、検索対象人物が写っている検索用画像をアップロードする（ステップＳ２）。ユーザ端末４に内蔵されたカメラを起動して画像を撮影し、その画像をアップロードしてもよい。 When the user accesses the server 1 using the user terminal 4, the browsing page generation unit 101 generates a browsing page including a list screen of sales images and an event name, and transmits the browsing page to the user terminal 4 (step S1). This browsing page includes an image upload button for face search, and when the user presses the image upload button, the image stored in the user terminal 4 can be uploaded. The user uploads a search image that shows the person to be searched, which is stored in the user terminal 4 (step S2). The camera built in the user terminal 4 may be activated to take an image, and the image may be uploaded.

アップロードする検索用画像は、検索対象人物のみが写っている画像でもよいし、検索対象人物に加えて他の人物が写っている画像でもよい。検索対象人物は１人でもよいし、複数人でもよい。例えば、ユーザは、図５に示すような複数の人物Ａ〜Ｃが写っている画像をアップロードする。人物Ａ〜Ｃのうち少なくとも１人が検索対象人物である。 The search image to be uploaded may be an image showing only the person to be searched, or an image showing another person in addition to the person to be searched. The search target person may be one person or a plurality of people. For example, the user uploads an image showing a plurality of persons A to C as shown in FIG. At least one of the persons A to C is the person to be searched.

サーバ１の画像受信部１０２が、ユーザ端末４から検索用画像を受信する。画像送信部１０３が、検索用画像を解析端末３へ送信する（ステップＳ３）。 The image receiving unit 102 of the server 1 receives the search image from the user terminal 4. The image transmission unit 103 transmits the search image to the analysis terminal 3 (step S3).

解析端末３は、サーバ１から検索用画像を受信すると、画像を解析し、画像内の顔を検出し、顔の位置を示す顔座標をサーバ１へ送信する（ステップＳ４，Ｓ５）。解析端末３による顔検出は公知の手法を用いることができる。例えば、画像の中から大まかな顔領域を決定し、次に目、鼻、口端などの顔の特徴点位置を求め、特徴点位置を用いて顔領域の正確な位置、大きさを求める。 When the analysis terminal 3 receives the search image from the server 1, it analyzes the image, detects the face in the image, and transmits the face coordinates indicating the position of the face to the server 1 (steps S4 and S5). A known method can be used for face detection by the analysis terminal 3. For example, a rough face area is determined from the image, then the positions of facial feature points such as eyes, nose, and mouth edge are obtained, and the exact position and size of the face area are obtained using the feature point positions.

サーバ１の顔座標受信部１０４は、解析端末３から顔座標を受信する。切出部１０５が、顔座標に基づいて、検索用画像内の顔画像を切り出す（ステップＳ６）。 The face coordinate receiving unit 104 of the server 1 receives the face coordinates from the analysis terminal 3. The cutout portion 105 cuts out the face image in the search image based on the face coordinates (step S6).

検索条件設定部１０６が、切り出された顔画像を用いて検索条件設定画面を作成し、ユーザ端末４へ送信する（ステップＳ７）。検索条件設定画面では、切り出された顔画像のうち、顔検索に使用する顔画像の選択を行うことができる。また、複数の顔画像を選択した場合は、選択した複数の顔画像の全てが写っている画像を検索するＡＮＤ検索とするか、又は選択した複数の顔画像の少なくとも１つが写っている画像を検索するＯＲ検索とするかを設定できる。 The search condition setting unit 106 creates a search condition setting screen using the cut out face image and transmits it to the user terminal 4 (step S7). On the search condition setting screen, it is possible to select a face image to be used for face search from the cut out face images. When a plurality of face images are selected, an AND search is performed to search for an image in which all of the selected face images are shown, or an image in which at least one of the selected face images is shown is selected. You can set whether to search by OR search.

例えば、ユーザが図５に示す検索用画像をアップロードした場合、人物Ａ〜Ｃの顔画像が切り出され、図６（ａ）に示すような検索条件設定画面が生成される。図６（ｂ）は、人物Ａと人物ＣのＡＮＤ検索とした場合の設定画面を示す。 For example, when the user uploads the search image shown in FIG. 5, the face images of the persons A to C are cut out, and the search condition setting screen as shown in FIG. 6A is generated. FIG. 6B shows a setting screen when the AND search of the person A and the person C is performed.

検索条件設定部１０６は、検索条件設定画面を介して、ユーザから、検索対象人物の顔及び検索方法（ＡＮＤ検索／ＯＲ検索）を含む検索条件の設定を受け付ける（ステップＳ８）。検索条件設定部１０６は、検索対象人物の顔画像を解析端末３へ送信する（ステップＳ９）。 The search condition setting unit 106 receives from the user the setting of the search condition including the face of the person to be searched and the search method (AND search / OR search) via the search condition setting screen (step S8). The search condition setting unit 106 transmits the face image of the search target person to the analysis terminal 3 (step S9).

解析端末３は、サーバ１から検索対象人物の顔画像を受信すると、画像解析を行い、事前にサーバ１から受信している販売画像の中から、検索対象人物顔画像に類似している顔画像を含む販売画像（類似画像）を検索・抽出し、抽出した販売画像を示す類似画像情報をサーバ１へ送信する（ステップＳ１０、Ｓ１１）。例えば、解析端末３は、各販売画像に写っている顔を検出し、検出した顔と検索対象人物顔画像との類似度を公知の方法で計算し、算出した類似度が所定値以上の場合、類似画像と判定する。 When the analysis terminal 3 receives the face image of the search target person from the server 1, the analysis terminal 3 performs image analysis, and among the sales images received from the server 1 in advance, the face image similar to the search target person face image. A sales image (similar image) including the above is searched and extracted, and similar image information indicating the extracted sales image is transmitted to the server 1 (steps S10 and S11). For example, the analysis terminal 3 detects the face shown in each sales image, calculates the similarity between the detected face and the face image of the person to be searched by a known method, and when the calculated similarity is equal to or more than a predetermined value. , Judged as a similar image.

解析端末３は、サーバ１から複数の検索対象人物顔画像を受信した場合、それぞれの検索対象人物顔画像に対応する類似画像情報をサーバ１へ送信する。例えば、サーバ１から人物Ａの顔画像と人物Ｃの顔画像とを受信した場合、解析端末３は、人物Ａが写っていると推定される類似画像情報と、人物Ｃが写っていると推定される類似画像情報とをサーバ１へ送信する。 When the analysis terminal 3 receives a plurality of search target person face images from the server 1, the analysis terminal 3 transmits similar image information corresponding to each search target person face image to the server 1. For example, when the face image of the person A and the face image of the person C are received from the server 1, the analysis terminal 3 estimates that the similar image information that the person A is shown and the person C are shown. The similar image information is transmitted to the server 1.

サーバ１の類似画像情報受信部１０７は、解析端末３から類似画像情報を受信する。閲覧ページ生成部１０１は、類似画像情報及び販売画像データを用いて、検索結果の一覧画面を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１２）。 The similar image information receiving unit 107 of the server 1 receives the similar image information from the analysis terminal 3. The browsing page generation unit 101 uses similar image information and sales image data to generate a browsing page including a list screen of search results and transmits it to the user terminal 4 (step S12).

検索対象人物が複数いる場合、ユーザが検索条件設定画面で設定した検索方法（ＡＮＤ検索／ＯＲ検索）によって検索結果は変わる。例えば、ユーザが人物Ａ及び人物ＣのＡＮＤ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報と、人物Ｃが写っていると推定される類似画像情報とを比較し、両方に含まれる類似画像を検索結果として閲覧ページを生成する。 When there are a plurality of search target persons, the search result changes depending on the search method (AND search / OR search) set by the user on the search condition setting screen. For example, when the user has set the AND search of the person A and the person C, the browsing page generation unit 101 is estimated to have similar image information in which the person A is presumed to be captured and the person C is presumed to be captured. Compare with similar image information, and generate a browsing page with similar images included in both as search results.

一方、ユーザが人物Ａ及び人物ＣのＯＲ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報、及び人物Ｃが写っていると推定される類似画像情報の少なくともいずれか一方に含まれる類似画像を検索結果として閲覧ページを生成する。 On the other hand, when the user has set the OR search for the person A and the person C, the browsing page generation unit 101 is estimated to have similar image information in which the person A is presumed to be captured and the person C is presumed to be captured. A browsing page is generated using a similar image included in at least one of the similar image information as a search result.

ユーザは、ユーザ端末４で閲覧ページを閲覧し、検索結果の中から購入したい画像を選択する（ステップＳ１３）。ユーザが画像の選択を終えると、注文、決済処理を行う（ステップＳ１４）。決済処理後、サーバ１は、ユーザ端末４へ購入された画像データをダウンロード可能にしたり、プリント注文内容を工場５へ転送したりする。 The user browses the browsing page on the user terminal 4 and selects an image to be purchased from the search results (step S13). When the user finishes selecting the image, the order and the payment process are performed (step S14). After the payment process, the server 1 makes the purchased image data downloadable to the user terminal 4 and transfers the print order contents to the factory 5.

このように、本実施形態によれば、複数の人物が写っている画像をアップロードし、画像内の複数の人物の中から、顔検索したい検索対象人物を選択することができる。また、検索対象人物が複数いる場合は、ＡＮＤ検索やＯＲ検索を設定できる。 As described above, according to the present embodiment, it is possible to upload an image in which a plurality of people are shown and select a search target person whose face search is desired from among the plurality of people in the image. Further, when there are a plurality of search target persons, AND search and OR search can be set.

例えば、顔検索用に写真販売システムにアップロードする画像は、自分が写っている画像であればよく、他人が一緒に写っていてもよく、画像を準備する手間を軽減できる。また、例えば、兄弟で参加したイベントの画像を購入する場合、兄と弟の両方が写っている画像を検索したり、兄と弟の少なくともいずれか一方が写っている画像を検索したりすることができ、複数人を顔検索する際の設定が柔軟なものとなる。 For example, the image uploaded to the photo sales system for face search may be an image showing oneself or another person may be shown together, which can reduce the trouble of preparing the image. Also, for example, when purchasing an image of an event attended by a brother, search for an image showing both the brother and brother, or search for an image showing at least one of the brother and brother. This makes it possible to flexibly set up when searching for faces of multiple people.

そのため、ユーザが大量の販売画像の中から顔検索により画像を絞り込むにあたり、顔検索に用いる顔の設定が容易であり、一又は複数の検索対象人物が写っている画像を効率良く探し出すことができる。 Therefore, when the user narrows down the images by face search from a large number of sales images, it is easy to set the face to be used for face search, and it is possible to efficiently search for an image showing one or more search target persons. ..

上記実施形態では、複数の検索対象人物がいる場合、解析端末３は、検索方法によらず、それぞれの検索対象人物顔画像に対応する類似画像情報をサーバ１へ送信する例について説明したが、ユーザが設定した検索方法（ＡＮＤ検索／ＯＲ検索）も解析端末３へ送信し、検索方法を考慮した類似画像情報をサーバ１へ送信してもよい。 In the above embodiment, when there are a plurality of search target persons, the analysis terminal 3 has described an example of transmitting similar image information corresponding to each search target person face image to the server 1 regardless of the search method. The search method (AND search / OR search) set by the user may also be transmitted to the analysis terminal 3, and similar image information considering the search method may be transmitted to the server 1.

上記実施形態では、検索用画像を解析端末３へ送信し、検索用画像に写っている人物の顔座標の検出を解析端末３が行う例について説明したが、検索用画像に写っている人物の顔画像の検出をサーバ１で行ってもよい。 In the above embodiment, an example in which the search image is transmitted to the analysis terminal 3 and the analysis terminal 3 detects the face coordinates of the person appearing in the search image has been described. The face image may be detected on the server 1.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof. In addition, various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, components across different embodiments may be combined as appropriate.

１ サーバ
２ 登録端末
３ 解析端末
４ ユーザ端末
１０ ＣＰＵ
１１ 記憶部
１２ 通信部
１０１ 閲覧ページ生成部
１０２ 画像受信部
１０３ 画像送信部
１０４ 顔座標受信部
１０５ 切出部
１０６ 検索条件設定部
１０７ 類似画像情報受信部 1 Server 2 Registered terminal 3 Analysis terminal 4 User terminal 10 CPU
11 Storage unit 12 Communication unit 101 Browsing page generation unit 102 Image reception unit 103 Image transmission unit 104 Face coordinate reception unit 105 Cutout unit 106 Search condition setting unit 107 Similar image information reception unit

Claims (4)

複数の販売画像のデータを記憶する記憶部と、
前記複数の販売画像のデータを解析端末へ送信する通信部と、
検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信する画像受信部と、
前記検索用画像から前記複数の人物の顔画像を切り出す切出部と、
前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信する検索条件設定部と、
前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、
を備えることを特徴とする画像処理装置。 A storage unit that stores data for multiple sales images,
A communication unit that transmits the data of the plurality of sales images to the analysis terminal, and
An image receiver that receives a search image of multiple people including the person to be searched from the user terminal, and an image receiver.
A cutout portion for cutting out facial images of the plurality of persons from the search image, and
A search condition that accepts a search condition setting including selection of a face image used for face search of the sales image from the face images of the plurality of persons from the user terminal, and transmits the selected face image to the analysis terminal. Setting part and
A similar image information receiving unit that receives similar image information indicating a sales image including a face similar to the selected face image from the analysis terminal.
A browsing page generation unit that generates a browsing page including a search result list and transmits the browsing page to the user terminal by using the similar image information and the data of the sales image.
An image processing device comprising. 前記検索条件設定部は、前記ユーザ端末から、前記販売画像の顔検索に用いる顔画像として複数の顔画像の選択を受け付けた場合、選択された複数の顔画像の全てが写っている販売画像を検索するＡＮＤ検索を行うか、又は選択された複数の顔画像の少なくとも１つが写っている販売画像を検索するＯＲ検索を行うかの検索方法の設定を受け付けることを特徴とする請求項１に記載の画像処理装置。 When the search condition setting unit receives selection of a plurality of face images as face images used for face search of the sales image from the user terminal, the search condition setting unit displays a sales image in which all of the selected face images are shown. The first aspect of claim 1, wherein the setting of a search method for performing an AND search for searching or performing an OR search for searching for a sales image showing at least one of a plurality of selected face images is accepted. Image processing equipment. 前記検索用画像を前記解析端末へ送信する画像送信部と、
前記解析端末から、前記検索用画像内の顔の位置を示す顔座標を受信する顔座標受信部と、
をさらに備え、
前記切出部は、前記顔座標に基づいて、前記検索用画像から前記複数の人物の顔画像を切り出すことを特徴とする請求項１又は２に記載の画像処理装置。 An image transmission unit that transmits the search image to the analysis terminal, and
A face coordinate receiving unit that receives face coordinates indicating the position of the face in the search image from the analysis terminal, and a face coordinate receiving unit.
With more
The image processing apparatus according to claim 1 or 2, wherein the cutout portion cuts out face images of the plurality of persons from the search image based on the face coordinates. 複数の販売画像のデータを解析端末へ送信するステップと、
検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信するステップと、
前記検索用画像から前記複数の人物の顔画像を切り出すステップと、
前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信するステップと、
前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信するステップと、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、
をサーバが実行することを特徴とする画像検索方法。 Steps to send data of multiple sales images to the analysis terminal,
A step of receiving a search image from a user terminal showing multiple people including the person to be searched, and
A step of cutting out facial images of the plurality of persons from the search image, and
A step of receiving from the user terminal a setting of search conditions including selection of a face image used for face search of the sales image among the face images of the plurality of persons, and transmitting the selected face image to the analysis terminal. ,
A step of receiving similar image information indicating a sales image including a face similar to the selected face image from the analysis terminal, and
Using the similar image information and the data of the sales image, a browsing page including a search result list is generated, and the browsing page is transmitted to the user terminal.
An image search method characterized by the server executing.
JP2019163070A 2019-09-06 2019-09-06 Image processing device and image search method Active JP7395888B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019163070A JP7395888B2 (en) 2019-09-06 2019-09-06 Image processing device and image search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019163070A JP7395888B2 (en) 2019-09-06 2019-09-06 Image processing device and image search method

Publications (2)

Publication Number Publication Date
JP2021043525A true JP2021043525A (en) 2021-03-18
JP7395888B2 JP7395888B2 (en) 2023-12-12

Family

ID=74864078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163070A Active JP7395888B2 (en) 2019-09-06 2019-09-06 Image processing device and image search method

Country Status (1)

Country Link
JP (1) JP7395888B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150603A (en) * 2001-11-12 2003-05-23 Olympus Optical Co Ltd Image processor and program
JP2004199666A (en) * 2002-12-03 2004-07-15 Fuji Photo Film Co Ltd Photographic image service system
JP2010072749A (en) * 2008-09-16 2010-04-02 Olympus Imaging Corp Image search device, digital camera, image search method, and image search program
JP2010176346A (en) * 2009-01-29 2010-08-12 Sony Corp Imaging device, retrieval method, and program
JP2019008597A (en) * 2017-06-26 2019-01-17 大日本印刷株式会社 Image search method and server

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150603A (en) * 2001-11-12 2003-05-23 Olympus Optical Co Ltd Image processor and program
JP2004199666A (en) * 2002-12-03 2004-07-15 Fuji Photo Film Co Ltd Photographic image service system
JP2010072749A (en) * 2008-09-16 2010-04-02 Olympus Imaging Corp Image search device, digital camera, image search method, and image search program
JP2010176346A (en) * 2009-01-29 2010-08-12 Sony Corp Imaging device, retrieval method, and program
JP2019008597A (en) * 2017-06-26 2019-01-17 大日本印刷株式会社 Image search method and server

Also Published As

Publication number Publication date
JP7395888B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
JP6315636B1 (en) Product exhibition support system, product exhibition support program, and product exhibition support method
CN105373929B (en) Method and device for providing photographing recommendation information
JP6120467B1 (en) Server device, terminal device, information processing method, and program
US8593557B2 (en) Shooting assist method, program product, recording medium, shooting device, and shooting system
JPWO2015151182A1 (en) Product evaluation apparatus, method and program
JP6904102B2 (en) Image search method and server
US11900423B2 (en) Image retrieval apparatus image retrieval method, product catalog generation system, and recording medium
JP7395889B2 (en) Image processing device and image search method
JP5926326B2 (en) Information providing system, poster terminal, reader terminal, and information disclosure apparatus
JP2009301197A (en) Preview provision method, device and program and device for providing object with image
JP2022080436A (en) Photographing system, server, communication terminal, photographing method, program, and recording medium
JP2019012515A (en) System, program and method of assisting in putting up commodity for sale
JP7395888B2 (en) Image processing device and image search method
JP2017228278A (en) Server device, terminal device, information processing method, and program
JP2007086546A (en) Advertisement printing device, advertisement printing method, and advertisement printing program
US20220383382A1 (en) Product information processing system, product information processing method, and recording medium
JP6896608B2 (en) Information presentation devices, methods and programs
JP6784519B2 (en) Information processing equipment, its control method, and programs
JP7395895B2 (en) Image processing device and image search method
JP7013750B2 (en) Examination processing equipment and imprint production system
JP2021168035A (en) Image sales system and program
JP7491099B2 (en) Image Sales System
JP2019135636A (en) Personal history generation support system
JP2019207495A (en) Information providing device and information providing system
JP2012198840A (en) Imaging management system and method for assisting model selection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7395888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150