JP7395888B2 - Image processing device and image search method - Google Patents

Image processing device and image search method Download PDF

Info

Publication number
JP7395888B2
JP7395888B2 JP2019163070A JP2019163070A JP7395888B2 JP 7395888 B2 JP7395888 B2 JP 7395888B2 JP 2019163070 A JP2019163070 A JP 2019163070A JP 2019163070 A JP2019163070 A JP 2019163070A JP 7395888 B2 JP7395888 B2 JP 7395888B2
Authority
JP
Japan
Prior art keywords
image
search
face
images
sales
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019163070A
Other languages
Japanese (ja)
Other versions
JP2021043525A (en
Inventor
亜紗実 横山
晃司 大津
大輔 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2019163070A priority Critical patent/JP7395888B2/en
Publication of JP2021043525A publication Critical patent/JP2021043525A/en
Application granted granted Critical
Publication of JP7395888B2 publication Critical patent/JP7395888B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像処理装置及び画像検索方法に関する。 The present invention relates to an image processing device and an image search method.

マラソンやスポーツ大会、学校行事等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの写真を選択して購入することができる。購入した画像は、データがダウンロード可能となったり、印刷物が顧客へ配送されたりする。 A service is known that sells photos taken by professional photographers at events such as marathons, sports tournaments, and school events. Image data taken by professional photographers is uploaded to the photo sales system via the network. Customers can browse the uploaded images, select their favorite photo, and purchase it. For purchased images, data can be downloaded or printed materials can be delivered to customers.

顧客は、写真販売システムに掲載されている大量の画像の中から、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。 Customers had to search for images of themselves, their families, etc. from among the large number of images posted on the photo sales system, making ordering time-consuming.

大量の画像の中から所望の画像を抽出するための手法の１つとして、顔検索機能が知られている。この顔検索機能では、まず、ユーザが、自分自身が写っている画像を写真販売システムにアップロードする。写真販売システムは、ユーザからアップロードされた画像に写っている顔を検出し、検出した顔に類似している顔を含む画像を、販売中の画像から検索する。これにより、ユーザは、自分が写っている画像（自分に似た顔が写っている画像）を容易に見つけ出すことができる。 A face search function is known as one of the methods for extracting a desired image from a large number of images. In this face search function, the user first uploads an image of himself or herself to the photo sales system. The photo sales system detects a face in an image uploaded by a user, and searches images that include a face similar to the detected face from the images for sale. As a result, the user can easily find an image in which he or she is photographed (an image in which a face similar to the user's face is photographed).

しかし、顔検索用に写真販売システムにアップロードするための、自分だけが写っている画像を準備することが難しい場合があった。また、親子や兄弟など、複数人を同時に顔検索することが困難であった。 However, it was sometimes difficult to prepare an image of only oneself to be uploaded to a photo sales system for face search. Additionally, it was difficult to search for faces of multiple people at the same time, such as parents and children or siblings.

特開２０１４－１０７８８号公報JP 2014-10788 Publication 特開２００１－３２５０８２号公報Japanese Patent Application Publication No. 2001-325082

本発明は、顔検索に用いる顔の設定が容易であり、一又は複数の対象人物が写っている画像を効率良く検索できる画像処理装置及び画像検索方法を提供することを課題とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing device and an image search method that allow easy setting of faces used in face search and efficient search for images containing one or more target persons.

本発明の画像処理装置は、複数の販売画像のデータを記憶する記憶部と、前記複数の販売画像のデータを解析端末へ送信する通信部と、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信する画像受信部と、前記検索用画像から前記複数の人物の顔画像を切り出す切出部と、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信する検索条件設定部と、前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、を備えるものである。 The image processing device of the present invention includes a storage unit that stores data of a plurality of sales images, a communication unit that transmits data of the plurality of sales images to an analysis terminal, and a search unit that includes a plurality of people including a search target person. an image receiving unit that receives a search image from a user terminal; a cutting unit that cuts out face images of the plurality of people from the search image; and a cutout unit that cuts out the face images of the plurality of people from the user terminal; a search condition setting unit that accepts the settings of search conditions including selection of a face image to be used in the face search, and sends the selected face image to the analysis terminal; a similar image information receiving unit that receives similar image information indicating a sales image that includes a face; and a viewing page that includes a search result list using the similar image information and the sales image data; A viewing page generation unit that transmits data to a user terminal is provided.

本発明の一態様では、前記検索条件設定部は、前記ユーザ端末から、前記販売画像の顔検索に用いる顔画像として複数の顔画像の選択を受け付けた場合、選択された複数の顔画像の全てが写っている販売画像を検索するＡＮＤ検索を行うか、又は選択された複数の顔画像の少なくとも１つが写っている販売画像を検索するＯＲ検索を行うかの検索方法の設定を受け付ける。 In one aspect of the present invention, when receiving a selection of a plurality of face images from the user terminal as face images to be used for face search of the sales image, the search condition setting unit may select all of the selected face images. The setting of the search method is accepted as to whether an AND search is performed to search for a sales image in which a person is photographed, or an OR search is performed to search for a sales image in which at least one of the selected plurality of face images is photographed.

本発明の一態様では、前記検索用画像を前記解析端末へ送信する画像送信部と、前記解析端末から、前記検索用画像内の顔の位置を示す顔座標を受信する顔座標受信部と、をさらに備え、前記切出部は、前記顔座標に基づいて、前記検索用画像から前記複数の人物の顔画像を切り出す。 In one aspect of the present invention, an image transmitter that transmits the search image to the analysis terminal; a face coordinate receiver that receives face coordinates indicating the position of the face in the search image from the analysis terminal; The clipping unit clips the face images of the plurality of people from the search image based on the face coordinates.

本発明の画像検索方法は、複数の販売画像のデータを解析端末へ送信するステップと、検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信するステップと、前記検索用画像から前記複数の人物の顔画像を切り出すステップと、前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信するステップと、前記解析端末から、前記選択された顔画像と類似する顔を含む販売画像を示す類似画像情報を受信するステップと、前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、をサーバが実行するものである。 The image search method of the present invention includes a step of transmitting data of a plurality of sales images to an analysis terminal, a step of receiving from a user terminal a search image in which a plurality of people including a search target person are photographed, and a step of transmitting data of a plurality of sales images to an analysis terminal. a step of cutting out the face images of the plurality of people from the user terminal; receiving and selecting search condition settings including selection of a face image to be used for face search of the sales image from among the face images of the plurality of people from the user terminal; a step of transmitting the selected face image to the analysis terminal; a step of receiving from the analysis terminal similar image information indicating a sales image including a face similar to the selected face image; The server executes the steps of generating a viewing page including a list of search results using sales image data, and transmitting the viewing page to the user terminal.

本発明によれば、顔検索に用いる顔を容易に設定でき、一又は複数の対象人物が写っている画像を効率良く検索できる。 According to the present invention, faces to be used in face search can be easily set, and images containing one or more target persons can be efficiently searched for.

本発明の実施形態に係る画像販売システムの概略図である。1 is a schematic diagram of an image sales system according to an embodiment of the present invention. 同実施形態に係るサーバの概略構成図である。FIG. 2 is a schematic configuration diagram of a server according to the embodiment. 画像処理プログラムを実行することで実現される機能ブロック図である。FIG. 2 is a functional block diagram realized by executing an image processing program. 画像販売方法を説明するフローチャートである。It is a flowchart explaining an image sales method. 検索用にユーザがアップロードする画像の例を示す図である。FIG. 3 is a diagram illustrating an example of an image that a user uploads for search. 検索対象設定画面の例を示す図である。FIG. 3 is a diagram showing an example of a search target setting screen.

以下、本発明の実施の形態を図面に基づいて説明する。 Embodiments of the present invention will be described below based on the drawings.

図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページをユーザ端末４へ配信する画像処理装置としてのサーバ１、販売画像を登録するために使用される登録端末２、画像の解析を行う解析端末３などを有する。販売する画像は、例えば、プロカメラマン等が、スポーツ大会や学校行事等のイベントを撮影した画像である。画像を購入するユーザは、イベントに参加した本人や参加者の親などである。 FIG. 1 is a schematic diagram of an image sales system according to an embodiment of the present invention. The image sales system includes a server 1 as an image processing device that distributes a sales image viewing page to a user terminal 4, a registration terminal 2 used to register sales images, an analysis terminal 3 that analyzes images, etc. . The images to be sold are, for example, images taken by a professional photographer or the like of events such as sports tournaments and school events. Users who purchase images include the person who participated in the event, the participant's parents, and the like.

ユーザは、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。大量の販売画像の中から、自分自身や家族等が写っている画像を探し出すのは手間がかかるため、ユーザは、自分や家族等の検索したい人（検索対象人物）が写っている画像をアップロードし、顔検索により、販売画像の中から、検索対象人物が写っている画像を絞り込む。この顔検索処理の詳細については、後述する。 Using the user terminal 4 such as a smartphone or PC, the user selects a desired image from the viewing page, performs payment processing, and then downloads the image data of the sales image and orders prints. I can do it. Since it is time-consuming to search for an image of yourself or your family among a large number of sales images, users upload an image that shows themselves, their family, or the person they want to search for (search target person). Then, the face search narrows down the images that include the search target person from among the sales images. Details of this face search process will be described later.

サーバ１は、プリント物の注文を受け付けると、購入された画像のデータを工場５へ送信する。工場５で製造されたプリント物６は顧客の元へ配送される。プリント物６は、例えば、写真、ポスター、フォトブック、マグカップ等である。 When the server 1 receives an order for a print, it transmits the data of the purchased image to the factory 5. The printed matter 6 manufactured at the factory 5 is delivered to the customer. The printed matter 6 is, for example, a photograph, a poster, a photo book, a mug, or the like.

図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。 As shown in FIG. 2, the server 1 is a computer that includes a CPU 10 (central processing unit), a storage section 11, a communication section 12, and the like.

通信部１２は、登録端末２、解析端末３、ユーザ端末４等との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。また、通信部１２は、登録端末２から、販売する画像に関連するイベントの名称等の情報を受信し、画像データと対応付けて記憶部１１に格納する。また、通信部１２は、販売画像のデータを解析端末３へ送信する。 The communication unit 12 performs communication processing with the registration terminal 2, analysis terminal 3, user terminal 4, etc., and transmits and receives data. The communication unit 12 receives data of images to be sold from the registration terminal 2 and stores it in the storage unit 11 . The communication unit 12 also receives information such as the name of an event related to the image to be sold from the registration terminal 2, and stores it in the storage unit 11 in association with the image data. Further, the communication unit 12 transmits data of sales images to the analysis terminal 3.

通信部１２は、販売画像の閲覧ページをユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から購入画像の選択を受け付けたり、決済情報を受信したりする。 The communication unit 12 transmits the sales image viewing page to the user terminal 4. The communication unit 12 also receives selection of purchased images and payment information from the user terminal 4.

記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク等の組み合わせであり、販売画像の画像データ、及び画像処理プログラム等を記憶する。 The storage unit 11 is a combination of flash memory, ROM (Read-only Memory), RAM (Random Access Memory), hard disk, etc., and stores image data of sales images, image processing programs, etc.

ＣＰＵ１０が画像処理プログラムを実行することで、図３に示すように、閲覧ページ生成部１０１、画像受信部１０２、画像送信部１０３、顔座標受信部１０４、切出部１０５、検索条件設定部１０６及び類似画像情報受信部１０７が実現される。各部の機能は後述する。 When the CPU 10 executes the image processing program, as shown in FIG. and similar image information receiving section 107 are realized. The functions of each part will be described later.

次に、この画像販売システムを用いた画像検索処理を含む画像販売方法を図４に示すフローチャートに沿って説明する。 Next, an image sales method including image search processing using this image sales system will be explained along the flowchart shown in FIG.

ユーザがユーザ端末４を用いてサーバ１にアクセスすると、閲覧ページ生成部１０１が販売画像の一覧画面やイベント名を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１）。この閲覧ページには顔検索用の画像アップロードボタンが含まれており、ユーザが画像アップロードボタンを押すと、ユーザ端末４内に保存されている画像がアップロードできるようになる。ユーザは、ユーザ端末４内に保存されている、検索対象人物が写っている検索用画像をアップロードする（ステップＳ２）。ユーザ端末４に内蔵されたカメラを起動して画像を撮影し、その画像をアップロードしてもよい。 When a user accesses the server 1 using the user terminal 4, the viewing page generation unit 101 generates a viewing page including a list screen of sales images and an event name, and transmits it to the user terminal 4 (step S1). This viewing page includes an image upload button for face search, and when the user presses the image upload button, images stored in the user terminal 4 can be uploaded. The user uploads a search image containing the search target person stored in the user terminal 4 (step S2). A camera built into the user terminal 4 may be activated to take an image, and the image may be uploaded.

アップロードする検索用画像は、検索対象人物のみが写っている画像でもよいし、検索対象人物に加えて他の人物が写っている画像でもよい。検索対象人物は１人でもよいし、複数人でもよい。例えば、ユーザは、図５に示すような複数の人物Ａ～Ｃが写っている画像をアップロードする。人物Ａ～Ｃのうち少なくとも１人が検索対象人物である。 The search image to be uploaded may be an image showing only the search target person, or may be an image showing other people in addition to the search target person. The search target person may be one person or multiple people. For example, a user uploads an image showing a plurality of people A to C as shown in FIG. At least one of the persons A to C is the search target person.

サーバ１の画像受信部１０２が、ユーザ端末４から検索用画像を受信する。画像送信部１０３が、検索用画像を解析端末３へ送信する（ステップＳ３）。 The image receiving unit 102 of the server 1 receives the search image from the user terminal 4. The image transmitting unit 103 transmits the search image to the analysis terminal 3 (step S3).

解析端末３は、サーバ１から検索用画像を受信すると、画像を解析し、画像内の顔を検出し、顔の位置を示す顔座標をサーバ１へ送信する（ステップＳ４，Ｓ５）。解析端末３による顔検出は公知の手法を用いることができる。例えば、画像の中から大まかな顔領域を決定し、次に目、鼻、口端などの顔の特徴点位置を求め、特徴点位置を用いて顔領域の正確な位置、大きさを求める。 When the analysis terminal 3 receives the search image from the server 1, it analyzes the image, detects a face in the image, and transmits face coordinates indicating the position of the face to the server 1 (steps S4, S5). A known method can be used for face detection by the analysis terminal 3. For example, a rough facial area is determined from an image, then the positions of facial feature points such as the eyes, nose, and corners of the mouth are determined, and the exact position and size of the facial area are determined using the feature point positions.

サーバ１の顔座標受信部１０４は、解析端末３から顔座標を受信する。切出部１０５が、顔座標に基づいて、検索用画像内の顔画像を切り出す（ステップＳ６）。 The face coordinate receiving unit 104 of the server 1 receives face coordinates from the analysis terminal 3. The cutting unit 105 cuts out a face image within the search image based on the face coordinates (step S6).

検索条件設定部１０６が、切り出された顔画像を用いて検索条件設定画面を作成し、ユーザ端末４へ送信する（ステップＳ７）。検索条件設定画面では、切り出された顔画像のうち、顔検索に使用する顔画像の選択を行うことができる。また、複数の顔画像を選択した場合は、選択した複数の顔画像の全てが写っている画像を検索するＡＮＤ検索とするか、又は選択した複数の顔画像の少なくとも１つが写っている画像を検索するＯＲ検索とするかを設定できる。 The search condition setting unit 106 creates a search condition setting screen using the cut out face image and transmits it to the user terminal 4 (step S7). On the search condition setting screen, it is possible to select a face image to be used for face search from among the cut out face images. In addition, if multiple face images are selected, an AND search is performed to search for images that include all of the selected multiple facial images, or an AND search is performed to search for images that include at least one of the multiple selected facial images. You can set whether to perform an OR search.

例えば、ユーザが図５に示す検索用画像をアップロードした場合、人物Ａ～Ｃの顔画像が切り出され、図６（ａ）に示すような検索条件設定画面が生成される。図６（ｂ）は、人物Ａと人物ＣのＡＮＤ検索とした場合の設定画面を示す。 For example, when a user uploads the search image shown in FIG. 5, facial images of persons A to C are cut out, and a search condition setting screen as shown in FIG. 6(a) is generated. FIG. 6(b) shows a setting screen for an AND search of person A and person C.

検索条件設定部１０６は、検索条件設定画面を介して、ユーザから、検索対象人物の顔及び検索方法（ＡＮＤ検索／ＯＲ検索）を含む検索条件の設定を受け付ける（ステップＳ８）。検索条件設定部１０６は、検索対象人物の顔画像を解析端末３へ送信する（ステップＳ９）。 The search condition setting unit 106 receives the settings of search conditions including the face of the person to be searched and the search method (AND search/OR search) from the user via the search condition setting screen (step S8). The search condition setting unit 106 transmits the face image of the person to be searched to the analysis terminal 3 (step S9).

解析端末３は、サーバ１から検索対象人物の顔画像を受信すると、画像解析を行い、事前にサーバ１から受信している販売画像の中から、検索対象人物顔画像に類似している顔画像を含む販売画像（類似画像）を検索・抽出し、抽出した販売画像を示す類似画像情報をサーバ１へ送信する（ステップＳ１０、Ｓ１１）。例えば、解析端末３は、各販売画像に写っている顔を検出し、検出した顔と検索対象人物顔画像との類似度を公知の方法で計算し、算出した類似度が所定値以上の場合、類似画像と判定する。 When the analysis terminal 3 receives the face image of the search target person from the server 1, it performs image analysis and selects a face image similar to the search target person's face image from among the sales images received from the server 1 in advance. Search and extract a sales image (similar image) containing , and send similar image information indicating the extracted sales image to the server 1 (steps S10, S11). For example, the analysis terminal 3 detects the face in each sales image, calculates the degree of similarity between the detected face and the search target person's face image using a known method, and if the calculated degree of similarity is greater than or equal to a predetermined value. , it is determined that the image is similar.

解析端末３は、サーバ１から複数の検索対象人物顔画像を受信した場合、それぞれの検索対象人物顔画像に対応する類似画像情報をサーバ１へ送信する。例えば、サーバ１から人物Ａの顔画像と人物Ｃの顔画像とを受信した場合、解析端末３は、人物Ａが写っていると推定される類似画像情報と、人物Ｃが写っていると推定される類似画像情報とをサーバ１へ送信する。 When the analysis terminal 3 receives a plurality of face images of the person to be searched from the server 1, the analysis terminal 3 transmits similar image information corresponding to each face image of the person to be searched to the server 1. For example, when receiving a face image of person A and a face image of person C from server 1, analysis terminal 3 receives similar image information that is estimated to include person A, and information on similar images that are estimated to include person C. The similar image information is sent to the server 1.

サーバ１の類似画像情報受信部１０７は、解析端末３から類似画像情報を受信する。閲覧ページ生成部１０１は、類似画像情報及び販売画像データを用いて、検索結果の一覧画面を含む閲覧ページを生成し、ユーザ端末４へ送信する（ステップＳ１２）。 Similar image information receiving section 107 of server 1 receives similar image information from analysis terminal 3 . The viewing page generation unit 101 generates a viewing page including a search result list screen using the similar image information and sales image data, and transmits it to the user terminal 4 (step S12).

検索対象人物が複数いる場合、ユーザが検索条件設定画面で設定した検索方法（ＡＮＤ検索／ＯＲ検索）によって検索結果は変わる。例えば、ユーザが人物Ａ及び人物ＣのＡＮＤ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報と、人物Ｃが写っていると推定される類似画像情報とを比較し、両方に含まれる類似画像を検索結果として閲覧ページを生成する。 If there are multiple search targets, the search results will vary depending on the search method (AND search/OR search) set by the user on the search condition setting screen. For example, if the user has set an AND search for person A and person C, the viewing page generation unit 101 generates similar image information that is estimated to include person A and information about a similar image that is estimated to include person C. It compares the similar image information contained in the search results and generates a viewing page using similar images included in both as search results.

一方、ユーザが人物Ａ及び人物ＣのＯＲ検索を設定していた場合、閲覧ページ生成部１０１は、人物Ａが写っていると推定される類似画像情報、及び人物Ｃが写っていると推定される類似画像情報の少なくともいずれか一方に含まれる類似画像を検索結果として閲覧ページを生成する。 On the other hand, if the user has set an OR search for person A and person C, the viewing page generation unit 101 generates similar image information that is estimated to include person A, and similar image information that is estimated to include person C. A viewing page is generated using a similar image included in at least one of the similar image information as a search result.

ユーザは、ユーザ端末４で閲覧ページを閲覧し、検索結果の中から購入したい画像を選択する（ステップＳ１３）。ユーザが画像の選択を終えると、注文、決済処理を行う（ステップＳ１４）。決済処理後、サーバ１は、ユーザ端末４へ購入された画像データをダウンロード可能にしたり、プリント注文内容を工場５へ転送したりする。 The user views the viewing page on the user terminal 4 and selects the image he/she wishes to purchase from the search results (step S13). When the user finishes selecting images, ordering and payment processing are performed (step S14). After the payment process, the server 1 allows the purchased image data to be downloaded to the user terminal 4 or transfers the print order details to the factory 5.

このように、本実施形態によれば、複数の人物が写っている画像をアップロードし、画像内の複数の人物の中から、顔検索したい検索対象人物を選択することができる。また、検索対象人物が複数いる場合は、ＡＮＤ検索やＯＲ検索を設定できる。 As described above, according to the present embodiment, it is possible to upload an image in which a plurality of people are photographed, and select a search target person whose face is desired to be searched from among the plurality of people in the image. Furthermore, if there are multiple search targets, an AND search or an OR search can be set.

例えば、顔検索用に写真販売システムにアップロードする画像は、自分が写っている画像であればよく、他人が一緒に写っていてもよく、画像を準備する手間を軽減できる。また、例えば、兄弟で参加したイベントの画像を購入する場合、兄と弟の両方が写っている画像を検索したり、兄と弟の少なくともいずれか一方が写っている画像を検索したりすることができ、複数人を顔検索する際の設定が柔軟なものとなる。 For example, an image to be uploaded to a photo sales system for face search may be an image of the user or may include someone else, which can reduce the effort required to prepare images. Also, for example, when purchasing images of an event attended by siblings, you can search for images that include both the older brother and younger brother, or search for images that include at least one of the older brother and younger brother. This allows for flexible settings when searching for faces of multiple people.

そのため、ユーザが大量の販売画像の中から顔検索により画像を絞り込むにあたり、顔検索に用いる顔の設定が容易であり、一又は複数の検索対象人物が写っている画像を効率良く探し出すことができる。 Therefore, when a user narrows down images from a large number of sales images by face search, it is easy to set the face to be used for face search, and it is possible to efficiently search for images that include one or more search target persons. .

上記実施形態では、複数の検索対象人物がいる場合、解析端末３は、検索方法によらず、それぞれの検索対象人物顔画像に対応する類似画像情報をサーバ１へ送信する例について説明したが、ユーザが設定した検索方法（ＡＮＤ検索／ＯＲ検索）も解析端末３へ送信し、検索方法を考慮した類似画像情報をサーバ１へ送信してもよい。 In the above embodiment, an example has been described in which, when there are multiple search target persons, the analysis terminal 3 transmits similar image information corresponding to each search target person face image to the server 1, regardless of the search method. The search method (AND search/OR search) set by the user may also be transmitted to the analysis terminal 3, and similar image information considering the search method may be transmitted to the server 1.

上記実施形態では、検索用画像を解析端末３へ送信し、検索用画像に写っている人物の顔座標の検出を解析端末３が行う例について説明したが、検索用画像に写っている人物の顔画像の検出をサーバ１で行ってもよい。 In the above embodiment, an example was explained in which the search image is sent to the analysis terminal 3 and the analysis terminal 3 detects the face coordinates of the person shown in the search image. The face image may be detected by the server 1.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 It should be noted that the present invention is not limited to the above-described embodiments as they are, but can be implemented by modifying the constituent elements within the scope of the invention at the implementation stage. Moreover, various inventions can be formed by appropriately combining the plurality of components disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, components of different embodiments may be combined as appropriate.

１ サーバ
２ 登録端末
３ 解析端末
４ ユーザ端末
１０ ＣＰＵ
１１ 記憶部
１２ 通信部
１０１ 閲覧ページ生成部
１０２ 画像受信部
１０３ 画像送信部
１０４ 顔座標受信部
１０５ 切出部
１０６ 検索条件設定部
１０７ 類似画像情報受信部 1 Server 2 Registration terminal 3 Analysis terminal 4 User terminal 10 CPU
11 Storage unit 12 Communication unit 101 Viewed page generation unit 102 Image reception unit 103 Image transmission unit 104 Face coordinate reception unit 105 Extraction unit 106 Search condition setting unit 107 Similar image information reception unit

Claims (4)

複数の販売画像のデータを記憶する記憶部と、
前記複数の販売画像のデータを解析端末へ送信する通信部と、
検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信する画像受信部と、
前記検索用画像から前記複数の人物の顔画像を切り出す切出部と、
前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信する検索条件設定部と、
前記解析端末から、前記選択された顔画像との類似度が所定値以上となる顔を含む販売画像を示す類似画像情報を受信する類似画像情報受信部と、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、
を備えることを特徴とする画像処理装置。 a storage unit that stores data of a plurality of sales images;
a communication unit that transmits data of the plurality of sales images to an analysis terminal;
an image receiving unit that receives a search image showing a plurality of people including the search target person from a user terminal;
a cutting unit that cuts out face images of the plurality of people from the search image;
Search conditions for accepting, from the user terminal, settings for search conditions including selection of a face image to be used for a face search for the sales image from among the face images of the plurality of people, and for transmitting the selected face image to the analysis terminal. Setting section,
a similar image information receiving unit that receives similar image information indicating a sales image including a face having a degree of similarity with the selected face image equal to or higher than a predetermined value from the analysis terminal;
a viewing page generation unit that generates a viewing page including a search result list using the similar image information and the sales image data, and transmits the viewing page to the user terminal;
An image processing device comprising: 前記検索条件設定部は、前記ユーザ端末から、前記販売画像の顔検索に用いる顔画像として複数の顔画像の選択を受け付けた場合、選択された複数の顔画像の全てが写っている販売画像を検索するＡＮＤ検索を行うか、又は選択された複数の顔画像の少なくとも１つが写っている販売画像を検索するＯＲ検索を行うかの検索方法の設定を受け付けることを特徴とする請求項１に記載の画像処理装置。 When the search condition setting unit receives a selection of a plurality of face images from the user terminal as face images to be used in the face search of the sales image, the search condition setting unit selects a sales image that includes all of the selected face images. 2. The search method according to claim 1, wherein a setting of a search method is accepted as to whether to perform an AND search to search or to perform an OR search to search for a sales image in which at least one of the plurality of selected facial images is captured. image processing device. 前記検索用画像を前記解析端末へ送信する画像送信部と、
前記解析端末から、前記検索用画像内の顔の位置を示す顔座標を受信する顔座標受信部と、
をさらに備え、
前記切出部は、前記顔座標に基づいて、前記検索用画像から前記複数の人物の顔画像を切り出すことを特徴とする請求項１又は２に記載の画像処理装置。 an image transmitting unit that transmits the search image to the analysis terminal;
a face coordinate receiving unit that receives face coordinates indicating the position of the face in the search image from the analysis terminal;
Furthermore,
The image processing device according to claim 1 or 2, wherein the cutting unit cuts out the face images of the plurality of people from the search image based on the face coordinates. 複数の販売画像のデータを解析端末へ送信するステップと、
検索対象人物を含む複数の人物が写った検索用画像をユーザ端末から受信するステップと、
前記検索用画像から前記複数の人物の顔画像を切り出すステップと、
前記ユーザ端末から、前記複数の人物の顔画像のうち、前記販売画像の顔検索に用いる顔画像の選択を含む検索条件の設定を受け付け、選択された顔画像を前記解析端末へ送信するステップと、
前記解析端末から、前記選択された顔画像との類似度が所定値以上となる顔を含む販売画像を示す類似画像情報を受信するステップと、
前記類似画像情報及び前記販売画像のデータを用いて、検索結果一覧を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、
をサーバが実行することを特徴とする画像検索方法。 a step of transmitting data of multiple sales images to an analysis terminal;
receiving from a user terminal a search image showing a plurality of people including the search target person;
cutting out face images of the plurality of people from the search image;
receiving, from the user terminal, settings for search conditions including selection of a face image to be used for the face search of the sales image from among the face images of the plurality of people, and transmitting the selected face image to the analysis terminal; ,
receiving, from the analysis terminal, similar image information indicating a sales image including a face having a degree of similarity with the selected face image equal to or higher than a predetermined value ;
generating a viewing page including a list of search results using the similar image information and the sales image data, and transmitting the viewing page to the user terminal;
An image search method characterized in that a server executes the following.
JP2019163070A 2019-09-06 2019-09-06 Image processing device and image search method Active JP7395888B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019163070A JP7395888B2 (en) 2019-09-06 2019-09-06 Image processing device and image search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019163070A JP7395888B2 (en) 2019-09-06 2019-09-06 Image processing device and image search method

Publications (2)

Publication Number Publication Date
JP2021043525A JP2021043525A (en) 2021-03-18
JP7395888B2 true JP7395888B2 (en) 2023-12-12

Family

ID=74864078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163070A Active JP7395888B2 (en) 2019-09-06 2019-09-06 Image processing device and image search method

Country Status (1)

Country Link
JP (1) JP7395888B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150603A (en) 2001-11-12 2003-05-23 Olympus Optical Co Ltd Image processor and program
JP2004199666A (en) 2002-12-03 2004-07-15 Fuji Photo Film Co Ltd Photographic image service system
JP2010072749A (en) 2008-09-16 2010-04-02 Olympus Imaging Corp Image search device, digital camera, image search method, and image search program
JP2010176346A (en) 2009-01-29 2010-08-12 Sony Corp Imaging device, retrieval method, and program
JP2019008597A (en) 2017-06-26 2019-01-17 大日本印刷株式会社 Image search method and server

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150603A (en) 2001-11-12 2003-05-23 Olympus Optical Co Ltd Image processor and program
JP2004199666A (en) 2002-12-03 2004-07-15 Fuji Photo Film Co Ltd Photographic image service system
JP2010072749A (en) 2008-09-16 2010-04-02 Olympus Imaging Corp Image search device, digital camera, image search method, and image search program
JP2010176346A (en) 2009-01-29 2010-08-12 Sony Corp Imaging device, retrieval method, and program
JP2019008597A (en) 2017-06-26 2019-01-17 大日本印刷株式会社 Image search method and server

Also Published As

Publication number Publication date
JP2021043525A (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US9336442B2 (en) Selecting images using relationship weights
US20120321131A1 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
CN105373929B (en) Method and device for providing photographing recommendation information
US8725718B2 (en) Content management apparatus, content management method, content management program, and integrated circuit
JP2017531950A (en) Method and apparatus for constructing a shooting template database and providing shooting recommendation information
US8593557B2 (en) Shooting assist method, program product, recording medium, shooting device, and shooting system
JP6149015B2 (en) Image processing apparatus, image processing method, program, and recording medium
US20190325497A1 (en) Server apparatus, terminal apparatus, and information processing method
JP6904102B2 (en) Image search method and server
WO2019230499A1 (en) Image retrieval apparatus image retrieval method, product catalog generation system, and recording medium
JP7395889B2 (en) Image processing device and image search method
JP2009301197A (en) Preview provision method, device and program and device for providing object with image
JP2022080436A (en) Photographing system, server, communication terminal, photographing method, program, and recording medium
JP7395888B2 (en) Image processing device and image search method
US10860876B2 (en) Image presentation system, image presentation method, program, and recording medium
JP6367169B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2010225082A (en) Image data management system and image data management method
JP2007086546A (en) Advertisement printing device, advertisement printing method, and advertisement printing program
JP6784519B2 (en) Information processing equipment, its control method, and programs
JP7395895B2 (en) Image processing device and image search method
JP7013750B2 (en) Examination processing equipment and imprint production system
JP7007022B2 (en) Information processing equipment, information processing methods and programs
JP7468097B2 (en) Image sales system and program
JP7106822B2 (en) Image retrieval method, server, and program
JP7419790B2 (en) Rename processing equipment and print sales system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7395888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150