JP2007109130A - Image retrieval device, method, and program - Google Patents

Image retrieval device, method, and program Download PDF

Info

Publication number
JP2007109130A
JP2007109130A JP2005301315A JP2005301315A JP2007109130A JP 2007109130 A JP2007109130 A JP 2007109130A JP 2005301315 A JP2005301315 A JP 2005301315A JP 2005301315 A JP2005301315 A JP 2005301315A JP 2007109130 A JP2007109130 A JP 2007109130A
Authority
JP
Japan
Prior art keywords
face
image
user
images
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005301315A
Other languages
Japanese (ja)
Inventor
Hajime Shirasaka
一 白坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005301315A priority Critical patent/JP2007109130A/en
Publication of JP2007109130A publication Critical patent/JP2007109130A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To retrieve a facial image desired by a user from a plurality of images without increasing the user's burden. <P>SOLUTION: A user's face is photographed with a camera 7, and a facial region extraction part 34 extracts the user's facial region from the image acquired by the photographing. A retrieval part 36 retrieves the image in which the user's face is included from a plurality of images recorded in a memory card 2 based on the amount of characteristic of the facial region. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の画像からユーザが所望とする画像を検索する画像検索装置および方法、並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。   The present invention relates to an image retrieval apparatus and method for retrieving an image desired by a user from a plurality of images, and a program for causing a computer to execute the image retrieval method.

銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。   Compared to a silver salt camera, a digital camera has a tendency to shoot more images as a result of the lower cost of filming, as a result of not incurring film charges. In addition, the trend of increasing the capacity of recording media that can be attached to and detached from a digital camera is also helping. As a result, a very large number of images are stocked on the recording media of digital cameras and the storage media such as the hard disks and CD-Rs of personal computers where image data read from the recording media is stored. In many cases, necessary images (good images) and unnecessary images (failure photos, duplicated images, etc.) are mixed, and they remain unorganized.

このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。   Organizing such a large number of images is a very troublesome task. Therefore, a device that supports search / extraction of necessary images from such image stock, extraction / deletion of unnecessary images, and classification / organization based on the viewpoint of events, date / time, location, etc. of images in image stock Has been proposed.

例えば、抽出対象となる人物の顔画像に基づき、パターンマッチングによる人物認識処理によって、画像データベースから抽出対象の人物の顔が含まれる画像を抽出する手法が提案されている（特許文献１参照）。
特開２００５−４９９６８号公報 For example, based on the face image of the person to be extracted, a method for extracting an image including the face of the person to be extracted from an image database by person recognition processing by pattern matching has been proposed (see Patent Document 1).
JP 2005-49968 A

しかしながら、特許文献１に記載された手法は、ユーザが抽出対象となる人物の顔画像を準備する必要があり、この準備がユーザにとって負担となりうる。   However, the method described in Patent Document 1 requires the user to prepare a facial image of a person to be extracted, and this preparation can be a burden on the user.

本発明は、上記事情に鑑みてなされたものであり、ユーザの負担を増やすことなく、複数の画像からユーザが所望する画像を抽出できるようにすることを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to enable extraction of images desired by a user from a plurality of images without increasing the burden on the user.

本発明による画像検索装置は、複数の画像から所定の画像を検索する画像検索装置において、
少なくとも１つの向きからのユーザの顔を撮影する撮影手段と、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出する顔領域抽出手段と、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索する検索手段とを備えたことを特徴とするものである。 An image search apparatus according to the present invention is an image search apparatus for searching for a predetermined image from a plurality of images.
Photographing means for photographing a user's face from at least one orientation;
A face area extracting means for extracting a face area from at least one image acquired by photographing by the photographing means;
The image processing apparatus includes: a search unit configured to search the plurality of images for an image including the user's face based on the feature amount of the at least one face region.

「顔領域の特徴量」とは、顔領域の輪郭線の位置、輪郭線の形状、並びに目、鼻および口等の顔パーツの位置等、その顔を特徴づけることが可能な各種パラメータを意味する。   “Feature value of face area” means various parameters that can characterize the face, such as the position of the outline of the face area, the shape of the outline, and the position of face parts such as eyes, nose and mouth. To do.

なお、本発明による画像検索装置においては、前記検索手段を、前記少なくとも１つの顔領域から、前記顔領域の輪郭線の位置、該輪郭線の形状、並びに目、鼻および口等の顔パーツの位置の情報を前記特徴量として検出するとともに、前記複数の画像に含まれる顔領域から前記特徴量を検出し、前記少なくとも１つの顔領域から検出した特徴量と前記複数の画像から検出した特徴量との相関に基づいて、前記ユーザの顔が含まれる画像を検索する手段としてもよい。   In the image search device according to the present invention, the search means is configured to detect the position of the outline of the face area, the shape of the outline, and facial parts such as eyes, nose and mouth from the at least one face area. The position information is detected as the feature quantity, the feature quantity is detected from a face area included in the plurality of images, and the feature quantity detected from the at least one face area and the feature quantity detected from the plurality of images Based on the correlation, the image may be searched for an image including the user's face.

この場合、前記検索手段を、前記複数の画像に含まれるユーザの顔において、前記顔領域の輪郭線の位置、該輪郭線の形状および顔パーツの位置の一部がサングラスやマスク等の装飾物により隠されている場合は、該隠されている部分以外の情報を特徴量として検出する手段としてもよい。   In this case, in the user's face included in the plurality of images, the search means may be a decorative object such as sunglasses or a mask in which the position of the contour line of the face region, the shape of the contour line, and a part of the face part position May be a means for detecting information other than the hidden portion as a feature amount.

また、本発明による画像検索装置においては、特定の人物の顔を含む画像の入力を受け付ける入力手段をさらに備えるものとし、
前記顔領域抽出手段を、前記入力された画像から前記顔領域を抽出する手段とし、
前記検索手段を、前記入力された画像から抽出された顔領域の特徴量に基づいて、前記特定の人物の顔が含まれる画像を前記複数の画像から検索する手段としてもよい。 The image search apparatus according to the present invention further includes an input unit that receives an input of an image including a face of a specific person,
The face area extraction means is means for extracting the face area from the input image,
The search unit may be a unit that searches the plurality of images for an image including the face of the specific person based on a feature amount of a face area extracted from the input image.

本発明によるプリント注文受付装置は、本発明による画像検索装置と、
該検索された画像からのプリント注文の選択を受け付ける入力手段と、
前記選択された画像をプリント出力する処理を行うプリント処理手段とを備えたことを特徴とするものである。 A print order receiving apparatus according to the present invention includes an image search apparatus according to the present invention,
Input means for accepting selection of a print order from the retrieved image;
And print processing means for performing a process of printing out the selected image.

本発明による画像検索方法は、複数の画像から所定の画像を検索する画像検索方法において、
少なくとも１つの向きからのユーザの顔を撮影し、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出し、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索することを特徴とするものである。 An image search method according to the present invention is an image search method for searching for a predetermined image from a plurality of images.
Shoot the user's face from at least one orientation,
Extracting a face region from at least one image acquired by the photographing means by photographing;
An image including the user's face is searched from the plurality of images based on the feature amount of the at least one face region.

なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。   The image search method according to the present invention may be provided as a program for causing a computer to execute the image search method.

本発明によれば、少なくとも１つの向きからのユーザの顔が撮影され、これにより取得された少なくとも１つの画像からユーザの顔領域が抽出される。そして抽出された少なくとも１つの顔領域の特徴量に基づいて、ユーザの顔が含まれる画像が複数の画像から検索される。このため、ユーザは自身の顔を撮影した顔画像を準備する必要がなくなり、これにより、ユーザに負担をかけることなく、複数の画像からユーザの顔を含む画像を抽出することができる。   According to the present invention, a user's face from at least one direction is photographed, and a user's face area is extracted from at least one image acquired thereby. Based on the extracted feature quantity of at least one face area, an image including the user's face is searched from a plurality of images. For this reason, it is not necessary for the user to prepare a face image obtained by photographing his / her face, and thereby an image including the user's face can be extracted from a plurality of images without burdening the user.

また、ユーザの横顔等、顔の向きを変えた顔を複数撮影することにより、様々な角度でユーザの顔を含む画像を複数の画像から検索することができ、これにより、ユーザを含む画像の検索精度を向上させることができる。   In addition, by capturing a plurality of faces with different face orientations, such as the user's profile, images including the user's face can be searched from a plurality of images at various angles. Search accuracy can be improved.

また、少なくとも１つの顔領域から、顔領域の輪郭線の位置、輪郭線の形状、並びに目、鼻および口等の顔パーツの位置の情報を特徴量として検出するとともに、複数の画像に含まれる顔領域から特徴量を検出し、少なくとも１つの顔領域から検出した特徴量と複数の画像から検出した特徴量との相関に基づいて、ユーザの顔が含まれる画像を検索することにより、比較的容易な演算により複数の画像からユーザの顔を抽出することができる。   Further, information on the position of the contour line of the face region, the shape of the contour line, and the position of the face parts such as eyes, nose and mouth is detected as a feature amount from at least one face region, and is included in a plurality of images. By detecting a feature amount from the face region and searching for an image including the user's face based on the correlation between the feature amount detected from at least one face region and the feature amount detected from a plurality of images, The user's face can be extracted from a plurality of images by an easy calculation.

この場合、複数の画像に含まれるユーザの顔において、顔領域の輪郭線の位置、輪郭線の形状、並びに目、鼻および口等の顔パーツの位置の一部が装飾物により隠されている場合は、隠されている部分以外の情報を特徴量として検出することにより、ユーザの顔の一部がサングラス等により隠されている場合であっても、複数の画像からユーザの顔を抽出することができる。   In this case, in the user's face included in a plurality of images, the position of the contour line of the face region, the shape of the contour line, and part of the position of the face parts such as eyes, nose and mouth are hidden by the decorations. In this case, by detecting information other than the hidden part as a feature amount, the user's face is extracted from a plurality of images even when part of the user's face is hidden by sunglasses or the like. be able to.

また、特定の人物の顔を含む画像の入力を受け付け、入力された画像から顔領域を抽出し、抽出した顔領域の特徴量に基づいて特定の人物の顔が含まれる画像を複数の画像から検索することにより、ユーザ以外の特定の人物の顔を含む画像を複数の画像から抽出することができる。   Further, it accepts input of an image including a face of a specific person, extracts a face area from the input image, and extracts an image including the face of the specific person from a plurality of images based on the feature amount of the extracted face area By searching, an image including the face of a specific person other than the user can be extracted from a plurality of images.

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像検索装置を適用した注文受付装置の外観斜視図である。図１に示すように、本実施形態による注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６と、プリント注文を行うユーザの顔の撮影を行うカメラ７とを備え、写真店に設置されたプリンタ８および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワークにより接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an external perspective view of an order receiving apparatus to which an image search apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, an order receiving apparatus 1 according to the present embodiment is installed at a photo shop in order to receive an image print order by a user, and an image for ordering a print is recorded. A plurality of card slots 4 for loading various memory cards 2, reading images from the memory card 2, and recording images on the memory card 2, and a display unit 6 for performing various displays for print orders And a camera 7 for photographing the face of a user who places a print order, a printer 8 installed in a photo shop, a digital image controller (DIC) 10 for managing image processing and print orders for images, and a network It is connected. The display unit 6 includes a touch panel type input unit, and the user can make an input necessary for the print order by touching the display unit 6 in accordance with the display on the display unit 6.

図２は本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。   FIG. 2 is a schematic block diagram showing the configuration of the order receiving apparatus 1 according to the embodiment of the present invention. As shown in FIG. 2, the order receiving apparatus 1 performs various controls such as recording control and display control of image data representing an image, and operates the apparatus 1 with a CPU 12 that controls each part of the apparatus 1. A system memory 14 composed of a ROM in which a basic program and various constants are recorded, and a RAM that is a work area when the CPU 12 executes processing, and various instructions for the device 1 A touch panel type input unit 16 and the display unit 6 described above are provided.

また、注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、メモリカード２から読み出した画像データ、画像のプリント注文を行うためのプリント注文プログラム等のＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、装置１をプリンタ８およびＤＩＣ１０とネットワークを介して接続するためのネットワークインターフェース３０とを備える。   Further, the order receiving apparatus 1 includes the card slot 4 described above, a compression / decompression unit 22 that compresses image data by a technique typified by JPEG, and decompresses the compressed image data, and image data read from the memory card 2. A hard disk 24 for recording various programs executed by the CPU 12 such as a print ordering program for ordering prints of images, a memory control unit 26 for controlling the system memory 14, the card slot 4 and the hard disk 24, and a display unit 6. And a network interface 30 for connecting the apparatus 1 to the printer 8 and the DIC 10 via a network.

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。   Although a plurality of card slots 4 are prepared according to the type of the memory card 2, only one card slot 4 is shown in FIG.

また、注文受付装置１は、上述したカメラ７の制御を行うためのカメラ制御部３２を備える。   Further, the order receiving device 1 includes a camera control unit 32 for controlling the camera 7 described above.

また、注文受付装置１は、カメラ７がプリント注文を行うユーザの顔を撮影することにより取得した画像から顔領域を抽出する顔領域抽出部３４と、顔領域抽出部３４が抽出した顔領域の特徴量に基づいて、ユーザの顔が含まれる画像を複数の画像から検索する検索部３６とを備える。   The order receiving device 1 also includes a face area extracting unit 34 that extracts a face area from an image acquired by the camera 7 capturing a face of a user who makes a print order, and a face area extracted by the face area extracting unit 34. And a search unit for searching an image including the user's face from a plurality of images based on the feature amount.

このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するような検索を行うための検索ボタン４０Ｂが表示されている。まず、ユーザは複数の画像を記録したメモリカード２をカードスロット４に装填し、プリント注文ボタン４０Ａを選択することにより、プリント注文実行の指示を装置１に対して行う。これにより、ＣＰＵ１２が処理を開始し、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。 Such a print order in the order receiving apparatus 1 is performed as follows. FIG. 3 is a diagram showing an initial screen displayed on the display unit 6 of the order receiving apparatus 1. As shown in FIG. 3, the initial screen 40 displays a print order button 40A for making a print order and a search button 40B for making a search as described later. First, the user inserts the memory card 2 on which a plurality of images are recorded into the card slot 4 and selects the print order button 40A to instruct the apparatus 1 to execute the print order. Thereby, the CPU 12 starts processing, reads a plurality of images from the memory card 2 and temporarily stores them in the hard disk 24, and further displays a list of the plurality of images on the display unit 6. The touch panel type input unit 16 is used to select an image to be printed from the list of images and set the order quantity and order size. When the user issues a print execution instruction using the input unit 16, the image selected by the user and the order information indicating the order quantity and the order size are transmitted to the DIC 10, which is necessary for improving the image quality. Image processing is performed on the image, and the image ordered for printing according to the order quantity and the order size according to the order information is printed out from the printer 8.

次いで、本実施形態における検索の処理について説明する。図４は本実施形態における検索処理を示すフローチャートである。   Next, search processing in the present embodiment will be described. FIG. 4 is a flowchart showing search processing in this embodiment.

ユーザが複数の画像を記録したメモリカード２をカードスロット４に装填し、検索ボタン４０Ｂを選択することにより、ＣＰＵ１２が処理を開始し、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し（ステップＳＴ１）、撮影を行うための撮影画面を表示部６に表示する（ステップＳＴ２）。   When the user loads the memory card 2 on which a plurality of images are recorded into the card slot 4 and selects the search button 40B, the CPU 12 starts processing, reads a plurality of images from the memory card 2, and temporarily stores the hard disk 24. (Step ST1), and a shooting screen for shooting is displayed on the display unit 6 (step ST2).

図５は撮影画面を示す図である。図５に示すように撮影画面４２には、カメラ７により撮影中の画像を表示する画像表示エリア４２Ａ、カメラ７による撮影を実行するための撮影ボタン４２Ｂ、および検索を中止するためのキャンセルボタン４２Ｃが表示されている。ユーザは画像表示エリア４２Ａに表示されているユーザの顔を見て所望とするアングルとなったときに撮影ボタン４２Ｂを選択することにより、ユーザの顔の撮影をカメラ制御部３２を介してカメラ７に行わせることができる。   FIG. 5 shows a shooting screen. As shown in FIG. 5, the shooting screen 42 includes an image display area 42 </ b> A for displaying an image being shot by the camera 7, a shooting button 42 </ b> B for executing shooting by the camera 7, and a cancel button 42 </ b> C for canceling the search. Is displayed. When the user views the user's face displayed in the image display area 42A and obtains a desired angle, the user selects the shooting button 42B to capture the user's face via the camera control unit 32. Can be done.

このため、ＣＰＵ１２は撮影ボタン４２Ｂが選択されたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、カメラ７にユーザの顔の撮影を行わせ（ステップＳＴ４）、撮影により取得した画像を表示するための撮影画像画面を表示部６に表示する（ステップＳＴ５）。   For this reason, the CPU 12 starts monitoring whether or not the shooting button 42B has been selected (step ST3), and when step ST3 is affirmed, causes the camera 7 to take a picture of the user's face (step ST4). A captured image screen for displaying the acquired image is displayed on the display unit 6 (step ST5).

図６は撮影画像画面を示す図である。図６に示すように撮影画像画面４４には、撮影により取得した画像を表示する画像表示エリア４４Ａと、再撮影を行うための再撮影ボタン４４Ｂと、他のアングルの画像を追加撮影するための追加撮影ボタン４４Ｃと、検索を実行するための検索実行ボタン４４Ｄと、検索を中止するためのキャンセルボタン４４Ｅとが表示されている。   FIG. 6 shows a captured image screen. As shown in FIG. 6, the captured image screen 44 has an image display area 44A for displaying an image acquired by capturing, a re-capturing button 44B for performing re-capturing, and an image for additionally capturing images of other angles. An additional shooting button 44C, a search execution button 44D for executing a search, and a cancel button 44E for stopping the search are displayed.

ＣＰＵ１２は再撮影ボタン４４Ｂが選択されたか否かを判定し（ステップＳＴ６）、ステップＳＴ６が肯定されるとステップＳＴ２に戻り、再度ユーザの顔の撮影をカメラ７に行わせる。   The CPU 12 determines whether or not the re-shooting button 44B has been selected (step ST6), and if step ST6 is affirmed, the process returns to step ST2 to cause the camera 7 to shoot the user's face again.

ここで、ユーザはユーザの正面を向いた顔以外に、横顔も用いて画像の検索を所望する場合がある。このような場合、ユーザは追加撮影ボタン４４Ｃを選択することにより、さらにユーザの横顔の撮影をカメラ７に行わせることができる。   Here, there are cases where the user desires to search for an image using a side face in addition to the face facing the front of the user. In such a case, the user can cause the camera 7 to further shoot the user's profile by selecting the additional shooting button 44C.

このため、ステップＳＴ６が否定されると、ＣＰＵ１２は追加撮影ボタン４４Ｃが選択されたか否かを判定し（ステップＳＴ７）、ステップＳＴ７が肯定されると、カメラ７にユーザの顔の追加撮影を行わせ（ステップＳＴ８）、撮影により取得した画像を、前回撮影により取得した画像と併せて表示する撮影画像画面を表示部６に表示する（ステップＳＴ９）。   Therefore, if step ST6 is negative, the CPU 12 determines whether or not the additional shooting button 44C has been selected (step ST7). If step ST7 is positive, the camera 7 performs additional shooting of the user's face. (Step ST8), a captured image screen for displaying the image acquired by shooting together with the image acquired by the previous shooting is displayed on the display unit 6 (step ST9).

図７は追加撮影が行われた場合の撮影画像画面を示す図である。図７に示すように撮影画像画面４６には、撮影により取得した２つの画像をそれぞれ表示する２つの画像表示エリア４６Ａ，４６Ｂと、再撮影を行うための再撮影ボタン４６Ｃと、検索を実行するための検索実行ボタン４６Ｄと、検索を中止するためのキャンセルボタン４６Ｅとが表示されている。なお、撮影画像画面４６において、再撮影を行う場合には、いずれか一方または双方の画像を選択できるようになっている。   FIG. 7 is a diagram illustrating a captured image screen when additional shooting is performed. As shown in FIG. 7, on the captured image screen 46, two image display areas 46 </ b> A and 46 </ b> B for displaying two images acquired by shooting, a re-shoot button 46 </ b> C for performing re-shooting, and a search are executed. A search execution button 46D for canceling and a cancel button 46E for stopping the search are displayed. In the captured image screen 46, when performing re-shooting, either one or both images can be selected.

ステップＳＴ７が否定された場合、およびステップＳＴ９に続いて、ＣＰＵ１２は検索実行ボタン４４Ｄ，４６Ｄが選択されたか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が否定されると、キャンセルボタン４４Ｅ，４６Ｅが選択されたか否かを判定し（ステップＳＴ１１）、ステップＳＴ１０が肯定されると処理を終了する。ステップＳＴ１１が否定されるとステップＳＴ６に戻り、ステップＳＴ６以降の処理を繰り返す。   If step ST7 is negative, and subsequent to step ST9, the CPU 12 determines whether or not the search execution buttons 44D and 46D are selected (step ST10). If step ST10 is negative, the cancel buttons 44E and 46E are determined. Is determined (step ST11), and when step ST10 is affirmed, the process is terminated. If step ST11 is negative, the process returns to step ST6, and the processes after step ST6 are repeated.

ステップＳＴ１０が肯定されると、顔領域抽出部３４が、撮影により取得した画像からユーザの顔領域を抽出する（ステップＳＴ１２）。なお、顔領域を抽出する手法としては、画像から肌色を有するとともに人物の顔の形状（例えば長円系）を有する領域を検出し、検出した領域を顔の領域と見なして抽出する手法を用いることができる。また、この手法の他、例えば特開平８−１５３１８７号公報、特開平９−５０５２８号公報、特開２００１−１４４７４号公報、特開２００１−１７５８６８号公報および特開２００１−２０９７９５号公報等に記載された手法等、既知の手法を用いることができる。また、ユーザの顔が２つ撮影された場合には、２つの画像のそれぞれから顔領域を抽出する。   If step ST10 is affirmed, the face area extraction unit 34 extracts a user's face area from an image acquired by photographing (step ST12). As a technique for extracting a face area, a technique is used in which an area having a skin color and a human face shape (for example, an ellipse) is detected from an image, and the detected area is extracted as a face area. be able to. In addition to this method, for example, disclosed in JP-A-8-153187, JP-A-9-50528, JP-A-2001-14474, JP-A-2001-175868, JP-A-2001-209795, and the like. A known method such as the method described above can be used. When two faces of the user are photographed, a face area is extracted from each of the two images.

次いで、検索部３６が、抽出した顔領域（または２つの顔領域）から、顔の輪郭線の位置、顔の輪郭形状、並びに顔を構成する目、口および鼻等の顔パーツの位置を表す特徴量を抽出し（ステップＳＴ１３）、特徴量に基づいて複数の画像を検索する（ステップＳＴ１４）。この検索は、ハードディスク２４に保存された複数の画像のそれぞれから顔領域を抽出し、抽出した顔領域から上記と同様の特徴量を抽出し、抽出した特徴量とユーザの顔領域から抽出した特徴量との相関値を算出し、相関値が所定のしきい値以内となる顔領域を含む顔を、検索対象の画像として抽出することにより行う。   Next, the search unit 36 represents the position of the face outline, the face outline shape, and the positions of face parts such as eyes, mouth and nose constituting the face from the extracted face area (or two face areas). A feature amount is extracted (step ST13), and a plurality of images are searched based on the feature amount (step ST14). In this search, a face area is extracted from each of a plurality of images stored in the hard disk 24, feature values similar to the above are extracted from the extracted face areas, and features extracted from the extracted feature quantities and the user's face area are extracted. A correlation value with the amount is calculated, and a face including a face region where the correlation value is within a predetermined threshold is extracted as an image to be searched.

そして検索結果を表示部６に表示し（ステップＳＴ１５）、検索処理を終了する。   The search result is displayed on the display unit 6 (step ST15), and the search process is terminated.

図８は検索結果表示画面を示す図である。図８に示すように、検索結果表示画面４８は、検索した画像のサムネイル画像の一覧を表示する一覧表示エリア４８Ａと、プリントサイズを入力するためのプリントサイズ入力部４８Ｂと、ユーザが選択した画像のプリント出力を行うためのプリント実行ボタン４８Ｃと、処理を中止するためのキャンセルボタン４８Ｄとが表示されている。また、一覧表示エリア４８Ａに表示された各画像の下方には、プリント枚数を設定するための枚数設定部４８Ｅが表示されている。なお、プリントサイズ入力部４８Ｂはプルダウンメニューとされており、所望とするプリントサイズを選択して入力することが可能となっている。ユーザは、一覧表示エリア４８Ａにおいてプリントを所望する画像を選択し、枚数設定部４８Ｅによりプリント枚数を設定し、さらにプリントサイズ入力部４８Ｂに所望とするプリントサイズを入力した後に、プリント実行ボタン４８Ｂを選択することにより、選択した画像をプリンタ８からプリント出力することができる。   FIG. 8 is a diagram showing a search result display screen. As shown in FIG. 8, the search result display screen 48 includes a list display area 48A for displaying a list of thumbnail images of the searched images, a print size input unit 48B for inputting a print size, and an image selected by the user. A print execution button 48C for performing the print output and a cancel button 48D for stopping the processing are displayed. In addition, a number setting section 48E for setting the number of prints is displayed below each image displayed in the list display area 48A. The print size input section 48B is a pull-down menu, and a desired print size can be selected and input. The user selects an image desired to be printed in the list display area 48A, sets the number of prints by the number setting unit 48E, inputs a desired print size to the print size input unit 48B, and then presses the print execution button 48B. By selecting, the selected image can be printed out from the printer 8.

このように、本実施形態においては、ユーザの顔を撮影した画像からユーザの顔領域を抽出し、抽出した顔領域の特徴量に基づいて、ユーザの顔が含まれる画像を複数の画像から検索するようにしたため、ユーザは自身の顔を撮影した顔画像を準備する必要がなくなり、これにより、ユーザに負担をかけることなく、複数の画像からユーザの顔を含む画像を抽出することができる。   As described above, in this embodiment, a user's face area is extracted from an image obtained by capturing the user's face, and an image including the user's face is searched from a plurality of images based on the extracted feature values of the face area. Thus, the user does not need to prepare a face image obtained by photographing his / her face, and thus, an image including the user's face can be extracted from a plurality of images without burdening the user.

また、ユーザの横顔等、顔の向きを変えた顔を撮影することにより、様々な角度でユーザの顔を含む画像を複数の画像から検索することができ、これにより、ユーザを含む画像の検索精度を向上させることができる。   In addition, by photographing a face in which the face direction is changed, such as a user's profile, an image including the user's face can be searched from a plurality of images at various angles, thereby searching for an image including the user. Accuracy can be improved.

なお、上記実施形態においては、正面顔および横顔の２つの画像を用いて検索を行っているが、正面顔の画像のみを用いて検索を行ってもよく、２つの画像に加えて、さらに後ろ向きの画像等、様々なアングルからユーザの顔を撮影することにより取得した画像を用いて検索を行うようにしてもよい。   In the above-described embodiment, the search is performed using the two images of the front face and the side face. However, the search may be performed using only the image of the front face. A search may be performed using an image acquired by photographing a user's face from various angles, such as the above image.

また、上記実施形態においては、検索の対象となる複数の画像に、サングラスやマスク等の装飾物をつけたユーザが含まれる場合がある。このような場合、装飾物により隠されている顔の輪郭線または顔パーツの位置を除いた顔の輪郭線の位置、輪郭線の形状および顔パーツの位置を特徴量として用いて検索を行えばよい。これにより、装飾物によってユーザの顔の一部が隠されていても、複数の画像からユーザの顔を含む画像を抽出することができる。   In the above embodiment, there may be a case where a user wearing a decoration such as sunglasses or a mask is included in the plurality of images to be searched. In such a case, if the search is performed using the face outline position, the contour shape, and the face part position excluding the face outline or face part position hidden by the decoration as the feature amount Good. Thereby, even if a part of the user's face is hidden by the decoration, an image including the user's face can be extracted from the plurality of images.

また、逆に、ユーザの撮影を行う際には、ユーザはサングラスやマスク等の装飾物を外すことが好ましいが、装飾物をつけたまま撮影を行う場合がある。このような場合、装飾物により隠されている顔の輪郭線または顔パーツの位置を除いた顔の輪郭線の位置、輪郭線の形状および顔パーツの位置を特徴量として用いて検索を行えばよい。例えば、ユーザがサングラスをかけていて目の位置が認識できない場合には、口および鼻の位置を特徴量として用いればよい。     Conversely, when taking a picture of the user, the user preferably removes decorations such as sunglasses and a mask, but there are cases where the picture is taken with the decorations on. In such a case, if the search is performed by using the face outline position, the outline shape, and the face part position excluding the face outline or face part position hidden by the decoration as feature amounts, Good. For example, when the user wears sunglasses and the position of the eyes cannot be recognized, the positions of the mouth and nose may be used as the feature amount.

また、上記実施形態においては、メモリカード２に記録された複数の画像からユーザの顔を含む画像を検索しているが、装置１に画像を取り込む手段はこれに限定されるものではなく、インターネット経由で送信された画像を取り込むようにしてもよい。   In the above-described embodiment, an image including the user's face is searched from a plurality of images recorded on the memory card 2. However, the means for capturing an image in the device 1 is not limited to this, and the Internet You may make it capture the image transmitted via.

また、上記実施形態においては、メモリカード２にユーザ以外の特定の人物の顔を含む画像を記録しておき、入力部１６からの指示により、この画像をメモリカード２から読み出して、顔領域抽出部３４において読み出した画像から特定の人物の顔領域を抽出し、特定の人物の顔領域の特徴量に基づいて検索部３６が複数の画像から特定の人物を含む画像を検索するようにしてもよい。これにより、ユーザ以外の特定の人物の顔を含む画像を複数の画像から抽出することができる。   In the above embodiment, an image including the face of a specific person other than the user is recorded in the memory card 2, and this image is read from the memory card 2 according to an instruction from the input unit 16 to extract a face area. The face area of the specific person is extracted from the image read by the unit 34, and the search part 36 may search for an image including the specific person from a plurality of images based on the feature amount of the face area of the specific person. Good. Thereby, an image including a face of a specific person other than the user can be extracted from a plurality of images.

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔領域抽出部３４および検索部３６に対応する手段として機能させ、図４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。この場合、コンピュータにはユーザを撮影するためのカメラが設けられてユーザの顔を撮影することとなる。   As described above, the apparatus according to the embodiment of the present invention has been described. However, a program that causes a computer to function as means corresponding to the face area extraction unit 34 and the search unit 36 and performs processing as illustrated in FIG. It is one of the embodiments of the present invention. A computer-readable recording medium in which such a program is recorded is also one embodiment of the present invention. Further, such a program may be incorporated in viewer software for browsing images. In this case, the computer is provided with a camera for photographing the user and photographs the user's face.

本発明の実施形態による画像検索装置を適用した注文受付装置の外観斜視図1 is an external perspective view of an order receiving device to which an image search device according to an embodiment of the present invention is applied. 本発明の実施形態による注文受付装置の構成を示す概略ブロック図1 is a schematic block diagram showing the configuration of an order receiving device according to an embodiment of the present invention. 初期画面を示す図Figure showing the initial screen 検索処理を示すフローチャートFlow chart showing search processing 撮影画面を示す図Figure showing the shooting screen 撮影画像画面を示す図Figure showing the shot image screen 追加撮影が行われた場合の撮影画像画面を示す図The figure which shows the photographed picture screen when additional photographing is done 検索結果表示画面を示す図Diagram showing search result display screen

符号の説明Explanation of symbols

１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
７ カメラ
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ ネットワークインターフェース
３２ カメラ制御部
３４ 顔領域抽出部
３６ 検索部 DESCRIPTION OF SYMBOLS 1 Order reception apparatus 2 Memory card 4 Card slot 6 Display part 7 Camera 8 Printer 10 DIC
12 CPU
14 system memory 16 input unit 22 compression / decompression unit 24 hard disk 26 memory control unit 28 display control unit 30 network interface 32 camera control unit 34 face area extraction unit 36 search unit

Claims (7)

複数の画像から所定の画像を検索する画像検索装置において、
少なくとも１つの向きからのユーザの顔を撮影する撮影手段と、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出する顔領域抽出手段と、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索する検索手段とを備えたことを特徴とする画像検索装置。 In an image search device for searching for a predetermined image from a plurality of images,
Photographing means for photographing a user's face from at least one orientation;
A face area extracting means for extracting a face area from at least one image acquired by photographing by the photographing means;
An image search apparatus comprising: search means for searching an image including the user's face from the plurality of images based on a feature amount of the at least one face region. 前記検索手段は、前記少なくとも１つの顔領域から、前記顔領域の輪郭線の位置、該輪郭線の形状および顔パーツの位置の情報を前記特徴量として検出するとともに、前記複数の画像に含まれる顔領域から前記特徴量を検出し、前記少なくとも１つの顔領域から検出した特徴量と前記複数の画像から検出した特徴量との相関に基づいて、前記ユーザの顔が含まれる画像を検索する手段であることを特徴とする請求項１記載の画像検索装置。   The search means detects, from the at least one face area, information on the position of the outline of the face area, the shape of the outline and the position of the face part as the feature amount, and is included in the plurality of images. Means for detecting the feature amount from a face region and searching for an image including the user's face based on a correlation between the feature amount detected from the at least one face region and the feature amount detected from the plurality of images The image search apparatus according to claim 1, wherein: 前記検索手段は、前記複数の画像に含まれるユーザの顔において、前記顔領域の輪郭線の位置、該輪郭線の形状および前記顔パーツの位置の一部が装飾物により隠されている場合は、該隠されている部分以外の情報を特徴量として検出する手段であることを特徴とする請求項２記載の画像検索装置。   In the user's face included in the plurality of images, the search means may include a position of the contour line of the face region, a shape of the contour line, and a part of the position of the face part hidden by an ornament. 3. The image search apparatus according to claim 2, wherein the image search apparatus is means for detecting information other than the hidden portion as a feature amount. 特定の人物の顔を含む画像の入力を受け付ける入力手段をさらに備え、
前記顔領域抽出手段は、前記入力された画像から前記顔領域を抽出する手段であり、
前記検索手段は、前記入力された画像から抽出された顔領域の特徴量に基づいて、前記特定の人物の顔が含まれる画像を前記複数の画像から検索する手段であることを特徴とする請求項１から３のいずれか１項記載の画像検索装置。 An input means for receiving an input of an image including a face of a specific person,
The face area extracting means is means for extracting the face area from the input image;
The search means is means for searching an image including the face of the specific person from the plurality of images based on a feature amount of a face area extracted from the input image. Item 4. The image search device according to any one of Items 1 to 3. 請求項１から４のいずれか１項記載の画像検索装置と、
該検索された画像からのプリント注文の選択を受け付ける入力手段と、
前記選択された画像をプリント出力する処理を行うプリント処理手段とを備えたことを特徴とする画像のプリント注文受付装置。 The image search device according to any one of claims 1 to 4,
Input means for accepting selection of a print order from the retrieved image;
An image print order receiving apparatus, comprising: a print processing unit that performs a process of printing out the selected image. 複数の画像から所定の画像を検索する画像検索方法において、
少なくとも１つの向きからのユーザの顔を撮影し、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出し、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索することを特徴とする画像検索方法。 In an image search method for searching for a predetermined image from a plurality of images,
Shoot the user's face from at least one orientation,
Extracting a face region from at least one image acquired by the photographing means by photographing;
An image search method, wherein an image including the user's face is searched from the plurality of images based on a feature amount of the at least one face region. 複数の画像から所定の画像を検索する画像検索方法をコンピュータに実行させるためのプログラムにおいて、
少なくとも１つの向きからのユーザの顔を撮影する手順と、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出する手順と、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索する手順とを有することを特徴とするプログラム。 In a program for causing a computer to execute an image search method for searching for a predetermined image from a plurality of images,
Taking a picture of the user's face from at least one orientation;
A procedure for extracting a face region from at least one image obtained by photographing by the photographing means;
And a procedure for retrieving an image including the user's face from the plurality of images based on a feature amount of the at least one face region.
JP2005301315A 2005-10-17 2005-10-17 Image retrieval device, method, and program Withdrawn JP2007109130A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005301315A JP2007109130A (en) 2005-10-17 2005-10-17 Image retrieval device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005301315A JP2007109130A (en) 2005-10-17 2005-10-17 Image retrieval device, method, and program

Publications (1)

Publication Number Publication Date
JP2007109130A true JP2007109130A (en) 2007-04-26

Family

ID=38034940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005301315A Withdrawn JP2007109130A (en) 2005-10-17 2005-10-17 Image retrieval device, method, and program

Country Status (1)

Country Link
JP (1) JP2007109130A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363374B1 (en) * 2011-11-30 2014-02-14 이병선 Multiple level image search system using multiple element analysis
US8654195B2 (en) 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP2017016687A (en) * 2016-09-09 2017-01-19 オリンパス株式会社 Image handling device, image handling method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654195B2 (en) 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
KR101363374B1 (en) * 2011-11-30 2014-02-14 이병선 Multiple level image search system using multiple element analysis
JP2017016687A (en) * 2016-09-09 2017-01-19 オリンパス株式会社 Image handling device, image handling method, and program

Similar Documents

Publication Publication Date Title
JP5009577B2 (en) Image search apparatus and method, and program
US8345118B2 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
US8600191B2 (en) Composite imaging method and system
JP4555197B2 (en) Image layout apparatus and method, and program
US8189927B2 (en) Face categorization and annotation of a mobile phone contact list
JP4168940B2 (en) Video display system
JP4638274B2 (en) Image selection method, image selection apparatus, program, and print order receiving machine
JP4446983B2 (en) Image processing apparatus and image processing program
JP2007094990A (en) Image sorting device, method, and program
JP2010057073A (en) Album creating apparatus and album creating program
JP2007109130A (en) Image retrieval device, method, and program
JP6410427B2 (en) Information processing apparatus, information processing method, and program
JP5398570B2 (en) Information processing apparatus and control method thereof
JP2008310778A (en) Information terminal and computer program
JP6197063B2 (en) Image processing apparatus, important person determination method, image layout method, program, and recording medium
JP2006180403A (en) Information processing apparatus
JP4650034B2 (en) Image management apparatus, image management method, and image management program
JP4888111B2 (en) Subject recognition device, image search method, and subject recognition program
JP4946332B2 (en) Information processing program and information processing apparatus
JP4895201B2 (en) Image sorting apparatus, method, and program
JP5477025B2 (en) Image display device and program
JP2009205468A (en) Image output method, image output device and image output program
JP2008217334A (en) Image sorting device, method, and program
JP2008187256A (en) Motion image creating device, method and program
JP2006238362A (en) Apparatus and method for determining image top and bottom, and program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090106