JP4414846B2 - Electronic album editing system, electronic album editing method, and electronic album editing program - Google Patents

Electronic album editing system, electronic album editing method, and electronic album editing program Download PDF

Info

Publication number
JP4414846B2
JP4414846B2 JP2004257532A JP2004257532A JP4414846B2 JP 4414846 B2 JP4414846 B2 JP 4414846B2 JP 2004257532 A JP2004257532 A JP 2004257532A JP 2004257532 A JP2004257532 A JP 2004257532A JP 4414846 B2 JP4414846 B2 JP 4414846B2
Authority
JP
Japan
Prior art keywords
electronic album
image
candidate image
images
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004257532A
Other languages
Japanese (ja)
Other versions
JP2006074612A (en
Inventor
祐己太 後藤田
和生 塩田
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004257532A priority Critical patent/JP4414846B2/en
Publication of JP2006074612A publication Critical patent/JP2006074612A/en
Application granted granted Critical
Publication of JP4414846B2 publication Critical patent/JP4414846B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラムに関する。特に本発明は、複数の画像を含む電子アルバムに画像を追加して、当該電子アルバムを編集する電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラムに関する。   The present invention relates to an electronic album editing system, an electronic album editing method, and an electronic album editing program. In particular, the present invention relates to an electronic album editing system, an electronic album editing method, and an electronic album editing program for adding an image to an electronic album including a plurality of images and editing the electronic album.

近年、デジタルカメラが急速に普及している。デジタルカメラは、フィルムを感光させて被写体の光学像を記録する銀塩カメラとは異なり、被写体の光学像をＣＣＤ等を用いて受光し、デジタルデータとしてフラッシュメモリ等の記録媒体に記録する。そして、デジタルカメラにより撮像された画像の、デジタルデータであるという特徴を活かして、複数の画像を電子アルバムとして一纏めにして管理する技術が開示されている（例えば、特許文献１参照。）。
特開２００２−１１２１６５号公報 In recent years, digital cameras have been rapidly spread. Unlike a silver halide camera that records an optical image of a subject by exposing a film to light, the digital camera receives the optical image of the subject using a CCD or the like and records it as digital data on a recording medium such as a flash memory. A technique for managing a plurality of images collectively as an electronic album by taking advantage of the characteristics of images captured by a digital camera as digital data is disclosed (for example, see Patent Document 1).
JP 2002-112165 A

複数の画像を電子アルバムとして管理している場合に、利用者が、例えばインターネット等を介して取得した他の撮像者によって撮像された画像を自身の電子アルバムに追加して、電子アルバムを編集したいと所望したとする。ここで、利用者が電子アルバムに追加すべく取得した画像の撮像者が利用者と全く関係の無い人物であり、利用者の知らない人物が当該画像において大きな割合を占めている場合、当該画像は、利用者の電子アルバムに追加する画像としては好ましくない場合がある。しかし、特許文献１に記載されているような、従来の電子アルバム装置においては、こういった、画像の内容を考慮した電子アルバムの編集方法は提供されていない。   When multiple images are managed as an electronic album, a user wants to edit an electronic album by adding, for example, an image captured by another photographer acquired via the Internet or the like to his / her own electronic album. And as desired. Here, when the user who captured the image acquired by the user to add to the electronic album is a person who has nothing to do with the user, and the person who the user does not know occupies a large proportion of the image, the image May not be preferable as an image to be added to the user's electronic album. However, the conventional electronic album apparatus as described in Patent Document 1 does not provide such a method for editing an electronic album in consideration of image contents.

そこで本発明は、上記の課題を解決することができる電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Therefore, an object of the present invention is to provide an electronic album editing system, an electronic album editing method, and an electronic album editing program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

上記課題を解決するために、本発明の第１の形態においては、電子アルバム編集システムであって、利用者により撮像された複数の画像を電子アルバムとして格納している第１格納部と、利用者とは異なる撮像者により撮像された複数の画像を格納している第２格納部と、第２格納部に格納されている複数の画像から、電子アルバムに追加される画像の候補である候補画像を選択する候補画像選択部と、候補画像において人物を示す領域を検出する人物領域検出部と、人物領域検出部により検出された領域の候補画像全体に対する割合が予め定められた基準値より小さい場合に、候補画像が電子アルバムに追加されると判定する判定部と、候補画像が電子アルバムに追加されると判定部により判定された場合に、候補画像を第１格納部に格納させて電子アルバムに追加することにより、電子アルバムを編集する編集部とを備える。   In order to solve the above problems, in a first embodiment of the present invention, an electronic album editing system, wherein a first storage unit storing a plurality of images taken by a user as an electronic album, and use A candidate that is a candidate for an image to be added to the electronic album from a second storage unit that stores a plurality of images captured by an imager different from the user and a plurality of images stored in the second storage unit A candidate image selection unit that selects an image, a person region detection unit that detects a region indicating a person in the candidate image, and a ratio of the region detected by the person region detection unit to the entire candidate image is smaller than a predetermined reference value The determination unit determines that the candidate image is added to the electronic album, and stores the candidate image in the first storage unit when the determination unit determines that the candidate image is added to the electronic album. It was by adding the electronic album, and a editing unit for editing an electronic album.

候補画像選択部は、第２格納部に格納されている複数の画像のうち、第１格納部に格納されている複数の画像のそれぞれにおける撮像地点に基づいて定められる撮像地域に含まれる地点で撮像された画像を、候補画像として選択してもよい。候補画像が電子アルバムに追加されると判定部により判定された場合に、候補画像のうち、人物領域検出部により検出された、人物を示す領域の画像を、当該領域に含まれる人物の画像を目立たなくするべく画像処理する画像処理部を更に備え、編集部は、候補画像が電子アルバムに追加されると判定部により判定された場合に、画像処理部により画像処理された候補画像を第１格納部に格納させて電子アルバムに追加することにより、電子アルバムを編集してもよい。画像処理部は、人物を示す領域の画像に対してぼかし処理を行うことにより、当該領域に含まれる人物の画像を目立たなくしてもよい。画像処理部は、人物を示す領域の画像を、利用者が含まれる画像に差し替えることにより、当該領域に含まれる人物の画像を目立たなくしてもよい。   The candidate image selection unit is a point included in an imaging region determined based on an imaging point in each of the plurality of images stored in the first storage unit among the plurality of images stored in the second storage unit. You may select the imaged image as a candidate image. When it is determined by the determination unit that the candidate image is added to the electronic album, the image of the region indicating the person detected by the person region detection unit among the candidate images is the image of the person included in the region. The image processing unit further includes an image processing unit that performs image processing so that the candidate image is added to the electronic album. When the determination unit determines that the candidate image is added to the electronic album, the editing unit first sets the candidate image subjected to image processing by the image processing unit. The electronic album may be edited by being stored in the storage unit and added to the electronic album. The image processing unit may make the image of the person included in the area inconspicuous by performing the blurring process on the image of the area indicating the person. The image processing unit may replace the image of the area indicating the person with the image including the user to make the image of the person included in the area inconspicuous.

第２格納部は、複数の画像を、それぞれが同一の撮像者により撮像された複数の画像を含む、複数の電子アルバムとして格納していると共に、それぞれの電子アルバムに対応付けて、当該電子アルバムに含まれる複数の画像における撮像者の移動経路を格納しており、当該電子アルバム編集システムは、第１格納部に格納されている複数の画像のそれぞれにおける撮像順序及び撮像地点に基づいて、当該複数の画像における利用者の移動経路を算出する移動経路算出部を更に備え、判定部は、第２格納部に格納されている複数の電子アルバムのうち、候補画像が含まれる電子アルバムに対応する移動経路と移動経路算出部により算出された移動経路との一致度が予め定められた基準値以上であり、且つ、当該候補画像が含まれる電子アルバムにおける複数の画像が撮像された期間と第１格納部に格納されている複数の画像が撮像された期間との一致度が予め定められた基準値以上である場合には、人物領域検出部により検出された領域の候補画像全体に対する割合に関わらず、候補画像が電子アルバムに追加されると判定してもよい。   The second storage unit stores a plurality of images as a plurality of electronic albums each including a plurality of images captured by the same photographer, and associates each electronic album with the electronic album. The electronic album editing system stores the movement route of the photographer in the plurality of images included in the image based on the imaging order and the imaging point in each of the plurality of images stored in the first storage unit. The apparatus further includes a movement path calculation unit that calculates a movement path of the user in the plurality of images, and the determination unit corresponds to an electronic album including candidate images among the plurality of electronic albums stored in the second storage unit. An electronic album in which the degree of coincidence between the movement route and the movement route calculated by the movement route calculation unit is equal to or greater than a predetermined reference value, and the candidate image is included When the degree of coincidence between the period during which the plurality of images are captured and the period during which the plurality of images stored in the first storage unit is captured is greater than or equal to a predetermined reference value, the person region detection unit The candidate image may be determined to be added to the electronic album regardless of the ratio of the detected area to the entire candidate image.

また、本発明の第２の形態においては、複数の画像を含む電子アルバムを編集する電子アルバム編集方法であって、第１格納部は、利用者により撮像された複数の画像を電子アルバムとして格納しており、第２格納部は、利用者とは異なる撮像者により撮像された複数の画像を格納しており、当該電子アルバム編集方法は、第２格納部に格納されている複数の画像から、電子アルバムに追加される画像の候補である候補画像を選択する候補画像選択段階と、候補画像において人物を示す領域を検出する人物領域検出段階と、人物領域検出段階において検出された領域の候補画像全体に対する割合が予め定められた基準値より小さい場合に、候補画像が電子アルバムに追加されると判定する判定段階と、候補画像が電子アルバムに追加されると判定段階において判定された場合に、候補画像を第１格納部に格納させて電子アルバムに追加することにより、電子アルバムを編集する編集段階とを備える。   According to a second aspect of the present invention, there is provided an electronic album editing method for editing an electronic album including a plurality of images, wherein the first storage unit stores the plurality of images captured by the user as an electronic album. The second storage unit stores a plurality of images captured by an imager different from the user, and the electronic album editing method is based on the plurality of images stored in the second storage unit. A candidate image selection stage for selecting a candidate image that is a candidate for an image to be added to the electronic album, a person area detection stage for detecting an area indicating a person in the candidate image, and a candidate for the area detected in the person area detection stage A determination step of determining that a candidate image is added to the electronic album when the ratio to the entire image is smaller than a predetermined reference value, and when the candidate image is added to the electronic album If it is determined in the constant phase, by adding to the electronic album is stored candidate images in the first storage unit, and a editing step of editing an electronic album.

また、本発明の第３の形態においては、複数の画像を含む電子アルバムを編集する電子アルバム編集システムとしてコンピュータを機能させる電子アルバム編集プログラムであって、コンピュータを、利用者により撮像された複数の画像を電子アルバムとして格納している第１格納部と、利用者とは異なる撮像者により撮像された複数の画像を格納している第２格納部と、第２格納部に格納されている複数の画像から、電子アルバムに追加される画像の候補である候補画像を選択する候補画像選択部と、候補画像において人物を示す領域を検出する人物領域検出部と、人物領域検出部により検出された領域の候補画像全体に対する割合が予め定められた基準値より小さい場合に、候補画像が電子アルバムに追加されると判定する判定部と、候補画像が電子アルバムに追加されると判定部により判定された場合に、候補画像を第１格納部に格納させて電子アルバムに追加することにより、電子アルバムを編集する編集部とを備える電子アルバム編集システムとして機能させる。   According to a third aspect of the present invention, there is provided an electronic album editing program that causes a computer to function as an electronic album editing system that edits an electronic album including a plurality of images. A first storage unit that stores images as an electronic album, a second storage unit that stores a plurality of images captured by an imager different from the user, and a plurality of units that are stored in the second storage unit A candidate image selection unit that selects a candidate image that is a candidate for an image to be added to the electronic album, a person region detection unit that detects a region indicating a person in the candidate image, and a person region detection unit A determination unit that determines that the candidate image is added to the electronic album when the ratio of the area to the entire candidate image is smaller than a predetermined reference value; An electronic album editing comprising: an editing unit that edits an electronic album by storing the candidate image in the first storage unit and adding the candidate image to the electronic album when the determination unit determines that the image is added to the electronic album Make it function as a system.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明によれば、他の撮像者が撮像した画像を追加して利用者の電子アルバムを編集する場合に、電子アルバムに追加する画像として好適な画像を選択することができる。   According to the present invention, when editing an electronic album of a user by adding an image captured by another imager, an image suitable as an image to be added to the electronic album can be selected.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.

図１は、本発明の実施形態に係る電子アルバム編集システム１０の機能構成の一例を示すブロック図である。電子アルバム編集システム１０は、第１格納部１００、移動経路算出部１１０、第２格納部１２０、候補画像選択部１３０、人物領域検出部１４０、判定部１５０、画像処理部１６０、及び編集部１７０を備える。電子アルバム編集システム１０は、利用者とは異なる撮像者が撮像した複数の画像から一の画像を選択し、選択した画像を利用者の電子アルバムに追加することにより、利用者の電子アルバムを編集する。   FIG. 1 is a block diagram illustrating an example of a functional configuration of an electronic album editing system 10 according to an embodiment of the present invention. The electronic album editing system 10 includes a first storage unit 100, a movement path calculation unit 110, a second storage unit 120, a candidate image selection unit 130, a person area detection unit 140, a determination unit 150, an image processing unit 160, and an editing unit 170. Is provided. The electronic album editing system 10 edits a user's electronic album by selecting one image from a plurality of images taken by a photographer different from the user and adding the selected image to the user's electronic album. To do.

本発明の実施形態に係る電子アルバム編集システム１０は、利用者とは異なる撮像者によって撮像された一の画像を利用者の電子アルバムに追加するか否かを、当該一の画像における人物を示す領域の割合に基づいて判定することにより、利用者にとって好適な画像を追加して、利用者の電子アルバムを編集することを目的とする。   The electronic album editing system 10 according to the embodiment of the present invention indicates whether or not to add one image captured by an imager different from the user to the user's electronic album, and indicates the person in the one image. An object is to edit the user's electronic album by adding an image suitable for the user by making a determination based on the ratio of the area.

第１格納部１００は、利用者により撮像された複数の画像を電子アルバムとして格納している。第１格納部１００は、例えば、ハードディスクドライブ等の磁気記憶装置や、フラッシュメモリ等の半導体記録媒体、ＣＤ−Ｒ等の光学記録媒体、もしくはその他の記録媒体であってよい。移動経路算出部１１０は、第１格納部１００に格納されている、利用者により撮像された複数の画像のそれぞれにおける撮像順序及び撮像地点に基づいて、当該複数の画像における利用者の移動経路を算出する。そして、移動経路算出部１１０は、算出した移動経路を判定部１５０に出力する。   The first storage unit 100 stores a plurality of images taken by the user as an electronic album. The first storage unit 100 may be, for example, a magnetic storage device such as a hard disk drive, a semiconductor recording medium such as a flash memory, an optical recording medium such as a CD-R, or other recording medium. The movement path calculation unit 110 stores the movement path of the user in the plurality of images based on the imaging order and the imaging point in each of the plurality of images captured by the user stored in the first storage unit 100. calculate. Then, the movement route calculation unit 110 outputs the calculated movement route to the determination unit 150.

第２格納部１２０は、利用者とは異なる撮像者により撮像された複数の画像を格納している。第２格納部１２０は、例えば、ハードディスクドライブ等の磁気記憶装置や、フラッシュメモリ等の半導体記録媒体、ＣＤ−Ｒ等の光学記録媒体、もしくはその他の記録媒体であってよい。また、第２格納部１２０は、例えばインターネットにおいて公開されているサーバーであってもよい。候補画像選択部１３０は、第２格納部１２０に格納されている複数の画像から、第１格納部１００に格納されている複数の画像を含む、利用者の電子アルバムに追加される画像の候補である候補画像を選択する。ここで、候補画像選択部１３０は、利用者の電子アルバムに含まれる画像の特徴または付帯情報、例えば撮像地点等に基づいて、候補画像を選択してよい。そして、候補画像選択部１３０は、選択した候補画像を、人物領域検出部１４０に出力する。人物領域検出部１４０は、候補画像選択部１３０から候補画像を受け取り、受け取った候補画像において人物を示す領域を、画像処理技術等を用いて検出する。そして、人物領域検出部１４０は、受け取った候補画像、及び検出した人物を示す領域を、判定部１５０に出力する。   The second storage unit 120 stores a plurality of images captured by an imager different from the user. The second storage unit 120 may be, for example, a magnetic storage device such as a hard disk drive, a semiconductor recording medium such as a flash memory, an optical recording medium such as a CD-R, or other recording medium. The second storage unit 120 may be a server that is open to the public on the Internet, for example. The candidate image selection unit 130 includes a plurality of images stored in the first storage unit 100 from a plurality of images stored in the second storage unit 120 and candidates for images to be added to the user's electronic album. A candidate image is selected. Here, the candidate image selection unit 130 may select a candidate image based on image characteristics or incidental information included in the user's electronic album, for example, an imaging point. Then, the candidate image selection unit 130 outputs the selected candidate image to the person region detection unit 140. The person area detection unit 140 receives a candidate image from the candidate image selection unit 130 and detects an area indicating a person in the received candidate image using an image processing technique or the like. Then, the person area detection unit 140 outputs the received candidate image and the area indicating the detected person to the determination unit 150.

判定部１５０は、候補画像選択部１３０により選択された候補画像における、人物領域検出部１４０により検出された人物を示す領域の、当該候補画像全体に対する割合を算出する。そして、判定部１５０は、算出した割合に基づいて、候補画像が利用者の電子アルバムに追加されるべき画像であるか否かを判定する。具体的には、判定部１５０は、算出した割合が予め定められた基準値より小さい場合に、候補画像が利用者の電子アルバムに追加されると判定する。そして、判定部１５０は、候補画像及び判定結果を画像処理部１６０に出力する。画像処理部１６０は、候補画像選択部１３０により選択された候補画像が利用者の電子アルバムに追加されると判定部１５０により判定された場合に、当該候補画像のうち、人物領域検出部１４０により検出された人物を示す領域の画像を、当該領域に含まれる人物の画像を目立たなくするべく画像処理する。そして、画像処理部１６０は、画像処理した候補画像を編集部１７０に出力する。編集部１７０は、候補画像選択部１３０により選択された候補画像が利用者の電子アルバムに追加されると判定部によって判定された場合に、画像処理部１６０により画像処理された当該候補画像を第１格納部１００に格納させて利用者の電子アルバムに追加することにより、利用者の電子アルバムを編集する。   The determination unit 150 calculates the ratio of the area indicating the person detected by the person area detection unit 140 in the candidate image selected by the candidate image selection unit 130 to the entire candidate image. Then, the determination unit 150 determines whether the candidate image is an image to be added to the user's electronic album based on the calculated ratio. Specifically, the determination unit 150 determines that the candidate image is added to the user's electronic album when the calculated ratio is smaller than a predetermined reference value. Then, the determination unit 150 outputs the candidate image and the determination result to the image processing unit 160. When the determination unit 150 determines that the candidate image selected by the candidate image selection unit 130 is added to the user's electronic album, the image processing unit 160 uses the person region detection unit 140 of the candidate images. The image of the area indicating the detected person is subjected to image processing so as to make the image of the person included in the area inconspicuous. Then, the image processing unit 160 outputs the candidate image subjected to the image processing to the editing unit 170. When the determination unit determines that the candidate image selected by the candidate image selection unit 130 is added to the user's electronic album, the editing unit 170 sets the candidate image subjected to the image processing by the image processing unit 160 to the first image. The user's electronic album is edited by storing it in the storage unit 100 and adding it to the user's electronic album.

本発明の実施形態に係る電子アルバム編集システム１０によれば、利用者とは異なる撮像者によって撮像された画像を利用者の電子アルバムに追加して、利用者の電子アルバムを編集する場合に、人物を示す領域の割合が小さな画像を追加することができる。例えば、第２格納部１２０の一例として、インターネットにおいて公開されている画像データベースを想定する場合において、利用者とは無関係の撮像者が撮像した候補画像を画像データベースから読み出して、利用者の電子アルバムに追加する場合、通常、当該候補画像に含まれる人物は、利用者とは全く関係の無い人物である。従って、当該候補画像において、人物を示す領域の画像全体に対する割合が大きい場合、当該候補画像は、利用者の電子アルバムに追加する画像として適切とは言えない。しかし、電子アルバム編集システム１０によれば、選択した候補画像において、人物を示す領域の割合が基準値より小さく、当該人物が目立たない場合に、当該候補画像を利用者の電子アルバムに追加することができる。これにより、利用者は、第２格納部１２０に格納されている多数の画像のそれぞれを確認しながら、電子アルバムに追加する画像を手動で選択することなく、利用者とは無関係である人物を示す領域の割合が小さい、好適な画像を自動的に電子アルバムに追加させて、電子アルバムを編集することができる。   According to the electronic album editing system 10 according to the embodiment of the present invention, when an image captured by an imager different from the user is added to the user's electronic album and the user's electronic album is edited, It is possible to add an image with a small proportion of the area indicating the person. For example, when an image database published on the Internet is assumed as an example of the second storage unit 120, candidate images captured by an imager unrelated to the user are read from the image database, and the user's electronic album In general, the person included in the candidate image is a person who has nothing to do with the user. Therefore, in the candidate image, when the ratio of the area indicating the person to the entire image is large, the candidate image is not appropriate as an image to be added to the user's electronic album. However, according to the electronic album editing system 10, when the ratio of the area indicating the person is smaller than the reference value in the selected candidate image and the person is not conspicuous, the candidate image is added to the user's electronic album. Can do. Accordingly, the user can select a person who is not related to the user without manually selecting an image to be added to the electronic album while checking each of a large number of images stored in the second storage unit 120. The electronic album can be edited by automatically adding a suitable image having a small area ratio to the electronic album.

また、本発明の実施形態に係る電子アルバム編集システム１０によれば、画像処理部１６０によって、候補画像における人物を示す領域の画像を目立たなくするべく画像処理することにより、当該候補画像を、利用者の電子アルバムに追加する画像としてより好適な画像とすることができる。   Further, according to the electronic album editing system 10 according to the embodiment of the present invention, the image processing unit 160 uses the candidate image by performing image processing so that the image of the area indicating the person in the candidate image is inconspicuous. It is possible to make the image more suitable as an image to be added to the person's electronic album.

なお、電子アルバム編集システム１０の構成は、本図に示した構成に限定されず、本図に示した構成に多様な変更を加えた構成であってもよい。例えば、電子アルバム編集システム１０は、画像処理部１６０を備えていなくともよい。この場合、編集部１７０は、候補画像が電子アルバムに追加されると判定部１５０により判定された場合に、当該候補画像を第１格納部１００に格納させて利用者の電子アルバムに追加することにより、利用者の電子アルバムを編集してよい。   The configuration of the electronic album editing system 10 is not limited to the configuration shown in the figure, and may be a configuration obtained by adding various changes to the configuration shown in the figure. For example, the electronic album editing system 10 may not include the image processing unit 160. In this case, when the determination unit 150 determines that the candidate image is added to the electronic album, the editing unit 170 stores the candidate image in the first storage unit 100 and adds the candidate image to the user's electronic album. Thus, the user's electronic album may be edited.

図２は、本発明の実施形態に係る第１格納部１００の一例を示す。第１格納部１００は、利用者が撮像した複数の画像、具体的には、画像２００、画像２１０、画像２２０、・・・を格納している。また、第１格納部１００は、それぞれの画像に対応付けて、当該画像の撮像日時と、当該画像の撮像地点、具体的には撮像地点の緯度及び経度とを格納している。移動経路算出部１１０は、複数の画像のそれぞれにおける撮像日時に基づいて、当該複数の画像の撮像順序を検出する。そして、移動経路算出部１１０は、例えば、複数の画像における撮像地点のそれぞれを、検出した撮像順序に従って、移動経路における、始点、任意数の中継点、及び終点のそれぞれとすることにより、当該複数の画像における利用者の移動経路を算出してよい。   FIG. 2 shows an example of the first storage unit 100 according to the embodiment of the present invention. The first storage unit 100 stores a plurality of images captured by the user, specifically, an image 200, an image 210, an image 220,. Further, the first storage unit 100 stores the image capturing date / time of the image and the image capturing point of the image, specifically, the latitude and longitude of the image capturing point in association with each image. The movement path calculation unit 110 detects the imaging order of the plurality of images based on the imaging date / time of each of the plurality of images. Then, for example, the movement route calculation unit 110 sets each of the imaging points in the plurality of images as the start point, the arbitrary number of relay points, and the end point in the movement route according to the detected imaging order. The movement route of the user in the image may be calculated.

図３は、本発明の実施形態に係る第２格納部１２０の一例を示す。本例において、第２格納部１２０は、利用者とは異なる撮像者により撮像された複数の画像を、それぞれが同一の撮像者により撮像された複数の画像を含む、複数の電子アルバムとして格納している。具体的には、第２格納部１２０は、電子アルバム３００に含まれる画像として、画像３０２、画像３０４、・・・を格納しており、また、電子アルバム３１０に含まれる画像として、画像３１２、画像３１４、・・・を格納している。ここで、第２格納部１２０は、更に、それぞれの画像に対応付けて、当該画像の撮像日時と、当該画像の撮像地点、具体的には撮像地点の緯度及び経度とを格納している。   FIG. 3 shows an example of the second storage unit 120 according to the embodiment of the present invention. In this example, the second storage unit 120 stores a plurality of images captured by a photographer different from the user as a plurality of electronic albums each including a plurality of images captured by the same imager. ing. Specifically, the second storage unit 120 stores images 302, 304,... As images included in the electronic album 300, and images 312 as images included in the electronic album 310. Images 314,... Are stored. Here, the second storage unit 120 further stores the image capturing date / time of the image and the image capturing point of the image, specifically the latitude and longitude of the image capturing point, in association with each image.

また、第２格納部１２０は、複数の電子アルバムのそれぞれに対応付けて、当該電子アルバムに含まれる複数の画像における撮像者の移動経路を格納している。例えば、第２格納部１２０は、複数の画像における撮像地点のそれぞれを、撮像順序に従って、始点、任意数の中継点、及び終点のそれぞれとした移動経路を格納していてよい。なお、第２格納部１２０は、必ずしも、電子アルバムのそれぞれに対応付けて、当該電子アルバムにおける撮像者の移動経路を予め格納していなくともよく、移動経路は、それぞれの画像における撮像日時及び撮像地点に基づき、判定部１５０等によって必要とされる都度算出されてもよい。しかし、本図に示したように、第２格納部１２０が、電子アルバムにおける移動経路を予め算出して格納していることにより、当該移動経路を必要とする処理を、より短い時間で実行することができる。   Further, the second storage unit 120 stores the movement path of the photographer in the plurality of images included in the electronic album in association with each of the plurality of electronic albums. For example, the second storage unit 120 may store a movement route in which each of the imaging points in the plurality of images is a start point, an arbitrary number of relay points, and an end point according to the imaging order. Note that the second storage unit 120 does not necessarily store in advance the movement path of the photographer in the electronic album in association with each of the electronic albums. The movement path includes the imaging date and time and the imaging in each image. Based on the point, it may be calculated whenever needed by the determination unit 150 or the like. However, as shown in the figure, since the second storage unit 120 calculates and stores the travel route in the electronic album in advance, the process that requires the travel route is executed in a shorter time. be able to.

また、第２格納部１２０は、複数の電子アルバムのそれぞれに対応付けて、更に、当該電子アルバムに含まれる複数の画像が撮像された期間を格納していてもよい。例えば、第２格納部１２０は、電子アルバムに含まれる複数の画像における撮像日時のそれぞれのうち、最初の撮像日時と最後の撮像日時とのそれぞれを端点とする期間を、当該電子アルバムにおける撮像期間として格納していてよい。   Further, the second storage unit 120 may store a period in which a plurality of images included in the electronic album are captured in association with each of the plurality of electronic albums. For example, the second storage unit 120 sets a period with each of the first imaging date and the last imaging date among the imaging dates and times in a plurality of images included in the electronic album as the imaging period in the electronic album. You may store as.

図４は、本発明の実施形態に係る人物領域検出部１４０における処理の一例を示す。本例において、候補画像選択部１３０は、第２格納部１２０に格納されている複数の画像から、候補画像４００を選択している。そして、人物領域検出部１４０は、候補画像４００において人物を示す領域４１０を、公知の画像処理技術を用いて検出する。例えば、人物領域検出部１４０は、候補画像４００から、人物画像における特徴的な形状、例えば顔の各部の形状等を抽出することにより、候補画像４００において領域４１０を検出してよい。なお、人物領域検出部１４０は、候補画像４００における人物を示す領域として、当該人物の輪郭を検出してよく、また、当該人物の輪郭に外接する矩形領域や、当該矩形領域の幅または高さ、或いは当該人物における顔画像の大きさ、当該人物における両眼の間の距離等を検出してもよい。   FIG. 4 shows an example of processing in the human region detection unit 140 according to the embodiment of the present invention. In this example, the candidate image selection unit 130 selects the candidate image 400 from a plurality of images stored in the second storage unit 120. Then, the person area detection unit 140 detects an area 410 indicating a person in the candidate image 400 using a known image processing technique. For example, the person area detection unit 140 may detect the area 410 in the candidate image 400 by extracting a characteristic shape in the person image, such as the shape of each part of the face, from the candidate image 400. Note that the person area detection unit 140 may detect the outline of the person as an area indicating the person in the candidate image 400, and may also detect a rectangular area circumscribing the outline of the person, and the width or height of the rectangular area. Alternatively, the size of the face image of the person, the distance between both eyes of the person, and the like may be detected.

そして、判定部１５０は、候補画像４００における人物を示す領域４１０の、候補画像４００全体に対する割合を算出する。例えば、判定部１５０は、領域４１０の面積を候補画像４００の面積で除算することにより、領域４１０の割合を算出してよい。また、例えば、人物領域検出部１４０によって人物の輪郭の外接矩形における幅や高さ等が検出された場合、判定部１５０は、当該検出された幅や高さ等を、候補画像４００の幅や高さ、対角線の長さ等で除算することにより、検出された領域の割合を算出してもよい。そして、判定部１５０は、算出した割合が予め定められた基準値より小さい場合に、候補画像４００が利用者の電子アルバムに追加されると判定する。ここで、予め定められた基準値とは、利用者とは異なる撮像者によって撮像された候補画像に含まれている人物が大きいことにより、利用者が、当該候補画像が利用者の電子アルバムに追加するには不適であると判定する場合における、人物を示す領域の画像の、候補画像全体に対する割合の下限値であってよく、例えば、０．１等として、利用者等により予め定められていてよい。なお、当該予め定められた基準値は、画像処理部１６０が候補画像に対して後述する画像処理を行うか否かによって、異なる値として定められてもよい。   Then, the determination unit 150 calculates the ratio of the area 410 indicating the person in the candidate image 400 to the entire candidate image 400. For example, the determination unit 150 may calculate the ratio of the region 410 by dividing the area of the region 410 by the area of the candidate image 400. In addition, for example, when the person region detection unit 140 detects the width, height, and the like of the circumscribed rectangle of the outline of the person, the determination unit 150 uses the detected width, height, and the like as the width of the candidate image 400, The ratio of the detected area may be calculated by dividing by the height, the length of the diagonal line, or the like. Then, the determination unit 150 determines that the candidate image 400 is added to the user's electronic album when the calculated ratio is smaller than a predetermined reference value. Here, the predetermined reference value means that a large number of people are included in a candidate image captured by an imager different from the user, so that the user can add the candidate image to the user's electronic album. This may be the lower limit value of the ratio of the image of the area indicating the person to the entire candidate image when it is determined to be unsuitable to be added. For example, 0.1 or the like is predetermined by the user or the like. It's okay. The predetermined reference value may be determined as a different value depending on whether or not the image processing unit 160 performs image processing to be described later on the candidate image.

そして、画像処理部１６０は、候補画像４００が利用者の電子アルバムに追加されると判定部１５０によって判定された場合に、人物を示す領域４１０の画像を、領域４１０に含まれる人物の画像を目立たなくするべく画像処理する。例えば、画像処理部１６０は、人物を示す領域４１０の画像に対してぼかし処理を行うことにより、領域４１０に含まれる人物の画像を目立たなくしてよい。また、例えば、画像処理部１６０は、人物を示す領域４１０の画像を、利用者が含まれる画像に差し替えることにより、領域４１０に含まれる人物の画像を目立たなくしてよい。これにより、領域４１０の画像に含まれていた人物が利用者と無関係な人物であっても、候補画像４００を、利用者の電子アルバムに追加する画像として好適な画像とすることができる。   Then, when the determination unit 150 determines that the candidate image 400 is added to the user's electronic album, the image processing unit 160 displays the image of the area 410 indicating the person and the image of the person included in the area 410. Image processing to make it inconspicuous. For example, the image processing unit 160 may make the image of the person included in the area 410 inconspicuous by performing blurring processing on the image of the area 410 indicating the person. Further, for example, the image processing unit 160 may replace the image of the area 410 indicating the person with the image including the user, thereby making the image of the person included in the area 410 inconspicuous. Thereby, even if the person included in the image of the area 410 is a person unrelated to the user, the candidate image 400 can be made an image suitable as an image to be added to the user's electronic album.

図５は、本発明の実施形態に係る判定部１５０における処理の一例を示す。本図において、移動経路５００は、移動経路算出部１１０により算出された、利用者の電子アルバムに含まれる複数の画像における、利用者の移動経路を示す。また、本例において、第２格納部１２０は、図３に示したように、複数の画像を、それぞれが同一の撮像者により撮像された複数の画像を含む、複数の電子アルバムとして格納している。そして、本図において、移動経路５１０は、候補画像選択部１３０により選択された候補画像が含まれる電子アルバムに対応付けて第２格納部１２０に格納されている移動経路を示す。ここで、それぞれの移動経路は、図２及び図３において説明したように、それぞれの電子アルバムに含まれる画像における、複数の撮像地点を含んでいるとする。   FIG. 5 shows an example of processing in the determination unit 150 according to the embodiment of the present invention. In this figure, a movement route 500 indicates a user's movement route in a plurality of images included in the user's electronic album calculated by the movement route calculation unit 110. In this example, as shown in FIG. 3, the second storage unit 120 stores a plurality of images as a plurality of electronic albums each including a plurality of images captured by the same photographer. Yes. In the drawing, a movement route 510 indicates a movement route stored in the second storage unit 120 in association with the electronic album including the candidate image selected by the candidate image selection unit 130. Here, it is assumed that each movement route includes a plurality of imaging points in the images included in each electronic album, as described in FIGS.

判定部１５０は、選択された候補画像を含む電子アルバムに含まれる複数の画像における移動経路と、第１格納部１００に格納されている、利用者の電子アルバムに含まれる複数の画像における移動経路との一致度を判定する。まず、判定部１５０は、移動経路５１０に含まれる地点のそれぞれについて、移動経路５００に含まれる、前後する地点間を結ぶ複数の経路のうち、当該地点に最も近い経路との距離を算出する。例えば、判定部１５０は、移動経路５１０に含まれる地点５１２について、移動経路５００に含まれる複数の経路のうち、地点５１２に最も近い経路である、地点５０２と地点５０４とを結ぶ経路との距離５２０を算出する。そして、判定部１５０は、移動経路５１０に含まれる他の地点についても同様に、移動経路５００に含まれる経路との距離を算出する。そして、判定部１５０は、それぞれの地点について算出した距離の二乗和を算出する。ここで、算出された二乗和の逆数は、移動経路５００と移動経路５１０との一致度の一例である。そして、判定部１５０は、算出した二乗和が、予め定められた基準値以下であるか否か、即ち、二乗和の逆数によって示される一致度が、予め定められた基準値以上であるか否かを判定する。なお、二乗和における予め定められた基準値とは、利用者の電子アルバムにおける移動経路と、候補画像を含む電子アルバムにおける移動経路とが、それぞれの移動経路において十分に関連性の高い画像が撮像されると利用者が判定する場合における、二乗和の上限値であってよく、利用者等によって予め定められていてよい。   The determination unit 150 includes movement paths in the plurality of images included in the electronic album including the selected candidate image, and movement paths in the plurality of images included in the user's electronic album stored in the first storage unit 100. The degree of coincidence with is determined. First, for each of the points included in the travel route 510, the determination unit 150 calculates the distance to the route closest to the point among a plurality of routes that connect the points that are included in the travel route 500. For example, for the point 512 included in the travel route 510, the determination unit 150 determines the distance between the route connecting the point 502 and the point 504, which is the route closest to the point 512 among the plurality of routes included in the travel route 500. 520 is calculated. And the determination part 150 calculates the distance with the path | route included in the movement path | route 500 similarly about the other point included in the movement path | route 510. FIG. Then, the determination unit 150 calculates the sum of squares of the distances calculated for each point. Here, the reciprocal of the calculated sum of squares is an example of the degree of coincidence between the travel route 500 and the travel route 510. Then, the determination unit 150 determines whether the calculated sum of squares is equal to or less than a predetermined reference value, that is, whether the degree of coincidence indicated by the reciprocal of the sum of squares is equal to or greater than a predetermined reference value. Determine whether. Note that the predetermined reference value in the sum of squares means that the movement route in the user's electronic album and the movement route in the electronic album including the candidate images are captured in images that are sufficiently relevant in each movement route. In this case, the upper limit value of the sum of squares in the case where the user determines may be determined in advance by the user or the like.

また、判定部１５０は、選択された候補画像を含む電子アルバムに含まれる複数の画像が撮像された期間と、第１格納部１００に格納されている、利用者の電子アルバムに含まれる複数の画像が撮像された期間との一致度を判定する。例えば、判定部１５０は、利用者の電子アルバムに含まれる複数の画像のそれぞれに対応付けて第１格納部１００に格納されている撮像日時に基づいて、当該複数の画像が撮像された期間を算出する。また、判定部１５０は、候補画像を含む電子アルバムに含まれる複数の画像が撮像された期間を、第２格納部１２０から取得する。そして、判定部１５０は、候補画像を含む電子アルバムについて取得した期間のうち、利用者の電子アルバムについて算出した期間に重複する期間を検出すると共に、当該検出した期間における、候補画像を含む電子アルバムについて算出した期間全体に対する割合を算出する。ここで、判定部１５０が算出した割合は、候補画像を含む電子アルバムと、利用者の電子アルバムとにおける、画像を撮像した期間の一致度の一例である。そして、判定部１５０は、算出した割合が予め定められた基準値以上であるか否かを判定する。ここで、算出した割合における予め定められた基準値とは、利用者の電子アルバムに含まれる画像と、当該一の電子アルバムに含まれる画像とが、十分に高い関連性を示すと利用者が判定する場合の、画像が撮像された期間における重複の割合の下限値であってよく、例えば０．７等として、利用者等によって予め定められていてよい。   The determination unit 150 also includes a period during which a plurality of images included in the electronic album including the selected candidate image are captured, and a plurality of images included in the user's electronic album stored in the first storage unit 100. The degree of coincidence with the period when the image was captured is determined. For example, the determination unit 150 determines the period during which the plurality of images are captured based on the imaging date and time stored in the first storage unit 100 in association with each of the plurality of images included in the user's electronic album. calculate. In addition, the determination unit 150 acquires a period during which a plurality of images included in the electronic album including the candidate images are captured from the second storage unit 120. Then, the determination unit 150 detects a period that overlaps the period calculated for the user's electronic album among the periods acquired for the electronic album including the candidate image, and also includes the electronic album including the candidate image in the detected period. The ratio with respect to the whole period calculated about is calculated. Here, the ratio calculated by the determination unit 150 is an example of the degree of coincidence between image capturing periods in the electronic album including the candidate image and the user's electronic album. Then, the determination unit 150 determines whether or not the calculated ratio is greater than or equal to a predetermined reference value. Here, the predetermined reference value in the calculated ratio is that the image included in the user's electronic album and the image included in the one electronic album show sufficiently high relevance. In the case of determination, it may be a lower limit value of the overlapping ratio in the period when the image is captured, and may be predetermined by a user or the like, for example, as 0.7.

そして、判定部１５０は、候補画像を含む電子アルバムと、利用者の電子アルバムとにおいて、それぞれの電子アルバムに含まれる複数の画像における移動経路の一致度が、移動経路について定められた基準値以上であり、且つ、電子アルバムに含まれる複数の画像が撮像された期間の一致度が、撮像期間について定められた基準値以上である場合には、当該候補画像における人物を示す領域の、候補画像全体に対する割合に関わらず、当該候補画像が利用者の電子アルバムに追加されると判定する。   Then, in the electronic album including the candidate image and the user's electronic album, the determination unit 150 determines that the degree of coincidence of the movement paths in the plurality of images included in each electronic album is equal to or greater than a reference value determined for the movement path. And when the degree of coincidence of a period during which a plurality of images included in the electronic album are captured is equal to or greater than a reference value determined for the imaging period, a candidate image in a region indicating a person in the candidate image It is determined that the candidate image is added to the user's electronic album regardless of the ratio to the whole.

本発明の実施形態に係る電子アルバム編集システム１０によれば、候補画像を含む電子アルバムと利用者の電子アルバムとにおける、移動経路及び撮像期間の一致度が高い場合には、当該候補画像を、人物を示す領域の割合に関わらず利用者の電子アルバムに追加することができる。これにより、候補画像が、例えば、旅行において利用者に同行した撮像者によって撮像された画像といった、利用者が撮像した画像に対して関連性の高い画像である場合に、画像処理によって画質を劣化させることなく、利用者のアルバムに画像を追加することができる。   According to the electronic album editing system 10 according to the embodiment of the present invention, if the degree of coincidence between the movement path and the imaging period in the electronic album including the candidate image and the user's electronic album is high, the candidate image is Regardless of the ratio of the area indicating the person, it can be added to the user's electronic album. As a result, when the candidate image is an image that is highly relevant to the image captured by the user, for example, an image captured by a photographer accompanying the user on a trip, the image quality is degraded by image processing. It is possible to add an image to the user's album without making it happen.

なお、判定部１５０は、画像が撮像された期間の一致度に関わらず、移動経路の一致度が基準値以上である場合には、候補画像が利用者の電子アルバムに追加されると判定してもよい。また、電子アルバム編集システム１０は、移動経路算出部１１０を備えておらず、判定部１５０は、移動経路の一致度や画像が撮像された期間の一致度に関わらず、候補画像が利用者の電子アルバムに追加されるか否かを判定してもよい。   Note that the determination unit 150 determines that the candidate image is added to the user's electronic album when the matching degree of the movement path is equal to or greater than the reference value regardless of the matching degree of the period in which the images are captured. May be. In addition, the electronic album editing system 10 does not include the movement route calculation unit 110, and the determination unit 150 determines that the candidate image is the user's image regardless of the degree of coincidence of the movement route and the degree of coincidence of the period when the images are captured. It may be determined whether or not to be added to the electronic album.

図６は、本発明の実施形態に係る電子アルバム編集システム１０における処理の流れの一例を示すフローチャートである。まず、候補画像選択部１３０は、第２格納部１２０に格納されている複数の画像から、第１格納部１００に格納されている複数の画像を含む利用者の電子アルバムに追加される画像の候補である候補画像を選択する（Ｓ１０００）。ここで、候補画像選択部１３０は、第２格納部１２０に格納されている複数の画像のうち、第１格納部１００に格納されている複数の画像のそれぞれにおける撮像地点に基づいて定められる撮像地域に含まれる地点で撮像された画像を、候補画像として選択してよい。なお、第１格納部１００に格納されている複数の画像のそれぞれにおける撮像地点に基づいて定められる撮像地域とは、例えば、当該複数の画像におけるすべての撮像地点を含むと共に、当該すべての撮像地点から選択された選択点を頂点として、且つすべての頂角が１８０度以下である多角形により示される地域、或いは当該多角形を含む地域であってよい。これにより、利用者の電子アルバムに含まれる複数の画像における撮像地点の近傍で撮像された画像を候補画像とすることができるので、当該複数の画像に対して関連性の高い、利用者にとって好適な画像を利用者の電子アルバムに追加することができる。   FIG. 6 is a flowchart showing an example of a processing flow in the electronic album editing system 10 according to the embodiment of the present invention. First, the candidate image selection unit 130 selects an image to be added to the user's electronic album including the plurality of images stored in the first storage unit 100 from the plurality of images stored in the second storage unit 120. A candidate image that is a candidate is selected (S1000). Here, the candidate image selection unit 130 is determined based on the imaging points in each of the plurality of images stored in the first storage unit 100 among the plurality of images stored in the second storage unit 120. Images captured at points included in the area may be selected as candidate images. The imaging area determined based on the imaging points in each of the plurality of images stored in the first storage unit 100 includes, for example, all the imaging points in the plurality of images, and all the imaging points. It may be a region indicated by a polygon having a selected point selected from the above as a vertex and all apex angles of 180 degrees or less, or a region including the polygon. As a result, an image captured in the vicinity of the imaging point in a plurality of images included in the user's electronic album can be set as a candidate image, and thus highly relevant to the plurality of images and suitable for the user. New images can be added to the user's electronic album.

続いて、人物領域検出部１４０は、候補画像選択部１３０によって選択された候補画像において人物を示す領域を検出する（Ｓ１０１０）。続いて、移動経路算出部１１０は、第１格納部１００に格納されている、利用者により撮像された複数の画像のそれぞれにおける撮像順序及び撮像地点に基づいて、当該複数の画像における利用者の移動経路を算出する（Ｓ１０２０）。続いて、判定部１５０は、人物領域検出部１４０により検出された人物を示す領域の、候補画像全体に対する割合を算出し、算出した割合に基づいて、候補画像を利用者の電子アルバムに追加するか否かを判定する（Ｓ１０３０）。ここで、判定部１５０は、候補画像を利用者の電子アルバムに追加するか否かを、候補画像を含む電子アルバムと利用者の電子アルバムとにおける、移動経路の一致度、及び電子アルバムに含まれる複数の画像が撮像された期間の一致度に基づいて判定してもよい。続いて、画像処理部１６０は、候補画像が利用者の電子アルバムに追加されると判定部１５０により判定された場合に（Ｓ１０３０：Ｙｅｓ）、候補画像のうち、人物領域検出部１４０により検出された人物を示す領域の画像を、当該領域に含まれる人物の画像を目立たなくするべく画像処理する（Ｓ１０４０）。そして、編集部１７０は、画像処理部１６０により画像処理された候補画像を第１格納部１００に格納させて利用者の電子アルバムに追加することにより、利用者の電子アルバムを編集する（Ｓ１０５０）。   Subsequently, the person area detection unit 140 detects an area indicating a person in the candidate image selected by the candidate image selection unit 130 (S1010). Subsequently, the movement route calculation unit 110 stores the user's image in the plurality of images based on the imaging order and the imaging point in each of the plurality of images captured by the user stored in the first storage unit 100. A movement route is calculated (S1020). Subsequently, the determination unit 150 calculates a ratio of the area indicating the person detected by the person area detection unit 140 to the entire candidate image, and adds the candidate image to the user's electronic album based on the calculated ratio. It is determined whether or not (S1030). Here, the determination unit 150 includes, in the electronic album, whether or not to add the candidate image to the user's electronic album, the matching degree of the movement path between the electronic album including the candidate image and the user's electronic album, and the electronic album. The determination may be made on the basis of the degree of coincidence during a period when a plurality of images are captured. Subsequently, when the determination unit 150 determines that the candidate image is added to the user's electronic album (S1030: Yes), the image processing unit 160 is detected by the person region detection unit 140 among the candidate images. The image of the area indicating the selected person is subjected to image processing so as to make the image of the person included in the area inconspicuous (S1040). Then, the editing unit 170 edits the user's electronic album by storing the candidate image processed by the image processing unit 160 in the first storage unit 100 and adding the candidate image to the user's electronic album (S1050). .

図７は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。   FIG. 7 is a block diagram showing an example of a hardware configuration of a computer 1500 according to the embodiment of the present invention. A computer 1500 according to an embodiment of the present invention includes a CPU peripheral unit having a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 connected to each other by a host controller 1582, and a host controller 1582 by an input / output controller 1584. I / O unit having a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560 connected to the I / O controller, and a legacy input having a ROM 1510, a flexible disk drive 1550, and an I / O chip 1570 connected to the I / O controller 1584. And an output unit.

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520 to the CPU 1505 and the graphic controller 1575 that access the RAM 1520 at a high transfer rate. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 and controls each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 and the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。   The input / output controller 1584 connects the host controller 1582 to the communication interface 1530, the hard disk drive 1540, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The communication interface 1530 communicates with other devices via a network. The hard disk drive 1540 stores programs and data used by the CPU 1505 in the computer 1500. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 via the RAM 1520.

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program executed when the computer 1500 is started up, a program depending on the hardware of the computer 1500, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 via the RAM 1520. The input / output chip 1570 connects various input / output devices via a flexible disk drive 1550 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム編集プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。電子アルバム編集プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム編集プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図６にかけて説明した電子アルバム編集システムとして機能させる。   The electronic album editing program provided to the hard disk drive 1540 via the RAM 1520 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The electronic album editing program is read from the recording medium, installed in the hard disk drive 1540 in the computer 1500 via the RAM 1520, and executed by the CPU 1505. The electronic album editing program installed and executed on the computer 1500 works on the CPU 1505 or the like to cause the computer 1500 to function as the electronic album editing system described with reference to FIGS.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1500 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

本発明の実施形態に係る電子アルバム編集システム１０の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the electronic album edit system 10 which concerns on embodiment of this invention. 本発明の実施形態に係る第１格納部１００の一例を示す図である。It is a figure which shows an example of the 1st storage part 100 which concerns on embodiment of this invention. 本発明の実施形態に係る第２格納部１２０の一例を示す図である。It is a figure which shows an example of the 2nd storage part 120 which concerns on embodiment of this invention. 本発明の実施形態に係る人物領域検出部１４０における処理の一例を示す図である。It is a figure which shows an example of the process in the person area | region detection part 140 which concerns on embodiment of this invention. 本発明の実施形態に係る判定部１５０における処理の一例を示す図である。It is a figure which shows an example of the process in the determination part 150 which concerns on embodiment of this invention. 本発明の実施形態に係る電子アルバム編集システム１０における処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in the electronic album editing system 10 which concerns on embodiment of this invention. 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the computer 1500 concerning embodiment of this invention.

符号の説明Explanation of symbols

１０ 電子アルバム編集システム、１００ 第１格納部、１１０ 移動経路算出部、１２０ 第２格納部、１３０ 候補画像選択部、１４０ 人物領域検出部、１５０ 判定部、１６０ 画像処理部、１７０ 編集部 DESCRIPTION OF SYMBOLS 10 Electronic album editing system, 100 1st storage part, 110 Travel route calculation part, 120 2nd storage part, 130 Candidate image selection part, 140 Person area detection part, 150 Judgment part, 160 Image processing part, 170 Editing part

Claims (8)

利用者により撮像された複数の画像を電子アルバムとして格納している第１格納部と、
前記利用者とは異なる撮像者により撮像された複数の画像を格納している第２格納部と、
前記第２格納部に格納されている複数の画像から、前記電子アルバムに追加される画像の候補である候補画像を選択する候補画像選択部と、
前記候補画像において人物を示す領域を検出する人物領域検出部と、
前記人物領域検出部により検出された領域の前記候補画像全体に対する割合が予め定められた基準値より小さい場合に、前記候補画像が前記電子アルバムに追加されると判定する判定部と、
前記候補画像が前記電子アルバムに追加されると前記判定部により判定された場合に、前記候補画像を前記第１格納部に格納させて前記電子アルバムに追加することにより、前記電子アルバムを編集する編集部と
を備える電子アルバム編集システム。 A first storage unit storing a plurality of images captured by a user as an electronic album;
A second storage unit storing a plurality of images captured by an imager different from the user;
A candidate image selection unit that selects a candidate image that is a candidate for an image to be added to the electronic album from a plurality of images stored in the second storage unit;
A person area detection unit for detecting an area indicating a person in the candidate image;
A determination unit that determines that the candidate image is added to the electronic album when the ratio of the region detected by the person region detection unit to the entire candidate image is smaller than a predetermined reference value;
When the determination unit determines that the candidate image is added to the electronic album, the candidate image is stored in the first storage unit and added to the electronic album to edit the electronic album An electronic album editing system comprising an editing section. 前記候補画像選択部は、前記第２格納部に格納されている複数の画像のうち、前記第１格納部に格納されている複数の画像のそれぞれにおける撮像地点に基づいて定められる撮像地域に含まれる地点で撮像された画像を、前記候補画像として選択する請求項１に記載の電子アルバム編集システム。   The candidate image selection unit is included in an imaging region determined based on an imaging point in each of the plurality of images stored in the first storage unit among the plurality of images stored in the second storage unit. The electronic album editing system according to claim 1, wherein an image captured at a spot to be selected is selected as the candidate image. 前記候補画像が前記電子アルバムに追加されると前記判定部により判定された場合に、前記候補画像のうち、前記人物領域検出部により検出された、人物を示す領域の画像を、当該領域に含まれる人物の画像を目立たなくするべく画像処理する画像処理部
を更に備え、
前記編集部は、前記候補画像が前記電子アルバムに追加されると前記判定部により判定された場合に、前記画像処理部により画像処理された前記候補画像を前記第１格納部に格納させて前記電子アルバムに追加することにより、前記電子アルバムを編集する
請求項１に記載の電子アルバム編集システム。 If the determination unit determines that the candidate image is added to the electronic album, the region includes an image of a region indicating a person detected by the person region detection unit among the candidate images. An image processing unit that performs image processing so that a person's image is not noticeable,
When the determination unit determines that the candidate image is added to the electronic album, the editing unit stores the candidate image subjected to image processing by the image processing unit in the first storage unit, and The electronic album editing system according to claim 1, wherein the electronic album is edited by adding to the electronic album. 前記画像処理部は、前記人物を示す領域の画像に対してぼかし処理を行うことにより、当該領域に含まれる人物の画像を目立たなくする請求項３に記載の電子アルバム編集システム。   The electronic album editing system according to claim 3, wherein the image processing unit performs blurring processing on an image of an area indicating the person, thereby making an image of the person included in the area inconspicuous. 前記画像処理部は、前記人物を示す領域の画像を、前記利用者が含まれる画像に差し替えることにより、当該領域に含まれる人物の画像を目立たなくする請求項３に記載の電子アルバム編集システム。   The electronic album editing system according to claim 3, wherein the image processing unit replaces an image of an area indicating the person with an image including the user, thereby making the image of the person included in the area inconspicuous. 前記第２格納部は、複数の画像を、それぞれが同一の前記撮像者により撮像された複数の画像を含む、複数の電子アルバムとして格納していると共に、それぞれの電子アルバムに対応付けて、当該電子アルバムに含まれる複数の画像における前記撮像者の移動経路を格納しており、
当該電子アルバム編集システムは、
前記第１格納部に格納されている複数の画像のそれぞれにおける撮像順序及び撮像地点に基づいて、当該複数の画像における前記利用者の移動経路を算出する移動経路算出部
を更に備え、
前記判定部は、前記第２格納部に格納されている複数の電子アルバムのうち、前記候補画像が含まれる電子アルバムに対応する移動経路と前記移動経路算出部により算出された移動経路との一致度が予め定められた基準値以上であり、且つ、当該候補画像が含まれる電子アルバムにおける複数の画像が撮像された期間と前記第１格納部に格納されている複数の画像が撮像された期間との一致度が予め定められた基準値以上である場合には、前記人物領域検出部により検出された領域の前記候補画像全体に対する割合に関わらず、前記候補画像が前記電子アルバムに追加されると判定する
請求項１に記載の電子アルバム編集システム。 The second storage unit stores a plurality of images as a plurality of electronic albums each including a plurality of images captured by the same photographer, and associates the images with the respective electronic albums. The movement path of the photographer in a plurality of images included in the electronic album is stored,
The electronic album editing system
A movement path calculation unit that calculates the movement path of the user in the plurality of images based on the imaging order and the imaging point in each of the plurality of images stored in the first storage unit;
The determination unit matches the movement route corresponding to the electronic album including the candidate image among the plurality of electronic albums stored in the second storage unit and the movement route calculated by the movement route calculation unit. A period in which the degree is equal to or greater than a predetermined reference value and a plurality of images in the electronic album including the candidate image are captured and a period in which the plurality of images stored in the first storage unit are captured Is equal to or greater than a predetermined reference value, the candidate image is added to the electronic album regardless of the ratio of the area detected by the person area detection unit to the entire candidate image. The electronic album editing system according to claim 1. 複数の画像を含む電子アルバムを編集する電子アルバム編集方法であって、
第１格納部は、利用者により撮像された複数の画像を電子アルバムとして格納しており、
第２格納部は、前記利用者とは異なる撮像者により撮像された複数の画像を格納しており、
当該電子アルバム編集方法は、
前記第２格納部に格納されている複数の画像から、前記電子アルバムに追加される画像の候補である候補画像を選択する候補画像選択段階と、
前記候補画像において人物を示す領域を検出する人物領域検出段階と、
前記人物領域検出段階において検出された領域の前記候補画像全体に対する割合が予め定められた基準値より小さい場合に、前記候補画像が前記電子アルバムに追加されると判定する判定段階と、
前記候補画像が前記電子アルバムに追加されると前記判定段階において判定された場合に、前記候補画像を前記第１格納部に格納させて前記電子アルバムに追加することにより、前記電子アルバムを編集する編集段階と
を備える電子アルバム編集方法。 An electronic album editing method for editing an electronic album including a plurality of images,
The first storage unit stores a plurality of images captured by the user as an electronic album,
The second storage unit stores a plurality of images captured by an imager different from the user,
The electronic album editing method is as follows:
A candidate image selection step of selecting a candidate image that is a candidate for an image to be added to the electronic album from a plurality of images stored in the second storage unit;
A person area detecting step of detecting an area indicating a person in the candidate image;
A determination step of determining that the candidate image is added to the electronic album when a ratio of the region detected in the person region detection step to the entire candidate image is smaller than a predetermined reference value;
If it is determined in the determination step that the candidate image is added to the electronic album, the candidate image is stored in the first storage unit and added to the electronic album to edit the electronic album An electronic album editing method comprising: an editing stage. 複数の画像を含む電子アルバムを編集する電子アルバム編集システムとしてコンピュータを機能させる電子アルバム編集プログラムであって、
前記コンピュータを、
利用者により撮像された複数の画像を電子アルバムとして格納している第１格納部と、
前記利用者とは異なる撮像者により撮像された複数の画像を格納している第２格納部と、
前記第２格納部に格納されている複数の画像から、前記電子アルバムに追加される画像の候補である候補画像を選択する候補画像選択部と、
前記候補画像において人物を示す領域を検出する人物領域検出部と、
前記人物領域検出部により検出された領域の前記候補画像全体に対する割合が予め定められた基準値より小さい場合に、前記候補画像が前記電子アルバムに追加されると判定する判定部と、
前記候補画像が前記電子アルバムに追加されると前記判定部により判定された場合に、前記候補画像を前記第１格納部に格納させて前記電子アルバムに追加することにより、前記電子アルバムを編集する編集部と
を備える電子アルバム編集システムとして機能させる電子アルバム編集プログラム。 An electronic album editing program for causing a computer to function as an electronic album editing system for editing an electronic album including a plurality of images,
The computer,
A first storage unit storing a plurality of images captured by a user as an electronic album;
A second storage unit storing a plurality of images captured by an imager different from the user;
A candidate image selection unit that selects a candidate image that is a candidate for an image to be added to the electronic album from a plurality of images stored in the second storage unit;
A person area detection unit for detecting an area indicating a person in the candidate image;
A determination unit that determines that the candidate image is added to the electronic album when the ratio of the region detected by the person region detection unit to the entire candidate image is smaller than a predetermined reference value;
When the determination unit determines that the candidate image is added to the electronic album, the candidate image is stored in the first storage unit and added to the electronic album to edit the electronic album An electronic album editing program that functions as an electronic album editing system including an editing section.
JP2004257532A 2004-09-03 2004-09-03 Electronic album editing system, electronic album editing method, and electronic album editing program Active JP4414846B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004257532A JP4414846B2 (en) 2004-09-03 2004-09-03 Electronic album editing system, electronic album editing method, and electronic album editing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004257532A JP4414846B2 (en) 2004-09-03 2004-09-03 Electronic album editing system, electronic album editing method, and electronic album editing program

Publications (2)

Publication Number Publication Date
JP2006074612A JP2006074612A (en) 2006-03-16
JP4414846B2 true JP4414846B2 (en) 2010-02-10

Family

ID=36154704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004257532A Active JP4414846B2 (en) 2004-09-03 2004-09-03 Electronic album editing system, electronic album editing method, and electronic album editing program

Country Status (1)

Country Link
JP (1) JP4414846B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4704240B2 (en) * 2005-02-28 2011-06-15 富士フイルム株式会社 Electronic album editing system, electronic album editing method, and electronic album editing program
WO2010013424A1 (en) 2008-07-29 2010-02-04 パナソニック株式会社 Image search device and image search method
JP4766350B2 (en) 2009-01-06 2011-09-07 ソニー株式会社 Disc reproducing apparatus and method, program, and recording medium
JP4913232B2 (en) * 2009-06-18 2012-04-11 パナソニック株式会社 Image selection apparatus and image selection method

Also Published As

Publication number Publication date
JP2006074612A (en) 2006-03-16

Similar Documents

Publication Publication Date Title
US8345118B2 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
JP4881034B2 (en) Electronic album editing system, electronic album editing method, and electronic album editing program
JP7111632B2 (en) Image candidate determination device, image candidate determination method, program for controlling image candidate determination device, and recording medium storing the program
JP2006236218A (en) Electronic album display system, electronic album display method, and electronic album display program
US8953065B2 (en) Titling apparatus, a titling method, and a machine readable medium storing thereon a computer program for titling
JP4490214B2 (en) Electronic album display system, electronic album display method, and electronic album display program
JP2006245646A (en) Image reproducing apparatus, image reproducing program, photomovie creating apparatus and photomovie creating program
JP2003234985A (en) Image storage method, its system and program
JP5890325B2 (en) Image data processing apparatus, method, program, and integrated circuit
CN107430780A (en) The method created for the output based on video content characteristic
JP2006079458A (en) Image transmission system, method, and program
JP5253069B2 (en) Image processing method and image processing apparatus
JP2006236266A (en) Title assignment device, title assignment method and program
JP2006081021A (en) Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program
JP2004304765A (en) Image recording apparatus, method, and program
JP2006079460A (en) System, method and program for displaying electronic album and device, method, and program for classifying image
JP4704240B2 (en) Electronic album editing system, electronic album editing method, and electronic album editing program
JP4414846B2 (en) Electronic album editing system, electronic album editing method, and electronic album editing program
JP2007079866A (en) Image classification apparatus, image classification method, image classification program, and image pickup device
JP2006279925A (en) Imaging apparatus, imaging method, and imaging program
US8194120B2 (en) Image capturing apparatus, display apparatus, image capturing method, displaying method and program therefor
JP2006238296A (en) Title imparting device, title imparting method, and program
JP2008020944A (en) Image processing method, program, and device
JP2006172097A (en) Device, method and program for automatically selecting print recommendation image
JP2006053840A (en) Image classifying device, image classifying method, image classifying program and imaging device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4414846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250