JP6476148B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6476148B2 JP6476148B2 JP2016054326A JP2016054326A JP6476148B2 JP 6476148 B2 JP6476148 B2 JP 6476148B2 JP 2016054326 A JP2016054326 A JP 2016054326A JP 2016054326 A JP2016054326 A JP 2016054326A JP 6476148 B2 JP6476148 B2 JP 6476148B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- user
- unit
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
近年、デジタルカメラやカメラ付き携帯電話等の普及により、ユーザは、自分の日々の生活の様々な出来事を画像データとして容易に記録することが可能になっている。また、そのような日常生活を記録した画像データ等を個人の活動記録として集積し、個人の過去の活動を追跡できるようにするライフログと呼ばれるサービスも利用されている。 In recent years, with the spread of digital cameras, camera-equipped mobile phones, and the like, users can easily record various events of their daily lives as image data. In addition, a service called a life log is also used that collects such image data and the like recorded in daily life as a personal activity record so that the past activity of the individual can be tracked.
本人の画像データについては、本人自身がカメラなどを持っていたとしても、撮影できる機会は少なく、特にユーザ自身の姿の撮影は難しい場合が多い。そこで、友人や知人などの他人が記録した本人の画像データが入手されている場合が多い。 Even if the person himself / herself has a camera or the like, there are few opportunities for photographing the person's own image data, and it is often difficult to photograph the user's own figure. Therefore, in many cases, image data of the person recorded by another person such as a friend or an acquaintance is obtained.
例えば、友人や知人等の他人が持ち歩く撮影装置や街頭の監視カメラなど他人の撮影装置によって撮影された本人の画像をユーザ（自分）が入手する方法が提案されている（特許文献１参照）。 For example, a method has been proposed in which a user (self) obtains an image of the person himself / herself taken by another person's photographing apparatus such as a photographing apparatus carried by another person such as a friend or acquaintance or a street surveillance camera (see Patent Document 1).
しかしながら、上記の従来技術では、本当に本人が写っているかどうかは確かめられていないため、本人にとって不要な画像が入手されてしまう可能性が有る。 However, in the above-described prior art, it is not confirmed whether or not the person is actually shown, and therefore an image unnecessary for the person may be obtained.
本発明は、上記の点に鑑みてなされたものであって、特定の人物が含まれている画像データを抽出可能とすることを目的とする。 SUMMARY An advantage of some aspects of the invention is that image data including a specific person can be extracted.
そこで上記課題を解決するため、画像処理装置は、撮影装置によって撮影された複数の第１の画像と、第１の人物の識別情報とを受信する受信部と、前記識別情報に関連付けられて記憶部に記憶されている前記第１の人物の顔画像に基づいて、前記複数の第１の画像のそれぞれについて、前記第１の人物が含まれているか否かを判定する第１の判定部と、前記第１の判定部によって前記第１の人物が含まれていると判定された前記第１の画像から、前記第１の人物の特徴情報を抽出する抽出部と、前記第１の判定部によって前記第１の人物が含まれていると判定されなかった前記第１の画像について、前記特徴情報に基づいて前記第１の人物が含まれているか否かを判定する第２の判定部と、を有する。 In order to solve the above problem, the image processing apparatus stores a plurality of first images photographed by the photographing apparatus and the first person identification information, a reception unit that receives the first person identification information, and the identification information. A first determination unit that determines whether or not the first person is included in each of the plurality of first images based on the face image of the first person stored in the unit; An extraction unit for extracting feature information of the first person from the first image determined by the first determination unit to include the first person; and the first determination unit A second determination unit that determines whether or not the first person is included based on the feature information for the first image that has not been determined to be included by the Have.
特定の人物が含まれている画像データを抽出可能とすることができる。 Image data including a specific person can be extracted.
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画像収集システムの構成例を示す図である。図１において画像収集システム１は、カメラ３０ａ及びカメラ３０ｂ、表示端末４０ａ及び表示端末４０ｂ、画像管理装置１０ａ及び画像管理装置１０ｂ、並びに参照画像管理装置２０等を含む。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration example of an image collection system according to an embodiment of the present invention. 1, the image collection system 1 includes a camera 30a and a camera 30b, a display terminal 40a and a display terminal 40b, an image management apparatus 10a and an image management apparatus 10b, a reference image management apparatus 20, and the like.
カメラ３０ａは、ユーザＡの頭部や肩等に装着されるウェアラブルなデジタルカメラ（撮影装置）であり、ユーザＡの視点で撮影を実行して静止画像の画像データを生成する。カメラ３０ａは、生成した画像データを、ユーザＡに対応する画像管理装置１０ａに送信する。なお、表示端末４０ａは、カメラ３０ａによって生成された画像データの表示用に利用される端末である。例えば、スマートフォン、タブレット端末、又はＰＣ（Personal Computer）等が、表示端末４０ａとして利用されてもよい。カメラ３０ａと表示端末４０ａとは、例えば、近距離無線通信等によって通信可能である。また、カメラ３０ａと画像管理装置１０ａとは、無線区間を含むネットワークを介して通信可能である。 The camera 30a is a wearable digital camera (photographing device) that is worn on the head, shoulder, etc. of the user A, and performs image capturing from the viewpoint of the user A to generate still image data. The camera 30a transmits the generated image data to the image management apparatus 10a corresponding to the user A. The display terminal 40a is a terminal used for displaying image data generated by the camera 30a. For example, a smartphone, a tablet terminal, a PC (Personal Computer), or the like may be used as the display terminal 40a. The camera 30a and the display terminal 40a can communicate with each other by, for example, near field communication. The camera 30a and the image management apparatus 10a can communicate via a network including a wireless section.
なお、カメラ３０ａは、必ずしもウェアラブルでなくてもよい。また、カメラ３０ａと表示端末４０ａとは一体的に構成されてもよい。 Note that the camera 30a is not necessarily wearable. Further, the camera 30a and the display terminal 40a may be configured integrally.
画像管理装置１０ａは、ユーザＡの画像データの保管や公開を行う１以上のコンピュータである。画像管理装置１０ａは、例えば、ライフログサービスを提供する装置（システム）であってもよい。 The image management apparatus 10a is one or more computers that store and disclose user A's image data. For example, the image management apparatus 10a may be an apparatus (system) that provides a life log service.
一方、カメラ３０ｂ、表示端末４０ｂ、画像管理装置１０ｂは、ユーザＢに対応する点を除いて、カメラ３０ａ、表示端末４０ａ、画像管理装置１０ａと同様の機能を有する。なお、カメラ３０ａとカメラ３０ｂ、表示端末４０ａと表示端末４０ｂ、画像管理装置１０ａと画像管理装置１０ｂとのそれぞれ区別しない場合、末尾の「ａ」又は「ｂ」は省略される。 On the other hand, the camera 30b, the display terminal 40b, and the image management apparatus 10b have the same functions as the camera 30a, the display terminal 40a, and the image management apparatus 10a except for the point corresponding to the user B. Note that the suffix “a” or “b” is omitted when the cameras 30a and 30b, the display terminal 40a and the display terminal 40b, and the image management apparatus 10a and the image management apparatus 10b are not distinguished from each other.
参照画像管理装置２０は、各ユーザの顔画像を管理する１以上のコンピュータである。顔画像とは、例えば、顔の正面が撮影された画像データをいう。なお、顔を含む画像であれば、顔以外の部分（例えば、全身等）を含む画像が顔画像として利用されてもよい。各画像管理装置１０は、参照画像管理装置２０とネットワークを介して通信可能である。以下、参照画像管理装置２０において管理される顔画像を「参照画像」という。 The reference image management apparatus 20 is one or more computers that manage the face images of each user. The face image means, for example, image data obtained by photographing the front face. As long as the image includes a face, an image including a part other than the face (for example, the whole body) may be used as the face image. Each image management apparatus 10 can communicate with the reference image management apparatus 20 via a network. Hereinafter, the face image managed by the reference image management apparatus 20 is referred to as a “reference image”.
図２は、本発明の実施の形態の概要を説明するための図である。図２に示されるように、本実施の形態では、ユーザＢのカメラ３０ｂによって、ユーザＡを被写体として含む画像Ｇａ１及びＧａ２等の複数の画像が撮影される。カメラ３０ｂは、画像Ｇａ１及びＧａ２を画像管理装置１０ｂに送信する。画像管理装置１０ｂは、予め参照画像管理装置２０に登録されている、ユーザＡの参照画像に基づいて、画像Ｇａ１及びＧａ２のそれぞれについて、ユーザＡが含まれているか否かを判定する。図２の例では、画像Ｇａ１については、ユーザＡの顔が含まれているため、参照画像に基づいてユーザＡが含まれていると判定される。一方、画像Ｇａ２については、ユーザＡの顔が含まれていないため、ユーザＡは含まれていないと判定される。しかし、実際には、画像Ｇａ２にはユーザＡの後ろ姿が含まれているため、ユーザＡとしては入手したい画像データである可能性が高い。 FIG. 2 is a diagram for explaining the outline of the embodiment of the present invention. As shown in FIG. 2, in the present embodiment, the camera 30b of the user B captures a plurality of images such as images Ga1 and Ga2 including the user A as a subject. The camera 30b transmits the images Ga1 and Ga2 to the image management device 10b. The image management device 10b determines whether or not the user A is included for each of the images Ga1 and Ga2 based on the reference image of the user A registered in the reference image management device 20 in advance. In the example of FIG. 2, since the face of the user A is included in the image Ga1, it is determined that the user A is included based on the reference image. On the other hand, since the face of the user A is not included in the image Ga2, it is determined that the user A is not included. However, actually, since the back view of the user A is included in the image Ga2, it is highly possible that the user A is image data that the user A wants to obtain.
そこで、画像管理装置１０ｂは、ユーザＡの顔以外の特徴（体の特徴や服装の特徴等）に関する特徴情報を画像Ｇａ１から抽出する。例えば、シャツ、ズボン、又は靴の色、柄、形状等に関する特徴情報が抽出されてもよい。画像管理装置１０ｂは、当該特徴情報に基づいて、改めて画像Ｇａ２についてユーザＡが含まれているか否かを判定する。その結果、画像Ｇａ２についてもユーザＡが含まれていると判定される。 Therefore, the image management apparatus 10b extracts feature information related to features (such as body features and clothing features) other than the face of the user A from the image Ga1. For example, characteristic information regarding the color, pattern, shape, etc. of a shirt, pants, or shoes may be extracted. Based on the feature information, the image management apparatus 10b determines again whether the user A is included in the image Ga2. As a result, it is determined that the user A is also included in the image Ga2.
画像管理装置１０ｂは、ユーザＡが含まれている画像Ｇａ１及びＧａ２を、ユーザＡに対応する画像管理装置１０ａへ転送する。但し、画像管理装置１０ａは、ユーザＡとは異なる人物が含まれている画像Ｇａ１については、ユーザＡとは異なる人物の範囲の鮮明さを低下させる（ぼかす）ための画像処理を実行する。例えば、モザイク処理が実行されてもよい。その結果、画像Ｇａ１は、画像Ｇａ１'に示されるように加工される。画像管理装置１０ａは、画像Ｇａ１については、画像Ｇａ１'を画像管理装置１０ａに転送する。 The image management apparatus 10b transfers the images Ga1 and Ga2 including the user A to the image management apparatus 10a corresponding to the user A. However, the image management apparatus 10a executes image processing for reducing (blurring) the sharpness of the range of persons different from the user A for the image Ga1 including a person different from the user A. For example, a mosaic process may be executed. As a result, the image Ga1 is processed as shown in the image Ga1 ′. For the image Ga1, the image management device 10a transfers the image Ga1 ′ to the image management device 10a.
上記により、ユーザＡは、自らの顔が撮影された画像Ｇａ１'のみならず、自らの顔が含まれていない画像Ｇａ２をも入手することができる。また、画像Ｇａ１'において、ユーザＡ以外の人物は不鮮明であるため、ユーザＡ以外の人物の個人情報及びプライバシー等を保護ずることができる。 As described above, the user A can obtain not only the image Ga1 ′ obtained by photographing his / her face but also the image Ga2 which does not include his / her face. Further, in the image Ga1 ′, since the person other than the user A is unclear, personal information, privacy, and the like of the person other than the user A can be protected.
図３は、本発明の実施の形態における画像管理装置のハードウェア構成例を示す図である。図３の画像管理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。 FIG. 3 is a diagram illustrating a hardware configuration example of the image management apparatus according to the embodiment of the present invention. The image management apparatus 10 in FIG. 3 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like that are mutually connected by a bus B.
画像管理装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。 A program for realizing processing in the image management apparatus 10 is provided by a recording medium 101 such as a CD-ROM. When the recording medium 101 storing the program is set in the drive device 100, the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100. However, the program need not be installed from the recording medium 101 and may be downloaded from another computer via a network. The auxiliary storage device 102 stores the installed program and also stores necessary files and data.
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像管理装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。 The memory device 103 reads the program from the auxiliary storage device 102 and stores it when there is an instruction to start the program. The CPU 104 executes functions related to the image management apparatus 10 in accordance with a program stored in the memory device 103. The interface device 105 is used as an interface for connecting to a network.
図４は、本発明の実施の形態における画像管理装置及び参照画像管理装置の機能構成例を示す図である。図４において、画像管理装置１０は、画像受信部１１、画像処理部１２、及び画像転送部１３等を有する。これら各部は、画像管理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画像管理装置１０は、また、ライフログ記憶部１３１を利用する。ライフログ記憶部１３１は、例えば、補助記憶装置１０２、又は画像管理装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。 FIG. 4 is a diagram illustrating a functional configuration example of the image management apparatus and the reference image management apparatus according to the embodiment of the present invention. 4, the image management apparatus 10 includes an image receiving unit 11, an image processing unit 12, an image transfer unit 13, and the like. Each of these units is realized by processing executed by the CPU 104 by one or more programs installed in the image management apparatus 10. The image management apparatus 10 also uses the life log storage unit 131. The life log storage unit 131 can be realized by using, for example, a storage device that can be connected to the auxiliary storage device 102 or the image management device 10 via a network.
画像受信部１１は、カメラ３０から送信される、カメラ３０によって撮影された複数の画像データ（以下、「撮影画像」という。）を受信する。撮影画像と共に、撮影時刻及び撮影位置情報等（以下、「画像属性情報」という。）が受信されてもよい。また、他のユーザから、使用許可要求（提供要求）が有った撮影画像については、当該他のユーザの識別情報（以下、「ユーザＩＤ」という。）及び当該撮影画像の転送先を示す情報等（以下、「画像転送情報」という。）が受信されてもよい。 The image receiving unit 11 receives a plurality of image data (hereinafter referred to as “captured images”) captured by the camera 30 and transmitted from the camera 30. A shooting time and shooting position information (hereinafter referred to as “image attribute information”) may be received together with the shot image. In addition, for a captured image for which a use permission request (provision request) has been received from another user, the identification information of the other user (hereinafter referred to as “user ID”) and information indicating the transfer destination of the captured image. Etc. (hereinafter referred to as “image transfer information”) may be received.
画像受信部１１は、受信した撮影画像及び画像属性情報を、ライフログ記憶部１３１に記憶する。画像受信部１１は、また、画像転送情報と共に受信された撮影画像については、画像処理部１２に対して処理を要求する。 The image receiving unit 11 stores the received captured image and image attribute information in the life log storage unit 131. The image receiving unit 11 also requests the image processing unit 12 to process the captured image received together with the image transfer information.
画像処理部１２は、画像転送情報が共に受信された撮影画像に関して処理を実行する。図４において、画像処理部１２は、参照画像取得部１２１、第１抽出部１２２、特徴抽出部１２３、第２抽出部１２４、及び画像加工部１２５等を含む。 The image processing unit 12 performs processing on a captured image for which image transfer information has been received together. In FIG. 4, the image processing unit 12 includes a reference image acquisition unit 121, a first extraction unit 122, a feature extraction unit 123, a second extraction unit 124, an image processing unit 125, and the like.
参照画像取得部１２１は、画像転送情報に含まれているユーザＩＤに対応する参照画像を参照画像管理装置２０から取得する。 The reference image acquisition unit 121 acquires a reference image corresponding to the user ID included in the image transfer information from the reference image management apparatus 20.
第１抽出部１２２は、撮影画像ごとに、取得された参照画像に係る人物（以下、「対象人物」という。）が含まれているか否かを判定する。画像に基づく人物の同一性の判定は、公知の画像処理技術に基づいて行うことができる。 The first extraction unit 122 determines, for each captured image, whether or not a person (hereinafter referred to as “target person”) related to the acquired reference image is included. Determination of the identity of a person based on an image can be performed based on a known image processing technique.
特徴抽出部１２３は、第１抽出部１２２によって対象人物が含まれていることが判定された撮影画像から、対象人物に関する特徴情報を抽出する。 The feature extraction unit 123 extracts feature information related to the target person from the captured image that is determined by the first extraction unit 122 to include the target person.
第２抽出部１２４は、第１抽出部１２２によって対象人物が含まれていないと判定された撮影画像について、特徴抽出部１２３によって抽出された特徴情報に基づいて、対象人物が含まれているか否かを判定する。 The second extraction unit 124 determines whether or not the target person is included based on the feature information extracted by the feature extraction unit 123 for the photographed image that is determined not to include the target person by the first extraction unit 122. Determine whether.
画像加工部１２５は、第１抽出部１２２又は第２抽出部１２４によって対象人物が含まれていると判定された各撮影画像において、対象人物とは異なる人物に係る範囲に対して、鮮明さを低下させるための画像処理を実行する。 The image processing unit 125 increases the sharpness with respect to a range related to a person different from the target person in each captured image determined to include the target person by the first extraction unit 122 or the second extraction unit 124. Image processing for reducing the image is executed.
画像転送部１３は、第１抽出部１２２又は第２抽出部１２４によって対象人物が含まれていると判定された撮影画像であって、必要に応じて画像加工部１２５によって加工された撮影画像を、画像転送情報に含まれているアドレス情報に係る画像管理装置１０へ転送する。すなわち、画像転送部１３は、他の画像管理装置１０が保存先である撮影画像を、当該他の画像管理装置１０へ保存する。 The image transfer unit 13 is a captured image that is determined to include the target person by the first extraction unit 122 or the second extraction unit 124 and is processed by the image processing unit 125 as necessary. Then, the image is transferred to the image management apparatus 10 related to the address information included in the image transfer information. That is, the image transfer unit 13 stores the captured image, which is the storage destination of the other image management apparatus 10, in the other image management apparatus 10.
参照画像管理装置２０は、参照画像登録部２１、参照画像検索部２２、及び参照画像記憶部２３等を有する。参照画像登録部２１は、各ユーザの参照画像を、それぞれのユーザＩＤに対応付けて参照画像記憶部２３に登録する。参照画像検索部２２は、参照画像取得部１２１からの参照画像の取得要求に応じ、当該取得要求に含まれているユーザＩＤに対応する参照画像を、参照画像記憶部２３から検索する。 The reference image management apparatus 20 includes a reference image registration unit 21, a reference image search unit 22, a reference image storage unit 23, and the like. The reference image registration unit 21 registers the reference image of each user in the reference image storage unit 23 in association with each user ID. In response to the reference image acquisition request from the reference image acquisition unit 121, the reference image search unit 22 searches the reference image storage unit 23 for a reference image corresponding to the user ID included in the acquisition request.
参照画像記憶部２３には、各ユーザの参照画像が、それぞれのユーザＩＤに対応付けられて記憶されている。なお、各参照画像には、それぞれのユーザに対応する証明書等が記憶されていてもよい。 The reference image storage unit 23 stores a reference image of each user in association with each user ID. Each reference image may store a certificate or the like corresponding to each user.
以下、画像収集システム１において実行される処理手順について説明する。図５は、参照画像の登録処理の処理手順の一例を説明するためのシーケンス図である。 Hereinafter, a processing procedure executed in the image collection system 1 will be described. FIG. 5 is a sequence diagram for explaining an example of a processing procedure of reference image registration processing.
例えば、ユーザＡが、カメラ３０ａの電源をオンにし（Ｓ１０１）、自撮り指示をカメラ３０ａに入力すると（Ｓ１０２）、カメラ３０ａは、ユーザＡの顔を正面から撮影する（Ｓ１０３）。その結果、ユーザＡの顔が正面から撮影された画像（以下、「自撮り画像」という）が生成される。 For example, when the user A turns on the camera 30a (S101) and inputs a self-shooting instruction to the camera 30a (S102), the camera 30a captures the face of the user A from the front (S103). As a result, an image in which the face of the user A is photographed from the front (hereinafter referred to as “self-portrait image”) is generated.
続いて、ユーザＡが、自撮り画像の確認指示をカメラ３０ａに入力すると、（Ｓ１０４）、カメラ３０ａは、自撮り画像を表示端末４０ａに送信する（Ｓ１０５）。表示端末４０ａは、当該自撮り画像を表示する（Ｓ１０６）。 Subsequently, when the user A inputs a self-portrait image confirmation instruction to the camera 30a (S104), the camera 30a transmits the self-portrait image to the display terminal 40a (S105). The display terminal 40a displays the self-portrait image (S106).
ユーザＡが、自撮り画像を確認し、当該自撮り画像を参照画像として登録することの指示をカメラ３０ａに入力すると（Ｓ１０７）、カメラ３０ａは、当該自撮り画像、ユーザＡのユーザＩＤ、及びユーザＡの証明書等を参照画像管理装置２０へ送信する（Ｓ１０８）。なお、証明書は、画像管理装置１０ａへのアクセス時に必要とされるデータである。 When the user A confirms the self-portrait image and inputs an instruction to register the self-portrait image as a reference image to the camera 30a (S107), the camera 30a displays the self-portrait image, the user ID of the user A, and User A's certificate or the like is transmitted to the reference image management apparatus 20 (S108). The certificate is data required when accessing the image management apparatus 10a.
参照画像管理装置２０の参照画像登録部２１は、受信された自撮り画像をユーザＡの参照画像として、受信された情報（ユーザＩＤ及び証明書等）に関連付けて参照画像記憶部２３に登録する（Ｓ１０９）。続いて、参照画像登録部２１は、参照画像の登録の完了を示す応答をカメラ３０ａに返信する（Ｓ１１０）。 The reference image registration unit 21 of the reference image management apparatus 20 registers the received self-portrait image as the reference image of the user A in the reference image storage unit 23 in association with the received information (user ID, certificate, etc.). (S109). Subsequently, the reference image registration unit 21 returns a response indicating completion of registration of the reference image to the camera 30a (S110).
図６は、ユーザＡの撮影時の処理手順の一例を説明するためのシーケンス図である。図６では、ユーザＡとユーザＢとが接近し、ユーザＢがユーザＡを撮影している状況（或るいは、互いに他方を撮影している状況）を想定する。図６の説明において、画像管理装置１０ａの構成要素の符号の末尾には「ａ」が付され、画像管理装置１０ｂの構成要素の符号の末尾には「ｂ」が付される。 FIG. 6 is a sequence diagram for explaining an example of a processing procedure during shooting by user A. In FIG. 6, a situation is assumed in which user A and user B are approaching and user B is shooting user A (or a situation where the other is shooting the other). In the description of FIG. 6, “a” is added to the end of the reference numeral of the component of the image management apparatus 10 a, and “b” is added to the end of the reference numeral of the constituent element of the image management apparatus 10 b.
例えば、カメラ３０ａ及びカメラ３０ｂが接近すると、カメラ３０ｂは自動的に又はユーザＢによる操作指示に応じてユーザＡを複数回撮影する（Ｓ２０１）。この際、ユーザＡが撮影される方向は一方向に限定されない。例えば、ユーザＡの正面、横、後ろ、又はその他の方向からユーザＡが撮影されてもよい。その結果、一定期間において複数の撮影画像が生成される。 For example, when the camera 30a and the camera 30b approach each other, the camera 30b captures the user A multiple times automatically or in response to an operation instruction from the user B (S201). At this time, the direction in which the user A is photographed is not limited to one direction. For example, the user A may be taken from the front, side, back, or other direction of the user A. As a result, a plurality of captured images are generated in a certain period.
一方、カメラ３０ａは、スキャン機能によりカメラ３０ｂを自動認識する（Ｓ２０２）。続いて、カメラ３０ａは、撮影画像の使用許可要求をカメラ３０ｂに送信する（Ｓ２０３）。当該使用許可要求には、ユーザＡのユーザＩＤ、現在時刻、及び撮影画像の転送先情報（すなわち、画像管理装置１０ａのアドレス情報）等が含まれる。 On the other hand, the camera 30a automatically recognizes the camera 30b by the scan function (S202). Subsequently, the camera 30a transmits a use permission request for the captured image to the camera 30b (S203). The use permission request includes the user ID of the user A, the current time, and transfer destination information of the captured image (that is, address information of the image management apparatus 10a).
カメラ３０ｂは、例えば、ユーザＢによって撮影画像の使用を許可する旨が入力されると、使用許可を示す応答をカメラ３０ａに返信する（Ｓ２０４）。続いて、カメラ３０ｂは、ユーザＡのユーザＩＤ、現在時刻、及び転送先情報等を複数の各撮影画像に設定し（Ｓ２０５）。当該各撮影画像を、ユーザＢに対応する画像管理装置１０ｂへアップロードする（Ｓ２０６）。なお、ステップＳ２０１において複数の画像が撮影されている場合、ステップＳ２０６では、複数の撮影画像がアップロードされる。 For example, when the user B inputs that the use of the photographed image is permitted, the camera 30b returns a response indicating the use permission to the camera 30a (S204). Subsequently, the camera 30b sets the user ID of the user A, the current time, transfer destination information, and the like for each of the plurality of captured images (S205). Each captured image is uploaded to the image management apparatus 10b corresponding to the user B (S206). If a plurality of images are captured in step S201, a plurality of captured images are uploaded in step S206.
画像管理装置１０ｂの画像受信部１１ｂは、各撮影画像に転送先情報が設定されていることに基づいて、各撮影画像が他の画像管理装置１０へ転送すべき画像データであることを認識する。そこで、画像受信部１１ｂは、当該撮影画像を画像処理部１２ｂへ入力する。 The image receiving unit 11b of the image management apparatus 10b recognizes that each captured image is image data to be transferred to another image management apparatus 10 based on the fact that transfer destination information is set for each captured image. . Therefore, the image receiving unit 11b inputs the captured image to the image processing unit 12b.
続いて、画像処理部１２ｂの参照画像取得部１２１ｂは、ユーザＡの参照画像の取得要求を参照画像管理装置２０へ送信する（Ｓ２０７）。当該取得要求には、撮影画像に設定されている、ユーザＡのユーザＩＤが含まれる。参照画像管理装置２０の参照画像検索部２２は、当該ユーザＩＤに対応付けられている参照画像及び証明書等を参照画像記憶部２３から検索し、検索された参照画像等を参照画像取得部１２１ｂへ返信する（Ｓ２０８）。 Subsequently, the reference image acquisition unit 121b of the image processing unit 12b transmits a reference image acquisition request of the user A to the reference image management apparatus 20 (S207). The acquisition request includes the user ID of user A set in the captured image. The reference image search unit 22 of the reference image management device 20 searches the reference image storage unit 23 for a reference image, a certificate, and the like associated with the user ID, and the searched reference image is the reference image acquisition unit 121b. Reply to (S208).
参照画像取得部１２１ｂによって当該参照画像等が受信されると、第１抽出部１２２ｂは、当該参照画像に基づいて、各撮影画像について、当該撮影画像内にユーザＡが含まれているか否かを判定する（Ｓ２０９）。ユーザＡを含む撮影画像が１つも無い場合、ステップＳ２１０以降は実行されない。以下、ユーザＡを含むと判定された１以上の撮影画像の集合を「撮影画像群Ａ」といい、ユーザＡを含むと判定されなかった１以上の撮影画像の集合を「撮影画像群Ｘ」という。 When the reference image or the like is received by the reference image acquisition unit 121b, the first extraction unit 122b determines whether or not the user A is included in the captured image for each captured image based on the reference image. Determine (S209). If there is no photographed image including user A, step S210 and subsequent steps are not executed. Hereinafter, a set of one or more captured images determined to include the user A is referred to as a “captured image group A”, and a set of one or more captured images that are not determined to include the user A is referred to as a “captured image group X”. That's it.
撮影画像群Ａに属する撮影画像ａが１以上有る場合、特徴抽出部１２３ｂは、いずれかの撮影画像ａから、ユーザＡの顔以外の特徴（体の特徴や服装の特徴等）に関する特徴情報を抽出する（Ｓ２１０）。なお、撮影画像ａが複数有る場合、複数の撮影画像ａから当該特徴情報が抽出されてもよい。 When there are one or more photographed images a belonging to the photographed image group A, the feature extraction unit 123b obtains feature information related to features other than the face of the user A (such as body features and clothing features) from any one of the photographed images a. Extract (S210). Note that when there are a plurality of photographed images a, the feature information may be extracted from the plurality of photographed images a.
続いて、第２抽出部１２４ｂは、撮影画像群Ｘに属する各撮影画像ｘについて、ステップＳ２１０において抽出された特徴情報（以下、「特徴情報Ａ」という。）に基づいて、ユーザＡが含まれているか否かを判定する（Ｓ２１１）。例えば、撮影画像ｘごとに、各人物の範囲の特徴情報が抽出され、特徴情報Ａと比較される。特徴情報Ａと一致又は類似する特徴情報が得られた撮影画像ｘについては、ユーザＡが含まれていると判定される。なお、画像中における人物の範囲の特定（認識）は、公知の画像処理技術を利用して行うことができる。 Subsequently, the second extraction unit 124b includes the user A based on the feature information extracted in step S210 (hereinafter referred to as “feature information A”) for each captured image x belonging to the captured image group X. It is determined whether or not (S211). For example, for each photographed image x, feature information of each person's range is extracted and compared with feature information A. About the picked-up image x from which the feature information which is the same as or similar to the feature information A was obtained, it is determined that the user A is included. Note that the identification (recognition) of a person's range in an image can be performed using a known image processing technique.
ここで、ステップＳ２０９〜Ｓ２１１について、図面を用いて説明する。図７は、特定のユーザを含む撮影画像の判定方法を説明するための図である。 Here, steps S209 to S211 will be described with reference to the drawings. FIG. 7 is a diagram for explaining a method of determining a captured image including a specific user.
図７の左上には、撮影画像ａ１、ａ２、及びｘ１が示されている。なお、他の被写体は便宜上省略されている。 In the upper left of FIG. 7, captured images a1, a2, and x1 are shown. Other subjects are omitted for convenience.
参照画像ｒ１に基づいてユーザＡが含まれていることを判定可能な撮影画像は、ユーザＡの正面の顔や横顔等、ユーザＡの顔の少なくとも一部を含む撮影画像である。したがって、撮影画像ａ１及びａ２については、第１抽出部１２２ｂによって、ユーザＡが含まれていると判定される。一方、撮影画像ｘ１には、ユーザＡの顔の少なくとも一部が含まれていないため、第１抽出部１２２ｂは、ユーザＡが含まれていないと判定する。そこで、特徴抽出部１２３ｂは、撮影画像ａ１及びａ２の双方又はいずれか一方から、ユーザＡに関して、顔以外の特徴情報を抽出する。第２抽出部１２４ｂは、当該特徴情報に基づいて、撮影画像ｘ１にもユーザＡが含まれていると判定する。 The captured image that can be determined that the user A is included based on the reference image r1 is a captured image that includes at least a part of the face of the user A, such as a front face or a side face of the user A. Therefore, for the captured images a1 and a2, the first extraction unit 122b determines that the user A is included. On the other hand, since the captured image x1 does not include at least a part of the face of the user A, the first extraction unit 122b determines that the user A is not included. Therefore, the feature extraction unit 123b extracts feature information other than the face regarding the user A from both or one of the captured images a1 and a2. Based on the feature information, the second extraction unit 124b determines that the user A is also included in the captured image x1.
続いて、ユーザＡが含まれている撮影画像のそれぞれについて、画像加工部１２５ｂは、ユーザＡとは異なる人物を含む範囲を参照画像に基づいて特定し、特定された範囲の鮮明さを低下させるための画像処理を実行する（Ｓ２１２）。ここで、ユーザＡが含まれている撮影画像とは、ステップＳ２０９又はＳ２１１においてユーザＡが含まれていると判定された撮影画像である。 Subsequently, for each captured image including the user A, the image processing unit 125b specifies a range including a person different from the user A based on the reference image, and reduces the sharpness of the specified range. Image processing is executed (S212). Here, the captured image including the user A is a captured image determined to include the user A in step S209 or S211.
続いて、画像転送部１３ｂは、各撮影画像に設定されている転送先情報が示す転送先である画像管理装置１０ａへ、各撮影画像を転送する（Ｓ２１３）。この際、参照画像と共に取得された証明書等が画像管理装置１０ａへ転送されてもよい。 Subsequently, the image transfer unit 13b transfers each captured image to the image management apparatus 10a that is the transfer destination indicated by the transfer destination information set for each captured image (S213). At this time, a certificate or the like acquired together with the reference image may be transferred to the image management apparatus 10a.
画像管理装置１０ａの画像受信部１１ａは、各撮影画像を受信すると、当該各撮影画像をライフログ記憶部１３１ａに記憶する（Ｓ２１４）。この際、当該各撮影画像と共に受信された証明書の正当性が確認された上で、当該各撮影画像が記憶されてもよい。 Upon receiving each captured image, the image receiving unit 11a of the image management apparatus 10a stores each captured image in the life log storage unit 131a (S214). At this time, each photographed image may be stored after the validity of the certificate received together with each photographed image is confirmed.
なお、ステップＳ２０３及びＳ２０４は、カメラ３０ａと画像管理装置１０ｂとの間で実行されてもよい。 Note that steps S203 and S204 may be executed between the camera 30a and the image management apparatus 10b.
また、図５では、ユーザＢがユーザＡを撮影する例について説明したが、ユーザＡがユーザＢを撮影する場合にも、同様の処理手順が実行される。 Moreover, although the example in which the user B photographs the user A has been described in FIG. 5, the same processing procedure is executed when the user A photographs the user B.
また、図６において、ステップＳ２０７〜Ｓ２１２を除く各ステップにおいては、特許文献１において開示されている処理と同様の処理が行われてもよい。 In FIG. 6, processes similar to the processes disclosed in Patent Document 1 may be performed in each step except steps S207 to S212.
上述したように、本実施の形態によれば、撮影画像の使用許可要求に係るユーザＩＤに対応する参照画像に基づいて、当該ユーザＩＤに係るユーザが撮影画像に被写体として含まれているか否かが判定される。したがって、特定の人物が含まれている画像データを抽出可能とすることができる。また、参照画像に基づいてユーザが含まれていると判定された撮影画像から、当該ユーザの特徴情報が抽出され、当該特徴情報に基づいて、他の撮影画像について当該ユーザが含まれているか否かが判定される。したがって、特定の人物の顔が写っていない画像データについても、特定の人物が含まれている画像データを抽出可能とすることができる。 As described above, according to the present embodiment, based on the reference image corresponding to the user ID associated with the use permission request for the captured image, whether or not the user associated with the user ID is included as a subject in the captured image. Is determined. Therefore, image data including a specific person can be extracted. In addition, whether or not the feature information of the user is extracted from the captured image determined to include the user based on the reference image, and whether or not the user is included for other captured images based on the feature information. Is determined. Therefore, image data including a specific person can be extracted even from image data in which the face of the specific person is not shown.
また、撮影画像のうち、撮影画像の使用許可要求に係るユーザＩＤに係るユーザ以外の人物についてはぼかし等が適用されて当該ユーザに提供される。したがって、画像データの流通による個人情報やプライバシーの保護の低下を抑制することができる。 In addition, blurring or the like is applied to a person other than the user related to the user ID related to the use permission request for the photographed image among the photographed images and provided to the user. Accordingly, it is possible to suppress a decrease in the protection of personal information and privacy due to the distribution of image data.
なお、本実施の形態において、画像管理装置１０は、画像処理装置の一例である。画像受信部１１は、受信部の一例である。第１抽出部１２２は、第１の判定部の一例である。特徴抽出部１２３は、抽出部の一例である。第２抽出部１２４は、第２の判定部の一例である。画像転送部１３は、保存処理部の一例である。画像加工部１２５は、加工部の一例である。転送先情報は、保存先情報の一例である。 In the present embodiment, the image management apparatus 10 is an example of an image processing apparatus. The image receiving unit 11 is an example of a receiving unit. The first extraction unit 122 is an example of a first determination unit. The feature extraction unit 123 is an example of an extraction unit. The second extraction unit 124 is an example of a second determination unit. The image transfer unit 13 is an example of a storage processing unit. The image processing unit 125 is an example of a processing unit. The transfer destination information is an example of storage destination information.
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.
１ 画像収集システム
１０ａ 画像管理装置
１０ｂ 画像管理装置
１１ 画像受信部
１２ 画像処理部
１３ 画像転送部
２０ 参照画像管理装置
２１ 参照画像登録部
２２ 参照画像検索部
２３ 参照画像記憶部
３０ａ カメラ
３０ｂ カメラ
４０ａ 表示端末
４０ｂ 表示端末
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ 参照画像取得部
１２２ 第１抽出部
１２３ 特徴抽出部
１２４ 第２抽出部
１２５ 画像加工部
１３１ ライフログ記憶部
Ｂ バス
DESCRIPTION OF SYMBOLS 1 Image collection system 10a Image management apparatus 10b Image management apparatus 11 Image receiving part 12 Image processing part 13 Image transfer part 20 Reference image management apparatus 21 Reference image registration part 22 Reference image search part 23 Reference image storage part 30a Camera 30b Camera 40a Display Terminal 40b Display terminal 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 CPU
105 interface device 121 reference image acquisition unit 122 first extraction unit 123 feature extraction unit 124 second extraction unit 125 image processing unit 131 life log storage unit B bus
Claims (6)
前記識別情報に関連付けられて記憶部に記憶されている前記第１の人物の顔画像に基づいて、前記複数の第１の画像のそれぞれについて、前記第１の人物が含まれているか否かを判定する第１の判定部と、
前記第１の判定部によって前記第１の人物が含まれていると判定された前記第１の画像から、前記第１の人物の特徴情報を抽出する抽出部と、
前記第１の判定部によって前記第１の人物が含まれていると判定されなかった前記第１の画像について、前記特徴情報に基づいて前記第１の人物が含まれているか否かを判定する第２の判定部と、
を有することを特徴とする画像処理装置。 A receiving unit that receives a plurality of first images photographed by the photographing device and identification information of the first person;
Whether or not the first person is included in each of the plurality of first images based on the face image of the first person stored in the storage unit in association with the identification information. A first determination unit for determining;
An extraction unit that extracts feature information of the first person from the first image determined by the first determination unit to include the first person;
It is determined whether or not the first person is included based on the feature information for the first image that is not determined by the first determination unit to include the first person. A second determination unit;
An image processing apparatus comprising:
前記第１の判定部又は前記第２の判定部によって前記第１の人物が含まれていると判定された前記第１の画像を、前記保存先情報が示す保存先へ前記第１の画像を保存する保存処理部、
を有することを特徴とする請求項１記載の画像処理装置。 The receiving unit receives storage destination information indicating a storage destination of the first image;
The first image determined to contain the first person by the first determination unit or the second determination unit is transferred to the storage destination indicated by the storage destination information. Save processing section to save,
The image processing apparatus according to claim 1, further comprising:
前記保存処理部は、前記画像処理が実行された前記第１の画像を保存する、
ことを特徴とする請求項２記載の画像処理装置。 A range including a person different from the first person in the first image determined by the first determination unit or the second determination unit to include the first person; A processing unit that performs image processing for specifying the range based on the face image of one person and reducing the sharpness of the specified range;
The storage processing unit stores the first image on which the image processing has been executed.
The image processing apparatus according to claim 2.
撮影装置によって撮影された複数の第１の画像と、第１の人物の識別情報とを受信する受信手順と、
前記識別情報に関連付けられて記憶部に記憶されている前記第１の人物の顔画像に基づいて、前記複数の第１の画像のそれぞれについて、前記第１の人物が含まれているか否かを判定する第１の判定手順と、
前記第１の判定手順において前記第１の人物が含まれていると判定された前記第１の画像から、前記第１の人物の特徴情報を抽出する抽出手順と、
前記第１の判定手順において前記第１の人物が含まれていると判定されなかった前記第１の画像について、前記特徴情報に基づいて前記第１の人物が含まれているか否かを判定する第２の判定手順と、
を実行することを特徴とする画像処理方法。 Computer
A receiving procedure for receiving a plurality of first images photographed by the photographing device and identification information of the first person;
Whether or not the first person is included in each of the plurality of first images based on the face image of the first person stored in the storage unit in association with the identification information. A first determination procedure for determining;
An extraction procedure for extracting feature information of the first person from the first image determined to include the first person in the first determination procedure;
For the first image that is not determined to include the first person in the first determination procedure, it is determined whether the first person is included based on the feature information. A second determination procedure;
The image processing method characterized by performing.
前記第１の判定手順又は前記第２の判定手順において記第１の人物が含まれていると判定された前記第１の画像を、前記保存先情報が示す保存先へ前記第１の画像を保存する保存手順、
を前記コンピュータが実行することを特徴とする請求項４記載の画像処理方法。 The reception procedure receives storage destination information indicating a storage destination of the first image;
The first image determined to contain the first person in the first determination procedure or the second determination procedure is transferred to the storage destination indicated by the storage destination information. Saving procedure to save,
The image processing method according to claim 4, wherein the computer executes.
前記保存手順は、前記画像処理が実行された前記第１の画像を保存する、
ことを特徴とする請求項５記載の画像処理方法。 A range including a person different from the first person in the first image determined to include the first person in the first determination procedure or the second determination procedure; The computer executes a processing procedure for performing the image processing for specifying the face image of one person and reducing the sharpness of the specified range,
The storing procedure stores the first image on which the image processing has been executed.
The image processing method according to claim 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016054326A JP6476148B2 (en) | 2016-03-17 | 2016-03-17 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016054326A JP6476148B2 (en) | 2016-03-17 | 2016-03-17 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017167957A JP2017167957A (en) | 2017-09-21 |
| JP6476148B2 true JP6476148B2 (en) | 2019-02-27 |
Family
ID=59913807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016054326A Active JP6476148B2 (en) | 2016-03-17 | 2016-03-17 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6476148B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021152834A1 (en) * | 2020-01-31 | 2021-08-05 | 日本電気株式会社 | Lifelog management device, control method, and storage medium |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007193824A (en) * | 2000-04-13 | 2007-08-02 | Fujifilm Corp | Image processing method |
| US20090091798A1 (en) * | 2007-10-05 | 2009-04-09 | Lawther Joel S | Apparel as event marker |
| US8724902B2 (en) * | 2010-06-01 | 2014-05-13 | Hewlett-Packard Development Company, L.P. | Processing image data |
| JP2014016968A (en) * | 2012-07-11 | 2014-01-30 | Toshiba Corp | Person retrieval device and data collection device |
| JP2014089625A (en) * | 2012-10-31 | 2014-05-15 | Tadao Ueda | Method of searching for still image or moving image of human in consideration of privacy |
| JP6470503B2 (en) * | 2014-05-20 | 2019-02-13 | キヤノン株式会社 | Image collation device, image retrieval system, image collation method, image retrieval method and program |
| JP5778314B2 (en) * | 2014-05-28 | 2015-09-16 | オリンパス株式会社 | Server and image handling method |
-
2016
- 2016-03-17 JP JP2016054326A patent/JP6476148B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017167957A (en) | 2017-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084153B (en) | Smart camera for automatically sharing pictures | |
| JP5150067B2 (en) | Monitoring system, monitoring apparatus and monitoring method | |
| KR101534808B1 (en) | Method and System for managing Electronic Album using the Facial Recognition | |
| US20170339287A1 (en) | Image transmission method and apparatus | |
| JP7484985B2 (en) | Authentication system, authentication method, and program | |
| JP2014099763A (en) | Photographing service system and photographing control method | |
| WO2009142098A1 (en) | Image processing device, camera, image processing method, and program | |
| US20160127634A1 (en) | Remote-camera control method, remote photography system, and server | |
| JP2014067131A (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
| WO2018092378A1 (en) | Information processing device, information processing method, and program | |
| CN106529307B (en) | Photograph encryption method and device | |
| JP6504896B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND IMAGE TRANSFER SYSTEM | |
| JP6476148B2 (en) | Image processing apparatus and image processing method | |
| JP2015072633A (en) | Image processor and program | |
| JP2019074938A (en) | Device, system, method and program for communication relay | |
| JP7020567B2 (en) | Information processing systems, information processing equipment, information processing methods, and programs | |
| JP2017175453A (en) | Image processing apparatus and image processing method | |
| CN115460349A (en) | Privacy protection method and equipment for shooting | |
| JP2022058833A (en) | Information processing system, information processing apparatus, information processing method, and program | |
| JP2017169131A (en) | Image processing apparatus and image processing method | |
| JP6413500B2 (en) | Imaging device | |
| JP2014042170A (en) | Photographing system, photographing support method, photographing device and control method of the same, management device and control method of the same, and program | |
| KR20120087265A (en) | Fitting virtual system using pattern copy and method therefor | |
| JP6885179B2 (en) | Shooting device, shooting control program, and shooting management system | |
| JP6833571B2 (en) | Image processing equipment, image processing system, and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180221 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190123 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6476148 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |