JP7019825B2 - Image classification device and method - Google Patents

Image classification device and method Download PDF

Info

Publication number
JP7019825B2
JP7019825B2 JP2020543442A JP2020543442A JP7019825B2 JP 7019825 B2 JP7019825 B2 JP 7019825B2 JP 2020543442 A JP2020543442 A JP 2020543442A JP 2020543442 A JP2020543442 A JP 2020543442A JP 7019825 B2 JP7019825 B2 JP 7019825B2
Authority
JP
Japan
Prior art keywords
image
images
information
resolution
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020543442A
Other languages
Japanese (ja)
Other versions
JP2021501432A (en
Inventor
パク、サンピョ
ナム、ジンハ
キム、ウンテク
Original Assignee
アンラブ，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンラブ，インコーポレイテッド filed Critical アンラブ，インコーポレイテッド
Publication of JP2021501432A publication Critical patent/JP2021501432A/en
Application granted granted Critical
Publication of JP7019825B2 publication Critical patent/JP7019825B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、画像分類装置に関するものであって、特に、光学認識対象画像を基設定された分類基準に応じて分類し、個人情報が存在する可能性の低い画像を光学認識を行う前に除去することで、個人情報を探索するための光学認識対象画像の数を減らして光学認識効率を向上させ、コストを削減することができる個人情報画像を探索するための画像分類装置及び方法に関する。 The present invention relates to an image classification device, and in particular, classifies images to be optically recognized according to a classification standard set based on them, and removes images in which personal information is unlikely to exist before performing optical recognition. The present invention relates to an image classification device and a method for searching for personal information images, which can reduce the number of optical recognition target images for searching for personal information, improve optical recognition efficiency, and reduce costs.

近年、カメラ等から撮影された画像に対して光学認識技術を適用して画像から様々な情報を分析する光学認識技術に関する研究が盛んに進められており、こういった光学認識技術を通じて画像に含まれた事物を識別するか、テキスト情報を抽出することが可能である。 In recent years, research on optical recognition technology that analyzes various information from images by applying optical recognition technology to images taken by cameras and the like has been actively promoted, and it is included in images through such optical recognition technology. It is possible to identify things that have been lost or extract textual information.

一方、近年、スマートフォンの普及が急速に増加し、こういったスマートフォンには殆ど高性能のカメラが搭載されていてユーザがいつでもどこでも写真を撮影することができるようになるにつれて、殆どのユーザのスマートフォンには数多い写真が保存されている。 On the other hand, in recent years, the spread of smartphones has increased rapidly, and as these smartphones are equipped with almost high-performance cameras and users can take pictures anytime and anywhere, most users' smartphones. Many photographs are stored in.

現在、スマートフォンを使用するユーザの殆どが保存容量の５０％程度を写真保存のために使っており、写真の数は平均１０００枚程度に推計される。このような写真に対しても光学認識技術を用いて個人情報を含む画像に含まれた様々な情報を抽出することができる。 Currently, most users of smartphones use about 50% of the storage capacity for storing photos, and the number of photos is estimated to be about 1000 on average. Even for such a photograph, various information contained in an image including personal information can be extracted by using optical recognition technology.

しかし、このような数多い画像の中で画像に対する光学認識を通じて個人情報等を確認するためには、多くの時間やコストが発生する。 However, in order to confirm personal information or the like through optical recognition of an image among such a large number of images, a lot of time and cost are required.

上記のような光学認識技術を適用して画像分析を行うアプリケーションとして、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｖｉｓｉｏｎ ＡＰＩなどが挙げられる。しかし、こういった光学認識技術を使用する場合、光学認識対象となる画像の数が増えるにつれて図１に示すように、光学認識にかかる時間及びコストが幾何級数的に増加するという問題があった。 As an application for performing image analysis by applying the above optical recognition technology, for example, Google Cloud Vision API and the like can be mentioned. However, when such an optical recognition technique is used, there is a problem that the time and cost required for optical recognition increase geometrically as the number of images to be optically recognized increases, as shown in FIG. ..

したがって、光学認識にかかる時間やコストを減らすためには、光学認識を適用する前に光学認識対象になる画像を分析しようとする情報に対応されるように、事前に分類して画像の数をできる限り減らす作業が必要である。 Therefore, in order to reduce the time and cost required for optical recognition, the number of images is pre-classified so as to correspond to the information that attempts to analyze the image to be optically recognized before applying optical recognition. Work is needed to reduce it as much as possible.

韓国特許登録第１０－１７３５６６４号（２０１７年５月８日登録）Korean Patent Registration No. 10-1735664 (Registered on May 8, 2017)

したがって、本発明の一実施例においては、光学認識対象画像を既設定された分類基準に応じて分類し、個人情報が存在する可能性の低い画像を光学認識を行う前に除去することで、個人情報を探索するための光学認識対象画像の数を減らして光学認識効率を向上させ、コストを削減することができる個人情報画像を探索するための画像分類装置及び方法を提供する。 Therefore, in one embodiment of the present invention, the images to be optically recognized are classified according to the set classification criteria, and the images in which personal information is unlikely to exist are removed before the optical recognition is performed. Provided are an image classification device and a method for searching for a personal information image capable of reducing the number of optical recognition target images for searching for personal information, improving the optical recognition efficiency, and reducing the cost.

上述した本発明の一実施例による画像分類装置であって、複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類し、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成する画像分類部と、前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に合成する画像制作部と、を含む。 In the image classification device according to the embodiment of the present invention described above, all the images in the first image group including a plurality of images are inspected according to a set standard to classify the images to be removed. One image classification unit that generates a second image group including the remaining images excluding the image to be removed and a preset number of images among the images included in the second image group are selected and one. Includes an image production department that synthesizes images.

また、前記画像分類部は、前記第１画像グループ内の各画像に対して解像度を検査し、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類する解像度基盤分類部を含むことを特徴とする。 Further, the image classification unit inspects the resolution of each image in the first image group, and if the resolution is equal to or lower than the preset reference resolution, the image classification unit classifies the image to be removed. It is characterized by including.

また、前記画像分類部は、前記第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、前記除去対象画像に分類するメタデータ基盤分類部を更に含むことを特徴とする。 Further, the image classification unit confirms the metadata information for each image in the first image group, and when the information related to the copyright is included, the image classification unit classifies the metadata infrastructure classification unit into the image to be removed. It is characterized by further inclusion.

また、前記画像分類部は、前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類し、前記同一なカメラによって撮影された各画像の生成時間情報に基づいて生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する連続写真分類部を更に含むことを特徴とする。 Further, the image classification unit classifies images taken by the same camera for each image in the first image group, and generates images based on the generation time information of each image taken by the same camera. Among a plurality of images included in a time interval range in which a time point has already been set, the remaining images except for one arbitrarily selected image further include a continuous photo classification unit that classifies the image to be removed. And.

また、前記画像分類部は、前記第１画像グループ内の各画像に対して焦点ずれ程度を検査し、前記焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、前記除去対象画像に分類する焦点基盤分類部を更に含むことを特徴とする。 Further, the image classification unit inspects the degree of defocus for each image in the first image group, and if the degree of defocus is equal to or greater than the set reference defocus, the image is classified into the image to be removed. It is characterized by further including a focus-based classification unit.

また、前記画像制作部は、前記第２画像グループ内に含まれた各画像の解像度を検査する解像度検査部と、前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小する画像縮小部と、前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成する画像合成部と、を含むことを特徴とする。 Further, the image production unit is based on a resolution inspection unit that inspects the resolution of each image included in the second image group and each image included in the second image group based on the inspected resolution. The image reduction unit that is reduced by the preset ratio and the preset number of images are selected from the reduced images and classified according to the preset number on the one image. It is characterized by including an image synthesizing unit for locating the reduced image in the area and synthesizing the reduced image into the one image.

また、前記画像制作部は、前記１つの画像に含まれた前記縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶する画像位置記憶部を更に含むことを特徴とする。 Further, the image production unit stores identification information for each of the reduced images included in the one image and area information in which each of the reduced images is located on the one image. It is characterized by further including an image position storage unit.

また、前記画像分類装置は、前記画像制作部で前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類する画像再分類部を更に含むことを特徴とする。 Further, in the image classification device, an image in which personal information exists based on an optical recognition result for the one image for a plurality of images included in the one image in the image production unit, and the personal information are combined. It is characterized by further including an image reclassification unit for classifying into non-existent images.

また、前記個人情報は、前記１つの画像に含まれたテキスト情報であることを特徴とする。 Further, the personal information is characterized by being text information included in the one image.

また、本発明の一実施例による画像分類方法であって、複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類するステップと、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成するステップと、前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に制作するステップと、を含むことを特徴とする。 Further, in the image classification method according to the embodiment of the present invention, the step of inspecting all the images in the first image group including a plurality of images according to the set criteria and classifying the images to be removed. , A step of generating a second image group including the remaining images excluding the image to be removed, and selecting one set number of images from the images included in the second image group. It is characterized by including steps to create an image.

また、前記分類するステップは、前記第１画像グループ内の各画像に対して解像度を検査するステップと、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類するステップと、を含むことを特徴とする。 Further, the classification steps include a step of inspecting the resolution of each image in the first image group, and a step of classifying the images to be removed when the resolution is equal to or lower than the preset reference resolution. It is characterized by including.

また、前記分類するステップは、前記第１画像グループ内の各画像に対するメタデータ情報を確認するステップと、前記確認結果、前記メタデータ情報に著作権に関わる情報が含まれている場合、前記除去対象画像に分類するステップを含むことを特徴とする。 Further, the classification step includes a step of confirming the metadata information for each image in the first image group, and the removal of the confirmation result and the metadata information when the information related to copyright is included. It is characterized by including a step of classifying into a target image.

また、前記分類するステップは、前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類するステップと、前記同一なカメラによって撮影された各画像の生成された時間情報を確認するステップと、前記時間情報に基づいて画像の生成時点が既設定された時間間隔範囲に含まれるフクスの画像の中で任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類するステップと、を含むことを特徴とする。 Further, the classification step includes a step of classifying images taken by the same camera for each image in the first image group, and time information generated for each image taken by the same camera. The rest of the images are removed except for one image that is arbitrarily selected from among the images of Fuchs included in the time interval range in which the image generation time is set in advance based on the time information. It is characterized by including a step of classifying into a target image.

また、前記分類するステップは、前記第１画像グループ内の各画像に対して焦点ずれ程度を検査するステップと、前記検査結果、前記焦点ずれ程度が既設定された焦点ずれ情報以上の場合、前記除去対象画像に分類するステップと、を含むことを特徴とする。 Further, the classification step is a step of inspecting the degree of defocus for each image in the first image group, and when the inspection result shows that the degree of defocus is equal to or greater than the set defocus information, the step is described. It is characterized by including a step of classifying the image to be removed.

また、前記制作するステップは、前記第２画像グループ内に含まれた各画像の解像度を検査するステップと、前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小するステップと、前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成するステップと、を含むことを特徴とする。 Further, the steps to be produced are a step of inspecting the resolution of each image included in the second image group and an existing step of inspecting each image included in the second image group based on the inspected resolution. The step of reducing at a set ratio and the preset number of images are selected from the reduced images, and the area is divided according to the preset number on the one image. It is characterized by including a step of locating the reduced image and synthesizing it into the one image.

また、前記制作するステップは、前記１つの画像に含まれた複数の縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶するステップを更に含むことを特徴とする。 Further, the step to produce stores the identification information for each of the plurality of reduced images included in the one image and the area information in which each of the reduced images is located on the one image. It is characterized by further including steps to be performed.

また、前記画像分類方法は、前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類するステップを更に含むことを特徴とする。 Further, the image classification method includes an image in which personal information exists based on an optical recognition result for the one image and an image in which the personal information does not exist for a plurality of images included in the one image. It is characterized by further including a step of classifying.

本発明の一実施例によれば、個人情報を探索するための画像分類装置において、光学認識対象画像を既設定された分類基準に応じて分類し、個人情報が存在する可能性の低い画像を光学認識を行う前に除去することで、個人情報を探索するための光学認識対象画像の数を減らして光学認識の効率を向上させ、コストを削減することができる。 According to one embodiment of the present invention, in an image classification device for searching for personal information, an image to be optically recognized is classified according to a set classification standard, and an image having a low possibility of existence of personal information is classified. By removing it before performing optical recognition, it is possible to reduce the number of images to be optically recognized for searching for personal information, improve the efficiency of optical recognition, and reduce the cost.

図１は、光学認識対象画像の数による従来の光学認識の所要時間及びコストの例示図である。FIG. 1 is an exemplary diagram of the time and cost required for conventional optical recognition based on the number of images to be optically recognized.

図２は、本発明の一実施例による個人情報画像を探索するための画像分類装置の機能ブロック構成図である。FIG. 2 is a functional block configuration diagram of an image classification device for searching a personal information image according to an embodiment of the present invention.

図３は、本発明の一実施例による複数の画像が合成された合成画像の例示図である。FIG. 3 is an exemplary diagram of a composite image in which a plurality of images are combined according to an embodiment of the present invention.

図４は、本発明の一実施例による第１画像分類部の機能ブロック構成図である。FIG. 4 is a functional block configuration diagram of a first image classification unit according to an embodiment of the present invention.

図５は、本発明の一実施例による画像制作部の機能ブロック構成図である。FIG. 5 is a functional block configuration diagram of an image production unit according to an embodiment of the present invention.

図６は、本発明の一実施例による画像分類装置において画像を分類する動作制御のフローチャートである。FIG. 6 is a flowchart of operation control for classifying images in the image classification device according to the embodiment of the present invention.

図７は、本発明の一実施例による複数の画像が合成された１つの画像で光学認識を通じて個人情報が認識された領域表示概念図である。FIG. 7 is a conceptual diagram of a region display in which personal information is recognized through optical recognition in one image in which a plurality of images according to an embodiment of the present invention are combined.

図８は、本発明の一実施例による画像分類後の光学認識時間及びコスト結果の例示図である。FIG. 8 is an exemplary diagram of optical recognition time and cost results after image classification according to an embodiment of the present invention.

以下において、添付の図面を参照しながら本発明の動作原理について詳しく説明する。以下において本発明を説明するにあたって、公知の機能又は構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合は、その詳細な説明を省略する。そして、後述する用語は、本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図又は慣例等に応じて変わり得る。従って、その定義は、本明細書の全般にわたっての内容に踏まえて下されるべきである。 Hereinafter, the operating principle of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, if it is determined that a specific description of a known function or configuration obscures the gist of the present invention, the detailed description thereof will be omitted. The term described later is a term defined in consideration of the function in the present invention, and this may change depending on the intention or custom of the user, the operator, or the like. Therefore, that definition should be made in light of the general content of this specification.

図２は、本発明に一実施例による個人情報画像を探索するための画像分類装置の機能ブロック構成を図示したものである。 FIG. 2 illustrates a functional block configuration of an image classification device for searching a personal information image according to an embodiment of the present invention.

図２を参照すれば、本発明の一実施例による個人情報を探索するための画像分類装置２００は、第１画像分類部２０２と、画像制作部２０４と、第２画像分類部２０６とを含み得る。 Referring to FIG. 2, the image classification device 200 for searching for personal information according to an embodiment of the present invention includes a first image classification unit 202, an image production unit 204, and a second image classification unit 206. obtain.

先ず、第１画像分類部２０２は、画像記憶部２３０から個人情報抽出のための光学認識対象になる複数の画像の入力を受ける。このとき、こういった複数の画像はスマートフォン、デジタルカメラ等を通じて撮影された写真などを意味することができ、個人情報は当該画像に含まれたユーザの個人情報であって、例えば、テキスト情報になり得る。また、このようなテキスト情報は、例えば、パスポート写真に含まれているパスポート番号、主民登録証を撮影した写真に含まれている主民登録番号、レシート、あるいは各種文書を撮影した写真に含まれた取引情報、証憑情報などになり得るが、これに限定されるものではない。 First, the first image classification unit 202 receives input from the image storage unit 230 of a plurality of images to be optically recognized for extracting personal information. At this time, such a plurality of images can mean a photograph taken through a smartphone, a digital camera, or the like, and the personal information is the personal information of the user included in the image, for example, text information. Can be. In addition, such text information is included in, for example, a passport number included in a passport photograph, a resident registration number included in a photograph taken with a lord registration certificate, a receipt, or a photograph taken with various documents. It can be, but is not limited to, transaction information, voucher information, etc.

つまり、第１画像分類部２０２は、上記のような複数の画像の入力を受ける場合、複数の画像を含む第１画像グループを生成し、第１画像グループ内に含まれた各画像を既設定された基準に応じて検査して個人情報が存在する可能性の低い除去対象画像を分類する。次いで、第１画像分類部２０２は、第１画像グループで上記にように分類された除去対象画像を除いた残りの画像を含む第２画像グループを生成する。 That is, when the first image classification unit 202 receives the input of a plurality of images as described above, the first image classification unit 202 generates a first image group including the plurality of images, and each image included in the first image group is already set. The images to be removed that are unlikely to have personal information are classified according to the criteria set. Next, the first image classification unit 202 generates a second image group including the remaining images excluding the images to be removed classified as described above in the first image group.

このとき、除去対象画像は上記のように例示した個人情報を含んでいない画像を示すものであって、このような個人情報を含んでいない画像を分類する具体的な方法については、第１画像分類部２０２の詳細ブロック構成を図示した図４を参照して詳細に後述する。 At this time, the image to be removed shows an image that does not include the personal information exemplified above, and the specific method for classifying the image that does not include such personal information is the first image. The detailed block configuration of the classification unit 202 will be described in detail with reference to FIG. 4.

画像制作部２０４は、第１画像分類部２０２から生成された第２画像グループに含まれた画像に対して既設定された個数の画像を選択して１つの画像に合成する。このとき、例えば、画像制作部２０４は第２画像グループ内に含まれた６つの画像を選択して１つの画像に合成することができるが、これに限定されるものではない。 The image production unit 204 selects a preset number of images for the images included in the second image group generated from the first image classification unit 202 and combines them into one image. At this time, for example, the image production unit 204 can select six images included in the second image group and combine them into one image, but the present invention is not limited to this.

また、画像制作部２０４は、６つの画像を１つの画像に合成するにあたり、図３に示すように、１つの画像３００を６つの領域に区分し、第２画像グループで選択された６つの画像を各領域の大きさに合わせて一定比率で縮小した後、縮小された画像を１つの画像３００上の各領域に配置することにより、１つの画像に合成することができる。上記のような画像合成動作については画像制作部２０４の詳細ブロック構成を図示した図５を参照して詳細に後述する。 Further, the image production unit 204 divides one image 300 into six areas and six images selected in the second image group when synthesizing the six images into one image, as shown in FIG. Is reduced at a constant ratio according to the size of each region, and then the reduced images are arranged in each region on one image 300, so that the images can be combined into one image. The image composition operation as described above will be described in detail later with reference to FIG. 5, which illustrates the detailed block configuration of the image production unit 204.

第２画像分類部２０６は、画像制作部２０４で生成された複数の画像を含むように合成された１つの画像に対する光学認識の結果、個人情報が検出される場合、１つの画像内に含まれた複数の画像の中で個人情報が検出された画像と個人情報が検出されていない画像とに分類する。このとき、第２画像分類部２０６は、例えば、個人情報が検出されていない画像は一般画像に分類して一般画像グループで管理することができ、個人情報が検出された画像は個人情報画像に分類して個人情報画像グループで管理することができるが、これに限定されるものではない。 The second image classification unit 206 is included in one image when personal information is detected as a result of optical recognition for one image synthesized so as to include a plurality of images generated by the image production unit 204. It is classified into an image in which personal information is detected and an image in which personal information is not detected among a plurality of images. At this time, the second image classification unit 206 can, for example, classify an image in which personal information is not detected into a general image and manage it in a general image group, and the image in which personal information is detected is classified as a personal information image. It can be classified and managed by a personal information image group, but it is not limited to this.

また、ここで、光学認識ということは、画像にテキストなどの個人情報が含まれている場合、画像から個人情報を抽出する技術のことで、光学認識を通じて画像内の個人情報が分析されることもでき、抽出された個人情報別画像上の当該個人情報が検出された位置情報も分析されることができる。 Also, here, optical recognition is a technique for extracting personal information from an image when the image contains personal information such as text, and the personal information in the image is analyzed through optical recognition. Also, the position information in which the personal information is detected on the extracted image for each personal information can be analyzed.

また、光学認識は本発明に一実施例による画像分類装置２００が搭載されたスマートフォン（ｓｍａｒｔｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）、ラップトップ、デスクトップＰＣなどのコンピューティング装置で光学認識を遂行するアプリケーションなどによって実行された後、光学認識が行われた結果が画像分類装置２００に提供されることもでき、有無線通信網を介して連結される外部の光学認識サーバーなどで実行された後、画像分類装置２００に提供されることもできる。 Further, optical recognition is executed by an application that performs optical recognition on a computing device such as a smartphone (smartphone), a tablet (tablet), a laptop, or a desktop PC equipped with the image classification device 200 according to the embodiment of the present invention. After that, the result of optical recognition can be provided to the image classification device 200, and after being executed by an external optical recognition server or the like connected via a wireless communication network, the image classification device 200 Can also be provided to.

図４は、本発明の一実施例による第１画像分類部の機能ブロック構成を図示したものである。 FIG. 4 illustrates the functional block configuration of the first image classification unit according to the embodiment of the present invention.

図４を参照すれば、本発明の一実施例による第１画像分類部２０２０は解像度基盤分類部４００、メタデータ基盤分類部４０２、連続写真分類部４０４、焦点基盤分類部４０６等を含み得る。 Referring to FIG. 4, the first image classification unit 2020 according to an embodiment of the present invention may include a resolution base classification unit 400, a metadata base classification unit 402, a continuous photo classification unit 404, a focus base classification unit 406, and the like.

解像度基盤分類部４００は、第１画像グループ内の各画像に対して解像度を検査し、解像度が既設定された基準解像度以下の場合、除去対象画像に分類する。ここで、基準解像度は、例えば、スマートフォンの場合、相対的に解像度が低い全面カメラでユーザ自身を撮影した画像の解像度に決められることができ、これにより、全面カメラを用いてユーザ自身を撮影した画像は個人情報が存在する可能性の低い除去対象画像に分類されることができるが、これに限定されるものではない。つまり、基準解像度は除去対象画像に分類する写真をどのようなものに決定するかに応じて選択的に変更設定可能である。 The resolution base classification unit 400 inspects the resolution of each image in the first image group, and if the resolution is equal to or less than the preset reference resolution, classifies the image as a removal target image. Here, for example, in the case of a smartphone, the reference resolution can be determined by the resolution of the image taken by the user himself / herself with a full-scale camera having a relatively low resolution, whereby the user himself / herself is photographed by using the full-face camera. Images can be classified as removal target images in which personal information is unlikely to exist, but the image is not limited to this. That is, the reference resolution can be selectively changed and set according to what kind of photo is to be classified as the image to be removed.

メタデータ基盤分類部４０２は、第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、個人情報が存在する可能性に低い除去対象画像に分類することができる。ここで、著作権に関わる情報が含まれた画像は、例えば、ユーザ自身でない第三者によって生成された画像を意味することができるが、このような画像は、例えば、企業などで制作した画像あるいはフォトグラファー等によって撮影された画像などがある。このような画像には画像データの内部に含まれたメタデータ情報に当該画像を制作したベンダー（ｖｅｎｄｅｒ）や、フォトグラファーの識別情報が含まれることができ、当該画像を撮影したカメラのモデル名などの情報が含まれ得るが、著作権に関わる情報はこのような情報などを意味することができるが、これに限定されるものではない。 The metadata infrastructure classification unit 402 confirms the metadata information for each image in the first image group, and if the information related to copyright is included, classifies the image to be removed with a low possibility that personal information exists. can do. Here, an image containing copyright-related information can mean, for example, an image generated by a third party other than the user himself, and such an image is, for example, an image produced by a company or the like. Alternatively, there are images taken by a photographer or the like. Such an image can include the vendor (vender) who created the image and the identification information of the photographer in the metadata information contained inside the image data, such as the model name of the camera that took the image. Information may be included, but copyright-related information can mean such information, but is not limited thereto.

連続写真分類部４０４は、第１画像グループ内の全ての画像に対して同一なカメラから生成された画像を分類し、同一なカメラから生成された画像に対して更に各画像が生成された時間情報を確認した後、各画像が生成された時点が既設定された時間間隔範囲内に含まれる当該画像を除去対象画像に分類する。ここで、既設定された基準時間間隔範囲は、例えば、スマートフォン、デジタルカメラなどに備わる連続写真撮影モード時に設定された時間間隔に決められることができるが、このような基準時間間隔範囲内で生成された画像は連続写真撮影によって生成されたことを意味することができる。また、連続写真撮影によって生成された画像は類似した情報を含んでいる可能性が高いので、連続写真撮影で生成された画像が複数枚である場合、１つの画像を除いて残りの画像に対しては制御対象画像に分類することができるが、これに限定されるものではない。 The continuous photo classification unit 404 classifies the images generated from the same camera for all the images in the first image group, and the time when each image is further generated for the images generated from the same camera. After confirming the information, the image whose time point when each image is generated is included in the preset time interval range is classified as the image to be removed. Here, the set reference time interval range can be determined to be the time interval set in the continuous photography mode provided in, for example, a smartphone, a digital camera, etc., and is generated within such a reference time interval range. The resulting image can be meant to have been produced by continuous photography. Also, since the images generated by continuous photography are likely to contain similar information, if there are multiple images generated by continuous photography, only one image will be used for the rest of the images. It can be classified into a controlled image, but it is not limited to this.

焦点基盤分類部４０６は、第１画像グループ内の各画像に対して焦点ずれ（ｂｌｕｒ）程度を検査し、焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、除去対象画像に分類する。ここで、既設定された基準焦点ずれ程度は、スマートフォン、デジタルカメラなどを通じて撮影された画像の焦点がずれて撮影されて画像上の焦点ずれが発生した場合、焦点ずれが発生した程度を百分率で表示したことを意味することができる。ここで、こういった基準焦点ずれ程度は、例えば、０が焦点が正確に合っていることを示し、１００が焦点が完全にずれていることを示していると想定する場合、焦点がずれているが、画像から個人情報を抽出できる実験値で決められ得る。つまり、こういった焦点ずれ程度は、例えば、０～２０に決められることができるが、焦点ずれ程度が２０以上になる画像は個人情報の抽出が困難な除去対象画像に分類するようにすることができるが、これに限定されるものではない。 The focal base classification unit 406 inspects each image in the first image group for the degree of defocus (blur), and if the degree of defocus is equal to or greater than the preset reference defocus degree, classifies the image as a target image to be removed. .. Here, the degree of reference defocus that has already been set is the degree of defocus that occurs when the image taken through a smartphone, digital camera, etc. is out of focus and the image is out of focus. It can mean that it is displayed. Here, such a degree of reference defocus is out of focus, for example, assuming that 0 indicates that the focus is exactly and 100 indicates that the focus is completely out of focus. However, it can be determined by experimental values that can extract personal information from images. That is, such a degree of defocus can be determined to be, for example, 0 to 20, but an image having a degree of defocus of 20 or more should be classified as a removal target image for which personal information is difficult to extract. However, it is not limited to this.

図５は、本発明の一実施例による画像制作部の機能ブロック構成を図示したものである。 FIG. 5 illustrates a functional block configuration of an image production unit according to an embodiment of the present invention.

図５を参照すれば、本発明の一実施例による画像制作部２０４は、解像度検査部５００、画像縮小部５０２、画像合成部５０４、画像位置記憶部５０６などを含むことができる。 Referring to FIG. 5, the image production unit 204 according to the embodiment of the present invention can include a resolution inspection unit 500, an image reduction unit 502, an image composition unit 504, an image position storage unit 506, and the like.

解像度検査部５００は、１次分類された画像を除いた、個人情報が存在する可能性の高い画像から構成される第２画像グループ内の各画像の解像度を検査し、検査された画像別の解像度に関する情報を画像縮小部５０２に提供する。 The resolution inspection unit 500 inspects the resolution of each image in the second image group composed of images in which personal information is likely to exist, excluding the primary classified image, and inspects the resolution of each image for each inspected image. Information on the resolution is provided to the image reduction unit 502.

このとき、第２画像グループ内に含まれた画像は１次分類を通じて既設定された基準解像度以上の画像が含まれた状態であるが、画像別に解像度は互いに異なり得る。こういった第２画像グループ内に含まれた画像は、画像縮小部５０２を通じて元々画像が有している解像度に基づいて一定の大きさに縮小しなければならないため、画像別の解像度を検査する必要がある。 At this time, the images included in the second image group are in a state of including images having a reference resolution or higher set in advance through the primary classification, but the resolutions may differ from each other for each image. Since the images included in such a second image group must be reduced to a certain size based on the resolution originally possessed by the image through the image reduction unit 502, the resolution of each image is inspected. There is a need.

画像縮小部５０２は、第２画像グループ内に含まれた各画像を各画像の解像度に基づいて既設定された比率で縮小させる。第２画像グループ内に含まれた各画像は１次分類を通じて個人情報が存在する可能性の高い画像に分類された状態で光学認識の対象になる画像であり得る。このような画像の各々に対して光学認識を行う場合、依然として光学認識にかかるコストが相対的に増加し、外部に位置した光学認識サーバーに送信する場合、データ送信効率が低下する恐れがある。従って、光学認識効率を向上させるために、本発明に一実施例においては、複数の縮小された画像を合成して１つの画像に制作することで、光学認識効率を向上させる。 The image reduction unit 502 reduces each image included in the second image group by a preset ratio based on the resolution of each image. Each image included in the second image group may be an image to be optically recognized in a state of being classified into an image in which personal information is likely to exist through the primary classification. When optical recognition is performed for each of such images, the cost for optical recognition still increases relatively, and when transmitting to an optical recognition server located outside, data transmission efficiency may decrease. Therefore, in order to improve the optical recognition efficiency, in one embodiment of the present invention, the optical recognition efficiency is improved by synthesizing a plurality of reduced images into one image.

つまり、画像縮小部５０２は、１つの画像に入る縮小された画像の数が決められた場合、画像の数に応じて１つの画像上、各画像が占める領域の大きさを考慮して当該領域の大きさに合わせて元の画像を特定の比率で縮小させる。 That is, when the number of reduced images to be included in one image is determined, the image reduction unit 502 considers the size of the area occupied by each image on one image according to the number of images. Shrinks the original image at a specific ratio to fit the size of.

画像合成部５０４は画像縮小部５０２によって一定の比率で縮小された画像の中で１つの画像に合成する既設定された個数の画像を選択し、選択された画像を１つの画像上、既設定された個数に合わせて区分された各領域に位置させて１つの画像に合成する。 The image synthesizing unit 504 selects an already set number of images to be combined into one image among the images reduced by the image reducing unit 502 at a constant ratio, and the selected image is already set on one image. The images are combined into one image by locating them in each area divided according to the number of images.

画像位置記憶部５０６は、画像合成部５０４で合成される１つの画像別に含まれる複数の縮小された画像それぞれに関する識別情報と、当該１つの画像上に位置された領域に関する情報を記憶する。 The image position storage unit 506 stores identification information regarding each of the plurality of reduced images included in each image synthesized by the image composition unit 504, and information regarding a region located on the one image.

このとき、上記のように画像合成が完了した１つの画像は画像分類装置２００内に備わる光学認識装置あるいは有無線通信網を介して連結された光学認識サーバー２５０を通じて光学認識が行われることができるが、１つの画像内で検出された個人情報と、各個人情報が検出された当該画像上の位置情報を含む光学認識結果が第２画像分類部２０６に提供され得る。 At this time, one image for which image composition has been completed as described above can be optically recognized through an optical recognition device provided in the image classification device 200 or an optical recognition server 250 connected via a wireless communication network. However, the second image classification unit 206 may be provided with the optical recognition result including the personal information detected in one image and the position information on the image in which each personal information is detected.

すると、第２画像分類部２０６は、上記のように光学認識が行われて１つの画像で検出された個人情報と、１つの画像上で個人情報が検出された位置情報とを受信する場合、画像位置記憶部５０６に記憶された情報を用いて１つの画像上の個人情報が検出された各画像を判別して個人情報がある画像と、個人情報がない画像とに分類する。 Then, when the second image classification unit 206 receives the personal information detected in one image by performing optical recognition as described above and the position information in which the personal information is detected on one image, the second image classification unit 206 receives. Using the information stored in the image position storage unit 506, each image in which personal information on one image is detected is discriminated and classified into an image having personal information and an image without personal information.

このとき、第２画像分類部２０６は上述で説明したように、例えば、個人情報が検出されていない画像を一般画像に分類して一般画像グループで管理することができ、個人情報が検出された画像は個人情報画像に分類して個人情報画像グループで管理することができる。 At this time, as described above, the second image classification unit 206 can classify the images for which personal information is not detected into general images and manage them in the general image group, and the personal information is detected. Images can be classified into personal information images and managed by a personal information image group.

図６は、本発明の一実施例による画像分類装置で画像を分類分類する動作制御の流れを示すものである。以下、図２乃至図６を参照して本発明の一実施例による動作を詳細に説明する。 FIG. 6 shows the flow of operation control for classifying and classifying images by the image classification device according to the embodiment of the present invention. Hereinafter, the operation according to the embodiment of the present invention will be described in detail with reference to FIGS. 2 to 6.

先ず、画像分類装置２００は、画像記憶初２３０から個人情報を抽出するための光学認識対象になる複数の画像の入力を受ける（Ｓ６００）。ここで、こういった画像はスマートフォン、デジタルカメラなどを通じて撮影された写真などを意味することができ、個人情報は当該画像に含まれたユーザの個情報であって、例えば、テキスト情報がある。 First, the image classification device 200 receives input of a plurality of images to be optically recognized for extracting personal information from the image storage first 230 (S600). Here, such an image can mean a photograph taken through a smartphone, a digital camera, or the like, and personal information is personal information of a user included in the image, for example, text information.

次いで、画像分類装置２００は上記のように複数の画像の入力を受ける場合、複数の画像を含む第１画像グループを生成し、第１画像グループ内に含まれた各画像を既設定された基準に応じて検査して個人情報が混在する可能性の低い除去対象画像を分類する１次分類を行う（Ｓ６０２）。 Next, when the image classification device 200 receives input of a plurality of images as described above, the image classification device 200 generates a first image group including the plurality of images, and each image included in the first image group is set as a reference. The primary classification is performed to classify the images to be removed, which are less likely to be mixed with personal information by inspecting according to the above (S602).

このとき、画像分類装置２００は１次分類を行うにあたって、第１画像グループ内の各画像に対して解像度を検査し、解像度が既設定された基準解像度以下の場合、除去対象画像に分類する（Ｓ６０２－１）。ここで、基準解像度は、例えば、スマートフォンの場合、相対的に解像度が低い全面カメラでユーザ自身を撮影した画像の解像度に決められることができ、これにより、全面カメラを用いてユーザ自身を撮影した画像は個人情報が存在する可能性の低い除去対象画像に分類されることができる。 At this time, the image classification device 200 inspects the resolution of each image in the first image group in performing the primary classification, and if the resolution is equal to or less than the preset reference resolution, classifies the image as a removal target image ( S602-1). Here, for example, in the case of a smartphone, the reference resolution can be determined by the resolution of the image taken by the user himself / herself with a full-scale camera having a relatively low resolution, whereby the user himself / herself is photographed by using the full-face camera. Images can be classified as removal target images in which personal information is unlikely to exist.

また、画像分類装置２００は、第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、除去対象画像に分類する（Ｓ６０２－２）。ここで、著作権に関わる情報が含まれた画像は、例えば、ユーザ自身でない第三者によって生成された画像を意味することができるが、このような画像は、例えば、企業などで制作した画像あるいはフォトグラファー等によって撮影された画像などがある。 Further, the image classification device 200 confirms the metadata information for each image in the first image group, and if the information related to the copyright is included, classifies the image to be removed (S602-2). Here, an image containing copyright-related information can mean, for example, an image generated by a third party other than the user himself, and such an image is, for example, an image produced by a company or the like. Alternatively, there are images taken by a photographer or the like.

また、画像分類装置２００は、第１画像グループ内の全ての画像に対して同一なカメラによって撮影された画像を分類した後、同一なカメラによって撮影された各画像の生成時間情報を確認し、各画像が生成された時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する（Ｓ６０２－３）。ここで、既設定された基準時間間隔範囲は、例えば、スマートフォン、デジタルカメラなどに備わる連続写真撮影モード時に設定された時間間隔に決められることができるが、このような基準時間間隔範囲内で生成された画像は連続写真撮影によって生成されたことを意味することができる。 Further, the image classification device 200 classifies the images taken by the same camera for all the images in the first image group, and then confirms the generation time information of each image taken by the same camera. Among a plurality of images whose time point when each image is generated is included in the preset time interval range, the remaining images except for one arbitrarily selected image are classified into the removal target images (S602-3). ). Here, the set reference time interval range can be determined to be the time interval set in the continuous photography mode provided in, for example, a smartphone, a digital camera, etc., and is generated within such a reference time interval range. The resulting image can be meant to have been produced by continuous photography.

また、画像分類装置２００は、第１画像グループ内の各画像に対して焦点ずれ（ｂｌｕｒ）程度を検査し、焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、除去対象画像に分類する（Ｓ６０２－４）。ここで、既設定された基準焦点ずれ程度は、スマートフォン、デジタルカメラなどを通じて撮影された画像の焦点がずれて撮影されて画像上の焦点ずれが発生した場合、焦点ずれが発生した程度を百分率で表示したことを意味することができる。 Further, the image classification device 200 inspects each image in the first image group for a degree of defocus (blur), and if the degree of defocus is equal to or greater than a preset reference defocus degree, the image classification device 200 classifies the image as a target image to be removed. (S602-4). Here, the degree of reference defocus that has already been set is the degree of defocus that occurs when the image taken through a smartphone, digital camera, etc. is out of focus and the image is out of focus. It can mean that it is displayed.

上記のように、画像分類装置２００は１次分類を通じて第１画像グループから個人情報が存在する可能性の低い除去対象画像（写真Ａ）を除き（Ｓ６０４）、除去対象画像を除いた残りの画像を取り合わせて第２画像グループ（写真Ｂ）を生成する（Ｓ６０６）。 As described above, the image classification device 200 excludes the image to be removed (Photo A) from the first image group, which is unlikely to have personal information through the primary classification (Photo A) (S604), and the remaining images excluding the image to be removed. To generate a second image group (Photo B) (S606).

次いで、画像分類装置２００は第２画像グループに含まれた画像に対して既設定された個数の画像を選択して１つの画像に合成する（Ｓ６０８）。このとき、例えば、画像分類装置２００は第２画像グループ内に含まれた６つの画像を選択して１つの画像に合成することができるが、これに限定されるものではない。また、画像分類装置２００は、６つの画像を１つの画像に合成するにあたり、上記した図３に示すように、１つの画像３００を６つの領域に区分し、第２画像グループで選択された６つの画像を各領域の大きさに合わせて一定比率で縮小した後、縮小された画像を１つの画像３００上の各領域に配置することにより、１つの画像に合成することができる。 Next, the image classification device 200 selects a preset number of images for the images included in the second image group and combines them into one image (S608). At this time, for example, the image classification device 200 can select six images included in the second image group and combine them into one image, but the present invention is not limited to this. Further, in synthesizing the six images into one image, the image classification device 200 divides one image 300 into six regions as shown in FIG. 3 described above, and 6 selected in the second image group. After reducing one image at a constant ratio according to the size of each area, the reduced image can be combined into one image by arranging the reduced images in each area on one image 300.

上記のように、１次分類された複数の画像を含むように合成された１つの画像は、システム内部に搭載された光学認識装置あるいは有無線通信網を介して連結された外部の光学認識サーバー２５０等で光学認識が行われて画像内に含まれたテキストなどの個人情報が抽出される光学認識が行われ、光学認識結果が画像分類装置２００に入力され得る（Ｓ６１０）。 As described above, one image synthesized so as to include a plurality of primary classified images is an external optical recognition server connected via an optical recognition device mounted inside the system or a wireless communication network. Optical recognition is performed by 250 or the like to extract personal information such as text contained in the image, and the optical recognition result can be input to the image classification device 200 (S610).

すると、画像分類装置２００は上記のように光学認識結果が入力される場合、光学認識結果に基づいて１つの画像内に含まれた複数の画像の中で個人情報が検出された画像と、個人情報が検出されていない画像とに分類する２次分類を行う（Ｓ６１２）。 Then, when the optical recognition result is input as described above, the image classification device 200 includes an image in which personal information is detected among a plurality of images included in one image based on the optical recognition result, and an individual. Secondary classification is performed to classify the image as an image in which information is not detected (S612).

図７は、複数の画像が合成された１つの画像で降格認識を通じて個人情報が認識された領域を表示したものである。 FIG. 7 shows an area in which personal information is recognized through demotion recognition in one image in which a plurality of images are combined.

画像分類装置２００は、図７に示すように、光学認識結果として入力される個人情報と、個人情報が検出された位置情報とに基づいて複数の画像が合成された１つの画像から個人情報が検出された画像と、個人情報が検出されていない画像とに識別して２次分類を遂行する。 As shown in FIG. 7, in the image classification device 200, personal information is obtained from one image in which a plurality of images are combined based on the personal information input as an optical recognition result and the position information in which the personal information is detected. The detected image and the image in which personal information is not detected are discriminated and the secondary classification is performed.

次いで、画像分類装置２００は、例えば、個人情報が検出されていない画像を一般画像に分類して一般画像グループで管理することができ（Ｓ６１４）、個人情報が検出された画像は個人情報画像に分類して個人情報画像グループで管理することができる（Ｓ６１６）。 Next, the image classification device 200 can classify an image in which personal information is not detected into a general image and manage it in a general image group (S614), and the image in which personal information is detected is converted into a personal information image. It can be classified and managed by a personal information image group (S616).

これにより、光学認識対象画像に対して既設定された分類基準に応じて分類して個人情報が存在する可能性の低い画像を予め除去することで、個人情報を探索するための光学認識対象画像の数を大幅減らすことができ、光学認識効率を向上させ、コストを削減することができる。 As a result, the optical recognition target image for searching for personal information is obtained by classifying the image to be optically recognized according to the classification criteria set in advance and removing the image in which the possibility that personal information is unlikely to exist is removed in advance. The number of images can be significantly reduced, the optical recognition efficiency can be improved, and the cost can be reduced.

図８は、本発明に一実施例による画像分類後の光学認識時間及びコスト結果の例示図である。 FIG. 8 is an exemplary diagram of optical recognition time and cost results after image classification according to an embodiment of the present invention.

図８に示すように、本発明の一実施例による画像分類の結果、例えば、ユーザＡの場合、１０００枚の光学認識対象画像が１次分類と画像合成を通じて約１００枚に減らしてコストと光学認識にかかる時間が大幅低減したことを確認することができ、ユーザＢ、Ｃ、Ｄの場合も同じ効果が発生したことを確認することができる。 As shown in FIG. 8, as a result of image classification according to an embodiment of the present invention, for example, in the case of user A, 1000 optical recognition target images are reduced to about 100 through primary classification and image composition, and the cost and optics are reduced. It can be confirmed that the time required for recognition is significantly reduced, and it can be confirmed that the same effect has occurred in the cases of users B, C, and D.

ここで、上記のような光学認識にかかる時間とコストの計算は、説明の便宜上、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｖｉｓｉｏｎ ＡＰＩを光学認識サーバーに用いた場合を例示したものであって、他の光学認識サーバーを用いるか、システム内部に光学認識モジュールを搭載する場合にも同一な結果が導き出されることは、当業者であれば、自明に理解できるだろう。 Here, the calculation of the time and cost required for optical recognition as described above is, for convenience of explanation, exemplifying, for example, the case where the Google Cloud Vision API is used as the optical recognition server, and other optical recognition servers may be used. Those skilled in the art will understand that the same result can be obtained when using it or installing an optical recognition module inside the system.

本発明に添付された各フローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションによって遂行されることができる。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ、又はその他のプログラム可能なデータプロセッシング装備のプロセッサに搭載されることができるので、コンピュータ又はその他のプログラム可能なデータプロセッシング装備のプロセッサによって行われるそのインストラクションがフローチャートの各ステップで説明した機能を行う手段を生成することになる。これらのコンピュータプログラムインストラクションは、特定の方式で機能を具現するために、コンピュータ又はその他のプログラム可能なデータプロセッシング装備を指向することができるコンピュータ利用可能又はコンピュータ可読のメモリに保存されることもできるので、そのコンピュータ利用可能又はコンピュータ可読のメモリに保存されたインストラクションはフローチャートの各ステップで説明した機能を行うインストラクション手段を内包する品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータ又はその他のプログラム可能なデータプロセッシング装備上に搭載されることもできるので、コンピュータ又はその他のプログラム可能なデータプロセッシング装備上で一連の動作段階を行ってコンピュータで実行されるプロセスを生成してコンピュータ又はその他のプログラム可能なデータプロセッシング装備を実行するインストラクションはフローチャートの各ステップで説明した機能をするための段階を提供することも可能である。 The combination of each step of each flowchart attached to the present invention can be accomplished by computer program instructions. Since these computer program instructions can be installed in a general purpose computer, a special computer, or a processor equipped with other programmable data processing, the instruction is performed by a computer or a processor equipped with other programmable data processing. Will generate means to perform the functions described in each step of the flowchart. Since these computer program instructions can also be stored in computer-enabled or computer-readable memory that can be directed to a computer or other programmable data processing equipment to embody functionality in a particular manner. The instructions stored in the computer-enabled or computer-readable memory can also produce items that include instructional means that perform the functions described in each step of the flowchart. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that the process performed on the computer through a series of operating steps on the computer or other programmable data processing equipment. Instructions to generate and perform a computer or other programmable data processing equipment can also provide steps to perform the functions described in each step of the flowchart.

また、各ステップは特定の論理的機能（等）を行うための一つ以上の実行可能なインストラクションを含むモジュール、セグメント又はコードの一部を示すことができる。また、幾つかの代替実施例においては、ステップで言及した機能がブロック順を外れて発生することも可能であることに注目しなければならない。例えば、相次いで示されている二つのステップは実に実質的に同時に行われることもでき、あるいはそのステップが時々当該機能によって逆順に行われることも可能である。 Also, each step can show a part of a module, segment or code that contains one or more executable instructions to perform a particular logical function (etc.). It should also be noted that in some alternative embodiments, the functions mentioned in the steps can occur out of block order. For example, the two steps shown one after the other can be done at virtually the same time, or the steps can sometimes be done in reverse order by the function.

一方、上述した本発明の説明には具体的な実施例について説明したが、様々な変形が本発明の範囲を逸脱しない限度内で実施可能である。したがって、発明の範囲は説明された実施例によって決められるものでなく、特許請求範囲によって決定されなければならない。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類し、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成する画像分類部と、
前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に合成する画像制作部と、を含む
ことを特徴とする画像分類装置。
［Ｃ２］
前記画像分類部は、
前記第１画像グループ内の各画像に対して解像度を検査し、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類する解像度基盤分類部を含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ３］
前記画像分類部は、
前記第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、前記除去対象画像に分類するメタデータ基盤分類部を更に含む ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ４］
前記画像分類部は、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類し、前記同一なカメラによって撮影された各画像の生成時間情報に基づいて生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する連続写真分類部を更に含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ５］
前記画像分類部は、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査し、前記焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、前記除去対象画像に分類する焦点基盤分類部を更に含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ６］
前記画像制作部は、
前記第２画像グループ内に含まれた各画像の解像度を検査する解像度検査部と、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小する画像縮小部と、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成する画像合成部と、を含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ７］
前記画像制作部は、
前記１つの画像に含まれた前記縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶する画像位置記憶部を更に含む
ことを特徴とするＣ６に記載の画像分類装置。
［Ｃ８］
前記画像分類装置は、
前記画像制作部で前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類する画像再分類部を更に含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ９］
前記個人情報は、
前記１つの画像に含まれたテキスト情報である
ことを特徴とするＣ８に記載の画像分類装置。
［Ｃ１０］
複数の画像を含む第１画像グループ内の各画像を既設定された基準に応じて検査して除去対象画像を分類するステップと、
前記除去対象画像を除いた残りの画像を含む第２画像グループを生成するステップと、 前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に制作するステップと、を含む
ことを特徴とする画像分類方法。
［Ｃ１１］
前記分類するステップは、
前記第１画像グループ内の各画像に対して解像度を検査するステップと、
前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１２］
前記分類するステップは、
前記第１画像グループ内の各画像に対するメタデータ情報を確認するステップと、
前記確認結果、前記メタデータ情報に著作権に関わる情報が含まれている場合、前記除去対象画像に分類するステップを含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１３］
前記分類するステップは、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類するステップと、
前記同一なカメラによって撮影された各画像の生成された時間情報を確認するステップと、
前記時間情報に基づいて画像の生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１４］
前記分類するステップは、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査するステップと、
前記検査結果、前記焦点ずれ程度が既設定された焦点ずれ情報以上の場合、前記除去対象画像に分類するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１５］
前記制作するステップは、
前記第２画像グループ内に含まれた各画像の解像度を検査するステップと、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小するステップと、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１６］
前記制作するステップは、
前記１つの画像に含まれた複数の縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶するステップを更に含む
ことを特徴とするＣ１５に記載の画像分類方法。
［Ｃ１７］
前記画像分類方法は、
前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類するステップを更に含む
ことを特徴とするＣ１０に記載の画像分類方法。 On the other hand, although specific examples have been described in the above description of the present invention, various modifications can be carried out within a range that does not deviate from the scope of the present invention. Therefore, the scope of the invention is not determined by the described examples, but must be determined by the claims.
The inventions described in the claims at the time of filing the application of the present application are described below.
[C1]
All the images in the first image group including a plurality of images are inspected according to the set criteria to classify the images to be removed, and the second image group including the remaining images excluding the removed images is selected. The image classification unit to be generated and
Includes an image production unit that selects a preset number of images from the images included in the second image group and combines them into one image.
An image classification device characterized by that.
[C2]
The image classification unit
It includes a resolution base classification unit that inspects the resolution of each image in the first image group and classifies the image to be removed if the resolution is equal to or lower than the preset reference resolution.
The image classification device according to C1, wherein the image classification device is characterized by the above.
[C3]
The image classification unit
When the metadata information for each image in the first image group is confirmed and the information related to the copyright is included, the C1 is characterized by further including a metadata-based classification unit for classifying the image to be removed. The image classification device described in.
[C4]
The image classification unit
Images taken by the same camera are classified for each image in the first image group, and the generation time interval is set in advance based on the generation time information of each image taken by the same camera. Among the plurality of images included in the range, the remaining images except for one arbitrarily selected image further include a continuous photo classification unit that classifies the images to be removed.
The image classification device according to C1, wherein the image classification device is characterized by the above.
[C5]
The image classification unit
Each image in the first image group is inspected for the degree of defocus, and if the degree of defocus is equal to or greater than the preset reference defocus degree, the focus base classification unit for classifying the image to be removed is further included.
The image classification device according to C1, wherein the image classification device is characterized by the above.
[C6]
The image production department
A resolution inspection unit that inspects the resolution of each image included in the second image group, and a resolution inspection unit.
An image reduction unit that reduces each image included in the second image group at a preset ratio based on the inspected resolution, and an image reduction unit.
The reduced number of images is selected from the reduced images, and the reduced image is positioned on the one image in a region divided according to the preset number. Includes an image compositing unit for compositing into one image
The image classification device according to C1, wherein the image classification device is characterized by the above.
[C7]
The image production department
Further includes an image position storage unit that stores identification information for each of the reduced images included in the one image and area information in which each of the reduced images is located on the one image.
The image classification device according to C6, characterized in that.
[C8]
The image classification device is
An image classified by the image production unit into an image in which personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image for a plurality of images included in the one image. Including reclassification section
The image classification device according to C1, wherein the image classification device is characterized by the above.
[C9]
The personal information is
It is the text information contained in the one image.
The image classification device according to C8.
[C10]
A step of inspecting each image in the first image group including a plurality of images according to a set standard to classify the image to be removed, and
One image by selecting a step of generating a second image group including the remaining images excluding the image to be removed and a preset number of images among the images included in the second image group. Including steps to produce and
An image classification method characterized by that.
[C11]
The steps to classify are
The step of inspecting the resolution for each image in the first image group,
When the resolution is equal to or less than the preset reference resolution, the step of classifying the image to be removed is included.
The image classification method according to C10, characterized in that.
[C12]
The steps to classify are
The step of confirming the metadata information for each image in the first image group, and
As a result of the confirmation, if the metadata information contains information related to copyright, the step of classifying the image to be removed is included.
The image classification method according to C10, characterized in that.
[C13]
The steps to classify are
A step of classifying images taken by the same camera for each image in the first image group, and
The step of confirming the generated time information of each image taken by the same camera, and
A step of classifying the remaining images into the removal target images except for one image arbitrarily selected from a plurality of images included in a time interval range in which an image generation time is set based on the time information. And, including
The image classification method according to C10, characterized in that.
[C14]
The steps to classify are
A step of inspecting the degree of defocus for each image in the first image group, and
When the inspection result shows that the degree of defocus is equal to or greater than the set defocus information, the step of classifying the image to be removed is included.
The image classification method according to C10, characterized in that.
[C15]
The steps to produce are
The step of inspecting the resolution of each image contained in the second image group, and
A step of reducing each image contained in the second image group by a preset ratio based on the inspected resolution, and
The reduced number of images is selected from the reduced images, and the reduced image is positioned on the one image in a region divided according to the preset number. Includes steps to combine into one image
The image classification method according to C10, characterized in that.
[C16]
The steps to produce are
It further comprises a step of storing identification information for each of the plurality of reduced images contained in the one image and region information in which each of the reduced images is located on the one image.
The image classification method according to C15, characterized in that.
[C17]
The image classification method is
The step further includes a step of classifying a plurality of images included in the one image into an image in which personal information exists based on the optical recognition result for the one image and an image in which the personal information does not exist.
The image classification method according to C10, characterized in that.

Claims (15)

複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類し、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成する画像分類部、ここにおいて、前記第１画像グループ内の各画像に対して解像度を検査し、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類する解像度基盤分類部を含む、と、
前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に合成する画像制作部と、を含む
ことを特徴とする画像分類装置。 All the images in the first image group including a plurality of images are inspected according to the set criteria to classify the images to be removed, and the second image group including the remaining images excluding the removed images is selected. An image classification unit to be generated , here, a resolution base classification unit that inspects the resolution of each image in the first image group and classifies the image to be removed if the resolution is equal to or lower than a preset reference resolution. Including, and
An image classification device including an image production unit that selects a preset number of images from the images included in the second image group and combines them into one image. 前記画像分類部は、
前記第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、前記除去対象画像に分類するメタデータ基盤分類部を更に含む ことを特徴とする請求項１に記載の画像分類装置。 The image classification unit
When the metadata information for each image in the first image group is confirmed and the information related to copyright is included, the request is characterized by further including a metadata infrastructure classification unit for classifying the image to be removed. Item 1. The image classification device according to Item 1. 前記画像分類部は、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類し、前記同一なカメラによって撮影された各画像の生成時間情報に基づいて生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する連続写真分類部を更に含む
ことを特徴とする請求項１に記載の画像分類装置。 The image classification unit
Images taken by the same camera are classified for each image in the first image group, and the generation time interval is set in advance based on the generation time information of each image taken by the same camera. The first aspect of claim 1, wherein the remaining images except for one arbitrarily selected image among the plurality of images included in the range further include a continuous photo classification unit that classifies the images to be removed. Image classification device. 前記画像分類部は、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査し、前記焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、前記除去対象画像に分類する焦点基盤分類部を更に含む
ことを特徴とする請求項１に記載の画像分類装置。 The image classification unit
Each image in the first image group is inspected for the degree of defocus, and if the degree of defocus is equal to or greater than the preset reference defocus degree, the focus base classification unit for classifying the image to be removed is further included. The image classification apparatus according to claim 1. 前記画像制作部は、
前記第２画像グループ内に含まれた各画像の解像度を検査する解像度検査部と、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小する画像縮小部と、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成する画像合成部と、を含む
ことを特徴とする請求項１に記載の画像分類装置。 The image production department
A resolution inspection unit that inspects the resolution of each image included in the second image group, and a resolution inspection unit.
An image reduction unit that reduces each image included in the second image group at a preset ratio based on the inspected resolution, and an image reduction unit.
The reduced number of images is selected from the reduced images, and the reduced image is positioned on the one image in a region divided according to the preset number. The image classification apparatus according to claim 1, further comprising an image compositing unit for compositing into one image. 前記画像制作部は、
前記１つの画像に含まれた前記縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶する画像位置記憶部を更に含む
ことを特徴とする請求項５に記載の画像分類装置。 The image production department
Further including an image position storage unit that stores identification information for each of the reduced images included in the one image and area information in which each of the reduced images is located on the one image. The image classification apparatus according to claim 5 . 前記画像分類装置は、
前記画像制作部で前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類する画像再分類部を更に含む
ことを特徴とする請求項１に記載の画像分類装置。 The image classification device is
An image classified by the image production unit into an image in which personal information exists and an image in which the personal information does not exist based on the optical recognition result for the one image for a plurality of images included in the one image. The image classification device according to claim 1, further comprising a reclassification unit. 前記個人情報は、
前記１つの画像に含まれたテキスト情報である
ことを特徴とする請求項７に記載の画像分類装置。 The personal information is
The image classification device according to claim 7 , wherein the text information is included in the one image. 複数の画像を含む第１画像グループ内の各画像を既設定された基準に応じて検査して除去対象画像を分類するステップ、ここにおいて、前記第１画像グループ内の各画像に対して解像度を検査するステップと、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類するステップとを含む、と、
前記除去対象画像を除いた残りの画像を含む第２画像グループを生成するステップと、 前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に制作するステップと、を含む
ことを特徴とする画像分類方法。 A step of inspecting each image in the first image group including a plurality of images according to a set standard to classify the image to be removed , in which the resolution is determined for each image in the first image group. It includes a step of inspecting and a step of classifying the image to be removed when the resolution is equal to or lower than the preset reference resolution .
One image by selecting a step of generating a second image group including the remaining images excluding the image to be removed and a preset number of images among the images included in the second image group. An image classification method characterized by including, and steps to produce. 前記分類するステップは、
前記第１画像グループ内の各画像に対するメタデータ情報を確認するステップと、
前記確認結果、前記メタデータ情報に著作権に関わる情報が含まれている場合、前記除去対象画像に分類するステップを含む
ことを特徴とする請求項９に記載の画像分類方法。 The steps to classify are
The step of confirming the metadata information for each image in the first image group, and
The image classification method according to claim 9 , wherein when the confirmation result and the metadata information include information related to copyright, the step of classifying the image to be removed is included. 前記分類するステップは、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類するステップと、
前記同一なカメラによって撮影された各画像の生成された時間情報を確認するステップと、
前記時間情報に基づいて画像の生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類するステップと、を含む
ことを特徴とする請求項９に記載の画像分類方法。 The steps to classify are
A step of classifying images taken by the same camera for each image in the first image group, and
The step of confirming the generated time information of each image taken by the same camera, and
A step of classifying the remaining images into the removal target images except for one image arbitrarily selected from a plurality of images included in a time interval range in which an image generation time is set based on the time information. The image classification method according to claim 9 , wherein the image classification method comprises. 前記分類するステップは、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査するステップと、
前記検査結果、前記焦点ずれ程度が既設定された焦点ずれ情報以上の場合、前記除去対象画像に分類するステップと、を含む
ことを特徴とする請求項９に記載の画像分類方法。 The steps to classify are
A step of inspecting the degree of defocus for each image in the first image group, and
The image classification method according to claim 9 , wherein when the inspection result shows that the degree of defocus is equal to or greater than the set defocus information, the image classification method includes a step of classifying the image to be removed. 前記制作するステップは、
前記第２画像グループ内に含まれた各画像の解像度を検査するステップと、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小するステップと、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成するステップと、を含む
ことを特徴とする請求項９に記載の画像分類方法。 The steps to produce are
The step of inspecting the resolution of each image contained in the second image group, and
A step of reducing each image contained in the second image group by a preset ratio based on the inspected resolution, and
The reduced number of images is selected from the reduced images, and the reduced image is positioned on the one image in a region divided according to the preset number. The image classification method according to claim 9 , further comprising a step of synthesizing into one image. 前記制作するステップは、
前記１つの画像に含まれた複数の縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶するステップを更に含む
ことを特徴とする請求項１３に記載の画像分類方法。 The steps to produce are
It further comprises a step of storing identification information for each of the plurality of reduced images contained in the one image and storage of region information in which each of the reduced images is located on the one image. The image classification method according to claim 13 . 前記画像分類方法は、
前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類するステップを更に含む
ことを特徴とする請求項９に記載の画像分類方法。 The image classification method is
It further includes a step of classifying a plurality of images included in the one image into an image in which personal information exists based on an optical recognition result for the one image and an image in which the personal information does not exist. The image classification method according to claim 9 , which is characterized.
JP2020543442A 2017-11-01 2018-10-30 Image classification device and method Active JP7019825B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170144731A KR102047936B1 (en) 2017-11-01 2017-11-01 Apparatus and method for classifying images stored in a digital device
KR10-2017-0144731 2017-11-01
PCT/KR2018/013042 WO2019088673A2 (en) 2017-11-01 2018-10-30 Image classification device and method

Publications (2)

Publication Number Publication Date
JP2021501432A JP2021501432A (en) 2021-01-14
JP7019825B2 true JP7019825B2 (en) 2022-02-15

Family

ID=66332110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020543442A Active JP7019825B2 (en) 2017-11-01 2018-10-30 Image classification device and method

Country Status (3)

Country Link
JP (1) JP7019825B2 (en)
KR (1) KR102047936B1 (en)
WO (1) WO2019088673A2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601283B1 (en) * 2021-02-02 2023-11-10 네이버 주식회사 Computer system for removing unnecessary video when generating target video from sports play video and method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092127A (en) 2004-09-22 2006-04-06 Fuji Xerox Co Ltd Image processor, image processing method and program
JP2006115138A (en) 2004-10-14 2006-04-27 Sony Corp Image forming apparatus, imaging apparatus, printing apparatus, image processing apparatus, image forming method and program
JP2008136021A (en) 2006-11-29 2008-06-12 Ricoh Co Ltd Image processor, article image selecting method, program and recording medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102048041B1 (en) * 2013-04-18 2019-11-22 삼성전자주식회사 Electronic device and method for generating split screen image
KR101735664B1 (en) 2014-10-14 2017-05-24 주식회사 넥스비즈코리아 System and method providing service using recognition technology in mobile terminal
KR102255215B1 (en) * 2014-12-12 2021-05-24 삼성전자주식회사 Method of detecting object in image and image processing device
KR101585029B1 (en) * 2015-05-13 2016-01-13 (주)코드원시스템 Recognition and classification system of document
KR101744163B1 (en) * 2016-02-03 2017-06-07 김현철 An application for managing images and method of managing images
KR101721063B1 (en) * 2016-12-02 2017-03-29 충남대학교산학협력단 Personal information retrieval method in the image files and storing medium storing program using the method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092127A (en) 2004-09-22 2006-04-06 Fuji Xerox Co Ltd Image processor, image processing method and program
JP2006115138A (en) 2004-10-14 2006-04-27 Sony Corp Image forming apparatus, imaging apparatus, printing apparatus, image processing apparatus, image forming method and program
JP2008136021A (en) 2006-11-29 2008-06-12 Ricoh Co Ltd Image processor, article image selecting method, program and recording medium

Also Published As

Publication number Publication date
WO2019088673A3 (en) 2019-06-20
KR20190049169A (en) 2019-05-09
KR102047936B1 (en) 2019-11-22
WO2019088673A2 (en) 2019-05-09
JP2021501432A (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP4305079B2 (en) Image management device
US20160112645A1 (en) Systems and methods for improving video captured using mobile devices
US10403014B2 (en) Image processing apparatus and image processing method
US20140101615A1 (en) Automatic Stacking Based on Time Proximity and Visual Similarity
US9081801B2 (en) Metadata supersets for matching images
JP7207908B2 (en) Information processing system, information processing device, program, and information processing method
US10860166B2 (en) Electronic apparatus and image processing method for generating a depth adjusted image file
JP2008269490A (en) Image management method, image management device, control program and computer-readable storage medium
JP7019825B2 (en) Image classification device and method
US20170206711A1 (en) Video-enhanced greeting cards
JP2020140555A (en) Image processing device, control method, and program
US11320965B2 (en) Image processing apparatus, control method, and recording medium
JP2015222460A (en) Disclosed image edition method and disclosed image edition device
CN111274447A (en) Target expression generation method, device, medium and electronic equipment based on video
JP2008217660A (en) Retrieval method and device
JP2016025625A (en) Information processor, information processing method, and program
EP4024347A2 (en) Image processing apparatus, image processing method, and program
JP7440256B2 (en) Augmented reality document processing
JP6419560B2 (en) Search device, method and program
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
KR20150096552A (en) System and method for providing online photo gallery service by using photo album or photo frame
KR102599525B1 (en) Method, device and system for displaying screen by improving visibility of image of interest
JP6742486B2 (en) Program, image processing method
CN107852454B (en) Method and device for sharing and downloading light field image
JP6572054B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220202

R150 Certificate of patent or registration of utility model

Ref document number: 7019825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150