JP7019825B2

JP7019825B2 - 画像分類装置及び方法

Info

Publication number: JP7019825B2
Application number: JP2020543442A
Authority: JP
Inventors: パク、サンピョ; ナム、ジンハ; キム、ウンテク
Original assignee: アンラブ，インコーポレイテッド
Priority date: 2017-11-01
Filing date: 2018-10-30
Publication date: 2022-02-15
Anticipated expiration: 2038-10-30
Also published as: WO2019088673A3; KR20190049169A; JP2021501432A; KR102047936B1; WO2019088673A2

Description

本発明は、画像分類装置に関するものであって、特に、光学認識対象画像を基設定された分類基準に応じて分類し、個人情報が存在する可能性の低い画像を光学認識を行う前に除去することで、個人情報を探索するための光学認識対象画像の数を減らして光学認識効率を向上させ、コストを削減することができる個人情報画像を探索するための画像分類装置及び方法に関する。

近年、カメラ等から撮影された画像に対して光学認識技術を適用して画像から様々な情報を分析する光学認識技術に関する研究が盛んに進められており、こういった光学認識技術を通じて画像に含まれた事物を識別するか、テキスト情報を抽出することが可能である。

一方、近年、スマートフォンの普及が急速に増加し、こういったスマートフォンには殆ど高性能のカメラが搭載されていてユーザがいつでもどこでも写真を撮影することができるようになるにつれて、殆どのユーザのスマートフォンには数多い写真が保存されている。

現在、スマートフォンを使用するユーザの殆どが保存容量の５０％程度を写真保存のために使っており、写真の数は平均１０００枚程度に推計される。このような写真に対しても光学認識技術を用いて個人情報を含む画像に含まれた様々な情報を抽出することができる。

しかし、このような数多い画像の中で画像に対する光学認識を通じて個人情報等を確認するためには、多くの時間やコストが発生する。

上記のような光学認識技術を適用して画像分析を行うアプリケーションとして、例えば、ＧｏｏｇｌｅＣｌｏｕｄＶｉｓｉｏｎＡＰＩなどが挙げられる。しかし、こういった光学認識技術を使用する場合、光学認識対象となる画像の数が増えるにつれて図１に示すように、光学認識にかかる時間及びコストが幾何級数的に増加するという問題があった。

したがって、光学認識にかかる時間やコストを減らすためには、光学認識を適用する前に光学認識対象になる画像を分析しようとする情報に対応されるように、事前に分類して画像の数をできる限り減らす作業が必要である。

韓国特許登録第１０－１７３５６６４号（２０１７年５月８日登録）

したがって、本発明の一実施例においては、光学認識対象画像を既設定された分類基準に応じて分類し、個人情報が存在する可能性の低い画像を光学認識を行う前に除去することで、個人情報を探索するための光学認識対象画像の数を減らして光学認識効率を向上させ、コストを削減することができる個人情報画像を探索するための画像分類装置及び方法を提供する。

上述した本発明の一実施例による画像分類装置であって、複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類し、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成する画像分類部と、前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に合成する画像制作部と、を含む。

また、前記画像分類部は、前記第１画像グループ内の各画像に対して解像度を検査し、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類する解像度基盤分類部を含むことを特徴とする。

また、前記画像分類部は、前記第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、前記除去対象画像に分類するメタデータ基盤分類部を更に含むことを特徴とする。

また、前記画像分類部は、前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類し、前記同一なカメラによって撮影された各画像の生成時間情報に基づいて生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する連続写真分類部を更に含むことを特徴とする。

また、前記画像分類部は、前記第１画像グループ内の各画像に対して焦点ずれ程度を検査し、前記焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、前記除去対象画像に分類する焦点基盤分類部を更に含むことを特徴とする。

また、前記画像制作部は、前記第２画像グループ内に含まれた各画像の解像度を検査する解像度検査部と、前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小する画像縮小部と、前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成する画像合成部と、を含むことを特徴とする。

また、前記画像制作部は、前記１つの画像に含まれた前記縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶する画像位置記憶部を更に含むことを特徴とする。

また、前記画像分類装置は、前記画像制作部で前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類する画像再分類部を更に含むことを特徴とする。

また、前記個人情報は、前記１つの画像に含まれたテキスト情報であることを特徴とする。

また、本発明の一実施例による画像分類方法であって、複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類するステップと、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成するステップと、前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に制作するステップと、を含むことを特徴とする。

また、前記分類するステップは、前記第１画像グループ内の各画像に対して解像度を検査するステップと、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類するステップと、を含むことを特徴とする。

また、前記分類するステップは、前記第１画像グループ内の各画像に対するメタデータ情報を確認するステップと、前記確認結果、前記メタデータ情報に著作権に関わる情報が含まれている場合、前記除去対象画像に分類するステップを含むことを特徴とする。

また、前記分類するステップは、前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類するステップと、前記同一なカメラによって撮影された各画像の生成された時間情報を確認するステップと、前記時間情報に基づいて画像の生成時点が既設定された時間間隔範囲に含まれるフクスの画像の中で任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類するステップと、を含むことを特徴とする。

また、前記分類するステップは、前記第１画像グループ内の各画像に対して焦点ずれ程度を検査するステップと、前記検査結果、前記焦点ずれ程度が既設定された焦点ずれ情報以上の場合、前記除去対象画像に分類するステップと、を含むことを特徴とする。

また、前記制作するステップは、前記第２画像グループ内に含まれた各画像の解像度を検査するステップと、前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小するステップと、前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成するステップと、を含むことを特徴とする。

また、前記制作するステップは、前記１つの画像に含まれた複数の縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶するステップを更に含むことを特徴とする。

また、前記画像分類方法は、前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類するステップを更に含むことを特徴とする。

本発明の一実施例によれば、個人情報を探索するための画像分類装置において、光学認識対象画像を既設定された分類基準に応じて分類し、個人情報が存在する可能性の低い画像を光学認識を行う前に除去することで、個人情報を探索するための光学認識対象画像の数を減らして光学認識の効率を向上させ、コストを削減することができる。

図１は、光学認識対象画像の数による従来の光学認識の所要時間及びコストの例示図である。

図２は、本発明の一実施例による個人情報画像を探索するための画像分類装置の機能ブロック構成図である。

図３は、本発明の一実施例による複数の画像が合成された合成画像の例示図である。

図４は、本発明の一実施例による第１画像分類部の機能ブロック構成図である。

図５は、本発明の一実施例による画像制作部の機能ブロック構成図である。

図６は、本発明の一実施例による画像分類装置において画像を分類する動作制御のフローチャートである。

図７は、本発明の一実施例による複数の画像が合成された１つの画像で光学認識を通じて個人情報が認識された領域表示概念図である。

図８は、本発明の一実施例による画像分類後の光学認識時間及びコスト結果の例示図である。

以下において、添付の図面を参照しながら本発明の動作原理について詳しく説明する。以下において本発明を説明するにあたって、公知の機能又は構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合は、その詳細な説明を省略する。そして、後述する用語は、本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図又は慣例等に応じて変わり得る。従って、その定義は、本明細書の全般にわたっての内容に踏まえて下されるべきである。

図２は、本発明に一実施例による個人情報画像を探索するための画像分類装置の機能ブロック構成を図示したものである。

図２を参照すれば、本発明の一実施例による個人情報を探索するための画像分類装置２００は、第１画像分類部２０２と、画像制作部２０４と、第２画像分類部２０６とを含み得る。

先ず、第１画像分類部２０２は、画像記憶部２３０から個人情報抽出のための光学認識対象になる複数の画像の入力を受ける。このとき、こういった複数の画像はスマートフォン、デジタルカメラ等を通じて撮影された写真などを意味することができ、個人情報は当該画像に含まれたユーザの個人情報であって、例えば、テキスト情報になり得る。また、このようなテキスト情報は、例えば、パスポート写真に含まれているパスポート番号、主民登録証を撮影した写真に含まれている主民登録番号、レシート、あるいは各種文書を撮影した写真に含まれた取引情報、証憑情報などになり得るが、これに限定されるものではない。

つまり、第１画像分類部２０２は、上記のような複数の画像の入力を受ける場合、複数の画像を含む第１画像グループを生成し、第１画像グループ内に含まれた各画像を既設定された基準に応じて検査して個人情報が存在する可能性の低い除去対象画像を分類する。次いで、第１画像分類部２０２は、第１画像グループで上記にように分類された除去対象画像を除いた残りの画像を含む第２画像グループを生成する。

このとき、除去対象画像は上記のように例示した個人情報を含んでいない画像を示すものであって、このような個人情報を含んでいない画像を分類する具体的な方法については、第１画像分類部２０２の詳細ブロック構成を図示した図４を参照して詳細に後述する。

画像制作部２０４は、第１画像分類部２０２から生成された第２画像グループに含まれた画像に対して既設定された個数の画像を選択して１つの画像に合成する。このとき、例えば、画像制作部２０４は第２画像グループ内に含まれた６つの画像を選択して１つの画像に合成することができるが、これに限定されるものではない。

また、画像制作部２０４は、６つの画像を１つの画像に合成するにあたり、図３に示すように、１つの画像３００を６つの領域に区分し、第２画像グループで選択された６つの画像を各領域の大きさに合わせて一定比率で縮小した後、縮小された画像を１つの画像３００上の各領域に配置することにより、１つの画像に合成することができる。上記のような画像合成動作については画像制作部２０４の詳細ブロック構成を図示した図５を参照して詳細に後述する。

第２画像分類部２０６は、画像制作部２０４で生成された複数の画像を含むように合成された１つの画像に対する光学認識の結果、個人情報が検出される場合、１つの画像内に含まれた複数の画像の中で個人情報が検出された画像と個人情報が検出されていない画像とに分類する。このとき、第２画像分類部２０６は、例えば、個人情報が検出されていない画像は一般画像に分類して一般画像グループで管理することができ、個人情報が検出された画像は個人情報画像に分類して個人情報画像グループで管理することができるが、これに限定されるものではない。

また、ここで、光学認識ということは、画像にテキストなどの個人情報が含まれている場合、画像から個人情報を抽出する技術のことで、光学認識を通じて画像内の個人情報が分析されることもでき、抽出された個人情報別画像上の当該個人情報が検出された位置情報も分析されることができる。

また、光学認識は本発明に一実施例による画像分類装置２００が搭載されたスマートフォン（ｓｍａｒｔｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）、ラップトップ、デスクトップＰＣなどのコンピューティング装置で光学認識を遂行するアプリケーションなどによって実行された後、光学認識が行われた結果が画像分類装置２００に提供されることもでき、有無線通信網を介して連結される外部の光学認識サーバーなどで実行された後、画像分類装置２００に提供されることもできる。

図４は、本発明の一実施例による第１画像分類部の機能ブロック構成を図示したものである。

図４を参照すれば、本発明の一実施例による第１画像分類部２０２０は解像度基盤分類部４００、メタデータ基盤分類部４０２、連続写真分類部４０４、焦点基盤分類部４０６等を含み得る。

解像度基盤分類部４００は、第１画像グループ内の各画像に対して解像度を検査し、解像度が既設定された基準解像度以下の場合、除去対象画像に分類する。ここで、基準解像度は、例えば、スマートフォンの場合、相対的に解像度が低い全面カメラでユーザ自身を撮影した画像の解像度に決められることができ、これにより、全面カメラを用いてユーザ自身を撮影した画像は個人情報が存在する可能性の低い除去対象画像に分類されることができるが、これに限定されるものではない。つまり、基準解像度は除去対象画像に分類する写真をどのようなものに決定するかに応じて選択的に変更設定可能である。

メタデータ基盤分類部４０２は、第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、個人情報が存在する可能性に低い除去対象画像に分類することができる。ここで、著作権に関わる情報が含まれた画像は、例えば、ユーザ自身でない第三者によって生成された画像を意味することができるが、このような画像は、例えば、企業などで制作した画像あるいはフォトグラファー等によって撮影された画像などがある。このような画像には画像データの内部に含まれたメタデータ情報に当該画像を制作したベンダー（ｖｅｎｄｅｒ）や、フォトグラファーの識別情報が含まれることができ、当該画像を撮影したカメラのモデル名などの情報が含まれ得るが、著作権に関わる情報はこのような情報などを意味することができるが、これに限定されるものではない。

連続写真分類部４０４は、第１画像グループ内の全ての画像に対して同一なカメラから生成された画像を分類し、同一なカメラから生成された画像に対して更に各画像が生成された時間情報を確認した後、各画像が生成された時点が既設定された時間間隔範囲内に含まれる当該画像を除去対象画像に分類する。ここで、既設定された基準時間間隔範囲は、例えば、スマートフォン、デジタルカメラなどに備わる連続写真撮影モード時に設定された時間間隔に決められることができるが、このような基準時間間隔範囲内で生成された画像は連続写真撮影によって生成されたことを意味することができる。また、連続写真撮影によって生成された画像は類似した情報を含んでいる可能性が高いので、連続写真撮影で生成された画像が複数枚である場合、１つの画像を除いて残りの画像に対しては制御対象画像に分類することができるが、これに限定されるものではない。

焦点基盤分類部４０６は、第１画像グループ内の各画像に対して焦点ずれ（ｂｌｕｒ）程度を検査し、焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、除去対象画像に分類する。ここで、既設定された基準焦点ずれ程度は、スマートフォン、デジタルカメラなどを通じて撮影された画像の焦点がずれて撮影されて画像上の焦点ずれが発生した場合、焦点ずれが発生した程度を百分率で表示したことを意味することができる。ここで、こういった基準焦点ずれ程度は、例えば、０が焦点が正確に合っていることを示し、１００が焦点が完全にずれていることを示していると想定する場合、焦点がずれているが、画像から個人情報を抽出できる実験値で決められ得る。つまり、こういった焦点ずれ程度は、例えば、０～２０に決められることができるが、焦点ずれ程度が２０以上になる画像は個人情報の抽出が困難な除去対象画像に分類するようにすることができるが、これに限定されるものではない。

図５は、本発明の一実施例による画像制作部の機能ブロック構成を図示したものである。

図５を参照すれば、本発明の一実施例による画像制作部２０４は、解像度検査部５００、画像縮小部５０２、画像合成部５０４、画像位置記憶部５０６などを含むことができる。

解像度検査部５００は、１次分類された画像を除いた、個人情報が存在する可能性の高い画像から構成される第２画像グループ内の各画像の解像度を検査し、検査された画像別の解像度に関する情報を画像縮小部５０２に提供する。

このとき、第２画像グループ内に含まれた画像は１次分類を通じて既設定された基準解像度以上の画像が含まれた状態であるが、画像別に解像度は互いに異なり得る。こういった第２画像グループ内に含まれた画像は、画像縮小部５０２を通じて元々画像が有している解像度に基づいて一定の大きさに縮小しなければならないため、画像別の解像度を検査する必要がある。

画像縮小部５０２は、第２画像グループ内に含まれた各画像を各画像の解像度に基づいて既設定された比率で縮小させる。第２画像グループ内に含まれた各画像は１次分類を通じて個人情報が存在する可能性の高い画像に分類された状態で光学認識の対象になる画像であり得る。このような画像の各々に対して光学認識を行う場合、依然として光学認識にかかるコストが相対的に増加し、外部に位置した光学認識サーバーに送信する場合、データ送信効率が低下する恐れがある。従って、光学認識効率を向上させるために、本発明に一実施例においては、複数の縮小された画像を合成して１つの画像に制作することで、光学認識効率を向上させる。

つまり、画像縮小部５０２は、１つの画像に入る縮小された画像の数が決められた場合、画像の数に応じて１つの画像上、各画像が占める領域の大きさを考慮して当該領域の大きさに合わせて元の画像を特定の比率で縮小させる。

画像合成部５０４は画像縮小部５０２によって一定の比率で縮小された画像の中で１つの画像に合成する既設定された個数の画像を選択し、選択された画像を１つの画像上、既設定された個数に合わせて区分された各領域に位置させて１つの画像に合成する。

画像位置記憶部５０６は、画像合成部５０４で合成される１つの画像別に含まれる複数の縮小された画像それぞれに関する識別情報と、当該１つの画像上に位置された領域に関する情報を記憶する。

このとき、上記のように画像合成が完了した１つの画像は画像分類装置２００内に備わる光学認識装置あるいは有無線通信網を介して連結された光学認識サーバー２５０を通じて光学認識が行われることができるが、１つの画像内で検出された個人情報と、各個人情報が検出された当該画像上の位置情報を含む光学認識結果が第２画像分類部２０６に提供され得る。

すると、第２画像分類部２０６は、上記のように光学認識が行われて１つの画像で検出された個人情報と、１つの画像上で個人情報が検出された位置情報とを受信する場合、画像位置記憶部５０６に記憶された情報を用いて１つの画像上の個人情報が検出された各画像を判別して個人情報がある画像と、個人情報がない画像とに分類する。

このとき、第２画像分類部２０６は上述で説明したように、例えば、個人情報が検出されていない画像を一般画像に分類して一般画像グループで管理することができ、個人情報が検出された画像は個人情報画像に分類して個人情報画像グループで管理することができる。

図６は、本発明の一実施例による画像分類装置で画像を分類分類する動作制御の流れを示すものである。以下、図２乃至図６を参照して本発明の一実施例による動作を詳細に説明する。

先ず、画像分類装置２００は、画像記憶初２３０から個人情報を抽出するための光学認識対象になる複数の画像の入力を受ける（Ｓ６００）。ここで、こういった画像はスマートフォン、デジタルカメラなどを通じて撮影された写真などを意味することができ、個人情報は当該画像に含まれたユーザの個情報であって、例えば、テキスト情報がある。

次いで、画像分類装置２００は上記のように複数の画像の入力を受ける場合、複数の画像を含む第１画像グループを生成し、第１画像グループ内に含まれた各画像を既設定された基準に応じて検査して個人情報が混在する可能性の低い除去対象画像を分類する１次分類を行う（Ｓ６０２）。

このとき、画像分類装置２００は１次分類を行うにあたって、第１画像グループ内の各画像に対して解像度を検査し、解像度が既設定された基準解像度以下の場合、除去対象画像に分類する（Ｓ６０２－１）。ここで、基準解像度は、例えば、スマートフォンの場合、相対的に解像度が低い全面カメラでユーザ自身を撮影した画像の解像度に決められることができ、これにより、全面カメラを用いてユーザ自身を撮影した画像は個人情報が存在する可能性の低い除去対象画像に分類されることができる。

また、画像分類装置２００は、第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、除去対象画像に分類する（Ｓ６０２－２）。ここで、著作権に関わる情報が含まれた画像は、例えば、ユーザ自身でない第三者によって生成された画像を意味することができるが、このような画像は、例えば、企業などで制作した画像あるいはフォトグラファー等によって撮影された画像などがある。

また、画像分類装置２００は、第１画像グループ内の全ての画像に対して同一なカメラによって撮影された画像を分類した後、同一なカメラによって撮影された各画像の生成時間情報を確認し、各画像が生成された時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する（Ｓ６０２－３）。ここで、既設定された基準時間間隔範囲は、例えば、スマートフォン、デジタルカメラなどに備わる連続写真撮影モード時に設定された時間間隔に決められることができるが、このような基準時間間隔範囲内で生成された画像は連続写真撮影によって生成されたことを意味することができる。

また、画像分類装置２００は、第１画像グループ内の各画像に対して焦点ずれ（ｂｌｕｒ）程度を検査し、焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、除去対象画像に分類する（Ｓ６０２－４）。ここで、既設定された基準焦点ずれ程度は、スマートフォン、デジタルカメラなどを通じて撮影された画像の焦点がずれて撮影されて画像上の焦点ずれが発生した場合、焦点ずれが発生した程度を百分率で表示したことを意味することができる。

上記のように、画像分類装置２００は１次分類を通じて第１画像グループから個人情報が存在する可能性の低い除去対象画像（写真Ａ）を除き（Ｓ６０４）、除去対象画像を除いた残りの画像を取り合わせて第２画像グループ（写真Ｂ）を生成する（Ｓ６０６）。

次いで、画像分類装置２００は第２画像グループに含まれた画像に対して既設定された個数の画像を選択して１つの画像に合成する（Ｓ６０８）。このとき、例えば、画像分類装置２００は第２画像グループ内に含まれた６つの画像を選択して１つの画像に合成することができるが、これに限定されるものではない。また、画像分類装置２００は、６つの画像を１つの画像に合成するにあたり、上記した図３に示すように、１つの画像３００を６つの領域に区分し、第２画像グループで選択された６つの画像を各領域の大きさに合わせて一定比率で縮小した後、縮小された画像を１つの画像３００上の各領域に配置することにより、１つの画像に合成することができる。

上記のように、１次分類された複数の画像を含むように合成された１つの画像は、システム内部に搭載された光学認識装置あるいは有無線通信網を介して連結された外部の光学認識サーバー２５０等で光学認識が行われて画像内に含まれたテキストなどの個人情報が抽出される光学認識が行われ、光学認識結果が画像分類装置２００に入力され得る（Ｓ６１０）。

すると、画像分類装置２００は上記のように光学認識結果が入力される場合、光学認識結果に基づいて１つの画像内に含まれた複数の画像の中で個人情報が検出された画像と、個人情報が検出されていない画像とに分類する２次分類を行う（Ｓ６１２）。

図７は、複数の画像が合成された１つの画像で降格認識を通じて個人情報が認識された領域を表示したものである。

画像分類装置２００は、図７に示すように、光学認識結果として入力される個人情報と、個人情報が検出された位置情報とに基づいて複数の画像が合成された１つの画像から個人情報が検出された画像と、個人情報が検出されていない画像とに識別して２次分類を遂行する。

次いで、画像分類装置２００は、例えば、個人情報が検出されていない画像を一般画像に分類して一般画像グループで管理することができ（Ｓ６１４）、個人情報が検出された画像は個人情報画像に分類して個人情報画像グループで管理することができる（Ｓ６１６）。

これにより、光学認識対象画像に対して既設定された分類基準に応じて分類して個人情報が存在する可能性の低い画像を予め除去することで、個人情報を探索するための光学認識対象画像の数を大幅減らすことができ、光学認識効率を向上させ、コストを削減することができる。

図８は、本発明に一実施例による画像分類後の光学認識時間及びコスト結果の例示図である。

図８に示すように、本発明の一実施例による画像分類の結果、例えば、ユーザＡの場合、１０００枚の光学認識対象画像が１次分類と画像合成を通じて約１００枚に減らしてコストと光学認識にかかる時間が大幅低減したことを確認することができ、ユーザＢ、Ｃ、Ｄの場合も同じ効果が発生したことを確認することができる。

ここで、上記のような光学認識にかかる時間とコストの計算は、説明の便宜上、例えば、ＧｏｏｇｌｅＣｌｏｕｄＶｉｓｉｏｎＡＰＩを光学認識サーバーに用いた場合を例示したものであって、他の光学認識サーバーを用いるか、システム内部に光学認識モジュールを搭載する場合にも同一な結果が導き出されることは、当業者であれば、自明に理解できるだろう。

本発明に添付された各フローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションによって遂行されることができる。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ、又はその他のプログラム可能なデータプロセッシング装備のプロセッサに搭載されることができるので、コンピュータ又はその他のプログラム可能なデータプロセッシング装備のプロセッサによって行われるそのインストラクションがフローチャートの各ステップで説明した機能を行う手段を生成することになる。これらのコンピュータプログラムインストラクションは、特定の方式で機能を具現するために、コンピュータ又はその他のプログラム可能なデータプロセッシング装備を指向することができるコンピュータ利用可能又はコンピュータ可読のメモリに保存されることもできるので、そのコンピュータ利用可能又はコンピュータ可読のメモリに保存されたインストラクションはフローチャートの各ステップで説明した機能を行うインストラクション手段を内包する品目を生産することも可能である。コンピュータプログラムインストラクションはコンピュータ又はその他のプログラム可能なデータプロセッシング装備上に搭載されることもできるので、コンピュータ又はその他のプログラム可能なデータプロセッシング装備上で一連の動作段階を行ってコンピュータで実行されるプロセスを生成してコンピュータ又はその他のプログラム可能なデータプロセッシング装備を実行するインストラクションはフローチャートの各ステップで説明した機能をするための段階を提供することも可能である。

また、各ステップは特定の論理的機能（等）を行うための一つ以上の実行可能なインストラクションを含むモジュール、セグメント又はコードの一部を示すことができる。また、幾つかの代替実施例においては、ステップで言及した機能がブロック順を外れて発生することも可能であることに注目しなければならない。例えば、相次いで示されている二つのステップは実に実質的に同時に行われることもでき、あるいはそのステップが時々当該機能によって逆順に行われることも可能である。

一方、上述した本発明の説明には具体的な実施例について説明したが、様々な変形が本発明の範囲を逸脱しない限度内で実施可能である。したがって、発明の範囲は説明された実施例によって決められるものでなく、特許請求範囲によって決定されなければならない。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類し、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成する画像分類部と、
前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に合成する画像制作部と、を含む
ことを特徴とする画像分類装置。
［Ｃ２］
前記画像分類部は、
前記第１画像グループ内の各画像に対して解像度を検査し、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類する解像度基盤分類部を含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ３］
前記画像分類部は、
前記第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、前記除去対象画像に分類するメタデータ基盤分類部を更に含むことを特徴とするＣ１に記載の画像分類装置。
［Ｃ４］
前記画像分類部は、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類し、前記同一なカメラによって撮影された各画像の生成時間情報に基づいて生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する連続写真分類部を更に含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ５］
前記画像分類部は、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査し、前記焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、前記除去対象画像に分類する焦点基盤分類部を更に含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ６］
前記画像制作部は、
前記第２画像グループ内に含まれた各画像の解像度を検査する解像度検査部と、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小する画像縮小部と、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成する画像合成部と、を含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ７］
前記画像制作部は、
前記１つの画像に含まれた前記縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶する画像位置記憶部を更に含む
ことを特徴とするＣ６に記載の画像分類装置。
［Ｃ８］
前記画像分類装置は、
前記画像制作部で前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類する画像再分類部を更に含む
ことを特徴とするＣ１に記載の画像分類装置。
［Ｃ９］
前記個人情報は、
前記１つの画像に含まれたテキスト情報である
ことを特徴とするＣ８に記載の画像分類装置。
［Ｃ１０］
複数の画像を含む第１画像グループ内の各画像を既設定された基準に応じて検査して除去対象画像を分類するステップと、
前記除去対象画像を除いた残りの画像を含む第２画像グループを生成するステップと、前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に制作するステップと、を含む
ことを特徴とする画像分類方法。
［Ｃ１１］
前記分類するステップは、
前記第１画像グループ内の各画像に対して解像度を検査するステップと、
前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１２］
前記分類するステップは、
前記第１画像グループ内の各画像に対するメタデータ情報を確認するステップと、
前記確認結果、前記メタデータ情報に著作権に関わる情報が含まれている場合、前記除去対象画像に分類するステップを含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１３］
前記分類するステップは、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類するステップと、
前記同一なカメラによって撮影された各画像の生成された時間情報を確認するステップと、
前記時間情報に基づいて画像の生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１４］
前記分類するステップは、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査するステップと、
前記検査結果、前記焦点ずれ程度が既設定された焦点ずれ情報以上の場合、前記除去対象画像に分類するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１５］
前記制作するステップは、
前記第２画像グループ内に含まれた各画像の解像度を検査するステップと、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小するステップと、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成するステップと、を含む
ことを特徴とするＣ１０に記載の画像分類方法。
［Ｃ１６］
前記制作するステップは、
前記１つの画像に含まれた複数の縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶するステップを更に含む
ことを特徴とするＣ１５に記載の画像分類方法。
［Ｃ１７］
前記画像分類方法は、
前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類するステップを更に含む
ことを特徴とするＣ１０に記載の画像分類方法。

Claims

複数の画像を含む第１画像グループ内の全ての画像を既設定された基準に応じて検査して除去対象画像を分類し、前記除去対象画像を除いた残りの画像を含む第２画像グループを生成する画像分類部、ここにおいて、前記第１画像グループ内の各画像に対して解像度を検査し、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類する解像度基盤分類部を含む、と、
前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に合成する画像制作部と、を含む
ことを特徴とする画像分類装置。
前記画像分類部は、
前記第１画像グループ内の各画像に対するメタデータ情報を確認して著作権に関わる情報が含まれている場合、前記除去対象画像に分類するメタデータ基盤分類部を更に含むことを特徴とする請求項１に記載の画像分類装置。
前記画像分類部は、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類し、前記同一なカメラによって撮影された各画像の生成時間情報に基づいて生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で、任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類する連続写真分類部を更に含む
ことを特徴とする請求項１に記載の画像分類装置。
前記画像分類部は、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査し、前記焦点ずれ程度が既設定された基準焦点ずれ程度以上の場合、前記除去対象画像に分類する焦点基盤分類部を更に含む
ことを特徴とする請求項１に記載の画像分類装置。
前記画像制作部は、
前記第２画像グループ内に含まれた各画像の解像度を検査する解像度検査部と、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小する画像縮小部と、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成する画像合成部と、を含む
ことを特徴とする請求項１に記載の画像分類装置。
前記画像制作部は、
前記１つの画像に含まれた前記縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶する画像位置記憶部を更に含む
ことを特徴とする請求項５に記載の画像分類装置。
前記画像分類装置は、
前記画像制作部で前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類する画像再分類部を更に含む
ことを特徴とする請求項１に記載の画像分類装置。
前記個人情報は、
前記１つの画像に含まれたテキスト情報である
ことを特徴とする請求項７に記載の画像分類装置。
複数の画像を含む第１画像グループ内の各画像を既設定された基準に応じて検査して除去対象画像を分類するステップ、ここにおいて、前記第１画像グループ内の各画像に対して解像度を検査するステップと、前記解像度が既設定された基準解像度以下の場合、前記除去対象画像に分類するステップとを含む、と、
前記除去対象画像を除いた残りの画像を含む第２画像グループを生成するステップと、前記第２画像グループ内に含まれた画像の中で既設定された個数の画像を選択して１つの画像に制作するステップと、を含む
ことを特徴とする画像分類方法。
前記分類するステップは、
前記第１画像グループ内の各画像に対するメタデータ情報を確認するステップと、
前記確認結果、前記メタデータ情報に著作権に関わる情報が含まれている場合、前記除去対象画像に分類するステップを含む
ことを特徴とする請求項９に記載の画像分類方法。
前記分類するステップは、
前記第１画像グループ内の各画像に対して同一なカメラによって撮影された画像を分類するステップと、
前記同一なカメラによって撮影された各画像の生成された時間情報を確認するステップと、
前記時間情報に基づいて画像の生成時点が既設定された時間間隔範囲に含まれる複数の画像の中で任意に選択される１つの画像を除いて残りの画像は前記除去対象画像に分類するステップと、を含む
ことを特徴とする請求項９に記載の画像分類方法。
前記分類するステップは、
前記第１画像グループ内の各画像に対して焦点ずれ程度を検査するステップと、
前記検査結果、前記焦点ずれ程度が既設定された焦点ずれ情報以上の場合、前記除去対象画像に分類するステップと、を含む
ことを特徴とする請求項９に記載の画像分類方法。
前記制作するステップは、
前記第２画像グループ内に含まれた各画像の解像度を検査するステップと、
前記第２画像グループ内に含まれた各画像を前記検査された解像度に基づいて既設定された比率で縮小するステップと、
前記縮小された画像の中で前記既設定された個数の画像を選択し、前記１つの画像上、前記既設定された個数に合わせて区分された領域に前記縮小された画像を位置させて前記１つの画像に合成するステップと、を含む
ことを特徴とする請求項９に記載の画像分類方法。
前記制作するステップは、
前記１つの画像に含まれた複数の縮小された画像の各々に対する識別情報と、前記縮小された画像の各々が前記１つの画像上に位置された領域情報を記憶するステップを更に含む
ことを特徴とする請求項１３に記載の画像分類方法。
前記画像分類方法は、
前記１つの画像に含まれた複数の画像に対して前記１つの画像に対する光学認識結果に基づいて個人情報が存在する画像と、前記個人情報が存在しない画像とに分類するステップを更に含む
ことを特徴とする請求項９に記載の画像分類方法。