JP6105179B1 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Abstract

１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出すことが可能な画像処理装置、画像処理方法、および、画像処理プログラムを提供する。画像データから画像データに含まれる切出画像を抽出する画像処理装置１は、画像データを取得する画像データ取得部１１と、画像データから検出可能なオブジェクトを囲む領域を候補領域として抽出する候補領域抽出部１２と、画像データに含まれる線分及び円弧の少なくとも一方の線を候補線として抽出する候補線抽出部１５と、候補領域抽出部１２により抽出された候補領域の輪郭を形成する閉じた線と、候補線抽出部１５により抽出された候補線との重なり度合いが、予め設定された所定の第１割合値以上であるか否かを判定する重なり度判定部１８２と、重なり度判定部１８２により第１割合値以上であると判定された場合に、候補領域を、切出画像として抽出する切出画像領域抽出部１９とを備える。

Description

本発明は、画像処理装置、画像処理方法、および、画像処理プログラムに関する。

従来、例えば、旅行会社のパンフレットや、チラシには、見所等を紹介するために様々な写真が掲載されている。写真は、見所等の特徴を捉えたものであり、例えば、画像データベースにその写真を蓄積する等、写真を利用したいニーズがある。
より具体的には、例えば、図３に示すように、パンフレットの各ページやチラシ等は、それ自体が１枚の大きな画像データ４０であるが、これは、さらに、例えば、写真のような複数の小さな画像４１から構成されることが多い。
他方、画像の内容を認識してその内容を分類付け（タグ付け）する画像認識ＡＰＩ（以下、「タグ付けエンジン」ともいう）等のディープラーニングの適用により、画像認識の精度が大きく向上されている。しかしながら、例えば、パンフレットの各ページの１枚の大きな画像そのものを入力してタグ付けエンジンによりタグ付けする場合、単にパンフレットという上位概念のタグ付けがなされる。
したがって、パンフレットの各ページ又はチラシ等が具体的にどのような情報を伝えるものであるのかを、タグ付けエンジンを用いて正確にタグ付けするためには、パンフレットの各ページやチラシのような１枚の大きな画像を構成する個々の画像（例えば、写真）を抽出して、各画像（写真）の内容をそれぞれ、タグ付けエンジンにより、タグ付けを行う必要がある。
このためには、例えば、紙媒体のパンフレットの各ページやチラシ等をスキャンして１枚の大きな画像データにした後に、当該１枚の大きな画像データに含まれる個々の小さな画像データ（写真部分）を抽出する技術が求められている。
従来、１枚の画像に含まれる複数のオブジェクトを抽出する技術が開示されている（例えば、非特許文献１）。

Ｊｏａｏ Ｃａｒｒｅｉｒａ、Ｃｒｉｓｔｉａｎ Ｓｍｉｎｃｈｉｓｅｓｃｕ、"Ｃｏｎｓｔｒａｉｎｅｄ Ｐａｒａｍｅｔｒｉｃ Ｍｉｎ−Ｃｕｔｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｏｂｊｅｃｔ Ｓｅｇｍｅｎｔａｔｉｏｎ″、［ｏｎｌｉｎｅ］、平成２６年６月４日、［平成２８年５月２０日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｅｃｓ．ｂｅｒｋｅｌｅｙ．ｅｄｕ／~ｃａｒｒｅｉｒａ／ｐａｐｅｒｓ／ｃｖｐｒ２０１０＿２．ｐｄｆ〉

しかし、上述の技術では、１枚の画像に含まれる複数のオブジェクトを抽出するものであって、例えば、１枚の大きな画像に入っている個々の小さな画像（写真等）を抽出するものではない。したがって、当該１枚の大きな画像を構成する個々の小さな画像をそれぞれ個別に認識して、各小さな画像データをタグ付けすることはできなかった。

そこで、本発明は、１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出すことが可能な画像処理装置、画像処理方法、および、画像処理プログラムを提供することを目的とする。

本発明に係る画像データから前記画像データに含まれる切出画像を抽出する画像処理装置は、画像データから前記画像データに含まれる切出画像を抽出する画像処理装置であって、画像データを取得する画像データ取得手段と、前記画像データから検出可能なオブジェクトを囲む領域を候補領域として抽出する候補領域抽出手段と、前記候補領域抽出手段により抽出される候補領域に基づいて、候補領域集合を生成する候補領域集合生成手段と、前記画像データに含まれる線分及び円弧の少なくとも一方の線を候補線として抽出する候補線抽出手段と、前記候補線抽出手段により抽出される候補線に基づいて、候補線集合を生成する候補線集合生成手段と、前記候補領域集合生成手段により生成された前記候補領域の輪郭を形成する閉じた線と、前記候補線集合生成手段により生成された前記候補線との重なり度合いが、予め設定された所定の第１割合値より以上であるか否かを判定する重なり度判定手段と、前記重なり度判定手段により前記第１割合値より以上であると判定された場合に、前記候補領域を、切出画像として抽出する切出画像領域抽出手段と、を備える。

前記画像処理装置は、抽出した前記領域の面積を算出する領域面積算出手段を備え、前記候補領域集合生成手段は、前記領域面積算出手段により算出された前記領域の面積が予め設定された第１面積値を超える場合に、前記領域を前記候補領域集合から除外するようにしてもよい。

前記画像処理装置は、抽出した前記線の線幅を予め設定された太さに補正する線補正手段を備え、前記候補線集合生成手段は、前記線補正手段により補正された補正後の線を、前記候補線にするようにしてもよい。

前記画像処理装置が抽出する前記候補領域は矩形領域であり、前記候補線は線分であってもよい。

前記画像処理装置は、抽出した前記領域の輪郭に歪みがあるか否かを判定する歪み判定手段と、前記歪み判定手段により前記領域の輪郭に歪みがあると判定された場合、前記領域の輪郭を線分に補正する歪み補正手段と、を備え、前記候補領域集合生成手段は、前記歪み補正手段により補正された補正後の領域を、前記候補領域にするようにしてもよい。

前記画像処理装置は、抽出した前記領域の縦幅と横幅との比率を算出する縦幅横幅比率算出手段を備え、前記候補領域集合生成手段は、前記縦幅横幅比率算出手段により算出された前記領域の縦幅と横幅との比率が予め設定された値を超える場合に、前記領域を前記候補領域集合から除外するようにしてもよい。

前記画像処理装置は、抽出した前記線分と、前記候補領域の辺との角度が予め設定された第１角度以下か否かを判定する線角度判定手段を備え、前記候補線集合生成手段は、前記線角度判定手段により前記第１角度以下と判定された場合に、前記線分を前記候補線にするようにしてもよい。

前記切出画像領域抽出手段は、領域の一辺が同一直線上に位置する複数の前記候補領域のうち少なくとも１つを、前記切出画像領域抽出手段が前記切出画像として抽出した場合に、前記複数の候補領域のうち前記切出画像として抽出したものを除く他の前記候補領域の輪郭を形成する閉曲線と、前記候補線集合生成手段により生成された前記候補線集合に含まれる前記候補線との重なり度合いが前記第１割合値よりも小さな予め設定された第２割合値以上である場合に、前記候補領域を前記切出画像として抽出するようにしてもよい。

前記画像処理装置が抽出する前記領域は円形領域であり、前記候補線は円弧であってもよい。

前記画像処理装置が抽出する前記領域は楕円形領域であり、前記候補線は楕円の円弧であってもよい。

前記切出画像領域抽出手段により抽出された前記切出画像に対して、画像解析をして解析対象画像に対するタグを付与するタグ付け処理装置によって付与されたタグを取得するタグ取得手段と、前記タグ取得手段により取得した前記タグに基づいて、前記切出画像を判定する切出画像判定手段と、を備えてもよい。

また、本発明は、別の形態として、上記の画像処理装置による画像処理方法、及び、上記の画像処理装置としてコンピュータを機能させるための画像処理プログラムとしても提供可能である。

本発明によれば、１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出すことが可能な画像処理装置、画像処理方法、および、画像処理プログラムを提供することができる。

本実施形態に係る画像処理装置の機能ブロックを示す図である。 本実施形態に係る領域関連処理部の機能ブロックを示す図である。 本実施形態に係る線関連処理部の機能ブロックを示す図である。 本実施形態に係る重なり度関連処理部の機能ブロックを示す図である。 本実施形態に係る画像データでの具体例を示す図である。 本実施形態に係る画像データでの具体例を示す図である。 本実施形態に係る画像データでの具体例を示す図である。 本実施形態に係る画像データでの具体例を示す図である。 本実施形態に係る画像データでの具体例を示す図である。 本実施形態に係る画像処理装置での画像切出処理を示すフローチャートである。 本実施形態に係る画像処理装置での画像切出処理を示すフローチャートである。 本実施形態に係る画像処理装置での候補領域取得処理を示すフローチャートである。 本実施形態に係る画像処理装置での候補線取得処理を示すフローチャートである。 本実施形態に係る切出画像データの例を示す図である。

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像処理装置１＞
図１は、本実施形態に係る画像処理装置１の機能ブロックを示す図である。
図２Ａは、本実施形態に係る領域関連処理部１３の機能ブロックを示す図である。
図２Ｂは、本実施形態に係る線関連処理部１６の機能ブロックを示す図である。
図２Ｃは、本実施形態に係る重なり度関連処理部１８の機能ブロックを示す図である。
図３から図５までは、画像データでの具体例を示す図である。
画像処理装置１は、画像データからその画像データに含まれる複数の画像データを切出画像として切り出す処理を行う装置である。そして、画像処理装置１は、切出画像が適切であるか否かを、当該切出画像をそれぞれ、タグ付けエンジンにより解析することによって得られるタグの内容が妥当であるか否かによって判定する。
画像処理装置１は、例えば、サーバである。画像処理装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。画像処理装置１は、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネット等の通信ネットワークを介して接続される。また、画像処理装置１は、例えばクラウド上に設けられる仮想サーバ（仮想マシン）として構成してもよい。

図１に示すように、画像処理装置１は、制御部１０と、記憶部３０と、通信インタフェース部３９とを備える。また、画像処理装置１は、さらにキーボードやマウス等の入力装置と、ディスプレイやプリンタ等の出力装置と（いずれも図示せず）を備えるようにしてもよい。
制御部１０は、画像処理装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。

具体的には、本実施形態では、プログラムをコンピュータに実行させることによって、画像処理装置１を実現する態様を例にあげて説明する。プログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＯＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、半導体メモリ等のコンピュータ読み取り可能な非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）情報記録媒体に記録することができる。この情報記録媒体は、コンピュータとは独立して配布・販売することができる。

一般には、コンピュータは、非一時的情報記録媒体に記録されたプログラムを、記憶部３０に含まれる一時的（ｔｅｍｐｏｒａｒｙ）記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してから、制御部１０としてのＣＰＵが読み出されたプログラムに含まれる指令を実行する。

なお、プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網等の一時的伝送媒体を介して、プログラム配布サーバ等からコンピュータ等へ配布・販売することができる。

また、プログラムを、電子回路の動作レベル記述用のプログラミング言語によって記述することも可能である。この場合には、電子回路の動作レベル記述用のプログラミング言語によって記述されるプログラムから、電子回路の配線図やタイミングチャート等、各種の設計図が生成され、当該設計図に基づいて、上記の画像処理装置１を構成する電子回路を作成することができる。例えば、電子回路の動作レベル記述用のプログラミング言語によって記述されるプログラムから、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）技術によって再プログラム可能なハードウェア上に、上記画像処理装置１を、構成することができるほか、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）技術によって、特定用途専用の電子回路を構成することも可能である。

以上のように、画像処理装置１は、制御部１０が各構成部を制御することにより、本実施形態に説明する各処理を実行するように構成される。制御部１０の詳細については、後述する。

記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部３０は、プログラム記憶部３１と、画像データ記憶部３２と、切出画像データ記憶部３３とを備える。

プログラム記憶部３１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部３１は、画像処理プログラム３１ａを記憶している。画像処理プログラム３１ａは、画像処理装置１の制御部１０が実行する各種機能を行うためのプログラムである。画像処理プログラム３１ａは、予め画像処理装置１にインストールされている。
画像データ記憶部３２は、画像データを記憶する記憶領域である。
切出画像データ記憶部３３は、切出画像データを記憶する記憶領域である。
通信インタフェース部３９は、通信ネットワークを介して他の装置（例えば、イメージスキャナ（以降、単に「スキャナ」という。）や後述するタグ処理装置等）との通信を行うためのインタフェース部である。

図１に示すように、制御部１０は、画像データ取得手段としての画像データ取得部１１と、候補領域抽出手段としての候補領域抽出部１２と、領域関連処理部１３と、候補領域集合手段としての候補領域集合生成部１４と、候補線抽出手段としての候補線抽出部と、線関連処理部１６と、候補線集合生成手段としての候補線集合生成部１７と、重なり度関連処理部１８と、切出画像領域抽出手段としての切出画像領域抽出部１９と、タグ取得手段としてのタグ取得部２０と、切出画像判定手段としての切出画像判定部２１とを備える。

［画像データ取得部１１について］
画像データ取得部１１は、画像データを取得する。ここで、取得する画像データは、例えば、パンフレットの見開きページやチラシ等をスキャンして得られる１枚の大きな画像データである。
図３に、取得する画像データ４０の例を示す。図３に示す画像データ４０は、温泉に関するパンフレットの見開きページを１枚の大きな画像データにしたものである。画像データ４０は、文字や写真を含む１枚の大きな画像データであり、文字や写真を区別しない、１つの画像データである。
画像データ取得部１１は、例えば、通信インタフェース部３９を介して、スキャナから画像データを受け付けることで取得してもよいし、スキャナから受け付けた画像データを画像データ記憶部３２に記憶しておき、その中から１つの画像データを取得してもよい。
また、画像データ取得部１１は、例えば、通信インタフェース部３９を介して、端末装置（図示せず）からアップロードされる画像データを取得するようにしてもよい。

また、画像データ取得部１１は、画像データ記憶部３２に記憶されている画像データのうち、画像処理装置１のユーザによって指定された画像データを取得してもよい。また、画像データ取得部１１は、画像データ記憶部３２に記憶されている複数の画像データのうち、切出画像処理を行っていない画像データを１つ取得してもよい。

［候補領域抽出部１２について］
候補領域抽出部１２は、取得した１枚の大きな画像データから検出可能なオブジェクトを囲む領域（以下「候補領域」という）を抽出する。ここで、オブジェクトとは、１枚の大きな画像データから検出可能であり、例えば、画像特徴量が類似したひとかたまりを示す。
１枚の大きな画像データからオブジェクトを囲む領域を抽出する手法としては、種々の公知の手法を用いることができる。

画像データからオブジェクトを囲む領域を抽出する例として、「Ｊ．Ｒ．Ｒ． Ｕｉｊｌｉｎｇｓ， Ｋ．Ｅ．Ａ． ｖａｎ ｄｅ Ｓａｎｄｅ， Ｔ． Ｇｅｖｅｒｓ， ａｎｄ Ａ．Ｗ．Ｍ． Ｓｍｅｕｌｄｅｒｓ， “Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ”， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２０１２， ｓｕｂｍｉｔｔｅｄ ｔｏ ＩＪＣＶ」インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｋｏｅｎ．ｍｅ／ｒｅｓｅａｒｃｈ／ｐｕｂ／ｕｉｊｌｉｎｇｓ−ｉｊｃｖ２０１３−ｄｒａｆｔ．ｐｄｆ〉（以下、文献Ａという。）に記載されたものがある。
文献Ａに記載の手法によれば、１枚の大きな画像データに対して、ピクセルレベルで類似する領域をグルーピングしていくことで、オブジェクトを囲む領域を抽出する。

具体的には、例えば、１枚の大きな画像データを既存のアルゴリズムにより１番目の小領域への分割を行い、最初の小領域集合において、すべての隣同士の小領域間で、所定の類似度パラメータによる類似度を算出することで、最も類似する隣同士の小領域をグループ化して、２番目の小領域集合を生成する。その後、上記と同様に、２番目の小領域集合において、すべての隣同士の２番目の小領域間で、所定の類似度パラメータによる類似度を算出することで、最も類似する隣同士の２番目の小領域をグループ化して、３番目の小領域集合を生成する。このように、候補領域抽出部１２は、反復的に処理をすることで、候補領域を抽出することができる。

そして、このような１枚の大きな画像データに対する処理として、例えば異なる色空間（カラースペース）、異なる類似度パラメータ、及び１番目の異なる小領域分割手法による異なる小領域等、といった多様化したパラメータによる算出を行うことで、多様なパラメータによる複数の候補領域を抽出することができる。
なお、画像データからオブジェクトを囲む領域を抽出する他の例としては、例えば、ＢＩＮＧ（Ｂｉｎａｒｉｚｅｄ Ｎｏｒｍｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｏｂｊｅｃｔｎｅｓｓ Ｅｓｔｉｍａｔｉｏｎ）等がある。

図４Ａは、図３に示す画像データ４０に含まれるオブジェクトを囲む領域を矩形５１で表した画像データ５０の例を示す。図４Ａに示された画像データ５０の各矩形５１は、候補領域抽出部１２が抽出した各オブジェクトを囲んでいる。
なお、候補領域抽出部１２が類似する小領域をグルーピングする際に生成する候補領域の形状として、典型的には、矩形領域とするが、これに限定されない。例えば、候補領域の形状として円領域や、楕円領域とするようにしてもよい。

［領域関連処理部１３について］
図１に戻り、領域関連処理部１３は、抽出したオブジェクトを囲む領域に関連する処理を行う。
図２Ａに示すように、領域関連処理部１３は、領域面積算出手段としての領域面積算出部１３１と、歪み判定手段としての歪み判定部１３２と、歪み補正手段としての歪み補正部１３３と、縦幅横幅比率算出手段としての縦幅横幅比率算出部１３４と、を備える。

領域面積算出部１３１は、候補領域抽出部１２により抽出された候補領域の面積を算出する。領域面積算出部１３１により算出される、候補領域の面積が予め設定される第１の面積値（例えば、１枚の大きな画像データの面積値の１／２）を超える場合、当該候補領域は、１枚の大きな画像に入っている個々の小さな画像（写真等）の領域ではないと推測することができる。ここで、第１面積値は、予め決められた値であり、例えば、画像データの大きさに対して決定されるものであってもよい。

歪み判定部１３２は、候補領域抽出部１２により抽出された候補領域の輪郭に歪みがあるか否かを判定する。
歪み補正部１３３は、歪み判定部１３２により候補領域の輪郭に歪みがあると判定された場合、当該候補領域の輪郭を線形に補正する。より具体的には、候補領域抽出部１２により抽出された領域が矩形領域の場合、候補領域の輪郭を線分に補正し、歪みのない候補領域の輪郭に整える。

縦幅横幅比率算出部１３４は、候補領域抽出部１２により抽出された候補領域の縦幅と横幅の比率を算出する。縦幅横幅比率算出部１３４により算出される、候補領域の縦幅と横幅との比率が一定値以上の細長い矩形領域の場合、当該候補領域は、１枚の大きな画像に入っている個々の小さな画像（写真等）の領域ではないと推測することができる。

［候補領域集合生成部１４について］
図１に戻り、候補領域集合生成部１４は、候補領域抽出部１２により抽出された候補領域に基づいて、候補領域からなる集合（以下、「候補領域集合」という。）を生成する。
ここで、候補領域集合生成部１４は、候補領域抽出部１２により抽出された候補領域のうち、領域面積算出部１３１により算出される候補領域の面積が予め設定される第１の面積値を超える候補領域を削除するようにしてもよい。
また、候補領域集合生成部１４は、候補領域抽出部１２により抽出された候補領域のうち、縦幅横幅比率算出部１３４により算出される候補領域の縦幅と横幅との比率が一定値以上となる矩形領域となる候補領域を削除するようにしてもよい。

このように、候補領域集合生成部１４は、候補領域抽出部１２により抽出された候補領域に基づいて、候補領域集合を生成することができる。
また、候補領域集合生成部１４は、候補領域抽出部１２により抽出された候補領域のうち、面積が予め設定される第１の面積値を超える候補領域及び／又は縦幅と横幅との比率が一定値以上となる候補領域を事前に削除して、１枚の大きな画像データからの切り出しの対象外にすることができる。
それにより、画像処理装置１が、１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出す際の処理の負荷を軽減することができる。
以上により、画像データ取得部１１により取得される１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）の候補となる複数の候補領域の集合を生成することができる。

この候補領域集合生成部１４の処理によって得られる画像データ５５を、図４Ｂに示す。画像データ５５に含まれる矩形５６と、図４Ａに示す画像データに含まれる矩形５１とを比較すると、矩形５６の数は、矩形５１の数よりも少ない。これは、候補領域集合生成部１４が、面積と、縦幅及び横幅の比率とによって対象外になった矩形５１を除いたためである。

次に、画像データ取得部１１により取得される１枚の大きな画像から、線分及び円弧の線を抽出し、候補領域の輪郭候補となる候補線の集合を生成する機能について説明する。

［候補線抽出部１５について］
候補線抽出部１５は、画像データ取得部１１により取得される１枚の大きな画像データに含まれる線分及び円弧の少なくとも一方の線を候補線として抽出する。ここで、候補線とは、例えば、線分や、円弧をいう。
画像データから候補線を抽出する手法としては、種々の公知術を用いることができる。
画像データから線分を抽出する公知技術として、ＬＳＤ（ＬｉｎｅＳｅｇｍｅｎｔＤｅｔｅｃｔｏｒ）が挙げられる。ＬＳＤは、例えば、「Ｒａｆａｅｌ Ｇｒｏｍｐｏｎｅ ｖｏｎ Ｇｉｏｉ， Ｊ ｅｒ ｅｍｉｅ Ｊａｋｕｂｏｗｉｃｚ， Ｊｅａｎ−Ｍｉｃｈｅｌ Ｍｏｒｅｌ， ａｎｄ Ｇｒｅｇｏｒｙ Ｒａｎｄａｌｌ， “ＬＳＤ： ａ Ｌｉｎｅ Ｓｅｇｍｅｎｔ Ｄｅｔｅｃｔｏｒ”， Ｐｕｂｌｉｓｈｅｄ ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｏｎ Ｌｉｎｅ」インターネット〈ｈｔｔｐ：／／ｗｗｗ．ｉｐｏｌ．ｉｍ／ｐｕｂ／ａｒｔ／２０１２／ｇｊｍｒ−ｌｓｄ／ａｒｔｉｃｌｅ．ｐｄｆ〉（以下、文献Ｂという。）に記載されているように公知の技術である。具体的には、画像データの画素ごとの周波数方向を計算し、近傍画像と同じ周波数方向の画素をグルーピングして線分にするものである。

また、画像データから線分又は円弧を抽出する公知技術として、ＬＳＤの外に、当業者にとって公知のＨｏｕｇｈ（ハフ）変換を用いてもよい。
具体的には、画像データに含まれる線分又は円弧を検出するために、例えば公知のラプラシアン変換、Ｓｏｂｅｌ法又はＣａｎｎｙ法等により、エッジ画像を生成し、生成したエッジ画像から公知のＨｏｕｇｈ変換により線分又は円弧を抽出することができる。

図５Ａに、候補線抽出部１５により、画像データ取得部１１により取得される１枚の大きな画像データに含まれる線分を抽出した一例を示す。図５Ａは、図３に示す画像データ４０から線分６１を抽出したものである。図５Ａに示すように、画像データ６０は、複数の線分６１を有する。線分６１は、その１つ１つがまっすぐな線である。

［線関連処理部１６について］
線関連処理部１６は、候補線抽出部１５により抽出した画像データに含まれる線に関連する処理を行う。
図２Ｂに示すように、線関連処理部１６は、線補正手段としての線補正部１６１と、線角度算出部１６２と、線角度判定手段としての線角度判定部１６３とを備える。

線補正部１６１は、候補線抽出部１５により抽出した画像データに含まれる線分及び円弧の少なくとも一方の線の線幅を予め設定された太さに補正する。ここで、線分の線幅を太く補正するのは、後述する重なり度合いを判定する処理において、その度合いをより明確にするためである。

線角度算出部１６２は、候補線抽出部１５により抽出した画像データに含まれる線分と、候補領域集合生成部１４により生成された候補領域集合に含まれる候補領域の辺との角度を算出する。

線角度判定部１６３は、候補線抽出部１５により抽出した画像データに含まれる線分と、候補領域集合生成部１４により生成された候補領域集合に含まれる候補領域の辺との角度が予め設定された第１角度以下か否かを判定する。
ここで、第１角度とは、例えば、１０度等の鋭角をいう。なお、線分が候補領域の辺と並行である場合には、算出した角度は０度になる。
線角度判定部１６３により、候補線抽出部１５により抽出した画像データに含まれる線分と、候補領域集合生成部１４により生成された候補領域集合に含まれる候補領域の辺との角度が予め設定された第１角度を超える場合は、当該線分と候補領域の辺とは重ならないと推測することができる。

［候補線集合生成部１７について］
図１に戻り、候補線集合生成部１７は、候補線抽出部１５により抽出された候補線に基づいて、候補線の集合を生成する。
候補線集合生成部１７は、線補正部１６１により補正された候補線を、補正前の候補線に替えて、候補線集合に含む候補線にするようにしてもよい。
また、候補線集合生成部１７は、候補線抽出部１５により抽出した画像データに含まれる線分の集合から、候補領域集合生成部１４により生成された候補領域集合に含まれる候補領域の辺との角度が予め設定された第１角度を超える線分となる候補線を削除するようにしてもよい。
それにより、画像処理装置１が、１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出す際の処理の負荷を軽減することができる。
以上により、画像データ取得部１１により取得される１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）の候補となる複数の候補領域の集合を生成することができる。

図５Ｂは、線角度判定部１６３により候補領域集合生成部１４により生成された候補領域集合に含まれる候補領域の辺との角度が予め設定された第１角度を超える線分となる候補線を削除された線分６６のみを含む画像データ６５を示す。
ここで、画像データ６５に含まれる線分６６と、図５Ａに示す画像データ６０に含まれる線分６１とを比較すると、線分６６の数は、線分６１の数よりも少ない。これは、候補線集合生成部１７が、第１角度より大きい角度の線分６１を除いたためである。つまり、図５Ｂに示す画像データ６５は、画像データ６０に含まれる斜め方向の線分６１が削除されている。

以上により、画像処理装置１は、画像データ取得部１１により取得される１枚の大きな画像から、線分及び円弧の線を抽出し、候補領域の輪郭候補となる候補線の集合を生成することができる。

次に、候補領域集合生成部１４により生成される候補領域の集合と、候補線集合生成部１７により生成される候補線の集合との間で、その重なり度合いを検出することにより、１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出す機能について説明する。

［重なり度関連処理部１８について］
重なり度関連処理部１８は、候補領域集合生成部１４により生成された候補領域の輪郭を形成する閉じた線（「囲い線」ともいう。）と、候補線集合生成部１７により生成された候補線との重なり度合いに関連する処理を行う。
図２Ｃに示すように、重なり度関連処理部１８は、重なり度算出手段としての重なり度算出部１８１と、重なり度判定手段としての重なり度判定部１８２とを備える。

重なり度算出部１８１は、候補領域集合生成部１４により生成された候補領域の囲い線と、候補線集合生成部１７により生成された候補線との重なり度合いを算出する。具体的には、重なり度算出部１８１は、各候補領域の囲い線のうち、候補線集合生成部１７により生成された候補線との重なる部分の割合である重なり度合いを算出する。例えば、ある候補領域の重なり度合いが７０％とは、当該候補領域の囲い線のうち７０％の線が、候補線集合生成部１７により生成された候補線に重なる状態にあることを意味する。

重なり度判定部１８２は、候補領域集合生成部１４により生成された各候補領域の囲い線について、重なり度算出部１８１により算出された候補線との重なり度合いが、予め設定された所定の第１割合値以上であるか否かを判定する。例えば、第１割合値として５０％とすると、重なり度判定部１８２は、候補領域の囲い線の５０％以上が、候補線集合生成部１７により生成された候補線と重なるか否かを判定する。なお、第１割合値は、この値に限定されない。画像の特性等に応じて適宜設定することができる。

［切出画像領域抽出部１９について］
図１に戻り、切出画像領域抽出部１９は、重なり度判定部１８２による判定結果に応じて、候補領域を切出画像候補として抽出する。
具体的には、切出画像領域抽出部１９は、重なり度判定部１８２により重なり度合いが第１割合値以上であると判定された候補領域を、切出画像候補として抽出し、切出画像候補の集合を生成する。
また、切出画像領域抽出部１９は、切出画像候補の集合に含まれる他の候補領域と１辺が同一直線上に位置する候補領域については、その重なり度合いが第１割合値未満であっても、予め設定される第２割合値以上である場合、切出画像候補として抽出し、切出画像候補の集合に加えるように構成することができる。
すなわち、切出画像領域抽出部１９は、切出画像候補の集合に含まれる他の候補領域と１辺が同一直線上に位置する候補領域を抽出し、抽出された候補領域の重なり度合いが第２割合値以上であると判定された候補領域を、切出画像候補として、切出画像候補の集合に追加することができる。

また、切出画像領域抽出部１９は、重なり度算出部１８１により算出された候補線との重なり度合いが第２割合値以上かつ第１割合値未満の候補領域を抽出し、抽出された候補領域が、切出画像候補の集合に含まれる他の候補領域と１辺が同一直線上に位置する場合に、切出画像候補として、切出画像候補の集合に追加するように構成してもよい。
ここで、第２割合値は、第１割合値よりも小さな値であり、例えば３０％とすると、切出画像候補の集合に含まれる他の候補領域と１辺が同一直線上に位置する候補領域であって、その重なり度合いが３０％以上の候補領域が切出画像候補として、切出画像候補の集合に追加される。なお、第２割合値は、この値に限定されない。画像の特性等に応じて適宜設定することができる。

［切出画像領域抽出部１９の変形例］
なお、切出画像領域抽出部１９は、候補領域抽出部１２により抽出された候補領域をそのまま切出画像候補として抽出しているが、切出画像候補の抽出はこれに限定されない。
切出画像領域抽出部１９は、重なり度判定部１８２により重なり度合いが所定の割合値以上であると判定された候補線に基づいて切出画像候補を抽出するように構成してもよい。具体的には、候補領域の囲い線と重なる候補線を交差させ、又は延長させた後に交差させることで形成される領域を、切出画像候補として抽出するようにしてもよい。

［タグ取得部２０について］
タグ取得部２０は、切出画像領域抽出部１９によって抽出作成された切出画像候補の集合に含まれる各切出画像候補に関して、例えば通信インタフェース部３９を介してタグ付けエンジンとしてのタグ処理装置（図示せず）に対してタグ付け処理を要求し、当該切出画像候補のタグ（分類、カテゴリ等）を取得する。
ここでタグ付けエンジンは、画像データに対して、画像解析によってタグを付与するものであって、種々の公知の技術を用いることができる。
画像解析によってタグを得るタグ付けエンジンの例としては、例えば「Ｋａｉｍｉｎｇ Ｈｅ Ｘｉａｎｇｙｕ Ｚｈａｎｇ Ｓｈａｏｑｉｎｇ Ｒｅｎ Ｊｉａｎ Ｓｕｎ， “Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ”， Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ」（以下、文献Ｃという。）に記載されたものがある。文献Ｃに記載の手法によれば、対象画像データの中に写っているものを、画像解析をし、画像をモデリングした学習器との比較によって推定したタグを付与する。
タグ取得部２０は、タグ付けエンジンの提供する画像認識ＡＰＩを介して、各切出画像候補のタグを取得することができる。

［切出画像判定部２１について］
切出画像判定部２１は、タグ取得部２０によって取得したタグに基づいて、切出画像候補を切出画像にするか否かを判定する。
より具体的には、切出画像判定部２１は、各切出画像候補に対して取得されたタグが複数の関連しないタグを取得した場合、当該切出画像候補は、１つの小さな画像（写真等）ではないと判定する。
取得された複数のタグが関連性を有するか否かは、例えば、タグの関連情報を記憶したタグデータベース（図示せず）を予め用意しておき、切出画像判定部２１は、取得した複数のタグをこのタグデータベースと照合し、複数のタグが、例えば、関連する又は類似するカテゴリに含まれるか否かによって判断してもよい。なお、タグデータベースは、画像処理装置１に有してもよいし、通信インタフェース部３９を介して接続可能な外部サーバ等に有するものであってもよい。

具体例を用いて説明すると、例えば、食べ物と旅館とに関する実際には２つの写真が、上述の処理によって１つの画像として認識され、切出画像候補として抽出された場合について検討する。これは、食べ物と旅館とに関する写真との間に空白部分がないため、上述の処理において、１つの切出画像候補にされたものである。タグ取得部２０は、「食べ物」と「旅館」のような、相互に関連のないタグを取得する。そこで、切出画像判定部２１は、上述の処理によって、これらのタグが相互に関連のないタグであると判断されるため、１つの小さな画像ではないと判定し、切出画像にしない。

切出画像判定部２１によって、切出画像候補が１つの小さな画像ではないと判定された場合に、制御部１０は、例えば、切出画像候補の重なり度合いを再度調整することで、２つの画像として認識させることができる。
また、切出画像判定部２１によって、切出画像候補が１つの小さな画像ではないと判定された場合に、制御部１０は、切出画像候補の重なり度合いを再度調整する代わりに、認識の候補（２つとするか、又は、１つとするか等）のみを結果として出力し、さらにタグ付けの結果も考慮して、認識の候補のうちいずれの候補にするかを決めてもよい。
さらに、切出画像判定部２１によって、切出画像候補が１つの小さな画像ではないと判定された場合に、制御部１０は、ディスプレイやプリンタ等の出力装置にエラー出力をすることで、ユーザに判断させるようにしてもよい。
以上のように、画像処理装置１は、切出画像判定部２１による判定結果によって、１つの切出画像候補を、複数の切出画像にすることができる。

また、画像処理装置１は、切出画像判定部２１による判定結果によって、複数の切出画像候補を、１つの切出画像にすることもできる。これは、実際には１つの写真が、上述の処理によって２以上の画像として認識され、切出し画像候補として抽出された場合である。このような場合には、２以上の切出画像候補が連続しており、各切出画像候補に対して得られたタグが同じか、又は、非常に関連したものになる。その場合には、画像処理装置１は、複数の切出画像候補を、１つの切出画像にすることができる。
さらに、画像処理装置１は、切出画像判定部２１による判定結果によって、間違った領域になっている切出画像候補を、正しい領域に修正した上で切出画像にすることもできる。

以上のように、本実施形態に係る画像処理装置１によれば、１枚の大きな画像からその画像に含まれる複数の小さな画像（写真等）を切り出すことを可能とする。

＜画像処理装置１の処理＞
次に、本実施形態にかかる画像処理装置１による画像処理手順について図を参照しながら説明する。ここで、画像処理装置１は、候補領域の集合を領域関連処理部１３の処理結果に基づいて生成すると共に、候補線の集合を線関連処理部１６の処理結果に基づいて生成するものとする。
図６Ａ及び図６Ｂは、画像処理の全体的な手順を示すフローチャートであり、図７及び図８は、当該画像処理のうち、特定の処理に係る処理手順を示すフローチャートである。なお、ここで説明する処理の流れは、上述した各機能部の機能を実現するための処理の流れ（フローチャート）の一例であって、このフローチャートに限定されない。

画像処理は、画像処理装置１がコンピュータ等を用いて構築されている場合、ユーザが例えば、図示しない入力装置で画像処理の開始指令を与え、かかる開始指令信号を制御部１０が受信し、プログラム記憶部３１に格納されている本実施形態にかかる画像処理プログラム３１ａが起動されることで開始される。

図６ＡのステップＳ（以下、「Ｓ」という。）１０において、画像処理装置１の制御部１０（画像データ取得部１１）は、画像データ記憶部３２に記憶されている画像データを１つ取得する。ここで、制御部１０は、画像データ記憶部３２に記憶されている画像データのうち、画像処理装置１のユーザによって指定された画像データを取得してもよい。また、制御部１０は、画像データ記憶部３２に記憶されている複数の画像データのうち、切出画像処理を行っていない画像データを１つ取得してもよい。さらに、制御部１０は、通信インタフェース部３９を介して、図示しないスキャナから受信した画像データを取得してもよい。

Ｓ１１において、制御部１０（候補領域抽出部１２）は、取得した画像データからオブジェクトを囲む領域を抽出する。
ここで、画像データからオブジェクトを囲む領域を抽出する手法としては、上述したように種々の公知の技術を用いることができる。
制御部１０（候補領域抽出部１２）は、画像データに対して、例えば、“Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ”を適用することで、画像データに含まれるオブジェクトを囲む領域を、複数得ることができる。ここで、制御部１０は、例えば、候補領域管理テーブルを記憶部３０に有するようにして、取得したオブジェクトを囲む領域を、その位置情報と共に記憶させてもよい。

Ｓ１２において、制御部１０（領域関連処理部１３）は、候補領域に関する処理を行う。
ここで、候補領域に関する処理について、図７に基づき説明する。
図７のＳ３０において、制御部１０（歪み判定部１３２）は、抽出したオブジェクトを囲う領域の輪郭に歪みがあるか否かを判定する。歪みがある場合とは、例えば、“Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ”とは異なる手法でオブジェクトを抽出した場合や、オブジェクトを抽出した際に、矩形以外の形状で囲んだ場合をいう。歪みがある場合（Ｓ３０：ＹＥＳ）には、制御部１０は、処理をＳ３１に移す。他方、歪みがない場合（Ｓ３０：ＮＯ）には、制御部１０は、処理をＳ３２に移す。
Ｓ３１において、制御部１０（歪み補正部１３３）は、歪みがあった輪郭を線分に補正することで、輪郭が矩形を形成するようにする。ここで、制御部１０は、線分を交差させ、又は線分を延長させた後に交差させることで矩形を形成するようにしてもよい。この処理によって、オブジェクトを囲う領域を、矩形で表すことができる。

Ｓ３２において、制御部１０（領域面積算出部１３１）は、抽出したオブジェクトを囲む領域の面積を算出する。ここで、制御部１０は、候補領域管理テーブルの該当のオブジェクトを囲む領域に対応付けて、算出した面積を記憶させてもよい。
Ｓ３３において、制御部１０（縦幅横幅比率算出部１３４）は、矩形の縦幅と横幅との比率を算出する。ここで、制御部１０は、候補領域管理テーブルの該当のオブジェクトを囲む領域に対応付けて、算出した比率を記憶させてもよい。
Ｓ３４において、制御部１０（候補領域集合生成部１４）は、所定の矩形領域を、切出画像の候補である候補領域とする。ここで、制御部１０は、所定の矩形領域を、その面積と、縦幅及び横幅の比率とによって候補領域とする。
具体的には、制御部１０は、Ｓ３２で算出した面積が第１面積値を超えるものは、そのオブジェクトを囲む領域を候補領域とはしない。ここで、第１面積値は、上述したように予め決められた値であり、例えば、画像データの大きさに対して決定されるものであってもよいし、パラメータとして与えてもよい。画像処理装置１は、この処理によって、画像データに含まれる大きな矩形領域を、切り出しの対象外にすることができる。

また、制御部１０は、Ｓ３３で算出した矩形の縦幅と横幅との比率が一定値以上のものは、そのオブジェクトを囲む領域を、候補領域とはしない。画像処理装置１は、この処理によって、画像データに含まれる細長い矩形領域を、切り出しの対象外にすることができる。
ここで、制御部１０は、候補領域管理テーブルから、面積が第１面積値を超えるオブジェクトを囲む領域と、比率が一定値以上のオブジェクトを囲む領域とのレコードを削除するようにしてもよい。
その後、制御部１０は、この候補領域取得処理を終了し、処理を図６Ａに移す。

図６Ａに戻り、Ｓ１３において、制御部１０は、候補線取得処理を行う。
ここで、候補線取得処理について、図８に基づき説明する。
図８のＳ４０において、制御部１０（候補線抽出部１５）は、画像データに含まれる線分を抽出する。
ここで、画像データからオブジェクトを抽出する手法としては、上述したように種々の公知の技術を用いることができる。
制御部１０（候補線抽出部１５）は、画像データに対して、例えば、ＬＳＤ（ＬｉｎｅＳｅｇｍｅｎｔＤｅｔｅｃｔｏｒ）を適用することで、画像データに含まれる線分を複数得る。ここで、制御部１０は、例えば、候補線管理テーブルを記憶部３０に有するようにして、取得した線分を、その位置情報と共に記憶させてもよい。

Ｓ４１において、制御部１０（線角度算出部１６２）は、抽出した線分のすべてにおいて、１つの候補領域の各辺との角度を算出する。ここで、候補領域取得処理（図６ＡのＳ１２）において取得した各候補領域は、矩形であるため、制御部１０は、１つの候補領域の各辺と、抽出した各線分との角度を算出すれば足りる。ここで、制御部１０は、候補線管理テーブルの該当の線分に対応付けて、算出した角度を記憶させてもよい。
Ｓ４２において、制御部１０（候補線集合生成部１７）は、算出した角度が線角度判定部１６３により第１角度以下であると判定される線分を取得する。具体的には、制御部１０（候補線集合生成部１７）は、候補線の集合から、候補領域集合生成部１４により生成された候補領域集合に含まれる候補領域の辺との角度が第１角度を超える線分となる候補線を削除する。ここで、第１角度は、上述したように予め決められた値であり、例えば、パラメータとして与えてもよい。ここで、制御部１０は、候補線管理テーブルから、角度が第１角度を超える線分のレコードを削除するようにしてもよい。なお、線分が候補領域の辺と並行である場合には、算出した角度は０度になる。

Ｓ４３において、制御部１０（線補正部１６１）は、候補線集合に含む候補線の線分の線幅を、所定の太さに補正して、制御部１０（候補線集合生成部１７）により補正前の候補線に替えて、候補線集合に含む候補線にする。その後、制御部１０は、この候補線取得処理を終了し、処理を図６Ａに移す。

図６Ａに戻り、Ｓ１４において、制御部１０は、候補領域を１つ選択する。
Ｓ１５において、制御部１０（重なり度算出部１８１）は、選択した候補領域の囲い線である矩形と、候補線との重なり度合いを算出する。ここで、制御部１０は、候補領域管理テーブルの該当のオブジェクトを囲む領域、つまり、選択した候補領域に対応付けて、候補線管理テーブルの各線分である候補線との重なり度合いの値を記憶させてもよい。
Ｓ１６において、制御部１０（重なり度判定部１８２）は、算出した重なり度合いが第１割合値以上であるか否かを判断する。ここで、第１割合値は、予め定められた値であり、例えば、５０％といった値である。第１割合値以上である場合（Ｓ１６：ＹＥＳ）には、制御部１０は、処理をＳ１７に移す。他方、第１割合値未満である場合（Ｓ１６：ＮＯ）には、制御部１０は、処理をＳ１８に移す。

Ｓ１７において、制御部１０（切出画像領域抽出部１９）は、候補領域を切出画像候補にする。そして、制御部１０は、切出画像候補を、記憶部３０に一時記憶させる。ここで、制御部１０は、候補領域管理テーブルの該当の候補領域に、切出画像候補であることを示すフラグを付与してもよい。
Ｓ１８において、制御部１０は、すべての候補領域について処理をしたか否かを判断する。すべての候補領域について処理をした場合（Ｓ１８：ＹＥＳ）には、制御部１０は、処理を図６ＢのＳ１９に移す。他方、すべての候補領域について処理をしていない場合（Ｓ１８：ＮＯ）には、制御部１０は、処理をＳ１４に移し、未処理の他の候補領域について、この処理を繰り返す。

図６ＢのＳ１９において、制御部１０は、図６ＡのＳ１５によって算出した重なり度合いが第１割合値未満の候補領域の一辺と同一直線上に位置する他の候補領域が、切出画像候補になっているか否かを判断する。この処理に関して、制御部１０は、候補領域管理テーブルと、候補線管理テーブルを用いて行うことができる。切出画像候補になっている場合（Ｓ１９：ＹＥＳ）には、制御部１０は、処理をＳ２０に移す。他方、切出画像候補になっていない場合（Ｓ１９：ＮＯ）には、制御部１０は、処理をＳ２２に移す。
Ｓ２０において、制御部１０（切出画像領域抽出部１９）は、切出画像候補になっている他の候補領域と一辺が同一直線上に位置する候補領域の重なり度合いが、第１割合値より小さい第２割合値以上であるか否かを判断する。ここで、第２割合値は、予め定められた値であり、例えば、３０％といった値である。第２割合値以上である場合（Ｓ２０：ＹＥＳ）には、制御部１０は、処理をＳ２１に移す。他方、第２割合値未満である場合（Ｓ２０：ＮＯ）には、処理をＳ２２に移す。

Ｓ２１において、制御部１０は、第２割合値以上であったその候補領域を、切出画像候補にする。そして、制御部１０は、切出画像候補を、記憶部３０に一時記憶させる。ここで、制御部１０は、候補領域管理テーブルの該当の候補領域に、切出画像候補であることを示すフラグを付与してもよい。その際、制御部１０は、第２割合値以上であったものであることを表すために、上述したＳ１７で付与したフラグとは異なるフラグを付与してもよい。
このように、制御部１０は、候補領域管理テーブルと、候補線管理テーブルを使用して処理をすることで、効率的な処理を行うことができる。
図９は、切出画像候補７１を示した画像データ７０を示す。上述の処理に示すように、制御部１０は、候補領域と、候補線とを取得して、その重なり度合いによって、候補領域を切出画像候補７１にする。

図６Ｂに戻り、Ｓ２２において、制御部１０は、記憶部３０に一時記憶された各切出画像候補を、通信ネットワークを介して図示しないタグ付けエンジンとしてのタグ付け処理装置に送信することで、制御部１０（タグ取得部２０）は、タグ処理装置から各切出画像候補に対応するタグを受信する。
ここで、切出画像候補ごとに画像解析して、タグを付与するタグ付けエンジンとしては、上述したように種々の公知の技術を用いることができる。
制御部１０（タグ取得部２０）は、例えば、タグ付けエンジンの提供する画像認識ＡＰＩを介して、各切出画像候補のタグを取得することができる。
この処理によって、切出画像候補が温泉を表す写真の画像であった場合には、タグとして、例えば、「温泉」が切出画像候補に付与される。

Ｓ２３において、制御部１０（切出画像判定部２１）は、各切出画像候補について、取得したタグに基づいて切出画像にするか否かを判断する。ここで、例えば、複数の関連しないタグを取得した場合には、複数の異なる画像が連結していると考えられる。そのため、制御部１０（切出画像判定部２１）は、タグに基づいて切出画像にしないと判断する。切出画像にする場合（Ｓ２３：ＹＥＳ）には、制御部１０は、処理をＳ２４に移す。他方、切出画像にしない場合（Ｓ２３：ＮＯ）には、制御部１０は、本処理を終了する。
Ｓ２４において、制御部１０（切出画像判定部２１）は、切出画像にすると判断された切出画像候補を、切出画像データ記憶部３３に記憶させる。その後、制御部１０は、本処理を終了する。

このように、本実施形態の画像処理装置１によれば、以下のような効果がある。
（１）画像データに対して、公知のオブジェクト抽出技術を適用して、オブジェクトを囲む候補領域を抽出し、他方、同じ画像データに対して、画像データに含まれる線分を検出する公知の線分検出技術を適用して、候補線を抽出することで、候補領域の輪郭と、候補線との重なり度合いの割合に基づいて、画像データから候補領域を切出画像として効率的に抽出することができる。
（２）候補領域から、その面積や、縦幅と横幅との比率が所定の条件を満たすものを事前に対象外にすることで、候補領域の輪郭と、候補線との重なり度合いの算出処理の負荷を軽減することができ、より高速に抽出することが可能になる。

（３）線分が細過ぎることで候補領域の輪郭と、候補線の重なり度合いが正確に算出されない可能性がある。このため、候補線となる線分を予め太く補正しておくことで、候補領域の輪郭と、候補線との重なり度合いをより正確に算出することが可能となる。
（４）候補領域を矩形領域とし、前記候補線を線分とすることで、領域の形状が矩形となる切出画像を抽出することができる。
（５）候補領域の輪郭に歪みがある場合、予め歪みを補正しておくことで、候補線との重なり度合いの算出をより正確にすることが可能になる。

（６）予め所定の条件を満たす線分のみに基づいて候補線を抽出することで、候補領域の輪郭と、候補線との重なり度合いの算出処理の負荷を軽減することができ、より高速に抽出することが可能になる。
（７）２つの候補領域が同一直線上に配置され、２つの候補領域のいずれか一方が切出画像として判定された場合、他方の候補領域が切出画像候補である可能性は高いと予想される。そのため、候補領域の輪郭と、候補線との重なり度合いに関する閾値の条件をゆるめることで、抽出漏れ防止を図ると共に、精度向上が可能となる。
（８）タグ（分類、カテゴリ等）により、切出画像候補を切出画像にするか否かを判断する。よって、例えば、複数の領域がつながっている画像について、１つの画像であるか否かを判断するのに使用できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

（変形形態）
（１）本実施形態では、画像データからオブジェクトを囲む領域として矩形領域とするものを例に説明したが、これに限定されない。例えば、円領域や、楕円領域としてもよい。そして、画像データに含まれる線分を候補線としたが、円領域や、楕円領域とした場合には、画像データに含まれる円弧や、楕円の円弧を候補線としてもよい。そのようにすることで、画像データに含まれる円形の写真や、楕円形の写真を、切出画像として取得することができる。
また、１つの画像データに対して、矩形領域とするもの、円領域とするもの及び楕円領域とするものを、順番に適用してもよい。そのようにすることで、１つの画像に様々な形状で配置された画像を切り出すことができる。
（２）本実施形態では、パンフレットをスキャンして得られた画像データを例に処理の説明をしたが、対象とする画像データは、これに限定されない。画像データに複数の画像を含むものであればどのようなものであってもよく、例えば、漫画や、新聞紙、論文、一般書籍等であってもよい。そして、新聞紙の場合には、例えば、写真のみを切り出したり、広告領域のみを切り出したりする場合に有効である。なお、一枚の紙にそれぞれの内容が独立した複数の枠が存在するようなものに対して、より適切に切出画像を取得できる。

（３）本実施形態では、画像処理装置は、タグ付けエンジンとしてのタグ付け処理装置に対してタグの付与を依頼するものとして説明したが、これに限定されない。画像処理装置１に、タグ付け処理の機能を有するものであってもよい。

１ 画像処理装置
１０ 制御部
１１ 画像データ取得部
１２ 候補領域抽出部
１３ 領域関連処理部
１３１ 領域面積算出部
１３２ 歪み判定部
１３３ 歪み補正部
１３４ 縦幅横幅比率算出部
１４ 候補領域集合生成部
１５ 候補線抽出部
１６ 線関連処理部
１６１ 線補正部
１６２ 線角度算出部
１６３ 線角度判定部
１７ 候補線集合生成部
１８ 重なり度関連処理部
１８１ 重なり度算出部
１８２ 重なり度判定部
１９ 切出画像領域抽出部
２０ タグ取得部
２１ 切出画像判定部
３０ 記憶部
３１ａ 画像処理プログラム
３２ 画像データ記憶部
３３ 切出画像データ記憶部

Claims (13)

1. 画像データから前記画像データに含まれる切出画像を抽出する画像処理装置であって、
   画像データを取得する画像データ取得手段と、
   前記画像データから検出可能なオブジェクトを囲む領域を候補領域として抽出する候補領域抽出手段と、
   前記候補領域抽出手段により抽出される候補領域に基づいて、候補領域集合を生成する候補領域集合生成手段と、
   前記画像データに含まれる線分及び円弧の少なくとも一方の線を候補線として抽出する候補線抽出手段と、
   前記候補線抽出手段により抽出される候補線に基づいて、候補線集合を生成する候補線集合生成手段と、
   前記候補領域集合生成手段により生成された前記候補領域の輪郭を形成する閉じた線と、前記候補線集合生成手段により生成された前記候補線との重なり度合いが、予め設定された所定の第１割合値より以上であるか否かを判定する重なり度判定手段と、
   前記重なり度判定手段により前記第１割合値より以上であると判定された場合に、前記候補領域を、切出画像として抽出する切出画像領域抽出手段と、
   を備える画像処理装置。
2. 抽出した前記領域の面積を算出する領域面積算出手段を備え、
   前記候補領域集合生成手段は、前記領域面積算出手段により算出された前記領域の面積が予め設定された第１面積値を超える場合に、前記領域を前記候補領域集合から除外する、請求項１に記載の画像処理装置。
3. 抽出した前記線の線幅を予め設定された太さに補正する線補正手段を備え、
   前記候補線集合生成手段は、前記線補正手段により補正された補正後の線を、前記候補線にする、請求項１又は請求項２に記載の画像処理装置。
4. 前記候補領域は矩形領域であり、前記候補線は線分である、請求項１〜請求項３のいずれか１項に記載の画像処理装置。
5. 抽出した前記領域の輪郭に歪みがあるか否かを判定する歪み判定手段と、
   前記歪み判定手段により前記領域の輪郭に歪みがあると判定された場合、前記領域の輪郭を線分に補正する歪み補正手段と、
   を備え、
   前記候補領域集合生成手段は、前記歪み補正手段により補正された補正後の領域を、前記候補領域にする、請求項４に記載の画像処理装置。
6. 抽出した前記領域の縦幅と横幅との比率を算出する縦幅横幅比率算出手段を備え、
   前記候補領域集合生成手段は、前記縦幅横幅比率算出手段により算出された前記領域の縦幅と横幅との比率が予め設定された値を超える場合に、前記領域を前記候補領域集合から除外する、請求項４又は請求項５に記載の画像処理装置。
7. 抽出した前記線分と、前記候補領域の辺との角度が予め設定された第１角度以下か否かを判定する線角度判定手段を備え、
   前記候補線集合生成手段は、前記線角度判定手段により前記第１角度以下と判定された場合に、前記線分を前記候補線にする、請求項４〜請求項６のいずれか１項に記載の画像処理装置。
8. 前記切出画像領域抽出手段は、領域の一辺が同一直線上に位置する複数の前記候補領域のうち少なくとも１つを、前記切出画像領域抽出手段が前記切出画像として抽出した場合に、前記複数の候補領域のうち前記切出画像として抽出したものを除く他の前記候補領域の輪郭を形成する閉曲線と、前記候補線集合生成手段により生成された前記候補線集合に含まれる前記候補線との重なり度合いが前記第１割合値よりも小さな予め設定された第２割合値以上である場合に、前記候補領域を前記切出画像として抽出する、請求項４〜請求項７のいずれか１項に記載の画像処理装置。
9. 前記領域は円形領域であり、前記候補線は円弧である、請求項１〜請求項３のいずれか１項に記載の画像処理装置。
10. 前記領域は楕円形領域であり、前記候補線は楕円の円弧である、請求項１〜請求項３のいずれか１項に記載の画像処理装置。
11. 前記切出画像領域抽出手段により抽出された前記切出画像に対して、画像解析をして解析対象画像に対するタグを付与するタグ付け処理装置によって付与されたタグを取得するタグ取得手段と、
    前記タグ取得手段により取得した前記タグに基づいて、前記切出画像を判定する切出画像判定手段と、
    を備える請求項１〜請求項１０のいずれか１項に記載の画像処理装置。
12. 画像処理装置によって画像データから前記画像データに含まれる切出画像を抽出する画像処理方法であって、
    画像データを取得する画像データ取得ステップと、
    前記画像データから検出可能なオブジェクトを囲む領域を候補領域として抽出する候補領域抽出ステップと、
    前記候補領域抽出ステップにより抽出される候補領域に基づいて、候補領域集合を生成する候補領域集合生成ステップと、
    前記画像データに含まれる線分及び円弧の少なくとも一方の線を候補線として抽出する候補線抽出ステップと、
    前記候補線抽出ステップにより抽出される候補線に基づいて、候補線集合を生成する候補線集合生成ステップと、
    前記候補領域集合生成ステップにより生成された前記候補領域の輪郭を形成する閉じた線と、前記候補線集合生成ステップにより生成された前記候補線との重なり度合いが、予め設定された所定の第１割合値より以上であるか否かを判定する重なり度判定ステップと、
    前記重なり度判定ステップにより前記第１割合値より以上であると判定された場合に、前記候補領域を、切出画像として抽出する切出画像領域抽出ステップと、
    を含む画像処理方法。
13. 画像データから前記画像データに含まれる切出画像を抽出する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、
    前記コンピュータを、
    画像データを取得する画像データ取得手段と、
    前記画像データから検出可能なオブジェクトを囲む領域を候補領域として抽出する候補領域抽出手段と、
    前記候補領域抽出手段により抽出される候補領域に基づいて、候補領域集合を生成する候補領域集合生成手段と、
    前記画像データに含まれる線分及び円弧の少なくとも一方の線を候補線として抽出する候補線抽出手段と、
    前記候補線抽出手段により抽出される候補線に基づいて、候補線集合を生成する候補線集合生成手段と、
    前記候補領域集合生成手段により生成された前記候補領域の輪郭を形成する閉じた線と、前記候補線集合生成手段により生成された前記候補線との重なり度合いが、予め設定された所定の第１割合値より以上であるか否かを判定する重なり度判定手段と、
    前記重なり度判定手段により前記第１割合値より以上であると判定された場合に、前記候補領域を、切出画像として抽出する切出画像領域抽出手段と、
    して機能させるための画像処理プログラム。

Images