JP6849387B2 - 画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラム - Google Patents

Description

本発明は、複数枚並べた原稿をスキャナなどの画像読み取り装置で取得し、原稿ごとに切り分けを行うことが可能な画像処理装置、画像処理システム、画像処理装置の制御方法、及びプログラムに関するものである。

従来、スキャナなどの画像読み取り装置の読み取り面上に定型面積の帳票文書や、非定型面積の領収書や、名刺、カードなどの原稿を複数枚並べて載置し、１つの画像データとして読み取り、読み取った画像から原稿ごとに画像を切り分ける処理がある。このような処理をマルチクロップ処理という。

特許文献１には、画像読み取り装置の読み取り面上に並べて載置された複数枚１セットの原稿を読み取り、マルチクロップ処理で画像を切り分け、画像を切り分けた画像をページに分け、複数ページの１ファイルを生成する技術が開示されている。
特許文献２には、自動給紙装置(ADF)を用い、複数枚の原稿を自動的に読み取り、ＰＣアプリケーション等で読み取った画像を表示して、容易にページ順序を変更するための編集方法が開示されている。

特開2009-272678号公報 特開2009-239594号公報

原稿台に並べて載置された複数ページ１セットの原稿を読み取り、複数ページを１ファイルに変換する場合において、１ファイル中に原稿を並べる際のページ順序を決める必要があった。その際の順序は不定であり、切り出した直後に初期のページ順を決める必要がある。
一方、ＰＣアプリケーションにおけるファイルのページ編集機能により、ページ順序の変更処理を行う場合においても、初期のページ順がユーザが所望する並びでない場合、編集するのにも多くの手間がかかる。

また、特許文献２などで開示されている手法では、ファイルのページ編集をより簡易的に行える手法を開示しているが、読み取り装置とは別の装置(例えば、ＰＣアプリケーション)で行う必要があり、作業が煩雑である。
本発明は、上述した課題に鑑みてなされたものであり、本発明の目的は、原稿台に並べて載置された複数ページ１セットの原稿を読み、複数ページを１ファイルに変換したい場合、自動的に初期順序を提示し、その後ユーザが順序の変更をすることである。

本発明の画像処理装置は、原稿台に載置された複数枚の原稿を読み取り、読取画像を生成する読み取り手段と、前記読み取り手段によって生成された読取画像に対してマルチクロップ処理を行うことにより、前記複数枚の原稿それぞれに対応する複数の原稿画像を取得する取得手段と、前記取得手段によって取得された前記複数の原稿画像同士の類似度を判定する判定手段と、前記取得手段によって取得された前記複数の原稿画像それぞれの画像面積と、前記取得手段によって取得された前記複数の原稿画像それぞれの前記読取画像における位置座標と、前記判定手段によって判定された類似度とに基づいて、前記複数の原稿画像のページ順序を決定する決定手段と、前記取得手段によって取得された前記複数の原稿画像を、前記決定手段によって決定されたページ順序にしたがって並べて初期表示し、さらに、当該初期表示された前記複数の原稿画像に対するドラッグアンドドロップ操作に基づいて当該初期表示された複数の原稿画像のページ順序を変更可能なＵＩ画面を表示する表示手段と、前記表示手段で表示されたＵＩ画面において前記初期表示されたページ順序が変更された場合は、当該変更後のページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成し、前記表示手段で表示されたＵＩ画面において前記初期表示されたページ順序が変更されなかった場合は、前記決定手段によって決定されたページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成するファイル生成手段と、を備えたことを特徴とする。

本発明によれば、原稿台に並べて載置された複数ページ１セットの原稿を読み、複数ページを１ファイルに変換したい場合、自動的に初期順序を提示し、その後ユーザが順序の変更をすることが可能となる。初期順序を提示され、ページ順序の変更も容易に可能であり、ユーザの作業を削減することが可能となる。

本発明の適用可能なシステムの全体構成を示す図。 本発明の画像処理装置のハードウェア構成例を示す図。 本発明の画像処理機能全体のフローチャートを示す図。 本発明の原稿を読み取る際の配置例を示す図。 本発明の原稿の切り出しと座標値取得を示す図。 本発明の原稿の切り出しと座標値取得を示す図。 本発明のページ順序を決めるためのフローチャートを示す図。 本発明のＵＩの表示例を示す図。 本発明の最終的にできあがるファイルを示す図。 本発明の他の実施例の画像処理機能全体のフローチャートを示す図。 本発明の他の実施例の原稿のサンプルを示す図。 本発明の別の実施例の画像処理機能全体のフローチャートを示す図。 本発明の別の実施例のＵＩの表示例を示す図。

以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定するものではない。
〔実施例１〕

＜システム構成＞
図１は本実施例を適用可能な画像処理システムの全体構成を示す図である。
図１に示すように、画像処理装置100、ＰＣ101などの端末はイーサネット（登録商標）や無線ＬＡＮなどからなるＬＡＮ104に接続され、Internet 105に接続されている。また、モバイル端末103は公衆無線通信網102などからInternet 105に接続されている。画像処理装置100、ＰＣ101及び、モバイル端末103はＬＡＮ104又は、公衆無線通信網102からInternet 105に接続され、相互に通信可能となっている。なお、ＰＣ101とモバイル端末103に関しては、どちらか一方がある構成でも良いし、画像処理装置100のみの構成だけでも良い。

画像処理装置100は、操作部、スキャナ部、及び、プリンタ部を有する複合機である。本実施例のシステムでは複数枚の定形型原稿や非定形型原稿のスキャン端末として利用する。また、画像処理装置100は、ＵＩ(User Interface)などの表示部、タッチパネル、ハードボタンを含む操作部を有し、操作部を介してエラー通知や指示通知などの表示を行う。また、画像処理装置100は、操作部を介して各種の設定操作を受け付ける。
ＰＣ101は、画像処理装置100で取得した画像の表示を行い、また、ＰＣアプリケーションなどを有して、画像処理装置100から取得したファイルの保存を行う。ＰＣ101は、更にクラウドやサーバーなどの外部ストレージとの通信も可能で、保存したファイルを外部ストレージへ送信することも可能である。なお、本実施例では、ＰＣ101でファイルの保存、外部ストレージへの送信を行うこともできるが、画像処理装置100に同機能を備えることで画像処理装置100単体でも行うことも可能である。

また、モバイル端末103は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォンやタブレット端末である。本実施例のシステムでは、ＰＣ101と同様に表示端末、操作端末及び、ファイル保存端末として利用することができる。なお、ＰＣ101とモバイル端末103は、表示、操作及びファイル保存の機能など、重複した機能を有しており、どちらを使用することも可能であるが、片方どちらか一方の構成でもかまわない。
以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。例えば、画像処理装置100内において、原稿の読み込むスキャン機能や表示・操作機能に加え、ファイルの保存機能、外部ストレージへの送信機能が可能であれば、画像処理装置100のみの構成で実現することも可能である。

＜画像処理装置100のハードウェア構成＞
図２は、画像処理装置100の構成を示すブロック図である。制御部110上に、ＣＰＵ111、記憶装置112、ネットワークＩ/Ｆ部113、スキャナＩ/Ｆ部114、表示・操作部Ｉ/Ｆ部115がシステムバス116を介して互いに通信可能に接続されている。制御部110は、画像処理装置100全体の動作を制御する。
ＣＰＵ111は、記憶装置112に記憶された制御プログラムを読み出して読取制御や送信制御などの各種制御を行う。

記憶装置112は、上記プログラム、画像データ、設定データ、及び、処理結果データなどを格納し保持する。記憶装置112には、不揮発性メモリであるＲＯＭ117、揮発性メモリであるＲＡＭ118及び、大容量記憶領域であるＨＤＤ119などがある。
ＲＯＭ117は、制御プログラムなどを保持し、ＣＰＵ111はその制御プログラムの読み出し制御を行う。
ＲＡＭ118は、ＣＰＵ111の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ネットワークＩ/Ｆ部113は、制御部110(画像処理装置100)をＬＡＮ104に接続する。ネットワークＩ/Ｆ部113は、ＬＡＮ104上の外部装置(本実施例の場合、ＰＣ101やモバイル端末103)に画像データを送信したり、ＬＡＮ104上の外部装置から各種情報を受信したりする。
スキャナＩ/Ｆ部114は、スキャナ部120と制御部110を接続する。スキャナ部120は、原稿上の画像を読み取って画像データを生成し、スキャナＩ/Ｆ部114を介して制御部110に入力する。

表示・操作部Ｉ/Ｆ部115は、表示・操作部121と制御部110とを接続する。表示・操作部121には、タッチパネル機能を有する液晶表示部やキーボードなどが備えられている。
その他、画像処理装置100にはプリンタ部等もあるものがあるが、本実施例ではそれらを用いないため省略する。
以上のように、本実施例に係る画像処理装置100では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。

＜画像処理機能＞
以下に、実施例に係る画像処理機能の構成とその処理フローについて説明する。
本処理フローは、ＣＰＵ111が本発明に係るプログラムを実行することで実現されるものである。
図３は、本実施例に係る画像処理機能の構成例を示す図である。図３に示すように、本実施例に係る処理機能は、主に画像読み取り部S200、マルチクロップ処理部S201、幾何情報取得部S202、ページ順序判定部S203、ページ順序変更部S204、ファイル生成部S205などを有している。

＜画像読み取り部 S200＞
まず、S200に示す画像読み取り部では、複数枚の原稿をスキャナ部120から取得する。これによりスキャナ部120の読み取りガラス面上に置かれた原稿を読み取り、ビットマップデータ画像としてデータを生成する。生成された画像は、画像処理装置100内のＨＤＤ119内に格納される。画像読み取り部S200で読み取る際の、原稿の配置例について、図４を用いて説明する。図４は、本実施例に係るスキャナ部120で複数枚の原稿を読み取る際の配置例を示す図である。原稿台に置かれた複数枚の原稿として、例えば、A3面積の領域303を読み取ることが可能なスキャナ部120の読み取り面上にユーザが原稿を載置する。載置する原稿として、例えば、定形面積の原稿Ａ300(例えば、A4の納品書など)と複数枚の非定形面積の原稿Ｂ301、原稿Ｃ302(例えば、領収書など)などの原稿を読み取り面上に並べて載置する。なお、本例での３種類の原稿は、原稿Ａ300内に書かれている詳細項目303及び304について、それらを証明する書類がそれぞれ原稿Ｂ301と原稿Ｃ302であり、３枚１セットとなる原稿例である。
以上が、S200に示す画像読み取り部の機能である。

＜マルチクロップ部 S201＞
S201に示すマルチクロップ部では、画像処理装置100内のＣＰＵ111は、ＨＤＤ119内に格納されている読み取り画像を取得し、原稿ごとに分割し、各原稿画像に切り分ける。これにより、S200で読み取った画像内に含まれている複数の原稿画像を取得することができる。画像読み取り部S200で読み取った画像について、図５を用いて説明する。図５の403は取得した画像であり、左上を原点とする幅Xピクセル、高さYピクセル面積の画像である。取得した画像を原稿が置かれた領域ごとに抽出し、400、401、402で示す各原稿(原稿Ａ、原稿Ｂ、原稿Ｃ)の領域の画像を取得する。ＣＰＵ111が、S200で読み取った画像内に含まれている複数の原稿画像内から、原稿部のみを抽出するマルチクロップ処理は、原稿の枠エッジを元に矩形領域を切り出す方法を用いて、画像の切り出しを行う。なお、マルチクロップ処理は公知の分割技術で実現することができる。マルチクロップ処理後の各原稿画像は、画像処理装置100内のＨＤＤ119内に格納される。
以上が、S201に示すマルチクロップ部の機能である。

＜幾何情報取得部S202＞
S202に示す幾何情報取得部では、ＣＰＵ111が、S201で切り出した各原稿画像の画像面積及び、読み取った画像上での各画像が配置されていた位置座標を取得する。なお、S202の処理は、S201のマルチクロップ処理時に同時に行うことも可能である。図５に示すように、各原稿に画像を分割し、その画像の４頂点の座標値を取得する。本実施例では、400(原稿Ａ)の場合、400の４頂点である400{x1,y1}、400{x2,y2}、400{x3,y3}、400{x4,y4}の座標値をＣＰＵ111が取得する。なお、取得した原稿の枚数分の４頂点全てをＣＰＵ111は取得する(400{xi,yi}〜402{xi,yi}:(i=1〜4))。その後、ＣＰＵ111は、取得した各４頂点の座標値から幅、高さの画像面積を算出する。400(原稿Ａ)の場合、ＣＰＵ111は、400の４頂点である400{x1,y1}、400{x2,y2}、400{x3,y3}、400{x4,y4}を取得する。そして、ＣＰＵ111は、幅(400{x1,y1}から400{x2,y2}までの距離)及び、高さ(400{x1,y1}から400{x3,y3}までの距離)を算出する。

算出方法として、置かれた原稿がスキャナの主走査に対し平行に置かれている場合は、以下の式で算出することができる。
幅Ｗ = x2−x1
高さＨ = y3−y1
また、置かれた原稿がスキャナの主走査に対し平行に置かれていない場合は、以下の式で算出することができる。

上記で示した原稿の幅・高さの算出方法は、原稿の幅を上辺、原稿の高さを左辺の長さから算出したが、400{x4,y4}の座標値を用いて、例えば、原稿の幅を上辺と下辺の長さの平均やどちらか値の大きい方を用いるなどの方法であっても良い。同様に原稿の高さも左辺と右辺の長さの平均やどちらか値の大きい方を用いるなどの方法であっても良い。
原稿がスキャナの主操作に対し平行に置かれている場合、具体的には、
幅Ｗ = x2−x1又はx4−x3の大きい方、又は平均
高さＨ = y3−y1又はy4−y2の大きい方、又は平均

加えて、算出した幅・高さを元に画像面積を算出する。算出方法は、幅と高さの乗算によって算出することもできる。なお、400の４頂点に囲まれた領域の面積を算出する方法であれば良く、方法の限定を行うものではない。幾何情報取得部によって取得・算出した座標値・幅・高さ・面積などの数値データは、各原稿画像と共に、画像と紐づく形で画像処理装置100内のＨＤＤ119内に格納される。なお、格納先はＲＯＭ117やＲＡＭ118など、記憶装置112に格納されておけば良い。
以上が、S202に示す幾何情報取得部の機能である。

＜ページ順序判定部 S203＞
S203に示すページ順序判定部では、ＣＰＵ111において、記憶装置112に格納された画像面積及び、読み取った画像上での各画像が配置されていた位置座標を元に各原稿を格納するためのページ順序を判定する。ページ順序判定部S203の手段としては複数の方法が可能であるが、本実施例では、
（１）読み取った画像上での各画像が配置されていた位置座標による方法と、
（２）切り出した各原稿画像の画像面積による方法
の2例について以下で説明する。

（１）読み取った画像上での各画像が配置されていた位置座標による方法
まず、読み取った画像上での各画像が配置されていた位置座標による方法について説明する。幾何情報取得部S202で取得した各原稿の４頂点座標の内、原稿の左上座標と右上座標を用いる。本実施例を説明するため、図６を用いて説明する。図６には読み取り面上に500から503の４枚の原稿が配置されており、それぞれ500{xi,yi}〜503{xi,yi}:(i=1〜4)の座標値が取得されている。読み取った画像上での各画像が配置されていた位置座標によるページ順序判定処理のフローを図７に示す。
S600において、ＣＰＵ111は、各画像の左上座標の内(500{x1,y1}〜503{x1,y1})、最も左にある(X座標値が低い)原稿を検索する。図６の場合、500〜503の原稿内で、502{x1,y1}のx1が最も小さい値であるため、502原稿を選択される。
S601において、ＣＰＵ111は、S600の原稿(502原稿)の右上座標を取得する。図６の場合には、502{x2,y2}となる。
S602において、ＣＰＵ111は、S601の右上座標よりも、左側(X座標値が低い)に左上座標がある画像をすべて検索する。図６の場合には、502{x2,y2}よりもX座標値の低い左上座標(500{x1,y1}〜503{x1,y1})の画像を検索すると、500原稿、502原稿、503原稿が抽出される。

S603において、ＣＰＵ111は、S602の原稿の内、左上座標が最も上にある原稿を検索する。図６の場合では、500原稿、502原稿、503原稿の左上座標(500{x1,y1}〜503{x1,y1})の内、最も上(Y座標値が低い)の原稿を選ぶと、500原稿が選択される。
S604において、ＣＰＵ111は、S603で選択した原稿の順序を決定する。図６の場合には、500原稿が1番となる。
S605において、ＣＰＵ111は、すべて画の原稿の順序が決まったか否かを判定し、全原稿の順序が決まっている場合には処理を終了する。順序が決まっていない原稿がある場合には、S604で順序が決まった原稿を除いて、S600からS604の処理をＣＰＵ111が行う。
ＣＰＵ111は、S600からS605の処理を行うことで、左部に置かれてかつ上部の原稿から順序を決めることができる。図６の場合には、500、502、503、501の順で順序が決められる。図５の場合には、原稿Ａ、原稿Ｂ、原稿Ｃの順となる。
なお、実施例では左側に置かれた原稿を優先して順序を決めたが、右側を優先的に決定することもできる。その場合においては、501、500、502、503の順で順序が決められる。

（２）切り出した各原稿画像の画像面積による方法
次に、切り出した各原稿画像の画像面積により順序を決定する方法について説明する。幾何情報取得部S202で取得した各原稿の面積値を用いる。S203において各原稿の画像面積をソート処理によって降べき順で並べる。図５の場合、
原稿Ａの面積＞原稿Ｂの面積＞原稿Ｃの面積
となるため、原稿Ａ、原稿Ｂ、原稿Ｃの順とする。また、各原稿同士の面積を比較した場合、同じ面積の原稿が見つかった場合には、表示・操作部121にそれらの原稿を表示し、ユーザに同面積の原稿の順序を選択してもらうこともできる。
本実施例では、読み取った画像上での各画像が配置されていた位置座標による方法と、切り出した各原稿画像の画像面積による方法の2例を説明した。しかしながら、これに限らず、座標情報や面積情報、各原稿画像の幅・高さ、幅と高さの比率など幾何情報を用いて順序を決める方法であればどのようなものでも良い。
以上が、S203に示すページ順序判定部の機能である。

＜ページ順序変更部204＞
S204に示すページ順序変更部は、S203においてＣＰＵ111が自動的に決定した順序に並べた各原稿のサムネイル画像の表示・操作部121に画像を表示し、ユーザに順序の確認及び、順序の変更を行わせるためのＵＩ表示を行う。
図８の700は、表示・操作部121を示した図である。700上に、701で示すＵＩ画面(表示及び、操作機能を有す)と、702に示すハードボタンがある。ＣＰＵ111は、701上に、順序の確認及び、修正をさせる旨を通知する。本実施例では、ページ順序の確認と変更させるためのメッセージ表示領域703に表示する。S203において決定した順序に各原稿画像のサムネイル画像(704〜706)を並べて表示する。

ユーザは、図８(a)に表示されているページの並び順序を確認し、その順序で良い場合には、そのまま保存ボタン707を押下し保存を実行する。ユーザが、順序を変更したい場合には、表示・操作部121の画面上で変更の操作を行う。例えば、サムネイル画像704と705のページの間にサムネイル画像706のページを挿入したい場合、ユーザは、サムネイル画像706が表示された表示・操作部121をタッチし、ドラッグアンドドロップ操作を行う。それにより、サムネイル画像704と705の間に移動させることで容易に順序の変更を行うことが可能である。順序を変更すると、図８(b)に示すように表示されているサムネイル画像705、706が変更され順序が確定される。ページの順序を変更後、ユーザは最終確認を行い、保存ボタン707を押下し保存を実行する。
なお、本実施例で説明したページ順序の確認及び変更の方法は一例であり、1ページ目から順にサムネイル画像をタッチして選択する方法や、ハードキーでページ番号を入力する方法など種々のものがあり、上記方法に限定するものではない。
以上が、S204に示すページ順序変更部の機能である。

＜ファイル生成部 S205＞
S205に示すファイル生成部では、画像処理装置100内のＣＰＵ111において、記憶装置112に格納された画像及び、S204で最終決定された順序を基に、複数ページのファイル生成を行う。複数の画像をページ毎に分け保存し、１ファイルにすることができるフォーマットとしては、PDF(Portable Document Format)が挙げられる。また、XPS(XML Paper Specification)、マルチページTIFFなどが挙げられる。それらのフォーマットとしてファイルを作成する際、制御部110は、マルチクロップで切り出した各原稿画像を、S204で最終決定された順序に従い各ページ並べて１つのファイルに格納する。

図９に出来上がるファイルのイメージを示す。ＣＰＵ111はS201のマルチクロップ処理部で切り出した各原稿画像である原稿Ａ300、原稿Ｂ301、原稿Ｃ302と、S204で確認及び変更したページの順序を利用し、図９に示すような順でファイルを生成する。ここで、変更したページの順序は、１ページ目が原稿Ａ300、２ページ目が原稿Ｃ302、３ページ目が原稿Ｂ301である。出来上がるファイルは各原稿にページが区切られており、１ページ目が原稿Ａ300、２ページ目が原稿Ｃ302、３ページ目が原稿Ｂ301の順で保存が行われている。
以上が、S205に示すファイル生成部の機能である。

S205で作成したファイルは、画像処理装置100内のＨＤＤ119内に保存しても良いし、ファイルデータをＰＣ101やモバイル端末103に送信して、保存しておいても良い。
以上のように、実施例１では、原稿台に並べて載置された複数ページ１セットの原稿を読み込み、複数ページを１ファイルに変換したい場合、自動的に初期順序を決めることが可能となる。また初期順序を提示し、ユーザによるページ順序の指定変更も容易に可能であり、ユーザの作業を減らすことが可能となる。
〔実施例２〕

実施例１では、原稿台に並べて載置された複数ページ１セットの原稿を読み込み、複数ページを１ファイルに変換する場合、各画像の位置座標や画像面積などの幾何情報を用いて自動的に初期順序を決める構成を説明した。
ところで、図１１に示すサンプルのように名刺の画像の場合には、(a)(b)(c)はマルチクロップ処理で切り出されほぼ同程度の面積の画像となる。また、(a)と(c)は会社が同じ名刺でありレイアウトも類似する原稿であり、一方、(b)は(a)及び(c)とは会社名も異なり,又レイアウトも類似しない原稿である。それらを幾何情報だけで順序を決定すると、本来まとめておきたい同種類の原稿同士がページ順序としてひとまとめに並ばない可能性がある。ユーザとしては、同種類の原稿を簡便にページ順にまとめてファイル化したいという要望がある。

そこで、実施例２では、マルチクロップ処理を実行して切り出した画像同士の画像の類似度を求めて、同種類の画像同士が並ぶよう自動で順序を求めることができる構成について説明する。以下、図１０を用いて説明する。
図１０には、図３の構成に加え、画像類似度判定部S206及び、類似原稿順序判定部S207が設けられている。

＜画像類似度判定部 S206＞
S206に示す画像類似度判定部では、画像処理装置100内のＣＰＵ111においてS202の幾何情報取得部において画像面積が同等程度であった原稿同士の画像の類似度を判定する。図１１のサンプルの例では、(a)と(b)、(b)と(c)、(a)と(c)のそれぞれについて判定を行い、(a)と(c)の類似度が高く、(a)と(b)及び、(b)と(c)の類似度が低い結果が出力される。

−類似判定手法−
画像の類似性が高いか否かを判定する方法はいくつかあるが、ここでは例として四つの手法を説明する。なお、判定手法に関しては、公知技術でよく、画像同士の類似性が判定できる手法であれば良い。

（１）差分画像
一つ目の手法として、画像同士のパターンマッチングで位相を合わせ、画像同士の差分を求め、二乗平均誤差やSN比から、類似性が高いか否かを判定する手法がある。例えば、二枚の画像同士のマッチングを取り相関係数の高い位置を元に画像同士の位相を合わせ、画像に描画されているオブジェクトの位置を合わせる。画像の位相を一致させた上で、画像配列をピクセル毎に減算などを行い、画像差分を算出する。その差分画像から、二乗平均誤差やSN比を算出し、二乗平均誤差やSN比が特定の閾値より高いか否かで類似性が高いか否かを判定する。

（２）ヒストグラムの差分
二つ目の手法として、二枚の画像のヒストグラムを取得し、ヒストグラムの差分を求め、類似性が高いか否かを判定する手法がある。二枚の原稿画像の信号値のヒストグラムを取得する。ヒストグラムを取得する場合、RGB画像の場合、３チャンネルでもよいし、RGB信号を統合し１チャンネル化してもよい。取得した二枚のヒストグラムの差分を算出し、その差分の累積値が特定の閾値より高いか否かで類似性が高いか否かを判定する。

（３）平均画素値
三つ目の手法として、平均画素値の差分が一定値以内の範囲にあるか否かを判定する手法がある。ぞれぞれの画像の平均画素値を算出し、その平均画素値の差分が一定値以内の範囲にあるか否かで類似性が高いか否かを判定する。

（４）aHash法
四つ目の手法として、aHash(Average Hash)法を用い、二枚の画像の輝度値の平均をそれぞれ求め、平均より大なら１でそれ以外は０として値を算出し、画素ごとに算出した０と１が同じか以下か比較する。
以上のような手法を用いて、画像類似度判定部S206において、原稿の類似性を判定する。
以上が、S206に示す画像類似度判定部の機能である。

＜類似原稿順序判定部 S207＞
S207に示す類似原稿順序判定部では、画像処理装置100内のＣＰＵ111においてS206の画像類似度判定部において判定した画像の類似度を基に類似度が高いものが近いページとなるように順序の入れ替えを行う。図１１のサンプルの例では、(a)と(b)、(b)と(c)、(a)と(c)の類似度判定を行い、(a)と(c)の類似度が高く、(a)と(b)及び、(b)と(c)の類似度が低い結果が出力されている。その場合には、(a)と(c)が並ぶ順序とするため、例えば(a)(b)(c)となっていた順序を、(a)(c)(b)となるように入れ替えを行う。このように各原稿同士の類似度により順序を入れ替えることにより、同種類の原稿同士がひとまとめに並ぶようにできる。
以上が、S207に示す類似原稿順序判定部の機能である。
以上のように示した実施例２によって、各原稿の類似度を判断し、同種類の原稿同士が並ぶよう自動順序決定が可能となる。
〔実施例３〕

実施例１及び実施例２においては、すべて自動で初期順序の決定を行う構成を説明した。しかしながら、原稿画像の面積が近いものが複数あるなど、実施例１、２のものでも適切な初期順序の決定をすることができないことがある。実施例３では、初期順序の決定の際においてユーザが一部決定できる構成を説明する。
図１２は、実施例3における処理フローを示している。図１２は、図３の構成に加え、順序変更ＵＩ表示部S208を設ける。

＜順序変更Ｕ１表示部 S208＞
S208に示す順序変更ＵＩ表示部では、画像処理装置100内のＣＰＵ111において順序変更のＵＩ表示を行う。この順序変更ＵＩ表示は、常に表示をする、もしくは、画像処理装置100内のＣＰＵ111において順序変更ＵＩ表示を行うかの判定を行い、表示を行う場合に画像処理装置100の表示・操作部121に表示を行ってもよい。例えば、幾何情報取得部S202において取得した幾何情報を用いるだけではページ順序判定部S203においてページ順序が推定できない場合がある。
具体的には、各原稿画像の面積によって降べき順で順序を決める場合、同じ面積(または、面積の近いものも含む)の画像が複数枚ある場合がある。以上のような、幾何情報だけでは原稿の順序を決められないと判定した場合においては、表示・操作部121に対し順序変更のＵＩ表示を行う。表示・操作部121に表示する順序変更のＵＩ表示を図１３に示す。

図１３は、図８で示した表示・操作部121と同様であり、701で示すＵＩ画面の表示内容として、本実施例では、ページ順序を問うためのメッセージをメッセージ表示領域703に表示する。708から710はS203において決定できずに指示が必要な各原稿画像のサムネイル画像を並べ表示する。このＵＩに従い、ユーザは表示・操作部121を操作し、順序を決める。順序の変更は、例えば原稿画像をドラッグアンドドロップにより、指定の順序に変更する。
または、表示・操作部121に表示しているサムネイル画像をタッチした順番に順序を変更してもよい。表示・操作部121に表示しているサムネイル画像に最初にタッチした画像が１ページ目となる、タッチした際にサムネイル画像に順番を表示することでユーザに順番を知らせることができる。２ページ目以降も同様に、すべての切り出された画像に対して、表示・操作部121に表示しているサムネイル画像をタッチして、同様の表示を行う。

ここでは、マルチクロップ処理で切り出したすべての画像に対して、順序の指示を行う説明をしたが、任意ページまでを指定させることも可能である。例えば、マルチクロップ処理で切り出された画像が５枚あったときに、切り出された画像の２枚に対して、１ページ目、２ページ目の指示をユーザが行う。そして、残りの３枚に対しては、指示をしない場合は、表示されている順序など、ユーザの指示なしにページを決定することも可能とする。ユーザによって一部の順序を決めさせたうえで、711の確定を実行し、順序の決定を完了する。

本実施例では、初期順序を自動で決められない場合の例を示したが、その他、マルチクロップ処理を実行し、ファイル化する際の初期順序を決める際に、トップページのみを指定させる場合や、特定のページまでの範囲を指定させることもできる。
以上が、S208に示す順序変更ＵＩ表示部の機能である。
以上説明した実施例３においては、自動で初期順序を決める際、ユーザにより一部指定が可能となる。

本発明は、画像処理装置100のみで行うものだけでなく、システム全体で、上記機能を実現できればよく、画像読み取りを画像処理装置100が行い、画像処理装置100から画像データをＰＣ101等が受信し、画像処理するようにしても良い。

(その他の実施例)
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

Claims (6)

1. 画像処理装置であって、
   原稿台に載置された複数枚の原稿を読み取り、読取画像を生成する読み取り手段と、
   前記読み取り手段によって生成された読取画像に対してマルチクロップ処理を行うことにより、前記複数枚の原稿それぞれに対応する複数の原稿画像を取得する取得手段と、
   前記取得手段によって取得された前記複数の原稿画像同士の類似度を判定する判定手段と、
   前記取得手段によって取得された前記複数の原稿画像それぞれの画像面積と、前記取得手段によって取得された前記複数の原稿画像それぞれの前記読取画像における位置座標と、前記判定手段によって判定された類似度とに基づいて、前記複数の原稿画像のページ順序を決定する決定手段と、
   前記取得手段によって取得された前記複数の原稿画像を、前記決定手段によって決定されたページ順序にしたがって並べて初期表示し、さらに、当該初期表示された前記複数の原稿画像に対するドラッグアンドドロップ操作に基づいて当該初期表示された複数の原稿画像のページ順序を変更可能なＵＩ画面を表示する表示手段と、
   前記表示手段で表示されたＵＩ画面において前記初期表示されたページ順序が変更された場合は、当該変更後のページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成し、
   前記表示手段で表示されたＵＩ画面において前記初期表示されたページ順序が変更されなかった場合は、前記決定手段によって決定されたページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成するファイル生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記決定手段は、前記類似度が高い原稿画像同士がひとまとめに並ぶようにするとともに、前記複数の原稿画像それぞれの前記画像面積に基づいて、前記画像面積の大きいものから順に前記複数の原稿画像のページ順序を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の原稿画像それぞれの画像面積と、前記複数の原稿画像それぞれの前記読取画像における位置座標と、前記判定手段によって判定された類似度とに基づいて、ほぼ同じ画像面積であり且つ前記類似度が高い原稿画像同士がひとまとめに並ぶように前記複数の原稿画像のページ順序を決定することを特徴とする請求項１に記載の画像処理装置。
4. 画像読み取り装置と画像処理装置からなる画像処理システムであって、
   前記画像読み取り装置は、
   原稿台に載置された複数枚の原稿を読み取り、読取画像を生成する読み取り手段と、
   前記読み取り手段によって生成された読取画像をネットワークを介して前記画像処理装置に送信する手段とを有し、
   前記画像処理装置は、
   受信した前記読取画像に対してマルチクロップ処理を行うことにより、前記複数枚の原稿それぞれに対応する複数の原稿画像を取得する取得手段と、
   前記取得手段によって取得された前記複数の原稿画像同士の類似度を判定する判定手段と、
   前記取得手段によって取得された複数の原稿画像それぞれの画像面積と、前記取得手段によって取得された複数の原稿画像それぞれの前記読取画像における位置座標と、前記判定手段によって判定された類似度とに基づいて、前記複数の原稿画像のページ順序を決定する決定手段と、
   前記取得手段によって取得された前記複数の原稿画像を、前記決定手段によって決定されたページ順序にしたがって並べて初期表示し、さらに、当該初期表示された前記複数の原稿画像に対するドラッグアンドドロップ操作に基づいて当該初期表示された複数の原稿画像のページ順序を変更可能なＵＩ画面を表示する表示手段と、
   前記表示手段で表示されたＵＩ画面において前記初期表示されたページ順序が変更された場合は、当該変更後のページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成し、
   前記表示手段で表示されたＵＩ画面において前記初期表示されたページ順序が変更されなかった場合は、前記決定手段によって決定されたページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成するファイル生成手段と、
   を備えたことを特徴とする画像処理システム。
5. 画像処理装置の制御方法であって、
   原稿台に載置された複数枚の原稿を読み取ることによって生成された読取画像に対してマルチクロップ処理を行うことにより、前記複数枚の原稿それぞれに対応する複数の原稿画像を取得する取得工程と、
   前記取得工程で取得された前記複数の原稿画像同士の類似度を判定する判定工程と、
   前記取得工程で取得された前記複数の原稿画像それぞれの画像面積と、前記取得工程で取得された前記複数の原稿画像それぞれの前記読取画像における位置座標と、前記判定工程で判定された類似度とに基づいて、前記複数の原稿画像の順序を決定する決定工程と、
   前記取得工程で取得された前記複数の原稿画像を、前記決定工程で決定されたページ順序にしたがって並べて初期表示し、さらに、当該初期表示された前記複数の原稿画像に対するドラッグアンドドロップ操作に基づいて当該初期表示された複数の原稿画像のページ順序を変更可能なＵＩ画面を表示する表示工程と、
   前記表示工程で表示されたＵＩ画面において前記初期表示されたページ順序が変更された場合は、当該変更後のページ順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成し、
   前記表示工程で表示されたＵＩ画面において前記初期表示されたページ順序が変更されなかった場合は、前記決定工程で決定された順序にしたがって並べた前記複数の原稿画像を含む１つのファイルを生成するファイル生成工程と、
   を備えたことを特徴とする制御方法。
6. 請求項５に記載の制御方法を、コンピュータに実行させるためのプログラム。

Images