JP2020178168A - 画像形成装置 - Google Patents

Abstract

【課題】集約された画像を分割する際に、分割された画像を並び替える手間を抑制できる画像形成装置を提供する。【解決手段】画像形成装置１００は、学習部２１８と、撮像部２と、分割部２１１と、第１抽出部２１２とを備える。学習部２１８は、文字と文字との繋がりを推定するために、文書を含む文書データを学習する。撮像部２は、複数の文書が集約されて形成されたシートを撮像して、撮像データを生成する。分割部２１１は、撮像データを文書ごとに分割して、分割データを生成する。分割データは、第１分割データと第１分割データと異なる第２分割データとを含む。第１抽出部２１２は、第１分割データから第１文字を抽出し、第２分割データから第２文字を抽出する。学習部２１８は、第１文字と第２文字とが入力されることで、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。【選択図】図２

Description

本発明は、画像形成装置に関する。

特許文献１に記載の画像処理装置は、判定手段と、第１サムネイル生成手段と、表示手段とを備える。判定手段は、入力されたドキュメントが、その１ページにＮ（Ｎ≧２）ページ分の原稿内容がまとめられているＮ−ｕｐドキュメントであるか否かを判定する。第１サムネイル生成手段は、判定手段によってＮ−ｕｐドキュメントであると判定された場合に、Ｎページの各々のサムネイルである第１サムネイルを生成する。表示手段は、第１サムネイルをプレビュー表示する。特許文献１に記載の画像処理装置の表示手段は、１ｕｐドキュメントをプレビュー表示できる。

特開２０１０−２８２０５号公報

しかしながら、Ｎ−ｕｐドキュメントのように複数の画像が集約された画像を、画像ごとに分割する場合、画像の順序が連続するように並ばないことがある。したがって、特許文献１に記載の画像形成装置では、ユーザーには、画像の順序を並び替える手間が発生する。

本発明は上記課題に鑑みてなされたものであり、集約された画像を分割する際に、分割された画像を並び替える手間を抑制できる画像形成装置を提供することを目的とする。

本発明に係る画像形成装置は、文書を示す文書データに基づいて、シートに文書を形成する。画像形成装置は、学習部と、撮像部と、分割部と、第１抽出部とを備える。前記学習部は、文字と文字との繋がりを推定するために、前記文書を含む文書データを学習する。前記撮像部は、複数の文書が集約されて形成されたシートを撮像して、撮像データを生成する。前記分割部は、前記撮像データを１ページ分の前記文書ごとに分割して、複数の分割データを生成する。前記第１抽出部は、前記分割データの各々から文字を抽出する。前記分割データは、第１分割データと前記第１分割データと異なる第２分割データとを含む。前記第１抽出部は、前記第１分割データが含む第１文書から第１文字を抽出し、前記第２分割データが含む第２文書から第２文字を抽出する。前記第１文書は、前記１ページ分の分割データによって表される文書を示す。前記第２文書は、前記第１文書と異なる前記１ページ分の分割データによって表される文書を示す。前記第１文字は前記第１文書の記載が始まる位置を示す文頭又は前記第１文書の記載が終わる位置を示す文末のうち、いずれか一方の位置に含まれる文字である。前記第２文字は前記第２文書の記載が始まる位置を示す文頭又は前記第２文書の記載が終わる位置を示す文末のうち、前記第１文字が含まれる位置と異なる位置の文字である。前記学習部は、前記第１文字と前記第２文字とが入力されることで、前記第１文字と前記第２文字との繋がりの程度を示す推定結果を出力する。

本発明の画像形成装置によれば、集約された画像を分割する際に、分割された画像を並び替える手間を抑制できる。

本発明の実施形態１に係る画像形成装置の構成を示す図である。 本実施形態１に係る制御部の構成を示す図である。 本実施形態１におけるタッチパネル部に表示された選択画面を示す図である。 本実施形態１における分割データを示す分割画像を表示した表示画面を示す図である。 本実施形態１における分割データを示す分割画像を表示した表示画面を示す別の図である。 本実施形態１における制御部が実行する処理を示すフローチャートである。 本実施形態１における第１決定処理を示すフローチャートである。 本発明の実施形態２に係る制御部の構成を示す図である。 本実施形態２における分割データを示す分割画像を表示した表示画面を示す図である。 本実施形態２における分割データを示す分割画像を表示した表示画面を示す別の図である。 本実施形態２における制御部が実行する処理を示すフローチャートである。 本実施形態２における制御部が実行する第２決定処理を示すフローチャートである。 本実施形態２における制御部が実行する選択処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。また、本発明の実施形態において、Ｘ軸、Ｙ軸、及びＺ軸は互いに直交し、Ｘ軸及びＹ軸は水平方向に平行であり、Ｚ軸は鉛直方向に平行である。

［実施形態１］
まず、図１を参照して、本発明の実施形態１に係る画像形成装置１００の構成について説明する。図１は、画像形成装置１００の構成を示す図である。画像形成装置１００は、カラー複合機である。また、画像形成装置１００は、パーソナルコンピューターと通信可能に接続されていてもよい。

図１に示すように、画像形成装置１００は、画像形成ユニット１、画像読取ユニット２、原稿搬送ユニット３、及び操作表示部４を備える。画像形成ユニット１は、シートＰに画像を形成する。

画像読取ユニット２は、シートＲに形成された画像を読み取り、画像を表す撮像データを生成する。具体的には、画像読取ユニット２は、シートＲを撮像してシートＲを表す撮像データを生成する。シートＲは、原稿である。シートＲは、画像が形成されたシートＰを示す。画像は文書を含む。また、画像は複数の文書が集約された画像を含む。画像読取ユニット２は、「撮像部」の一例に相当する。画像読取ユニット２は、コンタクトガラス、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ミラー、キャリッジ、結像レンズ、及び、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を備えている。ＬＥＤ及びミラーは、キャリッジによって支持されている。

画像読取ユニット２によるシートＲの画像読取方法には、フラットベッド読取モード、及び、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）読取モードの２種類の方法が存在する。フラットベッド読取モードでは、原稿載置用ガラス上に載置されたシートＲの画像を読み取る。ＡＤＦ読取モードでは、原稿搬送ユニット３によってシートＲを搬送させ、シートＲが読取位置を通過する際に、シートＲの画像を読み取る。原稿搬送ユニット３がシートＲを移動させながら、ＣＣＤがシートＲの画像の読み取りを行い、画像を表す撮像データを生成する。シートＲは、例えば、普通紙、コピー紙、再生紙、薄紙、厚紙、又は光沢紙、又はＯＨＰ（Ｏｖｅｒｈｅａｄ Ｐｒｏｊｅｃｔｏｒ）シートである。

原稿搬送ユニット３は、シートＲを画像読取ユニット２に搬送する。

操作表示部４は、タッチパネル４１と、操作ボタン４２とを有する。タッチパネル４１は、表示装置４３とタッチセンサー４５とを有する。表示装置４３は種々の画像を表示する。表示装置４３は、例えば液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）である。タッチセンサー４５はユーザーからの操作を受け付ける。また、操作ボタン４２はユーザーからの操作を受け付ける。

タッチパネル４１は、ユーザーからの操作を受け付ける度に、ユーザーからの操作の内容を示す操作情報を生成する。具体的には、タッチパネル４１には、複数のアイコンが表示される。そして、ユーザーは、アイコンをタップする。タッチパネル４１は、操作情報として、アイコンがタップされたことを示す情報を生成する。

操作表示部４は、ユーザーからの操作に基づいて、タッチパネル４１に表示する画像を変更する。具体的には、操作表示部４は、タッチパネル４１に表示された複数のアイコンのうち、ユーザーによって操作されたアイコンに対応する画像をタッチパネル４１に表示する。また、操作表示部４は、タッチパネル４１に表示する画像に対応する情報を、記憶部２２から読み出す。

画像形成ユニット１は、搬送機構１１、給送部１２、トナー供給部１３、画像形成部１４、定着部１５、排出部１６、制御部２１及び記憶部２２を含む。画像形成ユニット１は、搬送路Ｌを有する。

搬送路Ｌは、給送部１２から排出部１６までシートＰを案内する。搬送路Ｌは、給送部１２から排出部１６まで延びる。

搬送機構１１は、シートＰを搬送する。具体的には、搬送機構１１は、シートＰを画像形成部１４及び定着部１５を経由して排出部１６まで搬送する。また、搬送機構１１は、定着部１５で画像が定着されたシートＰを反転して画像形成部１４へ搬送できる。

給送部１２は、シートＰを搬送路Ｌへ供給する。シートＰは、例えば、普通紙、コピー紙、再生紙、薄紙、厚紙、又は光沢紙、又はＯＨＰ（Ｏｖｅｒｈｅａｄ Ｐｒｏｊｅｃｔｏｒ）シートである。

トナー供給部１３には、複数のトナーコンテナが装着される。複数のトナーコンテナのうちの１つは、シアン色のトナーが収納される。複数のトナーコンテナのうちの１つは、マゼンタ色のトナーが収納される。複数のトナーコンテナのうちの１つは、イエロー色のトナーが収納される。複数のトナーコンテナのうちの１つは、黒色のトナーが収納される。

画像形成部１４は、画像をシートＰに形成する。具体的には、画像形成部１４は、複数のシートＰに複数の画像を形成する。画像形成部１４は、転写部を含む。転写部は、画像をシートＰに転写する。その結果、シートＰに画像が形成される。

画像形成部１４は、複数の画像形成部を含む。複数の画像形成部のうちの１つは、シアン色のトナー像を形成する。複数の画像形成部のうちの１つは、マゼンタ色のトナー像を形成する。複数の画像形成部のうちの１つは、イエロー色のトナー像を形成する。複数の画像形成部のうちの１つは、ブラック色のトナー像を形成する。

画像形成部１４は、転写部と、像担持体と、帯電部と、露光部と、現像部とを含む。

転写部は、トナー画像をシートＰに転写する。転写部は、中間転写ベルトを含む。中間転写ベルトは、無端状のベルトである。中間転写ベルトには、複数色のトナー像が形成される。具体的には、中間転写ベルトには、複数の画像形成部１４が中間転写ベルトにトナー像を形成する。この結果、複数色のトナー像が中間転写ベルト上で重畳され、中間転写ベルト上に画像が形成される。そして、中間転写ベルトに形成された画像は、シートＰに転写される。その結果、シートＰに画像が形成される。

像担持体は、ドラム形状であり、回転軸を有する。像担持体は、回転軸を中心に時計回りに回転する。像担持体は、外周面側に感光層を有する。

帯電部は像担持体の感光層を所定の電位に帯電する。露光部は、像担持体の感光層にレーザー光を照射して露光する。露光部は画像データに基づいて像担持体を露光する。この結果、像担持体に静電潜像が形成される。

現像部は像担持体上の静電潜像を現像する。現像部は現像ローラーを有する。現像ローラーは、像担持体にトナーを供給し、像担持体上の静電潜像を現像してトナー画像を形成する。この結果、像担持体の外周面にトナー画像が形成される。

転写部は、像担持体の外周面に形成されたトナー画像をシートＰに転写する。その結果、シートＰにトナー画像が転写される。

定着部１５は、シートＰを加熱及び加圧し、シートＰに形成された画像をシートＰに定着する。具体的には、定着部１５は、シートＰを加熱及び加圧し、シートＰに形成されたトナー画像をシートＰに定着する。

排出部１６は、シートＰを画像形成装置１００の外部へ排出する。定着部１５がトナー画像をシートＰに定着させた後、搬送機構１１はシートＰを定着部１５から排出部１６まで搬送する。そして、排出部１６はトナー画像の定着したシートＰを画像形成装置１００の外部に排出する。

制御部２１は、画像形成装置１００の動作を制御する。制御部２１は、プロセッサーと記憶装置とを含む。プロセッサーは、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。プロセッサーは、記憶装置に記憶された制御プログラムを実行して、操作表示部４、搬送機構１１、給送部１２、画像形成部１４、定着部１５、及び排出部１６を制御する。

記憶部２２は、記憶装置を含む。具体的には、記憶部２２は、半導体メモリーのようなメモリーを備え、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を備えてもよい。記憶部２２は、制御プログラムを記憶している。

次に図２を参照して、制御部２１の構成を詳しく説明する。図２は、本実施形態に係る制御部２１の構成を示す図である。制御部２１は、学習部２１８、分割部２１１、及び第１抽出部２１２を含む。制御部２１は、制御プログラムを実行することで、学習部２１８、分割部２１１、及び第１抽出部２１２として機能する。

分割部２１１は、画像読取ユニット２が生成した撮像データを１ページ分の文書ごとに分割して、複数の分割データを生成する。分割データは、第１分割データと第２分割データとを含む。第２分割データは、第１分割データと異なる分割データを示す。

第１抽出部２１２は、分割データの各々から文字を抽出する。具体的には、第１抽出部２１２は、第１分割データが含む第１文書から第１文字を抽出する。第１文書は、１ページ分の分割データによって表される文書を示す。第１文字は、第１文書の文頭又は文末のうち、いずれか一方の位置に含まれる文字である。具体的には、第１文字は第１文書の記載が始まる位置を示す文頭又は第１文書の記載が終わる位置を示す文末のうち、いずれか一方の位置に含まれる文字である。

また、第１抽出部２１２は、第２分割データが含む第２文書から第２文字を抽出する。第２文書は、第１文書と異なる１ページ分の分割データによって表される文書を示す。第２文字は第２文書の記載が始まる位置を示す文頭又は第２文書の記載が終わる位置を示す文末のうち、第１文字が含まれる位置と異なる位置の文字である。

また、第１文字と第２文字との各々は、単一の文字、単語、及び形態素を含む。形態素は、意味を持つ最小の単位の表現要素を示す。したがって、複数の言語に対応できる。この結果、複数の言語の文字と文字との繋がりを推定できる。

学習部２１８は、文字と文字との繋がりを推定するために、文書データを学習する。この結果、文書データに基づいて、文字と文字との繋がりを容易に推定できる。

学習は、機械学習を含む。機械学習は、例えば教師あり学習、教師なし学習、及び強化学習を含む。機械学習は、例えば、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又はサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）によって実行される。ニューラルネットワークは、入力層、隠れ層（中間層）、及び出力層を有する。ニューラルネットワークは、誤差逆伝播法（バックプロパゲーション）により、出力層での出力値と最適解との誤差を少なくする。

また、機械学習は、深層学習（ディープラーニング）であってもよい。深層学習は、入力層、２層以上の隠れ層、及び出力層を有するニューラルネットワークによって構成される。具体的には、深層学習は、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ボルツマンマシン（Ｂｏｌｔｚｍａｎ ｍａｃｈｉｎｅ）によって構成される。

また、本実施形態の学習部２１８は、第１文字と第２文字とが入力されることで、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。したがって、文書に記載されている文字に基づいて、ユーザーが文書を並び変える必要がない。この結果、集約された画像を分割する際の、文書を並び変える手間を抑制できる。

例えば、一般的に、会議で使用した「２ｉｎ１」のような集約された文書を保管する際に、ユーザーは画像形成装置の分割機能を利用する。複数の文書が集約された資料を分割する場合、画像読取ユニット２がシートＲを読み取った方向などから、文書が順序通りに並ばないことがある。このような場合、ユーザーは文書を目視で確認し、文脈に基づいて、自ら文書の順序を並び替えて文書を保管する。しかしながら、学習部２１８が文字と文字との繋がりの程度を推定するため、ユーザーは、推定結果に基づいて、文書を並び替えることができる。この結果、文書を並び替える手間を抑制できる。

また、本実施形態の学習部２１８が学習する文書データは、画像形成装置１００がシートＰに形成する文書を示すデータである。画像形成装置１００が複数の文書を集約して１枚のシートＰに形成する文書の文書データを学習部２１８が学習する。したがって、学習部２１８に入力される第１文字と第２文字とは、文書データに含まれるため、学習部２１８の学習精度は向上する。この結果、推定結果の精度が向上する。

例えば、画像形成装置１００は、会議で使用する文書をシートＰに形成する。具体的には、画像形成装置１００に入力される文書データに基づいて、画像形成装置１００は、会議で使用する文書をシートＰに形成する。シートＰには、複数の文書が集約される。そして学習部２１８は、文書データを学習する。その後、画像読取ユニット２は、シートＲを読み取って、撮像データを生成する。シートＲは、複数の文書が集約されたシートＰである。更に、撮像データの文書をもとに分割データは生成される。また、学習部２１８には、分割データから取得された第１文字と第２文字とが入力される。つまり、学習部２１８に入力される第１文字と第２文字とは、既に学習部２１８が学習した学習データに含まれる。したがって、学習部２１８は、精度の良い推定結果を出力できる。なお、学習データは、記憶部２２に記憶されている。

なお、学習部２１８が学習する文書データは、画像形成装置１００に入力された文書データを含んでもよい。したがって、実際にシートＰに形成されなかった文書の画像データも、学習部２１８は学習できる。

また、本実施形態の学習部２１８は、文書データと、文書データに対応するページ番号とを更に学習する。この結果、学習精度が向上し、文字と文字との繋がりを推定する精度が向上する。

また、学習部２１８は、文書データに対して、自然言語処理を実行する。自然言語処理は、自然言語をコンピューターに処理させる一連の技術である。自然言語は、人間と人間とが意思疎通のために使用する言語である。自然言語処理は、形態素解析、構文解析、意味解析及び文脈解析を含む。

学習部２１８は、文書データに対して、形態素解析を実行する。形態素解析は、意味を持つ最小の単位の形態素に区分する処理である。学習部２１８は、文書データに含まれるテキストを記憶部２２に記憶された辞書データに基づいて、文書を形態素に区分する。そして、学習部２１８は、形態素解析の結果に基づいて、構文解析を実行する。構文解析は、形態素と形態素との関連性を解析する処理である。関連性は、例えば、形態素と形態素との修飾関係である。更に、学習部２１８は、構文解析の結果に基づいて、意味解析を実行する。意味解析は、構文解析の結果に基づいて、構文木を決定する処理である。構文木は、構文解析の経過及び結果を木構造で示すものである。更に、学習部２１８は、意味解析の結果に基づいて、文脈解析を実行する。文脈解析は、文と文との関連性を解析する処理である。文は、主語と述語を含み、完結した１つの陳述を示す。学習部２１８は、自然言語処理の結果に基づいて、学習する。自然言語処理の結果は、学習データとして記憶部２２に記憶される。

引き続き、図２を参照して、制御部２１の構成を詳細に説明する。制御部２１は、第１決定部２１３を更に含む。制御部２１は、制御プログラムを実行することで、第１決定部２１３として機能する。

第１決定部２１３は、分割データの順序を決定する。具体的には、第１決定部２１３は、学習部２１８の推定結果に基づいて、分割データの順序を決定する。更に具体的には、第１決定部２１３は、第１文字と第２文字とを学習部２１８に入力し、学習部２１８が出力する第１文字と第２文字との繋がりの程度を示す推定結果に基づいて、第１分割データと第２分割データとの順序を決定する。

したがって、文書に記載されている文字に基づいて、ユーザーが文書を並び変える必要がない。この結果、集約された画像を分割する際の、文書を並び変える手間を抑制できる。

また、実施形態１の第１抽出部２１２は、第１文書の文末に位置する第１文字を抽出し、第２文書の文頭に位置する第２文字を抽出する。そして、第１決定部２１３は、第１文字と第２文字とを学習部２１８に入力し、学習部２１８から出力された推定結果に基づいて、第１分割データと第２分割データとの順序を決定する。したがって、第１文書と第２文書と続けて読むことができる。この結果、集約されてばらばらになった文書を１つの繋がりのある文書とすることができる。

また、実施形態１の第１抽出部２１２は、第１文字と第２文字とを抽出する。第１文字は、第１文書の文末に位置する。第２文字は、第２文書の文頭に位置する。そして、第１決定部２１３は、第１文字と第２文字とを学習部２１８に入力し、学習部２１８から出力された推定結果に基づいて、第１分割データと第２分割データとの順序を決定する。したがって、第１文書と第２文書と続けて読むことができる。この結果、集約されてばらばらになった文書を１つの繋がりのある文書とすることができる。

次に、図２と図３とを参照して、操作表示部４に表示された選択画面５０を説明する。図３は、タッチパネル部４１に表示された選択画面５０を示す図である。選択画面５０は、画像形成装置１００のコピー機能を選択する操作ボタン４２を操作することで、タッチパネル部４１に表示される。選択画面５０には、用紙選択アイコン５１、縮小／拡大アイコン５２、濃度設定アイコン５３、両面／分割設定アイコン５４、ページ集約設定アイコン５５、ソート／仕分け設定アイコン５６、機能一覧アイコン５７、及び、お気に入りアイコン５８が表示されている。

用紙選択アイコン５１は、シートＰのサイズを選択する場合に、ユーザーによって操作される。縮小／拡大アイコン５２は、シートＰに形成された画像を拡大又は縮小する場合に、ユーザーによって操作される。濃度設定アイコン５３は、コピー濃度を設定する場合に、ユーザーによって操作される。両面／分割設定アイコン５４は、両面又は片面の設定、及び「２ｉｎ１」のような複数の画像が集約された画像を、画像ごとに分割する場合にユーザーによって操作される。ページ集約設定アイコン５５は、「２ｉｎ１」のようなページ集約を設定する場合に、ユーザーによって操作される。ソート／仕分け設定アイコン５６は、ソート有無のような仕分け条件を設定する場合に、ユーザーによって操作される。機能一覧アイコン５７は、各種の機能を説明する機能一覧画面をタッチパネル４１に表示する場合に、ユーザーによって操作される。お気に入りアイコン５８は、ユーザーが使用する頻度が高いアイコンをタッチパネル４１に表示する場合に、ユーザーによって操作される。

また、図３に示すように、ユーザーＨ１の手の指（例えば、人差し指）によって、両面／分割設定アイコン５４がタップされる。この操作に応じて、タッチパネル部４１は、両面／分割設定アイコン５４に対応する画面を表示する。なお、手は、タッチパネル４１に表示されない。

次に、図２〜図４を参照して、両面／分割設定アイコン５４に対応する画面を説明する。図４は、分割データを示す分割画像Ｄを表示した表示画面１１０を示す図である。図４に示すように、表示画面１１０は、第１表示領域１１１と第２表示領域１１２とを含む。

第１表示領域１１１は、撮像データを示す撮像画像ＲＧ１を表示するプレビュー画像１１３と戻るボタン１１４とが表示される。図４に示す撮像画像ＲＧ１は、２つの画像を１枚のシートＲに集約した「２ｉｎ１」の画像である。撮像画像ＲＧ１は、撮像データが複数の文書を含む場合、撮像画像ＲＧ１も複数表示される。戻るボタン１１４は、図３に示す選択画面５０に戻るためのボタンである。

第２表示領域１１２には、分割データを示す複数の分割画像Ｄが表示される。複数の分割画像Ｄの各々は、１ページ分の分割データによって表される画像を示す。図４に示す複数の分割画像Ｄは、第１分割画像Ｄ１と第２分割画像Ｄ２とを含む。

第１分割画像Ｄ１は、例えば、複数のページのうちの２ページ目の文書を示す画像である。第１分割画像Ｄ１は、文書を含む。第１分割画像Ｄ１は、第１文頭領域ＢＳ１と第１文末領域ＥＳ１とを含む。

第１文頭領域ＢＳ１は、第１分割画像Ｄ１に含まれる文書のうち、文頭部分が位置する領域を示す。文頭部分は、１ページ分の分割データによって表される画像に含まれる文書のうち、文書の記載が始まる位置を含む。図４に示す第１文頭領域ＢＳ１には、「ｍｕｌｔｉｆｕｎｃｔｉｏｎ ｄｅｖｉｃｅｓ・・・・」という文字列が位置する。

第１文末領域ＥＳ１は、第１分割画像Ｄ１に含まれる文書のうち、文末部分が位置する領域を示す。文末部分は、１ページ分の分割データによって表される画像に含まれる文書のうち、文書の記載が終わる位置を含む。図４に示す第１文末領域ＥＳ１には、「・・・・ｏｐｔｉｍａｌｌｙ」という文字列が位置する。

第２分割画像Ｄ２は、例えば、複数のページのうちの１ページ目の文書を示す画像である。第２分割画像Ｄ２は、文書を含む。第２分割画像Ｄ２は、第２文頭領域ＢＳ２と第２文末領域ＥＳ２とを含む。

第２文頭領域ＢＳ２は、第２分割画像Ｄ２に含まれる文書のうち、文頭部分が位置する領域を示す。図４に示す第２文頭領域ＢＳ２には、「Ｔｏｋｋｙｏ Ｃｏ．，Ｌｔｄ．・・・・」という文字列が位置する。

第２文末領域ＥＳ２は、第２分割画像Ｄ２に含まれる文書のうちの文末部分が位置する領域を示す。図４に示す第２分割画像Ｄ２の第２文末領域ＥＳ２には、「・・・・ｐｒｉｎｔｅｒｓ ａｎｄ」という文字列が位置する。

また、図４に示す第１分割画像Ｄ１は、第１表示領域１１１から第２表示領域１１２へ向かう方向の上流側に位置する。図４に示す第２分割画像Ｄ２は、第１表示領域１１１から第２表示領域１１２へ向かう方向の下流側に位置する。したがって、図４では２ページ目の第１分割画像Ｄ１が上流側に位置し、１ページ目の第２分割画像Ｄ２が下流側に位置する。

図４に示す第１分割画像Ｄ１と図４に示す第２分割画像Ｄ２とに撮像画像ＲＧ１を分割する場合、制御部２１は、操作表示部４が分割設定を行う表示画面１１０を表示するように、操作表示部４を制御する。図４に示す表示画面１１０を操作表示部４のタッチパネル４１に表示する場合、図３に示す両面／分割設定アイコン５４のタッチ操作を２回行う。なお、タッチ操作が１回の場合、両面設定の画面が操作表示部４に表示される。分割設定アイコン５４が２回タッチ操作された場合、画像読取ユニット２は、シートＲを撮像してシートＲを表す撮像データを取得する。シートＲは、画像が形成されたシートである。シートＲに形成された画像は、複数の画像が集約された画像である。画像読取ユニット２が撮像した撮像データは、制御部２１に送信される。

制御部２１は、撮像データを受信する。そして、制御部２１は、撮像データの所定領域の輝度を取得する。所定領域は、複数の画像が集約された場合に、互いに隣り合う画像と画像との間に形成される領域を示す。また、集約する画像の数に応じて、所定領域のパターンが変更される。集約された画像が２つの場合、所定領域のパターンは、例えば、撮像画像を２つに分断する１本の直線の形状となる。集約された画像が４つの場合、所定領域のパターンは、例えば、撮像画像を４つに分断する十字の形状となる。

また、制御部２１は、所定領域の輝度が所定の階調か否かを判定する。所定の階調は、例えば、白色を示す。そして、分割部２１１は、白色の階調を示す所定領域に基づいて、撮像データを分割する。例えば、分割部２１１は、撮像データを第１分割データと第２分割データとに分割する。

更に、制御部２１は、分割データに対して文字認識処理を実行する。文字認識処理は、典型的には、光学的文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：ＯＣＲ）処理である。制御部２１は、分割データに対して文字認識処理を実行して、文字画像を検索する。具体的には、制御部２１は、複数の方向から分割データに対して文字認識処理を実行する。したがって、文字画像を検索する精度が向上する。この結果、制御部２１は、検索した文字画像に基づいて、精度のよいテキスト情報を取得できる。

また、複数の画像を集約する場合、画像データの向きを変更して集約される。そして、分割部２１１の分割データの向きは、撮像データが画像読取ユニット２に撮像された際の向きと同じになる。したがって、分割データに含まれる文書の向きは、一般的に認識される文字の向きと異なる。制御部２１は、複数の方向から分割データに対して文字認識処理を行い、文字画像を最も多く検索できた向きに分割データの向きを修正する。この結果、ユーザーが分割データを確認する際に、分割データを認識することが容易となる。

そして、制御部２１は、第１分割データを示す第１分割画像Ｄ１を図４に示す第２表示領域１１２に表示するように、操作表示部４を制御する。制御部２１は、第１分割データを示す第２分割画像Ｄ２を図４に示す第２表示領域１１２に表示するように、操作表示部４を制御する。

次に、図２〜図５を参照して、第１決定部２１３が第１分割データと第２分割データとの順序を決定するまでの処理を説明する。図５は、分割データを示す分割画像Ｄを表示した表示画面１１０を示す別の図である。図５に示すように、表示画面１１０は、第１表示領域１１１と第２表示領域１１２とを含む。

第１表示領域１１１には、撮像データを示す撮像画像ＲＧ１を表示する。撮像画像ＲＧ１は、プレビュー画像１１３と戻るボタン１１４とを含む。第２表示領域１１２には、分割データを示す複数の分割画像Ｄが表示される。図５に示す複数の分割画像Ｄは、第１分割画像Ｄ１と第２分割画像Ｄ２とを含む。

図５に示す第１分割画像Ｄ１は、第１表示領域１１１から第２表示領域１１２へ向かう方向の下流側に位置する。図５に示す第２分割画像Ｄ２は、第１表示領域１１１から第２表示領域１１２へ向かう方向の上流側に位置する。したがって、図５では１ページ目の第２分割画像Ｄ２が上流側に位置し、２ページ目の第１分割画像Ｄ１が下流側に位置する。つまり、ページ番号が上流側から昇順に並んでいる。

また、図５に示す第２分割画像Ｄ２の第２文末領域ＥＳ２に位置する文字と、第１分割画像Ｄ１の第１文頭領域ＢＳ１に位置する文字とは、文字と文字とを繋げて意味を成す文字列である。具体的には、図５に示すように、第２文末領域ＥＳ２に位置する「ａｎｄ」という単語と、第１分割画像Ｄ１の第１文頭領域ＢＳ１に位置する「ｍｕｌｔｉｆｕｎｃｔｉｏｎ」という単語とは、「ａｎｄ ｍｕｌｔｉｆｕｎｃｔｉｏｎ」という単語の列となっている。

図５に示すように、文字と文字とを繋げて意味をなす文字列とする場合、第１抽出部２１２は、分割データの各々から文字を抽出する。例えば、制御部２１が分割データごとに生成したテキストデータに基づいて、第１抽出部２１２は、文字又は文字列を抽出する。具体的には、第１抽出部２１２は、図４に示す第１分割画像Ｄ１に含まれる文書の第１文頭領域ＢＳ１から「ｍｕｌｔｉｆｕｎｃｔｉｏｎ」という単語を抽出する。第１分割画像Ｄ１に含まれる文書は、「第１文書」の一例に相当する。第１文頭領域ＢＳ１から抽出した単語は、「第１文字」の一例に相当する。そして、第１抽出部２１２は、図４に示す第２分割画像Ｄ２に含まれる文書の第２文末領域ＥＳ２から「ａｎｄ」という単語を抽出する。第２分割画像Ｄ２に含まれる文書は、「第２文書」の一例に相当する。第２文末領域ＥＳ２から抽出した単語は、「第２文字」の一例に相当する。

そして、第１決定部２１３は、学習部２１８に第１文字と第２文字とを入力する。更に学習部２１８は、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。例えば、学習部２１８には、第２文末領域ＥＳ２の「ａｎｄ」と第１文頭領域ＢＳ１の「ｍｕｌｔｉｆｕｎｃｔｉｏｎ」とが入力される。そして、学習部２１８は、「ａｎｄ」と「ｍｕｌｔｉｆｕｎｃｔｉｏｎ」との繋がりの程度を示す推定結果を出力する。

また、第１抽出部２１２は、図４に示す第１分割画像Ｄ１の第１文末領域ＥＳ１と第２分割画像Ｄ２の第２文頭領域ＢＳ２とから文字を抽出してもよい。具体的には、第１抽出部２１２は、図４に示す第１分割画像Ｄ１の第１文末領域ＥＳ１から「ｏｐｔｉｍａｌｌｙ」という単語を抽出する。第１抽出部２１２は、図４に示す第２分割データを示す第２分割画像Ｄ２の第２文頭領域ＢＳ２から「Ｔｏｋｋｙｏ」という単語を抽出する。

そして、第１決定部２１３は、学習部２１８に第１文字と第２文字とを入力する。更に学習部２１８は、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。例えば、学習部２１８には、第１文末領域ＥＳ１の「ｏｐｔｉｍａｌｌｙ」と第２文頭領域ＢＳ２の「Ｔｏｋｋｙｏ」とが入力される。そして、学習部２１８は、「ｏｐｔｉｍａｌｌｙ」と「Ｔｏｋｋｙｏ」との繋がりの程度を示す推定結果を出力する。

そして、第１決定部２１３は、学習部２１８が出力する第１文字と第２文字との繋がりの程度を示す推定結果に基づいて、第１分割データと第２分割データとの順序を決定する。具体的には、「ａｎｄ」と「ｍｕｌｔｉｆｕｎｃｔｉｏｎ」との繋がりの程度を示す推定結果と「ｏｐｔｉｍａｌｌｙ」と「Ｔｏｋｋｙｏ」との繋がりの程度を示す推定結果とを比較して、繋がりの程度が大きい推定結果に基づいて、第１決定部２１３は第１分割データと第２分割データとの順序を決定する。

更に、制御部２１は、第１決定部２１３の決定に基づいて、操作表示部４が第１分割画像Ｄ１と第２分割画像Ｄ２とを表示するように、操作表示部４を制御する。したがって、図５に示すように、第１分割画像Ｄ１と第２分割画像Ｄ２とは、ページの順に並ぶ。この結果、第１分割画像Ｄ１と第２分割画像Ｄ２とを続けて読むことができる。

また、学習部２１８の推定結果と第１決定部２１３の決定結果とは、学習部２１８に学習される。したがって、学習部２１８は、文書データとページ番号と推定結果と決定結果とで再学習する。この結果、精度の良い推定結果を出力できる。

次に、図６を参照して、実施形態１の制御部２１が実行する処理を説明する。図６は、制御部２１が実行する処理のフローチャートを示す。制御部２１が実行する処理は、ステップＳ１０１〜ステップＳ１０８を含む。

ステップＳ１０１において、制御部２１は、操作表示部４が選択画面５０を表示するように、操作表示部４を制御する。処理は、ステップＳ１０２に進む。

ステップＳ１０２において、制御部２１は、操作表示部４から取得した信号が画像データを分割する指示を含むか否かを判定する。画像データを分割する指示を含まない場合（ステップＳ１０２において、Ｎｏ）、処理は終了する。画像データを分割する指示を含む場合（ステップＳ１０２において、Ｙｅｓ）、処理はステップＳ１０３に進む。

ステップＳ１０２でＹｅｓの場合、ステップＳ１０３において、制御部２１は、画像読取ユニット２が生成した撮像データを取得する。処理は、ステップＳ１０４に進む。

ステップＳ１０４において、分割部２１１は、撮像データを文書ごとに分割して、分割データを生成する。処理は、ステップＳ１０５に進む。

ステップＳ１０５において、制御部２１は、分割データに対して文字画像の検索を実行し、文書に対応するテキスト情報を取得する。処理は、ステップＳ１０６に進む。

ステップＳ１０６において、制御部２１は、文字画像の取得率に基づいて、分割データの向きを修正する。具体的には、制御部２１は、文字画像を最も多く検索できた向きに分割データの向きを修正する。処理は、ステップＳ１０７に進む。

ステップＳ１０７において、制御部２１は、第１決定処理を実行する。第１決定処理については、図７を参照して後述する。処理は、ステップＳ１０８に進む。

ステップＳ１０８において、学習部２１８は、文書データとページ番号と推定結果と決定結果とを学習する。処理は、終了する。

次に、図７を参照して、制御部２１が実行する第１決定処理を説明する。図７は、第１決定処理のフローチャートを示す図である。第１決定処理は、ステップＳ２０１〜ステップＳ２１０を含む。図７に示す第１決定処理は、図６に示すステップＳ１０７に対応する。

ステップＳ２０１において、第１抽出部２１２は、第１分割データが含む第１文書の第１文末領域ＥＳ１から第１文字を抽出する。処理は、ステップＳ２０２に進む。

ステップＳ２０２において、第１抽出部２１２は、第２分割データが含む第２文書の第２文頭領域ＢＳ２から第２文字を抽出する。処理は、ステップＳ２０３に進む。

ステップＳ２０３において、第１決定部２１３は、第１文書の文末に位置する第１文字と第２文書の文頭に位置する第２文字とを学習部２１８に入力する。処理は、ステップＳ２０４に進む。

ステップＳ２０４において、学習部２１８は、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。処理は、ステップＳ２０５に進む。

ステップＳ２０５において、第１抽出部２１２は、第１分割データが含む第１文書の第１文頭領域ＢＳ１から第１文字を抽出する。処理は、ステップＳ２０６に進む。

ステップＳ２０６において、第１抽出部２１２は、第２分割データが含む第２文書の第２文末領域ＥＳ２から第２文字を抽出する。処理は、ステップＳ２０７に進む。

ステップＳ２０７において、第１決定部２１３は、第１文書の文頭に位置する第１文字と第２文書の文末に位置する第２文字とを学習部２１８に入力する。処理は、ステップＳ２０８に進む。

ステップＳ２０８において、学習部２１８は、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。処理は、ステップＳ２０９に進む。

ステップＳ２０９において、制御部２１は、他に分割データがあるか否かを判定する。他に分割データがある場合（ステップＳ２０９において、Ｙｅｓ）、処理はステップＳ２０１に戻る。他に分割データがない場合（ステップＳ２０９において、Ｎｏ）、処理はステップＳ２１０に進む。

ステップＳ２０９でＮｏの場合、ステップＳ２１０において、第１決定部２１３は、第１分割データと第２分割データとの順序を決定する。処理は図６に示すステップＳ１０８に戻る。

［実施形態２］
次に、図８を参照して、実施形態２の画像形成装置１００を説明する。実施形態２の画像形成装置１００は、第２抽出部２１４、第２決定部２１５、判定部２１６、及び選択部２１７を有する点で、実施形態１の画像形成装置１００と異なる。以下、実施形態２について、実施形態１と異なる事項について説明し、実施形態１と重複する部分についての説明は割愛する。

図８は、実施形態２の制御部２１の構成を示す図である。制御部２１は、分割部２１１、第１抽出部２１２、第１決定部２１３、学習部２１８、第２抽出部２１４、及び第２決定部２１５を含む。制御部２１は、制御プログラムを実行することで、分割部２１１、第１抽出部２１２、第１決定部２１３、学習部２１８、第２抽出部２１４、及び第２決定部２１５として機能する。分割部２１１、第１抽出部２１２、第１決定部２１３、及び学習部２１８については、実施形態１と同様のため、説明を省略する。

第２抽出部２１４は、文書の所定領域に位置する記号を抽出する。記号は、文字及び数字を含む。文書の所定領域は、文書のヘッダーの領域又は文書のフッターの領域を含む。したがって、第２抽出部２１４は、文書に付されたページ番号を取得できる。

第２決定部２１５は、第２抽出部２１４の抽出結果に基づいて、第１分割データと第２分割データとの順序を決定する。第１決定部２１３の結果に合わせて第２決定部２１５の結果も取得できる。この結果、精度良く第１分割データと第２分割データとの順序を決定できる。

次に、図８〜図１０を参照して、第２決定部２１５が第１分割データと第２分割データとの順序を決定する処理を説明する。図９は、分割データを示す分割画像Ｄを表示した表示画面１１０を示す図である。図９に示すように、表示画面１１０は、第１表示領域１１１と第２表示領域１１２とを含む。

第１表示領域１１１は、撮像データを示す撮像画像ＲＧ２を表示するプレビュー画像１１３と戻るボタン１１４とが表示される。図９に示す撮像画像ＲＧ２は、４つの画像を１枚のシートＲに集約した「４ｉｎ１」の画像である。

第２表示領域１１２には、分割データを示す複数の分割画像Ｄが表示される。図９に示す複数の分割画像Ｄは、第１分割画像Ｄ１と第２分割画像Ｄ２と第３分割画像Ｄ３と第４分割画像Ｄ４とを含む。

第１分割画像Ｄ１は、例えば、複数のページのうちの３ページ目の文書を示す画像である。第１分割画像Ｄ１は、文書を含む。第１分割画像Ｄ１は、第１文頭領域ＢＳ１と第１文末領域ＥＳ１と第１抽出領域ＣＴ１とを含む。図９に示す第１分割画像Ｄ１の第１文頭領域ＢＳ１には、「ａｒｒａｎｇｅｓ・・・・」という文字列が位置する。図９に示す第１分割画像Ｄ１の第１文末領域ＥＳ１には、「・・・ｗｈｉｃｈ ｐｒｏｖｉｄｅｓ」という文字列が位置する。図９に示す第１分割画像Ｄ１の第１抽出領域ＣＴ１には、「３」という記号が位置する。

第２分割画像Ｄ２は、例えば、複数のページのうちの４ページ目の文書を示す画像である。第２分割画像Ｄ２は、文書を含む。第２分割画像Ｄ２は、第２文頭領域ＢＳ２と第２文末領域ＥＳ２と第２抽出領域ＣＴ２とを含む。図９に示す第２分割画像Ｄ２の第２文頭領域ＢＳ２には、「ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｓｅｒｖｉｃｅｓ・・・・」という文字列が位置する。図９に示す第２分割画像Ｄ２の第２文末領域ＥＳ２には、「・・・・ｉｎ ｔｈｅ ＵＫ．」という文字列が位置する。図９に示す第２分割画像Ｄ２の第２抽出領域ＣＴ２には、「４」という記号が位置する。

第３分割画像Ｄ３は、例えば、複数のページのうちの１ページ目の文書を示す画像である。第３分割画像Ｄ３は、文書を含む。第３分割画像Ｄ３は、第３文頭領域ＢＳ３と第３文末領域ＥＳ３と第３抽出領域ＣＴ３とを含む。図９に示す第３分割画像Ｄ３の第３文頭領域ＢＳ３には、「Ｔｏｋｋｙｏ Ｃｏ．，Ｌｔｄ．・・・・」という文字列が位置する。図９に示す第３分割画像Ｄ３の第３文末領域ＥＳ３には、「・・・・ｐｒｉｎｔｅｒｓ ａｎｄ」という文字列が位置する。図９に示す第３分割画像Ｄ３の第３抽出領域ＣＴ３には、「１」という記号が位置する。

第４分割画像Ｄ４は、例えば、複数のページのうちの２ページ目の文書を示す画像である。第４分割画像Ｄ４は、文書を含む。第４分割画像Ｄ４は、第４文頭領域ＢＳ４と第４文末領域ＥＳ４と第４抽出領域ＣＴ４とを含む。図９に示す第４分割画像Ｄ４の第４文頭領域ＢＳ４には、「ｍｕｌｔｉｆｕｎｃｔｉｏｎ ｄｅｖｉｃｅｓ・・・・」という文字列が位置する。図９に示す第４分割画像Ｄ４の第４文末領域ＥＳ４には、「・・・・ｏｐｔｉｍａｌｌｙ」という文字列が位置する。図９に示す第４分割画像Ｄ４の第４抽出領域ＣＴ４には、「２」という記号が位置する。

また、図９に示す第１分割画像Ｄ１と第３分割画像Ｄ３とは、第１表示領域１１１から第２表示領域１１２へ向かう方向の上流側に位置する。第２分割画像Ｄ２と第４分割画像Ｄ４とは、第１表示領域１１１から第２表示領域１１２へ向かう方向の下流側に位置する。したがって、３ページ目を示す第１分割画像Ｄ１は、２ページ目を示す第４分割画像Ｄ４よりも上流に位置する。

また、図９に示す第１分割画像Ｄ１と第２分割画像Ｄ２とは、プレビュー画像１１３から戻るボタン１１４へ向かう方向の上流側に位置する。第３分割画像Ｄ３と第４分割画像Ｄ４とは、プレビュー画像１１３から戻るボタン１１４へ向かう方向の下流側に位置する。したがって、３ページ目を示す第１分割画像Ｄ１及び４ページ目を示す第２分割画像Ｄ２は、１ページ目を示す第３分割画像Ｄ３及び２ページ目を示す第４分割画像Ｄ４よりも上流に位置する。したがって、３ページ目を示す第１分割画像Ｄ１は、１ページ目を示す第３分割画像Ｄ３よりも上流に位置する。つまり、図９に示す第１分割画像Ｄ１〜第４分割画像Ｄ４は、順序通り並んでいない。

図１０は、分割データを示す分割画像Ｄを表示した表示画面１１０を示す別の図である。図１０に示すように、表示画面１１０は、第１表示領域１１１と第２表示領域１１２とを含む。

第１表示領域１１１は、撮像データを示す撮像画像ＲＧ２を表示するプレビュー画像１１３と戻るボタン１１４とが表示される。第２表示領域１１２には、分割データを示す複数の分割画像Ｄが表示される。図１０に示す複数の分割画像Ｄは、第１分割画像Ｄ１と第２分割画像Ｄ２と第３分割画像Ｄ３と第４分割画像Ｄ４とを含む。

また、図１０に示す第３分割画像Ｄ３と第１分割画像Ｄ１とは、第１表示領域１１１から第２表示領域１１２へ向かう方向の上流側に位置する。第４分割画像Ｄ４と第２分割画像Ｄ２とは、第１表示領域１１１から第２表示領域１１２へ向かう方向の下流側に位置する。したがって、１ページ目を示す第３分割画像Ｄ３は、２ページ目を示す第４分割画像Ｄ４よりも上流に位置する。また、３ページ目を示す第１分割画像Ｄ１は、第４ページ目を示す第２分割画像Ｄ２よりも上流に位置する。

また、図１０に示す第３分割画像Ｄ３と第４分割画像Ｄ４とはプレビュー画像１１３から戻るボタン１１４へ向かう方向の上流側に位置する。図１０に示す第１分割画像Ｄ１と第２分割画像Ｄ２とはプレビュー画像１１３から戻るボタン１１４へ向かう方向の下流側に位置する。したがって、第２ページ目を示す第４分割画像Ｄ４は、第１分割画像Ｄ１及び第２分割画像Ｄ２よりも上流に位置する。つまり、図１０に示す第１分割画像Ｄ１〜第４分割画像Ｄ４は、昇順に並んでいる。

図１０に示すように、第１分割画像Ｄ１〜第４分割画像Ｄ４を昇順に並べる場合、第２抽出部２１４は、分割データの各々から記号を抽出する。例えば、制御部２１が分割データごとに生成したテキストデータに基づいて、第２抽出部２１４は、文字を抽出する。具体的には、第２抽出２１４は、図９に示す第１分割画像Ｄ１の第１抽出領域ＣＴ１から「３」という数字を抽出する。第２抽出２１４は、第２分割画像Ｄ２の第２抽出領域ＣＴ２から「４」という数字を抽出する。第２抽出２１４は、第３分割画像Ｄ３の第３抽出領域ＣＴ３から「１」という数字を抽出する。第２抽出２１４は、第４分割画像Ｄ４の第４抽出領域ＣＴ４から「２」という数字を抽出する。

そして、第２決定部２１５は、第２抽出部２１４の抽出結果に基づいて、第１分割データ、第２分割データ、第３分割データ、及び第４分割データの順序を決定する。したがって、１分割データ、第２分割データ、第３分割データ、及び第４分割データが順番に並ぶ。この結果、ユーザーが分割データを並べる手間を抑制できる。

引き続き、図９と図１０とを参照して、分割データが２以上の場合の第１抽出部２１２と第１決定部２１３との処理を説明する。実施形態２の制御部２１は、第１決定部２１３の決定結果と第２決定部２１５の決定結果とを取得できる。

制御部２１が分割データごとに生成したテキストデータに基づいて、第１抽出部２１２は、文字を抽出する。具体的には、第１抽出部２１２は、図９に示す第１分割画像Ｄ１に含まれる文書の第１文頭領域ＢＳ１から「ａｒｒａｎｇｅｓ」という単語を抽出する。第１分割画像Ｄ１に含まれる文書は、「第１文書」の一例に相当する。第１文頭領域ＢＳ１から抽出した単語は、「第１文字」の一例に相当する。

そして、第１抽出部２１２は、図９に示す第２分割画像Ｄ２に含まれる文書の第２文末領域ＥＳ２から「ＵＫ．」という単語を抽出する。第２分割画像Ｄ２に含まれる文書は、「第２文書」の一例に相当する。第２文末領域ＥＳ２から抽出した単語は、「第２文字」の一例に相当する。

そして、第１抽出部２１２は、図９に示す第３分割画像Ｄ３に含まれる文書の第３文末領域ＥＳ３から「ａｎｄ」という単語を抽出する。第３分割画像Ｄ３含まれる文書は、「第２文書」の一例に相当する。第３文末領域ＥＳ３から抽出した単語は、「第２文字」の一例に相当する。

そして、第１抽出部２１２は、図９に示す第４分割画像Ｄ４に含まれる文書の第４文末領域ＥＳ４から「ｏｐｔｉｍａｌｌｙ」という単語を抽出する。第４分割画像Ｄ４含まれる文書は、「第２文書」の一例に相当する。第４文末領域ＥＳ４から抽出した単語は、「第２文字」の一例に相当する。

そして、第１決定部２１３は、学習部２１８に第１文字と第２文字とを入力する。更に学習部２１８は、第１文字と第２文字との繋がりの程度を示す推定結果を出力する。

例えば、学習部２１８には、第２文末領域ＥＳ２の「ＵＫ．」と第１文頭領域ＢＳ１の「ａｒｒａｎｇｅｓ」とが入力される。そして、学習部２１８は、「ＵＫ．」と「ａｒｒａｎｇｅｓ」との繋がりの程度を示す第１推定結果を出力する。

例えば、学習部２１８には、第３文末領域ＥＳ３の「ａｎｄ」と第１文頭領域ＢＳ１の「ａｒｒａｎｇｅｓ」とが入力される。そして、学習部２１８は、「ａｎｄ」と「ａｒｒａｎｇｅｓ」との繋がりの程度を示す第２推定結果を出力する。

例えば、学習部２１８には、第４文末領域ＥＳ４の「ｏｐｔｉｍａｌｌｙ」と第１文頭領域ＢＳ１の「ａｒｒａｎｇｅｓ」とが入力される。そして、学習部２１８は、「ｏｐｔｉｍａｌｌｙ」と「ａｒｒａｎｇｅｓ」との繋がりの程度を示す第３推定結果を出力する。

そして、第１決定部２１３は、学習部２１８が出力する第１文字と第２文字との繋がりの程度を示す推定結果に基づいて、第１分割データと第２分割データとの順序を決定する。具体的には、第１推定結果、第２推定結果、及び第３推定結果を比較して、繋がりの程度が大きい推定結果に基づいて、第１決定部２１３は第１分割データと第２分割データとの順序を決定する。

更に、第１抽出部２１２は、分割画像Ｄごとに、同様の処理を繰り返す。また、第１抽出部２１２が処理を実行する毎に、第１決定部２１３は第１分割データと第２分割データとの順序を決定する。そして、制御部２１は、第１決定部２１３の決定結果に基づいて、図１０に示すように、第１分割画像Ｄ１〜第４分割画像Ｄ４をページの順序に表示する。この結果、第１分割画像Ｄ１〜第４分割画像Ｄ４を続けて読むことができる。

引き続き、図８〜図１０を参照して、実施形態２の制御部２１について更に詳しく説明する。制御部２１は、判定部２１６、及び選択部２１７を更に含む。制御部２１は、制御プログラムを実行することで、判定部２１６、及び選択部２１７として機能する。

判定部２１６は、第１決定部２１３の決定結果と第２決定部２１５の決定結果とが一致するか否かを判定する。したがって、第１決定部２１３の決定結果と第２決定部２１５の決定結果とが一致する場合は、第１決定部２１３と第２決定部２１５との精度が高いと判断できる。また、第１決定部２１３の決定結果と第２決定部２１５の決定結果とが一致しない場合は、第１決定部２１３と第２決定部２１５とのいずれか一方の精度が低いと判断できる。この結果、判定部２１６の判定結果をトリガーに、第１決定部２１３と第２決定部２１５の優劣を判断できる。

選択部２１７は、第１決定部２１３の決定結果と第２決定部２１５の決定結果とのうちのいずれか一方の決定結果を選択する。具体的には、決定結果が一致すると判定部２１６が判定する場合、選択部２１７は第１決定部２１３の決定結果を選択する。また、決定結果が一致しないと判定部２１６が判定する場合、選択部２１７は第１決定部２１３の決定結果と第２決定部２１５の決定結果とのうちのいずれか一方の決定結果を選択する。第１結果と第２結果とが異なる場合、第１結果と第２結果とのうち、どちらかの結果が優先される。したがって、精度よく第１文書と第２文書の順序を決定できる決定部の結果を採用できる。この結果、ユーザーが第１分割データと第２分割データとの順序を決定する手間を抑制できる。

例えば、ユーザーは、決定結果が一致しない場合、第２決定部２１５の決定結果を選択することを予め記憶部２２に記憶させる。したがって、決定結果が一致しないと判定部２１６が判定する場合、選択部２１７は、第２決定部２１５の決定結果を選択する。この結果、学習部２１８の学習が進んでいない場合、第２決定部２１５の決定結果を選択することで精度良く分割データの順序を決定できる。

また、学習部２１８の学習が進んだ場合、ユーザーは第１決定部２１３の決定結果を選択することを予め記憶部２２に記憶させる。したがって、決定結果が一致しないと判定部２１６が判定する場合、選択部２１７は、第１決定部２１３の決定結果を選択する。この結果、学習が進んで精度が向上した推定結果に基づいて決定された第１決定部２１３の決定結果を選択できるため、精度良く分割データの順序を決定できる。

次に、図１１を参照して、実施形態２の制御部２１が実行する処理を説明する。図１１は、制御部２１が実行する処理のフローチャートを示す。制御部２１が実行する処理は、ステップＳ３０１〜ステップＳ３１０を含む。図１１に示すステップＳ３０１〜ステップＳ３０７は、図６に示すステップＳ１０１〜ステップＳ１０７に対応しており、同様の処理を実行する。

ステップＳ３０７の後に、ステップＳ３０８において、制御部２１は、第２決定処理を実行する。第２決定処理は、図１２を参照して後述する。処理は、ステップＳ３０９に進む。

ステップＳ３０９において、制御部２１は、選択処理を実行する。選択処理は、図１３を参照して後述する。処理はステップＳ３１０に進む。

ステップＳ３１０において、学習部２１８は、文書データとページ番号と推定結果と第１決定部２１３の決定結果と第２決定部２１５の決定結果とを学習する。処理は、終了する。

次に、図１２を参照して、第２決定処理を説明する。図１２は、制御部２１が実行する第２決定処理のフローチャートを示す。制御部２１が実行する第２決定処理は、ステップＳ４０１〜ステップＳ４０３を含む。第２決定処理は、図１１に示すステップＳ３０８に対応する。

ステップＳ４０１において、第２抽出部２１４は、分割データに含まれる文書の抽出領域ＣＴに位置する記号を抽出する。処理はステップＳ４０２に進む。

ステップＳ４０２において、制御部２１は、他の分割データがあるか否かを判定する。他の分割データがある場合（ステップＳ４０２において、Ｙｅｓ）、処理はステップＳ４０１に戻る。他の分割データがない場合（ステップＳ４０２において、Ｎｏ）、処理はステップＳ４０３に進む。

ステップＳ４０３において、第２決定部２１５は、第１分割データと第２分割データとの順序を決定する。処理は、図１１に示すステップＳ３０９に戻る。

次に、図１３を参照して、選択処理を説明する。図１３は、制御部２１が実行する選択処理のフローチャートを示す。制御部２１が実行する選択処理は、ステップＳ５０１〜ステップＳ５０３を含む。選択処理は、図１１に示すステップＳ３０９に対応する。

ステップＳ５０１において、判定部２１６は、第１決定部２１３の決定結果と第２決定部２１５の決定結果とが一致するか否かを判定する。決定結果が一致する場合（ステップＳ５０１において、Ｙｅｓ）、処理はステップＳ５０２に進む。決定結果が一致しない場合（ステップＳ５０１において、Ｎｏ）、処理はステップＳ５０３に進む。

ステップＳ５０２でＮｏの場合、ステップＳ５０３において、選択部２１７は予め定められた決定結果を選択する。処理は、図１１に示すステップＳ３１０に戻る。

ステップＳ５０２でＹｅｓの場合、ステップＳ５０２において、選択部２１７は第１決定部２１３の決定結果を選択する。処理は、図１１に示すステップＳ３１０に戻る。

以上、図面を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の各実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の速度、材質、形状、寸法等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。

（１）実施形態２の選択部２１７は、決定結果が一致しないと判定部２１６が判定する場合、選択部２１７は予め定められた決定部の決定結果を選択した。しかし、制御部２１は、決定結果が一致しない場合、ユーザーに分割データの順序を決定させてもよい。そして、ユーザーが決定した順序を学習部２１８が学習する。したがって、学習部２１８は精度良く学習できる。この結果、学習部２１８は、精度の良い推定結果を出力できる。

本発明は、画像形成装置の分野に利用可能である。

２ 画像読取ユニット（撮像部）
２１ 制御部
１００ 画像形成装置
２１１ 分割部
２１２ 第１抽出部
２１３ 第１決定部
２１４ 第２抽出部
２１４ 第２抽出
２１５ 第２決定部
２１６ 判定部
２１７ 選択部
２１８ 学習部
ＣＴ 抽出領域（所定領域）
Ｐ シート
Ｒ シート

Claims (10)

1. 文書を示す文書データに基づいて、シートに文書を形成する画像形成装置であって、
   文字と文字との繋がりを推定するために、前記文書を含む文書データを学習する学習部と、
   複数の文書が集約されて形成されたシートを撮像して、撮像データを生成する撮像部と、
   前記撮像データを１ページ分の前記文書ごとに分割して、複数の分割データを生成する分割部と、
   前記分割データの各々から文字を抽出する第１抽出部と、
   を備え、
   前記分割データは、第１分割データと前記第１分割データと異なる第２分割データとを含み、
   前記第１抽出部は、
   前記第１分割データが含む第１文書から第１文字を抽出し、
   前記第２分割データが含む第２文書から第２文字を抽出し、
   前記第１文書は、前記１ページ分の前記分割データによって表される文書を示し、
   前記第２文書は、前記第１文書と異なる前記１ページ分の前記分割データによって表される文書を示し、
   前記第１文字は前記第１文書の記載が始まる位置を示す文頭又は前記第１文書の記載が終わる位置を示す文末のうち、いずれか一方の位置に含まれる文字であり、
   前記第２文字は前記第２文書の記載が始まる位置を示す文頭又は前記第２文書の記載が終わる位置を示す文末のうち、前記第１文字が含まれる位置と異なる位置の文字であり、
   前記学習部は、前記第１文字と前記第２文字とが入力されることで、前記第１文字と前記第２文字との繋がりの程度を示す推定結果を出力する、画像形成装置。
2. 前記学習部が学習する前記文書データは、前記画像形成装置がシートに形成する前記文書を含むデータである、請求項１に記載の画像形成装置。
3. 前記学習部は、前記文書データと、前記文書データに対応するページ番号とを更に学習する、請求項１又は請求項２に記載の画像形成装置。
4. 前記第１文字と前記第２文字との各々は、単一の文字、単語、及び形態素を含む、請求項１又は請求項２に記載の画像形成装置。
5. 前記第１抽出部は、
   前記第１文書の文末に位置する前記第１文字を抽出し、
   前記第２文書の文頭に位置する前記第２文字を抽出する、請求項１から請求項４のいずれか１項に記載の画像形成装置。
6. 前記第１抽出部は、
   前記第１文書の文頭に位置する前記第１文字を抽出し、
   前記第２文書の文末に位置する前記第２文字を抽出する、請求項１から請求項５のいずれか１項に記載の画像形成装置。
7. 前記学習部の推定結果に基づいて、前記第１分割データと前記第２分割データとの順序を決定する第１決定部を更に備える、請求項１から請求項６のいずれか１項に記載の画像形成装置。
8. 前記文書の所定領域に位置する記号を抽出する第２抽出部と、
   前記第２抽出部の抽出結果に基づいて、前記第１分割データと前記第２分割データとの順序を決定する第２決定部と
   を更に備える、請求項７に記載の画像形成装置。
9. 前記第１決定部の決定結果と前記第２決定部の決定結果とが一致するか否かを判定する判定部と、
   前記第１決定部の決定結果又は前記第２決定部の決定結果を選択する選択部と
   を更に備え、
   前記第１決定部の決定結果と前記第２決定部の決定結果とが一致しないと前記判定部が判定する場合、前記選択部は前記第１決定部の決定結果と前記第２決定部の決定結果とのうちのいずれか一方の決定結果を選択する、請求項８に記載の画像形成装置。
10. 前記学習部は、前記文書データと、前記文書データに対応するページ番号と、前記推定結果と、前記第１決定部の決定結果と、前記第２決定部の決定結果とを学習する、請求項８又は請求項９に記載の画像形成装置。

Images