JP6066108B2 - 電子文書生成システムおよびプログラム - Google Patents

Description

本発明は、電子文書を生成する電子文書生成システムおよびそれに関連する技術に関する。

ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））などの画像形成装置において、原稿をスキャンして電子文書を作成する技術が存在する。

このような技術においては、原稿のスキャン画像をそのまま取り込んで電子文書を生成するものの他、テキストデータ付き電子文書（次述）を生成するものも存在する（特許文献１等参照）。具体的には、原稿のスキャン画像（特に文字を示す画像）に対して光学文字認識処理（以下、ＯＣＲ（Optical Character Recognition）処理とも称する）が施され、当該スキャン画像内の文字のテキストデータが自動認識され、当該テキストデータが非表示状態で当該スキャン画像に重畳して埋め込まれる。このようにして、たとえば、透明テキスト付きＰＤＦ（Portable Document Format）（あるいはサーチャブルＰＤＦ）などと呼ばれる所定形式の電子文書（テキストデータ付き電子文書）が生成される。

特開２０１２−７３７４９号公報

ところで、画像形成装置で生成されたスキャン画像に基づき、当該画像形成装置と連携する外部端末において、電子文書を生成することが考えられる。また、当該外部端末がさらに別の外部装置（たとえばクラウドサーバ）と連携して当該電子文書を生成することも考えられる。より詳細には、外部端末がクラウドサーバに対してスキャン画像を送信し、当該スキャン画像に対するＯＣＲ処理を依頼し、その処理結果をクラウドサーバから受信することが考えられる。

しかしながら、このようなクラウドサーバ９０によって提供されるＯＣＲ処理サービスでは、基本的機能のみ（汎用的なＯＣＲ処理のみ）が提供されることも想定される。汎用的なＯＣＲ処理サービスでは、ＯＣＲ処理結果として、テキストデータのみが依頼元装置に返送される。そのため、テキストデータ付き電子文書の最終的な生成処理は、依頼元装置側で行われることを要する。

この場合、たとえば、スキャン画像に含まれていた一部の情報（ＯＣＲ対象のスキャン画像に含まれる文章の各行の行末の位置あるいはフォントサイズなどの情報）は、クラウドサーバからの返信データには含まれていない。そのため、ＯＣＲ処理結果の文字列を外部端末が電子文書内に配置する際に、複数の行に係る文字列のうち或る行の行末文字の次行以降の文字が本来の位置とは異なる位置に配置されるなどの問題が生じることがある。すなわち、このような情報の欠落等に起因して、外部端末５０は必ずしも十分な電子文書を生成することができないことがある。換言すれば、画像形成装置から受信したスキャン画像およびクラウドサーバからの汎用的なＯＣＲ処理結果だけでは、スキャン画像に基づく電子文書を精緻に構築することが困難である。

そこで、この発明は、画像形成装置からのスキャン画像に基づき、外部端末においてさらに別の外部連携装置と連携して電子文書を生成する技術において、より好適な電子文書を生成することが可能な技術を提供することを課題とする。

上記課題を解決すべく、請求項１の発明は、電子文書生成システムであって、原稿のスキャン画像を生成する画像形成装置と、前記画像形成装置から受信した前記スキャン画像に関する画像データに基づき電子文書を生成する外部端末と、を備え、前記画像形成装置は、前記電子文書の生成処理に利用される補助データであって前記スキャン画像における文字列の各行の区切りを特定するための補助データを生成する補助データ生成手段と、前記補助データを前記外部端末に送信する通信手段と、を有し、前記外部端末は、前記補助データを前記画像形成装置から受信する受信手段と、前記補助データに基づき前記各行の区切りを特定し、前記外部端末とは別の装置である外部連携装置と連携して、前記スキャン画像に関する画像データに基づく前記電子文書を生成する文書生成手段と、を有することを特徴とする。

請求項２の発明は、請求項１の発明に係る電子文書生成システムにおいて、前記外部端末は、前記スキャン画像に関する光学文字認識処理を行うべき旨の指示と、前記スキャン画像に関する画像データとを、前記外部連携装置に送信する送信手段、をさらに有し、前記受信手段は、前記スキャン画像に関する前記光学文字認識処理の処理結果を前記外部連携装置から受信し、前記文書生成手段は、前記処理結果を前記補助データを用いて補足し前記電子文書を生成することを特徴とする。

請求項３の発明は、請求項２の発明に係る電子文書生成システムにおいて、前記画像形成装置の前記補助データ生成手段は、前記スキャン画像における文字列の各行の行末位置を検出し、各行の行末位置特定用の行末特定用文字列を画像化したマーク画像を前記スキャン画像における前記各行の行末位置に付加したマーク付加スキャン画像の画像データを生成するとともに、前記行末特定用文字列を前記補助データとして生成し、前記画像形成装置の前記通信手段は、前記マーク付加スキャン画像の画像データを前記スキャン画像に関する画像データとして前記外部端末に送信し、前記外部端末の前記受信手段は、前記スキャン画像に関する前記光学文字認識処理の処理結果として、前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果を前記外部連携装置から受信し、前記外部端末の前記文書生成手段は、前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成することを特徴とする。

請求項４の発明は、請求項２の発明に係る電子文書生成システムにおいて、前記画像形成装置の前記補助データ生成手段は、前記スキャン画像における文字列の各行の行末文字列を検出し、前記各行の前記行末文字列を前記補助データとして生成し、前記外部端末の前記文書生成手段は、前記処理結果と前記各行の前記行末文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成することを特徴とする。

請求項５の発明は、請求項２の発明に係る電子文書生成システムにおいて、前記補助データは、前記スキャン画像に基づき前記画像形成装置により検出された、前記スキャン画像における文字列の各行の文字のフォントサイズを含み、前記外部端末の前記文書生成手段は、前記処理結果の文字列における各行のフォントサイズを、前記画像形成装置から受信した前記補助データに含まれている前記各行の前記フォントサイズにそれぞれ設定して、前記電子文書を生成することを特徴とする。

請求項６の発明は、請求項２の発明に係る電子文書生成システムにおいて、前記補助データは、前記スキャン画像に基づき前記画像形成装置により検出された、前記スキャン画像における複数の文字領域の各位置を含み、前記外部端末の前記送信手段は、前記スキャン画像に含まれる前記複数の文字領域に関する各画像データと当該各画像データに関する光学文字認識処理を行うべき旨の指示とを、前記外部連携装置に送信し、前記外部端末の前記受信手段は、前記各画像データに関する前記光学文字認識処理の処理結果をそれぞれ前記外部連携装置から受信し、前記外部端末の前記文書生成手段は、前記外部連携装置から受信した前記各画像データに関する前記処理結果と、前記画像形成装置から受信した前記補助データに含まれている前記複数の文字領域の各位置とに基づいて、前記各画像データに関する前記処理結果に係る文字列を前記複数の文字領域の各位置に配置して、前記電子文書を生成することを特徴とする。

請求項７の発明は、請求項１の発明に係る電子文書生成システムにおいて、前記画像形成装置の前記補助データ生成手段は、前記スキャン画像における文字列の各行の行末位置を検出するとともに、各行の行末位置特定用の行末特定用文字列を画像化したマーク画像を前記スキャン画像における前記各行の行末位置に付加したマーク付加スキャン画像の画像データを、前記補助データとして生成し、前記外部端末は、前記マーク付加スキャン画像の画像データに関する光学文字認識処理を行うべき旨の指示と前記マーク付加スキャン画像の画像データとを、前記外部連携装置に送信する送信手段、をさらに有し、前記外部端末の前記受信手段は、前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果を前記外部連携装置から受信し、前記文書生成手段は、前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成することを特徴とする。

請求項８の発明は、請求項４の発明に係る電子文書生成システムにおいて、前記画像形成装置の前記補助データ生成手段は、前記各行の前記行末文字列の検出処理を、前記外部連携装置による前記光学文字認識処理に並行して実行することを特徴とする。

請求項９の発明は、請求項５の発明に係る電子文書生成システムにおいて、前記画像形成装置の前記補助データ生成手段は、前記各行の文字のフォントサイズの検出処理を、前記外部連携装置による前記光学文字認識処理に並行して実行することを特徴とする。

請求項１０の発明は、画像形成装置から受信したスキャン画像に関する画像データに基づき電子文書を生成する外部端末に内蔵されたコンピュータに、ａ）前記電子文書の生成処理に利用される補助データであって前記スキャン画像における文字列の各行の区切りを特定するための補助データを前記画像形成装置から受信するステップと、ｂ）前記補助データに基づき前記各行の区切りを特定し、前記外部端末とは別の装置である外部連携装置と連携して、前記スキャン画像に関する画像データに基づく前記電子文書を生成するステップと、を実行させるためのプログラムであることを特徴とする。

請求項１１の発明は、請求項１０の発明に係るプログラムにおいて、前記ステップｂ）は、ｂ−１）前記スキャン画像に関する光学文字認識処理を行うべき旨の指示と、前記スキャン画像に関する画像データとを、前記外部連携装置に送信するステップと、ｂ−２）前記スキャン画像に関する前記光学文字認識処理の処理結果を前記外部連携装置から受信するステップと、ｂ−３）前記処理結果を前記補助データを用いて補足して前記電子文書を生成するステップと、を有することを特徴とする。

請求項１２の発明は、請求項１１の発明に係るプログラムにおいて、前記ステップａ）は、ａ−１）前記ステップｂ−３）よりも前に、行末特定用文字列を前記補助データとして前記画像形成装置から受信するステップ、を有し、前記ステップｂ）は、ｂ−４）前記行末特定用文字列を画像化したマーク画像を前記スキャン画像における文字列の各行の行末位置に付加したマーク付加スキャン画像の画像データを、前記スキャン画像に関する画像データとして、前記ステップｂ−１）よりも前に前記画像形成装置から受信するステップ、をさらに有し、前記ステップｂ−１）においては、前記マーク付加スキャン画像の画像データが前記スキャン画像に関する画像データとして前記外部連携装置に送信され、前記ステップｂ−２）においては、前記スキャン画像に関する前記光学文字認識処理の処理結果として、前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果が受信され、前記ステップｂ−３）においては、前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置が特定され、前記処理結果に係る文字列が複数の行に区分されて、前記電子文書が生成されることを特徴とする。

請求項１３の発明は、請求項１１の発明に係るプログラムにおいて、前記ステップａ）は、ａ−１）前記ステップｂ−３）よりも前に、前記スキャン画像における文字列の各行の行末文字列を前記補助データとして前記画像形成装置から受信するステップ、を有し、前記ステップｂ−３）においては、前記処理結果と前記各行の前記行末文字列とに基づいて前記処理結果の文字列における本来の行末位置が特定され、前記処理結果に係る文字列が複数の行に区分され、前記電子文書が生成されることを特徴とする。

請求項１４の発明は、請求項１１の発明に係るプログラムにおいて、前記ステップａ）は、ａ−１）前記ステップｂ−３）よりも前に、前記補助データを前記画像形成装置から受信するステップ、を有し、前記補助データは、前記スキャン画像における文字列の各行の文字のフォントサイズを含み、前記ステップｂ−３）においては、前記処理結果の文字列における各行のフォントサイズが、前記画像形成装置から受信した前記補助データに含まれている前記各行の前記フォントサイズにそれぞれ設定されて、前記電子文書が生成されることを特徴とする。

請求項１５の発明は、請求項１１の発明に係るプログラムにおいて、前記ステップａ）は、ａ−１）前記ステップｂ−３）よりも前に、前記補助データを前記画像形成装置から受信するステップ、を有し、前記補助データは、前記スキャン画像における複数の文字領域の各位置を含み、前記ステップｂ−１）においては、前記スキャン画像に含まれる前記複数の文字領域の各画像データに関する光学文字認識処理を行うべき旨の指示が前記外部連携装置に送信され、前記ステップｂ−２）においては、前記各画像データに関する前記光学文字認識処理の各処理結果が前記外部連携装置から受信され、前記ステップｂ−３）においては、前記外部連携装置から受信した前記各画像データに関する各処理結果と、前記画像形成装置から受信した前記補助データに含まれている前記複数の文字領域の各位置とに基づいて、前記各画像データに関する前記各処理結果に係る文字列が前記複数の文字領域の各位置に配置され、前記電子文書が生成されることを特徴とする。

請求項１６の発明は、請求項１０の発明に係るプログラムにおいて、前記ステップａ）は、ａ−１）行末位置特定用の行末特定用文字列を画像化したマーク画像を前記スキャン画像における文字列の各行の行末位置に付加したマーク付加スキャン画像の画像データを、前記補助データとして受信するステップ、を有し、前記ステップｂ）は、ｂ−１）前記マーク付加スキャン画像の画像データに関する光学文字認識処理を行うべき旨の指示と前記マーク付加スキャン画像の画像データとを、前記外部連携装置に送信するステップと、ｂ−２）前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果を前記外部連携装置から受信するステップと、ｂ−３）前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成するステップと、を有することを特徴とする。

請求項１ないし請求項１６に記載の発明によれば、画像形成装置からのスキャン画像に基づき、外部端末においてさらに別の外部連携装置と連携して電子文書を生成するに際して、より好適な電子文書を生成することが可能である。

画像形成システムを示す図である。 ＭＦＰ（画像形成装置）の機能ブロックを示す図である。 外部端末の概略構成を示す機能ブロック図である。 電子文書生成システムにおける動作の概略を示す図である。 電子文書生成システムにおける動作の概略を示す図である。 電子文書生成システムにおける動作を示すフローチャートである。 第２実施形態に係る動作の概略を示す図である。 第２実施形態に係る動作の概略を示す図である。 第２実施形態に係る動作を示すフローチャートである。 第３実施形態に係る動作の概略を示す図である。 第３実施形態に係る動作の概略を示す図である。 第３実施形態に係る動作を示すフローチャートである。 第４実施形態に係る動作の概略を示す図である。 第４実施形態に係る動作の概略を示す図である。 第４実施形態に係る動作を示すフローチャートである。 第５実施形態に係る動作の概略を示す図である。 第５実施形態に係る動作の概略を示す図である。 第５実施形態に係る動作を示すフローチャートである。 変形例に係る動作を示すフローチャートである。 別の変形例に係る動作の概略を示す図である。 図２０の変形例に係る動作の概略を示す図である。 さらに別の変形例に係る動作の概略を示す図である。 図２２の変形例に係る動作の概略を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１−１．構成概要＞
図１は、本発明に係る画像形成システム１を示す図である。図１に示すように、画像形成システム１は、画像形成装置１０と外部端末５０とクラウドサーバ９０とを備える。

画像形成装置１０と外部端末５０とクラウドサーバ９０とは、ネットワーク（通信ネットワーク）１０８を介して互いに接続される。ネットワーク１０８は、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワーク１０８に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、画像形成装置１０およびクラウドサーバ９０はネットワーク１０８に対して有線接続され、外部端末５０はネットワーク１０８に対して無線接続される。

クラウドサーバ９０は、画像形成装置１０とも外部端末５０とも異なる外部装置（外部サーバ）である。クラウドサーバ９０には、アプリケーション１９０（ここでは、汎用のＯＣＲ（Optical Character Recognition）アプリケーション）がインストールされている。クラウドサーバ９０は、汎用的なＯＣＲ処理サービスを、アプリケーション（汎用ＯＣＲアプリとも称する）１９０を用いて提供するサーバである。ただし、このクラウドサーバ９０（アプリケーション１９０）は、サーチャブルＰＤＦ（Portable Document Format）の生成処理サービスを提供しない。サーチャブルＰＤＦは、後述するように、クラウドサーバ９０との連携処理等により、外部端末５０によって主に生成される。

この画像形成システム１においては、原稿のスキャン画像２００（図４および図５等参照）が画像形成装置１０によって生成され、スキャン画像２００に関する画像データが画像形成装置１０から外部端末５０に送信される。外部端末５０は、画像形成装置１０から受信した画像データ等に基づき、電子文書５００（図５等参照）を生成する。当該電子文書５００の生成動作は、当該外部端末５０にインストールされている電子文書生成アプリケーション１５０を実行すること等によって実現される。

電子文書生成アプリケーション１５０は、画像形成装置１０およびクラウドサーバ９０と連携することによって、クラウドサーバ９０に依頼した連携処理の処理結果と画像形成装置１０から送信されてくる補助データ３００（後述）とに基づいて、電子文書５００を生成する。当該電子文書５００は、テキストデータ付き電子文書（ここでは、サーチャブルＰＤＦ）として生成される。クラウドサーバ９０は、外部端末５０（および画像形成装置１０）と連携する外部装置であることから、外部連携装置とも称される。

なお、画像形成システム１は、電子文書を生成するシステムであることから、電子文書生成システムなどとも表現される。同様に、外部端末５０は電子文書生成装置であるとも表現される。

＜１−２．画像形成装置の構成＞
図２は、画像形成装置１０の機能ブロックを示す図である。ここでは、画像形成装置１０として、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））を例示する。図２においては、ＭＦＰ１０の機能ブロックが示されている。

ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像ないしスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。

印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。

通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワーク１０８を介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、外部端末５０）との間で各種のデータを授受することが可能である。通信部４は、各種データを送信する送信部４ａと各種データを受信する受信部４ｂとを有する。

格納部５は、ハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。

操作部６は、ＭＦＰ１０に対する操作入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。

このＭＦＰ１０においては、略板状の操作パネル部６ｃ（図１参照）が設けられている。また、操作パネル部６ｃは、その正面側にタッチパネル２５（図１参照）を有している。タッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。タッチパネル２５は、液晶表示パネルに各種センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの各種の操作入力を受け付けることが可能である。

たとえば、タッチパネル２５においては、各種の操作画面（メニュー画面等）（ボタン画像等を含む）が表示される。操作者は、タッチパネル２５の操作画面内に仮想的に配置されるボタンを押下することによって、ＭＦＰ１０の各種動作内容を設定するとともに動作指示を付与することができる。

コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）１１０（図１および図４等参照）を実行することによって、各種の処理部を実現する。なお、当該プログラム１１０（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワーク１０８等を介してＭＦＰ１０にインストールされてもよい。

具体的には、図２に示すように、コントローラ９は、当該プログラム１１０の実行により、通信制御部１１と入力制御部１２と表示制御部１３と補助データ生成部１５とを含む各種の処理部を実現する。

通信制御部１１は、他の装置（外部端末５０等）との間の通信動作を通信部４等と協働して制御する処理部である。たとえば、通信制御部１１は、スキャン画像等を外部端末５０送信する。

入力制御部１２は、操作入力部６ａ（タッチパネル２５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部１２は、タッチパネル２５に表示された操作画面に対する操作入力を受け付ける動作を制御する。

表示制御部１３は、表示部６ｂ（タッチパネル２５等）における表示動作を制御する処理部である。表示制御部１３は、たとえば、ＭＦＰ１０を操作するための操作画面をタッチパネル２５に表示させる。

補助データ生成部１５は、補助データ（補足データあるいは補正データとも称される）３００を生成する処理部である。この補助データ３００は、元のスキャン画像２０１の画像データ自体とは別のデータ（補助的なデータ）であり、クラウドサーバ９０と連携した電子文書生成処理にて利用されるデータである。

＜１−３．外部端末の構成＞
次に外部端末５０の構成について説明する。

外部端末５０は、ＭＦＰ１０およびクラウドサーバ９０との間でのネットワーク通信が可能な情報入出力端末装置（情報端末あるいは通信端末とも称される）である。ここでは、外部端末５０として、タブレット型端末を例示する。ただし、これに限定されず、外部端末５０は、スマートフォンあるいはパーソナルコンピュータなどであってもよい。また、外部端末は、携帯式の装置（携帯情報端末等）（携帯端末）であってもよく、あるいは、据置型の装置であってもよい。

図３は、外部端末５０の概略構成を示す機能ブロック図である。

外部端末５０は、図３の機能ブロック図に示すように、通信部５４、格納部５５、操作部５６およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

通信部５４は、ネットワーク１０８を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、外部端末５０は、所望の相手先（ＭＦＰ１０およびクラウドサーバ９０等）との間で各種のデータを授受することが可能である。通信部５４は、各種データを送信する送信部５４ａと各種データを受信する受信部５４ｂとを有する。たとえば、受信部５４ｂは、スキャン画像２００等を画像形成装置１０から受信し、送信部５４ａは、スキャン画像２００に関する画像データをクラウドサーバ９０に送信する。また、受信部５４ｂは、スキャン画像２００に関するＯＣＲ処理結果等をクラウドサーバ９０から受信する。

格納部５５は、不揮発性の半導体メモリ等の記憶装置で構成され、各種の情報を格納する。

操作部５６は、外部端末５０に対する操作入力を受け付ける操作入力部５６ａと、各種情報の表示出力を行う表示部５６ｂとを備えている。この外部端末５０においては、液晶表示パネルに各種センサ等が埋め込まれて構成されたタッチパネル７５（図１参照）が設けられている。具体的には、図１に示すように、略板状の外部端末５０の正面側において、その周縁部（枠部）を除くほぼ全面にわたってタッチパネル７５が設けられている。このタッチパネル７５は、ユーザインターフェイス部として機能する。換言すれば、タッチパネル７５は、操作入力部５６ａの一部としても機能するとともに、表示部５６ｂの一部としても機能する。

図３のコントローラ５９は、外部端末５０に内蔵され、外部端末５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のソフトウエアプログラム（以下、アプリケーションプログラムあるいは単にプログラムとも称する）を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワーク１０８等を介して外部端末５０にインストールされるようにしてもよい。

外部端末５０には、画像形成装置１０およびクラウドサーバ９０との連携処理を制御するアプリケーションプログラム（単に、アプリケーションとも称する）１５０がインストールされている。当該アプリケーションプログラム１５０が外部端末５０にて実行されることによって、外部端末５０は、画像形成装置１０にて生成されたスキャン画像２００を画像形成装置１０から受信するとともに、当該スキャン画像２００を利用して電子文書５００を生成する処理を実行する。

具体的には、コントローラ５９は、当該アプリケーションプログラム１５０等の実行により、通信制御部６１と入力制御部６２と表示制御部６３と文書生成部６９とを含む各種の処理部を実現する。

通信制御部６１は、通信部５４等と協働して、ＭＦＰ１０およびクラウドサーバ９０等との通信動作を制御する処理部である。

入力制御部６２は、操作入力部５６ａ（タッチパネル７５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部６２は、タッチパネル７５に表示された操作画面に対するタッチ操作入力を受け付ける動作を制御する。

表示制御部６３は、表示部５６ｂ（タッチパネル７５等）における表示動作を制御する処理部である。表示制御部６３は、たとえば、ＭＦＰ１０との連携処理を行うための操作画面をタッチパネル７５に表示する。

なお、入力制御部６２および表示制御部６３は、ユーザインターフェイス制御部とも総称される。

文書生成部６９は、電子文書５００（図４参照）を生成する処理部である。文書生成部６９は、スキャン画像２００に関するＯＣＲ処理結果（テキスト情報（文字コード群））等に基づいて、電子文書５００（サーチャーブルＰＤＦ等）を生成する。

＜１−４．動作＞
図４および図５は、電子文書生成システム１における動作の概略を示す図である。図４は、画像形成装置１０から外部端末５０にスキャン画像２００が送信される動作等を示す図であり、図５は、外部端末５０がクラウドサーバ９０と連携して、スキャン画像２００に関するＯＣＲ処理結果（テキストデータ４００）に基づき電子文書５００を生成する動作等を示す図である。また、図６は、このような動作を示すフローチャートである。

第１実施形態においては、次のような概略の動作を例示する。具体的には、図４に示すように、まず、ＭＦＰ１０にてスキャン画像２０１が生成されるとともに、当該スキャン画像２０１に対して行末特定用文字列（ここでは、”＃＊”）（後述）がその文字領域の各行の行末に画像として付加されたスキャン画像２０２が生成される。そして、図５にも示すように、スキャン画像２０２に関する画像データがＭＦＰ１０から外部端末５０を経由してクラウドサーバ９０に送信され、当該スキャン画像２０２に関するＯＣＲ処理結果がクラウドサーバ９０から外部端末５０に送信される。外部端末５０は、当該ＯＣＲ処理結果（テキストデータ４００）の中から、行末特定用文字列を検索して、当該ＯＣＲ処理結果の文字列における本来の行末位置を特定し、当該処理結果に係る文字列を複数の行に区分して電子文書５００を生成する。

以下、図４〜図６等を参照しながら、電子文書生成システム１の動作について詳細に説明する。

＜スキャン画像生成等＞
まず、ユーザは、スキャン対象の原稿をＭＦＰ１０の原稿載置部（たとえば、自動給紙装置（ＡＤＦ：Auto Document Feeder ）あるいは原稿載置用ガラス面等）に載置する。

その後、ユーザは、外部端末５０を操作することによって、電子文書５００の生成指示を外部端末５０およびＭＦＰ１０に対して付与する。

具体的には、まず、外部端末５０にインストールされているアプリケーション（電子文書生成アプリケーション）１５０（図４）の操作画面（不図示）において、スキャン処理を実行すべき装置が指定されるとともに、スキャン処理により最終的に生成される電子文書５００の形式が指定される。ここでは、スキャン処理を実行すべき装置としてＭＦＰ１０が指定され、当該電子文書５００の形式として、サーチャブルＰＤＦ（透明テキスト付きＰＤＦ）が指定されるものとする。そして、ユーザは、電子文書生成アプリケーション１５０の操作画面内に表示された実行開始ボタン（電子文書５００の生成処理の実行開始ボタン）を押下することにより、電子文書（ここではサーチャブルＰＤＦ）５００の生成指示を外部端末５０およびＭＦＰ１０に対して付与する。なお、サーチャブルＰＤＦ（透明テキスト付きＰＤＦ）は、文字画像を有する画像レイヤ（表示対象レイヤ）と当該文字画像に対する文字認識結果（文字コード群）が非表示状態で埋め込まれたテキストレイヤ（非表示レイヤ）とを有するＰＤＦ形式の電子文書である。

外部端末５０は、当該生成指示を受け付けるとともに、当該生成指示（詳細には、当該生成指示に基づくスキャン画像生成指示等）をＭＦＰ１０に転送する。

ＭＦＰ１０は、当該生成指示（スキャン画像生成指示等）を外部端末５０から受信するとスキャン動作を開始し、ＭＦＰ１０の原稿載置部（ＡＤＦ等）に載置された原稿のスキャン画像２００（２０１とも称する）を生成する（図４の左上参照）（ステップＳ１１（図６））。

また、ＭＦＰ１０は、スキャン画像２０１内における各種の領域を判別する領域判別処理を行う。具体的には、ＭＦＰ１０は、スキャン画像２０１内における文字領域２１０（図４）と非文字領域（写真領域等）２２０（図４参照）とを判別し、スキャン画像２００における文字領域２１０の範囲（詳細にはその位置および大きさ）と非文字領域２２０の範囲とを特定する（ステップＳ１２）。

さらに、ＭＦＰ１０（詳細には補助データ生成部１５）は、スキャン画像２００に対して画像処理を施すことにより、スキャン画像２００の文字領域２１０における文字列の各行（詳細には、当該各行に対応する部分領域）を抽出する（ステップＳ１３）。

また、ステップＳ１４において、補助データ生成部１５は、スキャン画像２００に対して画像処理を施すことにより、当該各行の行末位置（末端位置）をも検出する。そして、補助データ生成部１５は、行末特定用文字列に基づく「マーク画像」（次述）を生成するとともに、スキャン画像２００（２０１）の文字領域２１０における文字列の各行の行末位置に当該マーク画像を配置してスキャン画像２００を更新する（ステップＳ１４）。

更新後のスキャン画像２００（２０２とも称する）（図４の左下参照）は、元のスキャン画像２０１（２００）にマーク画像を付加した画像である。換言すれば、スキャン画像２０２は、マーク画像が付された文字領域画像（マーク画像付き文字領域画像データ）を有する画像である。

マーク画像は、行末位置特定用の文字列（行末特定用文字列）（特定マークなどとも称する）が画像化されたものであり、行末特定用文字列は、ＯＣＲ処理結果に係る文章（文字列）において元の原稿（スキャン画像）での行末位置を特定するための所定の文字列である。行末特定用文字列は、たとえば、１文字〜数文字の文字の組合せで構成される。行末特定用文字列は、文章における行末位置を特定するための文字列であり、通常の文章には出現し難い文字列であることが好ましい。ここでは、文字列”＃＊”が行末特定用文字列として例示されている。なお、これに限定されず、行末特定用文字列は、その他の文字列（数字および記号を含む）であってもよい。

図４の左下に示すように、スキャン画像２００（２０２）の文字領域２１０の各行の行末に、特定マーク”＃＊”（行末特定用文字列）が（画像化された状態で）付されている。詳細には、第１行目の文字列「The first line」の行末に特定マーク”＃＊”が付されており、第２行目の文字列「The Second line」の行末と第３行目の文字列「The third line」の行末とにおいてもそれぞれ特定マーク”＃＊”が付されている。このように、各行の行末文字（最後尾文字）の後ろ側の隣接位置（その次の文字位置）に特定マーク”＃＊”が付される。

そして、ＭＦＰ１０（通信部４および通信制御部１１等）は、スキャン画像２０２（詳細にはその画像データ）を外部端末５０に送信する（ステップＳ１５）。詳細には、マーク画像付き文字領域画像データ（マーク付加スキャン画像の画像データとも称する）を有するスキャン画像２０２の画像データが送信される。なお、スキャン画像２０２には、写真領域画像データ等もが含まれていてもよい。

このようにして、スキャン画像２００に関する画像データ（ここではマーク付加スキャン画像２０２の画像データ）がＭＦＰ１０から外部端末５０に送信される。なお、特定マークを有するスキャン画像（マーク付加スキャン画像）２０２の画像データは、電子文書の生成処理に利用される（詳細には元のスキャン画像２０１における行末位置を特定するために利用される）補助的なデータであることから、補助データ３００であるとも表現される。また、ＭＦＰ１０は、スキャン画像２００に埋め込まれている特定マーク（行末特定用文字列）が”＃＊”である旨の情報をも、外部端末５０に送信する。なお、行末特定用文字列が”＃＊”である旨を示すデータも、補助データ３００であると表現され得る。

＜ＯＣＲ処理および電子文書生成処理等＞
その後、外部端末５０は、電子文書生成アプリケーション１５０を実行することによって、ステップＳ３１（Ｓ３１ａ）〜ステップＳ３６（Ｓ３６ａ）の処理等を実行する。

まず、外部端末５０は、スキャン画像２００（２０２）に関する画像データ等を、ＭＦＰ１０から受信して取得する（ステップＳ３１ａ）。

つぎに、外部端末５０は、スキャン画像２００に関する画像データ（詳細には、マーク画像付き文字領域画像を含むスキャン画像２０２の画像データ）と当該画像データに対するＯＣＲ処理を行うべき旨の指示（ＯＣＲ処理実行指示）とをクラウドサーバ９０（詳細には、汎用ＯＣＲアプリ）に送信する（ステップＳ３２（Ｓ３２ａ））。ここでは、クラウドサーバ９０との連携処理として、スキャン画像２００に関する光学文字認識処理（ＯＣＲ処理）が行われるものとする。連携処理に係る当該ＯＣＲ処理は、クラウドサーバ９０によって実行される。

クラウドサーバ９０（アプリケーション１９０）は、ＯＣＲ処理実行指示とスキャン画像２００（２０２）に関する画像データとを受信すると、当該ＯＣＲ処理実行指示および当該画像データに基づいてＯＣＲ処理を実行する。

図５の上段部分においては、マーク画像付き文字領域画像（３行に亘る文字列に係る画像）の画像データが、外部端末５０からクラウドサーバ９０に受け渡される様子が示されている。クラウドサーバ９０は、受け取った画像データに対してＯＣＲ処理を施し、当該画像データに含まれる文字列を認識して、当該文字列に係るテキストデータ（文字コード群）４００（４１０）を生成する。そして、クラウドサーバ９０は、当該文字列に係るテキストデータ（テキスト情報）４００をＯＣＲ処理の処理結果（マーク付加スキャン画像に対する光学文字認識処理の処理結果）として外部端末５０に向けて送信する。

ステップＳ３３（Ｓ３３ａ）において、外部端末５０は、クラウドサーバ９０からの当該処理結果を受信する。当該処理結果に係る文字列（テキストデータ）には、元のスキャン画像２０１に含まれていた文字列のみならず、行末特定用文字列「＃＊」も含まれている。たとえば、図５においては、行末特定用文字列「＃＊」を含む文字列「The first line #* The second line #* The third line #*」が、クラウドサーバ９０から外部端末５０へと受け渡されている様子が示されている。

ステップＳ３４（Ｓ３４ａ）においては、外部端末５０は、当該処理結果（テキストデータ４１０）と行末特定用文字列（補助データ３００）とに基づいて当該処理結果の文字列における本来の行末位置を特定する。詳細には、マーク画像に対応する行末特定用文字列「＃＊」をテキストデータ４１０の中から検索（文字検索）する検索処理によって、テキストデータ４１０における特定マーク「＃＊」の各存在位置を（各行の）各行末位置としてそれぞれ検出する。

そして、ステップＳ３５（Ｓ３５ａ）では、マーク付き文字領域画像に関する処理結果であるテキストデータ４１０の修正処理が行われる。具体的には、ステップＳ３４にて検出された特定マークの各マーク位置（検出位置）において、当該特定マークが削除され、当該特定マークに代えて改行コード（改行情報）がそれぞれ挿入される。行末位置に特定マークに代えて挿入された改行コードを利用することによって、行の区切りが不明であった文字列において各行の行末が認識され、当該文字列が複数の行に区分される。

ステップＳ３６において、外部端末５０（文書生成部６９等）は、ステップＳ３５ａで更新されたテキストデータ４１０（４１２）に含まれる文字列を、電子文書５００内に配置する（図５も参照）。これにより、当該テキストデータ４１０（４１２）に含まれる文字列は、電子文書５００（ＰＤＦ文書）内に取り込まれたスキャン画像２００上において、複数の行に区分されて配置される。詳細には、文書生成部６９は、当該テキストデータ４１０（４１２）を電子文書５００内において「非表示状態」で埋め込む。換言すれば、改行コードによって複数の行に区分されたテキストデータが、サーチャブルＰＤＦのテキストレイヤ（非表示レイヤ）において配置される。

また、非文字領域（写真領域等）２２０がスキャン画像に含まれる場合には、当該非文字領域に係る画像が電子文書５００内に配置される。

このようにして、電子文書（サーチャブルＰＤＦ）５００が生成される。

図５の下段左側には、上述の動作によって生成された電子文書５００（サーチャブルＰＤＦ）の一例が示されている。ここでは、スキャン画像２００の文字領域２１０において、電子文書５００内に元の原稿と同じ位置で改行された３行の文字列が表示されている。このサーチャブルＰＤＦでは、元の文字領域２１０の画像が削除されずに表示されたまま、ＯＣＲ処理結果に係る文字列が非表示状態で埋め込まれている。なお、スキャン画像２００の非文字領域２２０が存在する場合には、非文字領域２２０は、ＯＣＲ処理を経ることなく、電子文書５００内の対応領域にそのまま配置される。

以上のように、この第１実施形態においては、画像形成装置１０は、電子文書５００の生成処理に利用される補助データ３００（スキャン画像２０２の画像データおよび／または行末特定用文字列の情報）を生成し、当該補助データ３００を外部端末５０に送信する。そして、外部端末５０は、当該補助データ３００を利用しつつ、クラウドサーバ９０（外部連携装置）と連携して、スキャン画像に関する画像データに基づく電子文書５００を生成する。画像形成装置からのスキャン画像に基づき、外部端末においてさらに別の外部連携装置と連携して電子文書を生成するに際して、補助データ３００を利用することによれば、より好適な電子文書を生成することが可能である。

より詳細には、外部端末５０は、マーク付加スキャン画像の画像データを画像形成装置１０から受信するとともにクラウドサーバ９０に送信する。また、外部端末５０は、クラウドサーバ９０からの処理結果を補助データ３００（行末特定用文字列）を用いて補足し電子文書５００を生成する。具体的には、外部端末５０は、クラウドサーバ９０からの処理結果のみならずＭＦＰ１０からの補助データ３００（行末特定用文字列）にも基づいて、当該処理結果の文字列における本来の行末位置を特定し、処理結果に係る文字列を複数の行に区分した状態で電子文書５００を生成する。

また、このような動作は、次のようにも表現できる。具体的には、外部端末５０は、マーク付加スキャン画像の画像データを補助データ３００として画像形成装置１０から受信するとともに、当該マーク付加スキャン画像の画像データをクラウドサーバ９０に送信する。また、外部端末５０は、クラウドサーバ９０からの処理結果を行末特定用文字列を用いて補足し電子文書５００を生成する。具体的には、外部端末５０は、クラウドサーバ９０からの処理結果のみならずＭＦＰ１０からの行末特定用文字列にも基づいて、当該処理結果の文字列における本来の行末位置を特定し、処理結果に係る文字列を複数の行に区分した状態で電子文書５００を生成する。

特に、仮に、元のスキャン画像２０１がクラウドサーバ９０に送信される場合には、当該スキャン画像２０１の文章の各行の行末位置の情報は、クラウドサーバ９０から外部端末５０へと送信されるＯＣＲ処理結果には含まれない。そして、当該処理結果がそのまま電子文書５００内に埋め込まれるときには、上述のように、行末情報の欠落に起因して、各行の行末（および次の行の行頭）には本来の文字とは異なる文字が配置されることがある。

これに対して、上記実施形態によれば、各行の行末位置をより適切に判定し、より好適な電子文書を生成することが可能である。より詳細には、ＯＣＲ処理結果に係るテキスト文字列を本来の位置に適切に配置した状態で、サーチャーブルＰＤＦ（電子文書５００）を生成することが可能である。

なお、このような問題を解決するためには、（ＭＦＰ１０ではなく）外部端末５０が上記のような行末位置の検出処理等を行うことも考えられる。しかしながら、外部端末５０において、行末位置の検出処理等を実現する新たなプログラムを開発することには多大な労力を要する。これに対して、上記実施形態においては、ＭＦＰ１０による行末位置の検出処理等は、開発済みプログラムにおけるＭＦＰ用ＯＣＲ機能の一部（行末位置の検出機能）を用いることによって、容易に実現することが可能である。すなわち、ＭＦＰ１０は、補助データ３００を容易に生成することが可能である。ひいては、電子文書生成システムが比較的容易に構築され得る。

また、上記実施形態においては、外部連携装置（クラウドサーバ９０）によって提供されるＯＣＲ処理サービスが利用されている。これによれば、ＯＣＲ処理の依頼元装置（たとえば外部端末５０）とは別の装置（クラウドサーバ）でＯＣＲ処理を行うことができるので、当該依頼元装置の処理負荷を低減することが可能である。

さらに、上記実施形態においては、スキャン画像２００の生成装置であるＭＦＰ１０とは別の装置（外部端末５０）によって、電子文書５００の生成処理が行われているので、ＭＦＰ１０の処理負荷を低減することが可能である。換言すれば、ＭＦＰ１０と外部端末５０との間で処理負荷を適宜に分散することが可能である。

＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。

この第２実施形態においては、次のような概略の動作が例示される。具体的には、図７および図８に示すように、まず、ＭＦＰ１０にてスキャン画像２０１が生成されるとともに、当該スキャン画像２０１に関する画像データが外部端末５０を経由してＭＦＰ１０からクラウドサーバ９０に送信され、当該スキャン画像２０１に関するＯＣＲ処理結果（テキストデータ４００（４２０））がクラウドサーバ９０から外部端末５０に送信される。また、ＭＦＰ１０は、スキャン画像２０１における文字列の各行の行末文字列をＯＣＲ処理により検出し、各行の行末文字列（詳細には当該行末文字列の各文字の文字コード）をそれぞれ補助データ３００（３２０）として生成する（図７）。そして、ＭＦＰ１０は、（スキャン画像２０１のみならず）当該補助データ３２０をも外部端末５０に送信する。外部端末５０は、ＭＦＰ１０から受信した補助データ３２０とクラウドサーバ９０から受信したＯＣＲ処理結果（テキストデータ４２０）とに基づいて、ＯＣＲ処理結果の文字列における本来の行末位置を特定し、ＯＣＲ処理結果に係る文字列を複数の行に区分して電子文書５００を生成する。

以下では、このような動作について図７〜図９等を参照しながら詳細に説明する。なお、図７、図８および図９は、第２実施形態に係る動作等を示す図であり、第１実施形態の図４、図５および図６にそれぞれ対応する。

まず、図９に示すように、ステップＳ１１〜Ｓ１３の処理が第１実施形態と同様に行われる。

つぎに、ステップＳ１４ｂにおいて、ＭＦＰ１０の補助データ生成部１５は、ステップＳ１３で抽出された各行領域（文字列画像）において、それぞれの行末領域（たとえば、１行の全幅の所定割合（たとえば３０％）の横幅を有する行末の領域）に対してＯＣＲ処理を施す。これにより、スキャン画像２０１（詳細にはその文字領域）における文字列の各行の行末文字列（詳細には当該行末文字列の各文字の文字コード）がそれぞれ検出される。そして、ＭＦＰ１０は、各行の行末文字列の情報を含むテキストデータを補助データ３００（３２０）として生成する。たとえば、図７のテキストデータ３２０においては、１行目の行末文字列として検出された文字列「line」と２行目の行末文字列として検出された文字列「line」と３行目の行末文字列として検出された文字列「line」とが含まれている。

ここにおいて、「行末領域」の大きさ（幅）は、ＭＦＰ１０の処理負荷等を考慮して適宜に定められればよい。たとえば、１行の横幅の数％〜５０％の横幅を有する行末の領域が、「行末領域」として定められればよい。詳細には、行末位置検出処理の処理精度を優先する場合には、比較的大きな（長い）領域（たとえば１０文字相当分の行末領域）が「行末領域」として定められればよい。逆に、行末位置検出処理の処理速度を優先する場合には、比較的小さな（短い）領域（たとえば３文字相当分の行末領域）が「行末領域」として定められればよい。また、行末領域の大きさ（幅）は、ユーザの設定操作等によって変更され得ることが好ましい。

そして、ステップＳ１５ｂにおいて、ＭＦＰ１０は、スキャン画像２０１（詳細にはその画像データ）を外部端末５０に送信するとともに、補助データ（テキストデータ３２０）をも外部端末５０に送信する。

その後、外部端末５０は、ステップＳ３１（Ｓ３１ｂ）〜ステップＳ３６（Ｓ３６ｂ）の処理等を実行する。

まず、外部端末５０は、スキャン画像２００（２０１）に関する画像データ等を、ＭＦＰ１０から受信して取得する（ステップＳ３１）。

つぎに、外部端末５０は、スキャン画像２００に関する画像データ（詳細には、元のスキャン画像２０１の画像データ）と当該画像データに対するＯＣＲ処理を行うべき旨の指示（ＯＣＲ処理実行指示）とをクラウドサーバ９０（詳細には、汎用ＯＣＲアプリ１９０）に送信する（ステップＳ３２（Ｓ３２ｂ））。

クラウドサーバ９０（アプリケーション１９０）は、ＯＣＲ処理実行指示とスキャン画像２００（２０１）に関する画像データとを受信すると、当該ＯＣＲ処理実行指示および当該画像データに基づいてＯＣＲ処理を実行する。

クラウドサーバ９０は、外部端末５０から受信した画像データに対してＯＣＲ処理を施し、当該画像データに含まれる文字列を認識して、当該文字列に係るテキストデータ（文字コード群）４００（４２０）を生成する。そして、クラウドサーバ９０は、当該文字列に係るテキストデータ（テキスト情報）４２０をＯＣＲ処理の処理結果（スキャン画像２０１に対する光学文字認識処理の処理結果）として外部端末５０に向けて送信する。

ステップＳ３３（Ｓ３３ｂ）において、外部端末５０は、クラウドサーバ９０からの当該処理結果（テキストデータ４２０）をクラウドサーバ９０から受信する。たとえば、図８においては、文字列「The first line The second line The third line」が、クラウドサーバ９０から外部端末５０へと受け渡されている様子が示されている。なお、当該処理結果には、改行位置（行末位置）を示す情報は含まれない。

ステップＳ３４（Ｓ３４ｂ）においては、外部端末５０は、当該処理結果（テキストデータ４２０）と補助データ３２０とに基づいて当該処理結果の文字列における本来の行末位置を特定する。詳細には、補助データ３２０に含まれる各行の行末文字列（検索文字列とも称する）を検索（文字検索）する処理によって、テキストデータ４２０における各行末文字列の位置を（各行の）各行末位置としてそれぞれ検出する。

より詳細には、テキストデータ４２０（照合対象文字列）における検索文字列の位置を１文字分ずつすらしながら、当該照合対象文字列と検索文字列との一致度合い（適合度とも称する）を求める。そして、当該一致度合いが所定の閾値ＴＨ１（たとえば７０％）よりも大きいことを条件として、当該照合対象文字列の位置に検索文字列が存在する旨が判定される。すなわち、テキストデータ４２０において、当該照合対象文字列の位置がテキストデータ４２０における行末位置であると判定される。

ここにおいて、当該閾値ＴＨ１は、１００％であってもよいが、１００％未満の値であることが好ましい。これによれば、クラウドサーバ９０の誤認識等に起因して生じ得る「行末位置の誤判定」を回避ないし抑制することが可能である。たとえば、クラウドサーバ９０における誤認識等に起因して、スキャン画像２００中の本来の文字列「line」がテキストデータ４２０中に別の文字列「tine」等として含まれることがある。検索文字列「line」が照合対象文字列「tine」の位置に存在するときの上記一致度合いは「７５％」（４文字中３文字が同一）として算出される。仮に、閾値ＴＨ１が１００％に設定されている場合には、照合対象文字列「tine」の位置は行末位置ではない旨が判定される。一方、閾値ＴＨ１が１００％未満の値（たとえば７０％）に設定される場合には、この照合対象文字列「tine」の位置が正規の行末位置である旨の正常な判定結果が得られる。すなわち、クラウドサーバ９０の誤認識等に起因する照合対象文字列「tine」の位置が正規の行末位置ではないと判定されることを回避ないし抑制することが可能である。

そして、ステップＳ３５（Ｓ３５ｂ）では、ステップＳ３４にて検出された各行末文字列の位置（行末位置）において改行コード（改行情報）がそれぞれ挿入され、テキストデータ４２０が修正される。行末位置に挿入された改行コードを利用することによって、行の区切りが不明であった文字列の行末が認識され、当該文字列が複数の行に区分される。

ステップＳ３６（Ｓ３６ｂ）において、外部端末５０（文書生成部６９等）は、ステップＳ３５ｂで修正されたテキストデータ４２０（４２２）に含まれる文字列を電子文書５００内に配置する（図８も参照）。当該テキストデータ４２０（４２２）に含まれる文字列は、電子文書５００（ＰＤＦ文書）内に取り込まれたスキャン画像２００上において、複数の行に区分されて配置される。また、当該テキストデータ４２２は電子文書５００内において「非表示状態」で埋め込まれる。

なお、非文字領域（写真領域等）がスキャン画像に含まれる場合には、当該非文字領域に係る画像も電子文書５００内に配置される。

このようにして、電子文書（サーチャブルＰＤＦ）５００が生成される。

以上のように、第２実施形態においては、外部端末５０（文書生成部６９等）は、クラウドサーバ９０からの処理結果を補助データ３００を用いて補足し、電子文書５００を生成する。具体的には、外部端末５０は、クラウドサーバ９０からの処理結果４２０のみならずＭＦＰ１０からの補助データ３２０にも基づいて、当該処理結果の文字列における本来の行末位置を特定し、処理結果に係る文字列を複数の行に区分した状態で電子文書５００を生成する。

このような動作によっても、第１実施形態と同様の効果を得ることが可能である。具体的には、たとえば、画像形成装置１０からのスキャン画像に基づき外部端末５０においてさらに別の外部連携装置９０と連携して電子文書を生成するに際して、補助データ３００を利用することにより、より好適な電子文書を生成することが可能である。特に、各行の行末位置をより適切に判定し、より好適な電子文書を生成することが可能である。より詳細には、ＯＣＲ処理結果に係るテキスト文字列を本来の位置に適切に配置した状態で、サーチャーブルＰＤＦ（電子文書５００）を生成することが可能である。

なお、上記第２実施形態では、スキャン画像における各行の行末文字列の検出処理（ステップＳ１４ｂ）はＯＣＲ処理実行指示（ステップＳ１５ｂ）の前に既に完了しているが、これに限定されない。たとえば、ＯＣＲ処理実行指示がスキャン画像２００に関する画像データとともにクラウドサーバ９０に送信された後において、スキャン画像２００における文字列の各行の行末文字列の検出処理が、クラウドサーバ９０によるＯＣＲ処理に並行して、ＭＦＰ１０の補助データ生成部１５によって実行されるようにしてもよい。これによれば、クラウドサーバ９０によるスキャン画像に対するＯＣＲ処理は、スキャン画像における文字列の各行の行末文字列の検出処理（ＭＦＰ１０による行末文字列のＯＣＲ処理）の完了を待たずに比較的早期に開始され得るので、効率的である。特に、クラウドサーバ９０でのＯＣＲ処理とＭＦＰ１０での行末領域のＯＣＲ処理との両処理が並行して行われることにより、効率的な処理が行われ得る。

＜３．第３実施形態＞
第３実施形態は、第２実施形態の変形例である。以下では、第２実施形態との相違点を中心に説明する。

上記第２実施形態（および第１実施形態）においては、スキャン画像の文字領域における各行の行末位置を補助データ３００を用いて特定する態様について説明した。

この第３実施形態においては、スキャン画像の文字領域における各行の文字のフォントサイズを補助データ３００を用いて特定する態様について説明する。第３実施形態では、第２実施形態における補助データ３２０の代わりに、フォントサイズに関する補助データ３３０（後述）が利用される。

以下では、このような動作について図１０〜図１２等を参照しながら詳細に説明する。なお、図１０、図１１および図１２は、第３実施形態に係る動作等を示す図であり、第２実施形態の図７、図８および図９にそれぞれ対応する。

まず、図１２に示すように、ステップＳ１１〜Ｓ１３の処理が第２実施形態と同様に行われる。

次に、ステップＳ１４ｃにおいて、ＭＦＰ１０の補助データ生成部１５は、ステップＳ１３で抽出された各行領域（文字列画像）において、それぞれの行領域において文字の大きさを検出する処理（フォントサイズ検出処理）を実行する（図１０の左上部分参照）。具体的には、画像処理によって、当該行領域内において文字が実際に存在する部分の高さが検出されるとともに、当該高さに応じたフォントサイズが検出（特定）される。このような処理が文字領域内の複数の行のそれぞれについて実行され、各行のフォントサイズがそれぞれ検出される。

そして、ＭＦＰ１０は、各行のフォントサイズの情報を含むデータ３３０を補助データ３００として生成する。たとえば、図１０の補助データ３３０においては、特定された各行のフォントサイズ（１行目のフォントサイズ＝２０ｐｔ（ポイント）、２行目のフォントサイズ＝１６ｐｔ（ポイント）、３行目のフォントサイズ＝１６ｐｔ（ポイント）を示す情報が含まれている。

また、ステップＳ１５ｃにおいて、ＭＦＰ１０は、スキャン画像２０１（詳細にはその画像データ）を外部端末５０に送信するとともに、補助データ３３０をも外部端末５０に送信する。

その後、外部端末５０は、ステップＳ３１ｃ以降の処理を実行する。ステップＳ３１ｃ，Ｓ３２ｃ，Ｓ３３ｃにおいては、第２実施形態のステップＳ３１ｂ，Ｓ３２ｂ，Ｓ３３ｂと同様の処理がそれぞれ行われる。また、クラウドサーバ９０も、第２実施形態と同様の処理を実行し、テキストデータ４００（４２０）をＯＣＲ処理の処理結果（スキャン画像２０１に関する光学文字認識処理の処理結果）として外部端末５０に向けて送信する。

ステップＳ３４ｃにおいては、外部端末５０は、補助データ３３０に基づいて、当該処理結果（テキストデータ４２０）の文字列における各行のフォントサイズを決定する。

そして、ステップＳ３６ｃにおいて、外部端末５０は、ステップＳ３３ｃで受信されたテキストデータ４２０に含まれる文字列を、電子文書５００内に配置する（図１１も参照）。この際、テキストデータ４２０に含まれる文字列における各行のフォントサイズは、ＭＦＰ１０からの補助データ３３０に記述されたフォントサイズに設定される。換言すれば、電子文書５００内に配置される各行の文字列は、ＭＦＰ１０によってステップＳ１４ｃで決定され且つステップＳ３１ｃでＭＦＰ１０から受信したフォントサイズに設定される。

たとえば、電子文書５００の１行目に配置される文字のフォントサイズは２０ｐｔに設定され、２行目に配置される文字のフォントサイズは１６ｐｔに設定され、３行目に配置される文字のフォントサイズは１６ｐｔに設定される。なお、当該テキストデータ４２０は電子文書５００内において「非表示状態」で埋め込まれる。この結果、たとえば図１１に示すように、１行目に２０ｐｔのフォントサイズで文字列「The first line」が埋め込まれ、２行目に１６ｐｔのフォントサイズで文字列「The second line The」が埋め込まれ、３行目に１６ｐｔのフォントサイズで文字列「third line」が埋め込まれる。

また、非文字領域（写真領域等）がスキャン画像に含まれる場合には、当該非文字領域に係る画像が電子文書５００内に配置される。

このようにして、電子文書（サーチャブルＰＤＦ）５００が生成される。

以上のように、第３実施形態においては、外部端末５０（文書生成部６９等）は、クラウドサーバ９０からの処理結果４２０を補助データ３３０を用いて補足し、電子文書５００を生成する。外部端末５０は、クラウドサーバ９０からの処理結果４２０のみならずＭＦＰ１０からの補助データ３３０をも用いて、当該処理結果の文字列における本来のフォントサイズを特定し、処理結果４２０に係る文字列が行毎に適切なフォントサイズ（適切な大きさ）で埋め込まれた電子文書５００を生成する。

このような動作によれば、画像形成装置１０からのスキャン画像に基づき外部端末５０においてさらに別の外部連携装置９０と連携して電子文書を生成するに際して、補助データ３３０を利用することにより、より好適な電子文書を生成することが可能である。特に、各行のフォントサイズをより適切に判定し、より好適な電子文書を生成することが可能である。より詳細には、ＯＣＲ処理結果に係るテキスト文字列が行毎の本来のフォントサイズで配置されたサーチャーブルＰＤＦ（電子文書５００）を生成することが可能である。

なお、ここでは、スキャン画像における各行のフォントサイズの検出処理（ステップＳ１４ｂ）はＯＣＲ処理実行指示（ステップＳ１５ｂ）の前に既に完了しているが、これに限定されない。たとえば、ＯＣＲ処理実行指示がスキャン画像２００に関する画像データとともにクラウドサーバ９０に送信された後において、スキャン画像における文字列の各行のフォントサイズの検出処理が、クラウドサーバ９０によるＯＣＲ処理に並行して、ＭＦＰ１０の補助データ生成部１５によって実行されるようにしてもよい。これによれば、クラウドサーバ９０によるスキャン画像に対するＯＣＲ処理は、スキャン画像における文字列の各行のフォントサイズの検出処理（ＭＦＰ１０による行末文字列のＯＣＲ処理）の完了を待たずに比較的早期に開始され得るので、効率的である。特に、クラウドサーバ９０でのＯＣＲ処理とＭＦＰ１０での各行のフォントサイズ検出処理との両処理が並行して行われることにより、効率的な処理が行われ得る。

＜４．第４実施形態＞
第４実施形態は、第３実施形態の変形例である。以下では、第３実施形態との相違点を中心に説明する。

上記第３実施形態においては、スキャン画像の文字領域における各行の文字のフォントサイズを補助データ３３０を用いて特定する態様が例示されている。

この第４実施形態では、スキャン画像内の複数の領域の位置情報に関する補助データ３４０（後述）を用いて、スキャン画像における当該複数の領域の位置を調整する態様について例示する。

以下では、このような動作について図１３〜図１５等を参照しながら詳細に説明する。なお、図１３、図１４および図１５は、第４実施形態に係る動作等を示す図であり、第２実施形態の図７、図８および図９にそれぞれ対応する。

まず、図１５に示すように、第２実施形態と同様にステップＳ１１，Ｓ１２の処理がＭＦＰ１０によって行われる。

次のステップＳ１３ｄにおいては、スキャン画像２０１に対して適宜の画像処理を施すことによって、スキャン画像２０１における複数の文字領域（および写真領域）が抽出される。詳細には、各領域（文字領域等）の外接矩形領域（矩形領域）が、それぞれ、抽出される。

さらに、ステップＳ１４ｄにおいては、当該各領域の位置（たとえば、外接矩形領域の左上の点などの代表位置）がそれぞれ特定される。

このような処理がスキャン画像２０１内の複数の領域のそれぞれについて実行され、電子文書５００（詳細にはその各ページ）内における各領域の位置（座標位置（Ｘ，Ｙ））が検出される。

そして、ＭＦＰ１０は、各領域の位置情報（座標位置（Ｘ，Ｙ））を含むデータ３４０を補助データ３００として生成する。たとえば、図１３の補助データ３４０においては、第１の文字領域２４１（Ｒ１）の位置（Ｘ１，Ｙ１）、第２の文字領域２４２（Ｒ２）の位置（Ｘ２，Ｙ２）、および第３の文字領域２４３（Ｒ３）の座標位置（Ｘ３，Ｙ３）を示す情報が含まれている。

また、ステップＳ１５ｄにおいて、ＭＦＰ１０は、スキャン画像２０１（詳細には、。各領域２４１，２４２，２４３の（個別の）画像データ）を外部端末５０に送信するとともに、補助データ３４０をも外部端末５０に送信する。

その後、外部端末５０は、ステップＳ３１ｄ以降の処理を実行する。ステップＳ３１ｄ，Ｓ３２ｄ，Ｓ３３ｄにおいては、第３実施形態のステップＳ３１ｃ，Ｓ３２ｃ，Ｓ３３ｃと同様の処理がそれぞれ行われる。また、クラウドサーバ９０も、第３実施形態と同様の処理を実行し、テキストデータ４００（４２０）をＯＣＲ処理の処理結果（スキャン画像２０１に関する光学文字認識処理の処理結果）として外部端末５０に向けて送信する。ただし、各文字領域２４１，２４２，２４３の画像データに関する処理は個別に行われる。詳細には、各文字領域２４１，２４２，２４３の画像データが個別に外部端末５０からクラウドサーバ９０に送信されるとともに、各文字領域２４１，２４２，２４３の画像データに対する各処理結果（テキストデータ４４１，４４２，４４３）（図１４中段参照）が個別にクラウドサーバ９０から外部端末５０に送信される。

また、ステップＳ３６ｄにおいて、外部端末５０は、ステップＳ３３ｄで受信されたテキストデータ４４１，４４２，４４３に含まれる文字列を、電子文書５００内に配置する（図１４）。この際、各文字領域の各画像データに関するＯＣＲ処理結果に係る文字列は、補助データ３４０に記述された座標位置に基づく対応位置に配置される。なお、当該テキストデータ４２０は電子文書５００内において「非表示状態」で埋め込まれる。

この結果、たとえば図１４に示すように、文字領域２４１の処理結果（テキストデータ４４１）に含まれる文字列は、補助データ３４０に記述された座標位置（Ｘ１，Ｙ１）を基準とする対応位置に配置される。同様に、各文字領域２４２，２４３の処理結果（テキストデータ４４２，４４３）に含まれる文字列は、それぞれ、補助データ３４０に記述された各座標位置（（Ｘ２，Ｙ２），（Ｘ３，Ｙ３））を基準とする対応位置に配置される。なお、非文字領域（写真領域等）がスキャン画像に含まれる場合には、当該非文字領域に係る画像も電子文書５００内に配置される。

このようにして、電子文書（サーチャブルＰＤＦ）５００が生成される。

以上のように、第４実施形態においては、外部端末５０（文書生成部６９等）は、クラウドサーバ９０からの各処理結果４４１，４４２，４４３を、補助データ３４０を用いて補足し、電子文書５００を生成する。外部端末５０は、クラウドサーバ９０からの処理結果４４１，４４２，４４３のみならずＭＦＰ１０からの補助データ３４０をも用いることにより、当該処理結果の文字列を、適切な位置（その本来の位置（ページ内位置））に埋め込まれた電子文書５００を生成する。

このような動作によれば、画像形成装置１０からのスキャン画像に基づき外部端末５０においてさらに別の外部連携装置９０と連携して電子文書を生成するに際して、補助データ３４０を利用することにより、より好適な電子文書を生成することが可能である。特に、各領域２４１，２４２，２４３の本来の位置をより適切に判定し、より好適な電子文書を生成することが可能である。より詳細には、スキャン画像２００内の各領域２４１，２４２，２４３に関する個別のＯＣＲ処理結果に係る文字列がスキャン画像２００内において各領域ごとにそれぞれ適切な位置に配置されたサーチャーブルＰＤＦ（電子文書５００）を生成することが可能である。

＜５．第５実施形態＞
第５実施形態は、第４実施形態の変形例である。以下では、第４実施形態との相違点を中心に説明する。

上記第４実施形態では、スキャン画像内の複数の領域の位置情報に関する補助データ３４０（後述）を用いて、当該複数の領域の位置を調整する態様について例示した。

この第５実施形態では、スキャン画像内の複数の領域の言語情報に関する補助データ３５０（後述）を用いて、当該複数の領域のＯＣＲ処理の処理言語を指定する態様について例示する。

以下では、このような動作について図１６〜図１８等を参照しながら詳細に説明する。なお、図１６、図１７および図１８は、第５実施形態に係る動作等を示す図であり、第２実施形態の図７、図８および図９にそれぞれ対応する。

まず、図１８に示すように、ステップＳ１１，Ｓ１２，Ｓ１３の処理が第４実施形態と同様に行われる。

次のステップＳ１４ｅ（図１８）においては、スキャン画像２０１（２０５）内の複数の文字領域２５１，２５２，２５３の「言語」がそれぞれ特定される。換言すれば、各文字領域が、英語、日本語、韓国語、中国語、ドイツ語、フランス語などの複数の言語のうちのいずれで記述されているのかが判定される。具体的には、各文字領域の冒頭部分について、ＭＦＰ１０が複数の言語による各ＯＣＲ処理を試行的に実行するとともに、各ＯＣＲ処理結果に対する信頼性指数を言語ごとに算出して付与する。そして、各文字領域の言語毎の信頼性指数に基づいて、当該各文字領域の「言語」が判定される。

信頼性指数は、文字認識処理対象の文字画像とそれに最も適合する文字パターンとの一致度合いに応じて算出される。当該一致度合いが比較的高い場合には、当該文字画像に係る処理結果には比較的高い信頼性指数が付与される。一方、当該一致度合いが比較的低い場合には、当該文字画像に係る処理結果には比較的低い信頼性指数が付与される。また、文字領域内の幾つかの文字に関する信頼性指数の平均値が、当該文字領域に対する当該言語によるＯＣＲ処理結果に対する信頼性指数（評価値）として算出される。このような信頼性指数の算出処理が複数の言語のそれぞれについて実行される。そして、複数の言語のうち、最も高い信頼性指数を有するＯＣＲ処理結果に対応する言語が、当該文字領域の「言語」（言語種類）として決定される。

このような処理がスキャン画像２０５内の複数の文字領域のそれぞれについて実行され、電子文書５００（詳細にはその各ページ）内における各文字領域の言語が検出される。

そして、ＭＦＰ１０は、各文字領域の言語情報を含むデータ３５０を補助データ３００として生成する。たとえば、図１６の補助データ３５０においては、第１の文字領域２５１（Ｒ１）の言語が「英語」であり、第２の文字領域２５２（Ｒ２）の言語が「日本語」であり、第３の文字領域２５３（Ｒ３）の言語が「韓国語」であることを示す情報が含まれている。換言すれば、補助データ３５０は、スキャン画像内の各文字領域の文字の「言語」を示す言語データを有している。

また、ステップＳ１５ｅにおいて、ＭＦＰ１０は、スキャン画像２０５（詳細には、。各領域２５１，２５２，２５３の（個別の）画像データ）を外部端末５０に送信するとともに、補助データ３５０をも外部端末５０に送信する。

その後、外部端末５０は、ステップＳ３１ｅ以降の処理を実行する。ステップＳ３１ｅ，Ｓ３２ｅ，Ｓ３３ｅにおいては、第４実施形態のステップＳ３１ｄ，Ｓ３２ｄ，Ｓ３３ｄと同様の処理がそれぞれ行われる。また、クラウドサーバ９０も、第４実施形態と同様の処理を実行し、テキストデータ４００をＯＣＲ処理の処理結果（スキャン画像２０５に関する光学文字認識処理の処理結果）として外部端末５０に向けて送信する。ただし、各文字領域２５１，２５２，２５３の画像データに関する処理は個別に行われる。詳細には、各文字領域２５１，２５２，２５３の画像データが個別に外部端末５０からクラウドサーバ９０に送信される（図１７上段参照）とともに、各文字領域２５１，２５２，２５３の画像データに対する各処理結果（テキストデータ４５１，４５２，４５３）が個別にクラウドサーバ９０から外部端末５０に送信される（図１７中段参照）。

具体的には、ステップＳ３２ｅにおいて、外部端末５０は、クラウドサーバ９０に対して、各文字領域２５１，２５２，２５３のＯＣＲ処理に使用する言語辞書をそれぞれ指定しつつ、各文字領域２５１，２５２，２５３の画像データをそれぞれ送信する。換言すれば、外部端末５０は、言語指定を伴う指示とともに各文字領域２５１，２５２，２５３の画像データを送信する。当該指示は、補助データ３５０によって示される言語をＯＣＲ処理の処理言語として指定してＯＣＲ処理を行うべき旨の内容を有する。このように、外部端末５０は、複数の文字領域のそれぞれに関して当該複数の文字領域ごとに検出された各言語による光学文字認識処理を行うべき旨の指示を、クラウドサーバ９０に送信する。

そして、ステップＳ３６ｅにおいて、外部端末５０は、ステップＳ３３ｅで受信された処理結果（テキストデータ４５１，４５２，４５３）に含まれる文字列を、電子文書５００内に配置する（図１７も参照）。詳細には、各文字領域２５１，２５２，２５３に対するＯＣＲ結果が、電子文書５００において、当該各文字領域２５１，２５２，２５３の位置に配置される。なお、各領域（各文字領域等）の位置は、外部端末５０によってスキャン画像２００に対する画像処理等が実行されることなどにより、外部端末５０によってそれぞれ検出（特定）されればよい。あるいは、第４実施形態と同様にして、当該複数の領域の位置がＭＦＰ１０によって検出（特定）されるようにしてもよい。また、非文字領域（写真領域等）がスキャン画像に含まれる場合には、当該非文字領域に係る画像も同様にして電子文書５００内に配置される。

このようにして、電子文書（サーチャブルＰＤＦ）５００が生成される。

以上のように、第５実施形態においては、外部端末５０（文書生成部６９等）は、補助データ３５０をＭＦＰ１０から受信し、当該補助データ３５０を利用しつつ、外部連携装置９０と連携して、スキャン画像２００に関する画像データに基づく電子文書５００を生成する。なお、第５実施形態に係る補助データ３５０は、クラウドサーバ９０への処理依頼時に利用されるものであり、他の第１実施形態〜第４実施形態に係る補助データ（文書構成を再現するためのデータとも表現される）のようにクラウドサーバ９０の処理結果を受信した後に利用されるもの（処理結果を補足するもの）ではない。ただし、各実施形態に係る補助データ３００は、電子文書５００の生成処理に利用される点で共通している。

第５実施形態に係る動作によれば、画像形成装置１０からのスキャン画像に基づき外部端末５０においてさらに別の外部連携装置９０と連携して電子文書を生成するに際して、補助データ３５０を利用することにより、より好適な電子文書を生成することが可能である。特に、各文字領域の本来の言語を予め特定しＯＣＲ処理言語を指定した上でＯＣＲ処理依頼（処理実行指令）がクラウドサーバ９０に対して送出されるので、本来の言語とは異なる言語によるＯＣＲ処理が行われることを回避ないし抑制し、より好適な電子文書を生成することが可能である。

なお、上記第５実施形態においては、複数の文字領域に対してそれぞれ個別の言語で翻訳処理が行われれる場合が例示されているが、これに限定されない。たとえば、ページ内の少なくとも１つの文字領域に対して特定の一の言語によるＯＣＲ処理が行われれる場合に、上記の思想を適用するようにしてもよい。

また、上記第５実施形態においては、連携処理としてＯＣＲ処理のみが行われることが例示されているがこれに限定されない。たとえば、外部端末５０は、ＯＣＲ処理と翻訳処理とを含む複数の処理が連携処理として行われる際にも本発明の思想が適用され得る。

図１９は、このような変形例に係る動作を示すフローチャートである。

ステップＳ１１〜Ｓ１５，ステップＳ３１〜Ｓ３３までは上記第５実施形態と同様の動作が行われる。

たとえば、ステップＳ３２（Ｓ３２ｆ）においては外部端末５０からクラウドサーバ９０へのＯＣＲ処理依頼が行われ、ステップＳ３３（Ｓ３３ｆ）においては当該ＯＣＲ処理の処理結果がクラウドサーバ９０から外部端末５０に送信される。これにより、外部端末５０は、各文字領域ごとの特定言語によるＯＣＲ処理結果（テキストデータ）を取得する。

また、その次のステップＳ４２において、外部端末５０は、さらに翻訳処理をクラウドサーバ９０に依頼する。具体的には、ステップＳ３３ｆで受信されたＯＣＲ処理結果（テキストデータ）に対する翻訳処理依頼（翻訳処理要求）を、当該ＯＣＲ処理結果とともにクラウドサーバ９０に送信する。この際、外部端末５０は、補助データ３５０（図１７）で指定されていたＯＣＲ処理言語を、今度は翻訳元言語として指定した上で、翻訳元言語から翻訳先言語への翻訳処理を依頼する。ここでは、翻訳先言語は特定の言語（たとえば、「日本語」あるいは「ドイツ語」等）に固定されているものとする。また、このような翻訳処理依頼は、スキャン画像２００内の複数の文字領域のそれぞれに関して行われればよい。

たとえば、領域２５１（図１７参照）に関しては、翻訳元言語として「英語」が特定されて、所定の翻訳先言語への翻訳依頼が行われる。また、領域２５２に関しては、翻訳元言語として「日本語」が特定されて、所定の翻訳先言語への翻訳依頼が行われる。さらに、領域２５３に関しては、翻訳元言語として「韓国語」が特定されて、所定の翻訳先言語への翻訳依頼が行われる。なお、翻訳元言語と翻訳先言語とが同一の場合には、クラウドサーバ９０に対する翻訳依頼が行われないようにしてもよい。

そして、外部端末５０は、クラウドサーバ９０からの翻訳処理結果（テキストデータ）を受信する。より詳細には、スキャン画像２００内の複数の文字領域のそれぞれに関する翻訳処理結果が受信される。

その後、ステップＳ３６ｆにおいて、外部端末５０は、ステップＳ４２で受信された処理結果に含まれる文字列を、電子文書５００内に配置する。

このようにして、電子文書（サーチャブルＰＤＦ）５００が生成される。

以上のような動作によれば、画像形成装置１０からのスキャン画像に基づき外部端末５０においてさらに別の外部連携装置９０と連携して電子文書を生成するに際して、補助データ３５０を利用することにより、より好適な電子文書を生成することが可能である。特に、各文字領域の本来の言語をＯＣＲ処理言語として予め特定した上でＯＣＲ処理依頼がクラウドサーバ９０に対して送出されるとともに、各文字領域の本来の言語を翻訳元言語として予め特定した上で翻訳処理依頼がクラウドサーバ９０に対して送出される。したがって、特に、本来の言語とは異なる言語を翻訳元言語とする翻訳処理が行われることを回避ないし抑制し、より好適な電子文書を生成することが可能である。

なお、ここでは、ＯＣＲ処理と翻訳処理とを含む複数の処理を行うべき旨の指示は、当該複数の処理のうちのそれぞれを実行すべき旨の別個の指示として（別時点で）外部端末５０からクラウドサーバ９０に送信されているが、これに限定されない。たとえば、ＯＣＲ処理と翻訳処理とを含む複数の処理を行うべき旨の指示は、当該複数の処理を一括して行うべき旨の単一の指示として（或る一つの時点で）外部端末５０からクラウドサーバ９０に送信されるようにしてもよい。

＜６．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記においては、第３実施形態に係る思想が、第１実施形態および第２実施形態に係る思想とは独立して実現される態様が例示されている。

しかしながら、本発明はこれに限定されず、上記第３実施形態に係る思想が、他の実施形態（たとえば、第１実施形態あるいは第２実施形態）に係る思想と組み合わせて実現されるようにしてもよい。たとえば、第１実施形態（あるいは第２実施形態）において、各行のフォントサイズもが補助データ３００として生成され、クラウドサーバ９０からの処理結果に係る文字列の各行のフォントサイズを、ＭＦＰ１０から受信した「各行のフォントサイズ」に設定して、電子文書が生成されるようにしてもよい。

また、上記第４実施形態に係る思想についても同様である。たとえば、第４実施形態に係る思想は、第１実施形態および／または第３実施形態と組み合わせて実現されるようにしてもよい。

図２０および図２１は、第１実施形態、第３実施形態および第４実施形態の組み合わせに係る思想を実現する変形例を示す図である。図２０は、第１実施形態の図４に対応する図であり、図２１は、第１実施形態の図５に対応する図である。

このような変形例においては、第４実施形態と同様に、３つの文字領域２４１，２４２，２４３の位置（座標位置（Ｘ，Ｙ））を示す情報がＭＦＰ１０において生成される。生成された当該情報は、補助データ３００（３７０）に包含される。また、第３実施形態および第１実施形態に係る各種処理は、文字領域ごとに適宜行われればよい。たとえば、第３実施形態と同様のフォントサイズの決定処理が、各文字領域内の「行」ごとに行われればよい。これに応じて、各文字領域内の行ごとのフォントサイズに関する情報が補助データ３７０に包含される。同様に、第１実施形態と同様の行末位置特定処理が、各文字領域内の行ごとに行われればよい。これに応じて、各文字領域内の行ごとの行末特定用文字列（「＃＊」）に関する情報等が補助データ３７０に包含される。なお、図２０における文字領域２４１，２４２，２４３に関する各マーク付加スキャン画像２７１，２７２，２７３は、補助データ３７０の一部を構成するものであるとも表現される。

そして、スキャン画像２００に関するＯＣＲ処理依頼等が外部端末５０からクラウドサーバ９０へ送信され、スキャン画像２００に関するＯＣＲ処理結果がクラウドサーバ９０から外部端末５０へ送信される。詳細には、各マーク付加スキャン画像２７１，２７２，２７３に関する各ＯＣＲ処理依頼等が外部端末５０からクラウドサーバ９０へ送信され、各マーク付加スキャン画像２７１，２７２，２７３に関する各ＯＣＲ処理結果がクラウドサーバ９０から外部端末５０へ送信される。

その後、クラウドサーバ９０からのＯＣＲ処理結果を補足する補足処理が、このような補助データ３７０に含まれる各情報を利用して外部端末５０により行われればよい。

より具体的には、外部端末５０は、３つの文字領域２４１，２４２，２４３の位置（座標位置（Ｘ，Ｙ））を示す情報に基づいて、各文字領域２４１，２４２，２４３に対する各ＯＣＲ処理結果（テキストデータ）４７１，４７２，４７３に含まれる文字列を、電子文書５００内の適切な位置に配置する（図２１も参照）。

また、外部端末５０は、マーク付加スキャン画像２７１，２７２，２７３に対する各ＯＣＲ処理結果（テキストデータ）４７１，４７２，４７３内の行末特定用文字列「＃＊」の存在位置に基づいて、各行の行末を特定する。そして、当該各ＯＣＲ結果が、複数の行に区分された状態で配置される。

さらに、外部端末５０は、各文字領域内の行ごとのフォントサイズに関する情報（補助データ３７０に包含される情報）に基づいて、処理結果に係る文字列を行毎に適切なフォントサイズ（適切な大きさ）で配置する。

このような動作により、図２１の左下に示すような電子文書５００が生成される。

また、第４実施形態に係る思想は、第２実施形態および／または第３実施形態と組み合わせて実現されるようにしてもよい。

図２２および図２３は、第２実施形態、第３実施形態および第４実施形態の組み合わせに係る思想を実現する変形例を示す図である。図２２は、第２実施形態の図７に対応する図であり、図２３は、第２実施形態の図８に対応する図である。

このような変形例においては、第４実施形態と同様に、３つの文字領域２４１，２４２，２４３の位置を示す情報がＭＦＰ１０において生成される。生成された当該情報は、補助データ３００（３８０）に包含される。また、第３実施形態および第２実施形態に係る各種処理は、文字領域ごとに適宜行われればよい。たとえば、第２実施形態と同様の行末位置特定処理（行末文字列の検出処理等）は、各文字領域内の行ごとに行われればよい。これに応じて、各文字領域内の行ごとの行末文字列に関する情報が補助データ３８０に包含される。

そして、クラウドサーバ９０からのＯＣＲ処理結果を補足する補足処理が、このような補助データ３８０に含まれる各情報を利用して外部端末５０により行われればよい。

より具体的には、外部端末５０は、３つの文字領域２４１，２４２，２４３の位置（座標位置（Ｘ，Ｙ））を示す情報に基づいて、各文字領域２４１，２４２，２４３に対する各ＯＣＲ処理結果（テキストデータ）４８１，４８２，４８３に含まれる文字列を、電子文書５００内の適切な位置に配置する（図２３も参照）。

また、外部端末５０は、各文字領域内の行ごとの行末文字列に関する情報に基づいて、各行の行末を特定する。そして、各文字領域のＯＣＲ結果が、複数の行に区分された状態で配置される。

さらに、外部端末５０は、各文字領域内の行ごとのフォントサイズに関する情報に基づいて、処理結果に係る文字列を行毎に適切なフォントサイズ（適切な大きさ）で配置する。

このような動作により、図２３の左下に示すような電子文書５００が生成される。

また、上記第５実施形態に係る思想についても同様である。第５実施形態に係る思想も他の実施形態（たとえば第４実施形態等）と組み合わせて実現されるようにしても良い。

また、上記各実施形態では、最終的に生成された電子文書５００（サーチャブルＰＤＦ）においては、元のスキャン画像２０１が表示される（表示状態で配置される）とともに、クラウドサーバ９０からの処理結果（テキストデータ）が非表示状態で配置されているが、これに限定されない。たとえば、電子文書５００において、クラウドサーバ９０からの処理結果（テキストデータ）が可視化されて（各対応位置に）配置（表示）されるようにしてもよい。その場合、電子文書５００内において元のスキャン画像２０１は表示されないようにしてもよい。

１ 画像形成システム（電子文書生成システム）
１０ ＭＦＰ（画像形成装置）
５０ 外部端末
９０ クラウドサーバ（外部連携装置）
５００ 電子文書
２０１ （元の）スキャン画像
２０２ マーク付加スキャン画像
３００ 補助データ
４００ テキストデータ（処理結果）

Claims (16)

1. 電子文書生成システムであって、
   原稿のスキャン画像を生成する画像形成装置と、
   前記画像形成装置から受信した前記スキャン画像に関する画像データに基づき電子文書を生成する外部端末と、
   を備え、
   前記画像形成装置は、
   前記電子文書の生成処理に利用される補助データであって前記スキャン画像における文字列の各行の区切りを特定するための補助データを生成する補助データ生成手段と、
   前記補助データを前記外部端末に送信する通信手段と、
   を有し、
   前記外部端末は、
   前記補助データを前記画像形成装置から受信する受信手段と、
   前記補助データに基づき前記各行の区切りを特定し、前記外部端末とは別の装置である外部連携装置と連携して、前記スキャン画像に関する画像データに基づく前記電子文書を生成する文書生成手段と、
   を有することを特徴とする電子文書生成システム。
2. 請求項１に記載の電子文書生成システムにおいて、
   前記外部端末は、
   前記スキャン画像に関する光学文字認識処理を行うべき旨の指示と、前記スキャン画像に関する画像データとを、前記外部連携装置に送信する送信手段、
   をさらに有し、
   前記受信手段は、前記スキャン画像に関する前記光学文字認識処理の処理結果を前記外部連携装置から受信し、
   前記文書生成手段は、前記処理結果を前記補助データを用いて補足し前記電子文書を生成することを特徴とする電子文書生成システム。
3. 請求項２に記載の電子文書生成システムにおいて、
   前記画像形成装置の前記補助データ生成手段は、前記スキャン画像における文字列の各行の行末位置を検出し、各行の行末位置特定用の行末特定用文字列を画像化したマーク画像を前記スキャン画像における前記各行の行末位置に付加したマーク付加スキャン画像の画像データを生成するとともに、前記行末特定用文字列を前記補助データとして生成し、
   前記画像形成装置の前記通信手段は、前記マーク付加スキャン画像の画像データを前記スキャン画像に関する画像データとして前記外部端末に送信し、
   前記外部端末の前記受信手段は、前記スキャン画像に関する前記光学文字認識処理の処理結果として、前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果を前記外部連携装置から受信し、
   前記外部端末の前記文書生成手段は、前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成することを特徴とする電子文書生成システム。
4. 請求項２に記載の電子文書生成システムにおいて、
   前記画像形成装置の前記補助データ生成手段は、前記スキャン画像における文字列の各行の行末文字列を検出し、前記各行の前記行末文字列を前記補助データとして生成し、
   前記外部端末の前記文書生成手段は、前記処理結果と前記各行の前記行末文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成することを特徴とする電子文書生成システム。
5. 請求項２に記載の電子文書生成システムにおいて、
   前記補助データは、前記スキャン画像に基づき前記画像形成装置により検出された、前記スキャン画像における文字列の各行の文字のフォントサイズを含み、
   前記外部端末の前記文書生成手段は、前記処理結果の文字列における各行のフォントサイズを、前記画像形成装置から受信した前記補助データに含まれている前記各行の前記フォントサイズにそれぞれ設定して、前記電子文書を生成することを特徴とする電子文書生成システム。
6. 請求項２に記載の電子文書生成システムにおいて、
   前記補助データは、前記スキャン画像に基づき前記画像形成装置により検出された、前記スキャン画像における複数の文字領域の各位置を含み、
   前記外部端末の前記送信手段は、前記スキャン画像に含まれる前記複数の文字領域に関する各画像データと当該各画像データに関する光学文字認識処理を行うべき旨の指示とを、前記外部連携装置に送信し、
   前記外部端末の前記受信手段は、前記各画像データに関する前記光学文字認識処理の処理結果をそれぞれ前記外部連携装置から受信し、
   前記外部端末の前記文書生成手段は、前記外部連携装置から受信した前記各画像データに関する前記処理結果と、前記画像形成装置から受信した前記補助データに含まれている前記複数の文字領域の各位置とに基づいて、前記各画像データに関する前記処理結果に係る文字列を前記複数の文字領域の各位置に配置して、前記電子文書を生成することを特徴とする電子文書生成システム。
7. 請求項１に記載の電子文書生成システムにおいて、
   前記画像形成装置の前記補助データ生成手段は、前記スキャン画像における文字列の各行の行末位置を検出するとともに、各行の行末位置特定用の行末特定用文字列を画像化したマーク画像を前記スキャン画像における前記各行の行末位置に付加したマーク付加スキャン画像の画像データを、前記補助データとして生成し、
   前記外部端末は、
   前記マーク付加スキャン画像の画像データに関する光学文字認識処理を行うべき旨の指示と前記マーク付加スキャン画像の画像データとを、前記外部連携装置に送信する送信手段、
   をさらに有し、
   前記外部端末の前記受信手段は、前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果を前記外部連携装置から受信し、
   前記文書生成手段は、前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成することを特徴とする電子文書生成システム。
8. 請求項４に記載の電子文書生成システムにおいて、
   前記画像形成装置の前記補助データ生成手段は、前記各行の前記行末文字列の検出処理を、前記外部連携装置による前記光学文字認識処理に並行して実行することを特徴とする電子文書生成システム。
9. 請求項５に記載の電子文書生成システムにおいて、
   前記画像形成装置の前記補助データ生成手段は、前記各行の文字のフォントサイズの検出処理を、前記外部連携装置による前記光学文字認識処理に並行して実行することを特徴とする電子文書生成システム。
10. 画像形成装置から受信したスキャン画像に関する画像データに基づき電子文書を生成する外部端末に内蔵されたコンピュータに、
    ａ）前記電子文書の生成処理に利用される補助データであって前記スキャン画像における文字列の各行の区切りを特定するための補助データを前記画像形成装置から受信するステップと、
    ｂ）前記補助データに基づき前記各行の区切りを特定し、前記外部端末とは別の装置である外部連携装置と連携して、前記スキャン画像に関する画像データに基づく前記電子文書を生成するステップと、
    を実行させるためのプログラム。
11. 請求項１０に記載のプログラムにおいて、
    前記ステップｂ）は、
    ｂ−１）前記スキャン画像に関する光学文字認識処理を行うべき旨の指示と、前記スキャン画像に関する画像データとを、前記外部連携装置に送信するステップと、
    ｂ−２）前記スキャン画像に関する前記光学文字認識処理の処理結果を前記外部連携装置から受信するステップと、
    ｂ−３）前記処理結果を前記補助データを用いて補足して前記電子文書を生成するステップと、
    を有することを特徴とするプログラム。
12. 請求項１１に記載のプログラムにおいて、
    前記ステップａ）は、
    ａ−１）前記ステップｂ−３）よりも前に、行末特定用文字列を前記補助データとして前記画像形成装置から受信するステップ、
    を有し、
    前記ステップｂ）は、
    ｂ−４）前記行末特定用文字列を画像化したマーク画像を前記スキャン画像における文字列の各行の行末位置に付加したマーク付加スキャン画像の画像データを、前記スキャン画像に関する画像データとして、前記ステップｂ−１）よりも前に前記画像形成装置から受信するステップ、
    をさらに有し、
    前記ステップｂ−１）においては、前記マーク付加スキャン画像の画像データが前記スキャン画像に関する画像データとして前記外部連携装置に送信され、
    前記ステップｂ−２）においては、前記スキャン画像に関する前記光学文字認識処理の処理結果として、前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果が受信され、
    前記ステップｂ−３）においては、前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置が特定され、前記処理結果に係る文字列が複数の行に区分されて、前記電子文書が生成されることを特徴とするプログラム。
13. 請求項１１に記載のプログラムにおいて、
    前記ステップａ）は、
    ａ−１）前記ステップｂ−３）よりも前に、前記スキャン画像における文字列の各行の行末文字列を前記補助データとして前記画像形成装置から受信するステップ、
    を有し、
    前記ステップｂ−３）においては、前記処理結果と前記各行の前記行末文字列とに基づいて前記処理結果の文字列における本来の行末位置が特定され、前記処理結果に係る文字列が複数の行に区分され、前記電子文書が生成されることを特徴とするプログラム。
14. 請求項１１に記載のプログラムにおいて、
    前記ステップａ）は、
    ａ−１）前記ステップｂ−３）よりも前に、前記補助データを前記画像形成装置から受信するステップ、
    を有し、
    前記補助データは、前記スキャン画像における文字列の各行の文字のフォントサイズを含み、
    前記ステップｂ−３）においては、前記処理結果の文字列における各行のフォントサイズが、前記画像形成装置から受信した前記補助データに含まれている前記各行の前記フォントサイズにそれぞれ設定されて、前記電子文書が生成されることを特徴とするプログラム。
15. 請求項１１に記載のプログラムにおいて、
    前記ステップａ）は、
    ａ−１）前記ステップｂ−３）よりも前に、前記補助データを前記画像形成装置から受信するステップ、
    を有し、
    前記補助データは、前記スキャン画像における複数の文字領域の各位置を含み、
    前記ステップｂ−１）においては、前記スキャン画像に含まれる前記複数の文字領域の各画像データに関する光学文字認識処理を行うべき旨の指示が前記外部連携装置に送信され、
    前記ステップｂ−２）においては、前記各画像データに関する前記光学文字認識処理の各処理結果が前記外部連携装置から受信され、
    前記ステップｂ−３）においては、前記外部連携装置から受信した前記各画像データに関する各処理結果と、前記画像形成装置から受信した前記補助データに含まれている前記複数の文字領域の各位置とに基づいて、前記各画像データに関する前記各処理結果に係る文字列が前記複数の文字領域の各位置に配置され、前記電子文書が生成されることを特徴とするプログラム。
16. 請求項１０に記載のプログラムにおいて、
    前記ステップａ）は、
    ａ−１）行末位置特定用の行末特定用文字列を画像化したマーク画像を前記スキャン画像における文字列の各行の行末位置に付加したマーク付加スキャン画像の画像データを、前記補助データとして受信するステップ、
    を有し、
    前記ステップｂ）は、
    ｂ−１）前記マーク付加スキャン画像の画像データに関する光学文字認識処理を行うべき旨の指示と前記マーク付加スキャン画像の画像データとを、前記外部連携装置に送信するステップと、
    ｂ−２）前記マーク付加スキャン画像に対する前記光学文字認識処理の処理結果を前記外部連携装置から受信するステップと、
    ｂ−３）前記処理結果と前記行末特定用文字列とに基づいて前記処理結果の文字列における本来の行末位置を特定し、前記処理結果に係る文字列を複数の行に区分して、前記電子文書を生成するステップと、
    を有することを特徴とするプログラム。

Images